KR101059779B1 - Character generator and subtitle and graphic input method - Google Patents
Character generator and subtitle and graphic input method Download PDFInfo
- Publication number
- KR101059779B1 KR101059779B1 KR1020090101143A KR20090101143A KR101059779B1 KR 101059779 B1 KR101059779 B1 KR 101059779B1 KR 1020090101143 A KR1020090101143 A KR 1020090101143A KR 20090101143 A KR20090101143 A KR 20090101143A KR 101059779 B1 KR101059779 B1 KR 101059779B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- rendering engine
- video signal
- file
- character generator
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M1/00—Analogue/digital conversion; Digital/analogue conversion
- H03M1/12—Analogue/digital converters
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M1/00—Analogue/digital conversion; Digital/analogue conversion
- H03M1/66—Digital/analogue converters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K2215/00—Arrangements for producing a permanent visual presentation of the output data
- G06K2215/0002—Handling the output data
- G06K2215/004—Generic data transformation
- G06K2215/0042—Rasterisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Circuits (AREA)
Abstract
자막 및 그래픽을 생성하여 데이터 구조로서 메모리에 저장하는 유저 인터페이스; 상기 데이터 구조에 기초하여 이미지를 생성하는 렌더링 엔진; 파일을 영상으로 변환하는 비디오 디코더; 상기 렌더링 엔진에 의해 생성된 이미지와 상기 비디오 디코더에 의해 변환된 영상을 합성하는 믹서; 상기 믹서에 의해 합성된 이미지와 영상을 파일로 변환하는 비디오 인코더; 및 상기 유저 인터페이스, 상기 렌더링 엔진, 상기 비디오 디코더, 상기 믹서 및 상기 비디오 인코더에 의한 작업들 간의 데이터를 교환하고 상기 작업들의 순서를 정하는 스레드 매니저;를 포함하는 것을 특징으로 하는 문자발생기 및 이를 이용한 자막 및 그래픽 입력 방법이 개시된다.
문자발생기, 렌더링 엔진, 믹서, 파일, 자막, 그래픽
A user interface for generating subtitles and graphics and storing them in a memory as a data structure; A rendering engine for generating an image based on the data structure; A video decoder for converting a file into an image; A mixer for synthesizing the image generated by the rendering engine and the image converted by the video decoder; A video encoder for converting the image and video synthesized by the mixer into a file; And a thread manager for exchanging data between the tasks by the user interface, the rendering engine, the video decoder, the mixer, and the video encoder, and for ordering the tasks. And a graphic input method.
Character Generator, Render Engine, Mixer, File, Subtitles, Graphics
Description
본 발명은 문자발생기 및 이를 이용한 자막 및 그래픽 입력 방법에 관한 것으로, 보다 상세하게는, 자막 및 그래픽을 카메라의 출력물인 파일에 직접 써 넣을 수 있는 렌더링 엔진을 구비하고 있어 파일과 테이프 간의 변환 시간을 생략하고, 종합 편집실 없이도 자막 및 그래픽의 입력 작업을 수행할 수 있으며, 카메라의 최초 출력물부터 최종 송출까지의 전 과정이 파일만으로 진행될 수 있도록 하는 문자발생기 및 이를 이용한 자막 및 그래픽 입력 방법에 관한 것이다.The present invention relates to a character generator and a caption and graphic input method using the same. More particularly, the present invention includes a rendering engine capable of directly writing captions and graphics into a file output from a camera. Omitted, it is possible to perform the input operation of the subtitles and graphics without a comprehensive editing room, and to the character generator and the subtitles and graphics input method using the same so that the entire process from the first output of the camera to the final transmission can be carried out only by the file.
도 1은 종래 기술에 따른 아날로그 콘텐츠 제작의 작업 흐름을 개략적으로 도시한 것이다.1 schematically illustrates the workflow of analog content production according to the prior art.
기존 카메라(10)를 이용한 촬영물의 형태는 테이프(11)였다. 이 테이프(11)는 고가의 VCR(12) 2대를 사용하여 선형 편집되었고, 이후 편집된 테이프(13)는 종합 편집실(14)로 보내져 자막과 그래픽이 추가되었다. 상기 종합 편집실(14)에는 문자발생기, 스위쳐(switcher), VCR 등의 장비들이 갖추어져 있는데 이러한 장비들은 고가이고, 또 종합 편집실 운영을 위한 인력이 항시 필요하기 때문에 비용적인 측면의 부담이 있었다. 종합 편집실(14)에서 자막과 그래픽이 추가된 최종 테이프(15)는 송출 주조정실 VCR(16)에서 방송되었다.The shape of the photographed image using the
도 2는 종래 기술에 따른 종합 편집실의 내부 구성을 개략적으로 도시한 것이다.2 schematically illustrates an internal configuration of a general editing room according to the prior art.
종합 편집실에는 동영상 편집을 위해 많은 장비가 설치되어 있고, 운영 인력이 상주한다. 실제 종합 편집실의 내부 구성은 매우 복잡하지만 기능적으로 핵심부를 설명하면 도 2와 같다.Comprehensive editing room is equipped with a lot of equipment for video editing and operating personnel resides. Actually, the internal structure of the comprehensive editing room is very complicated, but the functional part will be described with reference to FIG. 2.
도 2를 참조하면, 종합 편집실은 VCR(20), 문자발생기(21), 스위쳐(22), 및VCR(23)을 포함한다. 이 외에, 신호가 오가는 경로를 바꿔주는 라우터(router, 미도시), 분배기(distribute amplifier, 미도시), 중간 과정을 보기 위한 다수의 모니터(미도시) 등이 포함된다. Referring to FIG. 2, the comprehensive editing room includes a
VCR(20)은 방송용 테이프를 재생·녹화하는 장비이다. 문자발생기(21)는 영상에 자막 및 그래픽을 추가하는 장비이다. 스위쳐(22)는 여러 개의 영상신호를 받아들여 하나로 합쳐주는 장비이다. The VCR 20 is equipment for reproducing and recording a broadcast tape. The
종합 편집실에서는 크게 VCR(20)이 테이프를 재생하고, 재생에 따른 영상신호와 문자발생기(21)에서 나오는 그래픽 신호를 스위쳐(22)라는 장비를 통해 합치고, 이 출력을 다시 VCR(23)에서 테이프로 녹화한다.In the comprehensive editing room, the
도 3은 종래 기술에 따른 문자발생기 구조를 개략적으로 도시한 것이다.Figure 3 schematically shows a character generator structure according to the prior art.
종래 기술에 따른 문자발생기는 PC를 기반으로 하는데, 비디오 영상신호(방송 및 고품질 영상은 SDI(Serial Digital Interface)라는 영상신호규격을 사용함) 를 입·출력하기 위한 하드웨어 보드인 영상신호 입출력 카드를 PC에 장착하여 구성된다. 종래 문자발생기의 구성은 도 3과 같다.The character generator according to the prior art is based on a PC. The video signal input / output card, which is a hardware board for inputting and outputting video video signals (broadcasting and high-quality video uses a video signal standard called SDI (Serial Digital Interface)), is used as a PC. It is constructed by mounting on. The configuration of the conventional character generator is shown in FIG.
사용자는 유저 인터페이스(30)를 이용하여 그래픽, 자막, 애니메이션들을 편집한다. 그리고 편집된 자료들은 PC 메모리(33) 상에 데이터 구조(data structure, 31)로서 저장된다. 렌더링 엔진(rendering engine, 32)은 PC 메모리(33)에 저장된 데이터 구조에 기초하여 이미지를 생성한다. 대부분의 문자발생기의 경우 렌더링 엔진으로서 마이크로소프트의 GDI나 GDI+ 라는 소프트웨어를 사용한다.The user edits graphics, captions, and animations using the
점선으로 표시된 부분이 영상신호 입출력 카드(34)의 구성이다. 상기 영상신호 입출력 카드(34)는 아날로그 영상신호를 디지털 영상신호로 변환하는 컨버터(AD converter, 35), 프레임 버퍼(Framebuffer, 36) 및 디지털 영상신호를 아날로그 영상신호로 변환하는 컨버터(DA converter, 37)를 포함한다. 상기 영상신호 입출력 카드(34)는 하드웨어적인 카드로서 PC의 확장 슬롯에 장착하여 사용한다. 이 영상신호 입출력 카드(34)에서는, 외부에서 SDI 신호로 들어오는 영상을 컨버터(35)가 디지털 영상신호로 변환하여 내부의 프레임 버퍼(36)라는 메모리에 저장한다. 렌더링 엔진(32)이 생성한 이미지와 영상신호 입출력 카드(34)가 받아들인 영상은 프레임 버퍼(36)에서 합성되고, 그 합성된 결과물은 컨버터(37)에서 아날로그 영상신호로 변환되어 SDI 신호로 출력된다.The part shown by the dotted line is the structure of the video signal input /
도 4는 종래 기술에 따른 디지털 콘텐츠 제작의 작업 흐름을 개략적으로 도시한 것이다. 4 schematically illustrates a workflow of digital content production according to the prior art.
신형 카메라(40)는 출력을 파일(41)의 형태로 내보낸다. 이러한 동영상 파 일(41)을 NLE(None Linear Editor, 비선형편집기, 42)에 의해 편집한다. 그런데, 상기 NLE(42)를 사용해 자막 및 그래픽을 입력하는 작업은 매우 불편하고, 추가적인 렌더링 과정이 필요한 문제가 있다. 참고로, 1시간 분량의 HD급 영상을 렌더링하는데 5~6시간 가량 소요된다. 따라서, NLE(42)로 자막 및 그래픽을 입력하는 것이 매우 비효율적이기 때문에 종합 편집실을 이용해야만 한다. 그런데, 종합 편집실 시설은 종래 아날로그 콘텐츠 제작 환경에 비해 발전한 것이 없다. 따라서, 종합 편집실에서의 작업을 위해 NLE(42)를 거친 파일은 다시 테이프로 바꾸어야 한다(43). 그런데, 1시간 파일을 테이프로 변환하는 데 최소 1시간 이상이 걸리는 문제가 있다. 이렇게 변환된 테이프(44)는 종래 문자발생기, 스위쳐 등이 설비되어 있는 종합 편집실(45)에서 자막 및 그래픽이 추가된 후 다시 파일로 변환된다(46). 이때, 1시간 테이프가 다시 파일로 변환하는데 최소 1시간 이상이 소요된다. 그리고 이렇게 변환된 파일(47)은 송출 주조정실 파일 서버(48)를 통해 방송된다. The
이렇듯, 디지털 콘텐츠 제작 작업은 많은 부분이 디지털화되었지만 종합 편집실에서의 작업을 위해 파일을 테이프로 변환해야 되고, 종합 편집실에서의 작업 후 테이프를 다시 파일의 형태로 변환해야 하므로 전체 작업의 디지털화가 어려운 실정이다. 따라서, 시간과 비용적인 측면에서 비효율적인 문제가 있다.As such, the digital content production work has been digitized, but it is difficult to digitize the whole work because the files must be converted to tape for work in the general editing room, and the tapes are converted back into files after the work in the general editing room. to be. Therefore, there is an inefficient problem in terms of time and cost.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 자막이나 그래픽 등을 카메라의 출력물인 파일에 직접 써 넣을 수 있는 렌더링 엔진을 구비하고 있어 파일을 테이프로 변환할 필요성을 제거하고, 종합 편집실 없이도 자막 및 그래픽 입력 작업이 가능하며, 카메라의 최초 출력물부터 최종 송출까지 전 과정이 파일만으로 진행되어 콘텐츠 제작 송출망을 단순화 할 수 있도록 하는 문자발생기를 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and an object of the present invention is to provide a rendering engine capable of directly writing captions and graphics to a file that is a camera output. It is possible to provide subtitles and graphic input without the comprehensive editing room, and to provide a character generator that can simplify the content production network because the entire process from the first output of the camera to the final transmission is done only by file.
본 발명의 다른 목적은, 렌더링 엔진이 자막이나 그래픽 등을 카메라의 출력물인 파일에 직접 입력함으로써, 파일을 테이프로 변환할 필요성을 제거하고, 종합 편집실 없이도 자막 및 그래픽 입력 작업이 가능하며, 카메라의 최초 출력물부터 최종 송출까지 전 과정이 파일만으로 진행되어 콘텐츠 제작 송출망을 단순화 할 수 있도록 하는 문자발생기를 이용한 자막 및 그래픽 입력 방법을 제공하는 것이다.Another object of the present invention is that the rendering engine directly inputs subtitles or graphics into a file that is the output of the camera, eliminating the need to convert the file to tape, and enables caption and graphic input without a comprehensive editing room. It is to provide subtitle and graphic input method using character generator that can simplify content production transmission network because the whole process from the first output to the final transmission is done by file only.
상기 목적을 달성하기 위한 본 발명에 따른 문자발생기는, 자막 및 그래픽을 생성하여 데이터 구조로서 메모리에 저장하는 유저 인터페이스; 상기 데이터 구조에 기초하여 이미지를 생성하는 렌더링 엔진; 파일을 영상으로 변환하는 비디오 디코더; 상기 렌더링 엔진에 의해 생성된 이미지와 상기 비디오 디코더에 의해 변환된 영상을 합성하는 믹서; 상기 믹서에 의해 합성된 이미지와 영상을 파일로 변환하는 비디오 인코더; 및 상기 유저 인터페이스, 상기 렌더링 엔진, 상기 비디오 디 코더, 상기 믹서 및 상기 비디오 인코더에 의한 작업들 간의 데이터를 교환하고 상기 작업들의 순서를 정하는 스레드 매니저;를 포함하는 것을 특징으로 한다. The character generator according to the present invention for achieving the above object comprises: a user interface for generating subtitles and graphics and storing them in a memory as a data structure; A rendering engine for generating an image based on the data structure; A video decoder for converting a file into an image; A mixer for synthesizing the image generated by the rendering engine and the image converted by the video decoder; A video encoder for converting the image and video synthesized by the mixer into a file; And a thread manager for exchanging data between the tasks by the user interface, the rendering engine, the video decoder, the mixer, and the video encoder and for ordering the tasks.
상기 렌더링 엔진은, 이미지의 기본 패스를 생성하고, 상기 기본 패스를 변형하고, 변형된 패스를 래스터화하고, 상기 래스터화에 의해 생성된 래스터 이미지를 렌더링하여 최종 이미지를 생성한다.The rendering engine generates a base path of the image, deforms the base path, rasterizes the modified path, and renders a raster image generated by the rasterization to produce a final image.
상기 믹서는 상기 렌더링 엔진에 의해 생성된 이미지의 투명도 값을 이용하는 알파 블렌딩을 통해 상기 이미지와 상기 영상을 합성한다.The mixer synthesizes the image with the image through alpha blending using transparency values of the image generated by the rendering engine.
상기 파일의 포맷은 MXF, HDV, MPEG2, MPEG4, MOV, H.264, AVI, WMV, MPG, M2T, TS, TP, TRP, D10, GXF, AAF, CIF, QCIF, QQCIF, DVCPRO, DVCPROHD, DVD, 블루-레이(Blue-ray) 및 AVCHD 중 어느 하나인 것을 특징으로 한다.The file format is MXF, HDV, MPEG2, MPEG4, MOV, H.264, AVI, WMV, MPG, M2T, TS, TP, TRP, D10, GXF, AAF, CIF, QCIF, QQCIF, DVCPRO, DVCPROHD, DVD , Blue-ray (Blue-ray) and AVCHD is characterized in that any one.
본 발명에 따른 문자발생기는 영상신호 입출력 카드를 더욱 포함하고, 상기 영상신호 입출력 카드는, 아날로그 영상신호를 디지털 영상신호로 변환하는 제1 컨버터; 상기 디지털 영상신호와 상기 렌더링 엔진에 의해 생성된 이미지를 합성하는 프레임 버퍼; 및 상기 프레임 버퍼에 의해 합성된 디지털 영상신호와 이미지를 아날로그 영상신호로 변환하는 제2 컨버터;를 포함하는 것을 특징으로 한다.The character generator according to the present invention further includes a video signal input / output card, wherein the video signal input / output card comprises: a first converter for converting an analog video signal into a digital video signal; A frame buffer for synthesizing the digital video signal and the image generated by the rendering engine; And a second converter converting the digital video signal and the image synthesized by the frame buffer into an analog video signal.
상기 다른 목적을 달성하기 위한 본 발명에 따른 문자발생기를 이용한 자막 및 그래픽 입력 방법은 유저 인터페이스가 자막 및 그래픽을 생성하여 데이터 구조로서 메모리에 저장하는 단계; 렌더링 엔진이 상기 데이터 구조에 기초하여 이미지를 생성하는 단계; 비디오 디코더가 파일을 영상으로 변환하는 단계; 믹서가 상기 렌더링 엔진에 의해 생성된 이미지와 상기 비디오 디코더에 의해 변환된 영상을 합 성하는 단계; 및 비디오 인코더가 상기 믹서에 의해 합성된 이미지와 영상을 파일로 변환하는 단계;를 포함하는 것을 특징으로 한다.Subtitles and graphics input method using the character generator according to the present invention for achieving the above another object comprises the steps of generating a caption and graphics by the user interface in the memory as a data structure; A rendering engine generating an image based on the data structure; The video decoder converting the file into an image; A mixer synthesizing the image generated by the rendering engine and the image converted by the video decoder; And converting, by the video encoder, the image and the image synthesized by the mixer into a file.
상기 렌더링 엔진에 의해 이미지를 생성하는 단계는, 이미지의 기본 패스를 생성하는 단계; 변형된 패스를 생성하기 위해 기본 패스를 변형하는 단계; 래스터 이미지를 생성하기 위해 변형된 패스를 래스터화하는 단계; 및 래스터 이미지를 렌더링하여 최종 이미지를 생성하는 단계;를 포함하는 것을 특징으로 한다.Generating an image by the rendering engine includes: generating a basic path of an image; Deforming the base path to produce a modified path; Rasterizing the modified path to produce a raster image; And generating a final image by rendering the raster image.
상기 합성하는 단계는, 상기 렌더링 엔진에 의해 생성된 이미지의 투명도 값을 이용하는 알파 블렌딩을 이용하는 것을 특징으로 한다.The compositing step is characterized by using alpha blending using transparency values of the image generated by the rendering engine.
상기 파일의 포맷은 MXF, HDV, MPEG2, MPEG4, MOV, H.264, AVI, WMV, MPG, M2T, TS, TP, TRP, D10, GXF, AAF, CIF, QCIF, QQCIF, DVCPRO, DVCPROHD, DVD, 블루-레이(Blue-ray) 및 AVCHD 중 어느 하나이다.The file format is MXF, HDV, MPEG2, MPEG4, MOV, H.264, AVI, WMV, MPG, M2T, TS, TP, TRP, D10, GXF, AAF, CIF, QCIF, QQCIF, DVCPRO, DVCPROHD, DVD , Blue-ray and AVCHD.
본 발명에 따른 문자발생기를 이용한 자막 및 그래픽 입력 방법은 제1 컨버터가 아날로그 영상신호를 디지털 영상신호로 변환하는 단계; 프레임 버퍼가 상기 디지털 영상신호와 상기 렌더링 엔진에 의해 생성된 이미지를 합성하는 단계; 및 제2 컨버터가 상기 프레임 버퍼에 의해 합성된 디지털 영상신호와 이미지를 아날로그 영상신호로 변환하는 단계;를 더 포함하는 것을 특징으로 한다.A caption and graphic input method using a character generator according to the present invention includes the steps of: converting an analog video signal into a digital video signal by a first converter; A frame buffer synthesizing the digital video signal and an image generated by the rendering engine; And converting, by the second converter, the digital video signal and the image synthesized by the frame buffer into an analog video signal.
전술한 바와 같이, 본 발명에 따른 문자발생기는, 자막이나 그래픽 등을 카메라의 출력물인 파일에 직접 써 넣을 수 있는 렌더링 엔진을 구비하고 있어, 파일과 테이프 간의 변환시간을 제거함에 따라 작업 시간을 단축할 수 있고, 종합 편집 실 없이도 자막 및 그래픽을 추가하는 작업을 수행할 수 있어 고가의 종합 편집실 구축 비용을 절감할 수 있다.As described above, the character generator according to the present invention includes a rendering engine that can directly write subtitles, graphics, and the like into a file output from a camera, thereby reducing work time by eliminating the conversion time between the file and the tape. You can add subtitles and graphics without a comprehensive editing room, reducing the cost of building an expensive comprehensive editing room.
또한, 카메라의 최초 출력물부터 최종 송출까지 전 과정이 파일만으로 진행되기 때문에 콘텐츠 제작 송출망을 단순화 할 수 있고, 제작 과정 전부를 IP 네트워크망으로 구성할 수 있으며, 콘텐츠 제작 작업을 단순화하는 효과를 도모한다.In addition, since the entire process from the camera's first output to the final transmission is done only with files, the content production network can be simplified, the entire production process can be configured with an IP network, and the content production can be simplified. do.
또한, 카메라의 출력 파일을 사용하여 최종 송출 파일까지 모든 편집 과정을 사용자 한명이 수행할 수 있어 비용 절감의 효과가 크다.In addition, the user can perform all the editing process from the camera's output file to the final transmission file, greatly reducing the cost.
이하, 실시예를 통하여 본 발명을 좀 더 구체적으로 살펴보지만, 하기 예에 본 발명의 범주가 한정되는 것은 아니다.Hereinafter, the present invention will be described in more detail with reference to Examples, but the scope of the present invention is not limited to the following Examples.
도 5a 및 5b는 본 발명에 따른 문자발생기의 구조의 하나의 실시예를 개략적으로 도시한 것이다. 5a and 5b schematically show one embodiment of the structure of the character generator according to the present invention.
본 발명에 따른 문자발생기는 추가적인 하드웨어 없이 일반적인 PC에서 소프트웨어적으로 모든 과정이 처리된다. 또한, 종래 문자발생기가 하드웨어를 이용하여 영상신호를 입력으로 받는 것과는 달리, PC 하드디스크에 있는 동영상 파일에 직접 자막 및 그래픽을 입력할 수 있다. The character generator according to the present invention is processed all the software in general PC without additional hardware. In addition, unlike conventional character generators that receive video signals using hardware, subtitles and graphics may be directly input to a video file on a PC hard disk.
도 5a 및 5b를 참조하면, 본 발명에 따른 문자발생기는 유저 인터페이스(50), 렌더링 엔진(51), 비디오 디코더(52), 믹서(53), 비디오 인코더(54), 스레드 매니저(Thread manager, 55) 및 영상신호 입출력 카드(56)를 포함한다.5A and 5B, the character generator according to the present invention includes a
사용자는 유저 인터페이스(50)를 이용하여 그래픽, 자막, 애니메이션들을 생 성하여 데이터 구조로서 PC 메모리에 저장한다. The user generates graphics, subtitles, and animations using the
렌더링 엔진(51)은 CPU의 기능을 충분히 활용하여 하나의 픽셀(Pixel)에 대해 256×256회 샘플링을 수행하여 고속으로 고품질의 이미지를 생성한다. 그림을 생성하기 위해서는 먼저 그림을 그릴 메모리를 확보해야 한다. HD 이미지는 가로 1920 개, 세로 1080 개의 픽셀들로 구성되고, 각각의 픽셀은 RGBA 값으로 구성된다. RGBA 각각은 8비트로 이루어져 있기 때문에 하나의 픽셀은 32비트(4바이트) 공간이 필요하다. 계산하면 한 장의 이미지를 위해 1920 × 1080 × 4 = 8,294,400 바이트가 필요하다. 메모리 상에 이 크기의 공간을 확보하고, 렌더링 엔진이 여기에 그림을 그리도록 설정한다. The
한편, 비디오 디코더(52)는 비디오 파일을 영상으로 변환하고, 변환된 영상은 소프트웨어적인 믹서(MIXER, 53)에서 렌더링 엔진(51)에 의해 생성된 이미지와 합성된다. Meanwhile, the
상기 믹서(53)는 상기 렌더링 엔진에 의해 생성된 이미지의 투명도 값을 이용하는 "알파 블렌딩"이라 불리는 합성과정을 수행하게 된다. 컴퓨터 상에서 하나의 픽셀의 색을 표현하기 위해서는 Red, Blue, Green 의 삼원색과 투명도를 나타내는 알파값을 사용한다. 각각의 값은 0~255 까지의 값을 가진다. 이를 RGBA 라고 칭한다. 만일 같은 위치에 두 개의 픽셀을 그릴 경우 투명도인 알파값을 사용해서 두 가지 색의 섞인색을 계산한다. 각각의 값은 아래의 식에 의해 구해진다. The
두 개의 픽셀이 (r1,g1,b1,a1)과 (r2,g2,b2,a2)라고 할 경우:If two pixels are (r1, g1, b1, a1) and (r2, g2, b2, a2):
R = (((r1 - r2) * a1 + (r2 << 8)) >> 8)R = (((r1-r2) * a1 + (r2 << 8)) >> 8)
G = (((g1 - g2) * a1 + (g2 << 8)) >> 8)G = (((g1-g2) * a1 + (g2 << 8)) >> 8)
B = (((b1 - b2) * a1 + (b2 << 8)) >> 8)B = (((b1-b2) * a1 + (b2 << 8)) >> 8)
A = ((a1 + a2) - ((a1 * a2 + 255) >> 8)) A = ((a1 + a2)-((a1 * a2 + 255) >> 8))
상기 식에 의해 자막 및 그래픽 이미지는 비디오 영상과 합성된다. 예를 들면, 자막이 반투명이 경우 비디오 영상 위해 반투명하게 자막이 합성된다.By the above equation, the caption and graphic image are combined with the video image. For example, if the subtitles are translucent, the subtitles are synthesized semi-transparently for the video image.
그리고, 상기 합성된 결과물은 비디오 인코더(54)를 통해 파일로 변환된다.The synthesized result is then converted into a file by
이 때, 스레드 매니저(55)는 상기 유저 인터페이스(50), 상기 렌더링 엔진(51), 상기 비디오 디코더(52), 상기 믹서(53) 및 상기 비디오 인코더(54)에 의한 작업들 간의 데이터를 교환하고 상기 작업들의 순서를 정하는 기능을 한다. 즉, 스레드 매니저(55)는 상기 작업들이 멀티스레드 환경에서 작동할 경우 각각의 작업이 충돌 없이 동작하고, 작업 순서를 효율적으로 배치하는 역할을 한다. 예를 들면, 자막이나 도형을 편집할 때는 자동적으로 렌더링 작업이나 송출 작업 등을 지연시켜 데이터 간의 충돌을 막는다. 또한, 하나의 스레드만이 오랫동안 독점적으로 작업할 경우 다른 작업이 이루어지지 못하므로 이것을 해결하기 위해 하나의 스레드가 독점적으로 동작할 수 있는 시간에 제한을 두고 그 시간 동안 작업을 수행한 후, 대기하고 있는 스레드가 있을 경우 대기하던 작업을 수행시키고, 그렇지 않으면 계속 하던 작업을 수행시킨다.At this time, the
본 실시예에 따른 문자발생기는 파일에 자막 및 그래픽을 직접 입력할 수 있는 기능 외에 종래 기술에 따른 문자발생기가 가진 영상신호처리 기능도 포함하고 있다. The character generator according to the present embodiment includes a video signal processing function of the character generator according to the prior art, in addition to a function of directly inputting captions and graphics into a file.
영상신호 입출력 카드(56)는 아날로그 영상신호를 디지털 영상신호로 변환하는 컨버터(57), 상기 디지털 영상신호와 상기 렌더링 엔진(51)에 의해 생성된 이미지를 합성하는 프레임 버퍼(58) 및 상기 프레임 버퍼(58)에 의해 합성된 디지털 영상신호와 이미지를 아날로그 영상신호로 변환하는 컨버터(59)를 포함한다. 본 실시예에서는 영상신호 입출력 카드(56)가 포함된 문자발생기의 예에 대하여 설명하였으나, 대안의 실시예에서는 상기 영상신호 입출력 카드(56)가 생략될 수 있다.The video signal input /
도 5c는 렌더링 엔진이 이미지를 생성하는 과정을 개략적으로 도시한 것이다. 5C schematically illustrates a process in which a rendering engine generates an image.
도 5c를 참조하면, 모든 자막 및 그래픽은 벡터 데이터(90)에서 출발한다. 예를 들면, 사각형은 우상단 꼭지점의 위치와 넓이, 높이로 표현되고, 글자의 경우에는 글자를 구성하는 점들의 위치값들로 구성된다. 먼저 이러한 점들을 선으로 연결하면 외곽선에 해당하는 패스(path, 91)값이 나온다. 이 외곽선 값을 여러 종류의 변형 알고리즘을 이용하여 변형하면 두 번째의 변형 외곽선인 변형된 패스(92)가 구해진다. 이 값을 가지고 내부를 채우게 되면 래스터 이미지(raster image, 93)가 구해진다. 이 이미지에 다양한 색이나 텍스쳐 등을 입히게 되면 최종 이미지인 렌더링된 이미지(94)가 완성된다.Referring to FIG. 5C, all subtitles and graphics start at
이렇듯 본 발명에 따르면, 종래의 문자발생기와는 달리 비디오 파일에 직접 자막 및 그래픽을 입력할 수도 있어 파일과 테이프 간의 변환시간을 생략함에 따라 작업 시간을 단축할 수 있고, 종합 편집실 없이도 자막 및 그래픽을 추가하는 작업을 수행할 수 있어 고가의 종합 편집실 구축 비용을 절감할 수 있다. 또한, 카메 라의 최초 출력물부터 최종 송출까지 전 과정이 파일만으로 진행되기 때문에 콘텐츠 제작 송출망을 단순화 할 수 있고, 제작 과정 전부를 IP 네트워크망으로 구성할 수 있으며, 콘텐츠 제작 작업을 단순화하는 효과를 도모한다.Thus, according to the present invention, unlike the conventional character generator, it is possible to directly input the subtitles and graphics in the video file, thereby reducing the work time by eliminating the conversion time between the file and the tape, even without a comprehensive editing room Additional work can be done to reduce the cost of building an expensive, comprehensive editing room. In addition, the entire process from the first output of the camera to the final transmission is done only by file, so the content production network can be simplified, the entire production process can be composed of an IP network, and the content production work can be simplified. Promote.
도 6은 본 발명에 따른 문자발생기의 MXF 렌더링 기능에 대하여 개략적으로 도시한 것이다. Figure 6 schematically illustrates the MXF rendering function of the character generator according to the present invention.
본 실시예에서의 문자발생기는 종래 기술에 따른 문자발생기의 각 기능들을 모두 포함하고 있고, 고유의 기능으로서 MXF 렌더링 기능을 추가로 가지고 있다. MXF 렌더링 기능은 자막이나 그래픽 등을 MXF 파일 자체에 직접 써넣는 기술이다. The character generator in this embodiment includes all the functions of the character generator according to the prior art, and further has an MXF rendering function as a unique function. The MXF rendering feature writes subtitles and graphics directly into the MXF file itself.
본 실시예에서의 동영상 포맷은 MXF이나, 본 발명은 이에 한정되는 것은 아니다. 대안의 다른 실시예에서는 HDV, MPEG2, MPEG4, MOV, H.264, AVI, WMV, MPG, M2T, TS, TP, TRP, D10, GXF, AAF, CIF, QCIF, QQCIF, DVCPRO, DVCPROHD, DVD, 블루-레이(Blue-ray) 또는 AVCHD이 가능하다. The video format in this embodiment is MXF, but the present invention is not limited thereto. Alternative embodiments include HDV, MPEG2, MPEG4, MOV, H.264, AVI, WMV, MPG, M2T, TS, TP, TRP, D10, GXF, AAF, CIF, QCIF, QQCIF, DVCPRO, DVCPROHD, DVD, Blue-ray or AVCHD is possible.
도 6의 각각의 블록은 소프트웨어적인 모듈이다.Each block in FIG. 6 is a software module.
먼저, 입력으로 지정한 MXF 파일(60)을 선택하면 MXF 디멀티플렉서(demultiplexer, 61)에서 오디오 데이터와 비디오 데이터로 분리한다. 분리된 데이터는 오디오 디코더(62)와 비디오 디코더(63)를 이용하여 원시 데이터로 복원된다. 오디오는 별도의 가공 없이 바로 오디오 인코더(64)로 입력된다. 비디오 데이터는 원시 데이터로 복원된 후, 본 발명에 따른 문자발생기의 렌더링 엔진(65)을 통과한다. 이 과정에서 자막 및 그래픽 등이 원본영상에 합성된다. 합성된 영상은 비디오 인코더(66)에 입력되어 압축된다. 압축된 오디오/비디오 데이터들은 MXF 멀티플렉서(67)에서 합쳐져서 MXF 파일(68)로 만들어진다. First, when the
도 7은 본 발명에 따른 문자발생기를 이용하여 비디오 파일에 자막 및 그래픽을 합성하는 과정의 흐름을 개략적으로 도시한 것이다.7 schematically illustrates a flow of a process of synthesizing captions and graphics in a video file using a character generator according to the present invention.
좌표값과 숫자로 구성된 그래픽 데이터(70)는 유저 인터페이스를 이용하여 만들어진다. 렌더링 엔진(71)은 상기 그래픽 데이터(70)를 이용하여 이미지를 생성한다. 생성된 이미지는 DIB(Device Independant Bitmap, 72)이라 불리는 고속 메모리 구조에 저장된다. 이것을 '그래픽'이라 칭한다.
비디오 파일(73)은 동영상을 담은 컴퓨터 파일이다. 디코더(74)를 이용해서 상기 파일을 영상으로 변환하여 영상 이미지를 생성한다. 생성된 영상 이미지를 DIB 믹서(75)에 저장한다. 이를 '비디오'라 칭한다.The
상기 비디오 이미지 위에 상기 그래픽 이미지를 합성한다. 이때, 그래픽의 투명도 값을 이용해 알파 블렌딩(Alpha Blending, 76) 작업을 수행한다. 비디오와 그래픽이 합성된 이미지가 생성된다. 상기 합성 이미지를 인코더(77)에 입력한다. 상기 합성 이미지를 미리보기를 위해 유저 인터페이스에 디스플레이한다(78). 인코더(77)는 상기 합성 이미지를 인코딩하여 비디오 파일(79)로 만든다.Compose the graphic image on the video image. In this case, alpha blending (76) is performed using the transparency value of the graphic. An image is created by combining video and graphics. The composite image is input to the
도 8은 본 발명에 따른 문자발생기를 이용한 디지털 콘텐츠 제작의 작업 흐름을 개략적으로 도시한 것이다.8 schematically illustrates a workflow of digital content production using a character generator according to the present invention.
먼저, 카메라(80)의 출력이 동영상 파일(81)로 나온다. 이 동영상 파일(81)을 NLE(82)로 편집하고, 편집된 파일(83)을 본 발명에 따른 문자발생기(84)에 입력한다. 본 발명에 따른 문자발생기(84)는 파일을 재생하면서 편집된 파일(83)에 자 막과 그래픽을 입력한다. 본 발명에 따른 문자발생기(84)의 자막 및 그래픽 입력작업은 실시간으로 수행된다. 따라서, 추가적인 렌더링이나 변환작업은 없다. 본 발명에 따른 문자발생기(84)를 거친 동영상 파일(85)은 IP 네트워크를 통해 파일기반 송출 주조정실 파일 서버(86)로 바로 전송된다.First, the output of the
이렇듯, 본 발명에 따르면, 파일과 테이프 간의 변환작업이 불필요해지고, 종합 편집실 없이도 자막 및 그래픽을 추가하는 작업을 수행할 수 있어 고가의 종합 편집실 구축 비용을 절감할 수 있다. 또한, 카메라의 최초 출력물부터 최종 송출까지 전 과정이 파일만으로 진행되기 때문에 콘텐츠 제작 송출망을 단순화 할 수 있고, 제작 과정 전부를 IP 네트워크망으로 구성할 수 있으며, 콘텐츠 제작 작업을 단순화하는 효과를 도모한다. 또한, 카메라의 출력 파일을 사용하여 최종 송출 파일까지 모든 편집 과정을 사용자 한명이 수행할 수 있어 비용 절감의 효과가 크다.As described above, according to the present invention, the conversion between the file and the tape becomes unnecessary, and the operation of adding subtitles and graphics can be performed without the comprehensive editing room, thereby reducing the cost of constructing an expensive comprehensive editing room. In addition, since the entire process from the camera's first output to the final transmission is done only with files, the content production network can be simplified, the entire production process can be configured with an IP network, and the content production can be simplified. do. In addition, the user can perform all the editing process from the camera's output file to the final transmission file, greatly reducing the cost.
이상에서는 본 발명의 특정의 바람직한 실시예에 대하여 설명하였으나, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변형은 청구 범위 기재의 범위 내에 있게 된다. While specific embodiments of the present invention have been described above, the present invention is not limited to the above-described specific embodiments, and the technical field to which the present invention pertains without departing from the gist of the present invention as claimed in the claims. Anyone of ordinary skill in the art can make various modifications, as well as such modifications are within the scope of the claims.
도 1은 종래 기술에 따른 아날로그 콘텐츠 제작의 작업 흐름을 개략적으로 도시한 것이다.1 schematically illustrates the workflow of analog content production according to the prior art.
도 2는 종래 기술에 따른 종합 편집실의 내부 구성을 개략적으로 도시한 것이다.2 schematically illustrates an internal configuration of a general editing room according to the prior art.
도 3은 종래 기술에 따른 문자발생기 구조를 개략적으로 도시한 것이다.Figure 3 schematically shows a character generator structure according to the prior art.
도 4는 종래 기술에 따른 디지털 콘텐츠 제작의 작업 흐름을 개략적으로 도시한 것이다. 4 schematically illustrates a workflow of digital content production according to the prior art.
도 5a 및 5b는 본 발명에 따른 문자발생기의 구조의 하나의 실시예를 개략적으로 도시한 것이다. 5a and 5b schematically show one embodiment of the structure of the character generator according to the present invention.
도 5c는 렌더링 엔진이 이미지를 생성하는 과정을 개략적으로 도시한 것이다. 5C schematically illustrates a process in which a rendering engine generates an image.
도 6은 본 발명에 따른 문자발생기의 MXF 렌더링 기능에 대하여 개략적으로 도시한 것이다. Figure 6 schematically illustrates the MXF rendering function of the character generator according to the present invention.
도 7은 본 발명에 따른 문자발생기를 이용하여 비디오 파일에 자막 및 그래픽을 합성하는 과정의 흐름을 개략적으로 도시한 것이다.7 schematically illustrates a flow of a process of synthesizing captions and graphics in a video file using a character generator according to the present invention.
도 8은 본 발명에 따른 문자발생기를 이용한 디지털 콘텐츠 제작의 작업 흐름을 개략적으로 도시한 것이다.8 schematically illustrates a workflow of digital content production using a character generator according to the present invention.
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090101143A KR101059779B1 (en) | 2009-10-23 | 2009-10-23 | Character generator and subtitle and graphic input method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090101143A KR101059779B1 (en) | 2009-10-23 | 2009-10-23 | Character generator and subtitle and graphic input method |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110044458A KR20110044458A (en) | 2011-04-29 |
KR101059779B1 true KR101059779B1 (en) | 2011-08-26 |
Family
ID=44049186
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090101143A KR101059779B1 (en) | 2009-10-23 | 2009-10-23 | Character generator and subtitle and graphic input method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101059779B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117676053B (en) * | 2024-01-31 | 2024-04-16 | 成都华栖云科技有限公司 | Dynamic subtitle rendering method and system |
-
2009
- 2009-10-23 KR KR1020090101143A patent/KR101059779B1/en not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
KR20110044458A (en) | 2011-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6678002B2 (en) | HDTV editing and effects previsualization using SDTV devices | |
JP4518194B2 (en) | Generating apparatus, generating method, and program | |
US7659934B2 (en) | Recording/reproduction apparatus, and recording/reproduction method as well as stereoscopic images visual effects confirmation apparatus and stereoscopic image visual effects confirmation method | |
US8237741B2 (en) | Image processing apparatus, image processing method, and image processing program | |
US9025936B2 (en) | Video processing apparatus, method of adding time code, and methode of preparing editing list | |
JPH11187398A (en) | Encoding and decoding system | |
JP4802524B2 (en) | Image processing apparatus, camera system, video system, network data system, and image processing method | |
US5412479A (en) | Computer generated wipes for video editing systems | |
US20090207310A1 (en) | Video-processing apparatus, method and system | |
US8699846B2 (en) | Reproducing device, reproducing method, program, and data structure | |
JP4559976B2 (en) | Video composition apparatus, video composition method, and video composition program | |
JPH05216463A (en) | Picture data processor | |
JP2003153080A (en) | Image composition method | |
US8810689B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program for processing image data at a plurality of frame rates | |
KR101059779B1 (en) | Character generator and subtitle and graphic input method | |
KR100650410B1 (en) | Method for processing translation caption of image by using non-linear editing | |
JP6703752B2 (en) | Information processing apparatus, information processing method, program, and recording medium | |
KR20070077381A (en) | High resolution apparatus for multi-screen display | |
JP2016149693A (en) | Information processing device, information processing method, and program, and recording medium | |
JP2007267349A (en) | Divided image processing system, solid-state imaging device and reproduction device for use in the same, and program | |
JP2017034418A (en) | File name conversion device, method and program and recording system | |
WO2022137325A1 (en) | Device, method, and program for synthesizing video signals | |
KR20040088850A (en) | Dual monitor realtime caption generator system and operating method thereof | |
JP2006109211A (en) | Moving video synthesizer | |
Wickes | Formats |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20140731 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |