KR102113759B1 - Apparatus and method for processing Multi-channel PIP - Google Patents

Apparatus and method for processing Multi-channel PIP Download PDF

Info

Publication number
KR102113759B1
KR102113759B1 KR1020140125894A KR20140125894A KR102113759B1 KR 102113759 B1 KR102113759 B1 KR 102113759B1 KR 1020140125894 A KR1020140125894 A KR 1020140125894A KR 20140125894 A KR20140125894 A KR 20140125894A KR 102113759 B1 KR102113759 B1 KR 102113759B1
Authority
KR
South Korea
Prior art keywords
image
pip
sub
screen
pip image
Prior art date
Application number
KR1020140125894A
Other languages
Korean (ko)
Other versions
KR20160034662A (en
Inventor
권대길
조진웅
김용성
이광재
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020140125894A priority Critical patent/KR102113759B1/en
Publication of KR20160034662A publication Critical patent/KR20160034662A/en
Application granted granted Critical
Publication of KR102113759B1 publication Critical patent/KR102113759B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/50—Tuning indicators; Automatic tuning control

Abstract

본 발명은 다채널 부화면 처리장치 및 처리방법에 관한 것으로, 상기 다채널 부화면 처리장치는 부화면 영상신호가 입력되는 다수의 채널을 순차적으로 선택하여, 부화면 영상을 출력하는 채널 선택기; 상기 채널 선택기에 의해 선택되어 출력되는 부화면 영상을 외부에서 입력되는 PIP 정보를 바탕으로 축소시켜 PIP 영상을 출력하는 다운 스케일링; 상기 PIP 영상을 입력 버퍼를 통해 전달받아 압축하여 출력하는 부호화기; 상기 다수의 채널과 대응하는 다수의 채널 버퍼로 구성되어, 상기 부호화기로부터 출력되는 압축된 PIP 영상을 부화면 영상 신호가 입력된 채널과 대응하는 채널 버퍼로 저장하는 채널 버퍼부; 및 상기 채널 버퍼부로부터 전송되는 상기 압축된 PIP 영상을 수신 및 복원하여, 복원된 PIP 영상을 출력하는 복호화기로 구성된다.The present invention relates to a multi-channel sub-screen processing apparatus and a processing method, wherein the multi-channel sub-screen processing apparatus sequentially selects a plurality of channels to which sub-screen image signals are input and outputs a sub-screen image; Down-scaling to output a PIP image by reducing the sub-screen image selected and output by the channel selector based on PIP information input from the outside; An encoder that receives the PIP image through an input buffer and compresses and outputs it; A channel buffer unit composed of a plurality of channel buffers corresponding to the plurality of channels, and storing the compressed PIP image output from the encoder as a channel buffer corresponding to a channel to which a sub-screen image signal is input; And a decoder that receives and restores the compressed PIP image transmitted from the channel buffer unit and outputs the restored PIP image.

Figure R1020140125894
Figure R1020140125894

Description

다채널 부화면 처리장치 및 처리방법 {Apparatus and method for processing Multi-channel PIP}Multi-channel sub-screen processing device and processing method {Apparatus and method for processing Multi-channel PIP}

본 발명은 다채널 부화면 처리장치 및 처리방법에 관한 것으로, 상세하게는 효율적인 메모리 사용을 바탕으로 영상의 품질을 저하시키지 않으면서 적은 면적으로 구현 가능한 다채널 부화면 처리장치 및 처리방법에 관한 것이다.
The present invention relates to a multi-channel sub-screen processing apparatus and processing method, and more particularly, to a multi-channel sub-screen processing apparatus and processing method that can be implemented with a small area without deteriorating image quality based on efficient memory usage. .

부화면은 공중파 TV나 Cable TV의 기능 중에서 PIP(Picture-In-Picture) 기능을 구현한 것으로서, 전송된 이미지의 사이즈를 강제로 줄여서 기존 프레임의 특정한 영역에 믹싱하는 방식으로 이루어진다.The sub-screen is a function of PIP (Picture-In-Picture) among the functions of the airwave TV or cable TV, and is made by mixing the specific area of the existing frame by forcibly reducing the size of the transmitted image.

PIP 기능을 리얼-타임(real-time)으로 처리하는 주문형 집적 회로(Application-Specific Integrated Circuit; ASIC) 칩으로 구현하는 경우 발생되는 주요한 문제는 강제로 줄여진 이미지를 저장하는 저장 공간을 확보하여야 한다는 것이다.The main problem that arises when implementing a PIP function with an application-specific integrated circuit (ASIC) chip that handles real-time is that the storage space for forcibly reduced images must be secured. will be.

저장 공간은 주로 스케일링 버퍼 또는 프레임 버퍼로써 지칭되는데, SRAM, SDRAM 등이 사용된다. 따라서, 강제로 줄여진 이미지를 저장하기 위한 저장 공간이 확보하여야 하며, 이것은 칩의 크기를 증가시킨다는 문제점이 있다. 또한, 칩의 면적의 증가는 칩의 단가를 상승시키는 요인이 되므로 저장 공간을 가능한 줄이는 것이 중요하다.The storage space is mainly referred to as a scaling buffer or frame buffer, and SRAM, SDRAM, etc. are used. Therefore, a storage space for forcibly reduced image must be secured, which increases the size of the chip. In addition, an increase in the area of the chip is a factor that increases the unit cost of the chip, so it is important to reduce the storage space as much as possible.

또한, 프레임 버퍼를 줄이기 위해서 사용하는 영상의 압축과 복원은 저장된 양자화 테이블과 허프만 테이블을 이용해야 하며, 계산은 매크로 블록을 기준으로 수행해야 하므로, 압축을 위해서 부가적인 저장 공간을 사용하여야 하므로, 저장 공간이 증가하는 문제점이 있다.In addition, the compression and restoration of the image used to reduce the frame buffer must use the stored quantization table and the Huffman table, and the calculation must be performed on the basis of the macro block, so additional storage space must be used for compression. There is a problem that the space increases.

더욱이 다채널의 부화면을 구현하는 경우 저장 공간은 채널별로 필요하게 되므로, 채널의 증가에 따라 저장 공간은 선형적으로 증가하게 되며, 따라서, 저장 공간을 가능한 줄이는 방안이 필요하다.Moreover, in case of implementing a sub-screen of a multi-channel, since storage space is required for each channel, the storage space increases linearly as the number of channels increases, and therefore, a method for reducing the storage space as much as possible is needed.

도 1은 종래 화면 처리 시스템의 구성을 도시한 블록도로서, 도 1을 참조하면, 주화면은 HDMI(High-Definition Multimedia Interface) 혹은 MHL(Mobile High-Definition Link)로 비디오 및 오디오 전송 프로토콜로 암호화된 형태로 전송되어 주화면 수신부(110)로 입력된다. 주화면 수신부(110)에서 복호화되어 출력되는 주화면 영상신호는 각 비디오 포맷에 맞는 비디오 타이밍 신호, 영상 신호를 포함하며, 비디오 믹서(120)로 전송된다.FIG. 1 is a block diagram showing the configuration of a conventional screen processing system. Referring to FIG. 1, the main screen is encrypted with a video and audio transmission protocol using High-Definition Multimedia Interface (HDMI) or Mobile High-Definition Link (MHL). It is transmitted in the form that is input to the main screen receiving unit 110. The main screen image signal decoded and output by the main screen receiver 110 includes video timing signals and video signals suitable for each video format, and is transmitted to the video mixer 120.

또한, 주화면 수신부(110)에서 복호화되어 출력되는 주화면 영상신호는 주화면 정보처리부(130)로 입력되고, 주화면 정보처리부(130)는 주화면 영상신호에서 이미지의 크기, 컬러 깊이(Color depth), 컬러 포맷(RGB, YCbCr 4:2:2, YCbCr 4:4:4)을 추출하여 주화면 정보를 생성 및 출력하고, 주화면 정보는 비디오 믹서(120)로 입력된다.In addition, the main screen image signal decoded and output by the main screen receiving unit 110 is input to the main screen information processing unit 130, and the main screen information processing unit 130 displays the size and color depth of the image from the main screen image signal. depth), color format (RGB, YCbCr 4:2:2, YCbCr 4:4:4) is extracted to generate and output main screen information, and the main screen information is input to the video mixer 120.

한편, 부화면은 부화면 수신부(140)로 입력되어 복호화되며, 부화면 수신부(140)에서 복호화되어 출력되는 부화면 영상신호는 부화면 정보처리부(150) 및 PIP 처리부(160)로 입력된다.Meanwhile, the sub-screen is input and decoded by the sub-screen receiving unit 140, and the sub-screen image signal decoded and output by the sub-screen receiving unit 140 is input to the sub-screen information processing unit 150 and the PIP processing unit 160.

부화면 정보처리부(150)는 입력되는 부화면 영상신호에서 이미지의 크기, 컬러 깊이(Color depth), 컬러 포맷(RGB, YCbCr 4:2:2, YCbCr 4:4:4)을 추출하여 부화면 정보를 생성 및 출력하고, 부화면 정보는 비디오 믹서(120)로 입력된다.The sub-screen information processing unit 150 extracts the size, color depth, and color format (RGB, YCbCr 4:2:2, YCbCr 4:4:4) of the image from the input sub-screen video signal to sub-screen Information is generated and output, and sub-screen information is input to the video mixer 120.

PIP 처리부(160)는 다운 스케일러(161) 및 스케일링 버퍼(163)로 구성되고, 다운 스케일러(161)는 부화면 수신부(140)로부터 입력되는 부 화면 영상신호, 부화면 정보처리부(150)로부터 입력되는 부화면 정보 및 PIP 정보처리부(170)로부터 입력되는 PIP 정보를 수신하고, 부화면의 크기를 PIP 정보 처리부(170)로부터 입력되는 PIP 정보에서 요구하는 PIP화면의 크기로 축소한다. The PIP processing unit 160 is composed of a down scaler 161 and a scaling buffer 163, and the down scaler 161 is input from the sub screen image signal and the sub screen information processing unit 150 input from the sub screen receiving unit 140. The received sub-screen information and PIP information input from the PIP information processing unit 170 are received, and the size of the sub-screen is reduced to the size of the PIP screen requested by the PIP information input from the PIP information processing unit 170.

한편, 스케일링 버퍼(163)는 다운 스케일러(161)로부터 출력되는 이미지를 저장하고, 비디오 믹서(120)로부터 요청이 있는 경우, 요청된 이미지를 비디오 믹서(120)로 제공한다.On the other hand, the scaling buffer 163 stores the image output from the down scaler 161, and when requested by the video mixer 120, provides the requested image to the video mixer 120.

상기 비디오 믹서(120)는 주화면 수신부(110)로부터 제공되는 주화면 영상신호에 스케일링 버퍼(163)에 저장된 이미지를 믹싱하여 출력한다.The video mixer 120 mixes and outputs the image stored in the scaling buffer 163 to the main screen image signal provided from the main screen receiver 110.

이와 같은 종래에는 다운 스케일러(161)의 출력을 스케일링 버퍼(163)에 저장하므로 지원하는 영상의 해상도가 높아질수록 스케일링 버퍼(163)는 더 큰 물리적인 크기를 갖는다. UHD와 같은 고해상도의 디스플레이에 영상을 표시하기 위해서는 기존 최대 해상도인 Full HD 영상보다 4배의 해상도를 가져야 하므로 버퍼에 저장되는 물리적인 크기가 배수 배로 증가하는 문제점이 있다.In the related art, since the output of the down scaler 161 is stored in the scaling buffer 163, as the resolution of the supported image increases, the scaling buffer 163 has a larger physical size. In order to display an image on a high-resolution display such as UHD, it must have 4 times the resolution of the existing full-resolution Full HD image, so there is a problem in that the physical size stored in the buffer increases several times.

또한, 다채널 부화면 처리기의 경우, 채널이 개수에 비례하여 스케일링 버퍼의 개수가 필요하므로 물리적인 저장 공간의 크기가 채널의 배수로 증가한다. 이러한 문제점을 해결하기 위하여, 도 2에 도시된 바와 같이 PIP 처리부(160)로 대체할 수 있다.In addition, in the case of a multi-channel sub-screen processor, since the number of scaling buffers is required in proportion to the number of channels, the size of the physical storage space increases in multiples of the channels. In order to solve this problem, as illustrated in FIG. 2, the PIP processing unit 160 may be replaced.

즉, 다운 스케일러(165)가 부화면의 크기를 목표 영상의 크기보다 더 적은 해상도를 갖도록 다운 스케일링하여 스케일링 버퍼(167)에 저장하고, 비디오 믹서(120)에 입력되기 전에 업 스케일러(169)에 의해 목표 해상도를 갖도록 업 스케일링하는 방법으로 대체하는 방안이 있으나, 이러한 방법은 영상의 화질이 떨어지는 단점이 있다.
That is, the down-scaler 165 down-scales the size of the sub-screen to have a resolution smaller than the size of the target image, and stores it in the scaling buffer 167, and then the up-scaler 169 before being input to the video mixer 120. There is a method to replace it with a method of up-scaling to have a target resolution, but such a method has a disadvantage in that the image quality of the image deteriorates.

따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은, 효율적인 메모리 사용을 바탕으로 영상의 품질을 저하시키지 않으면서 적은 면적으로 구현 가능한 다채널 부화면 처리장치 및 처리방법을 제공함에 있다.
Accordingly, the present invention is to solve the problems of the prior art as described above, the object of the present invention is a multi-channel sub-screen processing apparatus that can be implemented with a small area without deteriorating the image quality based on efficient memory usage, and In providing a processing method.

상기와 같은 목적을 달성하기 위한 본 발명의 일 측면에 따른 다채널 부화면 처리장치는, 부화면 영상신호가 입력되는 다수의 채널을 순차적으로 선택하여, 부화면 영상을 출력하는 채널 선택기; 상기 채널 선택기에 의해 선택되어 출력되는 부화면 영상을 외부에서 입력되는 PIP 정보를 바탕으로 축소시켜 PIP 영상을 출력하는 다운 스케일링; 상기 PIP 영상을 입력 버퍼를 통해 전달받아 압축하여 출력하는 부호화기; 상기 다수의 채널과 대응하는 다수의 채널 버퍼로 구성되어, 상기 부호화기로부터 출력되는 압축된 PIP 영상을 부화면 영상 신호가 입력된 채널과 대응하는 채널 버퍼로 저장하는 채널 버퍼부; 및 상기 채널 버퍼부로부터 전송되는 상기 압축된 PIP 영상을 수신 및 복원하여, 복원된 PIP 영상을 출력하는 복호화기를 포함한다. A multi-channel sub-screen processing apparatus according to an aspect of the present invention for achieving the above object, a channel selector for sequentially selecting a plurality of channels to which the sub-screen image signal is input, and outputting the sub-screen image; Down-scaling to output a PIP image by reducing the sub-screen image selected and output by the channel selector based on PIP information input from the outside; An encoder that receives the PIP image through an input buffer and compresses and outputs it; A channel buffer unit composed of a plurality of channel buffers corresponding to the plurality of channels, and storing the compressed PIP image output from the encoder as a channel buffer corresponding to a channel to which a sub-screen image signal is input; And a decoder that receives and restores the compressed PIP image transmitted from the channel buffer unit and outputs the restored PIP image.

이때, 상기 부호화기는 정지영상을 압축하는 방식 또는 동영상을 압축하는 방식을 이용하여 상기 PIP 영상을 압축한다.At this time, the encoder compresses the PIP image using a method of compressing a still image or a method of compressing a video.

한편, 상기 부호화기는, 상기 압축된 PIP 영상을 허프만 복호 방식에 따라 복호 및 출력하는 허프만 복호화기; 상기 허프만 복호화기에 의해 복호된 PIP 영상을 가변길이 복호 방식에 따라 복호 및 출력하는 가변길이 복호화기; 상기 가변길이 복호화기에 의해 복호된 PIP 영상을 역 양자화하여 출력하는 역 양자화기; 상기 역 양자화기에 의해 역 역자화된 PIP 영상을 역 이산 코사인 변환시켜 출력하는 역 이산 코사인 변환기; 상기 역 이산 코사인 변환기에 의해 역 이산 코사인 변환된 PIP 영상을 수신하고, 동기화 신호에 맞춰 역 이산 코사인 변환된 PIP 영상을 출력하는 복호 라인 선택기; 및 상기 복호 라인 선택기에 의해 선택되어 출력되는 역 이산 코사인 변환된 PIP 영상의 컬러 포맷을 변환하여 복원된 PIP 영상을 출력하는 컬러 포맷 변환기를 포함한다. On the other hand, the encoder, Huffman decoder for decoding and outputting the compressed PIP image according to the Huffman decoding method; A variable length decoder that decodes and outputs a PIP image decoded by the Huffman decoder according to a variable length decoding method; An inverse quantizer that inversely quantizes and outputs a PIP image decoded by the variable length decoder; An inverse discrete cosine converter for inverse discrete cosine transform and outputting the inverse demagnetized PIP image by the inverse quantizer; A decoding line selector receiving the inverse discrete cosine transformed PIP image by the inverse discrete cosine converter and outputting an inverse discrete cosine transformed PIP image according to a synchronization signal; And a color format converter for converting the color format of the inverse discrete cosine transformed PIP image selected and output by the decoding line selector and outputting the restored PIP image.

이때, 상기 역 양자화기는 상기 가변길이 복호화기에 의해 복호된 PIP 영상을 8×8 매크로 블럭 단위로 역 양자화하여 출력하고, 상기 복호 라인 선택기는 상기 동기화 신호에 맞춰 상기 PIP 영상을 라인별로 선택하여 출력한다.
In this case, the inverse quantizer inversely quantizes and outputs the PIP image decoded by the variable-length decoder in units of 8×8 macroblocks, and the decoding line selector selects and outputs the PIP image for each line according to the synchronization signal. .

본 발명의 다른 측면에 따른 다채널 부화면 처리방법은, 부화면 영상신호가 입력되는 다수의 채널을 순차적으로 선택하여, 부화면 영상을 출력하는 단계; 상기 부화면 영상을 외부에서 입력되는 PIP 정보를 바탕으로 축소시켜 PIP 영상을 출력하는 단계; 상기 PIP 영상을 압축하여 출력하는 단계; 상기 PIP 영상을 압축하여 출력하는 단계에 따라 출력되는 PIP 영상을 부화면 영상 신호가 입력된 채널과 대응하는 채널 버퍼로 저장하는 단계; 및 상기 채널 버퍼에 저장된 압축된 PIP 영상을 수신 및 복원하여, 복원된 PIP 영상을 출력하는 단계를 포함한다. A multi-channel sub-screen processing method according to another aspect of the present invention includes: sequentially selecting a plurality of channels through which sub-screen image signals are input and outputting a sub-screen image; Reducing the sub-screen image based on PIP information input from the outside to output a PIP image; Compressing and outputting the PIP image; Storing the PIP image output according to the step of compressing and outputting the PIP image as a channel buffer corresponding to a channel to which a sub-screen image signal is input; And receiving and restoring the compressed PIP image stored in the channel buffer, and outputting the restored PIP image.

이때, 상기 복원된 PIP 영상을 출력하는 단계는, 상기 압축된 PIP 영상을 허프만 복호 방식에 따라 복호하는 단계; 허프만 복호 방식에 따라 복호된 PIP 영상을 가변길이 복호 방식에 따라 복호하는 단계; 상기 가변길이 복호 방식에 따라 복호된 PIP 영상을 역 양자화하는 단계; 역 양자화된 PIP 영상을 역 이산 코사인 변환시키는 단계; 역 이산 코사인 변환된 PIP 영상을 수신하고, 동기화 신호에 맞춰 역 이산 코사인 변환된 PIP 영상을 출력하는 단계; 및 상기 동기화 신호에 맞춰 출력되는 역 이산 코사인 변환된 PIP 영상의 컬러 포맷을 변환하여 복원된 PIP 영상 중 선택적인 데이터를 출력하는 단계를 포함한다.
At this time, the outputting of the restored PIP image may include: decoding the compressed PIP image according to a Huffman decoding method; Decoding a PIP image decoded according to the Huffman decoding method according to a variable length decoding method; Inverse quantizing a decoded PIP image according to the variable length decoding method; Inverse discrete cosine transforming the inverse quantized PIP image; Receiving an inverse discrete cosine transformed PIP image and outputting an inverse discrete cosine transformed PIP image according to a synchronization signal; And converting the color format of the inverse discrete cosine transformed PIP image output according to the synchronization signal to output selective data among the reconstructed PIP images.

이와 같은 본 발명에 따르면, 부화면 영상에 대한 압축 및 복원 과정을 바탕으로 부화면 영상을 제공할 수 있다.According to the present invention, a sub-screen image may be provided based on a compression and restoration process for the sub-screen image.

따라서, 부화면 영상을 압축하여 저장하기 때문에 메모리 사용을 줄일 수 있으며, 반복적인 복원과 스위칭 방법을 통해 부화면 영상을 믹서로 전달하기 때문에 출력 라인 버퍼를 사용하지 않아도 된다.Therefore, memory usage can be reduced because the sub-screen image is compressed and stored, and the output line buffer is not required because the sub-screen image is transferred to the mixer through repeated restoration and switching methods.

또한, 복수의 채널에서 들어오는 부화면 영상을 하나의 부화면 처리부를 이용하여 처리할 수 있으므로, 전체적인 칩 면적을 줄일 수 있다.In addition, since the sub-screen image coming from a plurality of channels can be processed using one sub-screen processing unit, the overall chip area can be reduced.

따라서, 이와 같은 다채널 부화면 처리장치 및 처리방법을 주화면에 부화면을 믹싱하여 출력하는 화면 처리 시스템에 적용하면, 영상의 화질을 저하시키지 않으면서도 적은 메모리 용량을 사용하여 칩 제작 단가를 줄일 수 있다.
Therefore, if the multi-channel sub-screen processing apparatus and processing method are applied to a screen processing system that mixes and outputs a sub-screen to the main screen, the chip manufacturing cost is reduced by using a small memory capacity without degrading the image quality. You can.

도 1은 종래 화면 처리 시스템의 구성을 도시한 블록도이다.
도 2는 종래 화면 처리 시스템의 PIP 처리부의 다른 예를 도시한 블록도이다.
도 3은 본 발명의 실시 예에 따른 화면 처리 시스템의 구성도이다.
도 4는 도 3의 부화면 처리부의 상세한 구성을 도시한 블록도이다.
도 5는 도 4의 복호화기의 구체적인 구성을 도시한 블록도이다.
도 6은 복호화기의 복호 라인 선택기에 의해 데이터가 선택되는 과정을 도시한 예시도이다.
도 7은 본 발명의 실시 예에 따른 다채널 부화면 처리방법에 따른 과정을 도시한 플로우챠트이다.
도 8은 본 발명의 실시 예에 따른 다채널 부화면 처리방법에 있어 복호 단계를 구체적으로 도시한 플로우챠트이다.1 is a block diagram showing the configuration of a conventional screen processing system.
2 is a block diagram showing another example of a PIP processing unit of a conventional screen processing system.
3 is a block diagram of a screen processing system according to an embodiment of the present invention.
FIG. 4 is a block diagram showing a detailed configuration of the sub-screen processing unit of FIG. 3.
FIG. 5 is a block diagram showing a specific configuration of the decoder of FIG. 4.
6 is an exemplary diagram illustrating a process in which data is selected by a decoding line selector of a decoder.
7 is a flowchart illustrating a process according to a multi-channel sub-screen processing method according to an embodiment of the present invention.
8 is a flowchart specifically illustrating a decoding step in a multi-channel sub-screen processing method according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention, and methods for achieving them will be clarified with reference to embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only the embodiments allow the disclosure of the present invention to be complete, and common knowledge in the technical field to which the present invention pertains. It is provided to fully inform the holder of the scope of the invention, and the invention is only defined by the scope of the claims. The same reference numerals refer to the same components throughout the specification.

본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
In describing embodiments of the present invention, when it is determined that a detailed description of known functions or configurations may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. And terms that will be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to a user's or operator's intention or practice. Therefore, the definition should be made based on the contents throughout this specification.

도 3은 본 발명의 실시 예에 따른 화면 처리 시스템의 구성도이다.3 is a block diagram of a screen processing system according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 실시 예에 따른 화면 처리 시스템(300)은 주화면 수신부(310), 주화면 정보처리부(320), 부화면 수신부(330), PIP 정보처리부(340), 부화면 정보처리부(350), 부화면 처리부(350) 및 비디오 믹서(370)로 구성될 수 있다.Referring to FIG. 3, the screen processing system 300 according to an embodiment of the present invention includes a main screen receiving unit 310, a main screen information processing unit 320, a sub screen receiving unit 330, a PIP information processing unit 340, and a sub It may be composed of a screen information processing unit 350, a sub-screen processing unit 350 and a video mixer 370.

상기 주화면 수신부(310)는 외부로부터 입력되는 주화면을 복호화하여 주화면 영상신호를 출력하며, 주화면 수신부(310)로부터 출력되는 주화면 영상신호는 주화면 정보처리부(320) 및 비디오 믹서(360)로 전송된다.The main screen receiving unit 310 decodes the main screen input from the outside to output a main screen image signal, and the main screen image signal output from the main screen receiving unit 310 is a main screen information processing unit 320 and a video mixer ( 360).

상기 주화면 정보처리부(320)는 주화면 수신부(310)로부터 전송되는 주화면 영상신호를 수신하고, 주화면 영상신호로부터 주화면 정보를 추출 및 출력하며, 주화면 정보처리부(320)로부터 출력되는 주화면 정보는 비디오 믹서(360)로 전송된다.The main screen information processing unit 320 receives the main screen image signal transmitted from the main screen receiving unit 310, extracts and outputs main screen information from the main screen video signal, and is output from the main screen information processing unit 320 The main screen information is transmitted to the video mixer 360.

상기 부화면 수신부(330)는 외부로부터 입력되는 부화면을 복호화하여 부화면 영상신호를 출력하며, 부화면 수신부(330)로부터 출력되는 부화면 영상신호는 부화면 정보처리부(350) 및 부화면 처리부(360)로 전송된다.The sub-screen receiving unit 330 decodes the sub-screen input from the outside to output a sub-screen image signal, and the sub-screen image signal output from the sub-screen receiving unit 330 is a sub-screen information processing unit 350 and a sub-screen processing unit (360).

상기 PIP 정보처리부(340)는 PIP 화면 크기를 포함하는 PIP 정보를 출력하며, PIP 정보처리부(350)로부터 출력되는 PIP 정보는 부화면 처리부(360)로 전송된다.The PIP information processing unit 340 outputs PIP information including a PIP screen size, and the PIP information output from the PIP information processing unit 350 is transmitted to the sub-screen processing unit 360.

상기 부화면 정보처리부(350)는 부화면 수신부(330)로부터 전송되는 부화면 영상신호를 수신하고, 부화면 영상신호로부터 부화면 정보를 추출 및 출력하며, 부화면 정보처리부(350)로부터 출력되는 부화면 정보는 부화면 처리부(360) 및 비디오 믹서(370)로 전송된다.The sub-screen information processing unit 350 receives the sub-screen image signal transmitted from the sub-screen receiving unit 330, extracts and outputs sub-screen information from the sub-screen image signal, and is output from the sub-screen information processing unit 350 The sub-screen information is transmitted to the sub-screen processing unit 360 and the video mixer 370.

상기 부화면 처리부(360)는 부화면 수신부(330)로부터 전송되는 부화면 영상신호, PIP 정보처리부(340)로부터 전송되는 PIP 정보 및 부화면 정보처리부(350)로부터 전송되는 부화면 정보를 수신한다.The sub-screen processing unit 360 receives sub-screen video signals transmitted from the sub-screen receiving unit 330, PIP information transmitted from the PIP information processing unit 340, and sub-screen information transmitted from the sub-screen information processing unit 350. .

또한, 상기 부화면 처리부(360)는 부화면 영상신호에 포함된 부화면을 PIP 정보에 포함된 PIP 화면 크기로 변환시켜 PIP 영상신호를 출력하며, 부화면 처리부(360)로부터 출력되는 PIP 영상신호는 비디오 믹서(370)로 전송된다.In addition, the sub-screen processing unit 360 converts the sub-screen included in the sub-screen video signal to the PIP screen size included in the PIP information to output a PIP video signal, and the PIP video signal output from the sub-screen processing unit 360 Is sent to the video mixer 370.

이때, 상기 부화면 처리부(360)는 부화면의 크기를 변환시키는 경우, 부화면 정보처리부(350)로부터 전송되는 부화면 정보에 포함된 내용에 대해서도 크기를 변환시킨다.In this case, when the sub-screen processing unit 360 converts the size of the sub-screen, the size included in the sub-screen information transmitted from the sub-screen information processing unit 350 is also converted.

상기 부화면 처리부(360)의 상세한 구성 및 기능에 대해서는 도 4 및 5를 참조하여 후술하도록 한다.The detailed configuration and function of the sub-screen processing unit 360 will be described later with reference to FIGS. 4 and 5.

상기 비디오 믹서(370)는 주화면 수신부(310)로부터 전송되는 주화면 영상신호에 부화면 처리부(360)로부터 전송되는 PIP 영상신호를 믹싱하여 출력한다.The video mixer 370 mixes and outputs the PIP video signal transmitted from the sub-screen processing unit 360 to the main screen video signal transmitted from the main screen receiving unit 310.

이때, 상기 비디오 믹서(370)는 주화면 정보처리부(320)로부터 전송되는 주화면 정보, 부화면 정보처리부(350)로부터 전송되는 부화면 정보를 주화면 영상신호에 믹싱하여 출력할 수 있다.
At this time, the video mixer 370 may mix and output main screen information transmitted from the main screen information processing unit 320 and sub screen information transmitted from the sub screen information processing unit 350 to the main screen image signal.

도 4는 도 3의 부화면 처리부의 상세한 구성을 도시한 블록도이다. 설명의 편의를 위하여, 이하에서는 부화면 처리부의 구성에 대해서 400번대 도면부호로 표기한다.FIG. 4 is a block diagram showing a detailed configuration of the sub-screen processing unit of FIG. 3. For convenience of description, hereinafter, the configuration of the sub-screen processing unit is denoted by reference numeral 400.

도 4를 참조하면, 부화면 처리부(360)는 채널 선택기(410), 다운 스케일러(320), 입력 버퍼(330), 부호화기(340), 채널 버퍼부(450) 및 복호화기(460)로 구성된다.Referring to FIG. 4, the sub-screen processing unit 360 includes a channel selector 410, a down scaler 320, an input buffer 330, an encoder 340, a channel buffer unit 450, and a decoder 460. do.

상기 채널 선택기(410)는 본 발명의 부화면 처리부가 주화면에 다채널의 부화면을 믹싱하는 경우에 적용 가능하도록 구비되는 것으로, 다채널 부화면 영상신호가 입력되면, 순차적으로 채널을 선택하여, 부화면 영상을 출력한다. 이때, 상기 채널 선택기(410)는 채널별로 입력되는 부화면 영상신호를 프레임 단위로 선택한다.The channel selector 410 is provided to be applicable when the sub-screen processing unit of the present invention mixes multi-channel sub-screens on the main screen. When a multi-channel sub-screen video signal is input, the channels are sequentially selected. , Display the sub-screen image. At this time, the channel selector 410 selects a sub-screen image signal input for each channel in units of frames.

또한, 상기 채널 선택기(410)는 다채널 부화면 영상신호와 대응하여 입력되는 부화면 정보를 수신하여, 부화면 영상과 함께 부화면 영상과 대응하는 부화면 정보를 출력한다.In addition, the channel selector 410 receives sub-screen information input corresponding to the multi-channel sub-screen video signal, and outputs sub-screen information corresponding to the sub-screen video together with the sub-screen video.

상기 채널 선택기(410)로부터 출력되는 부화면 영상과 부화면 정보는 다운 스케일러(420)로 입력되며, 다운 스케일러(420)는 입력되는 부화면 영상의 크기를 PIP 정보를 바탕으로 축소시켜 PIP 영상을 출력한다. The sub-screen image and sub-screen information output from the channel selector 410 are input to the down scaler 420, and the down scaler 420 reduces the size of the input sub-screen image based on the PIP information to reduce the PIP image. Output.

이때, 상기 다운 스케일러(420)는 PIP 정보에 포함된 PIP 화면 크기에 적합하도록 부화면 영상의 크기를 축소시킨다.At this time, the down scaler 420 reduces the size of the sub-screen image to fit the PIP screen size included in the PIP information.

상기 입력 버퍼(430)는 다운 스케일러(420)로부터 출력되는 PIP 영상을 임시 저장하여 부호화기(440)로 출력하고, 상기 부호화기(440)는 입력 버퍼(430)로부터 입력되는 PIP 영상을 압축하여 출력한다. 이때, 상기 부호화기(440)는 JPEG와 JPEG-2000 등 정지영상을 압축하는 방식 또는 MPEG, H.264 등 동영상을 압축하는 방식을 이용하여 PIP 영상신호를 압축한다.The input buffer 430 temporarily stores the PIP image output from the down scaler 420 and outputs it to the encoder 440, and the encoder 440 compresses and outputs the PIP image input from the input buffer 430. . At this time, the encoder 440 compresses a PIP video signal using a method of compressing still images such as JPEG and JPEG-2000, or a method of compressing video such as MPEG and H.264.

상기 채널 버퍼부(450)는 다수의 채널 버퍼로 구성되며, 각 채널 버퍼는 다채널을 구성하는 채널 각각과 대응한다.The channel buffer unit 450 is composed of a plurality of channel buffers, and each channel buffer corresponds to each channel constituting multiple channels.

따라서, 상기 채널 버퍼부(450)는 부호화기(440)로부터 입력되는 압축 PIP 영상신을 대응하는 채널 버퍼로 저장한다.Accordingly, the channel buffer unit 450 stores the compressed PIP video signal input from the encoder 440 as a corresponding channel buffer.

상기 복호화기(460)는 상기 채널 버퍼부(450)로부터 출력되는 압축 PIP 영상을 수신 및 복원하여, 채널별 지정된 위치에 표시할 수 있도록, 동기화 신호에 따라서 데이터를 선택하여 도 3의 비디오 믹서(370)로 특정 시간에 출력한다. The decoder 460 receives and restores the compressed PIP image output from the channel buffer unit 450 and selects data according to a synchronization signal so that it can be displayed at a designated location for each channel, and the video mixer of FIG. 3 ( 370) at a specific time.

이때, 상기 복호화기(460)는 PIP 영상을 정해진 시간에 맞게 비디오 믹서(370)로 출력해야 한다. 따라서, 상기 복호화기(460)로는 처리시간을 예측하여 복호화 과정에 소요되는 시간만큼 미리 데이터를 처리하고, 이후 연속적으로 PIP 영상을 출력하는 파이프라인 복호화기를 사용한다. 따라서, 본 발명은 종래 기술과 달리 최종적으로 비디오 믹서(370)로 출력되는 영상을 출력 버퍼를 이용하지 않아도 되는 장점을 가진 것이다. At this time, the decoder 460 should output the PIP image to the video mixer 370 according to a predetermined time. Therefore, the decoder 460 uses a pipeline decoder that predicts processing time, processes data in advance for a time required for the decoding process, and then continuously outputs a PIP image. Accordingly, the present invention has an advantage that an image that is finally output to the video mixer 370 does not need to use an output buffer, unlike the prior art.

상기 복호화기(460)의 상세한 구성 및 동작에 대해서는 도 5를 참조하여 이하에서 상술하도록 한다.
The detailed configuration and operation of the decoder 460 will be described below with reference to FIG. 5.

도 5는 도 4의 복호화기의 구체적인 구성을 도시한 블록도이고, 도 6은 복호화기의 복호 라인 선택기에 의해 데이터가 선택되는 과정을 도시한 예시도이다.FIG. 5 is a block diagram showing a specific configuration of the decoder of FIG. 4, and FIG. 6 is an exemplary diagram showing a process in which data is selected by a decoder of a decoder.

설명의 편의를 위하여, 이하에서는 복호화기의 구성에 대해서 500번대 도면부호로 표기한다.For convenience of description, hereinafter, the configuration of the decoder is denoted by 500 reference numerals.

도 5를 참조하면, 본 발명의 실시 예에 따른 복호화기(460)는 제 1 복호화기(510), 제 2 복호화기(520), 역 양자화기(530), 역 이산 코사인 변환기(Inverse Discrete Cosine Transform : IDCT)(540), 복호 라인 선택기(550) 및 컬러 포맷 변환기(560)로 구성된다.Referring to FIG. 5, the decoder 460 according to an embodiment of the present invention includes a first decoder 510, a second decoder 520, an inverse quantizer 530, and an inverse discrete cosine converter. Transform: IDCT (540), decoding line selector 550 and color format converter (560).

상기 제 1 복호화기(510)는 도 4의 채널 버퍼부(450)로부터 제공되는 PIP 영상을 허프만 복호 방식에 따라 복호하고, 상기 제 2 복호화기(520)는 제 1 복호화기(510)로부터 입력되는 허프만 복호된 PIP 영상을 가변길이 복호 방식에 따라 복호한다.The first decoder 510 decodes the PIP image provided from the channel buffer unit 450 of FIG. 4 according to the Huffman decoding method, and the second decoder 520 inputs from the first decoder 510 The Huffman decoded PIP image is decoded according to the variable length decoding method.

따라서, 도 4의 채널 버퍼부(450)로부터 제공되는 PIP 영상은 제 1 복호화기(510) 및 제 2 복호화기(520)를 통과하면서 복호되어 역 양자화기(530)로 입력된다. 이때, 제 1 복호화기(510)는 허프만 복호화기이고, 제 2 복호화기(520)는 가변길이 복호화기일 수 있다.Accordingly, the PIP image provided from the channel buffer unit 450 of FIG. 4 is decoded while passing through the first decoder 510 and the second decoder 520 and input to the inverse quantizer 530. In this case, the first decoder 510 may be a Huffman decoder, and the second decoder 520 may be a variable length decoder.

상기 제 1 및 제 2 복호화기(510, 520)를 통과하면서 복호된 PIP 영상은 역 양자화기(530)로 입력되고, 역 양자화기(530)는 복호된 PIP 영상을 역 양자화하여 역 이산 코사인 변환기(540)로 출력한다. 이때, 상기 역 양자화기(530)는 복호된 PIP 영상을 8×8 매크로 블록 단위로 역 양자화하여 역 이산 코사인 변환기(540)로 출력한다.The PIP image decoded while passing through the first and second decoders 510 and 520 is input to an inverse quantizer 530, and the inverse quantizer 530 inverse quantizes the decoded PIP image to inverse discrete cosine converter. It outputs as 540. At this time, the inverse quantizer 530 inversely quantizes the decoded PIP image in units of 8×8 macroblocks and outputs it to the inverse discrete cosine converter 540.

상기 역 이산 코사인 변환기(540)는 8×8 매크로 블록 단위로 역 양자화된 PIP 영상신호를 역 이산 코사인 변환시켜 복호 라인 선택기(550)로 출력한다.The inverse discrete cosine converter 540 converts the inverse quantized PIP video signal in 8×8 macroblock units into an inverse discrete cosine and outputs the decoded line cosine to the decoding line selector 550.

상기 복호 라인 선택기(550)는 역 이산 코사인 변환된 PIP 영상을 수신하고, 동기화 신호(HSYNC)에 맞춰 PIP 영상을 출력한다.The decoding line selector 550 receives the inverse discrete cosine transformed PIP image and outputs the PIP image according to the synchronization signal HSYNC.

이때, 도 6에 도시되어 있는 바와 같이, 상기 복호 라인 선택기(550)는 라인별로 PIP 영상을 출력하며, 따라서, 첫 번째 동기화 신호에 맞춰 매크로 블록 단위의 PIP 영상에서 첫 번째 라인에 해당하는 PIP 영상을 출력하고, 두 번째 동기화 신호에 맞춰 매크로 블록 단위의 PIP 영상에서 두 번째 라인에 해당하는 PIP 영상을 출력한다.At this time, as shown in FIG. 6, the decode line selector 550 outputs a PIP image for each line, and accordingly, according to a first synchronization signal, a PIP image corresponding to a first line in a PIP image of a macroblock unit. And outputs the PIP image corresponding to the second line from the macro block unit PIP image according to the second synchronization signal.

상기 컬러 포맷 변환기(560)는 복호 라인 선택기(550)로부터 출력되는 PIP 영상의 컬러 포맷을 변환하기 위한 것으로, YCbCr 포맷의 PIP 영상을 RGB 포맷의 PIP 영상으로 변환하여 최종적으로 PIP 영상을 출력한다.The color format converter 560 is for converting a color format of a PIP image output from the decoding line selector 550, and finally converts a PIP image in YCbCr format to a PIP image in RGB format and finally outputs a PIP image.

즉, 본 발명의 실시 예에 따른 복호기에 의한 복호 방법을 간략하게 살펴보면, 도 4의 채널 버퍼부(450)로부터 제공되는 PIP 영상은 제 1 복호화기(510), 가변길이 복호화기(520), 역 양자화기(530) 및 역 이산 코사인 변환기(540)를 거쳐 8×8 매크로 블록 단위로 복호되고, 복호 라인 선택기(550)가 복호된 PIP 영상에서 동기화 신호에 맞춰 라인별로 PIP 영상을 출력하고, 컬러 포맷 변환기(560)가 최종적으로 PIP 영상의 컬러 포맷을 변환하여 출력한다.
That is, briefly looking at a decoding method using a decoder according to an embodiment of the present invention, the PIP image provided from the channel buffer unit 450 of FIG. 4 includes a first decoder 510, a variable length decoder 520, Decoded in units of 8×8 macroblocks through an inverse quantizer 530 and an inverse discrete cosine converter 540, the decoded line selector 550 outputs a PIP image for each line according to a synchronization signal from the decoded PIP image, The color format converter 560 finally converts and outputs the color format of the PIP image.

이하에서는 본 발명의 실시 예에 따른 다채널 부화면 처리장치와 상응하는 다채널 부화면 처리방법에 대해서 도 7을 참조하여 설명하도록 한다.Hereinafter, a multi-channel sub-screen processing apparatus and a corresponding multi-channel sub-screen processing method according to an embodiment of the present invention will be described with reference to FIG. 7.

도 7은 본 발명의 실시 예에 따른 다채널 부화면 처리방법에 따른 과정을 도시한 플로우챠트이다.7 is a flowchart illustrating a process according to a multi-channel sub-screen processing method according to an embodiment of the present invention.

도 7을 참조하면, 먼저, 채널 선택기(410)가 부화면 영상신호가 입력되는 다수의 채널을 순차적으로 선택하여, 부화면 영상을 출력한다(S710). Referring to FIG. 7, first, the channel selector 410 sequentially selects a plurality of channels through which a sub-screen image signal is input, and outputs a sub-screen image (S710).

다음으로, 다운 스케일러(420)가 상기 채널 선택기에 의해 선택되어 출력되는 부화면 영상을 외부에서 입력되는 PIP 정보를 바탕으로 축소시켜 PIP 영상을 출력한다(S720).Next, the down scaler 420 reduces the sub-screen image selected and output by the channel selector based on PIP information input from the outside and outputs a PIP image (S720).

다음으로, 부호화기(440)가 PIP 영상을 입력 버퍼(430)를 통해 전달받아 압축하여 출력한다(S730). 이때, 단계 S730에 있어서 압축은 정지영상을 압축하는 방식 또는 동영상을 압축하는 방식에 의해 이루어질 수 있다.Next, the encoder 440 receives the PIP image through the input buffer 430, compresses it, and outputs it (S730). At this time, in step S730, compression may be performed by a method of compressing a still image or a method of compressing a video.

다음으로, 채널 버퍼부(450)가 단계 S730에 따라 출력되는 PIP 영상을 부화면 영상 신호가 입력된 채널과 대응하는 채널 버퍼(450)로 저장한다(S740). Next, the channel buffer unit 450 stores the PIP image output according to step S730 as a channel buffer 450 corresponding to the channel to which the sub-screen image signal is input (S740).

이때, 상기 채널 버퍼부(450)는 다수의 채널과 대응하는 다수의 채널 버퍼로 구성되며, 단계 S740에 따라 PIP 영상을 채널 버퍼에 저장하는 경우, PIP 영상을 부화면 영상 신호가 입력된 채널과 대응하는 채널 버퍼에 저장한다.At this time, the channel buffer unit 450 is composed of a plurality of channel buffers corresponding to a plurality of channels, and when storing the PIP image in the channel buffer according to step S740, the PIP image and the channel to which the sub-picture video signal is input Store in the corresponding channel buffer.

다음으로, 복호화기(460)가 채널 버퍼부(450)에 저장된 압축된 PIP 영상을 수신 및 복원하여, 복원된 PIP 영상을 출력한다(S750).
Next, the decoder 460 receives and restores the compressed PIP image stored in the channel buffer unit 450, and outputs the restored PIP image (S750).

이하에서는 도 7의 다채널 부화면 처리방법에 있어서의 복호화기에 의해 복호되는 단계에 대해서 도 8을 참조하여 좀 더 구체적으로 설명하도록 한다.Hereinafter, the steps decoded by the decoder in the multi-channel sub-picture processing method of FIG. 7 will be described in more detail with reference to FIG. 8.

도 8은 본 발명의 실시 예에 따른 다채널 부화면 처리방법에 있어 복호 단계를 구체적으로 도시한 플로우챠트이다.8 is a flowchart specifically showing a decoding step in a multi-channel sub-screen processing method according to an embodiment of the present invention.

도 8을 참조하면, 도 7의 단계 S740에 따라 채널 버퍼에 저장된 압축된 PIP 영상을 제공받아, 허프만 복호 방식에 따라 복호하고(S810), 허프만 복호 방식에 따라 복호된 PIP 영상을 가변길이 복호 방식에 따라 복호한다(S820). 따라서 본 발명에 있어 PIP 영상은 허프만 복호 방식과 가변길이 복호 방식에 의해 두 단계를 거쳐 복호된다.8, the compressed PIP image stored in the channel buffer is provided according to step S740 of FIG. Decode according to the (S820). Therefore, in the present invention, the PIP image is decoded in two steps by the Huffman decoding method and the variable length decoding method.

이후, 가변길이 복호 방식에 따라 복호된 PIP 영상을 역 양자화하고(S830), 역 양자화된 PIP 영상을 역 이산 코사인 변환시킨다(S840). Thereafter, the decoded PIP image is inverse quantized according to the variable length decoding method (S830), and the inverse quantized PIP image is inverse discrete cosine transform (S840).

이때, 단계 S830에 따라 PIP 영상을 역 양자화하는 경우, 가변길이 복호 방식에 의해 복호된 PIP 영상을 8×8 매크로 블럭 단위로 역 양자화한다.At this time, when inverse quantizing the PIP image according to step S830, the PIP image decoded by the variable length decoding method is inverse quantized in units of 8×8 macroblocks.

단계 S840에 따라 PIP 영상을 역 이산 코사인 변환시킨 후, 역 이산 코사인 변환된 PIP 영상을 도 5에 도시된 복호 라인 선택기(550)를 통해 선별적으로 데이터를 선택하고 동기화 신호에 맞춰 출력한다(S850).After the inverse discrete cosine transform is performed on the PIP image according to step S840, the inverse discrete cosine transformed PIP image is selectively selected through the decoding line selector 550 illustrated in FIG. 5 and output according to the synchronization signal (S850). ).

그리고, 동기화 신호에 맞춰 출력되는 역 이산 코사인 변환된 PIP 영상의 컬러 포맷을 변환하여 복원된 PIP 영상을 출력한다(S860).Then, the color format of the inverse discrete cosine transformed PIP image output according to the synchronization signal is converted to output the restored PIP image (S860).

한편, 단계 S850에 따라 PIP 영상을 출력하는 경우, 동기화 신호에 맞춰 상기 PIP 영상을 라인별로 선택하여 출력한다.
Meanwhile, when a PIP image is output according to step S850, the PIP image is selected for each line and output according to a synchronization signal.

한편, 본 발명에 따른 다채널 부화면 처리장치 및 처리방법을 실시 예에 따라 설명하였지만, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 본 발명과 관련하여 통상의 지식을 가진 자에게 자명한 범위 내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.
On the other hand, although the multi-channel sub-screen processing apparatus and processing method according to the present invention have been described according to embodiments, the scope of the present invention is not limited to specific embodiments, and is apparent to those skilled in the art in connection with the present invention. Various alternatives, modifications and changes can be implemented within a scope.

따라서, 본 발명에 기재된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
Therefore, the embodiments and the accompanying drawings described in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments and the accompanying drawings. . The scope of protection of the present invention should be interpreted by the claims, and all technical spirits within the scope equivalent thereto should be interpreted as being included in the scope of the present invention.

300 : 화면 처리 시스템 310 : 주화면 수신부
320 : 주화면 정보처리부 330 : 부화면 수신부
340 : PIP 정보처리부 350 : 부화면 정보처리부
360 : 부화면 처리부 370 : 비디오 믹서
410 : 채널 선택기 420 : 다운 스케일러
430 : 입력 버퍼 440 : 부호화기
450 : 채널 버퍼부 460 : 복호화기
510 : 허프만 복호화기 520 : 가변길이 복호화기
530 : 역 양자화기 540 : 역 이산 코사인 변환기(IDCT)
550 : 복호 라인 선택기 560 : 컬러 포맷 변환기300: screen processing system 310: main screen receiving unit
320: main screen information processing unit 330: sub-screen receiving unit
340: PIP information processing unit 350: sub-screen information processing unit
360: sub-screen processing unit 370: video mixer
410: channel selector 420: down scaler
430: input buffer 440: encoder
450: channel buffer unit 460: decoder
510: Huffman decoder 520: variable length decoder
530: inverse quantizer 540: inverse discrete cosine converter (IDCT)
550: decoding line selector 560: color format converter

Claims (6)

부화면 영상신호가 입력되는 다수의 채널을 순차적으로 선택하여, 부화면 영상을 출력하는 채널 선택기;
상기 채널 선택기에 의해 선택되어 출력되는 부화면 영상을 외부에서 입력되는 PIP 정보를 바탕으로 축소시켜 PIP 영상을 출력하는 다운 스케일러;
상기 PIP 영상을 입력 버퍼를 통해 전달받아 압축하여 출력하는 부호화기;
상기 다수의 채널과 대응하는 다수의 채널 버퍼로 구성되어, 상기 부호화기로부터 출력되는 압축된 PIP 영상을 부화면 영상 신호가 입력된 채널과 대응하는 채널 버퍼로 저장하는 채널 버퍼부; 및
상기 채널 버퍼부로부터 전송되는 상기 압축된 PIP 영상을 수신 및 허프만 및 가변 길이 복호 방식을 기반으로 복원하여, 매크로 블록 단위로 복원된 PIP 영상을 동기화 신호에 맞춰 라인별로 선택하여 출력하는 복호화기;
를 포함하는 다채널 부화면 처리장치.
A channel selector for sequentially selecting a plurality of channels to which sub-screen image signals are input and outputting sub-screen images;
A down scaler for reducing a sub-screen image selected and output by the channel selector based on PIP information input from the outside and outputting a PIP image;
An encoder that receives the PIP image through an input buffer and compresses and outputs it;
A channel buffer unit composed of a plurality of channel buffers corresponding to the plurality of channels, and storing the compressed PIP image output from the encoder as a channel buffer corresponding to a channel to which a sub-screen image signal is input; And
A decoder that receives and restores the compressed PIP image transmitted from the channel buffer unit based on a Huffman and variable length decoding method, and selects and outputs the PIP image restored in units of macro blocks on a line-by-line basis according to a synchronization signal;
Multi-channel sub-screen processing apparatus comprising a.
제 1 항에 있어서,
상기 부호화기는 정지영상을 압축하는 방식 또는 동영상을 압축하는 방식을 이용하여 상기 PIP 영상을 압축하는 것인 다채널 부화면 처리장치.
According to claim 1,
The encoder is a multi-channel sub-picture processing apparatus that compresses the PIP image using a method of compressing a still image or a method of compressing a video.
제 1 항에 있어서,
상기 복호화기는,
상기 압축된 PIP 영상을 허프만 복호 방식에 따라 복호 및 출력하는 허프만 복호화기;
상기 허프만 복호화기에 의해 복호된 PIP 영상을 가변길이 복호 방식에 따라 복호 및 출력하는 가변길이 복호화기;
상기 가변길이 복호화기에 의해 복호된 PIP 영상을 역 양자화하여 출력하는 역 양자화기;
상기 역 양자화기에 의해 역 양자화된 PIP 영상을 역 이산 코사인 변환시켜 출력하는 역 이산 코사인 변환기;
상기 역 이산 코사인 변환기에 의해 역 이산 코사인 변환된 PIP 영상을 수신하고, 상기 동기화 신호에 맞춰 역 이산 코사인 변환된 PIP 영상을 출력하는 복호 라인 선택기; 및
상기 복호 라인 선택기에 의해 선택되어 출력되는 역 이산 코사인 변환된 PIP 영상의 컬러 포맷을 변환하여 복원된 PIP 영상을 출력하는 컬러 포맷 변환기를 포함하는 것인 다채널 부화면 처리장치.
According to claim 1,
The decoder,
A Huffman decoder that decodes and outputs the compressed PIP image according to a Huffman decoding scheme;
A variable length decoder that decodes and outputs a PIP image decoded by the Huffman decoder according to a variable length decoding method;
An inverse quantizer that inversely quantizes and outputs a PIP image decoded by the variable length decoder;
An inverse discrete cosine converter for inverse discrete cosine transform and outputting the inverse quantized PIP image by the inverse quantizer;
A decoding line selector receiving the inverse discrete cosine transformed PIP image by the inverse discrete cosine converter and outputting an inverse discrete cosine transformed PIP image according to the synchronization signal; And
And a color format converter for converting the color format of the inverse discrete cosine transformed PIP image selected and output by the decoding line selector and outputting the restored PIP image.
제 3 항에 있어서,
상기 역 양자화기는 상기 가변길이 복호화기에 의해 복호된 PIP 영상을 8×8 매크로 블럭 단위로 역 양자화하여 출력하고,
상기 복호 라인 선택기는 상기 동기화 신호에 맞춰 상기 PIP 영상을 라인별로 선택하여 출력하는 것인 다채널 부화면 처리장치.
The method of claim 3,
The inverse quantizer inversely quantizes and outputs a PIP image decoded by the variable length decoder in units of 8×8 macroblocks,
The decoding line selector selects and outputs the PIP image line by line in accordance with the synchronization signal.
부화면 영상신호가 입력되는 다수의 채널을 순차적으로 선택하여, 부화면 영상을 출력하는 단계;
상기 부화면 영상을 외부에서 입력되는 PIP 정보를 바탕으로 축소시켜 PIP 영상을 출력하는 단계;
상기 PIP 영상을 압축하여 출력하는 단계;
상기 PIP 영상을 압축하여 출력하는 단계에 따라 출력되는 PIP 영상을 부화면 영상 신호가 입력된 채널과 대응하는 채널 버퍼로 저장하는 단계; 및
상기 채널 버퍼에 저장된 압축된 PIP 영상을 수신 및 허프만 및 가변 길이 복호 방식을 기반으로 복원하여, 매크로 블록 단위로 복원된 PIP 영상을 동기화 신호에 맞춰 라인 별로 선택하여 출력하는 단계;
를 포함하는 다채널 부화면 처리방법.
Sequentially selecting a plurality of channels to which sub-screen image signals are input and outputting sub-screen images;
Reducing the sub-screen image based on PIP information input from the outside to output a PIP image;
Compressing and outputting the PIP image;
Storing the PIP image output according to the step of compressing and outputting the PIP image as a channel buffer corresponding to a channel to which a sub-screen image signal is input; And
Receiving the compressed PIP image stored in the channel buffer and restoring it based on Huffman and variable length decoding, and selecting and outputting the restored PIP image in units of macro blocks on a line-by-line basis according to a synchronization signal;
Multi-channel sub-screen processing method comprising a.
제 5 항에 있어서,
상기 복원된 PIP 영상을 출력하는 단계는,
상기 압축된 PIP 영상을 허프만 복호 방식에 따라 복호하는 단계;
허프만 복호 방식에 따라 복호된 PIP 영상을 가변길이 복호 방식에 따라 복호하는 단계;
상기 가변길이 복호 방식에 따라 복호된 PIP 영상을 역 양자화하는 단계;
역 양자화된 PIP 영상을 역 이산 코사인 변환시키는 단계;
역 이산 코사인 변환된 PIP 영상을 수신하고, 상기 동기화 신호에 맞춰 역 이산 코사인 변환된 PIP 영상 중 선별적인 데이터를 출력하는 단계; 및
상기 동기화 신호에 맞춰 출력되는 역 이산 코사인 변환된 PIP 영상의 컬러 포맷을 변환하여 복원된 PIP 영상을 출력하는 단계를 포함하는 것인 다채널 부화면 처리방법.
The method of claim 5,
The step of outputting the restored PIP image,
Decoding the compressed PIP image according to a Huffman decoding method;
Decoding a PIP image decoded according to the Huffman decoding method according to a variable length decoding method;
Inverse quantizing a decoded PIP image according to the variable length decoding method;
Inverse discrete cosine transforming the inverse quantized PIP image;
Receiving an inverse discrete cosine transformed PIP image and outputting selective data among inverse discrete cosine transformed PIP images according to the synchronization signal; And
And outputting the restored PIP image by converting the color format of the inverse discrete cosine transformed PIP image output according to the synchronization signal.
KR1020140125894A 2014-09-22 2014-09-22 Apparatus and method for processing Multi-channel PIP KR102113759B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140125894A KR102113759B1 (en) 2014-09-22 2014-09-22 Apparatus and method for processing Multi-channel PIP

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140125894A KR102113759B1 (en) 2014-09-22 2014-09-22 Apparatus and method for processing Multi-channel PIP

Publications (2)

Publication Number Publication Date
KR20160034662A KR20160034662A (en) 2016-03-30
KR102113759B1 true KR102113759B1 (en) 2020-06-02

Family

ID=55660278

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140125894A KR102113759B1 (en) 2014-09-22 2014-09-22 Apparatus and method for processing Multi-channel PIP

Country Status (1)

Country Link
KR (1) KR102113759B1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10285552A (en) * 1997-04-01 1998-10-23 Nippon Columbia Co Ltd Reproducing device
KR101303258B1 (en) * 2006-07-10 2013-09-02 주식회사 더블유알지 Device and method for displaying multi-screen in digital broadcasting receiver
KR100836456B1 (en) * 2006-11-02 2008-06-09 주식회사 대우일렉트로닉스 A recording display device for multi channel and the method thereof
US8698958B2 (en) * 2010-06-16 2014-04-15 Silicon Image, Inc. Mechanism for memory reduction in picture-in-picture video generation

Also Published As

Publication number Publication date
KR20160034662A (en) 2016-03-30

Similar Documents

Publication Publication Date Title
US8860781B2 (en) Texture compression in a video decoder for efficient 2D-3D rendering
US8923613B2 (en) Image compression device, image compression method, integrated circuit, program, and picture display apparatus
JP5777080B2 (en) Lossless coding and related signaling methods for composite video
KR101056096B1 (en) Method and system for motion compensated frame rate up-conversion for both compression and decompression video bitstreams
WO2010092740A1 (en) Image processing apparatus, image processing method, program and integrated circuit
EP3354031A1 (en) Video decoder conformance for high dynamic range (hdr) video coding using a core video standard
WO2017192207A1 (en) Hybrid graphics and pixel domain architecture for 360 degree video
US20140086318A1 (en) Video compression with color space scalability
CA2997241A1 (en) Image processing device and image processing method
US20140086316A1 (en) Video compression with color space scalability
EP2760203A1 (en) Video-encoding method, video-decoding method, and apparatus implementing same
TWI626841B (en) Adaptive processing of video streams with reduced color resolution
CA2737842A1 (en) Remote user interface
JP2023171607A (en) Method, device, and computer program for wraparound motion compensation with reference picture resampling
US9275434B2 (en) Phase control multi-tap downscale filter
US20110085023A1 (en) Method And System For Communicating 3D Video Via A Wireless Communication Link
US20220109843A1 (en) Video signal processing method and device
KR102113759B1 (en) Apparatus and method for processing Multi-channel PIP
KR102281154B1 (en) Integrated spatial downsampling of video data
Wu et al. Tunneling high-resolution color content through 4: 2: 0 HEVC and AVC video coding systems
CN106954073B (en) Video data input and output method, device and system
KR20160020797A (en) Apparatus and method for processing pip for constant bit rate compression
US8929446B1 (en) Combiner processing system and method for support layer processing in a bit-rate reduction system
JP2012004898A (en) Storage device, encoding device, encoding method, and program
KR101703331B1 (en) Method and apparatus for video decoding, method and apparatus for video encoding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right