KR101223205B1 - Device and method for transmitting stereoscopic video - Google Patents

Device and method for transmitting stereoscopic video Download PDF

Info

Publication number
KR101223205B1
KR101223205B1 KR1020100103027A KR20100103027A KR101223205B1 KR 101223205 B1 KR101223205 B1 KR 101223205B1 KR 1020100103027 A KR1020100103027 A KR 1020100103027A KR 20100103027 A KR20100103027 A KR 20100103027A KR 101223205 B1 KR101223205 B1 KR 101223205B1
Authority
KR
South Korea
Prior art keywords
image
eye image
binocular video
binocular
left eye
Prior art date
Application number
KR1020100103027A
Other languages
Korean (ko)
Other versions
KR20120041532A (en
Inventor
최정아
호요성
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020100103027A priority Critical patent/KR101223205B1/en
Publication of KR20120041532A publication Critical patent/KR20120041532A/en
Application granted granted Critical
Publication of KR101223205B1 publication Critical patent/KR101223205B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명의 실시예에 따르면, 양안식 비디오 송신 장치는 제1 입력 영상 및 제2 입력 영상 각각을 다운 샘플링한 후, 다운 샘플링된 영상의 특성을 고려한 템플릿 매칭을 수행한다.
또한, 템플릿 매칭을 이용한 부호화시 우안 영상의 예측 블록 탐색시 좌안 영상으로 탐색 범위를 제한한다.
또한, 가로 해상도를 축소하는 'Side by Side' 포맷의 다운 샘플링을 수행한 후, 좌우 결합이 아닌 상하 방향으로 결합하여 부호화 순서를 변경한다.According to an embodiment of the present invention, the binocular video transmission apparatus downsamples each of the first input image and the second input image, and then performs template matching considering characteristics of the downsampled image.
In addition, the search range is limited to the left eye image when searching for the prediction block of the right eye image when encoding using template matching.
In addition, after down-sampling a 'Side by Side' format that reduces horizontal resolution, the coding order is changed by combining in a vertical direction instead of a left-right combination.

Description

양안식 비디오 송신 장치 및 그 방법{DEVICE AND METHOD FOR TRANSMITTING STEREOSCOPIC VIDEO}Binocular video transmission apparatus and method thereof {DEVICE AND METHOD FOR TRANSMITTING STEREOSCOPIC VIDEO}

본 발명은 양안식 비디오 송신 장치 및 그 방법에 관한 것으로서, 더욱 자세하게는 양안식 영상을 부호화하여 송신하는 장치 및 그 방법에 관한 것이다.The present invention relates to a binocular video transmission apparatus and a method thereof, and more particularly, to an apparatus and method for encoding and transmitting a binocular video.

양안식 비디오 시스템은 인간의 시각 구조를 모방한 좌, 우 두 개의 2차원 영상을 이용해 3차원 영상을 입출력한다. 양안식 입체 영상의 기본 원리는 인간의 시각 시스템이 왼쪽 눈과 오른쪽 눈의 위치 차이에 의해 서로 다른 영상이 들어오고, 뇌는 그것을 입체로 받아들여 거리감을 갖게되는 과정에서 입체감을 형성하게 된다는 것이다. 이러한 양안식 비디오 시스템은 현재 3D 입체영화 및 3D 입체방송에 이용되고 있다.The binocular video system inputs and outputs a 3D image using two left and right two-dimensional images that mimic the human visual structure. The basic principle of the binocular stereoscopic image is that the human visual system receives different images due to the difference between the position of the left eye and the right eye, and the brain takes it as a stereoscopic image and forms a stereoscopic sense in the process of having a sense of distance. Such binocular video systems are currently used in 3D stereoscopic movies and 3D stereoscopic broadcasting.

그런데 양안식 비디오 시스템의 경우, 기존의 2차원 영상의 두 배에 해당하는 데이터를 입력으로 사용하기 때문에 부호화후 전송해야 하는 데이터의 양이 기존 2차원 비디오 시스템의 두 배이다. 따라서, 양안식 영상의 전송을 위해서는 기존의 2차원 비디오 시스템보다 큰 대역폭이 필요하다. However, in the binocular video system, since the data corresponding to twice the existing two-dimensional image is used as an input, the amount of data to be transmitted after encoding is twice that of the conventional two-dimensional video system. Therefore, the transmission of binocular image requires a larger bandwidth than the conventional two-dimensional video system.

그런데 최근 미디어 처리 시스템이 사용하는 영상의 크기가 빠르게 증가하는 것과 함께 보다 많은 영상 프레임을 요구하는 것을 고려할 때, 시스템에서 요구하는 메모리의 대역폭을 줄이는 기술이 필요한 실정이다.However, considering the recent increase in the size of the image used by the media processing system and the demand for more image frames, a technique for reducing the bandwidth of the memory required by the system is needed.

한편, 양안식 비디오 시스템은 송신단에서는 좌우 영상을 입력받아 부호화를 수행한 후 전송하고, 수신단에서는 전송받은 비트 스트림을 복호한 후 양안식 입체 디스플레이에서 지원하는 포맷으로 변환하여 출력한다.On the other hand, the binocular video system receives a left and right image from the transmitter and performs encoding after transmission, and the receiver receives the decoded bit stream and converts it into a format supported by the binocular stereoscopic display and outputs the converted bit stream.

여기서, 양안식 입체 디스플레이는 다음 표 1과 같은 다양한 포맷으로 제공되고 있으나 현재까지는 표준화된 규격은 존재하고 있지 않다.Here, the binocular stereoscopic display is provided in various formats as shown in Table 1 below, but there is no standardized standard.

구분division 특징Characteristic Field SequenceField sequence 좌우 영상을 Field 단위로 번갈아가면서 입체 Frame을 형성함Three-dimensional frame is formed by alternating left and right images by field unit InterlacedInterlaced 좌우 영상을 line 단위로 번갈아가면서 입체 Frame을 형성함Three-dimensional frame is formed by alternating left and right images in line units Top and BottomTop and Bottom 좌우 영상을 위, 아래로 붙여서 하나의 Frame을 형성함Form one frame by attaching left and right images up and down Side by SideSide by Side 좌우 영상을 좌우로 붙여서 하나의 Frame을 형성함Form one frame by attaching left and right images left and right 색분리 방식Color Separation Method 좌우 영상을 색성분(적-청)을 이용하여 합성함Combining left and right images using color components (red-blue)

위 표 1에 보인 포맷 중에서 상업적으로 가장 많이 사용되는 포맷은 'Side by Side'와 'Top and Bottom'이며, 도 1을 통해 도식화하였다.Among the formats shown in Table 1 above, commercially used formats are 'Side by Side' and 'Top and Bottom', and are illustrated in FIG. 1.

도 1은 종래의 양안식 영상 포맷 구성을 나타낸다.1 shows a conventional binocular image format configuration.

도 1을 참조하면, 가로 'W', 세로 'H'의 해상도를 가진 좌안 영상 및 우안 영상을 'Top and Bottom' 포맷으로 변환하면, 도 1의 (a)와 같다. 즉 좌안 영상 및 우안 영상 각각의 세로 해상도를 'H/2'만큼 다운 샘플링한 후 수직 방향으로 결합하여 하나의 영상으로 변환하는 것이다.Referring to FIG. 1, when a left eye image and a right eye image having a resolution of horizontal “W” and vertical “H” are converted into a “Top and Bottom” format, it is as shown in FIG. 1A. In other words, the vertical resolution of each of the left eye image and the right eye image is downsampled by 'H / 2', and then combined in the vertical direction to be converted into a single image.

또한, 가로 'W', 세로 'H'의 해상도를 가진 좌안 영상 및 우안 영상을 'Side by Side' 포맷으로 변환하면, 도 1의 (b)와 같다. 즉 좌안 영상 및 우안 영상 각각의 가로 해상도를 'W/2'만큼 다운 샘플링한 후 좌우 방향으로 결합하여 하나의 영상으로 변환하는 것이다.In addition, when the left eye image and the right eye image having the resolution of horizontal 'W' and vertical 'H' are converted into 'Side by Side' format, it is as shown in FIG. In other words, the horizontal resolution of each of the left eye image and the right eye image is down-sampled by 'W / 2', and then combined in the left and right directions to be converted into a single image.

한편, 종래에 화면의 부호화 및 복호화를 위한 방법으로 템플릿 매칭(template matching)이 사용되고 있다. 템플릿 매칭은 주변의 화소값을 이용해 가장 최적의 예측 블록을 탐색하는 방식이다.Meanwhile, template matching has been conventionally used as a method for encoding and decoding a picture. Template matching uses a neighboring pixel value to search for the most optimal prediction block.

이때, 예측 블록의 탐색은 왼쪽->오른쪽으로, 그리고 위->아래로 순차적으로 이루어진다. At this time, the search of the prediction block is performed sequentially from left to right and up to down.

도 2는 종래의 양안식 영상 포맷 영상의 부호화를 위한 탐색 영역을 나타낸다. 즉 종래의 'Side by Side' 포맷의 양안식 영상에 대한 탐색 영역 방식을 적용한 예를 나타낸다.2 illustrates a search region for encoding a conventional binocular image format image. That is, an example of applying a conventional search area method for a binocular image having a 'Side by Side' format is shown.

도 2를 참조하면, 탐색 영역(10) 내에서 'Side by Side' 포맷의 우안 영상의 참조 블록(20)의 주변 화소(30)와 유사한 주변 화소(30)를 가지는 예측 블록을 탐색한다. Referring to FIG. 2, a prediction block having a peripheral pixel 30 similar to the peripheral pixel 30 of the reference block 20 of the right eye image of the 'Side by Side' format in the search area 10 is searched.

그런데 좌안 영상과 우안 영상은 각기 다른 카메라를 이용하여 다른 각도, 시점에서 촬영된 영상이므로, 동일한 위치에 존재하는 물체라도 그 위치가 다르게 표현될 수 있다. However, since the left eye image and the right eye image are images captured at different angles and viewpoints using different cameras, the positions of the left eye image and the right eye image may be expressed differently.

예를 들어, 화면 내에서 동일한 인물의 위치가 우안 영상에서 좌안 영상보다 높은 위치에 표현될 수 있다. 이런 경우, 우안 영상의 참조 블록(20)의 주변 화소(30)와 유사한 좌안 영상의 주변 화소(30) 중에서 일부(40)는 아직 탐색 영역(10)에 포함되지 않는 문제가 발생한다.For example, the position of the same person in the screen may be expressed at a position higher than the left eye image in the right eye image. In this case, some of the peripheral pixels 30 of the left eye image similar to the peripheral pixels 30 of the reference block 20 of the right eye image may not be included in the search area 10 yet.

따라서, 예측 블록을 탐색하지 못할 뿐만 아니라 이처럼 매칭하지 않는 예측 블록 탐색하는데 소요되는 불필요한 시간으로 인해 전체 탐색 시간이 증가하는 문제가 있다.Accordingly, not only the prediction block may be searched but also the unnecessary search time for searching such a mismatched prediction block may increase the overall search time.

따라서, 본 발명이 이루고자 하는 기술적 과제는 메모리 대역폭을 감소시키고, 예측 블록 탐색 시간을 감소시킨 양안식 비디오 송신 장치 및 그 방법을 제공하는 것이다.Accordingly, an object of the present invention is to provide a binocular video transmission apparatus and method for reducing memory bandwidth and reducing prediction block search time.

본 발명의 한 특징에 따르면 양안식 비디오 송신 장치가 제공된다. 이 장치는, 제1 입력 영상 및 제2 입력 영상 각각을 다운 샘플링-여기서 다운 샘플링은 고 해상도의 영상을 저 해상도의 영상으로 변환함-한 후 하나의 영상으로 결합하여 양안식 비디오 영상을 생성하는 변환부; 상기 변환부로부터 전달받은 양안식 비디오 영상을 부호화하는 부호화부; 및 부호화된 상기 양안식 비디오 영상을 네트워크를 통해 상기 양안식 비디오 영상을 재생하는 양안식 비디오 수신 장치로 송신하는 전송부를 포함한다.According to one aspect of the invention there is provided a binocular video transmission apparatus. The apparatus comprises: downsampling each of the first input image and the second input image, where downsampling converts a high resolution image into a low resolution image and then combines them into a single image to generate a binocular video image. A conversion unit; An encoder for encoding a binocular video image received from the converter; And a transmitter for transmitting the encoded binocular video image to a binocular video receiving apparatus for reproducing the binocular video image over a network.

본 발명의 다른 특징에 따르면 양안식 비디오 송신 방법이 제공된다. 이 방법은, 양안식 비디오 송신 장치가 제1 입력 영상 및 제2 입력 영상 각각을 다운 샘플링-여기서 다운 샘플링은 고 해상도의 영상을 저 해상도의 영상으로 변환함-하는 단계; 다운 샘플링된 상기 제1 입력 영상 및 상기 제2 입력 영상을 양안식 비디오 영상을 생성하는 단계; 상기 양안식 비디오 영상을 부호화하는 단계; 및 부호화된 양안식 비디오 영상을 네트워크를 통해 상기 양안식 비디오 영상을 재생하는 양안식 비디오 수신 장치로 송신하는 단계를 포함한다.According to another aspect of the present invention, a binocular video transmission method is provided. The method includes: downsampling each of the first input image and the second input image by the binocular video transmission apparatus, wherein the down sampling converts a high resolution image into a low resolution image; Generating a binocular video image from the down-sampled first input image and the second input image; Encoding the binocular video image; And transmitting the encoded binocular video image to a binocular video receiving apparatus for reproducing the binocular video image over a network.

본 발명의 실시예에 따르면, 부호화 이전에 입력 영상을 다운 샘플링하여 데이터 크기를 줄이고, 다운 샘플링된 영상의 특성을 고려한 템플릿 매칭을 수행하여 전송해야 하는 데이터량을 감소시킴으로써 메모리 대역폭을 효율적으로 줄일 수 있다.According to an exemplary embodiment of the present invention, memory bandwidth can be efficiently reduced by downsampling an input image prior to encoding to reduce data size and by performing template matching considering the characteristics of the downsampled image to reduce the amount of data to be transmitted. have.

또한, 'Side by Side' 포맷의 다운 샘플링을 수행한 후, 좌우 결합이 아닌 상하 방향으로 결합하여 부호화 순서를 변경할 수 있으므로, 코덱에 추가적인 조건문을 삽입하지 않고도 부호화 순서 변경이 용이하다. 그리고 사전에 보정되지 않은 영상이나 사전 보정에 오차가 있는 영상일지라도 템플릿 매칭시 예측 블록의 탐색이 용이하다.In addition, since downsampling of the 'Side by Side' format is performed, the coding order may be changed by combining in the vertical direction instead of the left and right combination, so that the coding order may be easily changed without inserting an additional conditional sentence into the codec. In addition, even if the image is not corrected in advance or the image has an error in pre-correction, it is easy to search the prediction block during template matching.

또한, 템플릿 매칭을 이용한 우안 영상의 예측 블록 탐색시 좌안 영상으로 탐색 범위를 제한하여 탐색하는데 소요되는 시간을 줄일 수 있다.In addition, when searching for the prediction block of the right eye image using template matching, the time required for searching by limiting the search range to the left eye image can be reduced.

도 1은 종래의 양안식 영상 포맷 구성을 나타낸다.
도 2는 종래의 양안식 영상 포맷 영상의 부호화를 위한 탐색 영역을 나타낸다.
도 3은 본 발명의 실시예에 따른 양안식 비디오 송수신 시스템의 구성도이다.
도 4는 본 발명의 실시예에 따른 양안식 영상 포맷 구성을 나타낸다.
도 5는 본 발명의 실시예에 따른 양안식 영상 포맷 영상의 부호화를 위한 탐색 영역을 나타낸다.
도 6은 본 발명의 실시예에 따른 양안식 비디오 송수신 방법의 과정을 나타낸 흐름도이다.
도 7 및 도 8은 본 발명의 실시예에 따른 양안식 비디오 송수신 시스템의 성능을 나타낸 그래프이다.1 shows a conventional binocular image format configuration.
2 illustrates a search region for encoding a conventional binocular image format image.
3 is a block diagram of a binocular video transmission and reception system according to an embodiment of the present invention.
4 illustrates a binocular video format configuration according to an embodiment of the present invention.
5 illustrates a search region for encoding a binocular video format image according to an embodiment of the present invention.
6 is a flowchart illustrating a process of a binocular video transmission and reception method according to an embodiment of the present invention.
7 and 8 are graphs showing the performance of the binocular video transmission and reception system according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise.

이하, 도면을 참조로 하여 본 발명의 실시예에 따른 양안식 비디오 송신 장치 및 그 방법에 대하여 상세히 설명한다.Hereinafter, a binocular video transmission apparatus and method thereof according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 3은 본 발명의 실시예에 따른 양안식 비디오 송수신 시스템의 구성도이고, 도 4는 본 발명의 실시예에 따른 양안식 영상 포맷 구성을 나타내며, 도 5는 본 발명의 실시예에 따른 양안식 영상 포맷 영상의 부호화를 위한 탐색 영역을 나타낸다.3 is a block diagram of a binocular video transmission and reception system according to an embodiment of the present invention, Figure 4 shows a binocular video format configuration according to an embodiment of the present invention, Figure 5 is a binocular according to an embodiment of the present invention A search area for encoding an image format image.

먼저, 도 3을 참조하면, 양안식 비디오 송수신 시스템은 양안식 비디오 송신 장치(100) 및 양안식 비디오 수신 장치(200)를 포함하고, 양안식 비디오 송신 장치(100)와 양안식 비디오 수신 장치(200)는 네트워크(300)을 통해 연결된다.First, referring to FIG. 3, the binocular video transmission / reception system includes a binocular video transmission apparatus 100 and a binocular video reception apparatus 200, and the binocular video transmission apparatus 100 and the binocular video reception apparatus ( 200 is connected via a network 300.

여기서, 양안식 비디오 송신 장치(100)는 제1 입력 영상 취득부(110), 제2 입력 영상 취득부(130), 변환부(150), 부호화부(170) 및 전송부(190)를 포함한다.Here, the binocular video transmission apparatus 100 includes a first input image acquisition unit 110, a second input image acquisition unit 130, a conversion unit 150, an encoding unit 170, and a transmission unit 190. do.

제1 입력 영상 취득부(110) 및 제2 입력 영상 취득부(130)는 양안식 입체 영상 카메라 장치(미도시)로부터 각각 제1 입력 영상 및 제2 입력 영상을 입력받는다. 이러한 제1 입력 영상 및 제2 입력 영상은 두 개의 카메라를 이용하여 좌우 시점에서 촬영된 좌안 영상 및 우안 영상이며, 다른 시점에서 촬영되므로 다른 각도로 촬영된 영상이다.The first input image acquisition unit 110 and the second input image acquisition unit 130 receive a first input image and a second input image, respectively, from a binocular stereoscopic camera apparatus (not shown). The first input image and the second input image are left eye images and right eye images captured by left and right views using two cameras, and are captured at different angles.

여기서, 양안식 입체 영상 카메라 장치(미도시)는 두 대의 카메라를 이용하여 고화질의 3차원 입체 영상을 획득하기 위한 장치로서, 두 대의 서로 다른 카메라의 초점과 주시각 제어를 위하여, 입체 영상 촬영시 카메라 전체가 각각 좌측과 우측으로 서로 이격되어 이동하도록 구성되어 있다.Here, the binocular stereoscopic camera device (not shown) is a device for obtaining a high-quality three-dimensional stereoscopic image by using two cameras, in order to control the focus and viewing angle of two different cameras, The whole camera is configured to be moved away from each other to the left and right, respectively.

변환부(150)는 제1 입력 영상 취득부(110) 및 제2 입력 영상 취득부(130) 각각으로부터 전달받은 제1 입력 영상(또는 좌안 영상) 및 제2 입력 영상(또는 우안 영상)을 다운 샘플링한 후, 하나의 영상으로 결합하여 양안식 포맷의 비디오 영상을 생성한다.The converter 150 downloads the first input image (or left eye image) and the second input image (or right eye image) received from each of the first input image acquisition unit 110 and the second input image acquisition unit 130. After sampling, the image is combined into one image to generate a video image in binocular format.

이때, 다운 샘플링 포맷은 상업적으로 가장 많이 사용되는 'Side by Side'와 'Top and Bottom'을 비롯하여 'Field Sequence', 'Interlaced', '색분리 방식'을 포함할 수 있다.In this case, the down sampling format may include 'Side by Side' and 'Top and Bottom' which are most used commercially, as well as 'Field Sequence', 'Interlaced' and 'Color Separation'.

여기서, 변환부(150)는 도 4에 보인 것처럼, 가로 해상도를 W/2 만큼 축소하는 'Side by Side' 포맷의 다운 샘플링을 수행한 후, 좌우 결합이 아닌 상하 방향으로 결합하여 부호화 순서를 변경한다. Here, the transform unit 150 performs downsampling of the 'Side by Side' format that reduces the horizontal resolution by W / 2, as shown in FIG. do.

즉 종래에는 좌우 결합되므로, 부호화가 좌안 영상과 우안 영상이 동시에 좌->우 그리고 상->하 방향으로 이루어졌으나, 본 명세서에서는 좌안 영상과 우안 영상을 상하 결합함으로써 좌안 영상을 먼저 부호화하고 그 다음에 우안 영상의 부호화가 이루어진다.That is, since the left-eye image and the right-eye image are encoded in the left-> right and up-> downward directions simultaneously in the related art, in the present specification, the left-eye image is first encoded by combining the left-eye image and the right-eye image up and down, and then The encoding of the right eye image is performed at.

부호화부(170)는 변환부(150)로부터 전달받은 양안식 비디오 영상을 템플릿 매칭 방법을 이용하여 도 5에 보인 것처럼 부호화를 수행한다.The encoder 170 encodes the binocular video image received from the converter 150 using a template matching method as shown in FIG. 5.

여기서, 도 5의 (a)는 종래에 부호화 탐색 범위를 나타낸다. 즉 종래에 상하 방향으로 결합된 양안식 비디오 영상에서는 상->하 방향으로 차례로 부호화를 수행한다. 그리고 탐색 범위(10) 내에서 부호화 대상(target)인 참조 블록(20)의 주변 화소(30)와 유사한 예측 블록을 탐색한다.5A shows a coded search range in the related art. That is, in the conventional binocular video image combined in the up-down direction, encoding is sequentially performed in the up-> down direction. In the search range 10, a prediction block similar to the neighboring pixel 30 of the reference block 20, which is a coding target, is searched.

반면, 도 5(b)에 보인 것처럼, 본 발명의 실시예에 따르면, 부호화부(170)는 양안식 비디오 영상 중 제1 입력 영상에 대해 먼저 부호화를 수행한다. 그리고 템플릿 매칭 방법을 이용하여 제2 입력 영상의 참조 블록(20)과 유사한 예측 블록을 부호화된 제1 입력 영상 중에서 탐색한다. 즉 탐색 범위(10)를 이미 부호화가 수행된 제1 입력 영상으로 제한한다.On the other hand, as shown in Figure 5 (b), according to an embodiment of the present invention, the encoder 170 first performs encoding on the first input image of the binocular video image. The prediction block similar to the reference block 20 of the second input image is searched among the encoded first input images using a template matching method. That is, the search range 10 is limited to the first input image in which encoding has already been performed.

전송부(190)는 부호화부(170)로부터 전달받은 부호화된 양안식 비디오 영상을 네트워크(300)를 통해 양안식 비디오 수신 장치(200)로 송신한다.The transmitter 190 transmits the encoded binocular video image received from the encoder 170 to the binocular video receiving apparatus 200 through the network 300.

한편, 양안식 비디오 수신 장치(200)는 수신부(210), 복호화부(230) 및 양안식 영상 출력부(250)를 포함한다.Meanwhile, the binocular video receiving apparatus 200 includes a receiver 210, a decoder 230, and a binocular image output unit 250.

수신부(210)는 양안식 비디오 송신 장치(100)로부터 이미 다운 샘플링 후 부호화된 양안식 비디오 영상을 수신한다.The receiver 210 receives a binocular video image that is already down-sampled and encoded from the binocular video transmission apparatus 100.

복호화부(230)는 수신부(210)가 수신한 양안식 비디오 영상 즉 다운 샘플링 후 결합된 각각의 제1 입력 영상 및 제2 입력 영상을 템플릿 매칭을 이용하여 복호화를 수행하여 복원한다.The decoder 230 decodes the binocular video image received by the receiver 210, that is, the first input image and the second input image combined after down-sampling by decoding using template matching.

양안식 영상 출력부(250)는 복호화부(230)가 복원한 제1 입력 영상 및 제2 입력 영상의 시차에 대한 정보를 생성하여 양안식 영상에서의 깊이를 조절한 후, 조절된 깊이에 따라 양안식 영상을 재생한다.The binocular image output unit 250 generates information about the parallax of the first input image and the second input image reconstructed by the decoder 230, adjusts the depth in the binocular image, and according to the adjusted depth. Play a binocular video.

이상 설명한, 양안식 비디오 송수신 장치의 동작을 일련의 과정으로 설명하면 다음과 같다.The operation of the binocular video transceiver as described above is described as a series of processes as follows.

도 6은 본 발명의 실시예에 따른 양안식 비디오 송수신 방법의 과정을 나타낸 흐름도이다.6 is a flowchart illustrating a process of a binocular video transmission and reception method according to an embodiment of the present invention.

도 6을 참조하면, 양안식 비디오 송신 장치(100)는 제1 입력 영상 및 제2 입력 영상을 입력(S101)받아 각 영상의 해상도를 고 해상도에서 저 해상도로 변환하는 다운 샘플링을 수행한다(S103). 그리고 다운 샘플링된 각 영상을 결합하여 하나의 영상 즉 양안식 비디오 영상을 생성한다(S105).Referring to FIG. 6, the binocular video transmission apparatus 100 receives a first input image and a second input image (S101) and performs down sampling to convert the resolution of each image from a high resolution to a low resolution (S103). ). In operation S105, a single image, that is, a binocular video image, is generated by combining down-sampled images.

이후, 양안식 비디오 송신 장치(100)는 S105 단계에서 생성한 양안식 비디오 영상을 템플릿 매칭을 이용한 부호화를 수행(S107)한 후 양안식 비디오 수신 장치(200)에게 전송한다(S109).Thereafter, the binocular video transmitting apparatus 100 performs encoding using the template matching on the binocular video image generated in step S105 (S107) and then transmits the binocular video receiving apparatus 200 to the binocular video receiving apparatus 200 (S109).

그러면, 양안식 비디오 수신 장치(200)는 수신된 양안식 비디오 영상을 템플릿 매칭을 이용하여 복호화(S111)한 후, 화면에 출력한다(S113).Then, the binocular video receiving apparatus 200 decodes the received binocular video image using template matching (S111) and outputs it to the screen (S113).

한편, 실험을 통해 본 발명의 실시예에 따른 양안식 비디오 송수신 시스템은 기존의 양안식 비디오 송수신 시스템에서 요구하는 메모리 대역폭에 비해 Side-by-side 포맷인 경우 평균 18.52%, To-down 포맷인 경우 평균 18.94%의 데이터량을 감소시킴을 확인하였다.On the other hand, the binocular video transmission and reception system according to an embodiment of the present invention through the experiment in the case of the side-by-side format compared to the memory bandwidth required by the conventional binocular video transmission and reception system 18.52%, the case of the To-down format The average amount of data was reduced by 18.94%.

또한, 도 7 및 도 8은 본 발명의 실시예에 따른 양안식 비디오 송수신 시스템의 성능을 나타낸 그래프이다.7 and 8 are graphs showing the performance of the binocular video transmission / reception system according to the embodiment of the present invention.

도 7 및 도 8을 참조하면, 종래의 양안식 비디오 송수신 시스템과 본 발명의 실시예에 따른 양안식 비디오 송수신 시스템의 성능 비교를 나타낸다.7 and 8 illustrate a performance comparison between a conventional binocular video transmission / reception system and a binocular video transmission / reception system according to an embodiment of the present invention.

이때, 실험 영상으로는 Balloons(1024*768), Kendo(1024*768)를 100 프레임을 사용하고, 'Side-by-side' 포맷 및 'Top and Bottom' 포맷을 입력 영상으로 하였다. 그리고 부호기는 H.264/AVC를 사용하고, 템플릿 매칭을 이용하여 화면내 부호화를 수행하였다. In this case, 100 frames were used for Balloons (1024 * 768) and Kendo (1024 * 768), and the 'Side-by-side' format and the 'Top and Bottom' format were input images. The encoder uses H.264 / AVC and performs intra-picture encoding using template matching.

이때, 도 7 및 도 8은 x축은 비트율을 나타내고, y 축은 화질(PSNR)을 나타내는 비트율-왜곡 곡선 그래프이다.7 and 8 are bit rate-distortion curve graphs in which the x-axis represents the bit rate and the y-axis represents the image quality (PSNR).

도 7의 (a), (b) 및 도 8의 (a), (b) 모두 동일한 비트율일 때, 본 발명의 실시예에 따른 양안식 비디오 송수신 시스템이 종래의 양안식 비디오 송수신 시스템보다 PSNR(Peak Signal to Noise Ratio)이 더 높은 값을 가짐을 알 수 있다. 즉 화질이 더 좋다. When (a), (b) of FIG. 7 and (a), (b) of FIG. 8 are all the same bit rate, the binocular video transmission / reception system according to the embodiment of the present invention is more effective than the conventional binocular video transmission / reception system. It can be seen that Peak Signal to Noise Ratio) has a higher value. In other words, the picture quality is better.

또한, PSNR이 동일할 때, 본 발명의 실시예에 따른 양안식 비디오 송수신 시스템이 종래의 양안식 비디오 송수신 시스템보다 비트율이 더 작다. 즉 동일한 화질의 화면을 전송하는데 기존의 시스템보다 적은 비트만 송신해도 된다. In addition, when the PSNR is the same, the binocular video transmission / reception system according to the embodiment of the present invention has a smaller bit rate than the conventional binocular video transmission / reception system. In other words, it is possible to transmit fewer bits than the existing system to transmit the screen of the same quality.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

100: 양안식 비디오 송신 장치 110: 제1 입력 영상 취득부
130: 제2 입력 영상 취득부 150: 변환부
170: 부호화부 190: 전송부
200: 양안식 비디오 수신 장치 210: 수신부
230: 복호화부 250: 양안식 영상 출력부
300: 네트워크100: binocular video transmission device 110: first input image acquisition unit
130: second input image acquisition unit 150: conversion unit
170: encoder 190: transmitter
200: binocular video receiver 210: receiver
230: decoder 250: binocular video output unit
300: Network

Claims (7)

좌안 영상 및 우안 영상의 가로 해상도를 각각 축소하는 다운 샘플링-여기서 다운 샘플링은 고 해상도의 영상을 저 해상도의 영상으로 변환함-을 수행한 후, 상하 방향으로 결합하는 변환부;
상기 변환부로부터 전달받은 상기 좌안 영상 및 상기 우안 영상이 상하 방향으로 결합된 영상을 위에서 아래 방향으로 순차적으로 템플릿 매칭 방법을 이용한 예측 블록 탐색을 통해 부호화하는 부호화부; 및
부호화된 영상을 네트워크를 통해 양안식 비디오 수신 장치로 송신하는 전송부
를 포함하는 양안식 비디오 송신 장치.A down-sampling unit for reducing the horizontal resolution of the left eye image and the right eye image, respectively, wherein the down sampling converts a high resolution image into a low resolution image and then combines the up and down directions;
An encoder which encodes the image of the left eye image and the right eye image received from the converter in a vertical direction from the top to the bottom by sequentially searching a predicted block using a template matching method; And
Transmitter for transmitting the encoded video to the binocular video receiving device over the network
Binocular video transmission device comprising a. 삭제delete 삭제delete 제1항에 있어서,
상기 부호화부는,
상기 우안 영상의 예측 블록 탐색시 탐색 범위를 먼저 부호화된 상기 좌안 영상으로 제한하는 양안식 비디오 송신 장치.The method of claim 1,
Wherein the encoding unit comprises:
And a search range for limiting a search range to the first encoded left eye image when searching for a prediction block of the right eye image. 양안식 비디오 송신 장치의 양안식 비디오 송신 방법으로서,
좌안 영상 및 우안 영상의 가로 해상도를 각각 축소하는 다운 샘플링-여기서 다운 샘플링은 고 해상도의 영상을 저 해상도의 영상으로 변환함-을 하는 단계;
다운 샘플링된 상기 좌안 영상 및 상기 우안 영상을 상하 방향으로 결합하는 단계;
상기 좌안 영상 및 상기 우안 영상이 상하 방향으로 결합된 양안식 비디오 영상을 위에서 아래 방향으로 순차적으로 템플릿 매칭 방법을 이용한 예측 블록 탐색을 통해 부호화하는 단계; 및
부호화된 양안식 비디오 영상을 네트워크를 통해 상기 양안식 비디오 영상을 재생하는 양안식 비디오 수신 장치로 송신하는 단계
를 포함하는 양안식 비디오 송신 방법.A binocular video transmission method of a binocular video transmission apparatus,
Downsampling the horizontal resolution of the left eye image and the right eye image, respectively, wherein down sampling converts the high resolution image into a low resolution image;
Combining the down-sampled left eye image and the right eye image in a vertical direction;
Encoding a binocular video image obtained by combining the left eye image and the right eye image in a vertical direction from the top to the bottom by sequentially predicting a block search using a template matching method; And
Transmitting an encoded binocular video image to a binocular video receiving apparatus for reproducing the binocular video image over a network;
The binocular video transmission method comprising a. 제5항에 있어서,
상기 부호화하는 단계는,
상기 좌안 영상에 대해 먼저 부호화를 수행하는 단계; 및
템플릿 매칭 방법을 이용하여 상기 우안 영상의 부호화 대상인 참조 블록과 유사한 예측 블록을 부호화된 상기 좌안 영상으로 제한하여 탐색하는 단계
를 포함하는 양안식 비디오 송신 방법.The method of claim 5,
Wherein the encoding comprises:
First encoding the left eye image; And
Limiting and searching a prediction block similar to a reference block to be encoded of the right eye image to the encoded left eye image using a template matching method
The binocular video transmission method comprising a. 삭제delete
KR1020100103027A 2010-10-21 2010-10-21 Device and method for transmitting stereoscopic video KR101223205B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100103027A KR101223205B1 (en) 2010-10-21 2010-10-21 Device and method for transmitting stereoscopic video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100103027A KR101223205B1 (en) 2010-10-21 2010-10-21 Device and method for transmitting stereoscopic video

Publications (2)

Publication Number Publication Date
KR20120041532A KR20120041532A (en) 2012-05-02
KR101223205B1 true KR101223205B1 (en) 2013-01-17

Family

ID=46262593

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100103027A KR101223205B1 (en) 2010-10-21 2010-10-21 Device and method for transmitting stereoscopic video

Country Status (1)

Country Link
KR (1) KR101223205B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040106398A (en) * 2002-04-25 2004-12-17 샤프 가부시키가이샤 Image encoder, image decoder, record medium, and image recorder
KR100579125B1 (en) 2000-12-27 2006-05-12 한국전자통신연구원 Apparatuses and Methods for Digital Stereo Video Processing using Decimation/Interpolation Filtering
KR100587952B1 (en) * 2003-12-05 2006-06-08 한국전자통신연구원 Video encoding/decoding apparatus and method using compensation for the asymmetric decimated left/right-view images
KR100748946B1 (en) 2005-09-06 2007-08-13 (주)다산알앤디 Method of processing three-D image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100579125B1 (en) 2000-12-27 2006-05-12 한국전자통신연구원 Apparatuses and Methods for Digital Stereo Video Processing using Decimation/Interpolation Filtering
KR20040106398A (en) * 2002-04-25 2004-12-17 샤프 가부시키가이샤 Image encoder, image decoder, record medium, and image recorder
KR100587952B1 (en) * 2003-12-05 2006-06-08 한국전자통신연구원 Video encoding/decoding apparatus and method using compensation for the asymmetric decimated left/right-view images
KR100748946B1 (en) 2005-09-06 2007-08-13 (주)다산알앤디 Method of processing three-D image

Also Published As

Publication number Publication date
KR20120041532A (en) 2012-05-02

Similar Documents

Publication Publication Date Title
CN111837396B (en) Error suppression in video coding based on sub-image code stream view correlation
JP5763184B2 (en) Calculation of parallax for 3D images
US8644386B2 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
US20110134227A1 (en) Methods and apparatuses for encoding, decoding, and displaying a stereoscopic 3d image
EP2163103B1 (en) Method and system for encoding a 3d video signal, enclosed 3d video signal, method and system for decoder for a 3d video signal
KR102343700B1 (en) Video transmission based on independently encoded background updates
US20100238264A1 (en) Three dimensional video communication terminal, system, and method
KR100779875B1 (en) Method for setting reference frame order for multi-view coding and computer readable medium storing thereof
US9961347B2 (en) Method and apparatus for bi-prediction of illumination compensation
US20070008575A1 (en) Transport stream structure including image data and apparatus and method for transmitting and receiving image data
US20070041443A1 (en) Method and apparatus for encoding multiview video
US9736498B2 (en) Method and apparatus of disparity vector derivation and inter-view motion vector prediction for 3D video coding
US20150312547A1 (en) Apparatus and method for generating and rebuilding a video stream
US8774539B2 (en) Encoder, decoder, encoder system, decoder system, transmission adapter, encoding method, decoding method, and imaging apparatus
CN102918846A (en) Multiview video encoding method, multiview video decoding method, multiview video encoding apparatus, multiview video decoding apparatus, and program
US9338430B2 (en) Encoding device, encoding method, decoding device, and decoding method
WO2007035054A1 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
US20130259131A1 (en) Image processing apparatus and method
US9762884B2 (en) Encoding device, encoding method, decoding device, and decoding method for encoding multiple viewpoints for compatibility with existing mode allowing fewer viewpoints
CN104284193A (en) Encoding device and encoding method, and decoding device and decoding method
US20170188007A1 (en) Multi-view image transmitter and receiver and method of multiplexing multi-view image
KR101152952B1 (en) Real-time three dimension formating module for ultra high-definition image and system using thereof
KR101223205B1 (en) Device and method for transmitting stereoscopic video
KR20110118744A (en) 3d tv video encoding method, decoding method
KR102468223B1 (en) Apparatus for transmitting 3dtv broadcasting and method for selecting reference video thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151217

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161219

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee