KR101054875B1 - Bidirectional prediction method and apparatus for encoding depth image - Google Patents

Bidirectional prediction method and apparatus for encoding depth image Download PDF

Info

Publication number
KR101054875B1
KR101054875B1 KR1020090077270A KR20090077270A KR101054875B1 KR 101054875 B1 KR101054875 B1 KR 101054875B1 KR 1020090077270 A KR1020090077270 A KR 1020090077270A KR 20090077270 A KR20090077270 A KR 20090077270A KR 101054875 B1 KR101054875 B1 KR 101054875B1
Authority
KR
South Korea
Prior art keywords
block
depth
time point
predicted
depth value
Prior art date
Application number
KR1020090077270A
Other languages
Korean (ko)
Other versions
KR20110019644A (en
Inventor
오관정
호요성
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020090077270A priority Critical patent/KR101054875B1/en
Publication of KR20110019644A publication Critical patent/KR20110019644A/en
Application granted granted Critical
Publication of KR101054875B1 publication Critical patent/KR101054875B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

깊이 영상의 부호화를 위한 본 발명의 적어도 일 실시예에 따른 양방향 예측 방법 및 장치는 예측하고자 하는 현재 시점에서의 블록과 대응된 이전 시점 및 이후 시점 각각에서의 블록을 깊이 영역의 데이터로 변환하고, 현재 시점에서의 블록을 그 변환된 이전 시점과 이후 시점 각각에서의 블록을 이용하여 예측하고, 예측된 블록을 화소 영역으로 변환함으로써, 양방향 예측의 정확도 향상을 통한 깊이 영상의 부호화 효율을 증진시킨다.The bidirectional prediction method and apparatus for encoding a depth image according to at least one embodiment of the present invention convert a block at each of a previous view and a subsequent view corresponding to a block at a current view to be predicted into data of a depth region, A block at the current view is predicted using the transformed blocks at each of the previous and subsequent views, and the predicted block is converted into the pixel region, thereby improving the coding efficiency of the depth image by improving the accuracy of the bidirectional prediction.

Description

깊이 영상의 부호화를 위한 양방향 예측 방법 및 장치 {Method and apparatus for bi-directional estimation for depth image coding}Bidirectional prediction method and apparatus for coding depth image {Method and apparatus for bi-directional estimation for depth image coding}

본 발명은 깊이 영상(depth image)에 관한 것으로, 보다 상세하게는 깊이 영상의 부호화를 위한 양방향 예측 방안에 관한 것이다.The present invention relates to a depth image, and more particularly, to a bidirectional prediction method for encoding a depth image.

깊이 영상은 3차원 실제(real) 공간상에서의 객체(object)와 카메라(소위, ‘깊이 카메라’)간의 상대적인 거리를 표현한다. 이는 컴퓨터 비전 분야와 그래픽스 분야에서 그 객체의 3 차원 정보를 얻기 위해 광범위하게 이용되고 있는 실정이다. 예컨대, 대부분의 이미지 기반 렌더링(IBR: Image Based Rendering) 기법은 FTV(free viewpoint television)와 3차원 비디오 시스템을 구현하기 위해 다시점(multi-view) 비디오와 깊이 영상을 이용한다. Shun, H.Y., Kang, S.B., and Chan, S.C.:'Survey of Image-based Representations and Compression technique', Proc. IEEE Transactions on CSVT, Nov.2003, vol.13, no.11, pp.1020-1037에 그와 같은 이미지 기반 렌더링 기법의 일 례가 개시되어 있다. 또한 상기 3차원 비디오 시스템은 Smolic, A., Kimata, H., and Vetro, A.:'Development of MPEG Standards for 3D and Free Viewpoint Video', Optics East 2005:Communications, Multimedia & Display Techniques, 2005, vol.6014, pp.262-273 에 그 일 례가 개시되어 있다.Depth images represent the relative distance between an object and a camera (the so-called "depth camera") in three-dimensional real space. This is widely used in computer vision and graphics to obtain three-dimensional information of the object. For example, most image based rendering (IBR) techniques use multi-view video and depth images to implement a free viewpoint television (FTV) and three-dimensional video system. Shun, H.Y., Kang, S.B., and Chan, S.C .: 'Survey of Image-based Representations and Compression technique', Proc. An example of such an image-based rendering technique is disclosed in IEEE Transactions on CSVT, Nov. 2003, vol. 13, no. 11, pp. 1020-1037. In addition, the three-dimensional video system is Smolic, A., Kimata, H., and Vetro, A .: 'Development of MPEG Standards for 3D and Free Viewpoint Video', Optics East 2005: Communications, Multimedia & Display Techniques, 2005, vol An example is disclosed in .6014, pp.262-273.

이와 같은 이미지 기반 렌더링 분야에서 깊이 영상 및 다시점 비디오의 압축은 주요 이슈이고, 이에 따라, 깊이 영상의 압축 부호화를 위한 다양한 기법이 제안된 바 있다. 하지만, 이들 모두는 깊이 영상이 화소 영역에서 표현되어 있으므로 깊이 영상을 부호화하기 위해 그 현재 부호화하고자 하는 블록을 예측함에 있어 화소 영역에서 예측을 수행하는 문제점을 갖고 있다. 화소 영역에서의 예측이 문제인 이유는, 깊이 영상의 가능한 깊이값들이 깊이 영역에서는 선형적으로 양자화되는데 반해 화소 영역에서는 비선형적으로 양자화되어, 화소 영역에서는 정밀한 예측을 기대할 수 없기 때문이다.In the field of image-based rendering as described above, compression of depth image and multiview video is a major issue. Accordingly, various techniques for compression encoding of depth image have been proposed. However, all of them have a problem of performing prediction in the pixel region when the depth image is expressed in the pixel region and predicting a block to be encoded in order to encode the depth image. The reason for the prediction in the pixel region is that the possible depth values of the depth image are linearly quantized in the depth region while non-linearly quantized in the pixel region, so precise prediction cannot be expected in the pixel region.

본 발명의 적어도 일 실시예가 이루고자 하는 기술적 과제는, 양방향 예측의 정확도 향상을 통한 깊이 영상의 부호화 효율을 증진시키는 양방향 예측 방법을 제공하는 데 있다.An object of at least one embodiment of the present invention is to provide a bidirectional prediction method for improving the coding efficiency of a depth image by improving the accuracy of bidirectional prediction.

본 발명의 적어도 일 실시예가 이루고자 하는 다른 기술적 과제는 양방향 예측의 정확도 향상을 통한 깊이 영상의 부호화 효율을 증진시키는 양방향 예측 장치를 제공하는 데 있다.Another object of at least one embodiment of the present invention is to provide a bidirectional prediction apparatus for improving coding efficiency of a depth image by improving accuracy of bidirectional prediction.

본 발명의 적어도 일 실시예가 이루고자 하는 또 다른 기술적 과제는 양방향 예측의 정확도 향상을 통한 깊이 영상의 부호화 효율을 증진시키기 위한 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.Another object of at least one embodiment of the present invention is to provide a computer-readable recording medium storing a computer program for improving the encoding efficiency of a depth image by improving the accuracy of bidirectional prediction.

상기 과제를 이루기 위해, 화소 영역에서 표현된 하나 이상의 블록들로 구성된 깊이 영상의 부호화를 위한 본 발명의 적어도 일 실시예에 따른 예측 방법은, 예측하고자 하는 현재 시점에서의 상기 블록과 대응된 이전 시점 및 이후 시점 각각에서의 상기 블록을 깊이 영역의 데이터로 변환하는 단계; 상기 현재 시점에서의 상기 블록을 상기 변환된 이전 시점과 이후 시점 각각에서의 상기 블록을 이용하여 예측하는 단계; 및 상기 예측된 블록을 상기 화소 영역으로 변환하는 단계를 포함한다. In order to achieve the above object, a prediction method according to at least one embodiment of the present invention for encoding a depth image composed of one or more blocks represented in a pixel region includes a previous view corresponding to the block at the current view to be predicted. And subsequently converting the block at each of the viewpoints into data of a depth region; Predicting the block at the current point in time using the block at each of the transformed before and after points of time; And converting the predicted block into the pixel region.

여기서 상기 예측하는 단계는 상기 현재 시점에서의 상기 블록을 이루는 깊이값들 각각을 대응된 상기 이전 시점에서의 블록의 깊이값과 기 이후 시점에서의 블록의 깊이값을 기 설정된 방식에 따라 평균하여 예측할 수 있다. 이 때, 상기 예측하는 단계는 상기 현재 시점에서의 상기 블록을 이루는 깊이값들 각각을 대응된 상기 이전 시점에서의 블록의 깊이값에 상기 이후 시점에서의 블록의 깊이값과 일정 계수를 가산한 결과를 고려하여 예측할 수 있다.Here, the predicting may be performed by averaging each of depth values constituting the block at the current time point by averaging the depth value of the corresponding block at the previous time point and the depth value of the block at a later time point according to a preset method. Can be. In this case, the predicting may be performed by adding each depth value of the block at the current time point to a depth value of the block at the previous time point corresponding to the depth value of the block at the subsequent time point and a predetermined coefficient. Can be predicted by considering

여기서, 상기 화소 영역은 변이(disparity) 영역 또는 세기(intensity) 영역일 수 있다.The pixel area may be a disparity area or an intensity area.

여기서, 상기 블록은 매크로 블록일 수 있다.Here, the block may be a macro block.

상기 다른 과제를 이루기 위해, 화소 영역에서 표현된 하나 이상의 블록들로 구성된 깊이 영상의 부호화를 위한 본 발명의 적어도 일 실시예에 따른 예측 장치는, 예측하고자 하는 현재 시점에서의 상기 블록과 대응된 이전 시점 및 이후 시점 각각에서의 상기 블록을 깊이 영역의 데이터로 변환하는 변환부; 상기 현재 시점에서의 상기 블록을 상기 변환된 이전 시점과 이후 시점 각각에서의 상기 블록을 이용하여 예측하는 깊이영역용 예측부; 및 상기 예측된 블록을 상기 화소 영역으로 변환하는 역변환부를 포함한다.In order to achieve the above object, the prediction apparatus according to at least one embodiment of the present invention for encoding a depth image composed of one or more blocks represented in a pixel region may include: A converter for converting the block at each of the viewpoints and the subsequent viewpoints into data of a depth region; A depth region prediction unit predicting the block at the current time point using the blocks at each of the transformed previous time point and the subsequent time point; And an inverse transform unit for converting the predicted block into the pixel area.

여기서, 상기 깊이영역용 예측부는 상기 현재 시점에서의 상기 블록을 이루는 깊이값들 각각을 대응된 상기 이전 시점에서의 블록의 깊이값 및 상기 이후 시점에서의 블록의 깊이값을 기 설정된 방식에 따라 평균하여 예측할 수 있다. 이 때, 상기 깊이영역용 예측부는 상기 현재 시점에서의 상기 블록을 이루는 깊이값들 각각을 대응된 상기 이전 시점에서의 블록의 깊이값에 상기 이후 시점에서의 블록의 깊이값과 일정 계수를 가산한 결과를 고려하여 예측할 수 있다.Here, the depth-area predictor averages each of the depth values constituting the block at the current time point to a depth value of the block at the previous time point and a depth value of the block at the subsequent time point according to a preset method. Can be predicted. At this time, the depth-area prediction unit adds each of the depth values constituting the block at the current time point to a depth value of the block at the previous time point corresponding to the depth value of the block at the subsequent time point and a predetermined coefficient. You can make predictions based on the results.

여기서, 상기 화소 영역은 변이(disparity) 영역 또는 세기(intensity) 영역일 수 있다.The pixel area may be a disparity area or an intensity area.

여기서, 상기 블록은 매크로 블록일 수 있다.Here, the block may be a macro block.

상기 또 다른 과제를 이루기 위해, 화소 영역에서 표현된 하나 이상의 블록들로 구성된 깊이 영상의 부호화를 위한 본 발명의 적어도 일 실시예에 따른 컴퓨터로 읽을 수 있는 기록매체는, 예측하고자 하는 현재 시점에서의 상기 블록과 대응된 이전 시점 및 이후 시점 각각에서의 상기 블록을 깊이 영역의 데이터로 변환하는 단계; 상기 현재 시점에서의 상기 블록을 상기 변환된 이전 시점과 이후 시점 각각에서의 상기 블록을 이용하여 예측하는 단계; 및 상기 예측된 블록을 상기 화소 영역으로 변환하는 단계를 컴퓨터에서 실행시키기 위한 컴퓨터 프로그램을 저장 할 수 있다.In order to achieve the above object, a computer-readable recording medium according to at least one embodiment of the present invention for encoding a depth image composed of one or more blocks represented in a pixel region may be generated at a current time point to be predicted. Converting the block at each of a previous time point and a subsequent time point corresponding to the block into data of a depth area; Predicting the block at the current point in time using the block at each of the transformed before and after points of time; And a computer program for causing the computer to convert the predicted block into the pixel region.

본 발명의 적어도 일 실시예에 따른 양방향 예측 방법과 장치는 깊이 영상을 부호화하기 위한 양방향 예측을 화소 영역이 아닌 깊이 영역에서 수행하므로 정밀한 양방향 예측을 수행할 수 있고, 이에 따라, 깊이 영상의 부호화 효율을 증진시킬 수 있다.The bidirectional prediction method and apparatus according to at least one embodiment of the present invention perform precise bidirectional prediction because the bidirectional prediction for encoding the depth image is performed in the depth region instead of the pixel region, and thus, the encoding efficiency of the depth image Can promote it.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 그 첨부 도면을 설명하는 내용을 참조하여야만 한다.In order to fully understand the present invention, the operational advantages of the present invention, and the objects achieved by the practice of the present invention, reference should be made to the accompanying drawings that illustrate preferred embodiments of the present invention and the accompanying drawings.

이하, 깊이 영상의 부호화를 위한 본 발명의 적어도 일 실시예에 따른 양방향 예측 방법 및 장치를 첨부 도면들을 참조하여 다음과 같이 설명한다.Hereinafter, a bidirectional prediction method and apparatus according to at least one embodiment of the present invention for encoding a depth image will be described with reference to the accompanying drawings.

앞서 언급한 바와 같이 3차원 공간상의 어떠한 객체의 깊이값은 깊이 카메라에 의해 획득된다. 이러한 깊이값은 8비트의 그레이스케일(gray scale) 영상으로 표현될 수 있다. 즉, 깊이값은 256 레벨로 양자화될 수 있다. 물론, 이는 일 례에 불과하다. As mentioned above, the depth value of any object in three-dimensional space is obtained by the depth camera. This depth value may be represented by an 8-bit gray scale image. That is, the depth value can be quantized to 256 levels. Of course, this is just one example.

한편, Chai, J., Tong, X., Chan, S.C.,and Shum, H.: 'Plenoptic sampling', Proc. ACM SIGGRAPH, July. 2000, pp. 307-318 은 plenoptic sampling 이론에 근거하여 최적의 비균등 깊이 양자화(non-uniform depth quantization)를 제안하고 있다. 이를 간략히 다음과 같이 설명한다.Chai, J., Tong, X., Chan, S.C., and Shum, H .: 'Plenoptic sampling', Proc. ACM SIGGRAPH, July. 2000, pp. 307-318 propose an optimal non-uniform depth quantization based on the plenoptic sampling theory. This is briefly described as follows.

우선 어떤 깊이 영상의 총 변이 범위(total disparity range)(Δ)은 다음의 수학식 1에 따라 계산된다.First, the total disparity range Δ of a depth image is calculated according to Equation 1 below.

[수학식 1][Equation 1]

Figure 112009051045165-pat00001
Figure 112009051045165-pat00001

여기서,

Figure 112009051045165-pat00002
는 그 깊이 영상의 변이값(disparity value)들 중 최소값을 의미하고,
Figure 112009051045165-pat00003
는 그 깊이 영상의 변이값들 중 최대값을 의미한다.here,
Figure 112009051045165-pat00002
Is the minimum of the disparity values of the depth image,
Figure 112009051045165-pat00003
Denotes the maximum value of the variation values of the depth image.

또한, 그 깊이 영상내의 변이들에 있어, 단위 변위(unit disparity)는 그 깊이 영상의 가능한 변이값들이 log2N비트(단 N은 2이상의 정수)의 레벨들로 양자화된다고 가정할 때 다음의 수학식 2에 따라 계산된다.Further, in the variation in the depth image, a unit displacement (unit disparity) is the depth of possible variation values of the image are log 2 N bits, assuming that the quantization in the level (where N is an integer of 2 or more) following mathematics Calculated according to equation 2.

[수학식 2][Equation 2]

Figure 112009051045165-pat00004
Figure 112009051045165-pat00004

한편 깊이 영상의 픽셀들 각각의 세기(intensity) γ에 대한 변이값(

Figure 112009051045165-pat00005
)은 다음의 수학식 3에 따라 계산된다.Meanwhile, the variation value of the intensity γ of each pixel of the depth image (
Figure 112009051045165-pat00005
) Is calculated according to the following equation (3).

[수학식 3]&Quot; (3) "

Figure 112009051045165-pat00006
Figure 112009051045165-pat00006

변위(disparity)와 깊이(depth)간에는 다음의 수학식 4에 따른 관계식이 성립한다.The relation according to the following equation (4) is established between the disparity and the depth.

[수학식 4]&Quot; (4) "

Figure 112009051045165-pat00007
Figure 112009051045165-pat00007

여기서, f는 깊이 카메라의 초점 거리(focal length)를 의미하고 l은 기저라인거리(base line distance)를 의미한다.Here, f denotes a focal length of the depth camera and l denotes a base line distance.

상기 수학식 1 내지 수학식 4를 이용하여 다음의 수학식 5, 6이 도출된다.Using Equations 1 to 4, the following Equations 5 and 6 are derived.

[수학식 5][Equation 5]

Figure 112009051045165-pat00008
Figure 112009051045165-pat00008

[수학식 6]&Quot; (6) "

Figure 112009051045165-pat00009
Figure 112009051045165-pat00009

여기서,

Figure 112009051045165-pat00010
는 세기 γ에 상응하는 깊이값을 의미하고, Znear는 깊이 영상의 깊이값들 중 최소값을 의미하고, Zfar는 깊이 영상의 깊이값들 중 최대값을 의미한다.here,
Figure 112009051045165-pat00010
Denotes a depth value corresponding to the intensity γ, Z near denotes a minimum value among depth values of the depth image, and Z far denotes a maximum value of depth values of the depth image.

이상에서 언급된 최적의 비균등 깊이 양자화 과정을 일 례로 하여 본 발명을 도 1 내지 도 4를 참조하여 이하 설명한다.The present invention will be described below with reference to FIGS. 1 to 4 by taking the optimal non-uniform depth quantization process mentioned above as an example.

우선 도 1은 본 발명의 적어도 일 실시예에 따른 양방향 예측 장치를 설명하기 위한 블록도이고, 도 1에 도시된 바에 따르면, 본 발명의 적어도 일 실시예에 따른 양방향 예측 장치는 변환부(110), 깊이영역용 예측부(120) 및 역변환부(130)를 포함한다. 이러한 양방향 예측 장치는 깊이 영상의 부호화를 위한 장치에 포함되어 있다. 여기서, 깊이 영상은 하나 이상의 블록들로 구성되어 있으며, 화소 영역에서 표현되어 있다. 본 명세서에서, 화소 영역은 변이(disparity) 영역 또는 세기(intensity) 영역을 의미한다.First, FIG. 1 is a block diagram illustrating a bidirectional prediction apparatus according to at least one embodiment of the present invention. As shown in FIG. 1, the bidirectional prediction apparatus according to at least one embodiment of the present invention may include a transform unit 110. And a depth region predictor 120 and an inverse transform unit 130. Such a bidirectional prediction apparatus is included in an apparatus for encoding a depth image. Here, the depth image is composed of one or more blocks and is represented in the pixel area. In the present specification, the pixel area means a disparity area or an intensity area.

변환부(110)는 예측하고자 하는 현재 시점에서의 블록(예컨대 time= t(단, t는 자연수)에서의 프레임내의 블록)과 대응된 ‘이전 시점에서의 블록(예를들어 time =t-1에서의 프레임내의 블록으로서 그 time=t의 블록과 대응된 블록)’과 ‘이후 시점에서의 블록(예를 들어 time=t+1에서의 프레임내의 블록으로서 그 time=t의 블록과 대응된 블록)’을 ‘깊이 영역’의 데이터(깊이값)로 변환한다. 변환부(110)는 앞서 언급한 수학식 5를 이용하여 변환 작업을 수행할 수 있다. 다만, 이는 일 례에 불과하고 다양한 변형 실시예가 가능함은 물론이다. 한편, 본 명세서에서 블록은 하나의 블록을 의미할 수도 있고 하나의 매크로 블록을 의미할 수도 있다. The transform unit 110 corresponds to the block at the previous time (for example, time = t-1) corresponding to the block at the current time point to be predicted (for example, a block in the frame at time = t (where t is a natural number)). A block in a frame at < RTI ID = 0.0 > and < / RTI > a block corresponding to the block of time = t) " ) 'Is converted to the data (depth value) of the' depth area '. The conversion unit 110 may perform a conversion operation by using Equation 5 described above. However, this is only one example, and various modifications are possible, of course. Meanwhile, in the present specification, a block may mean one block or may mean one macro block.

깊이영역용 예측부(120)는 그 변환된 ‘이전 시점에서의 블록’과 ‘이후 시점에서의 블록’을 이용하여 그 현재 시점에서의 블록을 예측한다. 즉, 깊이영역용 예측부(120)는 그 변환된 ‘이전 시점에서의 블록의 깊이값’과 ‘이후 시점에서의 블록의 깊이값’을 이용하여 그 현재 시점에서의 블록의 깊이값을 예측한다.The depth-area predictor 120 predicts the block at the current time point by using the converted “block at a previous time point” and the “block at a later time point”. That is, the depth area predictor 120 predicts the depth value of the block at the current time point using the converted 'depth value of the block at the previous time point' and the 'depth value of the block at the later time point'. .

구체적으로, 깊이영역용 예측부(120)는 현재 시점에서의 블록을 이루는 깊이값들 각각을 대응된 ‘이전 시점에서의 블록의 깊이값’과 ‘이후 시점에서의 블록 의 깊이값’을 기 설정된 방식에 따라 평균하여 예측할 수 있다. 예컨대, 깊이영역용 예측부(120)는 현재 시점에서의 블록을 이루는 픽셀에 대응된 ‘이전 시점에서의 블록의 픽셀의 깊이값’과 그 픽셀에 대응된 ‘이후 시점에서의 블록의 픽셀의 깊이값’과 ‘기 설정된 일정 계수(예컨대, 1)’를 서로 가산한 결과를 2로 제산하고 제산한 결과에서 소수점 이하를 버리고 그 버려진 결과를 그 픽셀의 깊이값으로서 예측할 수도 있다. 즉, 깊이영역용 예측부(120)는 다음의 수학식 7에 따라, 현재 시점에서의 블록의 깊이값들 각각을 예측할 수 있다. In detail, the depth prediction unit 120 presets each of the depth values constituting the block at the current time point to a depth value of the block at the previous time point and a depth value of the block at a later time point. Can be averaged and predicted according to the method. For example, the depth prediction unit 120 may include a 'depth value of a pixel of a block at a previous time' corresponding to a pixel constituting a block at the current time point and a 'depth of a pixel of a block at a later time corresponding to the pixel'. It is also possible to divide the result of adding the value 'and the predetermined constant coefficient (for example, 1) by 2, dividing the result by 2, discarding the decimal point, and predicting the discarded result as the depth value of the pixel. That is, the depth area predictor 120 may predict each of depth values of a block at the current time point according to Equation 7 below.

[수학식 7][Equation 7]

Figure 112009051045165-pat00011
Figure 112009051045165-pat00011

여기서,

Figure 112009051045165-pat00012
는 이전 시점에서의 블록에서 위치 정보 (i, j)에 위치한 픽셀의 깊이값을 뜻하고,
Figure 112009051045165-pat00013
는 이후 시점에서의 블록에서 위치 정보 (i, j)에 위치한 픽셀의 깊이값을 뜻하고
Figure 112009051045165-pat00014
는 현재 시점에서의 블록에서 위치 정보 (i, j)에 위치한 픽셀의 깊이값으로서 예측된 깊이값을 의미한다.here,
Figure 112009051045165-pat00012
Denotes the depth value of the pixel located in the position information (i, j) in the block at the previous time point.
Figure 112009051045165-pat00013
Denotes the depth value of the pixel located in the position information (i, j) in the block at a later time point.
Figure 112009051045165-pat00014
Denotes a depth value predicted as a depth value of a pixel located in the position information (i, j) in the block at the current time.

역변환부(130)는 깊이영역용 예측부(120)에 의해 (깊이값이) 예측된 그 블록을 ‘화소 영역’의 데이터로 변환한다. 예컨대 역변환부(130)는 상기 수학식 6에 따라 현재 시점에서의 블록을 예측할 수 있다. 물론, 이러한 수학식 6은 일 례에 불과하고 다양한 변형 실시예에 따라 역변환부(130)가 동작할 수도 있다.The inverse transformer 130 converts the block predicted (depth value) by the depth domain predictor 120 into data of a 'pixel region'. For example, the inverse transform unit 130 may predict a block at the current time point according to Equation 6 above. Of course, Equation 6 is just an example and the inverse transform unit 130 may operate according to various modified embodiments.

도 2는 깊이 영상의 양자화를 설명하기 위한 참고도이다. 2 is a reference diagram for explaining quantization of a depth image.

도 2에 도시된 바에서 우측에 도시된 타원 두 개는 깊이 카메라의 두 렌즈를 의미하고, Z는 객체상의 어떤 지점의 깊이값을 의미하며, ΔZ는 깊이값의 양자화 간격을 의미한다. In FIG. 2, two ellipses shown on the right side represent two lenses of a depth camera, Z means a depth value at a certain point on an object, and ΔZ means a quantization interval of depth values.

도 3은 본 발명의 적어도 일 실시예에 따른 양방향 예측 방안을 설명하기 위한 참고도이다. 도 3에 도시된 바에서 Zpred는 예측하고자 하는 ‘현재 시점에서의 블록’내의 어떤 픽셀의 깊이값을 의미하고, 그 픽셀의 깊이값에 해당하는 화소 영역의 값은 1이다. 도 3에 도시된 바와 같이 본 발명의 적어도 일 실시예는 1 을 정확히 예측하는데 반해 종래의 예측 방안에 따르면 기계적으로 0과 6의 평균치인 3 을 예측하여 부정확한 값을 예측하게 된다. 이와 같은 결과의 근본적인 이유는 앞서 언급한 바와 같이, 본 발명의 적어도 일 실시예에 따르면 깊이 영상으로서 어떤 예측하고자 하는 블록의 픽셀값을 종래와 같이 화소 영역에서 직접 예측하는 것이 아니라, 화소 영역을 깊이 영역으로 변환하고 변환된 깊이 영역에서 깊이값을 예측한 뒤 예측된 깊이값을 화소 영역으로 변환하고 변환된 결과가 바로 그 예측하고자 하는 픽셀값이라 결정하기 때문이고, 깊이 영상의 픽셀값이 깊이 영역에서는 선형적으로 양자화되는데 반해 화소 영역에서는 비선형적으로 양자화되기 때문이다.3 is a reference diagram for describing a bidirectional prediction method according to at least one embodiment of the present invention. As shown in FIG. 3, Z pred means a depth value of a certain pixel in a 'block at the current time point' to be predicted, and a value of a pixel area corresponding to the depth value of the pixel is 1. As shown in FIG. 3, at least one embodiment of the present invention accurately predicts 1, but according to the conventional prediction method, an incorrect value is predicted by mechanically predicting 3, which is an average of 0 and 6. The fundamental reason for such a result is that, as mentioned above, according to at least one embodiment of the present invention, a pixel area of a block to be predicted as a depth image is not directly predicted in the pixel area as in the prior art, This is because after converting to the area, predicting the depth value in the converted depth area, converting the predicted depth value to the pixel area and determining that the converted result is the pixel value to be predicted, and the pixel value of the depth image is the depth area. This is because the linear quantization is performed while the quantization is nonlinear in the pixel region.

도 4는 본 발명의 적어도 일 실시예에 따른 양방향 예측 방법을 나타내는 플로우챠트이다. 이를 도 1을 참조하여 설명하면 다음과 같다.4 is a flowchart illustrating a bidirectional prediction method according to at least one embodiment of the present invention. This will be described with reference to FIG. 1.

변환부(110)는 예측하고자 하는 현재 시점에서의 블록과 대응된 ‘이전 시점에서의 블록’ 및 ‘이후 시점에서의 블록’을 깊이 영역의 데이터로 변환한다(제410 단계).The conversion unit 110 converts the "block at the previous time" and the "block at the later time" corresponding to the block at the current time point to be predicted into data of the depth area (operation 410).

제410 단계 후에, 깊이영역용 예측부(120)는 현재 시점에서의 블록을 그 변환된 이전 시점에서의 블록과 그 변환된 이후 시점에서의 블록을 이용하여 예측한다(제420 단계).After operation 410, the depth area predictor 120 predicts a block at the current view using the transformed previous view and the block at the transformed view.

제420 단계 후에, 역변환부(130)는 제420 단계에서 예측된 현재 시점에서의 블록을 화소 영역으로 변환한다(제430 단계).After operation 420, the inverse transformer 130 converts the block at the current time point predicted in operation 420 into the pixel area (operation 430).

이상에서 언급된 본 발명에 의한 양방향 예측 방법을 컴퓨터에서 실행시키기 위한 프로그램은 컴퓨터로 읽을 수 있는 기록매체에 저장될 수 있다. The program for executing the bidirectional prediction method according to the present invention mentioned above in a computer may be stored in a computer-readable recording medium.

여기서, 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬(ROM), 플로피 디스크, 하드 디스크 등), 및 광학적 판독 매체(예를 들면, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc))와 같은 저장매체를 포함한다.Here, the computer-readable recording medium may be a magnetic storage medium (for example, a ROM, a floppy disk, a hard disk, etc.), and an optical reading medium (for example, a CD-ROM, a DVD). : Digital Versatile Disc).

이제까지 본 발명을 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점들은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been described with reference to the preferred embodiments. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

도 1은 본 발명의 적어도 일 실시예에 따른 양방향 예측 장치를 설명하기 위한 블록도이다.1 is a block diagram illustrating a bidirectional prediction apparatus according to at least one embodiment of the present invention.

도 2는 깊이 영상의 양자화를 설명하기 위한 참고도이다.2 is a reference diagram for explaining quantization of a depth image.

도 3은 본 발명의 적어도 일 실시예에 따른 양방향 예측 방안을 설명하기 위한 참고도이다.3 is a reference diagram for describing a bidirectional prediction method according to at least one embodiment of the present invention.

도 4는 본 발명의 적어도 일 실시예에 따른 양방향 예측 방법을 나타내는 플로우챠트이다.4 is a flowchart illustrating a bidirectional prediction method according to at least one embodiment of the present invention.

Claims (11)

화소 영역에서 표현된 하나 이상의 블록들로 구성된 깊이 영상의 부호화를 위한 예측 방법에 있어서,A prediction method for encoding a depth image consisting of one or more blocks represented in a pixel region, 예측하고자 하는 현재 시점에서의 상기 블록들 가운데 임의의 하나의 블록과 대응된 이전 시점 및 이후 시점 각각에서의 하나의 블록을 깊이 영역의 데이터로 변환하는 단계;Converting one block at each of a previous time point and a subsequent time point corresponding to any one of the blocks at the current time point to be predicted into data of a depth region; 상기 현재 시점에서의 하나의 블록을 상기 변환된 이전 시점과 이후 시점 각각에서의 하나의 블록을 이용하여 예측하는 단계; 및Predicting one block at the current view using one block at each of the transformed previous and subsequent views; And 상기 예측된 블록을 상기 화소 영역으로 변환하는 단계를 포함하는 것을 특징으로 하는 양방향 예측 방법.And converting the predicted block into the pixel region. 제1 항에 있어서, 상기 예측하는 단계는The method of claim 1, wherein the predicting step 상기 현재 시점에서의 상기 블록을 이루는 깊이값들 각각을 대응된 상기 이전 시점에서의 블록의 깊이값 및 상기 이후 시점에서의 블록의 깊이값을 기 설정된 방식에 따라 평균하여 예측하는 것을 특징으로 하는 양방향 예측 방법.And averaging each of the depth values constituting the block at the current time point by averaging the depth value of the corresponding block at the previous time point and the depth value of the block at the subsequent time point according to a preset method. Forecast method. 제2 항에 있어서, 상기 예측하는 단계는The method of claim 2, wherein the predicting step 상기 현재 시점에서의 상기 블록을 이루는 깊이값들 각각을 대응된 상기 이전 시점에서의 블록의 깊이값에 상기 이후 시점에서의 블록의 깊이값과 일정 계수를 가산한 결과를 고려하여 예측하는 것을 특징으로 하는 양방향 예측 방법.Each of the depth values constituting the block at the current time point is predicted in consideration of a result of adding a depth value and a predetermined coefficient of the block at the subsequent time point to the corresponding depth value of the block at the previous time point. Bi-directional prediction method. 제1 항에 있어서, The method according to claim 1, 상기 화소 영역은 변이(disparity) 영역 또는 세기(intensity) 영역인 것을 특징으로 하는 양방향 예측 방법.And the pixel region is a disparity region or an intensity region. 제1 항에 있어서, 상기 블록은 매크로 블록인 것을 특징으로 하는 양방향 예측 방법.The method of claim 1, wherein the block is a macro block. 삭제delete 화소 영역에서 표현된 하나 이상의 블록들로 구성된 깊이 영상의 부호화를 위한 예측 장치에 있어서,A prediction apparatus for encoding a depth image consisting of one or more blocks represented in a pixel region, 예측하고자 하는 현재 시점에서의 상기 블록들 가운데 임의의 하나의 블록과 대응된 이전 시점 및 이후 시점 각각에서의 하나의 블록을 깊이 영역의 데이터로 변환하는 변환부;A transformer for converting one block at each of a previous time point and a subsequent time point corresponding to any one of the blocks at the current time point to be predicted into data of a depth region; 상기 현재 시점에서의 하나의 블록을 상기 변환된 이전 시점과 이후 시점 각각에서의 하나의 블록을 이용하여 예측하는 깊이영역용 예측부; 및A depth domain predictor for predicting one block at the current view using one block at each of the transformed previous and subsequent views; And 상기 예측된 블록을 상기 화소 영역으로 변환하는 역변환부를 포함하는 것을 특징으로 하는 양방향 예측 장치.And an inverse transform unit for converting the predicted block into the pixel region. 제7 항에 있어서, 상기 깊이영역용 예측부는8. The depth domain predictor of claim 7, 상기 현재 시점에서의 상기 블록을 이루는 깊이값들 각각을 대응된 상기 이전 시점에서의 블록의 깊이값 및 상기 이후 시점에서의 블록의 깊이값을 기 설정된 방식에 따라 평균하여 예측하는 것을 특징으로 하는 양방향 예측 장치.And averaging each of the depth values constituting the block at the current time point by averaging the depth value of the corresponding block at the previous time point and the depth value of the block at the subsequent time point according to a preset method. Prediction device. 제8 항에 있어서, 상기 깊이영역용 예측부는The method of claim 8, wherein the depth region prediction unit 상기 현재 시점에서의 상기 블록을 이루는 깊이값들 각각을 대응된 상기 이전 시점에서의 블록의 깊이값에 상기 이후 시점에서의 블록의 깊이값과 일정 계수를 가산한 결과를 고려하여 예측하는 것을 특징으로 하는 양방향 예측 장치.Each of the depth values constituting the block at the current time point is predicted in consideration of a result of adding a depth value and a predetermined coefficient of the block at the subsequent time point to the corresponding depth value of the block at the previous time point. Bidirectional prediction device. 제7 항에 있어서, 8. The method of claim 7, 상기 화소 영역은 변이(disparity) 영역 또는 세기(intensity) 영역인 것을 특징으로 하는 양방향 예측 장치.And the pixel area is a disparity area or an intensity area. 제7 항에 있어서, 상기 블록은 매크로 블록인 것을 특징으로 하는 양방향 예측 장치.The apparatus of claim 7, wherein the block is a macro block.
KR1020090077270A 2009-08-20 2009-08-20 Bidirectional prediction method and apparatus for encoding depth image KR101054875B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090077270A KR101054875B1 (en) 2009-08-20 2009-08-20 Bidirectional prediction method and apparatus for encoding depth image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090077270A KR101054875B1 (en) 2009-08-20 2009-08-20 Bidirectional prediction method and apparatus for encoding depth image

Publications (2)

Publication Number Publication Date
KR20110019644A KR20110019644A (en) 2011-02-28
KR101054875B1 true KR101054875B1 (en) 2011-08-05

Family

ID=43776912

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090077270A KR101054875B1 (en) 2009-08-20 2009-08-20 Bidirectional prediction method and apparatus for encoding depth image

Country Status (1)

Country Link
KR (1) KR101054875B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013158097A1 (en) 2012-04-19 2013-10-24 Intel Corporation 3d video coding including depth based disparity vector calibration
WO2013162275A1 (en) * 2012-04-24 2013-10-31 엘지전자 주식회사 Method and apparatus for processing video signals
KR101783617B1 (en) * 2013-04-11 2017-10-10 엘지전자 주식회사 Video signal processing method and device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100780840B1 (en) 2006-06-14 2007-11-29 광주과학기술원 A temporal prediction apparatus and method for coding multi-view video based on layer-depth image
WO2009005626A2 (en) 2007-06-28 2009-01-08 Thomson Licensing Single loop decoding of multi-vieuw coded video
KR20090040032A (en) * 2007-10-19 2009-04-23 광주과학기술원 Method and device for generating depth image using reference image, and method for encoding or decoding the said depth image, and encoder or decoder for the same, and the recording media storing the image generating the said method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100780840B1 (en) 2006-06-14 2007-11-29 광주과학기술원 A temporal prediction apparatus and method for coding multi-view video based on layer-depth image
WO2009005626A2 (en) 2007-06-28 2009-01-08 Thomson Licensing Single loop decoding of multi-vieuw coded video
KR20090040032A (en) * 2007-10-19 2009-04-23 광주과학기술원 Method and device for generating depth image using reference image, and method for encoding or decoding the said depth image, and encoder or decoder for the same, and the recording media storing the image generating the said method

Also Published As

Publication number Publication date
KR20110019644A (en) 2011-02-28

Similar Documents

Publication Publication Date Title
RU2762933C2 (en) Encoding and decoding of video with high resistance to errors
US10798416B2 (en) Apparatus and method for motion estimation of three dimension video
KR101244917B1 (en) Method and apparatus for compensating illumination compensation and method and apparatus for encoding and decoding video based on illumination compensation
JP5833757B2 (en) Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, image decoding program, and recording medium
Shen et al. Efficient intra mode selection for depth-map coding utilizing spatiotemporal, inter-component and inter-view correlations in 3D-HEVC
KR20120000485A (en) Apparatus and method for depth coding using prediction mode
JP6307152B2 (en) Image encoding apparatus and method, image decoding apparatus and method, and program thereof
US20140348242A1 (en) Image coding apparatus, image decoding apparatus, and method and program therefor
JP2009212664A (en) Encoding method, decoding method, encoding device, decoding device, encoding program and decoding program, of distance information, and computer readable recording medium
KR101054875B1 (en) Bidirectional prediction method and apparatus for encoding depth image
JP5926451B2 (en) Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, and image decoding program
WO2017010073A1 (en) Motion picture encoding device, motion picture encoding method, and storage medium storing motion picture encoding program
US20160255370A1 (en) Moving image encoding method, moving image decoding method, moving image encoding apparatus, moving image decoding apparatus, moving image encoding program, and moving image decoding program
JP2015035720A (en) Conversion quantization method, conversion quantization device and conversion quantization program
JP5706291B2 (en) Video encoding method, video decoding method, video encoding device, video decoding device, and programs thereof
JP6386466B2 (en) Video encoding apparatus and method, and video decoding apparatus and method
KR101035746B1 (en) Method of distributed motion estimation for video encoder and video decoder
WO2012172634A1 (en) Image encoding device, image decoding device, method, and program
JP5759357B2 (en) Video encoding method, video decoding method, video encoding device, video decoding device, video encoding program, and video decoding program
JP2014011631A (en) Predictive image generating device, decoding device, encoding device, predictive image generating method, decoding method, encoding method, predictive image generating program, decoding program, and encoding program
KR20160140622A (en) Video encoding device and method and video decoding device and method
JP6310340B2 (en) Video encoding apparatus, video decoding apparatus, video encoding method, video decoding method, video encoding program, and video decoding program
WO2012121369A1 (en) Image encoding device, image encoding method, image encoding program, image decoding device, image decoding method and image decoding program
KR20090027091A (en) Method and apparatus for encoding/decoding moving picture
CN105532006A (en) Video encoding device and method, and video decoding device and method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140630

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150730

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160712

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee