KR20120003147A - 루프 필터를 이용한 깊이 영상 부호화 장치 및 복호화 장치 - Google Patents

루프 필터를 이용한 깊이 영상 부호화 장치 및 복호화 장치 Download PDF

Info

Publication number
KR20120003147A
KR20120003147A KR1020100063834A KR20100063834A KR20120003147A KR 20120003147 A KR20120003147 A KR 20120003147A KR 1020100063834 A KR1020100063834 A KR 1020100063834A KR 20100063834 A KR20100063834 A KR 20100063834A KR 20120003147 A KR20120003147 A KR 20120003147A
Authority
KR
South Korea
Prior art keywords
depth image
contour
filtering
unit
smoothing
Prior art date
Application number
KR1020100063834A
Other languages
English (en)
Inventor
임일순
위호천
오병태
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100063834A priority Critical patent/KR20120003147A/ko
Priority to US13/067,679 priority patent/US8705885B2/en
Priority to EP11171436.6A priority patent/EP2403257A3/en
Publication of KR20120003147A publication Critical patent/KR20120003147A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

깊이 영상 부호화 장치 및 복호화 장치가 제공된다. 깊이 영상 부호화 장치는, 깊이 영상의 윤곽선 영역과 평활 영역의 복원에 필요한 계수들을 산출하고, 깊이 영상과 색상 영상을 이용하여 깊이 영상을 복원할 수 있다.

Description

루프 필터를 이용한 깊이 영상 부호화 장치 및 복호화 장치{Depth Map Coding and Decoding Apparatus using Loop-Filter}
기술분야는 루프 필터를 이용한 깊이 영상 부호화 장치 및 복호화 장치에 관한 것으로, 깊이 영상의 부호화 과정 또는 복호화 과정에서 깊이 영상을 보다 선명하게 복원하기 위한 루프 필터를 이용한 깊이 영상 부호화 장치 및 복호화 장치에 관한 것이다.
입체 영상은 색상 영상과 깊이 영상으로 이루어진다. 사용자에게 입체 영상을 제공하기 위하여, 3D(dimension) 압축 시스템은 색상 영상과 깊이 영상을 압축한다. 색상 영상은 MPEG-4(Moving Picture Experts Group) 및 H.264/AVC(Advanced Video Coding) 와 같은 표준 기술을 이용하여 효율적으로 압축할 수 있다. 그러나, 깊이 영상은 평탄 영역(smooth region)과 불연속적인 윤곽선으로 구성되어 있으며, 불연속적인 윤곽선의 열화에 따라서 깊이 영상의 화질이 크게 저하될 수 있다.
일 측면에 있어서, 깊이 영상을 이루는 윤곽선 영역의 복원에 필요한 필터링 파라미터들을 결정하는 파라미터 결정부; 상기 깊이 영상과 상기 깊이 영상에 매칭되는 색상 영상 사이의 상관관계를 판단하는 판단부; 및 상기 판단된 상관관계를 고려하여 상기 윤곽선 영역을 필터링하여, 상기 윤곽선 영역을 보정 및 복원하는 복원부를 포함하는 깊이 영상 부호화 장치가 제공된다.
상기 파라미터 결정부에서 결정되는 상기 필터링 파라미터들은, 상기 깊이 영상을 이루는 평활 영역의 평활화 강도를 조정하기 위한 공간 분산, 상기 윤곽선 영역의 평활화 강도를 조정하기 위한 범위 분산 및 상기 윤곽선 영역의 평활화 강도를 보정하기 위한 색상 파라미터를 포함할 수 있다.
상기 판단부는, 상기 색상 영상에 위치하는 픽셀의 색상 경계 강도 및 상기 깊이 영상에 위치하는 상기 픽셀의 깊이 경계 강도를 검출하는 검출부; 및 상기 검출된 색상 경계 강도 및 상기 검출된 깊이 경계 강도와 기설정된 임계값을 비교하여, 상기 상관관계를 판단하는 상관관계 판단부를 포함한다.
상기 복원부는, 상기 윤곽선 영역의 보정에 필요한 윤곽선 보정 필터 계수를 상기 깊이 영상에 매칭되는 색상 영상을 이용하여 산출하는 산출부; 및 상기 산출된 윤곽선 보정 필터 계수를 이용하여 상기 윤곽선 영역을 필터링하는 필터링부를 포함한다.
상기 산출부는, 상기 결정된 필터링 파라미터들 중 적어도 하나, 상기 검출된 색상 경계 강도 및 상기 검출된 깊이 경계 강도를 이용하여 상기 윤곽선 보정 필터 계수를 산출한다.
상기 산출부는, 상기 상관관계 판단부에서 판단되는 상관관계가 높으면, 상기 윤곽선 보정 필터 계수를 산출한다.
상기 산출부는, 상기 결정된 필터링 파라미터들을 이용하여, 상기 평활 영역을 보정하기 위한 평활 보정 필터 계수 및 상기 윤곽선 영역을 보존하기 위한 윤곽선 보존 필터 계수를 더 산출하며, 상기 필터링부는, 상기 평활 보정 필터 계수 및 상기 윤곽선 보존 필터 계수를 더 이용하여 상기 윤곽선 영역을 필터링한다.
상기 복원부는, 상기 상관관계 판단부에서 판단되는 상관관계가 낮으면, 상기 결정된 필터링 파라미터들을 이용하여, 상기 깊이 영상의 평활 영역을 보정한다.
상기 복원부는, 상기 상관관계 판단부에서 판단되는 상관관계가 낮으면, 상기 결정된 필터링 파라미터들을 이용하여, 상기 깊이 영상의 평활 영역을 보정하기 위한 평활 보정 필터 계수 및 상기 윤곽선 영역을 보존하기 위한 윤곽선 보존 필터 계수를 산출하는 산출부; 및 상기 산출된 평활 보정 필터 계수 및 상기 윤곽선 보존 필터 계수를 이용하여 상기 평활 영역을 필터링하는 필터링부를 포함한다.
다른 측면에 있어서, 깊이 영상을 이루는 평활 영역 및 윤곽선 영역의 복원에 필요한 필터링 파라미터들을 결정하는 파라미터 결정부; 및 상기 결정된 필터링 파라미터들을 이용하여 상기 깊이 영상을 필터링하여, 상기 평활 영역 및 상기 윤곽선 영역을 보정 및 복원하는 복원부를 포함하는 깊이 영상 부호화 장치가 제공된다.
다른 측면에 있어서, 깊이 영상을 복수 개의 블록들로 분할하는 분할부; 상기 블록들의 평탄도를 산출하는 평탄도 산출부; 및 상기 산출된 블록들의 평탄도에 따라 상이한 필터링 파라미터를 이용하여 상기 블록들을 필터링하여, 상기 깊이 영상의 평활 영역 및 윤곽선 영역을 보정 및 복원하는 복원부를 포함하는 깊이 영상 부호화 장치가 제공된다.
다른 측면에 있어서, 깊이 영상을 이루는 평활 영역 및 윤곽선 영역의 복원에 필요한 필터링 파라미터들을 입력받는 입력부; 상기 깊이 영상과 상기 깊이 영상에 매칭되는 색상 영상 사이의 상관관계를 판단하는 판단부; 및 상기 판단된 상관관계를 고려하여 상기 깊이 영상을 필터링하여, 상기 평활 영역 및 상기 윤곽선 영역을 보정 및 복원하는 복원부를 포함하며, 상기 복원부는 상기 입력받은 필터링 파라미터들을 이용하여 상기 윤곽선 영역을 필터링하는 깊이 영상 복호화 장치가 제공된다.
다른 측면에 있어서, 깊이 영상을 이루는 평활 영역 및 윤곽선 영역의 복원에 필요한 필터링 파라미터들을 입력받는 입력부; 및 상기 입력받은 필터링 파라미터들을 이용하여 상기 깊이 영상을 필터링하여, 상기 평활 영역 및 상기 윤곽선 영역을 보정 및 복원하는 복원부를 포함하는 깊이 영상 복호화 장치가 제공된다.
루프 필터를 이용한 깊이 영상 부호화 장치 및 복호화 장치에 의하면, 깊이 영상과 색상 영상을 이용하여 깊이 영상을 필터링하거나, 색상 영상을 이용하지 않고 깊이 영상을 필터링함으로써, 동영상 압축 시스템에서 깊이 영상의 화질, 임의 시점에서의 합성 영상의 화질 및 압축률을 향상시킬 수 있다.
도 1은 깊이 영상 부호화 장치의 일 예를 설명하기 위한 블록도이다.
도 2는 평활 보정 필터 계수, 윤곽선 보존 필터 계수 및 윤곽선 보정 필터 계수를 설명하기 위한 도면이다.
도 3은 깊이 영상 부호화 장치의 다른 예를 설명하기 위한 블록도이다.
도 4는 깊이 영상 부호화 장치의 다른 예를 설명하기 위한 블록도이다.
도 5는 깊이 영상의 블록들을 클래스로 분류하는 일 예를 보여주는 도면이다.
도 6은 깊이 영상 복호화 장치의 다른 예를 설명하기 위한 블록도이다.
도 7은 깊이 영상 복호화 장치의 다른 예를 설명하기 위한 블록도이다.
도 8은 깊이 영상의 복원이 가능한 장치를 포함하는 비디오 데이터 부호화 장치를 도시한 블록도이다.
도 9는 깊이 영상의 복원이 가능한 장치를 포함하는 비디오 데이터 복호화 장치를 도시한 블록도이다.
도 10은 일 실시예에 따른 깊이 영상 부호화 장치의 깊이 영상 복원 방법을 설명하기 위한 흐름도이다.
도 11은 다른 실시예에 따른 깊이 영상 부호화 장치의 깊이 영상 복원 방법을 설명하기 위한 흐름도이다.
도 12는 다른 실시예에 따른 깊이 영상 부호화 장치의 깊이 영상 복원 방법을 설명하기 위한 흐름도이다.
도 13은 다른 실시예에 따른 깊이 영상 복호화 장치의 깊이 영상 복원 방법을 설명하기 위한 흐름도이다.
도 14는 다른 실시예에 따른 깊이 영상 복호화 장치의 깊이 영상 복원 방법을 설명하기 위한 흐름도이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 깊이 영상 부호화 장치(100)의 일 예를 설명하기 위한 블록도이다.
도 1을 참조하면, 깊이 영상 부호화 장치(100)는 파라미터 결정부(110), 판단부(120) 및 복원부(130)를 포함한다. 깊이 영상은 윤곽선 영역과 평활 영역을 포함한다. 깊이 영상 부호화 장치(100)는 부호화된 깊이 영상(ID)과 부호화 색상 영상(IC)을 이용하여, 깊이 영상의 윤곽선 영역을 보정 및 보존하고, 깊이 영상의 평활 영역을 복원할 수 있다.
파라미터 결정부(110)는 깊이 영상을 이루는 윤곽선 영역 및 평활 영역의 복원에 필요한 필터링 파라미터들을 결정할 수 있다. 파라미터 결정부(110)로 입력되는 깊이 영상은, 인코더(미도시)에서 압축된 후 다시 압축이 해제된 깊이 영상일 수 있다.
필터링 파라미터들은, 깊이 영상을 이루는 평활 영역의 평활화 강도를 조정하기 위한 공간 분산(Domain Variance)(σdomain), 윤곽선 영역의 평활화 강도를 조정하기 위한 범위 분산(Range Variance)(σrange) 및 윤곽선 영역의 평활화 강도를 보정하기 위한 색상 파라미터(pcolor)를 포함한다. 결정되는 필터링 파라미터들은 복호화 장치로 제공되어 깊이 영상의 복호화에 사용될 수 있다.
파라미터 결정부(110)는 깊이 영상의 압축률을 향상시키고, 복원되는 깊이 영상 중 윤곽선을 보존하기 위하여 최적의 공간 분산, 범위 분산 및 색상 파라미터를 결정한다. 파라미터 결정부(110)는 입력되는 깊이 영상의 인터/인트라 프레임 단위 또는 픽쳐 단위로 필터링 파라미터들을 결정할 수 있다.
일반적으로, 압축 영상을 원본 영상에 최대한 근접하게 복원하고, 복원 영상(restored image)을 참조 영상(reference image)으로 사용하면 압축율이 향상된다. 따라서, 파라미터 결정부(110)는 SSD(Sum of Squared Difference)를 최소화하는 "왜곡 최소화 방법"을 사용하여 필터링 파라미터들을 결정할 수 있다. 왜곡 최소화 방법에 대해 설명하면 다음과 같다.
파라미터 결정부(110)는 먼저, 각 필터링 파라미터의 가능한 범위(available range) 내에서 3개의 파라미터로 이루어지는 조합을 만들고, 각 조합에 대한 SSD를 계산한다. 여기서, SSD는 입력 영상으로 들어오는 원본 깊이영상과 압축 깊이영상 사이의 차분의 제곱을 의미한다.
예를 들어, 공간 분산의 가능한 범위는 [σdomain,1, σdomain,2, …,　σdomain,L], 범위 분산의 가능한 범위는 [σrange,1, σrange,2, …,　σrange,M], 그리고, 색상 파라미터의 가능한 범위는 [pcolor,1, pcolor,2, …,　pcolor,N]로 정해)로 정해져 있는 경우를 가정한다. 파라미터 결정부(110)는 이러한 범위가 정해진 상태에서　가능한 모든 경우의 조합을 만든다. 예를 들어, 파라미터 결정부(110)는 (σdomain,1, σrange,1, pcolor,1), (σdomain,1, σrange,1, pcolor,2)…(σdomain,1, σrange,1, pcolor,N), …, (σdomain,1, σrange,2, pcolor,1)와 같은 조합을 만들 수 있다.
파라미터 결정부(110)는 각 조합에 대한 SSD를 계산한 후, 가장 작은 SSD를 갖는 조합에 속한 파라미터들을 최적의 필터링 파라미터들로 결정한다.
판단부(120)는 깊이 영상과 깊이 영상에 매칭되는 색상 영상 사이의 상관관계를 판단할 수 있다. 이를 위하여, 판단부(120)는 검출부(121) 및 상관관계 판단부(123)을 포함한다.
검출부(121)는 파라미터 결정부(110)에서 결정된 필터링 파라미터들, 깊이 영상 및 깊이 영상에 매칭되는 색상 영상을 입력받는다. 검출부(121)는 색상 영상에 위치하는 픽셀의 경계 강도(Boundary Strength)(이하, '색상 경계 강도'라 함)(bcolor) 및 깊이 영상에 위치하는 픽셀의 경계 강도(이하, '깊이 경계 강도'라 함)(bdepth)를 검출할 수 있다. 즉, 검출부(121)는 색상 영상에서 (x, y) 좌표에 위치하는 픽셀의 색상 경계 강도와, 깊이 영상에서 (x, y) 좌표에 위치하는 픽셀의 깊이 경계 강도를 검출한다. 예를 들어, 검출부(121)는 Prewitt, Sobel 또는 Canny 등의 윤곽선 검출기를 이용할 수 있다.
상관관계 판단부(123)는 검출된 색상 경계 강도 및 검출된 깊이 경계 강도와 기설정된 임계값을 비교하여, 깊이 영상과 색상 영상 간의 상관관계를 판단할 수 있다. 상관관계 판단부(123)는 색상 경계 강도와 제1임계값(TH1)을 비교하여, 색상 경계 강도가 크면, 깊이 경계 강도와 제2임계값(TH2)를 비교한다. 깊이 경계 강도도 제2임계값(TH2)보다 크면, 상관관계 판단부(123)는 깊이 영상과 색상 영상의 (x, y) 좌표에 있는 픽셀의 상관관계가 높은 것으로 판단된다. 상관관계가 높은 것으로 판단되는 픽셀은 윤곽선 영역일 확률이 크다.
복원부(130)는 깊이 영상의 윤곽선 영역이 보존되도록 윤곽선 영역을 보정 및 복원한다. 이를 위하여, 복원부(130)는 판단된 상관관계를 고려하여 깊이 영상의 윤곽선 영역을 필터링할 수 있다. 즉, 복원부(130)는 상관관계가 높은 것으로 판단된 픽셀을 필터링하여, 이 픽셀의 윤곽선을 보존한다. 이를 위하여, 복원부(130)는 루프 필터를 사용할 수 있으며, 산출부(131) 및 필터링부(133)를 포함한다.
산출부(131)는 상관관계 판단부(123)에서 판단되는 상관관계가 높으면, 윤곽선 보정 필터 계수를 산출할 수 있다. 윤곽선 보정 필터 계수는 윤곽선 영역의 보정에 필요한 값이다. 산출부(131)는 깊이 영상에 매칭되는 색상 영상을 이용하여 윤곽선 보정 필터 계수를 산출할 수 있다. 윤곽선 보정 필터 계수는 윤곽선을 의미하는 경계 강도에 비례하는 값이므로, 윤곽선 보정 필터 계수를 이용하는 경우, 윤곽선 영역은 보다 정확하게 보정 및 보존될 수 있다. 따라서, 산출부(131)는 필터링 파라미터들 중 적어도 하나, 검출된 색상 경계 강도 및 검출된 깊이 경계 강도를 이용하여 윤곽선 보정 필터 계수를 산출할 수 있다. 이 때, 윤곽선 보정의 성능은 pcolor의 영향을 가장 많이 받을 수 있다.
산출부(131)는 [수학식 1]을 이용하여 윤곽선 보정 필터 계수를 산출한다.
Figure pat00001
[수학식 1]을 참조하면, c(x, y, pcolor)는 (x, y) 좌표에 위치하는 픽셀에 적용할 윤곽선 보정 필터 계수, pcolor는 비례 상수이다. 또한, bdepth(x,y)는 깊이 영상의 (x, y) 좌표에 위치하는 픽셀의 깊이 경계 강도, bcolor(x,y)는 색상 영상의 (x, y) 좌표에 위치하는 픽셀의 색상 경계 강도이다. 윤곽선 보정 필터 계수는 깊이 경계 강도와 색상 경계 강도에 비례한다.
c(x, y, pcolor)는 깊이 영상의 윤곽선을 보정하는 필터에 사용된다. 즉, c(x, y, pcolor)는 깊이 영상에서 색상 영상과 상관관계가 높은 영역의 윤곽선을 보정할 때 사용된다. 이로써, 깊이 영상과 관련없는 색상 영상이 사용되는 것을 방지할 수 있다.
또한, 산출부(131)는, 필터링 파라미터들을 이용하여, 평활 영역을 보정하기 위한 평활 보정 필터 계수 및 윤곽선 영역을 보존하기 위한 윤곽선 보존 필터 계수를 더 산출할 수 있다. [수학식 2]는 평활 보정 필터 계수를 산출하기 위한 식, [수학식 3]은 윤곽선 보존 필터 계수를 산출하기 위한 식이다.
Figure pat00002
[수학식 2]를 참조하면, 평활 보정 필터 계수는 좌표 위치(x,y)와 공간 분산의 영향을 받는다. 즉, 평활 보정 필터 계수는 x와 y, 즉, 공간적 거리에 대한 함수에 의해 산출된다. 또한, 공간 분산은 평활 보정 필터 계수를 결정하는 파라미터이다.
Figure pat00003
[수학식 3]을 참조하면, 윤곽선 보존 필터 계수는 좌표 위치(x,y)와 범위 분산의 영향을 받는다. ai는 (x,y)좌표에 위치하는 타겟 픽셀의 주변 픽셀들의 그레이 레벨이다. 따라서, 윤곽선 보존 필터 계수는 타겟 픽셀과 주변 픽셀에 대한 함수에 의해 산출된다. 좌표 위치(x,y)는 고정된 값이므로, 각 계수는 공간 분산과 범위 분산에 따라 적응적으로 조절될 수 있다.
도 2는 평활 보정 필터 계수, 윤곽선 보존 필터 계수 및 윤곽선 보정 필터 계수를 설명하기 위한 도면이다.
도 2를 참조하면, 필터(g)는 평활 보정 필터 계수를 이용하여 평활 영역을 필터링하는 필터로서, 가우시안 형태를 가지고 있다. 가우시안 형태는 평활 보정 필터 계수에 따라 형태가 변경된다. 또한, 필터(r)는 윤곽선 보존 필터 계수를 이용하여 윤곽선 영역을 필터링하는 필터로서, 계단 형태를 갖는다. 계단 형태는 윤곽선 보존 필터 계수에 따라 변경된다.
필터링부(133)는 윤곽선 영역을 보정하는 필터링을 수행한다. 필터링부(133)는 윤곽선 보정 필터 계수, 평활 보정 필터 계수 및 윤곽선 보존 필터 계수를 이용하여 필터링한다. 필터링되는 윤곽선 영역은 (x,y) 좌표에 위치하는 타겟 픽셀을 의미한다. 필터링부(133)는 [수학식 4]를 이용하여 윤곽선 영역을 필터링할 수 있다.
Figure pat00004
[수학식 4]를 참조하면, h는 (x,y) 좌표에 위치하는 픽셀이 필터링에 의해 복원된 픽셀이다. g(ai)는 평활 보정 필터 계수, r(ai)는 윤곽선 보존 필터 계수, c(ai)는 윤곽선 보정 필터 계수이다. 필터링부(133)는 2차원 nⅹn 필터 연산을 수행한다. 이 때, 필터링부(133)는 상술한 3개의 필터링 기능을 동시에 수행한다. 이로써, 윤곽선 영역은 블러링되지 않고, 보존된 상태로 복원된다.
한편, 복원부(130)는, 상관관계 판단부(123)에서 판단되는 상관관계가 낮으면, 타겟 픽셀은 평활 영역에 해당하는 것으로 판단한다. 복원부(130)는 필터링 파라미터들을 이용하여, 깊이 영상의 평활 영역을 보정할 수 있다. 이러한 경우, 산출부(131)는 평활 영역을 보정하기 위한 평활 보정 필터 계수 및 윤곽선 영역을 보존하기 위한 윤곽선 보존 필터 계수를 필터링 파라미터들, [수학식 2] 및 [수학식 3]을 이용하여 산출한다.
그리고, 필터링부(133)는 평활 보정 필터 계수, 윤곽선 보존 필터 계수 및 [수학식 4]를 이용하여 평활 영역을 필터링할 수 있다. 이 때, c(ai)=1로 정할 수 있다. 이로써, 타겟 픽셀의 압축 노이즈는 제거되어, 보정된 평활 영역으로 복원된다.
상술한 깊이 영상 부호화 장치(100)에 의하면, 평활 영역에서 주로 나타나는 압축 노이즈는 제거되며, 윤곽선 영역은 선명하게 보정 및 복원된다. 따라서, 복원된 깊이 영상에서 윤곽선 영역은 보존된다. 이러한 효과는 깊이 영사의 화질을 개선할 뿐 아니라 임의 시점의 합성 영상(synthesized image)이 화질 개선에도 영향을 미친다.
도 3은 깊이 영상 부호화 장치(300)의 다른 예를 설명하기 위한 블록도이다.
도 3을 참조하면, 깊이 영상 부호화 장치(300)는 파라미터 결정부(310) 및 복원부(320)를 포함한다. 파라미터 결정부(310) 및 복원부(320)는 도 1을 참조하여 설명한 파라미터 결정부(110) 및 복원부(130)와 유사하므로 상세한 설명은 생략한다.
깊이 영상 부호화 장치(300)는 색상 영상(IC)을 이용하지 않고, 부호화된 깊이 영상의 평활 영역을 복원하고, 깊이 영상의 윤곽선 영역을 보정 및 보존할 수 있다.
파라미터 결정부(310)는 깊이 영상을 이루는 평활 영역과 윤곽선 영역의 복원에 필요한 필터링 파라미터들을 결정할 수 있다. 파라미터 결정부(310)로 입력되는 깊이 영상은, 인코더(미도시)에서 압축된 후 다시 압축이 해제된 깊이 영상일 수 있다. 파라미터 결정부(310)에서 결정되는 필터링 파라미터들은, 평활 영역의 평활화 강도를 조정하기 위한 공간 분산 (σdomain) 및 윤곽선 영역의 평활화 강도를 조정하기 위한 범위 분산(σrange)를 포함한다.
복원부(320)는 깊이 영상을 보정 및 복원하기 위하여, 결정된 필터링 파라미터들을 이용하여 깊이 영상을 필터링할 수 있다. 깊이 영상을 보정 및 복원하는 것은, 윤곽선 영역을 보존하고, 평활 영역을 보정하는 것을 의미할 수 있다. 이를 위하여, 복원부(320)는 산출부(321) 및 필터링부(323)를 포함한다.
산출부(321)는 [수학식 2]를 참조하여, 평활 영역을 보정하기 위한 평활 보정 필터 계수를 산출한다. 또한, 산출부(321)는 [수학식 3]을 참조하여, 윤곽선을 보존하기 위한 윤곽선 보존 필터 계수를 산출한다.
필터링부(323)는 깊이 영상을 보정 및 복원하는 필터링을 수행한다. 필터링부(323)는 평활 보정 필터 계수 및 윤곽선 보존 필터 계수를 이용하여 깊이 영상을 필터링한다. 즉, 필터링부(323)는 깊이 영상을 이루는 평활 영역과 윤곽선 영역의 픽셀들을 [수학식 4]를 이용하여 필터링할 수 있다. 이 때, c(ai)=1이다. 이로써, 깊이 영상 중 평활 영역의 압축 노이즈는 제거되어, 더 평탄한 영역으로 보정 및 복원되며 윤곽선 영역은 보다 선명하게 보정 및 보존된다.
도 4는 깊이 영상 부호화 장치(400)의 다른 예를 설명하기 위한 블록도이다.
깊이 영상 부호화 장치(400)는 깊이 영상을 블록 단위로 분할하고, 각 블록을 선택적으로 필터링할 수 있다. 이를 위하여, 깊이 영상 부호화 장치(400)는 분할부(410), 평탄도 산출부(420) 및 복원부(430)를 포함한다.
분할부(410)는 입력되는 깊이 영상을 복수 개의 블록들로 분할한다. 예를 들어, 분할부(410)는 깊이 영상을 4?4, 8?8, 16?16 등의 매크로 블록 단위로 분할할 수 있다.
평탄도 산출부(420)는 분할된 블록들의 평탄도를 산출한다. 깊이 영상은 각 픽셀의 깊이값을 그레이 레벨로 표현한다. 따라서, 대부분의 영역은 평활 영역이다.
복원부(430)는 산출된 블록들의 평탄도에 따라 상이한 필터링 파라미터를 이용하여 각 블록을 필터링할 수 있다. 즉, 복원부(430)는 각 블록의 평탄도에 따라서 필터링 강도를 다르게 적용할 수 있다. 이로써, 복원부(430)는 적응적으로 평활 영역을 보정하고, 윤곽선 영역을 보존 및 복원한다.
예를 들어, 복원부(430)는 산출된 평탄도에 따라 분할된 블록들을 클래스로 분류한다. 도 5는 깊이 영상의 블록들을 클래스로 분류하는 일 예를 보여주는 도면이다. 도 5를 참조하면, Class 1은 매우 평탄한 블록들에 대응한다. 따라서, 복원부(430)는 Class 1에 속하는 블록들에 대해서는 필터링하지 않을 수 있다. Class 2는 Class 1에 비해 더 복잡한 펑탄도를 가지므로, 복원부(430)는 Class 2에 대응하는 필터 파라미터(2)를 이용하여 Class 2에 속하는 블록들을 필터링한다. 이를 정리하면 [표 1]과 같다.
분류(Class) 블록의 평탄도 필터링 강도
1 매우 평탄 No Filtering
2 평탄 필터 파라미터(2)
N-1 복잡 필터 파라미터(N-1)
N 매우 복잡 필터 파라미터(N)
다른 예를 들어, 복원부(430)는 산출된 블록들의 평탄도를 참조하여, 분할된 블록들로부터 필터링 대상 블록들을 선택할 수 있다. 복원부(430)는 선택된 필터링 대상 블록들을 동일한 필터 파라미터를 이용하여 필터링할 수 있다.
도 6은 깊이 영상 복호화 장치(600)의 다른 예를 설명하기 위한 블록도이다.
깊이 영상 복호화 장치(600)는 복호기로 입력된 깊이 영상의 압축을 해제하여, 깊이 영상을 복원할 수 있다. 이를 위하여, 깊이 영상 복호화 장치(600)는 입력부(610), 판단부(620) 및 복원부(630)를 포함한다.
입력부(610)는 깊이 영상을 이루는 평활 영역과 윤곽선 영역의 복원에 필요한 필터링 파라미터들을 입력받는다. 입력되는 필터링 파라미터들은, 평활 영역의 평활화 강도를 조정하기 위한 공간 분산(σdomain), 윤곽선 영역의 평활화 강도를 조정하기 위한 범위 분산(σrange) 및 윤곽선 영역의 평활화 강도를 보정하기 위한 색상 파라미터(pcolor)를 포함한다.
판단부(620)는 깊이 영상과 깊이 영상에 매칭되는 색상 영상 사이의 상관관계를 판단할 수 있다. 판단부(620)는 도 1의 판단부(120)와 거의 동일하다.
복원부(630)는 판단된 상관관계를 고려하여 깊이 영상을 필터링한다. 이로써, 복원부(630)는 보정된 평활 영역 및 보존된 윤곽선 영역으로 이루어진 깊이 영상을 복원할 수 있다. 이를 위하여, 복원부(630)는 산출부(631) 및 필터링부(633)를 포함한다.
산출부(631)는 윤곽선 영역의 보정에 필요한 윤곽선 보정 필터 계수를 색상 영상을 이용하여 산출한다. 그리고, 산출부(631)는 필터링 파라미터들을 이용하여, 평활 영역을 보정하기 위한 평활 보정 필터 계수 및 윤곽선 영역을 보존하기 위한 윤곽선 보존 필터 계수를 산출한다.
필터링부(633)는 상관관계가 높은 픽셀을 윤곽선 영역일 확률이 높은 것으로 판단한다. 따라서, 필터링부(633)는 상관관계가 높은 픽셀을 윤곽선 보정 필터 계수, 평활 보정 필터 계수 및 윤곽선 보존 필터 계수를 이용하여 필터링한다. 이로써, 깊이 영상의 윤곽선 영역은 복원 후에도 보존된다.
또한, 필터링부(633)는 상관관계가 낮은 픽셀을 평탄 영역일 확률이 높은 것으로 판단하고, 상관관계가 낮은 픽셀을 평활 보정 필터 계수 및 윤곽선 보존 필터 계수를 이용하여 필터링한다. 이로써, 복원된 깊이 영상의 평활 영역은 노이즈가 제거되어 있다.
도 7은 깊이 영상 복호화 장치(700)의 다른 예를 설명하기 위한 블록도이다.
깊이 영상 복호화 장치(700)는 복호기로 입력되는 깊이 영상을 복호화하여 깊이 영상을 복원할 수 있다. 이를 위하여, 깊이 영상 복호화 장치(700)는 입력부(710) 및 복원부(720)를 포함한다.
입력부(710)는 깊이 영상을 이루는 평활 영역과 윤곽선 영역의 복원에 필요한 필터링 파라미터들을 입력받는다. 입력되는 필터링 파라미터들은, 평활 영역의 평활화 강도를 조정하기 위한 공간 분산(σdomain) 및 윤곽선 영역의 평활화 강도를 조정하기 위한 범위 분산(σrange)을 포함한다.
복원부(720)는 입력받은 필터링 파라미터들을 이용하여 깊이 영상을 필터링한다. 이를 위하여, 복원부(720)는 산출부(721) 및 필터링부(723)를 포함한다.
산출부(721)는 필터링 파라미터들을 이용하여, 깊이 영상을 보정하기 위한 평활 보정 필터 계수 및 윤곽선 영역을 보존하기 위한 윤곽선 보존 필터 계수를 산출한다.
필터링부(723)는 산출된 평활 보정 필터 계수 및 윤곽선 보존 필터 계수를 이용하여 깊이 영상을 필터링한다. 이로써, 필터링부(723)로부터 출력되는 복원된 깊이 영상은, 보존된 윤곽선 영역과 노이즈가 제거된 평활 영역을 갖게 된다.
도 8은 깊이 영상의 복원이 가능한 장치를 포함하는 비디오 데이터 부호화 장치(800)를 도시한 블록도이다.
도 8을 참조하면, 비디오 데이터 부호화 장치(800)는 인트라 예측부(810), 움직임 추정 및 보상부(820), 제1차분기(830), 변환 및 양자화부(840), 엔트로피 코딩부(845), 역양자화 및 역변환부(850), 제2차분기(860), 디블록킹 필터(870), 깊이 영상 복원부(880) 및 버퍼(8900)를 포함한다.
인트라 예측부(810)는 입력되는 깊이 영상에서 주변의 복원된(Reconstructed) 픽셀을 이용하여 인트라 예측을 수행한다. 깊이 영상은 프레임 단위 또는 픽쳐 단위로 입력될 수 있다.
움직임 추정 및 보상부(820)는 부호화하려는 깊이 영상과 이전에 입력된 깊이 영상을 이용하여 움직임 벡터를 추정하고, 추정된 움직임 벡터에 기초하여 현재블록의 예측값인 예측블록을 생성한다.
스위치(S)는 인트라 예측부(810) 또는 움직임 추정 및 보상부(820)로부터 출력되는 예측 블록을 제1차분기(830)로 제공한다.
제1차분기(830)는 현재블록에서 예측블록을 감산하여 차분 블록(Residual Block)를 매크로 블록 단위로 생성한다.
변환 및 양자화부(840)는 인트라 예측부(810)에서 결정된 인트라 예측 방향 또는 움직임 추정 및 보상부(820)에서 예측된 인터 예측 중 하나에 기초하여 현재 블록에 대해 인트라 예측 또는 인터 예측 부호화를 수행한다. 자세히 설명하면, 변환 및 양자화부(840)는 제1차분기(830)에서 생성된 차분 블록을 변환 방식을 이용하여 변환하고, 변환된 차분 블록을 양자화하여 양자화된 변환계수를 생성한다. 변환 방식의 예로는, 이산 코사인 변환(DCT: Discrete cosine transform)이 있다.
엔트로피 코딩부(845)는 양자화된 변환계수, 움직임 벡터 등의 부호화 정보를 엔트로피 부호화하여 비트스트림을 생성한다. 생성되는 비트스트림은 압축된 깊이 영상이다.
역양자화 및 역변환부(850)는 변환 및 양자화부(840)에서 양자화된 차분 블록을 다음에 부호화되는 프레임의 예측에 이용하기 위해 역양자화하고, 역이산 코사인 변환하여 부호화 이전의 차분 블록으로 복원한다.
제2차분기(860)는 복원된 차분 블록과 움직임 추정 및 보상부(820)에서 생성된 예측블록을 가산하여 부호화 이전의 현재블록을 복원한다.
디블록킹 필터(870)는 복원된 블록 또는 복원된 깊이 영상을 필터링하여 블록킹 현상을 제거한다.
깊이 영상 복원부(880)는 디블록킹 필터(870)로부터 복원된 깊이 영상(ID)을 입력받는다. 깊이 영상 복원부(880)는 상술한 필터링 파라미터들을 결정하고, 깊이 영상의 윤곽선 영역은 보존되도록 보정하며, 평활 영역은 보다 평활하게 보정한다. 이로써, 깊이 영상 복원부(880)는 제1차분기(830)로 입력되는 원본 깊이 영상과 최대한 유사한 깊이 영상(ID')을 복원한다.
이를 위하여, 깊이 영상 복원부(880)는 복원된 깊이 영상과 깊이 영상에 매칭되는 색상 영상을 이용하여 깊이 영상을 보정할 수 있다. 이 때, 깊이 영상 복원부(880)는 도 1을 참조하여 설명한 장치(100)일 수 있다. 또는, 깊이 영상 복원부(880)는 복원된 깊이 영상을 이용하여 깊이 영상을 보정할 수 있다. 이러한 경우, 깊이 영상 복원부(880)는 도 3을 참조하여 설명한 장치(300)일 수 있다.
깊이 영상 복원부(880)는 결정된 필터링 파라미터들을 엔트로피 코딩부(845)로 제공하며, 복원된 깊이 영상은 버퍼(890)로 제공한다.
버퍼(890)는 깊이 영상 복원부(880)에서 복원된 깊이 영상을 임시 저장한 후, 다음 깊이 영상에 대하여 인터 예측시 사용된다.
도 9는 깊이 영상의 복원이 가능한 장치를 포함하는 비디오 데이터 복호화 장치(900)를 도시한 블록도이다.
비디오 데이터 복호화 장치(900)는 비디오 데이터 부호화 장치(800)로부터 수신되는 압축 비트스트림을 복호화하여 깊이 영상을 복원할 수 있다. 이를 위하여, 비디오 데이터 복호화 장치(900)는 엔트로피 디코딩부(910), 역양자화 및 역변환부(920), 움직임 추정 및 보상부(930), 가산부(940), 깊이 영상 복원부(950) 및 버퍼(960)를 포함한다.
엔트로피 디코딩부(910)는 입력되는 압축 비트스트림을 엔트로피 복호화하여 차영상의 양자화된 계수값, 움직임 벡터 등의 부호화 정보를 추출할 수 있다.
역양자화 및 역변환부(920)는 추출된 양자화 계수값을 매크로블록 단위로 역양자화여 역변환에 대응하는 차분 블록의 계수값을 생성한다. 역양자화 및 역변환부(920)는 생성된 차영상의 계수값을 이산 코사인 역변환(IDCT: Invert Discrete cosine transform)하여 차분 블록을 획득할 수 있다. 이로써, 압축 비트스트림은 복호화되어 깊이 영상으로 임시 복원된다.
움직임 추정 및 보상부(930)는 엔트로피 디코딩부(911)에서 추출된 움직임 벡터를 이용하여 현재 블록의 예측 블록을 생성할 수 있다.
가산부(940)는 차분 블록과 예측 블록을 더하여 깊이 영상을 복원할 수 있다. 차분 블록은 역양자화 및 역변환부(920)로부터 가산부(940)로 입력되며, 예측 블록은 움직임 추정 및 보상부(930)로부터 가산부(940)로 입력된다.
디블록킹 필터(950)는 가산부(940)에서 복원된 깊이 영상을 필터링하여 블록킹 현상을 제거한다.
깊이 영상 복원부(960)는 디블록킹 필터(870)로부터 복원된 깊이 영상(ID)을 입력받는다. 깊이 영상 복원부(960)는 깊이 영상의 윤곽선 영역은 보존되도록 보정하며, 평활 영역은 보다 평활하게 보정한다. 이로써, 깊이 영상 복원부(960)는 제1차분기(830)로 입력되는 원본 깊이 영상과 최대한 유사한 깊이 영상(ID')을 복원한다.
이를 위하여, 깊이 영상 복원부(960)는 복원된 깊이 영상과 깊이 영상에 매칭되는 색상 영상을 이용하여 깊이 영상을 보정할 수 있다. 이 때, 깊이 영상 복원부(960)는 도 1을 참조하여 설명한 장치(100)일 수 있다. 또는, 깊이 영상 복원부(960)는 복원된 깊이 영상을 이용하여 깊이 영상을 보정할 수 있다. 이러한 경우, 깊이 영상 복원부(960)는 도 3을 참조하여 설명한 장치(300)일 수 있다.
버퍼(970)는 깊이 영상 복원부(960)에서 복원된 깊이 영상을 임시 저장한 후, 다음 깊이 영상에 대하여 인터 예측시 사용된다.
도 10은 일 실시예에 따른 깊이 영상 부호화 장치의 깊이 영상 복원 방법을 설명하기 위한 흐름도이다.
도 10의 깊이 영상 복원 방법은 깊이 영상과 색상 영상을 이용하여 깊이 영상을 복원하는 방법에 관한 것으로서, 도 1의 깊이 영상 부호화 장치(100) 또는 도 8의 비디오 데이터 부호화 장치(800)에 의해 동작될 수 있다.
1010단계에서, 깊이 영상 부호화 장치는 깊이 영상의 복원에 필요한 필터링 파라미터들을 결정할 수 있다. 상기 깊이 영상은 깊이 영상 부호화 장치에서 압축된 후 다시 압축이 해제된 깊이 영상일 수 있다. 결정된 필터링 파라미터들은 도 7의 장치(700)로 제공될 수 있다.
필터링 파라미터들은, 깊이 영상을 이루는 평활 영역의 평활화 강도를 조정하기 위한 공간 분산(σdomain), 윤곽선 영역의 평활화 강도를 조정하기 위한 범위 분산(σrange) 및 윤곽선 영역의 평활화 강도를 보정하기 위한 색상 파라미터(pcolor)를 포함한다.
1015단계에서, 깊이 영상 부호화 장치는 깊이 영상 중 현재 처리할 타겟 픽셀의 색상 경계 강도(bcolor)와 깊이 경계 강도(bdepth)를 각각 색상 영상과 깊이 영상에서 검출할 수 있다.
1020단계에서, 깊이 영상 부호화 장치는 검출된 색상 경계 강도(bcolor)와 제1임계값(TH1)을 비교한다.
1025단계에서, 색상 경계 강도(bcolor)가 제1임계값(TH1) 이상이면, 깊이 영상 부호화 장치는 깊이 경계 강도(bdepth)와 제2임계값(TH2)를 비교한다
1030단계에서, 깊이 경계 강도(bdepth)가 제2임계값(TH2) 이상이면, 깊이 영상 부호화 장치는 깊이 영상과 색상 영상의 (x, y) 좌표에 있는 타겟 픽셀의 상관관계가 높은 것으로 판단한다. 상관관계가 높은 것으로 판단되는 픽셀은 윤곽선 영역일 확률이 크다.
1035단계에서, 깊이 영상 부호화 장치는 상관관계가 높은 것으로 판단되었으므로, 윤곽선 영역의 보정에 필요한 윤곽선 보정 필터 계수를 산출한다.
1040단계에서, 깊이 영상 부호화 장치는 필터링 파라미터들을 이용하여, 평활 영역을 보정하기 위한 평활 보정 필터 계수 및 윤곽선 영역을 보존하기 위한 윤곽선 보존 필터 계수를 산출할 수 있다.
1045단계에서, 깊이 영상 부호화 장치는 상관관계가 높은 타겟 픽셀을 윤곽선 보정 필터 계수, 평활 보정 필터 계수 및 윤곽선 보존 필터 계수를 이용하여 필터링한다. 필터링되는 타겟 픽셀은 윤곽선 영역일 확률이 높다. 이로써, 보정된 윤곽선 영역은 블러링되지 않고 보존된다.
한편, 1050단계에서, 상관관계가 낮은 것으로 판단되면, 깊이 영상 부호화 장치는 타겟 픽셀은 평활 영역에 해당하는 것으로 판단한다.
1055단계에서, 깊이 영상 부호화 장치는 결정된 필터링 파라미터들을 이용하여, 평활 보정 필터 계수 및 윤곽선 영역을 보존하기 위한 윤곽선 보존 필터 계수를 산출한다.
1060단계에서, 깊이 영상 부호화 장치는 상관관계가 낮은 타겟 픽셀을 평활 보정 필터 계수 및 윤곽선 보존 필터 계수를 이용하여 필터링할 수 있다. 이로써, 타겟 픽셀의 압축 노이즈는 제거되어, 평활 영역으로 보정 및 복원된다.
도 11은 다른 실시예에 따른 깊이 영상 부호화 장치의 깊이 영상 복원 방법을 설명하기 위한 흐름도이다.
도 11의 깊이 영상 복원 방법은 색상 영상을 이용하지 않고 깊이 영상을 복원하는 방법에 관한 것으로서, 도 3의 깊이 영상 부호화 장치(300) 또는 도 8의 비디오 데이터 부호화 장치(800)에 의해 동작될 수 있다.
1110단계에서, 깊이 영상 부호화 장치는 깊이 영상의 복원에 필요한 필터링 파라미터들을 결정할 수 있다. 결정된 필터링 파라미터들은 도 7의 장치(700)로 제공될 수 있다. 필터링 파라미터들은, 깊이 영상을 이루는 평활 영역의 평활화 강도를 조정하기 위한 공간 분산(σdomain) 및 윤곽선 영역의 평활화 강도를 조정하기 위한 범위 분산(σrange)를 포함한다.
1120단계에서, 깊이 영상 부호화 장치는 결정된 필터링 파라미터들을 이용하여, 평활 보정 필터 계수를 산출한다.
1130단계에서, 깊이 영상 부호화 장치는 결정된 필터링 파라미터들을 이용하여, 윤곽선 영역을 보존하기 위한 윤곽선 보존 필터 계수를 산출한다.
1140단계에서, 깊이 영상 부호화 장치는 깊이 영상의 윤곽선 영역이 보존되도록, 평활 보정 필터 계수 및 윤곽선 보존 필터 계수를 이용하여 깊이 영상을 필터링할 수 있다.
도 12는 다른 실시예에 따른 깊이 영상 부호화 장치의 깊이 영상 복원 방법을 설명하기 위한 흐름도이다.
도 12의 깊이 영상 복원 방법은 도 4를 참조하여 설명한 깊이 영상 부호화 장치(400)에 의해 동작될 수 있다.
1210단계에서, 깊이 영상 부호화 장치는 깊이 영상을 복수 개의 블록들로 분할할 수 있다. 깊이 영상은 매크로 블록 단위로 분할될 수 있다.
1220단계에서, 깊이 영상 부호화 장치는 분할된 각 블록의 평탄도를 산출한다.
1230단계에서, 깊이 영상 부호화 장치는 산출된 블록들의 평탄도에 따라 상이한 필터링 파라미터를 이용하여 각 블록을 필터링할 수 있다. 즉, 깊이 영상 부호화 장치는 각 블록의 평탄도에 따라서 필터링 강도를 다르게 적용할 수 있다.
도 13은 다른 실시예에 따른 깊이 영상 복호화 장치의 깊이 영상 복원 방법을 설명하기 위한 흐름도이다.
도 13의 깊이 영상 복원 방법은 깊이 영상과 색상 영상을 이용하여 깊이 영상을 복원하는 방법에 관한 것으로서, 도 6의 깊이 영상 복호화 장치(600) 또는 도 9의 비디오 데이터 복호화 장치(900)에 의해 동작될 수 있다.
1310단계에서, 깊이 영상 복호화 장치는 깊이 영상의 복원에 필요한 필터링 파라미터들을 입력받는다. 입력되는 필터링 파라미터들은, 깊이 영상을 이루는 평활 영역의 평활화 강도를 조정하기 위한 공간 분산(σdomain), 윤곽선 영역의 평활화 강도를 조정하기 위한 범위 분산(σrange) 및 윤곽선 영역의 평활화 강도를 보정하기 위한 색상 파라미터(pcolor)를 포함한다.
1320단계에서, 깊이 영상 복호화 장치는 깊이 영상과 색상 영상의 상관관계를 판단할 수 있다. 예를 들어, 깊이 영상 복호화 장치는 깊이 영상 중 현재 처리할 타겟 픽셀의 색상 경계 강도(bcolor)와 깊이 경계 강도(bdepth)를 각각 색상 영상과 깊이 영상에서 검출하고, 임계값과 비교하여 상관관계를 판단할 수 있다.
1330단계에서, 깊이 영상 복호화 장치는 상관관계가 높은 것으로 판단되면, 1340단계에서, 윤곽선 보정 필터 계수, 평활 보정 필터 계수 및 윤곽선 보존 필터 계수를 산출할 수 있다.
1350단계에서, 깊이 영상 복호화 장치는 상관관계가 높은 타겟 픽셀을 윤곽선 보정 필터 계수, 평활 보정 필터 계수 및 윤곽선 보존 필터 계수를 이용하여 필터링한다.
한편, 1330단계에서, 상관관계가 낮은 것으로 판단되면, 깊이 영상 복호화 장치는 1360단계에서, 윤곽선 보정 필터 계수, 평활 보정 필터 계수 및 윤곽선 보존 필터 계수를 산출할 수 있다.
1370단계에서, 깊이 영상 복호화 장치는 상관관계가 낮은 타겟 픽셀을 평활 보정 필터 계수 및 윤곽선 보존 필터 계수를 이용하여 필터링할 수 있다.
도 14는 다른 실시예에 따른 깊이 영상 복호화 장치의 깊이 영상 복원 방법을 설명하기 위한 흐름도이다.
도 14의 깊이 영상 복원 방법은 색상 영상을 이용하지 않고 깊이 영상을 복원하는 방법에 관한 것으로서, 도 7의 깊이 영상 복호화 장치(700) 또는 도 9의 비디오 데이터 복호화 장치(900)에 의해 동작될 수 있다.
1410단계에서, 깊이 영상 복호화 장치는 깊이 영상의 복원에 필요한 필터링 파라미터들을 입력받을 수 있다. 필터링 파라미터들은 도 6의 장치(600)로부터 제공될 수 있다. 필터링 파라미터들은, 깊이 영상을 이루는 평활 영역의 평활화 강도를 조정하기 위한 공간 분산(σdomain) 및 윤곽선 영역의 평활화 강도를 조정하기 위한 범위 분산(σrange)를 포함한다.
1420단계에서, 깊이 영상 복호화 장치는 결정된 필터링 파라미터들을 이용하여, 평활 보정 필터 계수 및 윤곽선 보존 필터 계수를 산출한다.
1430단계에서, 깊이 영상 복호화 장치는 깊이 영상의 윤곽선 영역이 보존되도록, 평활 보정 필터 계수 및 윤곽선 보존 필터 계수를 이용하여 깊이 영상을 필터링할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 깊이 영상 복호화 장치 110: 파라미터 결정부
120: 판단부 130: 복원부

Claims (19)

  1. 깊이 영상을 이루는 윤곽선 영역의 복원에 필요한 필터링 파라미터들을 결정하는 파라미터 결정부;
    상기 깊이 영상과 상기 깊이 영상에 매칭되는 색상 영상 사이의 상관관계를 판단하는 판단부; 및
    상기 판단된 상관관계를 고려하여 상기 윤곽선 영역을 필터링하여, 상기 윤곽선 영역을 보정 및 복원하는 복원부
    를 포함하는 깊이 영상 부호화 장치.
  2. 제1항에 있어서,
    상기 파라미터 결정부에서 결정되는 상기 필터링 파라미터들은,
    상기 깊이 영상을 이루는 평활 영역의 평활화 강도를 조정하기 위한 공간 분산, 상기 윤곽선 영역의 평활화 강도를 조정하기 위한 범위 분산 및 상기 윤곽선 영역의 평활화 강도를 보정하기 위한 색상 파라미터를 포함하는, 깊이 영상 부호화 장치.
  3. 제1항에 있어서,
    상기 판단부는,
    상기 색상 영상에 위치하는 픽셀의 색상 경계 강도 및 상기 깊이 영상에 위치하는 상기 픽셀의 깊이 경계 강도를 검출하는 검출부; 및
    상기 검출된 색상 경계 강도 및 상기 검출된 깊이 경계 강도와 기설정된 임계값을 비교하여, 상기 상관관계를 판단하는 상관관계 판단부
    를 포함하는 깊이 영상 부호화 장치.
  4. 제3항에 있어서,
    상기 복원부는,
    상기 윤곽선 영역의 보정에 필요한 윤곽선 보정 필터 계수를 상기 깊이 영상에 매칭되는 색상 영상을 이용하여 산출하는 산출부; 및
    상기 산출된 윤곽선 보정 필터 계수를 이용하여 상기 윤곽선 영역을 필터링하는 필터링부
    를 포함하는 깊이 영상 부호화 장치.
  5. 제4항에 있어서,
    상기 산출부는,
    상기 결정된 필터링 파라미터들 중 적어도 하나, 상기 검출된 색상 경계 강도 및 상기 검출된 깊이 경계 강도를 이용하여 상기 윤곽선 보정 필터 계수를 산출하는, 깊이 영상 부호화 장치.
  6. 제3항에 있어서,
    상기 산출부는, 상기 상관관계 판단부에서 판단되는 상관관계가 높으면, 상기 윤곽선 보정 필터 계수를 산출하는, 깊이 영상 부호화 장치.
  7. 제3항에 있어서,
    상기 산출부는,
    상기 결정된 필터링 파라미터들을 이용하여, 상기 평활 영역을 보정하기 위한 평활 보정 필터 계수 및 상기 윤곽선 영역을 보존하기 위한 윤곽선 보존 필터 계수를 더 산출하며,
    상기 필터링부는,
    상기 평활 보정 필터 계수 및 상기 윤곽선 보존 필터 계수를 더 이용하여 상기 윤곽선 영역을 필터링하는, 깊이 영상 부호화 장치.
  8. 제3항에 있어서,
    상기 복원부는, 상기 상관관계 판단부에서 판단되는 상관관계가 낮으면, 상기 결정된 필터링 파라미터들을 이용하여, 상기 깊이 영상의 평활 영역을 보정하는, 깊이 영상 부호화 장치.
  9. 제8항에 있어서,
    상기 복원부는,
    상기 상관관계 판단부에서 판단되는 상관관계가 낮으면, 상기 결정된 필터링 파라미터들을 이용하여, 상기 깊이 영상의 평활 영역을 보정하기 위한 평활 보정 필터 계수 및 상기 윤곽선 영역을 보존하기 위한 윤곽선 보존 필터 계수를 산출하는 산출부; 및
    상기 산출된 평활 보정 필터 계수 및 상기 윤곽선 보존 필터 계수를 이용하여 상기 평활 영역을 필터링하는 필터링부
    를 포함하는 깊이 영상 부호화 장치.
  10. 깊이 영상을 이루는 평활 영역 및 윤곽선 영역의 복원에 필요한 필터링 파라미터들을 결정하는 파라미터 결정부; 및
    상기 결정된 필터링 파라미터들을 이용하여 상기 깊이 영상을 필터링하여, 상기 평활 영역 및 상기 윤곽선 영역을 보정 및 복원하는 복원부
    를 포함하는 깊이 영상 부호화 장치.
  11. 제10항에 있어서,
    상기 파라미터 결정부에서 결정되는 상기 필터링 파라미터들은,
    상기 깊이 영상을 이루는 평활 영역의 평활화 강도를 조정하기 위한 공간 분산 및 상기 윤곽선 영역의 평활화 강도를 조정하기 위한 범위 분산을 포함하는, 깊이 영상 부호화 장치.
  12. 제10항에 있어서,
    상기 복원부는,
    상기 결정된 필터링 파라미터들을 이용하여, 상기 깊이 영상의 평활 영역을 보정하기 위한 평활 보정 필터 계수 및 상기 윤곽선 영역을 보존하기 위한 윤곽선 보존 필터 계수를 산출하는 산출부; 및
    상기 평활 영역 및 윤곽선 영역을 보정하기 위하여, 상기 산출된 평활 보정 필터 계수 및 상기 윤곽선 보존 필터 계수를 이용하여 상기 깊이 영상을 필터링하는 필터링부
    를 포함하는 깊이 영상 부호화 장치.
  13. 깊이 영상을 복수 개의 블록들로 분할하는 분할부;
    상기 블록들의 평탄도를 산출하는 평탄도 산출부; 및
    상기 산출된 블록들의 평탄도에 따라 상이한 필터링 파라미터를 이용하여 상기 블록들을 필터링하여, 상기 깊이 영상의 평활 영역 및 윤곽선 영역을 보정 및 복원하는 복원부
    를 포함하는 깊이 영상 부호화 장치.
  14. 제13항에 있어서,
    상기 복원부는, 상기 산출된 블록들의 평탄도를 참조하여 상기 분할된 블록들로부터 필터링 대상 블록들을 선택하고, 상기 선택된 필터링 대상 블록들을 필터링하여 상기 깊이 영상의 윤곽선 영역을 보정 및 복원하는, 깊이 영상 부호화 장치.
  15. 깊이 영상을 이루는 평활 영역 및 윤곽선 영역의 복원에 필요한 필터링 파라미터들을 입력받는 입력부;
    상기 깊이 영상과 상기 깊이 영상에 매칭되는 색상 영상 사이의 상관관계를 판단하는 판단부; 및
    상기 판단된 상관관계를 고려하여 상기 깊이 영상을 필터링하여, 상기 평활 영역 및 상기 윤곽선 영역을 보정 및 복원하는 복원부
    를 포함하며,
    상기 복원부는 상기 입력받은 필터링 파라미터들을 이용하여 상기 윤곽선 영역을 필터링하는 깊이 영상 복호화 장치.
  16. 제15항에 있어서,
    상기 입력되는 필터링 파라미터들은,
    상기 평활 영역의 평활화 강도를 조정하기 위한 공간 분산, 상기 윤곽선 영역의 평활화 강도를 조정하기 위한 범위 분산 및 상기 윤곽선 영역의 평활화 강도를 보정하기 위한 색상 파라미터를 포함하는, 깊이 영상 복호화 장치.
  17. 제15항에 있어서,
    상기 복원부는,
    상기 윤곽선 영역의 보정에 필요한 윤곽선 보정 필터 계수를 상기 색상 영상을 이용하여 산출하고, 상기 입력된 필터링 파라미터들을 이용하여, 상기 평활 영역을 보정하기 위한 평활 보정 필터 계수 및 상기 윤곽선 영역을 보존하기 위한 윤곽선 보존 필터 계수를 산출하는 산출부; 및
    상기 산출된 윤곽선 보정 필터 계수, 상기 평활 보정 필터 계수 및 상기 윤곽선 보존 필터 계수를 이용하여 상기 윤곽선 영역을 필터링하는 필터링부
    를 포함하는 깊이 영상 부호화 장치.
  18. 깊이 영상을 이루는 평활 영역 및 윤곽선 영역의 복원에 필요한 필터링 파라미터들을 입력받는 입력부; 및
    상기 입력받은 필터링 파라미터들을 이용하여 상기 깊이 영상을 필터링하여, 상기 평활 영역 및 상기 윤곽선 영역을 보정 및 복원하는 복원부
    를 포함하는 깊이 영상 복호화 장치.
  19. 제18항에 있어서,
    상기 입력되는 필터링 파라미터들은,
    상기 평활 영역의 평활화 강도를 조정하기 위한 공간 분산 및 상기 윤곽선 영역의 평활화 강도를 조정하기 위한 범위 분산을 포함하는, 깊이 영상 복호화 장치.
KR1020100063834A 2010-07-02 2010-07-02 루프 필터를 이용한 깊이 영상 부호화 장치 및 복호화 장치 KR20120003147A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100063834A KR20120003147A (ko) 2010-07-02 2010-07-02 루프 필터를 이용한 깊이 영상 부호화 장치 및 복호화 장치
US13/067,679 US8705885B2 (en) 2010-07-02 2011-06-20 Depth image encoding apparatus and depth image decoding apparatus using loop-filter, method and medium
EP11171436.6A EP2403257A3 (en) 2010-07-02 2011-06-27 Depth image encoding and decoding

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100063834A KR20120003147A (ko) 2010-07-02 2010-07-02 루프 필터를 이용한 깊이 영상 부호화 장치 및 복호화 장치

Publications (1)

Publication Number Publication Date
KR20120003147A true KR20120003147A (ko) 2012-01-10

Family

ID=44260229

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100063834A KR20120003147A (ko) 2010-07-02 2010-07-02 루프 필터를 이용한 깊이 영상 부호화 장치 및 복호화 장치

Country Status (3)

Country Link
US (1) US8705885B2 (ko)
EP (1) EP2403257A3 (ko)
KR (1) KR20120003147A (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013133627A1 (ko) * 2012-03-06 2013-09-12 엘지전자 주식회사 비디오 신호 처리 방법
KR20140128041A (ko) * 2013-04-26 2014-11-05 삼성전자주식회사 영상의 화질을 개선하는 장치 및 방법
KR20150008744A (ko) * 2013-07-15 2015-01-23 삼성전자주식회사 깊이 영상 처리 방법 및 장치
WO2015083929A1 (ko) * 2013-12-03 2015-06-11 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
KR101532686B1 (ko) * 2013-12-30 2015-07-09 재단법인대구경북과학기술원 경계 적응적 필터를 이용한 영상 처리 장치 및 그 방법
US9111376B2 (en) 2012-01-26 2015-08-18 Samsung Electronics Co., Ltd. Image processing method and apparatus for 3D video
CN110033506A (zh) * 2019-03-18 2019-07-19 西安科技大学 基于结构光的综采工作面三维重建系统和重建方法
US11252421B2 (en) 2013-09-30 2022-02-15 Ideahub Inc. Method, device and system for encoding and decoding image

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101645465B1 (ko) * 2010-07-23 2016-08-04 삼성전자주식회사 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법
WO2013117001A1 (en) * 2012-02-09 2013-08-15 Thomson Licensing Efficient compression of 3d models based on octree decomposition
US9355468B2 (en) * 2013-09-27 2016-05-31 Nvidia Corporation System, method, and computer program product for joint color and depth encoding
KR20160121206A (ko) 2015-04-10 2016-10-19 삼성전자주식회사 오버레이 에러의 검출 방법 및 이를 이용한 반도체 장치의 제조 방법
US20180054699A1 (en) * 2016-08-21 2018-02-22 Qualcomm Incorporated System and methods to support a cluster of positioning beacons
CN107301662B (zh) * 2017-06-30 2020-09-08 深圳大学 深度图像的压缩恢复方法、装置、设备及存储介质
WO2019075473A1 (en) * 2017-10-15 2019-04-18 Analog Devices, Inc. METHODS AND SYSTEMS FOR PROCESSING FLIGHT TIME DEPTH IMAGE
CN108234987A (zh) * 2018-01-23 2018-06-29 西南石油大学 一种用于深度图像边界拟合的双抛物线分区模板优化方法
CN110490829B (zh) * 2019-08-26 2022-03-15 北京华捷艾米科技有限公司 一种深度图像的滤波方法及系统
JP7479137B2 (ja) * 2019-12-03 2024-05-08 キヤノン株式会社 信号処理装置および信号処理方法、システム並びにプログラム
CN111415310B (zh) * 2020-03-26 2023-06-30 Oppo广东移动通信有限公司 一种图像处理方法及装置、存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8384763B2 (en) * 2005-07-26 2013-02-26 Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
KR100793076B1 (ko) 2005-12-08 2008-01-10 한국전자통신연구원 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법
JP4589277B2 (ja) 2006-08-09 2010-12-01 日本電信電話株式会社 ３次元表示方法
KR100922275B1 (ko) 2006-12-15 2009-10-15 경희대학교 산학협력단 경계 필터링 강도의 결정 방법 및 이를 이용한 디블록킹필터링 방법과 장치
US8265144B2 (en) * 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
JP4897593B2 (ja) * 2007-07-09 2012-03-14 富士フイルム株式会社 複眼撮影装置及びその調節方法
KR101509070B1 (ko) * 2007-10-16 2015-04-06 톰슨 라이센싱 비트 깊이 크기 조정 능력에 관한 아티팩트 제거 방법 및 장치
WO2009084814A1 (en) * 2007-12-28 2009-07-09 Lg Electronics Inc. Method for encoding and decoding image of ftv, and apparatus for encoding and decoding image of ftv
KR100954281B1 (ko) 2008-02-14 2010-04-23 한국전자통신연구원 다시점 영상의 엘리애징 제거를 위한 필터링 장치 및 방법
CN101330631A (zh) * 2008-07-18 2008-12-24 浙江大学 一种立体电视系统中深度图像的编码方法
KR101502365B1 (ko) * 2008-11-06 2015-03-13 삼성전자주식회사 삼차원 영상 생성기 및 그 제어 방법
US8270752B2 (en) * 2009-03-17 2012-09-18 Mitsubishi Electric Research Laboratories, Inc. Depth reconstruction filter for depth coding videos
US8189943B2 (en) * 2009-03-17 2012-05-29 Mitsubishi Electric Research Laboratories, Inc. Method for up-sampling depth images

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9111376B2 (en) 2012-01-26 2015-08-18 Samsung Electronics Co., Ltd. Image processing method and apparatus for 3D video
US9924169B2 (en) 2012-03-06 2018-03-20 Lg Electronics Inc. Method and apparatus for selecting a filter based on a variance of depth data
WO2013133627A1 (ko) * 2012-03-06 2013-09-12 엘지전자 주식회사 비디오 신호 처리 방법
KR20140128041A (ko) * 2013-04-26 2014-11-05 삼성전자주식회사 영상의 화질을 개선하는 장치 및 방법
KR20150008744A (ko) * 2013-07-15 2015-01-23 삼성전자주식회사 깊이 영상 처리 방법 및 장치
US11683506B2 (en) 2013-09-30 2023-06-20 Ideahub Inc. Method, device and system for encoding and decoding image
US11252421B2 (en) 2013-09-30 2022-02-15 Ideahub Inc. Method, device and system for encoding and decoding image
WO2015083929A1 (ko) * 2013-12-03 2015-06-11 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
US10798413B2 (en) 2013-12-03 2020-10-06 University-Industry Foundation (Uif), Yonsei University Method, apparatus, and system for encoding and decoding image
US11425419B2 (en) 2013-12-03 2022-08-23 Ideahub Inc. Method, apparatus, and system for encoding and decoding image using LM chroma prediction
KR101530782B1 (ko) * 2013-12-03 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
KR101532686B1 (ko) * 2013-12-30 2015-07-09 재단법인대구경북과학기술원 경계 적응적 필터를 이용한 영상 처리 장치 및 그 방법
CN110033506A (zh) * 2019-03-18 2019-07-19 西安科技大学 基于结构光的综采工作面三维重建系统和重建方法
CN110033506B (zh) * 2019-03-18 2023-05-02 西安科技大学 基于结构光的综采工作面三维重建系统和重建方法

Also Published As

Publication number Publication date
US8705885B2 (en) 2014-04-22
EP2403257A2 (en) 2012-01-04
US20120002863A1 (en) 2012-01-05
EP2403257A3 (en) 2015-03-25

Similar Documents

Publication Publication Date Title
KR20120003147A (ko) 루프 필터를 이용한 깊이 영상 부호화 장치 및 복호화 장치
US11843797B2 (en) Content adaptive deblocking during video encoding and decoding
US11240496B2 (en) Low complexity mixed domain collaborative in-loop filter for lossy video coding
US8649431B2 (en) Method and apparatus for encoding and decoding image by using filtered prediction block
WO2006010276A1 (en) Apparatus and method for adaptive 3d artifact reducing for encoded image signal
JP2006157938A (ja) 量子化効果減少のための映像データ後処理方法及び装置
US8369417B2 (en) Optimal denoising for video coding
WO2002096118A2 (en) Decoding compressed image data
US20110317912A1 (en) Method, apparatus and computer-readable medium coding and decoding depth image using color image
US20130235931A1 (en) Masking video artifacts with comfort noise
US8687910B2 (en) Image filtering method using pseudo-random number filter and apparatus thereof
US10911779B2 (en) Moving image encoding and decoding method, and non-transitory computer-readable media that code moving image for each of prediction regions that are obtained by dividing coding target region while performing prediction between different views
US20100040141A1 (en) Adaptive restoration for video coding
EP2723083A2 (en) Apparatus and method for processing image using correlation between views
Xia et al. Visual sensitivity-based low-bit-rate image compression algorithm
KR100683060B1 (ko) 영상 프레임의 블록화 현상 제거 장치 및 그 방법
JP7059410B2 (ja) 画像符号化装置、画像復号装置、及びプログラム
Zhang et al. Artifact reduction of compressed video via three-dimensional adaptive estimation of transform coefficients
Naccari et al. Perceptually optimized video compression
Zhang et al. HEVC-based adaptive quantization for screen content by detecting low contrast edge regions
KR102072204B1 (ko) 영상의 화질을 개선하는 장치 및 방법
KR20130091500A (ko) 깊이 영상 처리 장치 및 방법
KR100864238B1 (ko) 압축 영상의 블록킹 현상 제거 방법
CN112154667A (zh) 视频的编码和解码
Kamisli et al. Reduction of blocking artifacts using side information

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application