KR20160085891A - 적응적 샘플링을 이용한 비디오 신호의 인코딩, 디코딩 방법 및 그 장치 - Google Patents

적응적 샘플링을 이용한 비디오 신호의 인코딩, 디코딩 방법 및 그 장치 Download PDF

Info

Publication number
KR20160085891A
KR20160085891A KR1020167016134A KR20167016134A KR20160085891A KR 20160085891 A KR20160085891 A KR 20160085891A KR 1020167016134 A KR1020167016134 A KR 1020167016134A KR 20167016134 A KR20167016134 A KR 20167016134A KR 20160085891 A KR20160085891 A KR 20160085891A
Authority
KR
South Korea
Prior art keywords
block
adaptive sampling
samples
sampling rate
adaptive
Prior art date
Application number
KR1020167016134A
Other languages
English (en)
Inventor
드미트로 루사노브스키
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20160085891A publication Critical patent/KR20160085891A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

본 발명은, 비디오 신호의 디블록킹 필터링을 수행하는 방법에 있어서, 디코딩된 픽쳐의 특성 정보(property information)에 기초하여 적응적인 샘플링 레이트(adaptive sampling rate) 또는 적응적인 샘플링 패턴(adaptive sampling pattern)을 결정하는 단계; 및 상기 적응적인 샘플링 레이트(adaptive sampling rate) 또는 상기 적응적인 샘플링 패턴(adaptive sampling pattern)이 적용된 샘플을 이용하여 디블록킹 필터링을 수행하는 단계를 포함하되, 상기 디코딩된 픽쳐의 특성 정보는 블록 사이즈 및 픽쳐 파라미터 중 적어도 하나를 포함하는 것을 특징으로 하는 방법을 제공한다.

Description

적응적 샘플링을 이용한 비디오 신호의 인코딩, 디코딩 방법 및 그 장치{ METHOD AND APPARATUS FOR ENCODING AND DECODING VIDEO SIGNAL USING ADAPTIVE SAMPLING}
본 발명은 적응적 샘플링을 이용한 비디오 신호의 인코딩, 디코딩 방법 및 그 장치에 관한 것이며, 더 구체적으로 인루프 필터링(In-loop filtering) 과정에서의 적응적 샘플링 방법에 관한 것이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하기 위한 일련의 신호 처리 기술을 의미한다. 영상, 이미지, 음성 등의 미디어가 압축 부호화의 대상이 될 수 있으며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다.
차세대 비디오 컨텐츠는 고해상도(high spatial resolution), 고프레임율(high frame rate) 및 영상 표현의 고차원화(high dimensionality of scene representation)라는 특징을 갖게 될 것이다. 그러한 컨텐츠를 처리하기 위해서는 메모리 저장(memory storage), 메모리 액세스율(memory access rate) 및 처리 전력(processing power) 측면에서 엄청난 증가를 가져올 것이다.
따라서, 이러한 예견된 도전들을 반영하는 코딩 툴을 디자인하고 몇 가지 해결책을 제공할 필요가 있다.
특히, 기존 비디오 코딩 방식에서 디블록킹 필터링의 경우 필터 파라미터들의 추정은 픽쳐 특성에 적응적이지 못하고, 디코딩된 픽쳐의 모든 픽셀들은 고정된 방식(fixed manner)으로 이용되고 있다. 따라서, 디블록킹 필터링 과정에 있어서 보다 효율적인 샘플링 방법이 필요하다.
본 발명은 고효율 압축을 위한 코딩 툴의 디자인을 가능하게 하고, 필요한 계산 리소스(required computation resource)를 줄이고자 한다.
또한, 본 발명은 비디오 신호의 인루프 필터링(in-loop filtering) 단계에서 국부적인 적응적 샘플링(locally adaptive sampling)을 적용하고자 한다.
또한, 본 발명은 블록 경계에 위치한 디코딩된 픽쳐의 샘플들에 대해 적응적인 샘플링 레이트를 적용하고자 한다.
또한, 본 발명은 코딩된 픽쳐의 특성들(블록 사이즈, 픽쳐 파라미터)에 기초하여 적응적인 샘플링 레이트(adaptive sampling rate)를 결정하고자 한다.
본 발명에 의해 해결되는 기술적 과제는 상기 내용에 한정되지 않으며, 당업자라면 다음의 상세한 설명으로부터 다른 기술적 과제도 유추가능할 수 있다.
본 발명은, 비디오 신호 코딩에 있어서 국부적인 적응적 샘플링(locally adaptive sampling) 방법을 제공한다.
또한, 본 발명은, 비디오 신호의 인루프 필터링(in-loop filtering) 단계에서 국부적인 적응적 샘플링(locally adaptive sampling)을 적용하는 방법을 제공한다.
또한, 본 발명은, 디코딩된 픽쳐의 특성 정보(property information)에 기초하여 적응적인 샘플링 레이트(adaptive sampling rate) 또는 적응적인 샘플링 패턴(adaptive sampling pattern)을 결정하는 방법을 제공한다.
또한, 본 발명은, 상기 적응적인 샘플링 레이트(adaptive sampling rate) 또는 상기 적응적인 샘플링 패턴(adaptive sampling pattern)이 적용된 픽셀을 이용하여 디블록킹 필터링을 수행하는 방법을 제공한다.
또한, 본 발명은, 블록 경계를 기준으로 좌측 블록과 우측 블록의 사이즈가 동일한 경우, 상기 적응적인 샘플링 레이트(adaptive sampling rate) 또는 상기 적응적인 샘플링 패턴(adaptive sampling pattern)은 상기 좌측 블록과 상기 우측 블록에 대해 동일하게 적용되는 방법을 제공한다.
또한, 본 발명은, 블록 경계를 기준으로 좌측 블록과 우측 블록의 사이즈가 다른 경우, 상기 적응적인 샘플링 레이트(adaptive sampling rate) 또는 상기 적응적인 샘플링 패턴(adaptive sampling pattern)은 상기 좌측 블록과 상기 우측 블록에 대해 다르게 적용되는 방법을 제공한다.
또한, 본 발명은, 상기 적응적인 샘플링 레이트(adaptive sampling rate) 또는 상기 적응적인 샘플링 패턴(adaptive sampling pattern)은 더 큰 사이즈의 블록에 대해 저주파 샘플링(low frequency sampling) 또는 감소된 샘플링(reduced sampling)이 적용되는 방법을 제공한다.
또한, 본 발명은, 상기 적응적인 샘플링 레이트는 오프셋 값에 레이트 변환 값(Rate Conversion value)을 스케일링함으로써 결정되는 방법을 제공한다.
또한, 본 발명은, 상기 레이트 변환 값(Rate Conversion value)은 블록 경계를 기준으로 좌측 블록과 상기 우측 블록에 다르게 적용되는 방법을 제공한다.
또한, 본 발명은, 상기 픽셀의 위치는 서브 레이트 변환 오프셋 값(sub-RateConversion offset value)에 의해 추가적으로 조정되는 방법을 제공한다.
본 발명은 국부적인 적응적 샘플링(locally adaptive sampling) 방법을 제안함으로써 고효율 압축을 위한 코딩 툴의 디자인을 가능하게 할 뿐만 아니라, 필요한 계산 리소스(required computation resource), 메모리 요건(Memory requirement), 메모리 액세스 대역폭(Memory access bandwidth), 계산 복잡도(Computation complexity) 등을 현저히 감소시킬 수 있을 것이다.
또한, 샘플 결정에 있어서 중복성과 노이즈를 제거함으로써, 보다 높은 코딩 게인(coding gain)을 가진 압축 툴을 디자인할 수 있게 된다.
도 1은 본 발명이 적용되는 실시예로서, 비디오 신호의 인코딩이 수행되는 인코더의 개략적인 블록도를 나타낸다.
도 2는 본 발명이 적용되는 실시예로서, 비디오 신호의 디코딩이 수행되는 디코더의 개략적인 블록도를 나타낸다.
도 3은 본 발명이 적용되는 실시예로서, 필터링 수행시 이용되는 블록 내 샘플들의 위치 관계를 개략적으로 나타낸 것이다.
도 4는 본 발명이 적용되는 실시예로써, 국부적인 적응적 샘플링(locally adaptive sampling)을 수행하는 필터링부의 개략적인 내부 블록도를 나타낸다.
도 5 및 도 6은 본 발명이 적용되는 실시예들로써, 도 5는 국부적인 적응적 샘플링(locally adaptive sampling)을 수행하는 방법을 설명하기 위한 흐름도이고, 도 6은 국부적인 적응적 샘플링(locally adaptive sampling)을 이용하여 필터링을 수행하는 방법을 설명하기 위한 흐름도이다.
도 7 내지 도 9는 본 발명이 적용되는 일실시예들로써, 디코딩된 픽쳐의 특성 정보(property information)에 기초하여 적응적인 샘플링 레이트(adaptive sampling rate)를 결정하는 것을 설명하기 위한 도면이다.
도 10은 본 발명이 적용되는 실시예로서, 국부적인 적응적 샘플링(locally adaptive sampling)을 이용하여 필터링을 수행하는 방법을 설명하기 위한 도면이다.
도 11은 본 발명이 적용되는 실시예로, 레이트 변환 값(Rate Conversion value) 및 서브 레이트 변환 오프셋 값(sub-RateConversion offset value)을 이용하여 샘플링을 수행하는 다양한 예를 나타낸다.
본 발명은, 비디오 신호의 디블록킹 필터링을 수행하는 방법에 있어서, 디코딩된 픽쳐의 특성 정보(property information)에 기초하여 적응적인 샘플링 레이트(adaptive sampling rate) 또는 적응적인 샘플링 패턴(adaptive sampling pattern)을 결정하는 단계; 및 상기 적응적인 샘플링 레이트(adaptive sampling rate) 또는 상기 적응적인 샘플링 패턴(adaptive sampling pattern)이 적용된 픽셀을 이용하여 디블록킹 필터링을 수행하는 단계를 포함하되, 상기 디코딩된 픽쳐의 특성 정보는 블록 사이즈 및 픽쳐 파라미터 중 적어도 하나를 포함하는 것을 특징으로 하는 방법을 제공한다.
또한, 본 발명에서, 블록 경계를 기준으로 좌측 블록과 우측 블록의 사이즈가 동일한 경우, 상기 적응적인 샘플링 레이트(adaptive sampling rate) 또는 상기 적응적인 샘플링 패턴(adaptive sampling pattern)은 상기 좌측 블록과 상기 우측 블록에 대해 동일하게 적용되는 것을 특징으로 한다.
또한, 본 발명에서, 블록 경계를 기준으로 좌측 블록과 우측 블록의 사이즈가 다른 경우, 상기 적응적인 샘플링 레이트(adaptive sampling rate) 또는 상기 적응적인 샘플링 패턴(adaptive sampling pattern)은 상기 좌측 블록과 상기 우측 블록에 대해 다르게 적용되고, 더 큰 사이즈의 블록에 대해 저주파 샘플링(low frequency sampling) 또는 감소된 샘플링(reduced sampling)이 적용되는 것을 특징으로 한다.
또한, 본 발명에서, 상기 픽셀은 블록 경계를 기준으로 우측 블록의 최좌측 픽셀(left-most pixel)에 대한 상대적 위치로 표현되는(addressed) 것을 특징으로 한다.
또한, 본 발명에서, 상기 샘플링 레이트는 오프셋 값에 레이트 변환 값(Rate Conversion value)을 스케일링함으로써 결정되는 것을 특징으로 한다.
또한, 본 발명에서, 상기 레이트 변환 값(Rate Conversion value)은 블록 경계를 기준으로 좌측 블록과 상기 우측 블록에 다르게 적용되는 것을 특징으로 한다.
또한, 본 발명에서, 상기 픽셀의 위치는 서브 레이트 변환 오프셋 값(sub-RateConversion offset value)에 의해 추가적으로 조정되는 것을 특징으로 한다.
또한, 본 발명에서, 상기 디블록킹 필터링을 수행하는 단계는, 적응적인 샘플링 레이트 및/또는 적응적인 샘플링 패턴에 기초하여 필터링 대상 픽셀을 결정하는 단계; 상기 픽셀에 FIR(Finite Impulse Response) 필터를 적용하여 오프셋 값을 산출하는 단계; 및 상기 오프셋 값에 클리핑 함수를 적용하여 필터링된 픽셀 값을 획득하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명은, 비디오 신호의 디블록킹 필터링을 수행하는 장치에 있어서, 디코딩된 픽쳐의 특성 정보(property information)를 확인하는 픽쳐 특성 정보 확인부; 상기 디코딩된 픽쳐의 특성 정보(property information)에 기초하여 적응적인 샘플링 레이트(adaptive sampling rate) 또는 적응적인 샘플링 패턴(adaptive sampling pattern)을 결정하는 적응적 샘플링부; 및 상기 적응적인 샘플링 레이트(adaptive sampling rate) 또는 상기 적응적인 샘플링 패턴(adaptive sampling pattern)이 적용된 픽셀을 이용하여 디블록킹 필터링을 수행하는 필터링 수행부를 포함하되, 상기 디코딩된 픽쳐의 특성 정보는 블록 사이즈 및 픽쳐 파라미터 중 적어도 하나를 포함하는 것을 특징으로 하는 장치를 제공한다.
또한, 본 발명에서, 상기 필터링 수행부는, 적응적인 샘플링 레이트 및/또는 적응적인 샘플링 패턴에 기초하여 필터링 대상 픽셀을 결정하고, 상기 픽셀에 FIR 필터를 적용하여 오프셋 값을 산출하고, 상기 오프셋 값에 클리핑 함수를 적용하여 필터링된 픽셀 값을 획득하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예의 구성과 그 작용을 설명하며, 도면에 의해서 설명되는 본 발명의 구성과 작용은 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어를 사용하여 설명한다. 그러한 경우에는 해당 부분의 상세 설명에서 그 의미를 명확히 기재하므로, 본 발명의 설명에서 사용된 용어의 명칭만으로 단순 해석되어서는 안 될 것이며 그 해당 용어의 의미까지 파악하여 해석되어야 함을 밝혀두고자 한다.
또한, 본 발명에서 사용되는 용어들은 발명을 설명하기 위해 선택된 일반적인 용어들이나, 유사한 의미를 갖는 다른 용어가 있는 경우 보다 적절한 해석을 위해 대체 가능할 것이다. 예를 들어, 신호, 데이터, 샘플, 픽쳐, 프레임, 블록 등의 경우 각 코딩 과정에서 적절하게 대체되어 해석될 수 있을 것이다.
본 발명은 비디오 코딩에 있어서 국부적인 적응적 샘플링(locally adaptive sampling)을 이용하는 방법을 제안한다. 더 구체적으로, 본 발명은 변환 기반의 하이브리드 비디오 코딩 구조의 인루프 필터링(in-loop filtering) 단계에서 국부적인 적응적 샘플링(locally adaptive sampling)을 적용하는 방법을 제안한다.
본 발명에 따르면, 블록 경계에 위치한 디코딩된 픽쳐의 샘플들에 적응적 샘플링 레이트를 적용할 수 있고, 상기 적응적 샘플링 레이트는 코딩된 픽쳐의 특성 정보(예를 들어, 블록 사이즈, 픽쳐 파라미터 등)로부터 결정될 수 있다.
따라서, 본 발명은 고효율 압축을 위한 코딩 툴의 디자인을 가능하게 할 뿐만 아니라 필요한 계산 리소스(required computation resource) (예를 들어, 메모리 요건(memory requirement), 메모리 액세스 대역폭(memory access bandwidth), 계산 복잡도(computation complexity) 등)를 줄일 수 있을 것이다.
비디오 코딩에서의 적응적 샘플링의 예를 들면 다음과 같다.
스킵 모드(skip mode)의 경우 시간 방향의 국부적인 적응적 샘플링(locally adaptive sampling)으로 해석될 수 있다. 그리고, 비디오 코딩에서 블록 파티셔닝(block partitioning)은 파라미터, 모션 정보, 코딩 모드를 코딩하기 위한 적응적 샘플링(adaptive sampling)으로 해석될 수 있다.
또한, 디블록킹 필터링 수행시 몇몇 결정 과정(decision making)은 샘플링 데이터를 이용하지 않고 블록 레벨(block level)에서 수행되는데, 이는 코딩된 픽쳐(coded picture)의 코딩 파라미터들(coding parameters) (예를 들어, 모션 정보, 코딩 모드, 변환 사이즈 등)을 이용하기 위한 국부적인 적응적 샘플링(locally adaptive sampling)으로 해석될 수 있다.
또한, 시퀀스 레벨 에서의 적응적 해상도 변경(adaptive resolution change)도 국부적인 적응적 샘플링(locally adaptive sampling)으로 해석될 수 있다. 몇몇 어플리케이션에서, 비디오 인코더는 최적의 RD 비용(cost)을 제공하고 코딩 전 비디오 신호 리샘플링(video signal resampling)을 수행하는 비디오 데이터를 표현하기 위한 해상도를 선택할 수 있다. 예를 들어, 부가 정보 시그널링 구조 (SEI messages)를 이용하여 디코딩된 영상을 원 해상도로 리샘플(resample)하기 위한 디코더 동작을 구체화할 수 있다.
또한, 픽쳐 레벨에서의 적응적 해상도 변경(adaptive resolution change)도 국부적인 적응적 샘플링(locally adaptive sampling)으로 해석될 수 있다. 몇몇 어플리케이션에서, 비디오 인코더는 최적의 RD 비용(cost)을 제공하고 코딩 전 비디오 신호 리샘플링(video signal resampling)을 수행하는 코딩된 픽쳐를 표현하기 위한 해상도를 선택할 수 있다. 그러한 시스템에서, 디코더는 복호 픽쳐 버퍼부(Decoded Picture Buffer)에 저장하기 전에 매 특정 픽쳐마다 정규 리샘플링(normative resampling) 또는 해상도 정규화(resolution normalization)를 수행할 것이다. 스케일러블 비디오 코딩 시스템(Scalable video coding system)이 그 예가 될 수 있다.
차세대 비디오 컨텐츠는 고해상도(high spatial resolution), 고프레임율(high frame rate) 및 영상 표현의 고차원화(high dimensionality of scene representation)라는 특징을 갖게 될 것이다. 그러한 컨텐츠를 처리하기 위해서는 메모리 저장(memory storage), 메모리 액세스율(memory access rate) 및 처리 전력(processing power) 측면에서 엄청난 증가를 가져올 것이다.
반면, 그러한 고샘플링 레이트(high sampling rate)는 특정 컨텐츠의 오버샘플링(oversampling) 문제를 가져올 수 있다. 예를 들어, 비디오는 복원된 데이터의 퀄러티에 손실 없이 더 낮은 샘플링 레이트(lower sampling-rate)로 표현될 수 있다. 게다가, 매우 단순한 신호들에 대한 복잡한 모델의 적용은 노이즈(noise) 요소, 처리 열화(processing artifact) 및 압축효율의 손실들을 가져올 수 있다.
따라서, 차세대 비디오 어플리케이션들이 합리적인 계산 비용(computation cost)을 갖도록 하기 위해서, 비디오 코딩 시스템은 멀티-레이트 신호 처리(multi-rate signal processing) 방법을 이용하여 디자인할 필요가 있다.
예를 들어, 멀티-레이트 신호 처리(multi-rate signal processing) 방법은 샘플링 레이트 변환(sampling rate conversion)을 이용할 수 있다. 상기 방법은, 서로 다른 입/출력 샘플링 레이트를 갖는 시스템에 적용될 수 있다.
상기 샘플링 레이트 변환(sampling rate conversion)은 복잡한 멀티-변수 최적화(multi-variable optimization) 문제를 해결하기 위해 이용될 수 있으나, 비디오 신호의 경우 시공간적으로 변화하는 복잡도로 인해, 그러한 접근이 바람직하지 않을 수 있다.
따라서, 비디오 컨텐츠 처리시 국부적인 적응적 샘플링(locally adaptive sampling)의 이용은 계산 리소스(computation resource)를 줄일 수 있고, 이는 더 효율적인 압축 툴의 디자인을 가능하게 한다.
예를 들어, 중복되지 않는 픽쳐 부분(non-overlapping picture fragments (blocks))에서 코딩된 픽쳐의 적응적 파티셔닝(adaptive partitioning)이 이용될 수 있다. 그러한 적응적 파티셔닝(adaptive partitioning)은 코딩된 비디오 데이터의 기본적인 분석을 수행하고, 코딩 모드의 샘플링을 선택한다. 구체적 예로, 큰 블록 사이즈(large block sizes)의 경우 저복잡도의 신호(low complexity signal)의 코딩을 위해 이용되고, 작은 블록 사이즈(small block sizes)의 경우 고복잡도의 신호 코딩을 위해 이용될 수 있다.
또한, 주요 비디오 코딩 툴 (MC 예측, 변환, 시그널링)의 경우에서 다른 블록 사이즈로의 파티셔닝을 정의할 수 있다. 상기 블록들은 각각 코딩 파라미터들(mv와 같은 움직임 모델 파라미터, refidx와 같은 예측을 위한 참조 픽쳐의 인덱스)을 수반할 수 있다.
그러나, 보간(interpolation), 인루프 필터링(in-loop filtering) (예를 들어, 디블록킹 필터, 샘플 적응적 오프셋), 인트라 예측 모드(intra-prediction mode)를 포함하는 대부분의 코딩 툴들은 선택된 블록 분할 사이즈(block partition size)에 의해 영향을 받지 않으므로, 코딩된 신호의 국부적인 신호 복잡도(local signal complexity)의 이용가능한 추정치로부터 이익을 얻지 못한다.
따라서, 본 발명은 비디오 코딩에 있어서 국부적인 적응적 샘플링(locally adaptive sampling)을 이용하는 방법을 제안하며, 더 구체적으로, 인루프 필터링(in-loop filtering) 단계에서 국부적인 적응적 샘플링(locally adaptive sampling)을 적용하는 실시예들을 이하에서 설명하도록 한다.
도 1은 본 발명이 적용되는 실시예로서, 비디오 신호의 인코딩이 수행되는 인코더의 개략적인 블록도를 나타낸다.
상기 도 1의 인코더(100)는 변환부(120), 양자화부(125), 역양자화부(130), 역변환부(135), 필터링부(140), 복호 픽쳐 버퍼부(Decoded Picture Buffer Unit)(150), 인터 예측부(160), 인트라 예측부(165) 및 엔트로피 인코딩부(170)를 포함한다.
상기 인코더(100)는 입력 영상 신호(Input video signal)를 수신하고, 상기 입력 영상 신호에서 상기 인터 예측부(160) 또는 상기 인트라 예측부(165)로부터 출력된 예측 신호(prediction signal)를 감산하여 차분 신호(residual signal)를 생성한다. 상기 생성된 차분 신호는 변환부(120)으로 전송되고, 상기 변환부(120)는 상기 차분 신호에 변환 기법을 적용하여 변환 계수를 생성한다.
양자화부(125)는 상기 생성된 변환 계수(transform coefficient)를 양자화하여 엔트로피 인코딩부(170)로 전송하고, 상기 엔트로피 인코딩부(170)는 양자화된 신호(quantized signal)를 엔트로피 코딩하여 출력한다.
한편, 상기 양자화부(120)로부터 출력된 상기 양자화된 신호(quantized signal)는 예측 신호를 생성하기 위해 이용될 수 있다. 예를 들어, 상기 양자화된 신호(quantized signal)는 루프 내의 역양자화부(130) 및 역변환부(135)를 통해 역양자화 및 역변환을 적용함으로써 상기 차분 신호를 복원할 수 있다. 상기 복원된 차분 신호를 상기 인터 예측부(160) 또는 상기 인트라 예측부(165)로부터 출력된 예측 신호(prediction signal)에 더함으로써 복원 신호(reconstructed signal)가 생성될 수 있다.
한편, 상기와 같은 압축 과정에서 인접한 블록들이 서로 다른 양자화 파라미터에 의해 양자화됨으로써 블록 경계가 보이는 열화가 발생될 수 있다. 이러한 현상을 블록킹 열화(blocking artifacts)라고 하며, 사람들이 화질을 평가하는 중요한 요소 중의 하나이다. 이러한 열화를 줄이기 위해 필터링 과정을 수행할 수 있다. 이러한 필터링 과정을 통해 블록킹 열화를 제거함과 동시에 현재 프레임에 대한 오차를 줄임으로써 화질을 향상시킬 수 있게 된다.
상기 필터링은 크게 인루프 필터링(In-loop filtering)과 포스트 필터링(post filtering)이 있다. 상기 포스트 필터링은 영상 디코딩 과정에 영향을 주지 않고, 디스플레이 장치나 사용자에 의해 선택적으로 사용될 수 있으므로, 본 명세서에서는 상세한 설명을 생략한다. 상기 인루프 필터링은 상기 필터링부(140)를 통해 설명하도록 한다. 상기 필터링부(140)는 디블록킹 필터링을 수행하거나 샘플 적응적 오프셋 필터링을 수행하거나, 또는 두 가지 필터링을 모두 수행할 수 있다.
상기 필터링부(140)는 복원 신호에 필터링을 적용하여 이를 재생 장치로 출력하거나 상기 복호 픽쳐 버퍼부(150)에 전송한다. 상기 복호 픽쳐 버퍼부(150)에 전송된 필터링된 신호는 상기 인터 예측부(160)에서 참조 프레임으로 사용될 수 있다. 이처럼, 필터링된 프레임을 화면간 예측 모드에서 참조 프레임으로 이용함으로써 화질 뿐만 아니라 부호화 효율도 향상시킬 수 있다. 다만, 필터링 연산 과정이 복잡할 뿐만 아니라, 상기 필터링부(140)는 필터링 수행을 위해 메모리에 저장되어 있는 복원된 샘플들을 로드하고, 필터링된 샘플들을 다시 메모리에 저장하는 등 잦은 메모리 접근을 야기하게 되어 디코더의 복잡도가 높아지게 된다. 따라서, 본 발명에서는 디코더 복잡도를 줄일 수 있는 코딩 툴을 디자인하고자 한다. 더 구체적으로, 본 발명은 필터링 과정에서 국부적인 적응적 샘플링을 적용함으로써 필요한 계산 리소스를 줄일 수 있다.
상기 복호 픽쳐 버퍼부(150)는 필터링된 프레임을 상기 인터 예측부(160)에서의 참조 프레임으로 사용하기 위해 저장할 수 있다.
상기 인터 예측부(160)는 복원된 픽쳐를 참조하여 시간적 중복성 및/또는 공간적 중복성을 제거하기 위해 시간적 예측 및/또는 공간적 예측을 수행한다. 상기 인트라 예측부(165)는 현재 부호화를 진행하려고 하는 블록의 주변에 있는 샘플들을 참조하여 현재 블록을 예측한다.
상기 인터 예측부(160) 또는 상기 인트라 예측부(165)를 통해 생성된 예측 신호(prediction signal)는 복원 신호를 생성하기 위해 이용되거나 차분 신호를 생성하기 위해 이용될 수 있다.
도 2는 본 발명이 적용되는 실시예로서, 비디오 신호의 디코딩이 수행되는 디코더의 개략적인 블록도를 나타낸다.
상기 도 2의 디코더(200)는 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(225), 필터링부(230), 복호 픽쳐 버퍼부(Decoded Picture Buffer Unit)(240), 인터 예측부(250) 및 인트라 예측부(255)를 포함한다. 그리고, 상기 디코더(200)를 통해 출력된 복원 신호(reconstructed signal)는 디스플레이(260)를 통해 재생될 수 있다.
상기 디코더(200)는 상기 도 1의 인코더(100)로부터 출력된 신호를 수신하고, 수신된 신호는 상기 엔트로피 디코딩부(210)를 통해 엔트로피 디코딩된다. 상기 역양자화부(220)에서는 양자화 스텝 사이즈 정보를 이용하여 엔트로피 디코딩된 신호로부터 변환 계수를 획득하고, 상기 역변환부(225)에서는 상기 변환 계수를 역변환하여 차분 신호를 획득하게 된다. 상기 획득된 차분 신호를 상기 인터 예측부(250) 또는 상기 인트라 예측부(255)로부터 출력된 예측 신호(prediction signal)에 더함으로써 복원 신호(reconstructed signal)가 생성된다.
상기 필터링부(230)는 상기 복원 신호(reconstructed signal)에 필터링을 적용하여 이를 재생 장치로 출력하거나 상기 복호 픽쳐 버퍼부(240)에 전송한다. 상기 복호 픽쳐 버퍼부(240)에 전송된 필터링된 신호는 상기 인터 예측부(250)에서 참조 프레임으로 사용될 수 있다. 본 명세서에서, 인코더의 필터링부(140)에서 설명된 실시예들은 상기 디코더의 필터링부(230)에도 동일하게 적용될 수 있다.
도 3은 본 발명이 적용되는 실시예로서, 필터링 수행시 이용되는 블록 내 샘플들의 위치 관계를 개략적으로 나타낸 것이다.
비디오 코딩에서의 디블록킹 필터링은, 크게 분석 단계와 필터링 단계로 구분될 수 있다.
분석 단계동안, 디코딩된 픽쳐의 코딩 열화(coding artifacts)는 1D의 한정된 탭 길이(1D representation of finite tap-length) 및 열화(artifacts) 특징 추정과 관련된 파라미터 셋(parameter set)을 통해 모델링될 수 있다. 예를 들어, 상기 도 3에서와 같이, 블록의 수직 경계를 기준으로 좌측 블록과 우측 블록 각각 4개의 샘플들을 이용할 수 있다. 그리고, 샘플 데이터 처리와 열화 모델링(artifacts modeling) 단계에서의 결정은 특정 디블록킹 타입(specific deblocking type)과 디블록킹 필터의 파라미터에 기초하여 수행된다.
블록킹 열화는 수직 에지와 수평 에지에서 모두 발생할 수 있으므로, 현재 복원하는 픽쳐의 블록 경계 중 먼저 수직 에지에 대해 수평 방향으로 필터링을 수행하고, 그 다음에 수평 에지에 대해 수직 방향으로 필터링을 수행할 수 있다. 본 명세서에서는, 수직 에지에 대해 수평 방향으로 필터링을 수행하는 실시예들을 설명하고 있으나, 상기 실시예들은 수평 에지에 대한 필터링의 경우에도 동일한 방식으로 적용될 수 있을 것이며, 필터링 순서 또한 이에 한정되어서는 안될 것이다.
상기 도 3을 살펴보면, 수직 경계를 기준으로 좌측 방향으로 위치하는 샘플들 위치를 p0, p1, p2, p3으로 정의하고, 우측 방향으로 위치하는 샘플들 위치를 q0, q1, q2, q3로 정의할 수 있다. 그리고, 아래 첨자(sub-script)는 샘플들의 열 식별자(row identifier)를 나타낸다. 예를 들어, 첫번째 열에 있는 좌측 블록(P)의 샘플들 위치는 p00, p10, p20, p30으로 정의될 수 있고, 우측 블록(Q)의 샘플들 위치는 q00, q10, q20, q30으로 정의될 수 있다(310). 마찬가지로, 네번째 열에 있는 좌측 블록(P)의 샘플들 위치는 p03, p13, p23, p33으로 정의될 수 있고, 우측 블록(Q)의 샘플들은 q03, q13, q23, q33으로 정의될 수 있다(320).
분석 단계는, 코딩 모드(coding mode), 코딩된 차분 신호(coded residuals), 움직임 정보(motion information), 블록 경계의 실제 샘플(actual sample at block boundary)과 같은 다양한 코딩 파라미터(coding parameter)의 이용을 필요로 한다.
이런 파라미터들의 일부는 블록 레벨에서 이용되기 때문에 현재 픽쳐의 코딩을 위해서는 블록 파티셔닝(block partitioning)이 이용되고, 이는 필터링의 복잡도를 높이게 된다. 그러한 처리의 예로, 경계 강도(Boundary Strength, BS) 유도를 들 수 있다.
덜 복잡한 비디오의 신호의 경우에는 큰 블록 사이즈로 표현될 것이고, 그에 따라 메모리로부터 더 적은 수의 파라미터들이 수반되어 디블록킹 처리된다. 예를 들어, 심플한 컨텐트의 경우 큰 블록들로 코딩되는 경향이 있고, 복잡한 컨텐트의 경우 많은 작은 블록들로 코딩되는 경향이 있음을 알 수 있다.
따라서, 필터링 수행시 모든 블록들에 고정된 방식을 적용하는 것보다는 각 블록의 파티셔닝 및/또는 코딩 모드 정보에 따라 국부적인 적응적 샘플링(locally adaptive sampling)을 적용함으로써 복잡도를 감소시킬 수 있다.
도 4는 본 발명이 적용되는 실시예로써, 국부적인 적응적 샘플링(locally adaptive sampling)을 수행하는 필터링부의 개략적인 내부 블록도를 나타낸다.
상기 필터링부(140, 230)는 픽쳐 특성 정보 확인부(picture property checking unit) (410), 적응적 샘플링부(adaptive sampling unit)(420) 및 필터링 수행부(filtering performing unit) (430)를 포함한다.
상기 필터링부(140, 230)는 매크로블록 단위로 먼저 수직 에지들에 수평 방향으로 필터링을 수행한 후 수평 에지에 대해 수직 방향으로 필터링을 수행할 수 있다. 또는, 상기 필터링부(140, 230)는 픽쳐 단위로 현재 복원하는 픽쳐의 모든 블록 경계 중 수직 에지에 대해 필터링을 수행한 후 수평 에지에 대해 필터링을 수행할 수도 있으나, 본 발명은 이에 한정되지 않는다.
먼저, 상기 픽쳐 특성 정보 확인부(picture property checking unit) (410)는 디코딩된 픽쳐의 특성 정보를 확인할 수 있다. 예를 들어, 상기 디코딩된 픽쳐의 특성 정보는 블록 사이즈, 픽쳐 파라미터 등을 포함할 수 있고, 상기 픽쳐 파라미터는 비트스트림에 포함되어 전송되는 정보일 수 있고, 또는 디코더에서 유도되는 정보일 수 있다. 그러나, 본 발명은 이에 한정되지 않는다. 예를 들어, 디코딩된 데이터의 특성 정보는 다른 레벨들, 예를 들어, SPS(Sequence Parameter Set), PPS(Picture Parameter Set), slice or LCU(Largest Coding Unit) 등에서 정의될 수 있다. 따라서, 적응적인 샘플링 레이트 및/또는 적응적인 샘플링 패턴은 다른 레벨에서 시그널링 되거나 유도되는 파라미터들에 기초하여 결정될 수 있다.
상기 적응적 샘플링부(adaptive sampling unit)(420)는 상기 픽쳐 특성 정보 확인부(picture property checking unit) (410)로부터 전송된 특성 정보에 기초하여 적응적인 샘플링 레이트 및/또는 적응적인 샘플링 패턴을 결정할 수 있다.
예를 들어, 블록 경계를 기준으로 좌측 블록과 우측 블록의 사이즈에 따라 적응적인 샘플링 레이트 또는 적응적인 샘플링 패턴을 결정할 수 있다. 구체적 예로, 상기 좌측 블록과 상기 우측 블록의 사이즈가 동일한 경우, 상기 적응적인 샘플링 레이트(adaptive sampling rate) 및/또는 상기 적응적인 샘플링 패턴(adaptive sampling pattern)은 상기 좌측 블록과 상기 우측 블록에 대해 동일하게 적용될 수 있다.
다른 예로, 상기 좌측 블록과 상기 우측 블록의 사이즈가 다른 경우, 상기 적응적인 샘플링 레이트(adaptive sampling rate) 및/또는 상기 적응적인 샘플링 패턴(adaptive sampling pattern)은 상기 좌측 블록과 상기 우측 블록에 대해 다르게 적용될 수 있다. 예를 들어, 더 큰 블록 사이즈를 갖는 블록에 대해 저주파 샘플링(low frequency sampling)을 적용할 수 있다. 또는 더 큰 블록 사이즈를 갖는 블록에 대해 감소된 샘플링(reduced sampling)을 적용할 수 있다.
한편, 필터링 대상 샘플의 위치는 블록 경계를 기준으로 우측 블록의 최좌측 픽셀(left-most pixel)에 대한 상대적 위치로 표현될(addressed) 수 있다. 그리고, 상기 적응적인 샘플링 레이트는 오프셋 값에 레이트 변환 값(Rate Conversion value)을 스케일링함으로써 결정될 수 있고, 상기 레이트 변환 값(Rate Conversion value)은 블록 경계를 기준으로 좌측 블록과 상기 우측 블록에 다르게 적용될 수 있다.
또한, 상기 필터링 대상 픽셀의 위치는 서브 레이트 변환 오프셋 값(sub-RateConversion offset value)에 의해 추가적으로 조정될 수 있다.
상기 필터링 수행부(filtering performing unit) (430)는 상기 적응적 샘플링부(adaptive sampling unit)(420)를 통해 결정된 적응적인 샘플링 레이트(adaptive sampling rate) 및/또는 적응적인 샘플링 패턴(adaptive sampling pattern)을 적용하여 디블록킹 필터링을 수행할 수 있다. 즉, 상기 적응적인 샘플링 레이트(adaptive sampling rate) 및/또는 상기 적응적인 샘플링 패턴(adaptive sampling pattern)이 적용된 샘플을 이용하여 디블록킹 필터링을 수행할 수 있다.
도 5 및 도 6은 본 발명이 적용되는 실시예들로써, 도 5는 국부적인 적응적 샘플링(locally adaptive sampling)을 수행하는 방법을 설명하기 위한 흐름도이고, 도 6은 국부적인 적응적 샘플링(locally adaptive sampling)을 이용하여 필터링을 수행하는 방법을 설명하기 위한 흐름도이다.
본 발명은, 필터링 수행 여부를 결정하기 위해, 먼저 디코딩된 픽쳐의 특성 정보(property information)를 확인할 수 있다(S510).
예를 들어, 상기 디코딩된 픽쳐의 특성 정보는 코딩 블록 사이즈, 예측 블록 사이즈, 변환 블록 사이즈, 분할된 블록 사이즈(partitioned block size) 코딩 모드 및 코딩 파라미터 중 적어도 하나를 포함할 수 있다.
상기 디코딩된 픽쳐의 특성 정보(property information)에 기초하여 적응적인 샘플링 레이트(adaptive sampling rate) 및/또는 적응적인 샘플링 패턴(adaptive sampling pattern)을 결정할 수 있다(S520).
예를 들어, 블록 경계를 기준으로 좌측 블록과 우측 블록의 사이즈에 따라 적응적인 샘플링 레이트 및/또는 적응적인 샘플링 패턴을 결정할 수 있다. 상기 좌측 블록과 상기 우측 블록의 사이즈가 동일한 경우, 상기 적응적인 샘플링 레이트(adaptive sampling rate) 및/또는 상기 적응적인 샘플링 패턴(adaptive sampling pattern)은 상기 좌측 블록과 상기 우측 블록에 대해 동일하게 적용될 수 있다.
상기 좌측 블록과 상기 우측 블록의 사이즈가 다른 경우, 상기 적응적인 샘플링 레이트(adaptive sampling rate) 및/또는 상기 적응적인 샘플링 패턴(adaptive sampling pattern)은 상기 좌측 블록과 상기 우측 블록에 대해 다르게 적용될 수 있다. 구체적 예로, 더 큰 블록 사이즈를 갖는 블록에 대해 저주파 샘플링(low frequency sampling)을 적용할 수 있다. 또는 더 큰 블록 사이즈를 갖는 블록에 대해 감소된 샘플링(reduced sampling)을 적용할 수 있다.
상기와 같이, 적응적인 샘플링 레이트(adaptive sampling rate) 및/또는 적응적인 샘플링 패턴(adaptive sampling pattern)이 결정되면, 상기 적응적인 샘플링 레이트(adaptive sampling rate) 및/또는 상기 적응적인 샘플링 패턴(adaptive sampling pattern)이 적용된 샘플을 이용하여 필터링을 수행할 수 있다(S530).
예를 들어, 도 6을 살펴보면, 적응적인 샘플링 레이트(adaptive sampling rate) 및/또는 적응적인 샘플링 패턴(adaptive sampling pattern)을 적용하여 필터링 대상 샘플이 결정되면(S610), 상기 샘플에 FIR 필터를 적용하여 오프셋 값을 산출할 수 있다(S620). 이때, 샘플 값은 상기 산출된 오프셋 값으로 대체될 수 있다(S630).
그리고, 상기 오프셋 값에 클리핑 함수를 적용하여(S640) 필터링된 샘플 값을 획득할 수 있다(S650).
도 7 내지 도 9는 본 발명이 적용되는 일실시예들로써, 디코딩된 픽쳐의 특성 정보(property information)에 기초하여 적응적인 샘플링 레이트(adaptive sampling rate)를 결정하는 것을 설명하기 위한 도면이다.
본 발명은 필터링 단계에서 국부적인 적응적 샘플링 방법을 제안하며, 상기 국부적인 적응적 샘플링 방법은 디코딩된 픽쳐의 특성 정보(property information)에 기초하여 결정될 수 있다. 예를 들어, 블록 경계를 기준으로 좌측 블록과 우측 블록의 사이즈에 따라 적응적인 샘플링 레이트(adaptive sampling rate) 및/또는 적응적인 샘플링 패턴(adaptive sampling pattern)을 결정할 수 있다. 여기서, 상기 적응적인 샘플링 레이트(adaptive sampling rate) 및 상기 적응적인 샘플링 패턴(adaptive sampling pattern)은 샘플 수 및 샘플 간 간격 중 적어도 하나에 의해 정의될 수 있다.
상기 도 7의 실시예를 보면, 상기 좌측 블록(P)과 상기 우측 블록(Q)의 사이즈가 동일한 경우, 상기 적응적인 샘플링 레이트(adaptive sampling rate) 및/또는 상기 적응적인 샘플링 패턴(adaptive sampling pattern)은 상기 좌측 블록(P)과 상기 우측 블록(Q)에 대해 동일하게 적용될 수 있다.
상기 도 7을 살펴보면, 블록 경계를 기준으로 이웃하는 블록들의 사이즈가 동일할 경우, 상기 좌측 블록(P) 내 이용되는 샘플 수와 상기 우측 블록(Q) 내 이용되는 샘플 수가 동일할 수 있다. 그리고, 상기 좌측 블록(P) 내 이용되는 샘플들의 간격과 상기 우측 블록(Q) 내 이용되는 샘플들의 간격이 동일할 수 있다.
상기 도 8 및 도 9의 실시예들을 보면, 상기 좌측 블록과 상기 우측 블록의 사이즈가 동일하지 않은 경우, 상기 적응적인 샘플링 레이트(adaptive sampling rate) 및/또는 상기 적응적인 샘플링 패턴(adaptive sampling pattern)은 상기 좌측 블록(P)과 상기 우측 블록(Q)에 대해 다르게 적용될 수 있다.
상기 도 8을 살펴보면, 상기 좌측 블록(P)의 사이즈가 상기 우측 블록(Q)보다 큰 경우, 상기 좌측 블록(P)에 상대적인 저주파 샘플링(low frequency sampling)을 적용할 수 있다. 이때, 상기 저주파 샘플링(low frequency sampling)은 비디오 신호 검사 코딩(undergoing coding)의 복잡도 추정(complexity estimates)에 기초하여 결정될 수 있다. 또한, 상기 저주파 샘플링(low frequency sampling)은 임의로 결정될 수 있거나, 또는 블록의 상대적인 크기에 기초하여 적용될 수 있다.
예를 들어, 상기 도 8에서, 상기 좌측 블록(P)의 사이즈가 32x32이고, 상기 우측 블록(Q)의 사이즈가 16x16인 경우, 상기 좌측 블록(P)의 필터링 대상 샘플들의 간격은 상기 우측 블록(Q)의 필터링 대상 샘플들의 간격의 2배일 수 있고, 상기 좌측 블록(P)과 상기 우측 블록(Q)의 필터링 대상 샘플들의 수는 각각 4개씩으로 동일할 수 있다.
상기 도 9를 살펴보면, 상기 좌측 블록(P)의 사이즈가 상기 우측 블록(Q)보다 큰 경우, 상기 좌측 블록(P)에 상대적으로 감소된 샘플링(reduced sampling)을 적용할 수 있다. 이때, 상기 감소된 샘플링(reduced sampling)은 비디오 신호 검사 코딩(undergoing coding)의 복잡도 추정(complexity estimates)에 기초하여 결정될 수 있다. 또한, 상기 감소된 샘플링(reduced sampling)은 임의로 결정될 수 있거나, 또는 블록의 상대적인 크기에 기초하여 적용될 수 있다.
예를 들어, 상기 도 9에서, 상기 좌측 블록(P)의 사이즈가 32x32이고, 상기 우측 블록(Q)의 사이즈가 16x16인 경우, 상기 좌측 블록(P)의 필터링 대상 샘플들의 수는 상기 우측 블록(Q)의 필터링 대상 샘플들의 수의 1/2일 수 있고, 상기 좌측 블록(P)의 필터링 대상 샘플들의 간격은 상기 우측 블록(Q)의 필터링 대상 샘플들의 간격의 4배일 수 있다. 즉, 상기 좌측 블록(P)의 필터링 대상 샘플은 p0, p2 2개이고, 상기 우측 블록(Q)의 필터링 대상 샘플은 q0, q1, q2, q3 4개일 수 있다.
도 10은 본 발명이 적용되는 실시예로서, 국부적인 적응적 샘플링(locally adaptive sampling)을 이용하여 필터링을 수행하는 방법을 설명하기 위한 도면이다.
도 10을 살펴보면, 수직 경계를 기준으로 좌측 방향으로 위치하는 샘플들 위치를 p0, p1, p2, p3이라 하고, 우측 방향으로 위치하는 샘플들 위치를 q0, q1, q2, q3라 하며, d0, d1, d2, d3, d4, d5를 대응되는 샘플 위치에 있는 픽셀 값을 대체하는 오프셋 값(offset value)이라 하자. 예를 들어, 도 10에서, 오프셋 값 d0, d1, d2는 각각 좌측 블록(P)의 샘플들 p2, p1, p0 위치의 픽셀 값 I(p2), I(p1), I(p0)를 대체하고, 오프셋 값 d3, d4, d5는 각각 우측 블록(Q)의 q0, q1, q2 위치의 픽셀 값 I(q0), I(q1), I(q2)를 대체한다(1000).
상기 오프셋 값들 d0, d1, d2, d3, d4, d5는 아래 수학식 1과 같은 FIR 필터를 적용함으로써 계산될 수 있다.
Figure pct00001
상기 수학식 1에서 적용된 FIR 필터는 일실시예에 불과하며, 본 발명은 이에 한정되지 않는다.
상기 수학식 1에 의해 d0~d5 오프셋 값들이 산출되면, 각각 대응되는 샘플들 위치 p2~p0, q0~q2를 대체하기 위해 다음 수학식 2와 같이 클리핑 함수(clipping function)가 적용될 수 있다.
Figure pct00002
여기서, A~F 및 A'~F'은 p3 ~ q3 샘플들의 상위, 하위 동적 범위 한계(dynamical range boundary)를 나타낸다. 즉, d0~d5 오프셋 값들은 각각 A와 A', B와 B', …, F와 F'을 포함하는 범위 내로 수렴되며, 이는 필터링에 의해 대체되는 샘플 값의 범위를 각각 상한 값(A~F)과 하한 값(A'~F')으로 제한을 두는 것이다. 상기 상한 값(A~F)과 상기 하한 값(A'~F')은 상기 좌측 블록(P)과 상기 우측 블록(Q)의 양자화 파라미터(quantization parameter)에 기초하여 결정될 수 있다. 예를 들어, 상기 양자화 파라미터(quantization parameter) 값이 클 경우 상기 상한 값(A~F)과 상기 하한 값(A'~F')에 의해 정해지는 범위도 커질 수 있다.
한편, 상기 p3 ~ q3 샘플들 위치는 블록 경계를 기준으로 상대적 위치에 의해 결정될 수 있다. 예를 들어, 상기 p3 ~ q3 샘플들 위치는 블록 경계를 기준으로 우측 블록의 최좌측 픽셀(left-most pixel)에 대한 상대적 위치로 표현될(addressed) 수 있다. 우측 블록(Q)의 최좌측 픽셀을 기준 위치로 하여 상기 p3 ~ q3 샘플들의 공간 위치를 차례로 식별할 수 있다.
디코딩된 픽쳐의 열을 “piSrc”로 표현하면, 우측 블록(Q)의 최좌측 픽셀은 piSrc[0] 로 표현될 수 있고, 원본 픽셀 그리드를 나타내는 오프셋(offset)이 1이라고 가정할 때, p3~q3 샘플들의 위치는 아래 수학식 3과 같이 나타낼 수 있다.
Figure pct00003
본 발명의 다른 실시예로, 샘플 위치 p3~q3는 국부적인 적응적 샘플링 레이트(locally adaptive sampling rate)로 표현될 수 있다. 예를 들어, 상기 국부적인 적응적 샘플링 레이트(locally adaptive sampling rate)는, 아래 수학식 4와 같이, 오프셋 값에 레이트 변환 값(Rate Conversion value)(RP)을 스케일링함으로써 수행될 수 있다.
Figure pct00004
여기서, RP는 레이트 변환 값(Rate Conversion value)을 나타낸다.
본 발명의 다른 실시예로, 상기 레이트 변환 값(Rate Conversion value)은 블록 경계를 기준으로 좌측 블록(P)과 우측 블록(Q)에 다르게 적용될 수 있다. 예를 들어, 좌측 블록(P)에 적용되는 레이트 변환 값(Rate Conversion value)은 RPL(left) 스케일링 팩터로, 우측 블록(Q)에 적용되는 레이트 변환 값(Rate Conversion value)은 RPR(right) 스케일링 팩터로 정의할 수 있다. 이때, p3~q3 샘플들의 위치는 아래 수학식 5와 같이 나타낼 수 있다.
Figure pct00005
본 발명의 다른 실시예로, 샘플의 위치는 서브 레이트 변환 오프셋 값(sub-RateConversion offset value)에 의해 추가적으로 개선(refine)될 수 있다. 예를 들어, 오프셋 값에 레이트 변환 값으로 스케일링을 한 후 서브 레이트 변환 오프셋 값(sub-RateConversion offset value)을 더함으로써 추가적으로 샘플의 위치를 정밀하게 조정할 수 있다. 이때, p3~q3 샘플들의 위치는 아래 수학식 6과 같이 나타낼 수 있다.
Figure pct00006
여기서, subRPL은 좌측 블록(P)에 적용되는 서브 레이트 변환 오프셋 값(sub-RateConversion offset value)을 나타내고, subRPR은 우측 블록(Q)에 적용되는 서브 레이트 변환 오프셋 값(sub-RateConversion offset value)을 나타낸다.
도 11은 본 발명이 적용되는 실시예로, 레이트 변환 값(Rate Conversion value) 및 서브 레이트 변환 오프셋 값(sub-RateConversion offset value)을 이용하여 샘플링을 수행하는 다양한 예를 나타낸다.
먼저, 도 11(a)를 살펴보면, RPL=2, subRPL=0, RPR=2, subRPR=0 인 경우를 나타낸다. 즉, 본 실시예는 서브 레이트 변환 오프셋 값(sub-RateConversion offset value)이 모두 0이고, 레이트 변환 값(Rate Conversion value)은 좌측 블록(P)와 우측 블록(Q)에 동일한 값 2로 적용된 경우이다.
도 11(b)를 살펴보면, RPL=2, subRPL=0, RPR=2, subRPR=1 인 경우를 나타낸다. 즉, 본 실시예는 우측 블록(Q)에만 서브 레이트 변환 오프셋 값(sub-RateConversion offset value) 1이 적용되었고, 레이트 변환 값(Rate Conversion value)은 좌측 블록(P)와 우측 블록(Q)에 동일한 값 2로 적용된 경우이다. 상기 도 11(a)의 경우와 비교하여 볼 때, 우측 블록(Q)에서 샘플의 위치가 모두 1픽셀만큼 오른쪽으로 이동한 것을 확인할 수 있다.
도 11(c)를 살펴보면, RPL=1, subRPL=0, RPR=2, subRPR=1 인 경우를 나타낸다. 본 실시예는 좌측 블록(P)와 우측 블록(Q)에 레이트 변환 값(Rate Conversion value)과 서브 레이트 변환 오프셋 값(sub-RateConversion offset value)이 모두 다르게 적용되었다. 즉, 우측 블록(Q)의 레이트 변환 값(Rate Conversion value)이 좌측 블록(P)에 비해 2배로 적용되었고, 우측 블록(Q)에만 서브 레이트 변환 오프셋 값(sub-RateConversion offset value) 1이 적용되었다. 상기 도 11(b)의 경우와 비교하여 볼 때, 좌측 블록(P)에서 샘플의 위치가 모두 1/2배만큼 블록 경계 쪽으로 이동한 것을 확인할 수 있다.
본 발명의 다른 실시예로, RPL, RPR 및 subRPL, subRPR 또는 그들의 서브셋(subset) 값들은 시공간적으로 이웃하는 디코딩된 픽쳐 내의 국부적 파라미터들 (local parameters)로부터 인코더 및 디코더에 의해 결정될 수 있다. 예를 들어, 상기 국부적 파라미터들 (local parameters)은 블록 파티셔닝(block partitioning), 코딩 모드(coding modes), 움직임 정보(motion information), 변환 타입(transform type), 디코딩된 픽쳐 샘플 값들(decoded picture sample values) 및 다른 이용 가능한 선험적 정보(priori information)를 포함할 수 있다.
본 발명의 다른 실시예로, RPL, RPR 및 subRPL, subRPR 또는 그들의 서브셋(subset) 값들은 시공간적으로 이웃하는 디코딩된 픽쳐 내의 국부적 파라미터들(local parameters)로부터 인코더에 의해 결정될 수 있다. 예를 들어, 상기 국부적 파라미터들 (local parameters)은 블록 파티셔닝(block partitioning), 코딩 모드(coding modes), 움직임 정보(motion information), 변환 타입(transform type), 디코딩된 픽쳐 샘플 값들(decoded picture sample values), 다른 이용 가능한 선험적 정보(priori information) 및 신택스 엘리먼트 (block partitioning level) 또는 부가 정보 (후처리의 경우 SEI )같은 신호를 포함할 수 있다.
본 발명의 다른 실시예로, 업데이트 값 d0~d5는 레이트 변환 값(Rate Conversion value)과 서브 레이트 변환 오프셋 값(sub-RateConversion offset value)에 의해 위치된 디코딩된 픽쳐 샘플들에 아래 수학식 7과 같이 적용될 수 있다.
Figure pct00007
본 발명의 다른 실시예로, RPL, RPR이 1보다 클 때, 정수 미만의 픽셀 그리드(sub-integer pixel grid) 상에 위치한 샘플들은 2개의 인접한 업데이트 값들(update values)의 보간(interpolation)을 통해 업데이트될 수 있다. 예를 들어, RPL=RPR=2이고 선형 보간(linear interpolation)을 이용하는 경우 아래의 수학식 8과 같이 나타낼 수 있다.
Figure pct00008
본 발명의 다른 실시예로, 정수 미만의 픽셀 그리드(sub-integer pixel grid) 상에 위치한 픽셀들의 샘플 값을 산출하기 위해 다른 보간 방법이 이용될 수 있다. 예를 들어, 2차(quadratic), 큐빅(cubic), 고차(higher order), 스플라인(spline) 또는 변환 기반 보간(transform-based interpolation), 비선형 보간(non-linear interpolation) 또는 적응적 보간(adaptive interpolation) 방법 등이 적용될 수 있으며, 이에 한정되지 않는다.
본 발명의 다른 실시예로, 정수 미만의 픽셀 그리드(sub-integer pixel grid) 상에 위치한 픽셀들의 샘플 값 뿐만 아니라 업데이트 값들 d0~d5는 수학식 1과 다른 펄스 응답 필터링(pulse response filtering)에 의해 산출될 수 있다. 그러한 샘플들의 샘플 값 뿐만 아니라 업데이트 값들 d0~d5는 수학식 1과 다른 펄스 응답은, 상기 수학식 1에서 제공된 펄스 응답을 스트레칭(stretching), 내삽(interpolating), 외삽(extrapolating)하여, 윈도우 함수(windowing function)를 적용함으로써 산출될 수 있다.
본 발명의 다른 실시예로, 적응적 펄스 응답 함수(adaptive pulse response function)는 특정 프로세스를 통해 인코더 또는 디코더 측에서 유도될 수 있거나, 또는 비트스트림 내 신택스 엘리먼트나 부가 정보(side information)로 시그널링될 수 있다.
본 발명의 다른 실시예로, 큰 블록 사이즈가 이용되었을 경우, 디블록킹은 경계 샘플들의 서브-샘플된 버전(sub-sampled version)을 이용하는 블록 경계 조건의 분석을 수행할 수 있다. 다른 방안으로, 디블록킹은 비디오 신호의 국부적 복잡도(local complexity) 정보를 반영하기 위해 다른 탭 길이 필터링(tap length filtering)을 이용할 수 있다.
본 발명의 다른 실시예로, 보간 필터(interpolation filter)는 경험적 코딩(undergoing coding)의 복잡도 추정치에 근거하여 다양한 샘플링 레이트(sampling rate)로 적용될 수 있다.
본 발명의 다른 실시예로, 적응적 필터(adaptive filter), 샘플 적응적 오프셋(SAO) 필터 또는 변환은 경험적 코딩(undergoing coding)의 복잡도 추정치에 근거하여, 다양한 샘플링 레이트(sampling rate) 및/또는 탭 길이/적응적 필터 계수(tap length/adaptive filter coefficients)로 적용될 수 있다.
본 발명의 다른 실시예로, 상기 필터링부(140, 230)는 블록 경계에 인접한 블록의 사이즈, 코딩 모드 및 코딩 파라미터 중 적어도 하나에 기초하여 경계 강도(Boundary Strength, BS) 값을 결정할 수 있다. 상기 경계 강도 값에 기초하여, 필터링 수행 여부가 결정될 수 있다. 예를 들어, 필터링 수행 여부를 결정하기 위해 첫번째 열의 샘플들(도 3의 310)과 네번째 열의 샘플들(도 3의 320)에 기초하여 샘플 값의 변화량을 측정할 수 있다. 이때, 본 명세서에서 설명한 국부적인 적응적 샘플링 방법이 적용될 수 있다.
추가적으로, 상기 필터링부(140, 230)는 상기 블록 경계에 인접한 블록들의 양자화 파라미터 (Quantization Parameter) 값을 이용하여 다른 변수 값을 산출하고, 상기 다른 변수 값에 기초하여 다시 필터링 수행 여부를 결정할 수 있다. 필터링이 적용되는 조건을 만족하는 경우, 상기 필터링부(140, 230)는 블록 경계에 적용할 필터 타입을 선택할 수 있다.
수평 에지에 대해 필터링을 수행하는 경우 열 단위로 필터링이 수행될 수 있다. 그리고, 블록 경계를 기준으로, 특정 개수의 샘플에 대해 필터링이 수행될 수 있다. 예를 들어, 강한 필터링이 수행되는 경우 블록 내 3개의 샘플이 이용될 수 있고, 약한 필터링이 수행되는 경우에는 블록 내 2개의 샘플이 이용될 수 있다. 이 경우에도, 본 명세서에서 설명한 국부적인 적응적 샘플링 방법이 적용될 수 있을 것이다.
이상에서 설명한 바와 같이, 본 발명이 적용되는 디코더 및 인코더는 멀티미디어 방송 송/수신 장치, 이동통신 단말기, 홈 시네마 영상 장치, 디지털 시네마 영상 장치, 감시 카메라, 영상 채팅 장치 및 화상 통신과 같은 실시간 통신 장치, 모바일 스트리밍 장치, 저장 매체, 캠코더, VoD 서비스 제공 장치, 인터넷 스트리밍 서비스 제공 장치, 입체 영상(3D video) 장치, 원거리 영상 회의 장치 및 의료 영상 장치 등에 구비되어, 비디오 신호 및 데이터 신호 등을 코딩하는데 사용될 수 있다.
또한, 본 발명이 적용되는 디코딩/인코딩 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 BD, USB, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 인코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.

Claims (18)

  1. 비디오 신호의 디블록킹 필터링을 수행하는 방법에 있어서,
    디코딩된 픽쳐의 특성 정보(property information)에 기초하여 적응적인 샘플링 레이트(adaptive sampling rate)를 결정하는 단계; 및
    상기 적응적인 샘플링 레이트(adaptive sampling rate)가 적용된 샘플들을 이용하여 필터링을 수행하는 단계
    를 포함하되,
    상기 디코딩된 픽쳐의 특성 정보는 블록 사이즈 및 픽쳐 파라미터 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    블록 경계를 기준으로 좌측 블록과 우측 블록의 사이즈가 동일한 경우, 상기 적응적인 샘플링 레이트(adaptive sampling rate)는상기 좌측 블록과 상기 우측 블록에 대해 동일하게 적용되는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    블록 경계를 기준으로 좌측 블록과 우측 블록의 사이즈가 다른 경우, 상기 적응적인 샘플링 레이트(adaptive sampling rate)는상기 좌측 블록과 상기 우측 블록에 대해 다르게 적용되고, 더 큰 사이즈의 블록에 대해 저주파 샘플링(low frequency sampling) 또는 감소된 샘플링(reduced sampling)이 적용되는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 샘플들은 블록 경계를 기준으로 우측 블록의 최좌측 픽셀(left-most pixel)에 대한 상대적 위치로 표현되는(addressed) 것을 특징으로 하는 방법.
  5. 제4항에 있어서,
    상기 적응적인 샘플링 레이트는 오프셋 값을 레이트 변환 값(Rate Conversion value)으로 스케일링함으로써 결정되는 것을 특징으로 하는 방법.
  6. 제5항에 있어서,
    상기 레이트 변환 값(Rate Conversion value)은 블록 경계를 기준으로 좌측 블록과 상기 우측 블록에 다르게 적용되는 것을 특징으로 하는 방법.
  7. 제5항에 있어서,
    상기 샘플들의 위치는 서브 레이트 변환 오프셋 값(sub-RateConversion offset value)에 의해 추가적으로 조정되는 것을 특징으로 하는 방법.
  8. 제1항에 있어서, 상기 디블록킹 필터링을 수행하는 단계는,
    상기 적응적인 샘플링 레이트에 기초하여 필터링 대상 샘플들을 결정하는 단계;
    상기 샘플들에 FIR(Finite Impulse Response) 필터를 적용하여 오프셋 값들을 산출하는 단계; 및
    상기 오프셋 값들에 클리핑 함수를 적용하여 필터링된 샘플 값들을 획득하는 단계를 포함하는 것을 특징으로 하는 방법.
  9. 제1항에 있어서,
    상기 픽쳐 파라미터는 코딩된 비트스트림으로부터 획득되거나 디코딩된 픽쳐로부터 유도되는 것을 특징으로 하는 방법.
  10. 비디오 신호의 디블록킹 필터링을 수행하는 장치에 있어서,
    디코딩된 픽쳐의 특성 정보(property information)를 확인하는 픽쳐 특성 정보 확인부;
    상기 디코딩된 픽쳐의 특성 정보(property information)에 기초하여 적응적인 샘플링 레이트(adaptive sampling rate)를 결정하는 적응적 샘플링부; 및
    상기 적응적인 샘플링 레이트(adaptive sampling rate)가 적용된 샘플들을 이용하여 디블록킹 필터링을 수행하는 필터링 수행부
    를 포함하되,
    상기 디코딩된 픽쳐의 특성 정보는 블록 사이즈 및 픽쳐 파라미터 중 적어도 하나를 포함하는 것을 특징으로 하는 장치.
  11. 제10항에 있어서,
    블록 경계를 기준으로 좌측 블록과 우측 블록의 사이즈가 동일한 경우, 상기 적응적인 샘플링 레이트(adaptive sampling rate)는 상기 좌측 블록과 상기 우측 블록에 대해 동일하게 적용되는 것을 특징으로 하는 장치.
  12. 제10항에 있어서,
    블록 경계를 기준으로 좌측 블록과 우측 블록의 사이즈가 다른 경우, 상기 적응적인 샘플링 레이트(adaptive sampling rate)는 상기 좌측 블록과 상기 우측 블록에 대해 다르게 적용되고, 더 큰 사이즈의 블록에 대해 저주파 샘플링(low frequency sampling) 또는 감소된 샘플링(reduced sampling)이 적용되는 것을 특징으로 하는 장치.
  13. 제10항에 있어서,
    상기 샘플들은 블록 경계를 기준으로 우측 블록의 최좌측 픽셀(left-most pixel)에 대한 상대적 위치로 표현되는(addressed) 것을 특징으로 하는 장치.
  14. 제13항에 있어서,
    상기 적응적인 샘플링 레이트는 오프셋 값을 레이트 변환 값(Rate Conversion value)으로 스케일링함으로써 결정되는 것을 특징으로 하는 장치.
  15. 제14항에 있어서,
    상기 레이트 변환 값(Rate Conversion value)은 블록 경계를 기준으로 좌측 블록과 상기 우측 블록에 다르게 적용되는 것을 특징으로 하는 장치.
  16. 제14항에 있어서,
    상기 샘플들의 위치는 서브 레이트 변환 오프셋 값(sub-RateConversion offset value)에 의해 추가적으로 조정되는 것을 특징으로 하는 장치.
  17. 제10항에 있어서, 상기 필터링 수행부는,
    상기 적응적인 샘플링 레이트에 기초하여 필터링 대상 샘플들을 결정하고,
    상기 샘플에 FIR(Finite Impulse Response) 필터를 적용하여 오프셋 값들을 산출하고,
    상기 오프셋 값에 클리핑 함수를 적용하여 필터링된 샘플 값들을 획득하는 것을 특징으로 하는 장치.
  18. 제10항에 있어서,
    상기 픽쳐 파라미터는 코딩된 비트스트림으로부터 획득되거나 디코딩된 픽쳐로부터 유도되는 것을 특징으로 하는 방법.
KR1020167016134A 2013-11-24 2014-11-24 적응적 샘플링을 이용한 비디오 신호의 인코딩, 디코딩 방법 및 그 장치 KR20160085891A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361908164P 2013-11-24 2013-11-24
US61/908,164 2013-11-24
PCT/KR2014/011330 WO2015076634A1 (en) 2013-11-24 2014-11-24 Method and apparatus for encoding and decoding video signal using adaptive sampling

Publications (1)

Publication Number Publication Date
KR20160085891A true KR20160085891A (ko) 2016-07-18

Family

ID=53179827

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167016134A KR20160085891A (ko) 2013-11-24 2014-11-24 적응적 샘플링을 이용한 비디오 신호의 인코딩, 디코딩 방법 및 그 장치

Country Status (5)

Country Link
US (1) US10462464B2 (ko)
EP (1) EP3072300B1 (ko)
KR (1) KR20160085891A (ko)
CN (1) CN105745931B (ko)
WO (1) WO2015076634A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190087524A (ko) * 2016-12-27 2019-07-24 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
KR20190121377A (ko) * 2017-04-06 2019-10-25 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
WO2020231176A1 (ko) * 2019-05-13 2020-11-19 삼성전자 주식회사 영상 크기에 기반한 영상의 부호화 방법 및 장치, 영상의 복호화 방법 및 장치
KR20210110735A (ko) * 2017-04-06 2021-09-08 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160085891A (ko) * 2013-11-24 2016-07-18 엘지전자 주식회사 적응적 샘플링을 이용한 비디오 신호의 인코딩, 디코딩 방법 및 그 장치
KR20160101994A (ko) 2013-12-20 2016-08-26 엘지전자 주식회사 적응적 샘플링을 이용한 비디오 신호의 인코딩, 디코딩 방법 및 그 장치
KR20180074150A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 Sao 필터링을 포함하는 비디오 데이터의 부호화를 위한 방법 및 장치
TWI833248B (zh) 2017-04-06 2024-02-21 美商松下電器（美國）知識產權公司 解碼方法及編碼方法
TWI832814B (zh) * 2017-04-06 2024-02-21 美商松下電器（美國）知識產權公司 解碼裝置及編碼裝置
US10491897B2 (en) * 2018-04-13 2019-11-26 Google Llc Spatially adaptive quantization-aware deblocking filter
WO2020159994A1 (en) * 2019-01-28 2020-08-06 Op Solutions, Llc Online and offline selection of extended long term reference picture retention
WO2020228833A1 (en) * 2019-05-16 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Adaptive resolution change in video coding
US11563933B2 (en) * 2019-07-09 2023-01-24 Qualcomm Incorporated Reference picture resampling with switchable filters
CN110958417B (zh) * 2019-12-16 2020-12-08 山东大学 一种基于语音线索的视频通话类视频去除压缩噪声的方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877771A (en) * 1996-07-12 1999-03-02 Silicon Graphics, Inc. Method and apparatus for supersampling based on the local rate of change in texture
US6577685B1 (en) * 1999-08-02 2003-06-10 Mitsubishi Electric Research Laboratories, Inc. Programmable digital signal processor for demodulating digital television signals
US6993207B1 (en) * 2001-10-05 2006-01-31 Micron Technology, Inc. Method and apparatus for electronic image processing
US7778480B2 (en) 2004-11-23 2010-08-17 Stmicroelectronics Asia Pacific Pte. Ltd. Block filtering system for reducing artifacts and method
US7693242B2 (en) * 2005-06-14 2010-04-06 Freescale Semiconductor, Inc. DC offset correction for constant envelope signals
JP2008289134A (ja) * 2007-04-20 2008-11-27 Panasonic Corp 符号化レート変換装置、集積回路、符号化レート変換方法、及びプログラム
US8457951B2 (en) * 2008-01-29 2013-06-04 The Nielsen Company (Us), Llc Methods and apparatus for performing variable black length watermarking of media
US8619840B2 (en) * 2010-02-26 2013-12-31 Qualcomm Incorporated Apparatus and methods for sampling rate conversion for wireless transceivers
JP5544996B2 (ja) * 2010-04-09 2014-07-09 ソニー株式会社 画像処理装置および方法
KR20110125153A (ko) 2010-05-12 2011-11-18 에스케이 텔레콤주식회사 영상의 필터링 방법 및 장치와 그를 이용한 부호화/복호화를 위한 방법 및 장치
TWI600318B (zh) * 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
KR20120010097A (ko) 2010-07-20 2012-02-02 에스케이 텔레콤주식회사 디블록킹 필터링 방법 및 장치 및 이를 이용한 부호화 및 복호화 방법과 장치
WO2012094750A1 (en) 2011-01-14 2012-07-19 Ebrisk Video Inc. Adaptive loop filtering using multiple filter shapes
US8630357B2 (en) * 2011-02-07 2014-01-14 ABG Tag & Traq, LLC Ultra-wideband dual band magnitude summer apparatus and method
CN107197254B (zh) 2011-09-09 2020-03-03 太阳专利托管公司 解码方法及解码装置
EP2737704B1 (en) * 2011-09-13 2020-02-19 HFI Innovation Inc. Method and apparatus for reduction of deblocking filter
WO2013064548A2 (en) * 2011-11-03 2013-05-10 Panasonic Corporation Quantization parameter for blocks coded in the pcm mode
CN109246429A (zh) * 2011-11-04 2019-01-18 Lg 电子株式会社 用于编码/解码图像信息的方法和装置
GB2498550B (en) * 2012-01-19 2016-02-24 Canon Kk Method and device for processing components of an image for encoding or decoding
CN103338363B (zh) * 2013-03-06 2016-08-03 西安电子科技大学 基于测量域块分类的视频压缩感知编码系统及方法
US10412419B2 (en) * 2013-07-12 2019-09-10 Qualcomm Incorporated Adaptive filtering in video coding
KR20160085891A (ko) * 2013-11-24 2016-07-18 엘지전자 주식회사 적응적 샘플링을 이용한 비디오 신호의 인코딩, 디코딩 방법 및 그 장치
EP3074946B1 (en) * 2013-11-27 2018-10-17 Thomson Licensing Method and device for quantising the floating value of a pixel in an image

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190087524A (ko) * 2016-12-27 2019-07-24 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
KR20210036417A (ko) * 2016-12-27 2021-04-02 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
KR20210142780A (ko) * 2016-12-27 2021-11-25 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
KR20220106231A (ko) * 2016-12-27 2022-07-28 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
KR20190121377A (ko) * 2017-04-06 2019-10-25 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
KR20210110735A (ko) * 2017-04-06 2021-09-08 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
KR20220045076A (ko) * 2017-04-06 2022-04-12 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
KR20220158104A (ko) * 2017-04-06 2022-11-29 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
WO2020231176A1 (ko) * 2019-05-13 2020-11-19 삼성전자 주식회사 영상 크기에 기반한 영상의 부호화 방법 및 장치, 영상의 복호화 방법 및 장치

Also Published As

Publication number Publication date
CN105745931B (zh) 2019-06-25
CN105745931A (zh) 2016-07-06
EP3072300A4 (en) 2017-07-05
EP3072300B1 (en) 2019-01-16
US10462464B2 (en) 2019-10-29
US20160286219A1 (en) 2016-09-29
WO2015076634A1 (en) 2015-05-28
EP3072300A1 (en) 2016-09-28

Similar Documents

Publication Publication Date Title
US10462464B2 (en) Method and apparatus for encoding and decoding video signal using adaptive sampling
US10448015B2 (en) Method and device for performing adaptive filtering according to block boundary
KR102518993B1 (ko) 복수의 보간 필터링 방법 및 이를 적용한 부호화 장치
US11006109B2 (en) Intra prediction mode based image processing method, and apparatus therefor
US10880546B2 (en) Method and apparatus for deriving intra prediction mode for chroma component
US10630977B2 (en) Method and apparatus for encoding/decoding a video signal
KR20170002460A (ko) 임베디드 블록 파티셔닝을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
JP2019508971A (ja) ビデオコーディングのための固定フィルタからのフィルタ係数を予測すること
US10681371B2 (en) Method and device for performing deblocking filtering
KR102351029B1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN108353194B (zh) 编码和解码视频信号的方法和装置
US10257541B2 (en) Method and apparatus for encoding and decoding video signal using adaptive sampling
WO2021136375A1 (en) Video encoding or decoding methods and apparatuses related to high-level information signaling
US20190238863A1 (en) Chroma component coding unit division method and device
US20180048890A1 (en) Method and device for encoding and decoding video signal by using improved prediction filter
JP2022544160A (ja) 適応分解能管理信号伝達
JP2018533284A (ja) 係数誘導予測を用いてビデオ信号を処理する方法及び装置
US20180063552A1 (en) Method and apparatus for encoding and decoding video signal by means of transform-domain prediction
US20200154103A1 (en) Image processing method on basis of intra prediction mode and apparatus therefor
KR20180009048A (ko) 영상의 부호화/복호화 방법 및 이를 위한 장치
US20220182616A1 (en) Method and apparatus for encoding/decoding video and method for transmitting bitstream
US10785499B2 (en) Method and apparatus for processing video signal on basis of combination of pixel recursive coding and transform coding
JP2022554382A (ja) 適応クロッピングのための方法及びシステム
US10523945B2 (en) Method for encoding and decoding video signal
KR20200004348A (ko) 타겟 영역 수정을 통해 비디오 신호를 처리하는 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application