JP2015156700A - 空間変化残差符号化を行う方法および装置 - Google Patents

空間変化残差符号化を行う方法および装置 Download PDF

Info

Publication number
JP2015156700A
JP2015156700A JP2015082019A JP2015082019A JP2015156700A JP 2015156700 A JP2015156700 A JP 2015156700A JP 2015082019 A JP2015082019 A JP 2015082019A JP 2015082019 A JP2015082019 A JP 2015082019A JP 2015156700 A JP2015156700 A JP 2015156700A
Authority
JP
Japan
Prior art keywords
block
residual
decoding
encoding
transforms
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015082019A
Other languages
English (en)
Other versions
JP6425609B2 (ja
Inventor
ソレ,ジヨエル
Sole Joel
ルウ,シヤオアン
Xiaoan Lu
ジエン,ユンフエイ
Zheng Yunfei
イン,ペン
Peng Yin
シユイ,チエン
Yunfei Zheng
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=42665840&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2015156700(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2015156700A publication Critical patent/JP2015156700A/ja
Application granted granted Critical
Publication of JP6425609B2 publication Critical patent/JP6425609B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】空間変化残差符号化を行う方法および装置を提供する。【解決手段】装置は、ピクチャ内の少なくとも1つのブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する残差について空間変化符号化方法を選択することによって、ブロックのピクチャ・データを符号化するビデオ・エンコーダ300を含む。ブロックの一部分は、1つ又は複数の変換を使用して変換され、ブロックの残りの領域は、1つ又は複数の変換とは別の代替の符号化方法を使用して符号化されるか、あるいは符号化されない。【選択図】図3

Description

(関連出願の相互参照)
本願は、2009年7月6日出願の米国仮出願第61/223,277号(代理人整理番号第PU090058号)の利益を主張するものである。
本発明の原理は、一般に映像の符号化および復号に関し、より詳細には、空間変化残差符号化(Spatially Varying Residue Coding)を行う方法および装置に関する。
ブロックに基づく離散変換は、例えばJoint Photographic Experts Group、International Telecommunication Union、Telecommunication Sector(ITU−T)H.263勧告(以下「H.263勧告」)、International Organization for Standardization/International Electrotechnical Commission(ISO/IEC) Moving Picture Experts Group−1(MPEG−1)規格、ISO/IEC MPEG−2規格、ISO/IEC MPEG−4 Part 10 Advanced Video Coding(AVC)規格/ITU−T H.264勧告(以下「MPEG−4 AVC規格」)など、多くの画像およびビデオの圧縮規格の基本的な構成要素であり、幅広い範囲の応用分野で使用されている。
離散コサイン変換(DCT)は、最も広く使用されているブロック変換である。DCT方式は、ピクチャを複数のピクセル・ブロック(通常は4×4および8×8)に分割し、DCTを用いて各ブロックを空間領域から周波数領域に変換し、変換係数を量子化することによって、ピクチャの局所的な空間的相関特性を利用する。大抵の画像およびビデオの圧縮規格は、一定の2次元(2D)分離可能DCTブロック変換を使用する。複数のブロック・サイズ(通常は4×4ブロックから16×16ブロック)が許容される場合には、ブロックのサイズに対応するサイズを有するDCTを使用する。ただし、各ブロック・サイズ毎に変換は1つしか存在せず、ブロック内の全てのピクセルが、その変換で処理される。
例えばMPEG−4 AVC規格などの画像およびビデオの符号化規格では、各ブロック・サイズ毎に使用するブロック変換の選択肢は1つである。残差(すなわち予測誤差)を符号化する場合には、この符号化は、変換係数を介して実行される。全てのピクセルが変換される。図1を参照すると、MPEG−4 AVC規格のいくつかの変換サイズの全体が、参照番号100で示してある。図示の変換サイズ100では、8×8ブロック110が符号化される。8×8ブロック110は、4×4変換で変換される4つの4×4ブロック121から124に分割される。場合によっては、一部の4×4ブロックについては、変換係数を送信する必要がないこともある。例えば、図示の変換サイズ100では、3つの4×4ブロック121、122および123(斜線無しで示す)については残差(対応する係数で表される)が送信されず、残りの4×4ブロック124(斜線で示す)については残差が送信される。主な欠点は、変換の空間的サポートが一定であるので、残差の符号化の柔軟性がかなり低下する点である。
1つの従来技術の手法は、空間変化変換を提案することによって、残差符号化ステップにさらなる柔軟性を導入するものである。図2を参照すると、空間変化変換の全体が、参照番号200で示してある。この場合には、MPEG−4 AVC規格に従って残差を符号化することができるが、空間変化変換も許容されている。空間変化変換は、サブブロック210(斜線で示す)のみに適用され、残差のその他の部分は符号化されないままである。従って、N×Nブロック220のうちのM×M個のピクセルからなるサブブロック210が変換される。エンコーダは、M×Mサブブロック210の位置(すなわち位置xおよびy)を信号伝達しなければならない。しかし、この手法は、依然として柔軟性を欠いている。例えば、この手法は、ブロック220内に変換が1つしかないために柔軟性が欠けており、残差データの一部の符号化を行わず、また、画質を向上させるためのプレフィルタリングも行われない。
第2の従来技術の手法は、いわゆる適応型予測誤差符号化(APEC)技術を提案するものである。フレーム間残差は相関性が低く、DCTは相関性の高いデータにしか適切でない。従って、この第2の従来技術の手法は、空間領域および周波数領域において適応型予測誤差符号化を可能にすることを提案する。予測誤差の各ブロック毎に、変換符号化または空間領域符号化を適用する。レート/歪みコストが低い方のアルゴリズムを、当該ブロックに対して選択する。つまり、この第2の従来技術の手法は、ブロックの残差を符号化するために変換を使用するか否かを選択することを提案するものであるが、究極的には、エントロピ符号化の前に全てのピクセルを変換するか、あるいは全てのピクセルを空間領域で直接エントロピ符号化するかという2つの選択肢の一方のみが、各ブロックに適用される。
空間変化残差符号化を行う方法および装置を対象とする本発明の原理は、従来技術の上記およびその他の欠点および短所に対処するものである。
本発明の原理の1つの特徴によれば、装置が提供される。この装置は、ピクチャ内の少なくとも1つのブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する残差について空間変化符号化方法を選択することによって、前記ブロックのピクチャ・データを符号化するビデオ・エンコーダを含む。前記ブロックの一部分は、1つまたは複数の変換を使用して変換され、前記ブロックの残りの領域は、前記1つまたは複数の変換とは別の代替の符号化方法を使用して符号化されるか、あるいは符号化されない。
本発明の原理の別の特徴によれば、ビデオ・エンコーダにおける方法が提供される。この方法は、ピクチャ内の少なくとも1つのブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する残差について空間変化符号化方法を選択することによって、前記ブロックのピクチャ・データを符号化するステップを含む。前記ブロックの一部分は、1つまたは複数の変換を使用して変換され、前記ブロックの残りの領域は、前記1つまたは複数の変換とは別の代替の符号化方法を使用して符号化されるか、あるいは符号化されない。
本発明の原理のさらに別の特徴によれば、装置が提供される。この装置は、ピクチャ内の少なくとも1つのブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する残差について空間変化復号方法を選択することによって、前記ブロックのピクチャ・データを復号するビデオ・デコーダを含む。1つまたは複数の逆変換を使用して前記ブロックの一部分を逆変換し、前記1つまたは複数の逆変換とは別の代替の復号方法を使用して前記ブロックの残りの領域を復号する。
本発明の原理のさらに別の特徴によれば、ビデオ・デコーダにおける方法が提供される。この方法は、ピクチャ内の少なくとも1つのブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する残差について空間変化復号方法を選択することによって、前記ブロックのピクチャ・データを復号するステップを含む。1つまたは複数の逆変換を使用して前記ブロックの一部分を逆変換し、前記1つまたは複数の逆変換とは別の代替の復号方法を使用して前記ブロックの残りの領域を復号する(920)。
本発明の原理の追加の特徴によれば、装置が提供される。この装置は、多層残差符号化を用いてピクチャ内の少なくとも1つのブロックのピクチャ・データを符号化するビデオ・エンコーダを含む。前記ブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する元の残差を、第1の符号化方法を用いて符号化して、符号化された残差を得る。前記符号化された残差を前記元の残差から減算し、前記ブロックの一部分を第2の符号化方法を用いて符号化する。
本発明の原理の別の追加の特徴によれば、ビデオ・エンコーダにおける方法が提供される。この方法は、多層残差符号化を用いてピクチャ内の少なくとも1つのブロックのピクチャ・データを符号化するステップを含む。前記ブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する元の残差を、第1の符号化方法を用いて符号化して、符号化された残差を得る。前記符号化された残差を前記元の残差から減算し、前記ブロックの一部分を第2の符号化方法を用いて符号化する。
本発明の原理のさらに別の追加の特徴によれば、装置が提供される。この装置は、多層残差復号を用いてピクチャ内の少なくとも1つのブロックのピクチャ・データを復号するビデオ・デコーダを含む。前記ブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する元の残差を、第1の復号方法を用いて復号して、復号された残差を得る。前記復号された残差を前記元の残差から減算し、前記ブロックの一部分を第2の復号方法を用いて復号する。
本発明の原理のさらに別の追加の特徴によれば、ビデオ・デコーダにおける方法が提供される。この方法は、多層残差復号を用いてピクチャ内の少なくとも1つのブロックのピクチャ・データを復号するステップを含む。前記ブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する元の残差を、第1の復号方法を用いて復号して、復号された残差を得る。前記復号された残差を前記元の残差から減算し、前記ブロックの一部分を第2の復号方法を用いて復号する。
本発明の原理の上記およびその他の特徴、特性および利点は、以下の例示的な実施例の詳細な説明を、添付の図面と関連付けて読めば明らかになるであろう。
本発明の原理は、以下の例示的な図面によってよりよく理解することができる。
MPEG−4 AVC規格におけるいくつかの変換サイズを示す図である。 空間変化変換を示す図である。 本発明の原理の一実施例による、本発明の原理を適用することができる例示的なビデオ・エンコーダを示すブロック図である。 本発明の原理の一実施例による、本発明の原理を適用することができる例示的なビデオ・デコーダを示すブロック図である。 本発明の原理の一実施例による、空間変化残差符号化の一例を示す図である。 本発明の原理の一実施例による、2つの完全に重複する変換の組合せを用いる空間変化残差符号化の一例を示す図である。 本発明の原理の一実施例による、フィルタリングを用いる空間変化残差符号化の一例を示す図である。 本発明の原理の一実施例による、ブロック残差の空間変化符号化を実行する例示的な方法を示す流れ図である。 本発明の原理の一実施例による、ブロック残差の空間変化復号を実行する例示的な方法を示す流れ図である。 本発明の原理の一実施例による、ブロック残差の空間変化符号化を実行する別の例示的な方法を示す流れ図である。 本発明の原理の一実施例による、ブロック残差の空間変化復号を実行する別の例示的な方法を示す流れ図である。 本発明の原理の一実施例による、ブロック残差の空間変化符号化を実行するさらに別の例示的な方法を示す流れ図である。 本発明の原理の一実施例による、ブロック残差の空間変化復号を実行するさらに別の例示的な方法を示す流れ図である。
本発明の原理は、空間変化残差符号化を行う方法および装置を対象とする。
本明細書は、本発明の原理を例示するものである。従って、当業者なら、本明細書に明示的には記述または図示していなくても、本発明の原理を実現し、本発明の趣旨および範囲内に含まれる様々な構成を考案することができることを理解されたい。
本明細書に記載する全ての例および条件に関する表現は、本発明の原理と、当技術分野をさらに進歩させるために発明者が与える概念とを、読者が理解するのを助けるという教育的な目的を有するものであって、これらの具体的に記載した例および条件に限定されるわけではないものと解釈されたい。
さらに、本発明の原理、特徴および実施例、ならびに本発明の原理の具体的な例について本明細書に記載する全ての記述は、その構造的均等物および機能的均等物の両方を含むものとする。さらに、これらの均等物には、現在既知の均等物だけでなく、将来開発されるであろう均等物も含まれる、すなわち、その構造に関わらず、同じ機能を実行する、開発される任意の要素も含まれるものとする。
従って、例えば、当業者なら、本明細書に示すブロック図が本発明の原理を実施する例示的な回路の概念図を表していることを理解するであろう。同様に、任意のフローチャート、流れ図、状態遷移図、擬似コードなどが、コンピュータ可読媒体中に実質的に表現され、明示してある場合もしていない場合もあるコンピュータまたはプロセッサによって実質的に実行される様々なプロセスを表すことを理解されたい。
図面に示す様々な要素の機能は、専用のハードウェアを使用することによって、またソフトウェアを実行することができるハードウェアを適当なソフトウェアと関連付けて使用することによって、実現することができる。プロセッサによってそれらの機能を実現するときには、単一の専用プロセッサで実現することも、単一の共用プロセッサで実現することも、あるいはその一部を共用することもできる複数の個別プロセッサで実現することもできる。さらに、「プロセッサ」または「制御装置」という用語を明示的に用いていても、ソフトウェアを実行することができるハードウェアのみを指していると解釈すべきではなく、ディジタル信号プロセッサ(「DSP」)ハードウェア、ソフトウェアを記憶するための読取り専用メモリ(「ROM」)、ランダム・アクセス・メモリ(「RAM」)および不揮発性記憶装置(ただしこれらに限定されない)を暗に含むことがある。
従来の、且つ/または特注の、その他のハードウェアも含まれることがある。同様に、図面に示す任意のスイッチも、概念的なものに過ぎない。それらの機能は、プログラム論理の動作によっても、専用論理によっても、プログラム制御と専用論理の相互作用によっても、あるいは手作業でも実施することができ、開発者が、前後関係から適宜判断して特定の技術を選択することができる。
本明細書の特許請求の範囲において、特定の機能を実行する手段として表現されている任意の要素は、当該機能を実行する任意の方法を含むものとする。例えば、(a)当該機能を実行する回路素子の組合せや、(b)ファームウェアやマイクロコードなども含めた任意の形態のソフトウェアを、当該ソフトウェアを実行して当該機能を実行する適当な回路と組み合わせたものなども含むものとする。特許請求の範囲によって定義される本発明の原理は、記載した様々な手段が実施する機能を、特許請求の範囲が要求するかたちで組み合わせ、まとめることにある。従って、これらの機能を実施することができる任意の手段を、本明細書に示す手段の均等物とみなすものとする。
本明細書において、本発明の原理の「一実施例」または「実施例」あるいはその他の変形例と述べている場合、それは、当該実施例に関連して述べられる特定の特性、構造、特徴などが、本発明の原理の少なくとも1つの実施例に含まれるという意味である。従って、本明細書の様々な箇所に見られる「一実施例において」または「実施例において」という表現、あるいはその他の任意の変形表現は、その全てが必ずしも同じ実施例のことを指しているわけではない。
例えば「A/B」、「Aおよび/またはB」ならびに「AおよびBの少なくとも1つ」の場合など、「/」、「および/または」ならびに「の少なくとも1つ」の何れかを使用している場合、それは、1番目に挙げた選択肢(A)のみを選択すること、または2番目に挙げた選択肢(B)のみを選択すること、または両方の選択肢(AおよびB)を選択することを含むということであることを理解されたい。さらに別の例として、「A、Bおよび/またはC」ならびに「A、BおよびCの少なくとも1つ」の場合には、この表現は、1番目に挙げた選択肢(A)のみを選択すること、または2番目に挙げた選択肢(B)のみを選択すること、または3番目に挙げた選択肢(C)のみを選択すること、または1番目と2番目に挙げた選択肢(AおよびB)のみを選択すること、または1番目と3番目に挙げた選択肢(AおよびC)のみを選択すること、または2番目と3番目に挙げた選択肢(BおよびC)のみを選択すること、または3つ全ての選択肢(AおよびBおよびC)を選択することを含むということである。当技術分野および関連技術分野の当業者には容易に分かるように、この解釈は、列挙されている項目の数に応じて拡張することができる。
さらに、本明細書で使用する「ピクチャ」および「画像」という用語は入れ替えて使用してもよく、ビデオ・シーケンスに含まれる静止画像またはピクチャを指している。既知の通り、ピクチャは、フレームであってもフィールドであってもよい。
さらに、本明細書で使用する「信号伝達」という用語は、対応するデコーダに対して何かを示すことを指している。例えば、エンコーダは、エンコーダ側で具体的にどのパラメータが使用されたかがデコーダに分かるようにするために、空間変化残差符号化に関する1つまたは複数のパラメータを信号伝達することができる。このようにして、エンコーダ側とデコーダ側の両方で同じパラメータを使用することができる。従って、例えば、エンコーダは、デコーダに特定のパラメータを伝送して、デコーダが同じ特定のパラメータを使用することができるようにすることもできるし、あるいは、デコーダが既に当該特定のパラメータおよびその他のパラメータを有している場合には、信号伝達を(伝送は使用せずに)使用して、単に、デコーダが当該特定のパラメータを知り、これを選択することができるようにすることもできる。いかなるパラメータも実際に伝送することを避けることにより、ビット節約を実現することができる。信号伝達は、様々な方法で実施することができることを理解されたい。例えば、1つまたは複数のシンタックス要素やフラグなどを使用して、対応するデコーダに情報を信号伝達することができる。
図3を参照すると、本発明の原理を適用することができる例示的なビデオ・エンコーダの全体を、参照番号300で示してある。ビデオ・エンコーダ300は、結合器385の非反転入力と信号伝達している出力を有するフレーム順序付けバッファ310を含む。結合器385の出力は、変換器/量子化器325の入力、および空間変化技術モジュール311の入力に信号伝達で接続される。空間変化技術モジュール311の出力は、選択モジュール312の第1の入力に信号伝達で接続される。変換器/量子化器325の出力は、選択モジュール312の第2の入力に信号伝達で接続される。選択モジュール312の出力は、エントロピ・コーダ345の第1の入力、逆空間変化技術モジュール313の第1の入力、および逆変換器/逆量子化器350の第1の入力に信号伝達で接続される。エントロピ・コーダ345の出力は、結合器390の第1の非反転入力に信号伝達で接続される。結合器390の出力は、出力バッファ335の第1の入力に信号伝達で接続される。
エンコーダ制御装置305の第1の出力は、フレーム順序付けバッファ310の第2の入力、逆空間変化技術モジュール313の第2の入力、逆変換器/逆量子化器350の第2の入力、ピクチャ・タイプ判断モジュール315の入力、マクロブロック・タイプ(MBタイプ)判断モジュール320の第1の入力、イントラ予測モジュール360の第2の入力、デブロッキング・フィルタ365の第2の入力、動き補償器370の第1の入力、動き推定器375の第1の入力、および参照ピクチャ・バッファ380の第2の入力に信号伝達で接続される。
エンコーダ制御装置305の第2の出力は、付加拡張情報(SEI)挿入器330の第1の入力、エントロピ・コーダ345の第2の入力、出力バッファ335の第2の入力、およびシーケンス・パラメータ・セット(SPS)/ピクチャ・パラメータ・セット(PPS)挿入器340の入力に信号伝達で接続される。
SEI挿入器330の出力は、結合器390の第2の非反転入力に信号伝達で接続される。
ピクチャ・タイプ判断モジュール315の第1の出力は、フレーム順序付けバッファ310の第3の入力に信号伝達で接続される。ピクチャ・タイプ判断モジュール315の第2の出力は、マクロブロック・タイプ判断モジュール320の第2の入力に信号伝達で接続される。
シーケンス・パラメータ・セット(SPS)/ピクチャ・パラメータ・セット(PPS)挿入器340の出力は、結合器390の第3の非反転入力に信号伝達で接続される。
逆量子化器/逆変換器350の出力および逆空間変化技術モジュール313の出力は、結合器319の第1の非反転入力に信号伝達で接続される。結合器319の出力は、イントラ予測モジュール360の第1の入力およびデブロッキング・フィルタ365の第1の入力に信号伝達で接続される。デブロッキング・フィルタ365の出力は、参照ピクチャ・バッファ380の第1の入力に信号伝達で接続される。参照ピクチャ・バッファ380の出力は、動き推定器375の第2の入力および動き補償器370の第3の入力に信号伝達で接続される。動き推定器375の第1の出力は、動き補償器370の第2の入力に信号伝達で接続される。動き推定器375の第2の出力は、エントロピ・コーダ345の第3の入力に信号伝達で接続される。
動き補償器370の出力は、スイッチ397の第1の入力に信号伝達で接続される。イントラ予測モジュール360の出力は、スイッチ397の第2の入力に信号伝達で接続される。マクロブロック・タイプ判断モジュール320の出力は、スイッチ397の第3の入力に信号伝達で接続される。スイッチ397の第3の入力は、スイッチの「データ」入力(「データ」入力とは、制御入力すなわち第3の入力に対する呼称)が、動き補償器370またはイントラ予測モジュール360によって与えられるか否かを判定する。スイッチ397の出力は、結合器319の第2の非反転入力および結合器385の反転入力に信号伝達で接続される。
フレーム順序付けバッファ310の第1の入力およびエンコーダ制御装置305の入力は、入力ピクチャ301を受信するための、エンコーダ300の入力として利用することができる。さらに、付加拡張情報(SEI)挿入器330の第2の入力は、メタデータを受信するための、エンコーダ300の入力として利用することができる。出力バッファ335の出力は、ビットストリームを出力するための、エンコーダ300の出力として利用することができる。
図4を参照すると、本発明の原理を適用することができる例示的なビデオ・デコーダの全体を、参照番号400で示してある。ビデオ・デコーダ400は、エントロピ・デコーダ445の第1の入力に信号伝達で接続された出力を有する入力バッファ410を含む。エントロピ・デコーダ445の第1の出力は、セレクタ412の入力に信号伝達で接続される。セレクタ412の出力は、逆変換器/逆量子化器450の第1の入力および逆空間変化技術モジュール413の第1の入力に信号伝達で接続される。逆変換器/逆量子化器450の出力および逆空間変化技術モジュール413の出力は、結合器425の第2の非反転入力に信号伝達で接続される。結合器425の出力は、デブロッキング・フィルタ465の第2の入力およびイントラ予測モジュール460の第1の入力に信号伝達で接続される。デブロッキング・フィルタ465の第2の出力は、参照ピクチャ・バッファ480の第1の入力に信号伝達で接続される。参照ピクチャ・バッファ480の出力は、動き補償器470の第2の入力に信号伝達で接続される。
エントロピ・デコーダ445の第2の出力は、動き補償器470の第3の入力、デブロッキング・フィルタ465の第1の入力、およびイントラ予測器460の第3の入力に信号伝達で接続される。エントロピ・デコーダ445の第3の出力は、デコーダ制御装置405の入力に信号伝達で接続される。デコーダ制御装置405の第1の出力は、エントロピ・デコーダ445の第2の入力に信号伝達で接続される。デコーダ制御装置405の第2の出力は、逆変換器/逆量子化器450の第2の入力に信号伝達で接続される。デコーダ制御装置405の第3の出力は、デブロッキング・フィルタ465の第3の入力に信号伝達で接続される。デコーダ制御装置405の第4の出力は、イントラ予測モジュール460の第2の入力、動き補償器470の第1の入力、および参照ピクチャ・バッファ480の第2の入力に信号伝達で接続される。デコーダ制御装置405の第5の出力は、逆空間変化技術モジュール413の第2の入力に信号伝達で接続される。
動き補償器470の出力は、スイッチ497の第1の入力に信号伝達で接続される。イントラ予測モジュール460の出力は、スイッチ497の第2の入力に信号伝達で接続される。エントロピ・デコーダ445の第4の出力は、スイッチ497の第3の入力に信号伝達で接続される。スイッチ497の第3の入力は、スイッチの「データ」入力(「データ」入力とは、制御入力すなわち第3の入力に対する呼称)が、動き補償器470またはイントラ予測モジュール460によって与えられるか否かを判定する。スイッチ497の出力は、結合器425の第1の非反転入力に信号伝達で接続される。
入力バッファ410の入力は、入力ビットストリームを受信するための、デコーダ400の入力として利用することができる。デブロッキング・フィルタ465の第1の出力は、出力ピクチャを出力するための、デコーダ400の出力として利用することができる。
現在の大抵のビデオ符号化規格では、空間領域の残差の相関を効率的に低減させるために変換を利用している。変換のサイズは、通常は、予測データのサイズによって決まる。また、変換符号化は、残差の変化する特徴を扱うためのその他の符号化技術と組み合わされない。これらの方式では、ブロック・サイズ毎に変換が1つしかなく、ブロック内の全てのピクセルがその変換で処理されるので、制限がある。画像およびビデオ・コンテンツ・データの統計および性質は変化する。従って、各ブロックで複数の変換を使用し、一部の残差データの圧縮にその他の技術を使用できるようにすれば、圧縮利得がある可能性がある。発明者等は、この非効率性を認識し、そのため、本発明の原理によって、1つのブロックで複数の変換を同時に併用するとともに、変換しない残差データの符号化にその他の技術を使用することを可能にする方法および装置を提案する。好ましい実施例では、発明者等は、プレフィルタリングおよびポストフィルタリング技術を使用して画質および効率を改善することにより、この手法を強化する。従って、1つまたは複数の実施例では、本発明の原理は、残差の空間変化変換および符号化方法と相補的なフィルタリング技術とを使用して、画像およびビデオ・データの効率および画質を改善する。
残差符号化の空間変化技術
ビデオ符号化技術は、より高い表示解像度および高精細度(HD)コンテンツの使用が増えていることによる要件を満たすようになってきている。高精細度コンテンツ符号化の効率の点では、ブロック単位が大きい方が有利である。従って、予測単位およびその結果生じる残差変換が大きくなる。通常は、ブロック・サイズは、4×4または8×8ブロックから32×32または64×64ブロックに拡大される。128×128ピクセルという大きさの符号化単位を用いる提案もある。
一方で、予測技術は急速に改良が進んでおり、残差データが、従来のビデオ符号化規格とは全く異なる低い空間的相関およびスパーシティ(sparsity:希薄)特性を有するようになってきている。
この2つの傾向(単位が大きくなっていること、および予測が改良されてきていること)の結果として、DCT手法は、残差符号化を適切に扱うことができなくなっている。残差の空間的変動制に適応することができる新たな技術が必要とされている。
本発明の原理によれば、発明者等は、1つのブロックの残差を符号化するために様々な変換およびその他の技術を組み合わせることを提案する。このようにすると、残差データのいくつかの部分で観察される空間的相関を利用すると同時に、同じブロックの残差のその他の部分で観察されるスパーシティも利用することができる。本発明の原理は、小さいブロックを用いる既存のビデオ符号化規格、勧告およびそれらの拡張だけでなく、より大きなブロックおよび改良された予測方法を用いる新たなコーデック・パラダイムにも適していることを理解されたい。すなわち、本発明の原理は、任意のブロック・サイズを用いるビデオ符号化規格、勧告およびそれらの拡張に適用することができる。
図5を参照すると、空間変化残差符号化の一例の全体を、参照番号500で示してある。空間変化残差符号化500は、ブロック505を形成するNピクセル×Nピクセルのピクチャ・データを含む。ブロック505は、1つまたは複数の変換を用いて符号化されるが、これらの変換は、必ずしもブロック505の全体をカバーするとは限らない。例えば、ブロック505内のサブブロック511から513(斜線で示す)は、このブロックをカバーしていない。サブブロック511から513は、上記の1つまたは複数の変換によって符号化される。次いで、残りの残差(斜線が施されていない背景)が、別の方法で符号化される。この別の方法(以下、「背景方法」と呼ぶ)は、例えば、上述の第2の従来技術の手法に対応する空間領域符号化であってもよいし、あるいは、当技術分野および関連技術分野の当業者には既知のその他の何らかの代替方法を用いるものであってもよい。別の実施例では、背景方法は、レンペル・ジフ方法であってもよいし、あるいは、マルチスケール回帰パターン、または適応型確率モデルを用いたマルチスケール回帰パターン、またはベクトル量子化などを用いるものであってもよい。本明細書に与える本発明の原理の教示があれば、当技術分野および関連技術分野の当業者なら、残りの残差を符号化する上記およびその他の多くの選択肢を企図できることを理解されたい。さらに、上記の(背景)方法の2つ以上を組み合わせて、残りの残差を符号化することもできることも理解されたい。最後に、エンコーダは、「従来の」変換方式を使用するか、提案する空間変化技術を使用するかを選択することができ、そのため、エンコーダは、ブロック全体に対して変換を使用する選択肢を保持しながら、この新たな技術を利することもできる(後者は、全てではないが多くの状況でうまくいくことが分かっている)。
この状況で、エンコーダは、変換の数、それらのサイズおよび位置を示し、また残りの残差を符号化するために選択された背景方法が何であるかを示さなければならない。これらのパラメータは、例えばシーケンス・レベル、フレーム・レベル、スライス・レベル、および/またはその他の何らかのレベルで、意図的に固定することができ、従って、これらのパラメータの一部または全てを必ずしもその都度示す必要がないこともある。
ブロック内の変換のセットの位置は、適応的にすることができる。一実施例では、エンコーダは、各変換の位置を明示的に示す。送信するパラメータとしては、例えば、(1)各変換のxおよびy、(2)以前の変換に対するxおよびy、または(3)(相対)位置の角度や係数など、xおよびyと等価なその他の値などが挙げられるが、これらに限定されるわけではない。もちろん、本明細書に与える本発明の原理の教示があれば、当技術分野および関連技術分野の当業者なら、本発明の原理の趣旨および範囲を維持しながら、本発明の原理によって送信することができる上記およびその他のパラメータを企図できるであろう。
別の実施例では、デコーダは、以前に再構築したデータおよび符号化における諸選択から、(少なくとも一部の)変換の位置を推定する。例えば、変換の位置および数は、以前のブロックの予測データ、予測モード、以前の残差または動きベクトルなど(ただしこれらに限定されない)によって決まることがある。選択は、エンコーダおよびデコーダの両方で利用可能なデータによって決まるので、それらは同じ判断を下すことができ、従って、同期することができる(従ってこれを支援する付加情報を送信する必要がなくなる)。
一般に、提案する方法は、変換が互いに重複しないときにより高い利得をもたらすことができるが、状況によっては、この重複が性能に利することもある。1つまたは複数の実施例では、提案する方法は、変換の位置および背景方法を制限しない、すなわちこれらが重複することができる。
この点から、多層残差符号化を用いる別の実施例が得られる。図6を参照すると、完全に重複する2つの変換の組合せを用いる空間変化残差符号化の一例の全体が、参照番号600で示してある。この場合には、最初に、残差を1つの方法で符号化する。次いで、この符号化された残差を、元の残差から減算する。その後、残りの残差を、別の方法で符号化する。この方法のよい例を、以下に挙げる。
1.当該変換手法を用いてブロック(N×N)610を符号化する。
2.当該変換の最大の低周波係数のみを保持する。
3.符号化された残差を元の残差から減算する。
4.別の変換を用いて(1つまたは複数の)サブブロック(例えば斜線で示すM×Mサブブロック620)を符号化する。
この多層残差符号化方法は、2レイヤの残差を使用し、空間的に変化する。第1の層は、ブロック610全体の残差の広範な記述を与える。第2の層は、符号化が特に困難な領域または関心領域(例えばサブブロック620)に焦点を当てることができるので、第2の層は、当該特定領域に関して第1の層を洗練することができる。この手法は、スケーラブル・ビデオ符号化(SVC)の信号対雑音比(SNR)のスケーラビリティに容易に拡張することができる。
これは、単なる例に過ぎない。従って、本発明の原理は、このような2つ(またはそれ以上)のレイヤが変換符号化に依拠している場合に限定されるわけではないことを理解されたい。例えば、第2のレイヤは、空間領域手法を用いて符号化することもできる。上記およびその他の変形例は、本明細書に与える本発明の原理の教示があれば、当技術分野および関連技術分野の当業者によって容易に企図される。
残差符号化の空間変化技術のためのフィルタリング
空間変化技術では、近接するデータが様々な方法または変換を用いて再構築されることになるので、多くのビデオ符号化規格で見られるブロッキング・アーティファクトなどのようなアーティファクトが境界に沿って生じる可能性がある。アーティファクトは、フィルタリングを行えば低減または除去することができる。このフィルタリングは、デブロッキング・フィルタ、低域通過フィルタ、非線形フィルタ、ラップ変換(lapped transform)などとすることができる。変換のタイプおよびサイズ、量子化レベル、ならびにその他の符号化パラメータによって、このフィルタリングの最良の選択肢が決定される。
図7を参照すると、フィルタリングを用いる空間変化残差符号化の一例の全体が、参照番号700で示してある。図示のように、ブロック705内の境界(例えばサブブロックの境界)を横切るフィルタリングを実行することができる。フィルタリングは、隣接する領域に応じて異なったものとすることができる。例えば、2つの変換サブブロック711と712(斜線で示す)の間(図7では白矢印)ではデブロッキング・フィルタを使用することができ、変換サブブロック711および712(斜線で示す)と背景方法で符号化されるそれらの隣接領域(無地で示す)との間(図7では黒矢印)では低域通過フィルタリングを使用することができる。
一実施例では、これらのフィルタは全て、ブロックの再構築後に適用される。しかし、別の実施例では、空間変化技術で符号化する前にデータをプレフィルタリングするという代替方法がある。この場合には、最初に、異なる技術で符号化する領域間にフィルタを適用し、その後、このフィルタリング済みの残差を符号化する。
デコーダでは、逆の処理を適用する。最初に、空間変化方法を使用して残差を復号し、次いで、上記の領域間で逆フィルタリングを適用する。
このようなフィルタの一例は、以下の線形フィルタFである。
Figure 2015156700

ここで、a、b、c、dは、フィルタのパラメータである。これは、境界の4つのピクセルに適用される1D線形フィルタであり、2つは当該領域範囲の一方側にあり、2つは他方側にある。もちろん、本発明の原理は、上記のフィルタのみに限定されるわけではなく、従って、本発明の原理によれば、本発明の原理の趣旨および範囲を維持しながら、非線形フィルタ、適応型フィルタ、2Dフィルタ、およびその他の多くの様々なフィルタを利用することができることを理解されたい。
デコーダ側では、逆フィルタF-1が適用される。
つまり、1つまたは複数の実施例では、発明者等は、残差符号化のための空間変化技術と連動するフィルタリングを提案する。一実施例では、(残差符号化の前に)プレフィルタを使用する。別の実施例では、(残差符号化の後で)ポストフィルタを使用する。さらに別の実施例では、プレフィルタおよびポストフィルタの両方を使用する。
図8を参照すると、ブロック残差の空間変化符号化を実行する例示的な方法の全体が、参照番号800で示してある。方法800は、制御を機能ブロック810に渡す開始ブロック805を含む。機能ブロック810では、サイズN×Nのブロック残差データを入力し、制御を機能ブロック815および機能ブロック820に渡す。機能ブロック815では、サイズN×Nの変換をブロック残差データに適用し、制御を機能ブロック825に渡す。機能ブロック825では、(サイズN×Nの変換を適用した結果に基づいて)レート/歪み解析を実行し、制御を機能ブロック835に渡す。機能ブロック820では、サイズMk×MkのK個の変換および背景方法をブロック残差データに適用し、制御を機能ブロック823に渡す。機能ブロック823では、ブロックの複数の部分に渡って異なる変換または方法を用いてフィルタリングを行い、制御を機能ブロック830に渡す。機能ブロック830では、(サイズMk×MkのK個の変換および背景方法を適用した結果に基づいて)レート/歪み解析を実行し、制御を機能ブロック835に渡す。
機能ブロック835では、機能ブロック825および830で実行されたそれぞれのレート/歪み解析のそれぞれの結果を相互に比較し、この比較の結果に基づいて適用する変換を選択し、選択した変換を適用して残差を符号化し、制御を機能ブロック840に渡す。機能ブロック840では、選択した変換および符号化された残差を出力し、制御を終了ブロック899に渡す。
図9を参照すると、ブロック残差の空間変化復号を実行する例示的な方法の全体が、参照番号900で示してある。方法900は、制御を機能ブロック910に渡す開始ブロック905を含む。機能ブロック910では、符号化された残差を入力し、制御を判断ブロック915に渡す。判断ブロック915では、空間変化残差復号を実行するか否かを判定する(これはエンコーダが行ったことに応じて行う、すなわちエンコーダで下された判断を復号する)。実行する場合には、制御は、機能ブロック920に渡される。そうでない場合には、制御は、機能ブロック925に渡される。機能ブロック920では、符号化された残差に、サイズMk×MkのK個の逆変換および逆背景方法を適用し、制御を機能ブロック923に渡す。機能ブロック923では、ブロックの複数の部分に渡って異なる変換または方法を用いてフィルタリングを行い、制御を機能ブロック925に渡す。機能ブロック925では、符号化された残差に逆N×N変換を適用し、制御を機能ブロック930に渡す。機能ブロック930では、その結果得られた残差データを出力し、制御を終了ブロック999に渡す。
図10を参照すると、ブロック残差の空間変化符号化を実行する別の例示的な方法の全体が、参照番号1000で示してある。方法1000は、制御を機能ブロック1010に渡す開始ブロック1005を含む。機能ブロック1010では、サイズN×Nのブロック残差データを入力し、制御を機能ブロック1020および機能ブロック1040に渡す。機能ブロック1020では、サイズN×Nの変換を適用し、制御を機能ブロック1025に渡す。機能ブロック1025では、符号化された残差を元の残差から減算し、制御を機能ブロック1030に渡す。機能ブロック1030では、サイズM×MのM×M変換を適用し、制御を機能ブロック1050に渡す。機能ブロック1050では、(サイズM×Mの変換を適用した結果に基づいて)レート/歪み解析を実行し、制御を機能ブロック1060に渡す。機能ブロック1040では、マルチスケール回帰パターン方法に基づいてサイズM×Mの変換および背景方法を適用し、制御を機能ブロック1045に渡す。機能ブロック1045では、変換のサイズMおよび位置を送信し、制御を機能ブロック1055に渡す。機能ブロック1055では、(サイズM×Mの変換を適用した結果に基づいて)レート/歪み解析を実行し、制御を機能ブロック1060に渡す。機能ブロック1060では、これらのレート/歪み解析の結果を比較し、この比較の結果に基づいて変換を選択し、選択した変換を適用し、制御を機能ブロック1065に渡す。機能ブロック1065では、符号化における選択および符号化された残差を出力し、制御を機能ブロック1099に渡す。
図11を参照すると、ブロック残差の空間変化復号を実行する別の例示的な方法の全体が、参照番号1100で示してある。方法1100は、制御を機能ブロック1110に渡す開始ブロック1105を含む。機能ブロック1110では、符号化された残差を入力し、制御を判断ブロック1115に渡す。判断ブロック1115では、多層復号方法を使用するか否かを判定する。使用する場合には、制御は、機能ブロック1130に渡される。そうでない場合には、制御は、機能ブロック1150に渡される。機能ブロック1130では、変換のサイズMおよび位置を復号し、制御を機能ブロック1140に渡す。機能ブロック1140では、マルチスケール回帰パターン方法に基づいて逆M×M変換および背景方法を適用し、制御を機能ブロック1170に渡す。機能ブロック1150では、サイズM×Mの逆変換を適用し、制御を機能ブロック1155に渡す。機能ブロック1155では、サイズN×Nの逆変換を適用し、制御を機能ブロック1160に渡す。機能ブロック1160では、N×N変換およびM×M変換で得られた残差を加算し、制御を機能ブロック1170に渡す。機能ブロック1170では、符号化された残差を出力し、制御を終了ブロック1199に渡す。
図12を参照すると、ブロック残差の空間変化符号化を実行するさらに別の例示的な方法の全体が、参照番号1200で示してある。方法1200は、制御を機能ブロック1205に渡す開始ブロック1202を含む。機能ブロック1205では、元の残差に対応するサイズN×Nのブロック残差データを入力し、制御を機能ブロック1210に渡す。機能ブロック1210では、(元の残差に)N×N変換を適用して(符号化された残差を得)、制御を機能ブロック1215に渡す。機能ブロック1215では、符号化された残差を元の残差から減算し、制御を機能ブロック1220および機能ブロック1230に渡す。機能ブロック1220では、ブロックの一部分に背景方法を適用し、制御を機能ブロック1225に渡す。機能ブロック1225では、(ブロックの一部分に背景方法を適用した結果に基づいて)レート/歪み解析を実行し、制御を機能ブロック1255に渡す。
機能ブロック1230では、マルチスケール回帰パターン方法に基づいてM×M変換および背景方法を適用し、制御を機能ブロック1235に渡す。機能ブロック1235では、変換のサイズMおよび位置を送信し、制御を機能ブロック1240に渡す。機能ブロック1240では、(M×M変換および背景方法を適用した結果に基づいて)レート/歪み解析を実行し、制御を機能ブロック1255に渡す。
機能ブロック1255では、これらのレート/歪み解析の結果を比較し、この比較の結果に基づいて変換を選択し、選択した変換を適用し、制御を機能ブロック1260に渡す。機能ブロック1260では、符号化における選択および符号化された残差を出力し、制御を終了ブロック1299に渡す。
図13を参照すると、ブロック残差の空間変化復号を実行するさらに別の例示的な方法の全体が、参照番号1300で示してある。方法1300は、制御を機能ブロック1310に渡す開始ブロック1305を含む。機能ブロック1310では、符号化された残差を入力し、制御を判断ブロック1315に渡す。判断ブロック1315では、サイズMの逆変換を適用するか否かを判定する。適用する場合には、制御は、機能ブロック1320に渡される。そうでない場合には、制御は、機能ブロック1330に渡される。機能ブロック1320では、変換のサイズMおよび位置を復号し、制御を機能ブロック1325に渡す。機能ブロック1325では、マルチスケール回帰パターン方法に基づいて逆M×M変換および背景方法を適用し、制御を機能ブロック1335に渡す。機能ブロック1330では、ブロックの一部分に逆背景方法を適用し、制御を機能ブロック1335に渡す。機能ブロック1335では、逆N×N変換を適用し、制御を機能ブロック1340に渡す。機能ブロック1340では、残差を加算し、制御を機能ブロック1345に渡す。機能ブロック1345では、復号された残差を出力し、制御を終了ブロック1399に渡す。
以下、一部については既に上述した、本発明の数多くの付随的な利点/特性のうちのいくつかについて説明する。例えば、1つの利点/特性は、ピクチャ内の少なくとも1つのブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する残差について空間変化符号化方法を選択することによって、前記ブロックのピクチャ・データを符号化するビデオ・エンコーダを有する装置であって、前記ブロックの一部分が、1つまたは複数の変換を使用して変換され、前記ブロックの残りの領域が、前記1つまたは複数の変換とは別の代替の符号化方法を使用して符号化される、または符号化されない、装置である。
別の利点/特性は、前記空間変化符号化方法が多層残差符号化で使用される、上記のビデオ・エンコーダを有する装置である。
さらに別の利点/特性は、1つまたは複数のフィルタを使用して前記残差をフィルタリングして、前記残差内の符号化アーティファクトを低減または除去する、上記のビデオ・エンコーダを有する装置である。
さらに別の利点/特性は、1つまたは複数のフィルタを使用して前記残差をフィルタリングして、前記残差内の符号化アーティファクトを低減または除去する上記のビデオ・エンコーダを有する装置であって、前記1つまたは複数のフィルタが、1つまたは複数の前処理フィルタとして、1つまたは複数の後処理フィルタとして、あるいは1つまたは複数の前処理フィルタおよび1つまたは複数の後処理フィルタの組合せとして構成される装置である。
さらに、別の利点/特性は、前記代替の符号化方法が、非変換型符号化方法、レンペル・ジフ方法、マルチスケール回帰パターン方法、適応型確率モデルを用いるマルチスケール回帰方法、およびベクトル量子化方法のうちの少なくとも1つを含む、上記のビデオ・エンコーダを有する装置である。
さらに、別の利点/特性は、前記空間変化符号化方法のパラメータの少なくとも1つのサブセットが、対応するデコーダに伝送され、前記パラメータが、適用される前記1つまたは複数の変換の数、前記1つまたは複数の変換のサイズ、前記1つまたは複数の変換の位置、および前記代替の符号化方法のうちの少なくとも1つを含む、上記のビデオ・エンコーダを有する装置である。
また、別の利点/特性は、前記空間変化符号化方法のパラメータの少なくとも1つのサブセットが、対応するデコーダに伝送され、前記パラメータが、適用される前記1つまたは複数の変換の数、前記1つまたは複数の変換のサイズ、前記1つまたは複数の変換の位置、および前記代替の符号化方法のうちの少なくとも1つを含む、上記のビデオ・エンコーダを有する装置であって、前記サブセット内の残りのパラメータが一定であり、前記エンコーダおよび前記対応するデコーダに既知である装置である。
本発明の原理の上記およびその他の特性および利点は、本明細書の教示に基づいて、当業者であれば容易に確認することができる。本発明の原理の教示は、ハードウェア、ソフトウェア、ファームウェア、特殊目的プロセッサ、またはそれらの組合せの様々な形態で実施することができることを理解されたい。
本発明の原理の教示は、ハードウェアとソフトウェアの組合せとして実施されることが最も好ましい。さらに、ソフトウェアは、プログラム記憶装置に有形に実施されたアプリケーション・プログラムとして実施することができる。アプリケーション・プログラムは、任意の適当なアーキテクチャを備える機械にアップロードして実行することができる。この機械は、1つまたは複数の中央処理装置(「CPU」)、ランダム・アクセス・メモリ(「RAM」)および入出力(「I/O」)インタフェースなどのハードウェアを有するコンピュータ・プラットフォームで実施されることが好ましい。コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロ命令コードを含むこともできる。本明細書に記載する様々なプロセスおよび機能は、CPUによって実行することができる、マイクロ命令コードの一部またはアプリケーション・プログラムの一部あるいはそれらの任意の組合せの何れかにすることができる。さらに、追加のデータ記憶装置や印刷装置など、その他の様々な周辺装置をコンピュータ・プラットフォームに接続することができる。
さらに、添付の図面に示す構成成分のシステム構成要素および方法の一部はソフトウェアで実施することが好ましいので、システム構成要素間またはプロセス機能ブロック間の実際の接続は、本発明の原理をプログラミングする方法によって異なっていてもよいことを理解されたい。本明細書の教示があれば、当業者なら、本発明の原理の上記の実施態様または構成およびそれと同様の実施態様または構成を思いつくことができるであろう。
本明細書では、添付の図面を参照して例示的な実施例について述べたが、本発明の原理は、これらの具体的な実施例に限定されるわけではなく、当業者なら、本発明の原理の範囲または趣旨から逸脱することなく様々な変更および修正をそれらの実施例に加えることができることを理解されたい。そうした変更および修正は全て、添付の特許請求の範囲に記載する本発明の原理の範囲内に含まれるものとする。
本明細書では、添付の図面を参照して例示的な実施例について述べたが、本発明の原理は、これらの具体的な実施例に限定されるわけではなく、当業者なら、本発明の原理の範囲または趣旨から逸脱することなく様々な変更および修正をそれらの実施例に加えることができることを理解されたい。そうした変更および修正は全て、添付の特許請求の範囲に記載する本発明の原理の範囲内に含まれるものとする。
本発明は以下の態様を含む。
(付記1)
ピクチャ内のブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する残差について空間変化符号化方法を選択することによって、前記ブロックのピクチャ・データを符号化するビデオ・エンコーダ(300)を含む装置であって、
1つまたは複数の変換を使用して前記ブロックの一部分を変換し、前記1つまたは複数の変換とは別の代替の符号化方法を使用して前記ブロックの残りの領域を符号化する、前記装置。
(付記2)
前記空間変化符号化方法が、多層残差符号化で使用される、付記1に記載の装置。
(付記3)
1つまたは複数のフィルタを使用して前記残差をフィルタリングして、前記残差内の符号化アーティファクトを低減または除去する、付記1に記載の装置。
(付記4)
前記1つまたは複数のフィルタが、1つまたは複数の前処理フィルタとして、1つまたは複数の後処理フィルタとして、あるいは1つまたは複数の前処理フィルタおよび1つまたは複数の後処理フィルタの組合せとして構成される、付記3に記載の装置。
(付記5)
前記代替の符号化方法が、非変換型符号化方法、レンペル・ジフ方法、マルチスケール回帰パターン方法、適応型確率モデルを用いるマルチスケール回帰方法、およびベクトル量子化方法のうちの少なくとも1つを含む、付記1に記載の装置。
(付記6)
前記空間変化符号化方法のパラメータの少なくとも1つのサブセットが、対応するデコーダに伝送され、前記パラメータが、適用される前記1つまたは複数の変換の数、前記1つまたは複数の変換のサイズ、前記1つまたは複数の変換の位置、および前記代替の符号化方法のうちの少なくとも1つを含む、付記1に記載の装置。
(付記7)
前記サブセット内の残りのパラメータが一定であり、前記エンコーダおよび前記対応するデコーダに既知である、付記6に記載の装置。
(付記8)
ビデオ・エンコーダにおいて、ピクチャ内のブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する残差について空間変化符号化方法を選択することによって、前記ブロックのピクチャ・データを符号化するステップを含む方法であって、
1つまたは複数の変換を使用して前記ブロックの一部分を変換し、前記1つまたは複数の変換とは別の代替の符号化方法を使用して前記ブロックの残りの領域を符号化する(820)、前記方法。
(付記9)
前記空間変化符号化方法が、多層残差符号化で使用される(1020、1025、1030)、付記8に記載の方法。
(付記10)
1つまたは複数のフィルタを使用して前記残差をフィルタリングして、前記残差内の符号化アーティファクトを低減または除去する(823)、付記8に記載の方法。
(付記11)
前記1つまたは複数のフィルタが、1つまたは複数の前処理フィルタとして、1つまたは複数の後処理フィルタとして、あるいは1つまたは複数の前処理フィルタおよび1つまたは複数の後処理フィルタの組合せとして構成される(823)、付記10に記載の方法。
(付記12)
前記代替の符号化方法が、非変換型符号化方法、レンペル・ジフ方法、マルチスケール回帰パターン方法、適応型確率モデルを用いるマルチスケール回帰方法、およびベクトル量子化方法のうちの少なくとも1つを含む(1040)、付記8に記載の方法。
(付記13)
前記空間変化符号化方法のパラメータの少なくとも1つのサブセットが、対応するデコーダに伝送され、前記パラメータが、適用される前記1つまたは複数の変換の数、前記1つまたは複数の変換のサイズ、前記1つまたは複数の変換の位置、および前記代替の方法のうちの少なくとも1つを含む(1045)、付記8に記載の方法。
(付記14)
前記サブセット内の残りのパラメータが一定であり、前記エンコーダおよび前記対応するデコーダに既知である(820)、付記13に記載の方法。
(付記15)
ピクチャ内のブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する残差について空間変化復号方法を選択することによって、前記ブロックのピクチャ・データを復号するビデオ・デコーダ(400)を含む装置であって、
1つまたは複数の逆変換を使用して前記ブロックの一部分を逆変換し、前記1つまたは複数の逆変換とは別の代替の復号方法を使用して前記ブロックの残りの領域を復号する、前記装置。
(付記16)
前記空間変化復号方法が、多層残差復号で使用される、付記15に記載の装置。
(付記17)
1つまたは複数のフィルタを使用して前記残差をフィルタリングして、前記残差内の符号化アーティファクトを低減または除去する、付記15に記載の装置。
(付記18)
前記1つまたは複数のフィルタが、1つまたは複数の前処理フィルタとして、1つまたは複数の後処理フィルタとして、あるいは1つまたは複数の前処理フィルタおよび1つまたは複数の後処理フィルタの組合せとして構成される、付記17に記載の装置。
(付記19)
前記代替の復号方法が、非変換型復号方法、レンペル・ジフ方法、マルチスケール回帰パターン方法、適応型確率モデルを用いるマルチスケール回帰方法、およびベクトル量子化方法のうちの少なくとも1つを含む、付記15に記載の装置。
(付記20)
前記空間変化復号方法のパラメータの少なくとも1つのサブセットが、前記デコーダによって受信され、前記パラメータが、適用される前記1つまたは複数の変換の数、前記1つまたは複数の変換のサイズ、前記1つまたは複数の変換の位置、および前記代替の復号方法のうちの少なくとも1つを含む、付記15に記載の装置。
(付記21)
前記サブセット内の残りのパラメータが一定であり、前記デコーダおよび対応するエンコーダに既知である、付記20に記載の装置。
(付記22)
ビデオ・デコーダにおいて、ピクチャ内のブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する残差について空間変化復号方法を選択することによって、前記ブロックのピクチャ・データを復号するステップを含む方法であって、
1つまたは複数の逆変換を使用して前記ブロックの一部分を逆変換し、前記1つまたは複数の逆変換とは別の代替の復号方法を使用して前記ブロックの残りの領域を復号する(920)、前記方法。
(付記23)
前記空間変化復号方法が、多層残差復号で使用される(1150、1155、1160)、付記22に記載の方法。
(付記24)
1つまたは複数のフィルタを使用して前記残差をフィルタリングして、前記残差内の符号化アーティファクトを低減または除去する(923)、付記22に記載の方法。
(付記25)
前記1つまたは複数のフィルタが、1つまたは複数の前処理フィルタとして、1つまたは複数の後処理フィルタとして、あるいは1つまたは複数の前処理フィルタおよび1つまたは複数の後処理フィルタの組合せとして構成される(923)、付記24に記載の方法。
(付記26)
前記代替の復号方法が、非変換型復号方法、レンペル・ジフ方法、マルチスケール回帰パターン方法、適応型確率モデルを用いるマルチスケール回帰方法、およびベクトル量子化方法のうちの少なくとも1つを含む(1140)、付記22に記載の方法。
(付記27)
前記空間変化復号方法のパラメータの少なくとも1つのサブセットが、前記デコーダによって受信され、前記パラメータが、適用される前記1つまたは複数の変換の数、前記1つまたは複数の変換のサイズ、前記1つまたは複数の変換の位置、および前記代替の復号方法のうちの少なくとも1つを含む(1130)、付記22に記載の方法。
(付記28)
前記サブセット内の残りのパラメータが一定であり、前記デコーダおよび対応するエンコーダに既知である(920)、付記27に記載の方法。
(付記29)
符号化されたビデオ信号データを有する記憶媒体であって、
ピクチャ内の少なくとも1つのブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する残差について空間変化符号化方法を選択することによって符号化された、前記ブロックのピクチャ・データを含み、
前記ブロックのサイズより小さいサイズの1つまたは複数の変換を使用して、前記ブロックの残りの領域を除く前記ブロックの一部分が変換され、前記1つまたは複数の変換とは別の代替の符号化方法を使用して前記ブロックの前記残りの領域が符号化される、前記記憶媒体。
(付記30)
多層残差符号化を用いてピクチャ内のブロックのピクチャ・データを符号化するビデオ・エンコーダ(300)を含む装置であって、
前記ブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する元の残差を第1の符号化方法を用いて符号化して符号化された残差を得、前記符号化された残差を前記元の残差から減算し、前記ブロックの一部分を第2の符号化方法を用いて符号化する、前記装置。
(付記31)
ビデオ・エンコーダにおいて、多層残差符号化を用いてピクチャ内のブロックのピクチャ・データを符号化するステップを含む方法であって、
前記ブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する元の残差を第1の符号化方法を用いて符号化して符号化された残差を得、前記符号化された残差を前記元の残差から減算し、前記ブロックの一部分を第2の符号化方法を用いて符号化する(1210、1215、1220)、前記方法。
(付記32)
前記第1の符号化方法および前記第2の符号化方法が、両方とも変換型である(1025、1030、1035)、付記31に記載の方法。
(付記33)
前記第1の符号化方法または前記第2の符号化方法の一方のみが変換型であり、前記第1の符号化方法または前記第2の符号化方法の他方が非変換型である(1210、1215、1230、1235)、付記31に記載の方法。
(付記34)
前記第1の符号化方法が、前記ブロックのサイズより小さいサイズの1つまたは複数の変換を使用する空間変化符号化方法であり、前記1つまたは複数の変換が適用されない前記ブロックの残りの領域が、前記1つまたは複数の変換とは別の代替の方法を用いて符号化され、前記代替の方法が、前記第2の符号化方法または第3の符号化方法である(1210、1215、1230、1235)、付記31に記載の方法。
(付記35)
多層残差復号を用いてピクチャ内のブロックのピクチャ・データを復号するビデオ・デコーダ(400)を含む装置であって、
前記ブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する元の残差を第1の復号方法を用いて復号して復号された残差を得、前記復号された残差を前記元の残差から減算し、前記ブロックの一部分を第2の復号方法を用いて復号する、前記装置。
(付記36)
ビデオ・デコーダにおいて、多層残差復号を用いてピクチャ内のブロックのピクチャ・データを復号するステップを含む方法であって、
前記ブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する元の残差を第1の復号方法を用いて復号して復号された残差を得、前記復号された残差を前記元の残差から減算し、前記ブロックの一部分を第2の復号方法を用いて復号する(1320、1325、1335、1340)、前記方法。

Claims (36)

  1. ピクチャ内のブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する残差について空間変化符号化方法を選択することによって、前記ブロックのピクチャ・データを符号化するビデオ・エンコーダ(300)を含む装置であって、
    1つまたは複数の変換を使用して前記ブロックの一部分を変換し、前記1つまたは複数の変換とは別の代替の符号化方法を使用して前記ブロックの残りの領域を符号化する、前記装置。
  2. 前記空間変化符号化方法が、多層残差符号化で使用される、請求項1に記載の装置。
  3. 1つまたは複数のフィルタを使用して前記残差をフィルタリングして、前記残差内の符号化アーティファクトを低減または除去する、請求項1に記載の装置。
  4. 前記1つまたは複数のフィルタが、1つまたは複数の前処理フィルタとして、1つまたは複数の後処理フィルタとして、あるいは1つまたは複数の前処理フィルタおよび1つまたは複数の後処理フィルタの組合せとして構成される、請求項3に記載の装置。
  5. 前記代替の符号化方法が、非変換型符号化方法、レンペル・ジフ方法、マルチスケール回帰パターン方法、適応型確率モデルを用いるマルチスケール回帰方法、およびベクトル量子化方法のうちの少なくとも1つを含む、請求項1に記載の装置。
  6. 前記空間変化符号化方法のパラメータの少なくとも1つのサブセットが、対応するデコーダに伝送され、前記パラメータが、適用される前記1つまたは複数の変換の数、前記1つまたは複数の変換のサイズ、前記1つまたは複数の変換の位置、および前記代替の符号化方法のうちの少なくとも1つを含む、請求項1に記載の装置。
  7. 前記サブセット内の残りのパラメータが一定であり、前記エンコーダおよび前記対応するデコーダに既知である、請求項6に記載の装置。
  8. ビデオ・エンコーダにおいて、ピクチャ内のブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する残差について空間変化符号化方法を選択することによって、前記ブロックのピクチャ・データを符号化するステップを含む方法であって、
    1つまたは複数の変換を使用して前記ブロックの一部分を変換し、前記1つまたは複数の変換とは別の代替の符号化方法を使用して前記ブロックの残りの領域を符号化する(820)、前記方法。
  9. 前記空間変化符号化方法が、多層残差符号化で使用される(1020、1025、1030)、請求項8に記載の方法。
  10. 1つまたは複数のフィルタを使用して前記残差をフィルタリングして、前記残差内の符号化アーティファクトを低減または除去する(823)、請求項8に記載の方法。
  11. 前記1つまたは複数のフィルタが、1つまたは複数の前処理フィルタとして、1つまたは複数の後処理フィルタとして、あるいは1つまたは複数の前処理フィルタおよび1つまたは複数の後処理フィルタの組合せとして構成される(823)、請求項10に記載の方法。
  12. 前記代替の符号化方法が、非変換型符号化方法、レンペル・ジフ方法、マルチスケール回帰パターン方法、適応型確率モデルを用いるマルチスケール回帰方法、およびベクトル量子化方法のうちの少なくとも1つを含む(1040)、請求項8に記載の方法。
  13. 前記空間変化符号化方法のパラメータの少なくとも1つのサブセットが、対応するデコーダに伝送され、前記パラメータが、適用される前記1つまたは複数の変換の数、前記1つまたは複数の変換のサイズ、前記1つまたは複数の変換の位置、および前記代替の方法のうちの少なくとも1つを含む(1045)、請求項8に記載の方法。
  14. 前記サブセット内の残りのパラメータが一定であり、前記エンコーダおよび前記対応するデコーダに既知である(820)、請求項13に記載の方法。
  15. ピクチャ内のブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する残差について空間変化復号方法を選択することによって、前記ブロックのピクチャ・データを復号するビデオ・デコーダ(400)を含む装置であって、
    1つまたは複数の逆変換を使用して前記ブロックの一部分を逆変換し、前記1つまたは複数の逆変換とは別の代替の復号方法を使用して前記ブロックの残りの領域を復号する、前記装置。
  16. 前記空間変化復号方法が、多層残差復号で使用される、請求項15に記載の装置。
  17. 1つまたは複数のフィルタを使用して前記残差をフィルタリングして、前記残差内の符号化アーティファクトを低減または除去する、請求項15に記載の装置。
  18. 前記1つまたは複数のフィルタが、1つまたは複数の前処理フィルタとして、1つまたは複数の後処理フィルタとして、あるいは1つまたは複数の前処理フィルタおよび1つまたは複数の後処理フィルタの組合せとして構成される、請求項17に記載の装置。
  19. 前記代替の復号方法が、非変換型復号方法、レンペル・ジフ方法、マルチスケール回帰パターン方法、適応型確率モデルを用いるマルチスケール回帰方法、およびベクトル量子化方法のうちの少なくとも1つを含む、請求項15に記載の装置。
  20. 前記空間変化復号方法のパラメータの少なくとも1つのサブセットが、前記デコーダによって受信され、前記パラメータが、適用される前記1つまたは複数の変換の数、前記1つまたは複数の変換のサイズ、前記1つまたは複数の変換の位置、および前記代替の復号方法のうちの少なくとも1つを含む、請求項15に記載の装置。
  21. 前記サブセット内の残りのパラメータが一定であり、前記デコーダおよび対応するエンコーダに既知である、請求項20に記載の装置。
  22. ビデオ・デコーダにおいて、ピクチャ内のブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する残差について空間変化復号方法を選択することによって、前記ブロックのピクチャ・データを復号するステップを含む方法であって、
    1つまたは複数の逆変換を使用して前記ブロックの一部分を逆変換し、前記1つまたは複数の逆変換とは別の代替の復号方法を使用して前記ブロックの残りの領域を復号する(920)、前記方法。
  23. 前記空間変化復号方法が、多層残差復号で使用される(1150、1155、1160)、請求項22に記載の方法。
  24. 1つまたは複数のフィルタを使用して前記残差をフィルタリングして、前記残差内の符号化アーティファクトを低減または除去する(923)、請求項22に記載の方法。
  25. 前記1つまたは複数のフィルタが、1つまたは複数の前処理フィルタとして、1つまたは複数の後処理フィルタとして、あるいは1つまたは複数の前処理フィルタおよび1つまたは複数の後処理フィルタの組合せとして構成される(923)、請求項24に記載の方法。
  26. 前記代替の復号方法が、非変換型復号方法、レンペル・ジフ方法、マルチスケール回帰パターン方法、適応型確率モデルを用いるマルチスケール回帰方法、およびベクトル量子化方法のうちの少なくとも1つを含む(1140)、請求項22に記載の方法。
  27. 前記空間変化復号方法のパラメータの少なくとも1つのサブセットが、前記デコーダによって受信され、前記パラメータが、適用される前記1つまたは複数の変換の数、前記1つまたは複数の変換のサイズ、前記1つまたは複数の変換の位置、および前記代替の復号方法のうちの少なくとも1つを含む(1130)、請求項22に記載の方法。
  28. 前記サブセット内の残りのパラメータが一定であり、前記デコーダおよび対応するエンコーダに既知である(920)、請求項27に記載の方法。
  29. 符号化されたビデオ信号データを有する記憶媒体であって、
    ピクチャ内の少なくとも1つのブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する残差について空間変化符号化方法を選択することによって符号化された、前記ブロックのピクチャ・データを含み、
    前記ブロックのサイズより小さいサイズの1つまたは複数の変換を使用して、前記ブロックの残りの領域を除く前記ブロックの一部分が変換され、前記1つまたは複数の変換とは別の代替の符号化方法を使用して前記ブロックの前記残りの領域が符号化される、前記記憶媒体。
  30. 多層残差符号化を用いてピクチャ内のブロックのピクチャ・データを符号化するビデオ・エンコーダ(300)を含む装置であって、
    前記ブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する元の残差を第1の符号化方法を用いて符号化して符号化された残差を得、前記符号化された残差を前記元の残差から減算し、前記ブロックの一部分を第2の符号化方法を用いて符号化する、前記装置。
  31. ビデオ・エンコーダにおいて、多層残差符号化を用いてピクチャ内のブロックのピクチャ・データを符号化するステップを含む方法であって、
    前記ブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する元の残差を第1の符号化方法を用いて符号化して符号化された残差を得、前記符号化された残差を前記元の残差から減算し、前記ブロックの一部分を第2の符号化方法を用いて符号化する(1210、1215、1220)、前記方法。
  32. 前記第1の符号化方法および前記第2の符号化方法が、両方とも変換型である(1025、1030、1035)、請求項31に記載の方法。
  33. 前記第1の符号化方法または前記第2の符号化方法の一方のみが変換型であり、前記第1の符号化方法または前記第2の符号化方法の他方が非変換型である(1210、1215、1230、1235)、請求項31に記載の方法。
  34. 前記第1の符号化方法が、前記ブロックのサイズより小さいサイズの1つまたは複数の変換を使用する空間変化符号化方法であり、前記1つまたは複数の変換が適用されない前記ブロックの残りの領域が、前記1つまたは複数の変換とは別の代替の方法を用いて符号化され、前記代替の方法が、前記第2の符号化方法または第3の符号化方法である(1210、1215、1230、1235)、請求項31に記載の方法。
  35. 多層残差復号を用いてピクチャ内のブロックのピクチャ・データを復号するビデオ・デコーダ(400)を含む装置であって、
    前記ブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する元の残差を第1の復号方法を用いて復号して復号された残差を得、前記復号された残差を前記元の残差から減算し、前記ブロックの一部分を第2の復号方法を用いて復号する、前記装置。
  36. ビデオ・デコーダにおいて、多層残差復号を用いてピクチャ内のブロックのピクチャ・データを復号するステップを含む方法であって、
    前記ブロックの元のバージョンと少なくとも1つの参照ブロックとの間の差に対応する元の残差を第1の復号方法を用いて復号して復号された残差を得、前記復号された残差を前記元の残差から減算し、前記ブロックの一部分を第2の復号方法を用いて復号する(1320、1325、1335、1340)、前記方法。
JP2015082019A 2009-07-06 2015-04-13 空間変化残差符号化を行う方法および装置 Active JP6425609B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US22327709P 2009-07-06 2009-07-06
US61/223,277 2009-07-06

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012519538A Division JP5732454B2 (ja) 2009-07-06 2010-07-01 空間変化残差符号化を行う方法および装置

Publications (2)

Publication Number Publication Date
JP2015156700A true JP2015156700A (ja) 2015-08-27
JP6425609B2 JP6425609B2 (ja) 2018-11-21

Family

ID=42665840

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012519538A Active JP5732454B2 (ja) 2009-07-06 2010-07-01 空間変化残差符号化を行う方法および装置
JP2015082019A Active JP6425609B2 (ja) 2009-07-06 2015-04-13 空間変化残差符号化を行う方法および装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2012519538A Active JP5732454B2 (ja) 2009-07-06 2010-07-01 空間変化残差符号化を行う方法および装置

Country Status (6)

Country Link
US (1) US9736500B2 (ja)
EP (1) EP2452499A1 (ja)
JP (2) JP5732454B2 (ja)
KR (1) KR101885382B1 (ja)
CN (2) CN102484701A (ja)
WO (1) WO2011005303A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8879632B2 (en) 2010-02-18 2014-11-04 Qualcomm Incorporated Fixed point implementation for geometric motion partitioning
US9215470B2 (en) 2010-07-09 2015-12-15 Qualcomm Incorporated Signaling selected directional transform for video coding
US10992958B2 (en) 2010-12-29 2021-04-27 Qualcomm Incorporated Video coding using mapped transforms and scanning modes
CN102857755B (zh) 2011-07-01 2016-12-14 华为技术有限公司 确定变换块尺寸的方法和设备
US10631012B2 (en) * 2016-12-02 2020-04-21 Centurylink Intellectual Property Llc Method and system for implementing detection and visual enhancement of video encoding artifacts
KR102599115B1 (ko) * 2017-05-17 2023-11-06 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR102597838B1 (ko) 2018-02-23 2023-11-02 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩을 위한 위치 종속 공간 가변 변환
CN112042192A (zh) * 2018-03-29 2020-12-04 日本放送协会 图像编码装置、图像解码装置以及程序
CN112532979A (zh) * 2018-03-31 2021-03-19 华为技术有限公司 图像块编码中的变换方法、解码中的反变换方法及装置
KR20240051294A (ko) * 2018-05-31 2024-04-19 후아웨이 테크놀러지 컴퍼니 리미티드 적응적 변환 타입의 공간 가변 변환
US10516885B1 (en) * 2018-07-11 2019-12-24 Tencent America LLC Method and apparatus for video coding
US11323743B2 (en) * 2019-08-26 2022-05-03 Tencent America LLC Interaction between CU partitions and sub-block transform

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0522715A (ja) * 1991-07-12 1993-01-29 Sony Corp 画像符号化装置
JPH09205652A (ja) * 1995-12-12 1997-08-05 Rca Thomson Licensing Corp ビデオ信号処理用のノイズ推定および除去装置
JPH11164321A (ja) * 1997-09-26 1999-06-18 Matsushita Electric Ind Co Ltd 画像復号化方法,画像復号化装置,及びデータ記憶媒体
JP2000270334A (ja) * 1999-03-15 2000-09-29 Fuji Xerox Co Ltd 符号化装置、復号化装置、画像処理装置、符号化方法、復号化方法及び画像処理方法
JP2002315004A (ja) * 2001-04-09 2002-10-25 Ntt Docomo Inc 画像符号化方法及び装置、画像復号方法及び装置、並びに画像処理システム
JP2005167655A (ja) * 2003-12-03 2005-06-23 Matsushita Electric Ind Co Ltd 変換符号化方法および変換復号化方法
WO2007094329A1 (ja) * 2006-02-15 2007-08-23 Nec Corporation 動画像処理装置、動画像処理方法、および動画像処理プログラム
JP2008109424A (ja) * 2006-10-26 2008-05-08 Victor Co Of Japan Ltd 動画像符号化装置、動画像符号化プログラム、動画像復号化装置及び動画像復号化プログラム
JP2008219205A (ja) * 2007-02-28 2008-09-18 Sony Corp 画像情報符号化装置及び画像情報符号化方法

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05207287A (ja) * 1991-05-31 1993-08-13 Kyocera Corp 画像符号化装置及び画像復号化装置
JP3764765B2 (ja) * 1995-09-06 2006-04-12 インターナショナル・ビジネス・マシーンズ・コーポレーション ディジタル画像の処理方法及びシステム
JP3788823B2 (ja) * 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
DE69830552T2 (de) 1997-09-26 2006-05-11 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum dekodieren von Bildern und Datenaufzeichnungsmedium
US7194138B1 (en) * 1998-11-04 2007-03-20 International Business Machines Corporation Reduced-error processing of transformed digital data
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
JP4447197B2 (ja) * 2002-01-07 2010-04-07 三菱電機株式会社 動画像符号化装置および動画像復号装置
US7376280B2 (en) * 2002-07-14 2008-05-20 Apple Inc Video encoding and decoding
JP4344184B2 (ja) * 2003-07-17 2009-10-14 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
JP4479530B2 (ja) * 2004-12-28 2010-06-09 カシオ電子工業株式会社 データ圧縮装置、及びデータ復元装置
US8576924B2 (en) * 2005-01-25 2013-11-05 Advanced Micro Devices, Inc. Piecewise processing of overlap smoothing and in-loop deblocking
US7706440B2 (en) * 2005-02-08 2010-04-27 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Method for reducing bit rate requirements for encoding multimedia data
KR101246915B1 (ko) * 2005-04-18 2013-03-25 삼성전자주식회사 동영상 부호화 또는 복호화 방법 및 장치
EP2733950A1 (en) * 2005-10-21 2014-05-21 Electronics and Telecommunications Research Institute Apparatus for encoding moving picture using adaptive scanning
KR100772868B1 (ko) 2005-11-29 2007-11-02 삼성전자주식회사 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
KR100772391B1 (ko) * 2006-01-23 2007-11-01 삼성전자주식회사 직교 변환 및 벡터 양자화에 기반한 동영상 부호화 및복호화 방법과 이를 이용한 장치
WO2008035842A1 (en) * 2006-09-20 2008-03-27 Electronics And Telecommunications Research Institute Apparatus and method for encoding and decoding using alternative converter according to the correlation of residual signal
KR100927733B1 (ko) * 2006-09-20 2009-11-18 한국전자통신연구원 잔여계수의 상관성에 따라 변환기를 선택적으로 이용한부호화/복호화 장치 및 그 방법
US8542736B2 (en) * 2006-10-18 2013-09-24 Thomson Licensing Method and apparatus for video coding using prediction data refinement
WO2008057308A2 (en) 2006-11-08 2008-05-15 Thomson Licensing Methods and apparatus for in-loop de-artifact filtering
CN101179734B (zh) * 2006-11-28 2010-09-15 腾讯科技(深圳)有限公司 一种视频压缩的帧内预测方法和系统
US20080225947A1 (en) * 2007-03-13 2008-09-18 Matthias Narroschke Quantization for hybrid video coding
US9648325B2 (en) * 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US8437564B2 (en) 2007-08-07 2013-05-07 Ntt Docomo, Inc. Image and video compression using sparse orthonormal transforms
CN101415121B (zh) * 2007-10-15 2010-09-29 华为技术有限公司 一种自适应的帧预测的方法及装置
US20120128074A1 (en) * 2008-08-12 2012-05-24 Nokia Corporation Video coding using spatially varying transform
CN101383972A (zh) * 2008-09-28 2009-03-11 北京航空航天大学 基于空间预测与变换的遥感图像压缩方法
KR101619972B1 (ko) * 2008-10-02 2016-05-11 한국전자통신연구원 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법
WO2010051846A1 (en) * 2008-11-06 2010-05-14 Nokia Corporation Fast block selection algorithm for video coding using spatially varying transform
EP2200321A1 (en) * 2008-12-19 2010-06-23 Thomson Licensing Method for browsing video streams
US9094691B2 (en) * 2010-03-15 2015-07-28 Mediatek Singapore Pte. Ltd. Methods of utilizing tables adaptively updated for coding/decoding and related processing circuits thereof
CN102215396A (zh) * 2010-04-09 2011-10-12 华为技术有限公司 一种视频编解码方法和系统
US8798131B1 (en) * 2010-05-18 2014-08-05 Google Inc. Apparatus and method for encoding video using assumed values with intra-prediction
US9215470B2 (en) * 2010-07-09 2015-12-15 Qualcomm Incorporated Signaling selected directional transform for video coding
US8913662B2 (en) * 2011-01-06 2014-12-16 Qualcomm Incorporated Indicating intra-prediction mode selection for video coding using CABAC
BR112013014371B8 (pt) * 2011-01-07 2022-05-24 Hfi Innovation Inc Método e aparelho de codificação aperfeiçoada de modo de predição intra crominância
US9071851B2 (en) * 2011-01-10 2015-06-30 Qualcomm Incorporated Adaptively performing smoothing operations
CN102611884B (zh) * 2011-01-19 2014-07-09 华为技术有限公司 图像编解码方法及编解码设备
US20120195366A1 (en) * 2011-02-01 2012-08-02 Mediatek Singapore Pte. Ltd. Method and Apparatus of Adaptive Inter Mode Coding Using Variable Length Codes
US9654785B2 (en) * 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
KR101702025B1 (ko) * 2011-06-17 2017-02-02 에이치에프아이 이노베이션 인크. 인트라 예측 모드의 코딩을 위한 방법 및 장치
CN103918263A (zh) * 2011-07-22 2014-07-09 摩托罗拉移动有限责任公司 用于扫描视频编译中的矩形变换的设备和方法
US9154796B2 (en) * 2011-11-04 2015-10-06 Qualcomm Incorporated Intra-mode video coding
US9531990B1 (en) * 2012-01-21 2016-12-27 Google Inc. Compound prediction using multiple sources or prediction modes
US9167268B1 (en) * 2012-08-09 2015-10-20 Google Inc. Second-order orthogonal spatial intra prediction
US9344742B2 (en) * 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction
US20140301436A1 (en) * 2013-04-05 2014-10-09 Qualcomm Incorporated Cross-layer alignment in multi-layer video coding
US9247251B1 (en) * 2013-07-26 2016-01-26 Google Inc. Right-edge extension for quad-tree intra-prediction
US9609343B1 (en) * 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0522715A (ja) * 1991-07-12 1993-01-29 Sony Corp 画像符号化装置
JPH09205652A (ja) * 1995-12-12 1997-08-05 Rca Thomson Licensing Corp ビデオ信号処理用のノイズ推定および除去装置
JPH11164321A (ja) * 1997-09-26 1999-06-18 Matsushita Electric Ind Co Ltd 画像復号化方法,画像復号化装置,及びデータ記憶媒体
JP2000270334A (ja) * 1999-03-15 2000-09-29 Fuji Xerox Co Ltd 符号化装置、復号化装置、画像処理装置、符号化方法、復号化方法及び画像処理方法
JP2002315004A (ja) * 2001-04-09 2002-10-25 Ntt Docomo Inc 画像符号化方法及び装置、画像復号方法及び装置、並びに画像処理システム
JP2005167655A (ja) * 2003-12-03 2005-06-23 Matsushita Electric Ind Co Ltd 変換符号化方法および変換復号化方法
WO2007094329A1 (ja) * 2006-02-15 2007-08-23 Nec Corporation 動画像処理装置、動画像処理方法、および動画像処理プログラム
JP2008109424A (ja) * 2006-10-26 2008-05-08 Victor Co Of Japan Ltd 動画像符号化装置、動画像符号化プログラム、動画像復号化装置及び動画像復号化プログラム
JP2008219205A (ja) * 2007-02-28 2008-09-18 Sony Corp 画像情報符号化装置及び画像情報符号化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CIXUN ZHANG(外3名): "Video coding using Variable Block-Size Spatially Varying Transforms", 2009 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING, JPN6018039035, 19 April 2009 (2009-04-19), US, pages 905 - 908, XP031459377, ISSN: 0003891961 *

Also Published As

Publication number Publication date
KR20120096452A (ko) 2012-08-30
CN107277512A (zh) 2017-10-20
US9736500B2 (en) 2017-08-15
EP2452499A1 (en) 2012-05-16
CN107277512B (zh) 2020-11-03
JP5732454B2 (ja) 2015-06-10
US20120099642A1 (en) 2012-04-26
JP2012532561A (ja) 2012-12-13
WO2011005303A1 (en) 2011-01-13
JP6425609B2 (ja) 2018-11-21
CN102484701A (zh) 2012-05-30
KR101885382B1 (ko) 2018-08-03

Similar Documents

Publication Publication Date Title
JP5732454B2 (ja) 空間変化残差符号化を行う方法および装置
JP5801363B2 (ja) 符号化及び復号化のための装置及び方法並びにコンピュータプログラム
JP2020191647A (ja) ビデオ符号化およびビデオ復号における変換の選択のための方法および装置
JP5869493B2 (ja) ビデオ符号化および復号化のためのテンプレート・マッチング予測の適応型残差更新のための方法および装置
JP6120896B2 (ja) ビデオ符号化および復号のためのスパース性に基づくアーティファクト除去フィルタリングを行う方法および装置
KR101512833B1 (ko) 비트 깊이 확장성을 위한 아티팩트 제거를 위한 방법 및 장치
JP5357898B2 (ja) 多格子スパーシティベースフィルタリングを使用するアーチファクト除去フィルタリングのための方法および装置
JP5746182B2 (ja) イントラ予測モードの効率的なビデオ符号化及び復号化方法及び装置
JP6104975B2 (ja) スパース性ベースのアーティファクト除去フィルタリングにおける可変変換に応じてフィルタ・パラメータの決定および選択を行う方法および装置
JP6538488B2 (ja) 映像符号化のためのdcイントラ予測モードのための方法
JP5813783B2 (ja) 1次元スイッチ式フィルタと1次元適応フィルタとの組合せを使用したビデオフィルタリング
JP2013522957A (ja) 変換選択を有するビデオ符号化および復号のための制約付きの変換を行う方法および装置
KR20170114598A (ko) 적응적 색상 순서에 따른 색상 성분 간 예측을 이용한 동영상 부호화 및 복호화 방법 및 장치

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20151021

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160610

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170315

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170906

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180301

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180320

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180710

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181023

R150 Certificate of patent or registration of utility model

Ref document number: 6425609

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250