JP2015211386A - 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム - Google Patents
動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム Download PDFInfo
- Publication number
- JP2015211386A JP2015211386A JP2014092909A JP2014092909A JP2015211386A JP 2015211386 A JP2015211386 A JP 2015211386A JP 2014092909 A JP2014092909 A JP 2014092909A JP 2014092909 A JP2014092909 A JP 2014092909A JP 2015211386 A JP2015211386 A JP 2015211386A
- Authority
- JP
- Japan
- Prior art keywords
- prediction mode
- block
- encoding
- prediction
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 51
- 238000004590 computer program Methods 0.000 title claims description 14
- 230000002596 correlated effect Effects 0.000 claims abstract description 7
- 230000000875 corresponding effect Effects 0.000 claims description 22
- 238000013139 quantization Methods 0.000 description 36
- 239000013598 vector Substances 0.000 description 31
- 238000004364 calculation method Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 22
- 238000004891 communication Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】イントラ予測符号化モードにおける予測モードの決定に要する演算量を削減できる動画像符号化装置を提供する。
【解決手段】動画像符号化装置(1)は、参照ピクチャ上で符号化対象ブロックと相関性があると推定される参照ブロックを特定する参照ブロック決定部(12)と、参照ブロックに少なくとも一部が含まれる符号化済みのブロックについて設定された予測モードから参照予測モードを決定する参照予測モード決定部(13)と、参照予測モードに応じて候補リストを作成する候補リスト作成部(14)と、候補リストに含まれる各予測モードについて、その予測モードを用いて符号化対象ブロックを符号化したときの符号量の推定値を算出し、推定値が最小となる予測モードを符号化対象ブロックに適用する予測モードとして選択する符号化モード決定部(15)と、選択された予測モードに従って符号化対象ブロックを符号化する符号化部(16)とを有する。
【選択図】図3
【解決手段】動画像符号化装置(1)は、参照ピクチャ上で符号化対象ブロックと相関性があると推定される参照ブロックを特定する参照ブロック決定部(12)と、参照ブロックに少なくとも一部が含まれる符号化済みのブロックについて設定された予測モードから参照予測モードを決定する参照予測モード決定部(13)と、参照予測モードに応じて候補リストを作成する候補リスト作成部(14)と、候補リストに含まれる各予測モードについて、その予測モードを用いて符号化対象ブロックを符号化したときの符号量の推定値を算出し、推定値が最小となる予測モードを符号化対象ブロックに適用する予測モードとして選択する符号化モード決定部(15)と、選択された予測モードに従って符号化対象ブロックを符号化する符号化部(16)とを有する。
【選択図】図3
Description
本発明は、例えば、符号化対象ピクチャの符号化対象ブロックを符号化済みの他のブロックの情報を用いて符号化する動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラムに関する。
動画像データは、一般に非常に大きなデータ量を有する。そのため、動画像データを扱う装置は、動画像データを他の装置へ送信しようとする場合、あるいは、動画像データを記憶装置に記憶しようとする場合、動画像データを高能率符号化する。なお、「高能率符号化」とは、あるデータ列を他のデータ列に変換する符号化処理であって、そのデータ量を圧縮する処理をいう。
動画像データの高能率符号化方法として、ピクチャ内予測(イントラ予測)符号化方法が知られている。この符号化方法は、動画像データが空間方向に相関性が高いことを利用する。すなわち、この符号化方法は、符号化対象のピクチャを分割した複数のブロックのうちの符号化対象のブロックを、同じピクチャ内の符号化済みの他のブロックの情報を用いて符号化し、他のピクチャの符号化画像を参照しない。ピクチャ内予測符号化方法で符号化されたピクチャは、そのピクチャ内の情報のみで復元できる。
また、高能率符号化方法で採用されている他の符号化方式として、ピクチャ間予測(インター予測)符号化方法が知られている。この符号化方法は、動画像データが時間方向に相関性が高いことを利用する。動画像データでは、一般に、あるタイミングのピクチャとそのピクチャに後続するピクチャ間の類似度が高いことが多い。そのため、インター予測符号化方法は、動画像データのその性質を使用する。一般に、動画像符号化装置は、符号化対象のピクチャを複数のブロックに分割する。動画像符号化装置は、符号化済みピクチャを復号して得られた参照ピクチャから、ブロックごとにそのブロックと類似している領域を予測ブロックとして選択する。そして動画像符号化装置は、予測ブロックと符号化対象のブロック間の差分を表す予測誤差信号を計算することで、時間的な冗長性を取り除く。そして動画像符号化装置は、参照領域を示す動きベクトル情報および予測誤差信号を符号化することにより、高い圧縮率が実現される。
これらの予測符号化方法を採用する代表的な動画像の符号化方式として、International Standardization Organization/International Electrotechnical Commission(ISO/IEC)で策定されたMoving Picture Experts Group phase 2(MPEG-2)、MPEG-4、あるいはH.264 MPEG-4 Advanced Video Coding(H.264 MPEG-4 AVC)が広く利用されている。これらの符号化方式では、例えば、ピクチャについて、イントラ予測符号化方法とインター予測符号化方法のいずれが選択されたかは、符号化された動画像データを含む映像ストリームに明示的に記載される。選択された予測符号化方法は符号化モードと呼ばれる。さらに、選択された符号化モードがイントラ予測符号化モードであれば、動画像符号化装置は、符号化ブロックに対する予測ブロックを生成する際に、複数の予測モードの中から、何れかの予測モードを選択できる(例えば、特許文献1を参照)。なお、予測モードは、例えば、符号化ブロックを含むピクチャ上の既に符号化された領域に対する参照方向を規定する。
イントラ予測符号化されるブロックの符号量が最小となる予測モードを決定するために、例えば、動画像符号化装置は、適用可能な全ての予測モードのそれぞれについて、ブロックの符号量を推定し、その推定した符号量が最小となる予測モードを選択する。また、Pピクチャ及びBピクチャといった、インター予測符号化可能なピクチャに含まれるブロックについては、動画像符号化装置は、各予測モードの符号量の推定値の他に、ブロックをインター予測符号化する場合の符号量の推定値も算出する。そのため、符号化モード及び予測モードの決定に要する演算量が多い。なお、Pピクチャは、既に符号化されている1枚のピクチャの情報を用いてインター予測符号化されるピクチャである。Bピクチャは、既に符号化されている2枚のピクチャの情報を用いて双方向予測符号化されるピクチャである。
また、最新の動画像符号化方式(High Efficiency Video Coding、HEVC)では、イントラ予測モードの適用単位となるブロックのサイズは、64x64画素、32x32画素、16x16画素、8x8画素、及び4x4画素の5種類の中から選択可能である。さらに、イントラ予測符号化モードの予測モードとして、35種類の予測モードが用意されている。そのため、符号化モード及び予測モードの決定に要する演算量がさらに増加している。その結果、例えば、動画像データを符号化してリアルタイム伝送する場合など、符号化に要する時間が掛かり過ぎてしまい、動画像データの符号化が間に合わないおそれがあった。
そこで、本明細書は、イントラ予測符号化モードにおける予測モードの決定に要する演算量を削減できる動画像符号化装置を提供することを目的とする。
一つの実施形態によれば、動画像データに含まれる符号化対象ピクチャが分割された複数のブロックのうちの符号化対象ブロックを符号化する動画像符号化装置が提供される。この動画像符号化装置は、符号化対象ピクチャよりも前に符号化された参照ピクチャ上で、符号化対象ブロックと相関性があると推定される参照ブロックを特定する参照ブロック決定部と、動画像データに含まれるピクチャ上のブロックを符号化するために利用する予測ブロックを生成する際にそのピクチャ上の既に符号化された領域に対する参照方向を規定する複数の予測モードのうち、参照ブロックに少なくとも一部が含まれる符号化済みのブロックについて設定された予測モードから参照予測モードを決定する参照予測モード決定部と、参照予測モードに応じて、複数の予測モードから選択した予測モードを含む候補リストを作成する候補リスト作成部と、候補リストに含まれる予測モードのそれぞれについて、その予測モードを用いて符号化対象ブロックを符号化したときの符号量の推定値を算出し、その推定値が最小となる予測モードを符号化対象ブロックに対して適用する予測モードとして選択する符号化モード決定部と、選択された予測モードに従って予測ブロックを生成し、その予測ブロックと符号化対象ブロック間の差分演算を行って得られる予測誤差信号を符号化する符号化部とを有する。
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
本明細書に開示された動画像符号化装置は、イントラ予測符号化モードにおける予測モードの決定に要する演算量を削減できる。
以下、図を参照しつつ、動画像符号化装置について説明する。
この動画像符号化装置は、符号化対象ブロックとの相関性があると推定される、符号化済みのピクチャである参照ピクチャ上の参照ブロックに対して設定された予測モードに応じて、符号化対象ブロックについて選択可能な予測モードの数を制限する。これにより、この動画像符号化装置は、符号化モード及び予測モードの決定に要する演算量を削減する。
この動画像符号化装置は、符号化対象ブロックとの相関性があると推定される、符号化済みのピクチャである参照ピクチャ上の参照ブロックに対して設定された予測モードに応じて、符号化対象ブロックについて選択可能な予測モードの数を制限する。これにより、この動画像符号化装置は、符号化モード及び予測モードの決定に要する演算量を削減する。
本実施形態では、動画像符号化装置は、HEVCに準拠して、動画像データを符号化する。そこで最初に、HEVCに従った、ピクチャの分割方法、及び、HEVCで用意された予測モードについて説明する。
図1は、HEVCによる、ピクチャの分割の一例を示す図である。
図1に示されるように、ピクチャ100は、符号化ブロックCoding Tree Unit(CTU)単位で分割され、各CTU101は、ラスタスキャン順に符号化される。CTU101のサイズは、64x64〜16x16画素の中から選択できる。ただし、CTU101のサイズは、シーケンス単位で一定とされる。
図1に示されるように、ピクチャ100は、符号化ブロックCoding Tree Unit(CTU)単位で分割され、各CTU101は、ラスタスキャン順に符号化される。CTU101のサイズは、64x64〜16x16画素の中から選択できる。ただし、CTU101のサイズは、シーケンス単位で一定とされる。
CTU101は、さらに、四分木構造で複数のCoding Unit(CU)102に分割される。一つのCTU101内の各CU102は、Zスキャン順に符号化される。CU102のサイズは可変であり、そのサイズは、CU分割モード8x8〜64x64画素の中から選択される。CU102は、符号化モードであるイントラ予測符号化モードとインター予測符号化モードを選択する単位となる。CU102は、Prediction Unit(PU)103単位またはTransform Unit(TU)104単位で個別に処理される。PU103は、符号化モードに応じた予測が行われる単位となる。例えば、PU103は、イントラ予測符号化モードでは、予測モードが適用される単位となり、インター予測符号化モードでは、動き補償を行う単位となる。PU103のサイズは、例えば、イントラ予測符号化モードが適用される場合、2Nx2NとNxN(Nは、CUサイズ/2)から選択可能である。
一方、TU104は、直交変換の単位である。またイントラ予測符号化モードでは、TU104は、予測ブロックの生成単位でもある。TU104のサイズは、4x4画素〜32x32画素の中から選択される。TU104は、四分木構造で分割され、Zスキャン順に処理される。
図2は、HEVCにおいて規定されている予測モードを示す図である。図2に示される数値'0'〜'34'は、それぞれ、一つの予測モードを表す。予測モード'0'は、intraPlanarモードと呼ばれ、予測モード'1'はintraDCモードと呼ばれる。その他の予測モード'2'〜'34'は、Angleモードと呼ばれる。そして矢印201は、その矢印が示す数値で表されるAngleモードにおける参照方向を表す。Angleモードでは、その参照方向に従って、符号化対象ブロック内の各画素に対して参照される、符号化済みのブロックに含まれる画素が決定される。
本実施形態では、動画像符号化装置は、上記の複数のCUサイズ、PUサイズ、TUサイズ及び35種類の予測モードのなかから、符号化対象のCTUの符号量を最小化できるCUサイズ、PUサイズ、TUサイズ及び予測モードを選択する。
図3は、第1の実施形態による動画像符号化装置の概略構成図である。動画像符号化装置1は、動きベクトル算出部11と、参照ブロック決定部12と、参照予測モード決定部13と、候補リスト作成部14と、符号化モード決定部15と、符号化部16と、記憶部17とを有する。
動画像符号化装置1が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像符号化装置1が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として動画像符号化装置1に実装されてもよい。さらに、動画像符号化装置1が有するこれらの各部は、動画像符号化装置1が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。
符号化対象となるピクチャは、例えば、動画像符号化装置1全体を制御する制御部(図示せず)により複数のCTUに分割される。そして動画像符号化装置1には、各CTUが、例えばラスタスキャン順で入力される。そして動画像符号化装置1は、CTUごとに符号化する。以下、動画像符号化装置1が有する各部について説明する。
動きベクトル算出部11は、符号化対象ピクチャが、PピクチャまたはBピクチャといった、インター予測符号化可能なピクチャである場合、符号化対象のCTUについて適用可能なPUのそれぞれについて、動きベクトルを算出する。その際、動きベクトル算出部11は、各PUについて、既に符号化され、かつ、符号化対象ピクチャが参照可能な参照ピクチャに対してブロックマッチングを実行して、PUと最も一致する参照ピクチャ及びその参照ピクチャ上の領域の位置を決定する。そして動きベクトル算出部11は、PUとその領域間の空間的な移動量を表すベクトルを動きベクトルとして算出する。
動きベクトル算出部11は、各PUについて、動きベクトル及びその動きベクトルが参照する参照ピクチャを示す情報を、参照ブロック決定部12及び符号化モード決定部15へ出力する。
動きベクトル算出部11は、各PUについて、動きベクトル及びその動きベクトルが参照する参照ピクチャを示す情報を、参照ブロック決定部12及び符号化モード決定部15へ出力する。
参照ブロック決定部12は、符号化対象のCTUについて適用可能なPUのそれぞれについて、イントラ予測符号化における予測モードの候補リストを決定するために参照される参照ブロックを決定する。本実施形態では、参照ブロック決定部12は、符号化対象CTU内の着目するPUとの相関性があると推定される、符号化済みのピクチャである参照ピクチャ上の領域を、そのPUに対する参照ブロックとする。これにより、着目するPUについて、符号量を最小化できる予測モードの参照方向と、参照ブロックについて適用された予測モードの参照方向との差が比較的小さいことが期待できる。そのため、後述するように、参照ブロックについて適用された予測モードから作成される候補リストの中に、着目するPUについて符号量を最小化できる予測モードが含まれる可能性が高くなる。
図4(a)は、符号化対象ピクチャが、イントラ予測符号化されるIピクチャである場合の参照ブロックを示す図である。参照ブロック決定部12は、符号化対象ピクチャ400がIピクチャである場合、符号化対象ピクチャ400の再生順序で直前のピクチャ410を参照ピクチャとする。そして参照ブロック決定部12は、その参照ピクチャ上で着目するPU401と同一及び同サイズのブロック411を参照ブロックとする。これは、動画像では、一般的に、時間的に連続するピクチャ間での相関性が高いため、連続するピクチャの同じ位置には同じ被写体が写っている可能性が高いためである。なお、参照ブロック決定部12は、再生順序で符号化対象ピクチャの直前のピクチャが符号化されていない場合には、符号化順序で直前のピクチャを参照ピクチャとしてもよい。
図4(b)は、符号化対象ピクチャがPピクチャまたはBピクチャの場合の参照ブロックを示す図である。参照ブロック決定部12は、符号化対象ピクチャ420が、PピクチャまたはBピクチャである場合、着目するPU421の動きベクトル422で参照される参照ピクチャ430上で、動きベクトル422で動き補償された領域431を参照ブロックとする。着目するPUと最も一致する領域を表すように動きベクトルが算出されているので、その動きベクトルで動き補償された領域は、着目するPUとの相関性が最も高いと推定されるためである。
なお、符号化対象ピクチャがBピクチャである場合、L0方向とL1方向のそれぞれについて、動きベクトルが求められる。なお、L0方向及びL1方向は、符号化対象ピクチャから見て、再生順序で前または後を示す。L0方向とL1方向は逆向きであってもよく、あるいは、L0方向とL1方向は、同じ向きであってもよい。
この場合、参照ブロック決定部12は、参照ブロックを、L0方向の動きベクトルで動き補償された参照ピクチャ上の領域としてもよく、あるいは、L1方向の動きベクトルで動き補償された参照ピクチャ上の領域としてもよい。また、参照ブロック決定部12は、L0方向とL1方向のうち、符号化対象ピクチャと参照ピクチャ間の再生順序の差が小さい方の参照ピクチャ上の対応する動きベクトルで動き補償された領域を参照ブロックとしてもよい。あるいはまた、参照ブロック決定部12は、L0方向の動きベクトルで示される参照ピクチャ上の領域と、L1方向の動きベクトルで示される参照ピクチャ上の領域のうち、着目するPUとの対応画素間の差分二乗和が小さい方を、参照ブロックとしてもよい。
この場合、参照ブロック決定部12は、参照ブロックを、L0方向の動きベクトルで動き補償された参照ピクチャ上の領域としてもよく、あるいは、L1方向の動きベクトルで動き補償された参照ピクチャ上の領域としてもよい。また、参照ブロック決定部12は、L0方向とL1方向のうち、符号化対象ピクチャと参照ピクチャ間の再生順序の差が小さい方の参照ピクチャ上の対応する動きベクトルで動き補償された領域を参照ブロックとしてもよい。あるいはまた、参照ブロック決定部12は、L0方向の動きベクトルで示される参照ピクチャ上の領域と、L1方向の動きベクトルで示される参照ピクチャ上の領域のうち、着目するPUとの対応画素間の差分二乗和が小さい方を、参照ブロックとしてもよい。
参照ブロック決定部12は、参照ブロックを含むピクチャを特定する情報及びそのピクチャ上の参照ブロックの位置及び範囲を表す情報を参照予測モード決定部13へ出力する。
参照予測モード決定部13は、符号化対象CTU内の適用可能な各PUについて、参照ブロックに少なくとも一部が含まれるPUについて適用された予測モードから、候補リストに含める予測モードを決定するための基準となる参照予測モードを決定する。
参照予測モード決定部13は、参照ブロックに含まれるPUが一つだけである場合、そのPUについて適用された予測モードを参照予測モードとする。一方、参照予測モード決定部13は、参照ブロックに少なくとも一部が含まれるPUが複数存在する場合、それらのPUと参照ブロックとが重なる部分の面積に応じて、参照予測モードの決定に利用するPUを選択する。
例えば、参照予測モード決定部13は、各PUについて、参照ブロックとそのPUとが重なる部分の面積を算出して、面積の分散値を、面積のバラツキ度として算出する。そして参照予測モード決定部13は、分散値を所定の閾値と比較する。なお、所定の閾値は、例えば、各PUについて参照ブロックと重なる部分の面積の平均値の2乗の10%に設定される。分散値が所定の閾値以上である場合、参照ブロックに含まれる各PU間の面積の差が比較的大きいと推定される。そこでこの場合には、参照予測モード決定部13は、参照ブロックに少なくとも一部が含まれるPUのうち、参照ブロックと重なる部分の面積が最大となるPUについて設定された予測モードを、参照予測モードとする。参照ブロックと重なる部分の面積が最大となるPUが、符号化対象CTU内の着目するPUとの相関性が最も高いと推定されるためである。
図5は、参照予測モードの決定方法の一例を示す図である。参照ブロック500に対して4個のPU501〜504が重なっている。また矢印及び矢印に付された番号は、各PUについて設定された予測モードを表す。この例では、PU504と参照ブロック500とが重なっている部分の面積が最大となっている。そこで、PU504について設定された予測モード'10'が参照予測モードとなる。
一方、分散値が所定の閾値未満である場合、参照ブロックに含まれる各PU間の面積の差が比較的小さく、この場合には、面積だけでは、符号化対象CTUに含まれる着目するPUとの相関性が最も高いPUを特定するのは困難である。そこでこの場合、参照予測モード決定部13は、参照ブロックに含まれる各PUを、参照方向の差が所定範囲内となるPU同士を同じグループに含めるようにグループ化する。例えば、参照予測モード決定部13は、予測モードを表す番号の差が所定値以下となるPU同士を同じグループに含める。所定値は、例えば、1または2に設定される。すなわち、参照予測モード決定部13は、グループ内に含まれる何れかのPUの予測モードとの差が所定値以下となるPUを、そのグループに含めてよい。ただし、図2に示される、予測モード'0'及び'1'はAngleモードではないので、参照予測モード決定部13は、予測モードが'0'のPUまたは予測モードが'1'のPUを含むグループには、予測モードが'2'〜'34'のPUを含めない。
参照予測モード決定部13は、グループごとに、参照ブロックとPUが重なる部分の面積の和を求め、その和が最大となるグループに含まれる各PUの予測モードの何れかを参照予測モードとする。例えば、参照予測モード決定部13は、予測モードの番号の平均値を四捨五入して得られる整数値、最頻値または中央値を参照予測モードとする。
図6は、参照予測モードの決定方法の他の一例を示す図である。参照ブロック600に対して4個のPU601〜604が重なっている。また矢印に付された番号は、各PUについて設定された予測モードを表す。この例では、PU601〜PU603が一つのグループに分類され、PU604が他のグループに分類される。右側に示されたグラフは、グループごとの面積の和を表す。このグラフにおいて、横軸は、グループに含まれる予測モードの番号を表し、縦軸は面積を表す。グラフ621は、PU604が含まれる面積の和を表し、グラフ622は、PU601〜PU603が含まれるグループの面積の和を表す。この例では、グラフ621及びグラフ622に示されるように、PU601〜PU603が含まれるグループの面積の和の方が、他方のグループの面積の和よりも大きい。そこで、参照予測モード決定部13は、PU601〜PU603に対して設定された予測モード'25'、'26'、'27'の平均値である予測モード'26'を参照予測モードとする。
図7は、参照予測モード決定処理の動作フローチャートである。
参照予測モード決定部13は、参照ブロックに含まれるPUは一つか否か判定する(ステップS101)。参照ブロックに含まれるPUが一つである場合(ステップS101−Yes)、参照予測モード決定部13は、参照ブロックに含まれるPUについて設定された予測モードを参照予測モードとする(ステップS102)。
参照予測モード決定部13は、参照ブロックに含まれるPUは一つか否か判定する(ステップS101)。参照ブロックに含まれるPUが一つである場合(ステップS101−Yes)、参照予測モード決定部13は、参照ブロックに含まれるPUについて設定された予測モードを参照予測モードとする(ステップS102)。
一方、参照ブロックに少なくとも一部が含まれるPUが複数ある場合(ステップS101−No)、参照予測モード決定部13は、各PUについて、参照ブロックと重なる部分の面積を算出し、その面積の分散値が閾値Th未満か否か判定する(ステップS103)。
面積の分散値が閾値Th以上である場合(ステップS103−No)、参照予測モード決定部13は、参照ブロックと重なる部分の面積が最大となるPUについて設定された予測モードを参照予測モードとする(ステップS104)。
一方、面積の分散値が閾値Th未満である場合(ステップS103−Yes)、参照予測モード決定部13は、各PUについて設定された予測モードの参照方向に基づいて各PUをグループ化する(ステップS105)。そして参照予測モード決定部13は、面積の和が最大となるグループについての予測モードの平均値を参照予測モードとする(ステップS106)。
ステップS102,S104またはS106の後、参照予測モード決定部13は、参照予測モード決定処理を終了する。
一方、面積の分散値が閾値Th未満である場合(ステップS103−Yes)、参照予測モード決定部13は、各PUについて設定された予測モードの参照方向に基づいて各PUをグループ化する(ステップS105)。そして参照予測モード決定部13は、面積の和が最大となるグループについての予測モードの平均値を参照予測モードとする(ステップS106)。
ステップS102,S104またはS106の後、参照予測モード決定部13は、参照予測モード決定処理を終了する。
なお、参照予測モード決定部13は、参照ブロックと各PUとが重なる部分の面積の分散値の代わりに、参照ブロックと重なる部分の面積が最大となるPUと、その面積が最小となるPUと、各PUと参照ブロックとが重なる部分の面積の平均値との分散を求めてもよい。この場合、所定の閾値は、例えば、その面積の平均値の2乗の20%とすることができる。
また、参照予測モード決定部13は、面積のバラツキ度として、面積の分散値の代わりに、参照ブロックと各PUとが重なる部分の面積の標準偏差を算出してもよい。そして参照予測モード決定部13は、標準偏差が所定の閾値以上の場合に、各PU間の面積の差が大きいと判定する。この場合、所定の閾値は、例えば、各PUについて参照ブロックと重なる部分の面積の平均値の10%に設定される。
あるいは、参照予測モード決定部13は、参照ブロックに含まれる各PUのうち、参照ブロックと重なる部分の面積が最大となるPUと、その面積が最小となるPUを求めてもよい。そして参照予測モード決定部13は、その面積の最大値と最小値の差を面積のバラツキ度として算出し、その差が所定の閾値より大きければ、各PU間の面積の差が大きいと判定してもよい。この場合、所定の閾値は、例えば、参照ブロックとPUとが重なる部分の面積の最大値の10%に設定される。
あるいはまた、参照予測モード決定部13は、予測モードごとに、その予測モードが設定されたPUと参照ブロックとが重なる部分の面積のヒストグラムを作成し、面積が最大となる予測モードを参照予測モードとしてもよい。あるいはまた、参照予測モード決定部13は、そのヒストグラムにおいて、各予測モードについて、その予測モードの面積と、その予測モードに隣接する複数の予測モードの面積との和を求め、その和が最大となる予測モードを参照予測モードとしてもよい。
さらに、参照予測モード決定部13は、参照ブロックに含まれるPUが複数ある場合、各PUについて設定された予測モードを、それぞれ参照予測モードとしてもよい。この場合、後述する候補リストに含まれる予測モードの数が、参照予測モードが一つの場合よりも増えるものの、符号化対象のCTUの符号量を最小化できる予測モードを選択できる可能性が高くなる。
さらにまた、参照予測モード決定部13は、参照ブロックに少なくとも一部が含まれるPU全てがインター予測符号化されている場合、すなわち、予測モードが設定されていない場合には、全ての予測モードを参照予測モードとしてもよい。また、参照予測モード決定部13は、上記のステップS104において、面積が最大となるPUがインター予測符号化されている場合も、全ての予測モードを参照予測モードにしてもよい。
あるいはまた、インター予測符号化されたPUについて、符号化モード決定部15が符号化モードを決定する際に、イントラ予測符号化モードで計算した符号化コストが最小となるときにそのPUに適用された予測モードが、そのPUと関連付けて記憶されていてもよい。この場合には、参照予測モード決定部13は、参照ブロックに少なくとも一部が含まれるPUがインター予測符号化されている場合、そのPUと関連付けて記憶されている予測モードを、参照予測モードの決定に利用してもよい。
参照予測モード決定部13は、符号化対象CTUに含まれる適用可能なPUのそれぞれについての参照予測モードを候補リスト作成部14へ出力する。
候補リスト作成部14は、符号化対象のCTUに含まれる、適用可能なPUごとに、そのPUについての参照予測モードに応じて、符号量の推定対象となる予測モードの候補である候補モードのリストを作成する。
参照予測モードは、着目するPUとの相関性が高いと推定される参照ブロックについて適用された予測モードに基づいて決定されている。そのため、着目するPUについても、参照予測モードの参照方向との差が小さい参照方向を持つ予測モードが、着目するPUの符号量を最小化できる予測モードである可能性が高い。
そこで、候補リスト作成部14は、参照予測モードの参照方向との差が所定範囲内となる参照方向を持つ予測モードを候補モードとして候補リストに登録する。この場合、所定範囲は、例えば、予測モードの番号で±1とすることができる。例えば、参照予測モードが'10'である場合、候補リストには、予測モード'9'、'10'及び'11'が候補モードとして登録される。なお、参照予測モードが'2'である場合、予測モード'1'はAngleモードではないので、候補リスト作成部14は、予測モード'1'の代わりに、予測モード'34'を候補リストに登録してもよい。同様に、参照予測モードが'34'である場合、候補リスト作成部14は、予測モード'2'を候補リストに登録してもよい。
そこで、候補リスト作成部14は、参照予測モードの参照方向との差が所定範囲内となる参照方向を持つ予測モードを候補モードとして候補リストに登録する。この場合、所定範囲は、例えば、予測モードの番号で±1とすることができる。例えば、参照予測モードが'10'である場合、候補リストには、予測モード'9'、'10'及び'11'が候補モードとして登録される。なお、参照予測モードが'2'である場合、予測モード'1'はAngleモードではないので、候補リスト作成部14は、予測モード'1'の代わりに、予測モード'34'を候補リストに登録してもよい。同様に、参照予測モードが'34'である場合、候補リスト作成部14は、予測モード'2'を候補リストに登録してもよい。
また、候補リスト作成部14は、参照予測モードが'0'、すなわち、intraPlanarモードであるか、または'1'、すなわち、intraDCモードである場合、予測モード'0'及び'1'をそれぞれ候補モードとして、候補リストに登録する。
候補リスト作成部14は、全ての候補モードを含む候補リストを作成する。なお、候補リスト作成部14は、着目するPUについて複数の参照予測モードが設定されている場合、参照予測モードごとに候補モードを決定し、決定した候補モードの全てを候補リストに含めてもよい。
候補リスト作成部14は、候補リストを符号化モード決定部15へ出力する。
符号化モード決定部15は、符号化対象のCTUにおいて、適用可能なCUサイズ、PUサイズ、TUサイズ、符号化モード及び予測モードの組み合わせを求める。そして符号化モード決定部15は、各組み合わせについて、符号量の推定値である符号化コストを算出する。そして符号化モード決定部15は、その符号化コストが最小となる組合せを符号化対象のCTUに適用するCUサイズ、PUサイズ、TUサイズ、符号化モード及び予測モードとする。
このように、本実施形態では、組み合わせを設定する際、符号化モード決定部15は、符号化モードをイントラ予測符号化モードとする場合、その組み合わせに含まれる予測モードを、候補リストに含まれる候補モードのなかから選択する。すなわち、符号化モード決定部15は、候補リストに含まれない予測モードを含む組み合わせを設定しないので、符号化コストを算出する組み合わせの数を減らすことができる。その結果として、符号化対象のCTUに適用されるCUサイズ、PUサイズ、TUサイズ、符号化モード及び予測モードの組み合わせを決定するための演算量が削減される。
符号化モード決定部15は、例えば、着目する組み合わせの符号化コストを算出するために、次式に従って、その組み合わせに含まれるTUごとに、予測誤差、すなわち画素差分絶対値和SADを算出する。
SAD=Σ|OrgPixel-PredPixel|
ここで、OrgPixelは符号化対象ピクチャの着目するブロック、例えば、TUに含まれる画素の値であり、PredPixelはHEVC規格で求められる、着目するブロックに対応する予測ブロックに含まれる画素の値である。予測ブロックは、着目する組み合わせに含まれる符号化モード(イントラ予測符号化モードまたはインター予測符号化モード)及び候補リストに含まれる候補モードに従って、符号化済みの参照ピクチャまたは符号化済みの他のブロックから生成される。
SAD=Σ|OrgPixel-PredPixel|
ここで、OrgPixelは符号化対象ピクチャの着目するブロック、例えば、TUに含まれる画素の値であり、PredPixelはHEVC規格で求められる、着目するブロックに対応する予測ブロックに含まれる画素の値である。予測ブロックは、着目する組み合わせに含まれる符号化モード(イントラ予測符号化モードまたはインター予測符号化モード)及び候補リストに含まれる候補モードに従って、符号化済みの参照ピクチャまたは符号化済みの他のブロックから生成される。
符号化モード決定部15は、着目する組み合わせについて、次式に従って符号化コストCostを算出する。
Cost = ΣSAD+λR
ここで、ΣSADは、符号化対象のCTUに含まれる各TUについて算出されたSADの総和である。またRは、動きベクトル、予測モードを表すフラグなど、直交変換係数以外の項目についての符号量の推定値である。そしてλは定数である。
Cost = ΣSAD+λR
ここで、ΣSADは、符号化対象のCTUに含まれる各TUについて算出されたSADの総和である。またRは、動きベクトル、予測モードを表すフラグなど、直交変換係数以外の項目についての符号量の推定値である。そしてλは定数である。
なお、符号化モード決定部15は、SADの代わりに、着目するブロックと予測ブロックとの差分画像をアダマール変換した後の各画素の絶対値和SATDなどを算出してもよい。
符号化モード決定部15は、符号化コストが最小となる組み合わせを求めると、その組み合わせに含まれる、符号化対象のCTUに適用するCUサイズ、PUサイズ、TUサイズ、符号化モード及び予測モードを符号化部16に出力する。なお、インター予測符号化されるCUについては、符号化モード決定部15は、そのCUに含まれるPUについて算出された動きベクトルも符号化部16へ出力する。
符号化部16は、符号化モード決定部15により決定されたCUサイズ、PUサイズ及びTUサイズに従って、符号化対象のCTUを分割する。そして符号化部16は、符号化モード決定部15により決定されたCUごとの符号化モードに従って、そのCUに含まれる各TUの予測ブロックを作成する。そして符号化部16は、符号化対象のCTUと予測ブロック間の予測誤差信号を、TUごとに直交変換して得られる直交変換係数を量子化及び可変長符号化することで、符号化対象のCTUを符号化する。
再度図3を参照すると、符号化部16は、予測ブロック生成部21と、予測誤差信号算出部22と、直交変換部23と、量子化部24と、復号部25と、可変長符号化部26とを有する。
再度図3を参照すると、符号化部16は、予測ブロック生成部21と、予測誤差信号算出部22と、直交変換部23と、量子化部24と、復号部25と、可変長符号化部26とを有する。
予測ブロック生成部21は、予測ブロックを生成する。予測ブロック生成部21は、符号化対象のCTUに含まれる着目するCUがインター予測符号化される場合、そのCUに含まれる各PUについて、そのPUに設定される動きベクトルを用いて参照ピクチャを動き補償することで予測ブロックを生成する。また、予測ブロック生成部21は、着目するCUがイントラ予測符号化される場合、そのCUに含まれる各PUについて、そのPUに適用される予測モードに従って、そのPUの周囲の符号化済みのブロックに含まれる画素から予測ブロックを生成する。
予測ブロック生成部21は、予測ブロックを予測誤差信号算出部22へ出力する。
予測誤差信号算出部22は、符号化対象のCTU内の各画素について、予測ブロックの対応する画素との差分演算を実行する。そして予測誤差信号算出部22は、その差分演算により得られた各画素に対応する差分値を、予測誤差信号とする。予測誤差信号算出部22は、予測誤差信号を直交変換部23へ出力する。
直交変換部23は、符号化対象のCTU内のTUごとに、予測誤差信号を直交変換することにより、直交変換係数の組を求める。例えば、直交変換部23は、直交変換処理として、離散コサイン変換(Discrete Cosine Transform、DCT)を用いることで、直交変換係数として、TUごとのDCT係数の組を得る。
直交変換部23は、TUごとの直交変換係数の組を量子化部24へ出力する。
直交変換部23は、TUごとの直交変換係数の組を量子化部24へ出力する。
量子化部24は、TUごとに、直交変換係数を量子化することにより、その直交変換係数の量子化係数を算出する。この量子化処理は、一定区間に含まれる信号値を一つの信号値で表す処理である。そしてその一定区間は、量子化幅と呼ばれる。例えば、量子化部24は、直交変換係数から、量子化幅に相当する所定数の下位ビットを切り捨てることにより、その直交変換係数を量子化する。量子化幅は、量子化パラメータによって決定される。例えば、量子化部24は、量子化パラメータの値に対する量子化幅の値を表す関数にしたがって、使用される量子化幅を決定する。またその関数は、量子化パラメータの値に対する単調増加関数とすることができ、予め設定される。
また量子化部24は、HEVCなどの動画像符号化規格に対応した様々な量子化パラメータ決定方法の何れかに従って量子化パラメータを決定すればよい。量子化部24は、例えば、MPEG-2の標準テストモデル5に関する量子化パラメータの算出方法を用いることができる。なお、MPEG-2の標準テストモデル5に関する量子化パラメータの算出方法に関しては、例えば、http://www.mpeg.org/MPEG/MSSG/tm5/Ch10/Ch10.htmlで特定されるURLを参照されたい。
量子化部24は、量子化処理を実行することにより、直交変換係数を表すために使用されるビットの数を削減できるので、符号化対象のCTUに含まれる情報量を低減できる。量子化部24は、量子化係数を復号部25及び可変長符号化部26へ出力する。
量子化部24は、量子化処理を実行することにより、直交変換係数を表すために使用されるビットの数を削減できるので、符号化対象のCTUに含まれる情報量を低減できる。量子化部24は、量子化係数を復号部25及び可変長符号化部26へ出力する。
復号部25は、符号化対象のCTUの量子化係数から、そのCTUよりも後のCTU及び符号化対象のCTUを含むピクチャよりも符号化順で後のピクチャを符号化するために参照される参照ピクチャを生成する。そのために、復号部25は、量子化係数に、量子化パラメータにより決定された量子化幅に相当する所定数を乗算することにより、量子化係数を逆量子化する。この逆量子化により、各TUの直交変換係数の組、例えば、DCT係数の組が復元される。その後、復号部25は、TUごとに、直交変換係数の組を逆直交変換処理する。例えば、直交変換部23がDCTを用いている場合、復号部25は、各TUに対して逆DCT処理を実行する。逆量子化処理及び逆直交変換処理を量子化信号に対して実行することにより、符号化前の予測誤差信号と同程度の情報を有する予測誤差信号が再生される。
復号部25は、予測ブロックの各画素値に、その画素に対応する再生された予測誤差信号を加算する。これらの処理を各予測ブロックについて実行することにより、復号部25は、その後に符号化されるPUに対する予測ブロックを生成するために参照されるブロックを復元する。さらに、復号部25は、復元したブロックに対してデブロッキングフィルタ処理を実行してもよい。
復号部25は、ブロックを復元する度に、その復元されたブロックを、記憶部17に記憶する。
復号部25は、ブロックを復元する度に、その復元されたブロックを、記憶部17に記憶する。
記憶部17は、復元されたブロックを一時的に記憶する。各ブロックの符号化順序にしたがって、1枚のピクチャ分の復元されたブロックを結合することで、後続するピクチャの符号化の際に参照されるピクチャが得られる。記憶部17は、符号化対象ピクチャが参照する可能性がある、予め定められた所定枚数分のピクチャを記憶し、記憶しているピクチャの枚数がその所定枚数を超えると、符号化順序が古いピクチャから順に破棄する。
さらに、記憶部17は、インター予測符号化されたPUのそれぞれについての動きベクトルを記憶する。
可変長符号化部26は、符号化対象のCTUに含まれる量子化係数を可変長符号化する。さらに、可変長符号化部26は、予測ブロックの作成に利用された動きベクトルなども可変長符号化する。そして可変長符号化部26は、その可変長符号化によって得られた符号化ビットを、HEVCなどに従って所定の順序に並べたビットストリームを出力する。なお、可変長符号化部26は、可変長符号化方式として、Context-based Adaptive Variable Length Coding (CAVLC)といったハフマン符号化処理あるいはContext-based Adaptive Binary Arithmetic Coding(CABAC)といった算術符号化処理を用いることができる。
制御部(図示せず)は、出力されたビットストリームを所定の順序で結合し、HEVCなどに従ったヘッダ情報などを付加することで、符号化された動画像データを含むビットストリームを得る。
図8は、動画像符号化装置1による動画像符号化処理の動作フローチャートである。動画像符号化装置1はCTUごとに、下記の動作フローチャートに従って符号化する。
制御部(図示せず)は、符号化対象のCTUが含まれる符号化対象ピクチャがPピクチャまたはBピクチャか否か判定する(ステップS201)。符号化対象ピクチャがPピクチャまたはBピクチャであれば(ステップS201−Yes)、動きベクトル算出部11は、CTU内で適用可能なPUごとに動きベクトルを算出する(ステップS202)。そして参照ブロック決定部12は、PUごとに、動きベクトルが示す参照ピクチャ上の領域を参照ブロックとする(ステップS203)。
一方、符号化対象ピクチャがIピクチャである場合(ステップS201−No)、参照ブロック決定部12は、PUごとに、直前のピクチャ上で着目PUと同一の領域を参照ブロックとする(ステップS204)。
ステップS203またはS204の後、参照予測モード決定部13は、参照ブロックに少なくとも一部が含まれるPUについて設定された予測モードに基づいて参照予測モードを決定する(ステップS205)。そして候補リスト作成部14は、参照予測モードに基づいて候補リストを作成する(ステップS206)。
符号化モード決定部15は、候補リストに含まれる候補モード、符号化モード、CUサイズ、PUサイズ、TUサイズの組み合わせのうちで符号化コストが最小となる組み合わせを決定する(ステップS207)。符号化部16の予測ブロック生成部21は、決定した組み合わせに含まれる符号化モード及び予測モードに従って、予測ブロックを算出する(ステップS208)。そして符号化部16の予測誤差信号算出部22は、TUごとに、TUとそのTUに対応する予測ブロック間で画素ごとに差分演算することで、予測誤差信号を算出する(ステップS209)。
その後、符号化部16の直交変換部23は、予測誤差信号をTUごとに直交変換して直交変換係数の組を算出する(ステップS210)。そして符号化部16の量子化部24は、各直交変換係数を量子化する(ステップS211)。
符号化部16の復号部25は、量子化係数を逆量子化及び逆直交変換して再生した予測誤差信号と予測ブロックを加算して参照ブロックを生成する(ステップS212)。そして復号部25は、その参照ブロックを記憶部17に記憶する。一方、符号化部16の可変長符号化部26は、各量子化係数を可変長符号化する(ステップS213)。そして動画像符号化装置1は、動画像符号化処理を終了する。
以上に説明してきたように、この動画像符号化装置は、符号化対象のブロックについて、そのブロックとの相関があると推定される参照ブロックに対して適用された予測モードに基づいて、そのPUに対して適用可能な予測モードの候補を設定する。そしてこの動画像符号化装置は、予測モードの候補の中から、実際に適用する予測モードを選択する。そのため、この動画像符号化装置は、予測モードの決定の際に符号化コストを求める予測モードの数を削減できるので、予測モードを決定するために要する演算量を削減できる。
次に、第2の実施形態による動画像符号化装置について説明する。第2の実施形態による動画像符号化装置は、符号化モードとしてインター予測符号化モードが選択されたブロックについて、そのブロックの参照ブロックの参照予測モードを、そのブロックの予測モードとして保存する。これにより、この動画像符号化装置は、参照ブロックに含まれる符号化済みのブロックがインター予測符号化されていたとしても、参照予測モードを適切に決定できるようにする。
図9は、第2の実施形態による動画像符号化装置の概略構成図である。動画像符号化装置2は、動きベクトル算出部11と、参照ブロック決定部12と、参照予測モード決定部13と、候補リスト作成部14と、符号化モード決定部15と、符号化部16と、記憶部17と、予測モード設定部18とを有する。
第2の実施形態による動画像符号化装置は、第1の実施形態による動画像符号化装置と比較して、予測モード設定部18を有する点と、符号化モード決定部15の処理が異なる。そこで以下では、予測モード設定部18、符号化モード決定部15及びその関連部分について説明する。動画像符号化装置2のその他の構成要素に関しては、動画像符号化装置1の対応する構成要素の説明を参照されたい。
参照予測モード決定部13が符号化対象のCTUについて適用可能な各PUについての参照予測モードを決定すると、その参照予測モードを候補リスト作成部14及び予測モード設定部18へ出力する。
そして、符号化モード決定部15は、符号化対象のCTUを含む符号化対象ピクチャがPピクチャまたはBピクチャである場合、先ず、適用可能なCUサイズ、PUサイズ、TUサイズの組み合わせごとに、インター予測符号化する場合の符号化コストを算出する。そして符号化モード決定部15は、各CUについて、符号化コストの最小値をインター予測コストとして、及び対応する組み合わせを表す情報とともに符号化モード決定部15が有するメモリに記憶する。
そして、符号化モード決定部15は、符号化対象のCTUを含む符号化対象ピクチャがPピクチャまたはBピクチャである場合、先ず、適用可能なCUサイズ、PUサイズ、TUサイズの組み合わせごとに、インター予測符号化する場合の符号化コストを算出する。そして符号化モード決定部15は、各CUについて、符号化コストの最小値をインター予測コストとして、及び対応する組み合わせを表す情報とともに符号化モード決定部15が有するメモリに記憶する。
符号化モード決定部15は、各CUのインター予測コストをスキップ判定閾値と比較する。なお、スキップ判定閾値は、例えば、各CUに対してイントラ予測符号化モードを適用して符号化したときの符号量の最小値に相当する符号化コストに設定される。符号化コストの最小値がスキップ判定閾値未満の場合、そのCUについて、インター予測符号化モードを適用した方が、イントラ予測符号化モードを適用するよりも符号量を少なくできると推定される。そこで符号化モード決定部15は、イントラ予測符号化モードを適用する場合の符号化コストを算出しない。
この場合、そのCUに含まれる各PUについては、予測モードが算出されない。そこで予測モード設定部18は、そのCUに含まれる各PUについて、参照ブロックについて設定された参照予測モードを、参照予測モード決定部13から受け取る。そして予測モード設定部18は、その参照予測モードを、対応するPUと関連付けて、記憶部17に記憶する。
一方、インター予測コストがスキップ判定閾値以上であるCUについては、インター予測符号化モードを適用するよりも、イントラ予測符号化モードを適用した方が符号量が少なくなる可能性がある。そこでこのCUについては、候補リスト作成部14は、適用可能なPUのそれぞれについて候補リストを作成する。
そして符号化モード決定部15は、インター予測コストがスキップ判定閾値以上であるCUについて、適用可能なPUサイズ、TUサイズ、候補リストに含まれる候補モードの組み合わせのそれぞれについても、符号化コストを算出する。そして符号化モード決定部15は、符号化コストの最小値を、イントラ予測コストとする。
そして符号化モード決定部15は、インター予測コストがスキップ判定閾値以上であるCUについて、適用可能なPUサイズ、TUサイズ、候補リストに含まれる候補モードの組み合わせのそれぞれについても、符号化コストを算出する。そして符号化モード決定部15は、符号化コストの最小値を、イントラ予測コストとする。
符号化モード決定部15は、イントラ予測コストが算出されたCUについては、インター予測コストとイントラ予測コストを比較する。インター予測コストがイントラ予測コスト以下である場合、符号化モード決定部15は、インター予測コストに対応するPUサイズ、TUサイズとインター予測符号化モードの組み合わせを、そのCUに対して適用すると判定する。
一方、インター予測コストがイントラ予測コストよりも大きい場合、符号化モード決定部15は、イントラ予測コストに対応するPUサイズ、TUサイズとイントラ予測符号化モード及び予測モードの組み合わせを、そのCUに対して適用すると判定する。
一方、インター予測コストがイントラ予測コストよりも大きい場合、符号化モード決定部15は、イントラ予測コストに対応するPUサイズ、TUサイズとイントラ予測符号化モード及び予測モードの組み合わせを、そのCUに対して適用すると判定する。
符号化モード決定部15は、CUサイズごとの符号化コストを比較し、符号化コストが最小となるCUについて適用されるPUサイズ、TUサイズ、符号化モード及び予測モードの組み合わせを符号化部16に通知する。そして符号化部16は、通知された組み合わせに従って、符号化対象のCTUを符号化する。
図10は、第2の実施形態による動画像符号化処理の動作フローチャートである。この動作フローチャートでは、第1の実施形態による動画像符号化処理と異なる部分について説明する。
図8に示されたステップS205の処理の後、符号化モード決定部15は、符号化対象のCTUに対して適用可能なCUのうち、着目するCUを設定する。そして符号化モード決定部15は、着目するCUについて、適用可能なPUサイズ、TUサイズの組み合わせのそれぞれについて、インター予測符号化する場合の符号化コストを算出し、その最小値をインター予測コストとする(ステップS301)。そして符号化モード決定部15は、そのCUについてインター予測コストがスキップ判定閾値Ths未満か否か判定する(ステップS302)。
インター予測コストがスキップ判定閾値Ths未満である場合(ステップS302−Yes)、符号化モード決定部15は、着目するCUに適用する符号化モードを、インター予測符号化モードとする(ステップS303)。また予測モード設定部18は、インター予測コストに対応するPUサイズ、TUサイズの組み合わせで規定された各PUに、そのPUについての参照予測モードを対応付けて記憶する(ステップS304)。
一方、インター予測コストがスキップ判定閾値Ths以上である場合(ステップS302−No)、候補リスト作成部14は、着目するCUについて適用可能な各PUについての候補リストを作成する(ステップS305)。そして符号化モード決定部15は、適用可能なPUサイズ、TUサイズと、符号化モードとしてのイントラ予測符号化モードと、候補モードの組み合わせごとに符号化コストを算出し、その最小値をイントラ予測コストとする(ステップS306)。
符号化モード決定部15は、インター予測コストとイントラ予測コストのうち、小さい方に対応する符号化モードを、着目するCUに適用する符号化モードとする(ステップS307)。
ステップS304またはステップS307の後、動画像符号化装置2は、全てのCUについてステップS301〜S307の処理が終了したか否か判定する(ステップS308)。ステップS301〜S307の処理が終了していないCUがあれば(ステップS308−No)、動画像符号化装置2は、そのCUについてステップS301〜S307の処理を実行する。
一方、全てのCUについてステップS301〜S307の処理が終了している場合(ステップS308−Yes)、符号化モード決定部15は、符号化コストが最小となるCUサイズを適用するCUサイズに設定する。そして符号化モード決定部15は、そのCUサイズに対応するPUサイズ、TUサイズ、符号化モード及び予測モードの組み合わせを、符号化対象のCTUに適用する組み合わせとして選択する(ステップS309)。その後、動画像符号化装置2は、図8に示された動画像符号化処理の動作フローチャートのステップS208以降の処理を実行する。
第2の実施形態によれば、動画像符号化装置は、イントラ予測符号化が適用されないブロックについても予測モードを設定する。そのため、動画像符号化装置は、参照ブロックに含まれるブロックがインター予測符号化されていても、適切な参照予測モードを決定できるので、適切な候補モードを設定できる。
また、上記の各実施形態の変形例によれば、候補リスト作成部14は、着目するPUについての候補リストに、既に符号化された、着目するPUの周辺の所定範囲内にあるPUについて設定された予測モードを、候補モードの一つとして追加してもよい。なお、着目するPUの周辺の所定範囲内にあるPUは、例えば、着目するPUの左側または上側に隣接するPUとすることができる。ピクチャ内で隣接するブロック同士は、相関性が高いことがあるので、このように周辺のPUの予測モードも候補モードとすることで、符号化モード決定部15は、より適切な予測モードを選択できる可能性が高くなる。
また他の変形例によれば、所定周期のピクチャごとに、候補リスト作成部14は、全ての予測モードを候補モードとしてもよい。なお、所定周期のピクチャは、例えば、Group Of Picturesに規定される先頭のIピクチャとすることができる。これにより、例えば、シーンチェンジなどにより、ピクチャ間での相関が無くなることで、符号量を最小化できる予測モードが候補リストに含まれなくなった場合でも、動画像符号化装置は、所定周期ごとに、最適な予測モードを決定できる。
また、この動画像符号化装置は、HEVC以外の互いに参照方向が異なる複数の予測モードが規定された動画像符号化方式にも適用できる。さらに、この動画像符号化装置は、符号化モード及び予測モードの適用単位となるブロックのサイズが固定されている動画像符号化方式にも適用できる。この場合には、上記の各実施形態またはその変形例による動画像符号化装置の各部は、CUサイズ、PUサイズ及びTUサイズを全て同一の特定のサイズとして、上記の処理を実行すればよい。
図11は、上記の実施形態またはその変形例による動画像符号化装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置として動作するコンピュータの構成図である。
コンピュータ100は、ユーザインターフェース部101と、通信インターフェース部102と、記憶部103と、記憶媒体アクセス装置104と、プロセッサ105とを有する。プロセッサ105は、ユーザインターフェース部101、通信インターフェース部102、記憶部103及び記憶媒体アクセス装置104と、例えば、バスを介して接続される。
ユーザインターフェース部101は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部101は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部101は、例えば、ユーザの操作に応じて、符号化する動画像データを選択する操作信号をプロセッサ105へ出力する。
通信インターフェース部102は、コンピュータ100を、動画像データを生成する装置、例えば、ビデオカメラと接続するための通信インターフェース及びその制御回路を有してもよい。そのような通信インターフェースは、例えば、Universal Serial Bus(ユニバーサル・シリアル・バス、USB)とすることができる。
さらに、通信インターフェース部102は、イーサネット(登録商標)などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。
この場合には、通信インターフェース部102は、通信ネットワークに接続された他の機器から、符号化する動画像データを取得し、そのデータをプロセッサ105へ渡す。また通信インターフェース部102は、プロセッサ105から受け取った、符号化動画像データを通信ネットワークを介して他の機器へ出力してもよい。
記憶部103は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部103は、プロセッサ105上で実行される、動画像符号化処理を実行するためのコンピュータプログラム、及びこれらの処理の途中または結果として生成されるデータを記憶する。
記憶媒体アクセス装置104は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体106にアクセスする装置である。記憶媒体アクセス装置104は、例えば、記憶媒体106に記憶されたプロセッサ105上で実行される、動画像符号化処理用のコンピュータプログラムを読み込み、プロセッサ105に渡す。
プロセッサ105は、上記の実施形態または変形例による動画像符号化処理用コンピュータプログラムを実行することにより、符号化動画像データを生成する。そしてプロセッサ105は、生成された符号化動画像データを記憶部103に保存し、または通信インターフェース部102を介して他の機器へ出力する。
なお、動画像符号化装置1の各部の機能をプロセッサ上で実行可能なコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。ただし、そのような記録媒体には、搬送波は含まれない。
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
(付記1)
動画像データに含まれる符号化対象ピクチャが分割された複数のブロックのうちの符号化対象ブロックを符号化する動画像符号化装置であって、
前記符号化対象ピクチャよりも前に符号化された参照ピクチャ上で、前記符号化対象ブロックと相関性があると推定される参照ブロックを特定する参照ブロック決定部と、
前記動画像データに含まれるピクチャ上のブロックを符号化するために利用する予測ブロックを生成する際に当該ピクチャ上の既に符号化された領域に対する参照方向を規定する複数の予測モードのうち、前記参照ブロックに少なくとも一部が含まれる符号化済みのブロックについて設定された予測モードから参照予測モードを決定する参照予測モード決定部と、
前記参照予測モードに応じて、前記複数の予測モードから選択した予測モードを含む候補リストを作成する候補リスト作成部と、
前記候補リストに含まれる予測モードのそれぞれについて、当該予測モードを用いて前記符号化対象ブロックを符号化したときの符号量の推定値を算出し、当該推定値が最小となる予測モードを前記符号化対象ブロックに対して適用する予測モードとして選択する符号化モード決定部と、
前記選択された予測モードに従って予測ブロックを生成し、該予測ブロックと前記符号化対象ブロック間の差分演算を行って得られる予測誤差信号を符号化する符号化部と、
を有する動画像符号化装置。
(付記2)
前記参照ブロック決定部は、前記符号化対象ピクチャが、前記参照ピクチャを参照して符号化するインター予測符号化モードを適用可能なピクチャである場合、前記参照ピクチャ上で前記符号化対象ブロックと最も一致する領域を前記参照ブロックとする、付記1に記載の動画像符号化装置。
(付記3)
前記参照ブロック決定部は、前記符号化対象ピクチャが、前記参照ピクチャを参照して符号化するインター予測符号化モードが適用されないピクチャである場合、再生順序で前記符号化対象ピクチャの直前のピクチャを前記参照ピクチャとし、かつ、前記参照ピクチャ上で前記符号化対象ブロックと同じ位置にある領域を前記参照ブロックとする、付記1に記載の動画像符号化装置。
(付記4)
前記参照予測モード決定部は、前記参照ブロックに少なくとも一部が含まれる符号化済みのブロックが一つである場合、前記複数の予測モードのうち、当該符号化済みのブロックについて設定された予測モードを前記参照予測モードとする、付記1〜3の何れか一項に記載の動画像符号化装置。
(付記5)
前記参照予測モード決定部は、前記参照ブロックに少なくとも一部が含まれる符号化済みのブロックが複数ある場合、前記複数の符号化済みのブロックのそれぞれについて、当該符号化済みのブロックと前記参照ブロックとが重なる面積を算出し、当該面積のバラツキ度が所定の閾値以上である場合、当該面積が最大となる符号化済みのブロックについて設定された予測モードを前記参照予測モードとする、付記1〜4の何れか一項に記載の動画像符号化装置。
(付記6)
前記参照予測モード決定部は、前記面積のバラツキ度が前記所定の閾値未満である場合、前記複数の符号化済みのブロックのそれぞれに設定された予測モードを、前記予測モードに対応する参照方向に応じてグループ化してグループごとに前記面積の和を算出し、当該面積の和が最大となるグループに含まれる予測モードの何れかを前記参照予測モードとする、付記5に記載の動画像符号化装置。
(付記7)
前記参照予測モード決定部は、前記参照ブロックに少なくとも一部が含まれる符号化済みのブロックが複数ある場合、前記複数の符号化済みのブロックのそれぞれに設定された予測モードを前記参照予測モードとする、付記1〜4の何れか一項に記載の動画像符号化装置。
(付記8)
前記符号化モード決定部は、前記符号化対象ピクチャが、当該参照ピクチャを参照して符号化するインター予測符号化モードを適用可能なピクチャである場合、前記符号化対象ブロックを前記インター予測符号化モードで符号化したときの符号量の推定値を算出し、前記符号量の推定値がスキップ判定閾値未満である場合、前記符号化対象ブロックを前記インター予測符号化モードで符号化すると判定し、
前記符号量の推定値が前記スキップ判定閾値未満である場合、前記参照予測モードを前記符号化対象ブロックの前記予測モードとする予測モード設定部をさらに有する、付記1に記載の動画像符号化装置。
(付記9)
前記候補リスト作成部は、前記複数の予測モードのうち、前記参照予測モードの前記参照方向との差を所定範囲内となる参照方向を持つ予測モードを前記候補リストに含める、付記1〜8の何れか一項に記載の動画像符号化装置。
(付記10)
前記候補リスト作成部は、前記符号化対象ブロックから所定範囲内にあり、かつ、符号化済みのブロックに対して設定された予測モードを前記候補リストに含める、付記9に記載の動画像符号化装置。
(付記11)
動画像データに含まれる符号化対象ピクチャが分割された複数のブロックのうちの符号化対象ブロックを符号化する動画像符号化方法であって、
前記符号化対象ピクチャよりも前に符号化された参照ピクチャ上で、前記符号化対象ブロックと相関性があると推定される参照ブロックを特定し、
前記動画像データに含まれるピクチャ上のブロックを符号化するために利用する予測ブロックを生成する際に当該ピクチャ上の既に符号化された領域に対する参照方向を規定する複数の予測モードのうち、前記参照ブロックに少なくとも一部が含まれる符号化済みのブロックについて設定された予測モードから参照予測モードを決定し、
前記参照予測モードに応じて、前記複数の予測モードから選択した予測モードを含む候補リストを作成し、
前記候補リストに含まれる予測モードのそれぞれについて、当該予測モードを用いて前記符号化対象ブロックを符号化したときの符号量の推定値を算出し、当該推定値が最小となる予測モードを前記符号化対象ブロックに対して適用する予測モードとして選択し、
前記選択された予測モードに従って予測ブロックを生成し、該予測ブロックと前記符号化対象ブロック間の差分演算を行って得られる予測誤差信号を符号化する、
ことを含む動画像符号化方法。
(付記12)
動画像データに含まれる符号化対象ピクチャが分割された複数のブロックのうちの符号化対象ブロックを符号化することをコンピュータに実行させるための動画像符号化用コンピュータプログラムであって、
前記符号化対象ピクチャよりも前に符号化された参照ピクチャ上で、前記符号化対象ブロックと相関性があると推定される参照ブロックを特定し、
前記動画像データに含まれるピクチャ上のブロックを符号化するために利用する予測ブロックを生成する際に当該ピクチャ上の既に符号化された領域内の参照方向を規定する複数の予測モードのうち、前記参照ブロックに少なくとも一部が含まれる符号化済みのブロックについて設定された予測モードから参照予測モードを決定し、
前記参照予測モードに応じて、前記複数の予測モードから選択した予測モードを含む候補リストを作成し、
前記候補リストに含まれる予測モードのそれぞれについて、当該予測モードを用いて前記符号化対象ブロックを符号化したときの符号量の推定値を算出し、当該推定値が最小となる予測モードを前記符号化対象ブロックに対して適用する予測モードとして選択し、
前記選択された予測モードに従って予測ブロックを生成し、該予測ブロックと前記符号化対象ブロック間の差分演算を行って得られる予測誤差信号を符号化する、
ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。
(付記1)
動画像データに含まれる符号化対象ピクチャが分割された複数のブロックのうちの符号化対象ブロックを符号化する動画像符号化装置であって、
前記符号化対象ピクチャよりも前に符号化された参照ピクチャ上で、前記符号化対象ブロックと相関性があると推定される参照ブロックを特定する参照ブロック決定部と、
前記動画像データに含まれるピクチャ上のブロックを符号化するために利用する予測ブロックを生成する際に当該ピクチャ上の既に符号化された領域に対する参照方向を規定する複数の予測モードのうち、前記参照ブロックに少なくとも一部が含まれる符号化済みのブロックについて設定された予測モードから参照予測モードを決定する参照予測モード決定部と、
前記参照予測モードに応じて、前記複数の予測モードから選択した予測モードを含む候補リストを作成する候補リスト作成部と、
前記候補リストに含まれる予測モードのそれぞれについて、当該予測モードを用いて前記符号化対象ブロックを符号化したときの符号量の推定値を算出し、当該推定値が最小となる予測モードを前記符号化対象ブロックに対して適用する予測モードとして選択する符号化モード決定部と、
前記選択された予測モードに従って予測ブロックを生成し、該予測ブロックと前記符号化対象ブロック間の差分演算を行って得られる予測誤差信号を符号化する符号化部と、
を有する動画像符号化装置。
(付記2)
前記参照ブロック決定部は、前記符号化対象ピクチャが、前記参照ピクチャを参照して符号化するインター予測符号化モードを適用可能なピクチャである場合、前記参照ピクチャ上で前記符号化対象ブロックと最も一致する領域を前記参照ブロックとする、付記1に記載の動画像符号化装置。
(付記3)
前記参照ブロック決定部は、前記符号化対象ピクチャが、前記参照ピクチャを参照して符号化するインター予測符号化モードが適用されないピクチャである場合、再生順序で前記符号化対象ピクチャの直前のピクチャを前記参照ピクチャとし、かつ、前記参照ピクチャ上で前記符号化対象ブロックと同じ位置にある領域を前記参照ブロックとする、付記1に記載の動画像符号化装置。
(付記4)
前記参照予測モード決定部は、前記参照ブロックに少なくとも一部が含まれる符号化済みのブロックが一つである場合、前記複数の予測モードのうち、当該符号化済みのブロックについて設定された予測モードを前記参照予測モードとする、付記1〜3の何れか一項に記載の動画像符号化装置。
(付記5)
前記参照予測モード決定部は、前記参照ブロックに少なくとも一部が含まれる符号化済みのブロックが複数ある場合、前記複数の符号化済みのブロックのそれぞれについて、当該符号化済みのブロックと前記参照ブロックとが重なる面積を算出し、当該面積のバラツキ度が所定の閾値以上である場合、当該面積が最大となる符号化済みのブロックについて設定された予測モードを前記参照予測モードとする、付記1〜4の何れか一項に記載の動画像符号化装置。
(付記6)
前記参照予測モード決定部は、前記面積のバラツキ度が前記所定の閾値未満である場合、前記複数の符号化済みのブロックのそれぞれに設定された予測モードを、前記予測モードに対応する参照方向に応じてグループ化してグループごとに前記面積の和を算出し、当該面積の和が最大となるグループに含まれる予測モードの何れかを前記参照予測モードとする、付記5に記載の動画像符号化装置。
(付記7)
前記参照予測モード決定部は、前記参照ブロックに少なくとも一部が含まれる符号化済みのブロックが複数ある場合、前記複数の符号化済みのブロックのそれぞれに設定された予測モードを前記参照予測モードとする、付記1〜4の何れか一項に記載の動画像符号化装置。
(付記8)
前記符号化モード決定部は、前記符号化対象ピクチャが、当該参照ピクチャを参照して符号化するインター予測符号化モードを適用可能なピクチャである場合、前記符号化対象ブロックを前記インター予測符号化モードで符号化したときの符号量の推定値を算出し、前記符号量の推定値がスキップ判定閾値未満である場合、前記符号化対象ブロックを前記インター予測符号化モードで符号化すると判定し、
前記符号量の推定値が前記スキップ判定閾値未満である場合、前記参照予測モードを前記符号化対象ブロックの前記予測モードとする予測モード設定部をさらに有する、付記1に記載の動画像符号化装置。
(付記9)
前記候補リスト作成部は、前記複数の予測モードのうち、前記参照予測モードの前記参照方向との差を所定範囲内となる参照方向を持つ予測モードを前記候補リストに含める、付記1〜8の何れか一項に記載の動画像符号化装置。
(付記10)
前記候補リスト作成部は、前記符号化対象ブロックから所定範囲内にあり、かつ、符号化済みのブロックに対して設定された予測モードを前記候補リストに含める、付記9に記載の動画像符号化装置。
(付記11)
動画像データに含まれる符号化対象ピクチャが分割された複数のブロックのうちの符号化対象ブロックを符号化する動画像符号化方法であって、
前記符号化対象ピクチャよりも前に符号化された参照ピクチャ上で、前記符号化対象ブロックと相関性があると推定される参照ブロックを特定し、
前記動画像データに含まれるピクチャ上のブロックを符号化するために利用する予測ブロックを生成する際に当該ピクチャ上の既に符号化された領域に対する参照方向を規定する複数の予測モードのうち、前記参照ブロックに少なくとも一部が含まれる符号化済みのブロックについて設定された予測モードから参照予測モードを決定し、
前記参照予測モードに応じて、前記複数の予測モードから選択した予測モードを含む候補リストを作成し、
前記候補リストに含まれる予測モードのそれぞれについて、当該予測モードを用いて前記符号化対象ブロックを符号化したときの符号量の推定値を算出し、当該推定値が最小となる予測モードを前記符号化対象ブロックに対して適用する予測モードとして選択し、
前記選択された予測モードに従って予測ブロックを生成し、該予測ブロックと前記符号化対象ブロック間の差分演算を行って得られる予測誤差信号を符号化する、
ことを含む動画像符号化方法。
(付記12)
動画像データに含まれる符号化対象ピクチャが分割された複数のブロックのうちの符号化対象ブロックを符号化することをコンピュータに実行させるための動画像符号化用コンピュータプログラムであって、
前記符号化対象ピクチャよりも前に符号化された参照ピクチャ上で、前記符号化対象ブロックと相関性があると推定される参照ブロックを特定し、
前記動画像データに含まれるピクチャ上のブロックを符号化するために利用する予測ブロックを生成する際に当該ピクチャ上の既に符号化された領域内の参照方向を規定する複数の予測モードのうち、前記参照ブロックに少なくとも一部が含まれる符号化済みのブロックについて設定された予測モードから参照予測モードを決定し、
前記参照予測モードに応じて、前記複数の予測モードから選択した予測モードを含む候補リストを作成し、
前記候補リストに含まれる予測モードのそれぞれについて、当該予測モードを用いて前記符号化対象ブロックを符号化したときの符号量の推定値を算出し、当該推定値が最小となる予測モードを前記符号化対象ブロックに対して適用する予測モードとして選択し、
前記選択された予測モードに従って予測ブロックを生成し、該予測ブロックと前記符号化対象ブロック間の差分演算を行って得られる予測誤差信号を符号化する、
ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。
1、2 動画像符号化装置
11 動きベクトル算出部
12 参照ブロック決定部
13 参照予測モード決定部
14 候補リスト作成部
15 符号化モード決定部
16 符号化部
17 記憶部
18 予測モード設定部
21 予測ブロック生成部
22 予測誤差信号算出部
23 直交変換部
24 量子化部
25 復号部
26 可変長符号化部
100 コンピュータ
101 ユーザインターフェース部
102 通信インターフェース部
103 記憶部
104 記憶媒体アクセス装置
105 プロセッサ
11 動きベクトル算出部
12 参照ブロック決定部
13 参照予測モード決定部
14 候補リスト作成部
15 符号化モード決定部
16 符号化部
17 記憶部
18 予測モード設定部
21 予測ブロック生成部
22 予測誤差信号算出部
23 直交変換部
24 量子化部
25 復号部
26 可変長符号化部
100 コンピュータ
101 ユーザインターフェース部
102 通信インターフェース部
103 記憶部
104 記憶媒体アクセス装置
105 プロセッサ
Claims (9)
- 動画像データに含まれる符号化対象ピクチャが分割された複数のブロックのうちの符号化対象ブロックを符号化する動画像符号化装置であって、
前記符号化対象ピクチャよりも前に符号化された参照ピクチャ上で、前記符号化対象ブロックと相関性があると推定される参照ブロックを特定する参照ブロック決定部と、
前記動画像データに含まれるピクチャ上のブロックを符号化するために利用する予測ブロックを生成する際に当該ピクチャ上の既に符号化された領域に対する参照方向を規定する複数の予測モードのうち、前記参照ブロックに少なくとも一部が含まれる符号化済みのブロックについて設定された予測モードから参照予測モードを決定する参照予測モード決定部と、
前記参照予測モードに応じて、前記複数の予測モードから選択した予測モードを含む候補リストを作成する候補リスト作成部と、
前記候補リストに含まれる予測モードのそれぞれについて、当該予測モードを用いて前記符号化対象ブロックを符号化したときの符号量の推定値を算出し、当該推定値が最小となる予測モードを前記符号化対象ブロックに対して適用する予測モードとして選択する符号化モード決定部と、
前記選択された予測モードに従って予測ブロックを生成し、該予測ブロックと前記符号化対象ブロック間の差分演算を行って得られる予測誤差信号を符号化する符号化部と、
を有する動画像符号化装置。 - 前記参照ブロック決定部は、前記符号化対象ピクチャが、前記参照ピクチャを参照して符号化するインター予測符号化モードを適用可能なピクチャである場合、前記参照ピクチャ上で前記符号化対象ブロックと最も一致する領域を前記参照ブロックとする、請求項1に記載の動画像符号化装置。
- 前記参照ブロック決定部は、前記符号化対象ピクチャが、前記参照ピクチャを参照して符号化するインター予測符号化モードが適用されないピクチャである場合、再生順序で前記符号化対象ピクチャの直前のピクチャを前記参照ピクチャとし、かつ、前記参照ピクチャ上で前記符号化対象ブロックと同じ位置にある領域を前記参照ブロックとする、請求項1に記載の動画像符号化装置。
- 前記参照予測モード決定部は、前記参照ブロックに少なくとも一部が含まれる符号化済みのブロックが複数ある場合、前記複数の符号化済みのブロックのそれぞれについて、当該符号化済みのブロックと前記参照ブロックとが重なる面積を算出し、当該面積のバラツキ度が所定の閾値以上である場合、当該面積が最大となる符号化済みのブロックについて設定された予測モードを前記参照予測モードとする、請求項1〜3の何れか一項に記載の動画像符号化装置。
- 前記参照予測モード決定部は、前記面積のバラツキ度が前記所定の閾値未満である場合、前記複数の符号化済みのブロックのそれぞれに設定された予測モードを、前記予測モードに対応する参照方向に応じてグループ化してグループごとに前記面積の和を算出し、当該面積の和が最大となるグループに含まれる予測モードの何れかを前記参照予測モードとする、請求項4に記載の動画像符号化装置。
- 前記符号化モード決定部は、前記符号化対象ピクチャが、当該参照ピクチャを参照して符号化するインター予測符号化モードを適用可能なピクチャである場合、前記符号化対象ブロックを前記インター予測符号化モードで符号化したときの符号量の推定値を算出し、前記符号量の推定値がスキップ判定閾値未満である場合、前記符号化対象ブロックを前記インター予測符号化モードで符号化すると判定し、
前記符号量の推定値がスキップ判定閾値未満である場合、前記参照予測モードを前記符号化対象ブロックの前記予測モードとする予測モード設定部をさらに有する、請求項1に記載の動画像符号化装置。 - 前記候補リスト作成部は、前記複数の予測モードのうち、前記参照予測モードの前記参照方向との差を所定範囲内となる参照方向を持つ予測モードを前記候補リストに含める、請求項1〜6の何れか一項に記載の動画像符号化装置。
- 動画像データに含まれる符号化対象ピクチャが分割された複数のブロックのうちの符号化対象ブロックを符号化する動画像符号化方法であって、
前記符号化対象ピクチャよりも前に符号化された参照ピクチャ上で、前記符号化対象ブロックと相関性があると推定される参照ブロックを特定し、
前記動画像データに含まれるピクチャ上のブロックを符号化するために利用する予測ブロックを生成する際に当該ピクチャ上の既に符号化された領域に対する参照方向を規定する複数の予測モードのうち、前記参照ブロックに少なくとも一部が含まれる符号化済みのブロックについて設定された予測モードから参照予測モードを決定し、
前記参照予測モードに応じて、前記複数の予測モードから選択した予測モードを含む候補リストを作成し、
前記候補リストに含まれる予測モードのそれぞれについて、当該予測モードを用いて前記符号化対象ブロックを符号化したときの符号量の推定値を算出し、当該推定値が最小となる予測モードを前記符号化対象ブロックに対して適用する予測モードとして選択し、
前記選択された予測モードに従って予測ブロックを生成し、該予測ブロックと前記符号化対象ブロック間の差分演算を行って得られる予測誤差信号を符号化する、
ことを含む動画像符号化方法。 - 動画像データに含まれる符号化対象ピクチャが分割された複数のブロックのうちの符号化対象ブロックを符号化することをコンピュータに実行させるための動画像符号化用コンピュータプログラムであって、
前記符号化対象ピクチャよりも前に符号化された参照ピクチャ上で、前記符号化対象ブロックと相関性があると推定される参照ブロックを特定し、
前記動画像データに含まれるピクチャ上のブロックを符号化するために利用する予測ブロックを生成する際に当該ピクチャ上の既に符号化された領域内の参照方向を規定する複数の予測モードのうち、前記参照ブロックに少なくとも一部が含まれる符号化済みのブロックについて設定された予測モードから参照予測モードを決定し、
前記参照予測モードに応じて、前記複数の予測モードから選択した予測モードを含む候補リストを作成し、
前記候補リストに含まれる予測モードのそれぞれについて、当該予測モードを用いて前記符号化対象ブロックを符号化したときの符号量の推定値を算出し、当該推定値が最小となる予測モードを前記符号化対象ブロックに対して適用する予測モードとして選択し、
前記選択された予測モードに従って予測ブロックを生成し、該予測ブロックと前記符号化対象ブロック間の差分演算を行って得られる予測誤差信号を符号化する、
ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014092909A JP2015211386A (ja) | 2014-04-28 | 2014-04-28 | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014092909A JP2015211386A (ja) | 2014-04-28 | 2014-04-28 | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015211386A true JP2015211386A (ja) | 2015-11-24 |
Family
ID=54613274
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014092909A Pending JP2015211386A (ja) | 2014-04-28 | 2014-04-28 | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015211386A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020071871A1 (ko) * | 2018-10-05 | 2020-04-09 | 엘지전자 주식회사 | 영상 서비스 처리 방법 및 그 장치 |
US10986332B2 (en) | 2017-06-23 | 2021-04-20 | Tencent Technology (Shenzhen) Company Limited | Prediction mode selection method, video encoding device, and storage medium |
CN113824960A (zh) * | 2019-11-13 | 2021-12-21 | 腾讯科技(深圳)有限公司 | 视频编码方法、装置、计算机可读介质及电子设备 |
CN115280770A (zh) * | 2020-03-26 | 2022-11-01 | 阿里巴巴集团控股有限公司 | 用于对视频进行编码或解码的方法和装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007202150A (ja) * | 2006-01-23 | 2007-08-09 | Samsung Electronics Co Ltd | 可変ブロックサイズ動き予測のための符号化モードの決定方法及び装置 |
JP2009055542A (ja) * | 2007-08-29 | 2009-03-12 | Toshiba Corp | 動画像符号化装置および動画像符号化方法 |
US20090296812A1 (en) * | 2008-05-28 | 2009-12-03 | Korea Polytechnic University Industry Academic Cooperation Foundation | Fast encoding method and system using adaptive intra prediction |
WO2011138900A1 (ja) * | 2010-05-06 | 2011-11-10 | 日本電信電話株式会社 | 映像符号化制御方法および装置 |
JP2013126157A (ja) * | 2011-12-15 | 2013-06-24 | Sony Corp | 画像処理装置及び画像処理方法 |
-
2014
- 2014-04-28 JP JP2014092909A patent/JP2015211386A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007202150A (ja) * | 2006-01-23 | 2007-08-09 | Samsung Electronics Co Ltd | 可変ブロックサイズ動き予測のための符号化モードの決定方法及び装置 |
JP2009055542A (ja) * | 2007-08-29 | 2009-03-12 | Toshiba Corp | 動画像符号化装置および動画像符号化方法 |
US20090296812A1 (en) * | 2008-05-28 | 2009-12-03 | Korea Polytechnic University Industry Academic Cooperation Foundation | Fast encoding method and system using adaptive intra prediction |
WO2011138900A1 (ja) * | 2010-05-06 | 2011-11-10 | 日本電信電話株式会社 | 映像符号化制御方法および装置 |
JP2013126157A (ja) * | 2011-12-15 | 2013-06-24 | Sony Corp | 画像処理装置及び画像処理方法 |
Non-Patent Citations (1)
Title |
---|
MIN-CHEOL HWANG ET AL.: "Fast Intra Prediction Mode Selection Scheme Using Temporal Correlation in H.264", TENCON 2005 - 2005 IEEE REGION 10 CONFERENCE, JPN6017047593, 2005, pages 1 - 5, XP031015687, ISSN: 0003816655 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10986332B2 (en) | 2017-06-23 | 2021-04-20 | Tencent Technology (Shenzhen) Company Limited | Prediction mode selection method, video encoding device, and storage medium |
WO2020071871A1 (ko) * | 2018-10-05 | 2020-04-09 | 엘지전자 주식회사 | 영상 서비스 처리 방법 및 그 장치 |
US11516506B2 (en) | 2018-10-05 | 2022-11-29 | Lg Electronics Inc. | Method and apparatus for processing image service |
US11778230B2 (en) | 2018-10-05 | 2023-10-03 | Lg Electronics Inc. | Method and apparatus for processing image service |
CN113824960A (zh) * | 2019-11-13 | 2021-12-21 | 腾讯科技(深圳)有限公司 | 视频编码方法、装置、计算机可读介质及电子设备 |
CN113824960B (zh) * | 2019-11-13 | 2024-02-23 | 腾讯科技(深圳)有限公司 | 视频编码方法、装置、计算机可读介质及电子设备 |
CN115280770A (zh) * | 2020-03-26 | 2022-11-01 | 阿里巴巴集团控股有限公司 | 用于对视频进行编码或解码的方法和装置 |
CN115280770B (zh) * | 2020-03-26 | 2023-11-21 | 阿里巴巴(中国)有限公司 | 用于对视频进行编码或解码的方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20200026863A (ko) | 인트라 예측 방법 및 그 장치 | |
JP4937741B2 (ja) | 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体 | |
KR20090095012A (ko) | 연속적인 움직임 추정을 이용한 영상 부호화, 복호화 방법및 장치 | |
JP2015173404A (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム | |
KR20090095317A (ko) | 영상 부호화 및 복호화 방법 및 장치 | |
US10638155B2 (en) | Apparatus for video encoding, apparatus for video decoding, and non-transitory computer-readable storage medium | |
JP2015106846A (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム | |
JP6459761B2 (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム | |
JPWO2010067529A1 (ja) | 動画像復号化方法及び装置、動画像符号化方法及び装置 | |
JP2017069866A (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム | |
JP2017034531A (ja) | 動画像符号化装置及び動画像符号化方法 | |
TWI511531B (zh) | 影像編碼裝置、影像編碼方法及影像編碼程式 | |
KR20200128577A (ko) | 인트라 예측 장치, 화상 부호화 장치, 화상 복호 장치 및 프로그램 | |
JP6825506B2 (ja) | 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム | |
JP7156471B2 (ja) | 動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラム | |
JP2015211386A (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム | |
JP2019022129A (ja) | 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム | |
KR20210156256A (ko) | 인트라 예측 방법 및 장치 | |
JP6528635B2 (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム | |
JP2015211269A (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム | |
WO2012081895A1 (ko) | 인트라 예측 방법 및 그 장치 | |
JP5281597B2 (ja) | 動きベクトル予測方法,動きベクトル予測装置および動きベクトル予測プログラム | |
JP2017073602A (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム | |
KR101796876B1 (ko) | 움직임 추정을 이용한 영상 부호화 방법 및 장치 | |
JP6435822B2 (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171219 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180619 |