JP2015080004A - カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法 - Google Patents

カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法 Download PDF

Info

Publication number
JP2015080004A
JP2015080004A JP2012016868A JP2012016868A JP2015080004A JP 2015080004 A JP2015080004 A JP 2015080004A JP 2012016868 A JP2012016868 A JP 2012016868A JP 2012016868 A JP2012016868 A JP 2012016868A JP 2015080004 A JP2015080004 A JP 2015080004A
Authority
JP
Japan
Prior art keywords
image
prediction
block
signal
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012016868A
Other languages
English (en)
Inventor
杉本　和夫
Kazuo Sugimoto
和夫 杉本
亮史 服部
Akifumi Hattori
亮史 服部
裕介 伊谷
Yusuke Itani
裕介 伊谷
彰 峯澤
Akira Minesawa
彰 峯澤
関口　俊一
Shunichi Sekiguchi
俊一 関口
村上　篤道
Hiromichi Murakami
篤道 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2012016868A priority Critical patent/JP2015080004A/ja
Priority to PCT/JP2013/051081 priority patent/WO2013114992A1/ja
Publication of JP2015080004A publication Critical patent/JP2015080004A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】ＹＵＶ４：２：２信号の符号化を行う場合でも、少ない回路規模で輝度信号と色差信号の符号化効率を高めることができる。【解決手段】差分画像の輝度信号に対する変換・量子化処理を実施する場合、入力信号がＹＵＶ４：２：２フォーマットであれば、色差信号の変換ブロック形状を常に縦が横の２倍となる長方形に分割し、得られる変換係数を可変長符号化部１３で符号化する際には、ＹＵＶ４：２：０の色差成分の変換係数に適用するコンテキストインデックス値の割り当てを垂直方向に２個ずつ繰り返したものを適用する。【選択図】図１

Description

この発明は、カラー動画像を高効率で符号化を行うカラー動画像符号化装置及びカラー動画像符号化方法と、高効率で符号化されているカラー動画像を復号するカラー動画像復号装置及びカラー動画像復号方法とに関するものである。
例えば、以下の非特許文献１に記載されている従来のカラー動画像符号化装置では、入力されたカラー画像を所定の大きさの最大符号化ブロックに分割し、さらに、最大符号化ブロックをより細かい符号化ブロックに階層分割する。
また、その符号化ブロックをさらに細かい予測ブロックに分割し、その予測ブロックに対する画面内予測や動き補償予測を実施することで予測誤差を生成する。
また、その予測誤差を符号化ブロック内で階層的に変換ブロックに分割し、それぞれの変換係数をエントロピー符号化することで高い圧縮率を達成している。
変換ブロックについては、予測ブロックが２Ｎ×Ｎサイズや、２Ｎ×０．５Ｎサイズの長方形である場合には、図１３に示すように、長辺と短辺が２Ｎ×０．５Ｎの長さとなる非正方形変換ブロックに、変換ブロックを四分木状に階層的に分割することにより、変換ブロックが予測ブロックの境界を跨がないようにするとともに、変換係数のエントロピー符号化をＮ×Ｎサイズの正方形変換ブロックと共通する手段で圧縮して、高い圧縮率を達成している。
従来のカラー動画像符号化装置では、ＹＵＶ４：２：０信号の符号化を行う場合、色差信号の予測ブロックおよび変換ブロックのサイズを、輝度信号の変換ブロックサイズの縦横半分のサイズに固定することで、色差信号の変換ブロックサイズに係る情報を符号化する必要をなくすとともに、変換係数のエントロピー符号化を輝度信号と共通する変換係数エントロピー符号化手段で圧縮することで、少ない回路規模で色差信号の符号化効率を高めている。
B. Bross，W.-J. Han，J.-R. Ohm，G. J. Sullivan and T. Wiegand，"WD5: Working Draft 5 of High-Efficiency Video Coding"，doc. JCTVC-G1103，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，7th Meeting，2011
従来のカラー動画像符号化装置は以上のように構成されているので、ＹＵＶ４：２：０信号の符号化を行う場合、色差信号の変換ブロックのエントロピー符号化手段を輝度信号のエントロピー符号化手段と共有することができる。このため、少ない回路規模で色差信号を効率よく符号化することができるが、ＹＵＶ４：２：２信号の符号化を行う場合、色差信号の形状が、垂直方向が横方向の２倍となる長方形であるため、輝度信号と同様のブロック分割を行うと、色差信号の変換ブロックのエントロピー符号化手段を輝度信号のエントロピー符号化手段と共有することができなくなり、回路規模が増大してしまうなどの課題があった。
この発明は上記のような課題を解決するためになされたもので、ＹＵＶ４：２：２信号の符号化を行う場合でも、少ない回路規模で輝度信号と色差信号の符号化効率を高めることができるカラー動画像符号化装置及びカラー動画像符号化方法を得ることを目的とする。
また、この発明は、符号化効率の改善が図られている符号化データから正確に動画像を復号することができるカラー動画像復号装置及びカラー動画像復号方法を得ることを目的とする。
この発明に係るカラー動画像符号化装置は、可変長符号化手段が、入力カラー画像の信号フォーマットがＹＵＶ４：２：２である場合、信号フォーマットがＹＵＶ４：２：０である場合の色差信号における各変換係数のコンテキスト値と同一のコンテキスト値が、周波数位置の垂直方向に２個ずつ繰り返し割り当てられているＹＵＶ４：２：２用のコンテキスト値情報を参照して、色差信号における各変換係数のコンテキスト値を特定し、その変換係数のコンテキスト値に対応する生起確率を用いて、色差信号における各変換係数を算術符号化するようにしたものである。
この発明によれば、可変長符号化手段が、入力カラー画像の信号フォーマットがＹＵＶ４：２：２である場合、信号フォーマットがＹＵＶ４：２：０である場合の色差信号における各変換係数のコンテキスト値と同一のコンテキスト値が、周波数位置の垂直方向に２個ずつ繰り返し割り当てられているＹＵＶ４：２：２用のコンテキスト値情報を参照して、色差信号における各変換係数のコンテキスト値を特定し、その変換係数のコンテキスト値に対応する生起確率を用いて、色差信号における各変換係数を算術符号化するように構成したので、ＹＵＶ４：２：２信号の符号化を行う場合でも、少ない回路規模で輝度信号と色差信号の符号化効率を高めることができる効果がある。
この発明の実施の形態１によるカラー動画像符号化装置を示す構成図である。 この発明の実施の形態１によるカラー動画像符号化装置の処理内容を示すフローチャートである。 この発明の実施の形態１によるカラー動画像符号化装置の可変長符号化部１３を示す構成図である。 この発明の実施の形態１によるカラー動画像復号装置を示す構成図である。 この発明の実施の形態１によるカラー動画像復号装置の処理内容を示すフローチャートである。 この発明の実施の形態１によるカラー動画像復号装置の可変長復号部４１を示す構成図である。 最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。 符号化ブロックＢｎに属するパーティションＰｉ ｎを示す説明図である。 分割後のパーティションの分布や、階層分割後のパーティションに符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示す説明図である。 符号化ブロックＢｎに属する各パーティションＰｉ ｎにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。 ｌｉ ｎ＝ｍｉ ｎ＝４の場合において、パーティションＰｉ ｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。 色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。 ４：２：０フォーマットの信号における輝度信号及び色差信号の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。 ４：２：２フォーマット及び４：４：４フォーマットの信号における輝度信号及び色差信号の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。 ４×４直交変換係数のスキャン順を示す説明図である。 ４×４直交変換係数の逆スキャン順を示す説明図である。 周波数位置に応じて予め定められたコンテキストインデックス値を示す説明図である。 周波数位置に応じて予め定められたコンテキストインデックス値を示す説明図である。
実施の形態１．
図１はこの発明の実施の形態１によるカラー動画像符号化装置を示す構成図である。
この実施の形態１のカラー動画像符号化装置が処理対象とする映像信号は、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
各画素の諧調は８ビットでもよいし、１０ビット、１２ビットなどの諧調であってもよい。
ただし、以下の説明においては、特に断らない限り、入力される映像信号が、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、縦横ともに２分の１にサブサンプルされたＹＵＶ４：２：０フォーマット、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、横方向に２分の１にサブサンプルされたＹＵＶ４：２：２フォーマット、あるいは、２つの色差成分Ｕ，Ｖが輝度成分Ｙと同じサンプル数であるＹＵＶ４：４：４フォーマットの信号であるものとする。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
図１において、符号化制御部１はイントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部１は利用可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。
また、符号化制御部１は各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する処理を実施する。量子化パラメータ及び変換ブロックサイズを示す変換ブロック分割フラグは、予測差分符号化パラメータに含まれて、変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３等に出力される。
なお、符号化制御部１は符号化制御手段を構成している。
ここで、図１３は４：２：０フォーマットの信号における輝度信号及び色差信号の圧縮処理（変換処理、量子化処理）を実施する際の変換ブロックサイズを示す説明図である。
変換ブロックサイズは、図１３に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。
輝度信号については、例えば、図１３に示すように、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。
色差信号については、図１３に示すように、入力信号フォーマットがＹＵＶ４：２：０信号である場合には、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
図１４に示すように、入力信号フォーマットがＹＵＶ４：２：２信号である場合には、輝度信号の予測ブロックの形状にかかわらず、色差信号については、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロック形状は、常に垂直方向の画素数が水平方向の画素数の２倍となる長方形となる。
また、図１４に示すように、入力信号フォーマットがＹＵＶ４：４：４信号である場合には、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
輝度信号の変換ブロックの分割情報は、階層毎に分割するか否かを示す変換ブロック分割フラグとして可変長符号化部１３に出力する。
ブロック分割部２は入力カラー画像（カレントピクチャ）を示すカラー画像信号を入力すると、その入力カラー画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部２はブロック分割手段を構成している。
切替スイッチ３は符号化制御部１により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部２により分割された符号化ブロックをイントラ予測部４に出力し、符号化制御部１により選択された符号化モードがインター符号化モードであれば、ブロック分割部２により分割された符号化ブロックを動き補償予測部５に出力する処理を実施する。
イントラ予測部４は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、その符号化ブロックに対して、イントラ予測用メモリ１０により格納されている上記符号化ブロックに隣接している復号済みの画素を用いて、符号化制御部１から出力されたイントラ予測パラメータに基づくフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
即ち、イントラ予測部４は、ブロック分割部２により分割された符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
一方、ブロック分割部２により分割された符号化ブロックにおける色差成分については、入力信号フォーマットがＹＵＶ４：２：０信号又はＹＵＶ４：２：２信号である場合には、符号化制御部１により選択された符号化モードが、輝度信号と同じイントラ予測モードを適用することを示す輝度色差共通イントラ予測モードであれば、ブロック分割部２により分割された符号化ブロックにおける色差成分に対して、輝度信号と同じイントラ予測モードによるフレーム内予測を実施して、色差成分に対する予測画像を生成する。
また、符号化制御部１により選択された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、ブロック分割部２により分割された符号化ブロックにおける色差成分に対して、方向性フレーム内予測を実施して、色差成分に対する予測画像を生成する。
また、符号化制御部１により選択された符号化モードが、イントラ符号化モードにおける輝度相関利用色差信号予測モードであれば、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を用いて、輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと処理対象となる色差成分符号化ブロックに対応する輝度成分を用いて、色差成分に対する予測画像を生成する。
入力信号フォーマットがＹＵＶ４：４：４信号である場合には、上記輝度色差共通イントラ予測モード又は上記輝度相関利用色差信号予測モードの処理を実施し、方向性予測モードは選択しないように構成してもよい。
ＹＵＶ４：４：４信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる方向性予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
当然、色差信号に対して、輝度信号とは異なる方向性予測モードを選択できるように構成してもよい。
動き補償予測部５はブロック分割部２により分割された符号化ブロックに対応する符号化モードとして、符号化制御部１によりインター符号化モードが選択された場合、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ３、イントラ予測部４及び動き補償予測部５から予測画像生成手段が構成されている。
減算部６はブロック分割部２により分割された符号化ブロックから、イントラ予測部４又は動き補償予測部５により生成された予測画像を減算することで、差分画像（＝符号化ブロック−予測画像）を生成する処理を実施する。なお、減算部６は差分画像生成手段を構成している。
変換・量子化部７は符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、減算部６により生成された差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。
即ち、変換・量子化部７は減算部６により生成された符号化ブロックの差分画像に対する変換・量子化処理（圧縮処理）を実施する場合、輝度信号については、例えば、図１３に示すように、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。
色差信号については、図１３に示すように、入力信号フォーマットがＹＵＶ４：２：０信号である場合には、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
入力信号フォーマットがＹＵＶ４：２：２信号である場合には、輝度信号の予測ブロックの形状にかかわらず、色差信号については、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロック形状は、常に垂直方向の画素数が水平方向の画素数の２倍となる長方形となる。
また、入力信号フォーマットがＹＵＶ４：４：４信号である場合には、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
変換・量子化部７はブロック分割部２による分割後のブロック単位で差分画像の変換・量子化処理を実施する。
なお、変換・量子化部７は画像圧縮手段を構成している。
逆量子化・逆変換部８は符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換・量子化部７から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として出力する処理を実施する。
加算部９は逆量子化・逆変換部８から出力された局所復号予測差分信号とイントラ予測部４又は動き補償予測部５により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
イントラ予測用メモリ１０はイントラ予測部４により次回のイントラ予測処理で用いられる画像として、加算部９により生成された局所復号画像信号が示す局所復号画像を格納するＲＡＭなどの記録媒体である。
ループフィルタ部１１は加算部９により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に出力する処理を実施する。
動き補償予測フレームメモリ１２は動き補償予測部５により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部１１によるフィルタリング処理後の局所復号画像を格納するＲＡＭなどの記録媒体である。
可変長符号化部１３は入力信号フォーマットを特定する入力信号フォーマット情報と、変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ及び動き情報とを算術符号化によって可変長符号化して、その入力信号フォーマット情報、圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報などの符号化データが多重化されているビットストリームを生成する処理を実施する。
即ち、可変長符号化部１３は変換・量子化部７から出力された圧縮データである変換係数を可変長符号化する際、入力カラー画像の信号フォーマットがＹＵＶ４：２：０である場合、差分画像の色差信号における各変換係数のコンテキスト値が当該変換係数の周波数位置に応じて割り当てられているＹＵＶ４：２：０用のコンテキスト値情報を参照して、その色差信号における各変換係数のコンテキスト値を特定し、その変換係数のコンテキスト値に対応する生起確率を用いて、上記色差信号における各変換係数を算術符号化する。
入力カラー画像の信号フォーマットがＹＵＶ４：２：２である場合、信号フォーマットがＹＵＶ４：２：０である場合の色差信号における各変換係数のコンテキスト値と同一のコンテキスト値が、周波数位置の垂直方向に２個ずつ繰り返し割り当てられているＹＵＶ４：２：２用のコンテキスト値情報を参照して、その色差信号における各変換係数のコンテキスト値を特定し、上記変換係数のコンテキスト値に対応する生起確率を用いて、その色差信号における各変換係数を算術符号化する。
なお、可変長符号化部１３は可変長符号化手段を構成している。
図１では、カラー動画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、カラー動画像符号化装置がコンピュータなどで構成される場合、符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１によるカラー動画像符号化装置の処理内容を示すフローチャートである。
ここで、図３はこの発明の実施の形態１によるカラー動画像符号化装置の可変長符号化部１３を示す構成図である。
図３において、変換係数可変長符号化部２１は変換・量子化部７から出力された圧縮データである直交変換係数を可変長符号化する処理を実施する。
符号化パラメータ可変長符号化部２２は入力信号フォーマット情報、符号化制御部１から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ及び動き情報、符号化ブロックの分割状況を示すブロック分割情報などの符号化パラメータを可変長符号化する処理を実施する。
変換係数可変長符号化部２１により可変長符号化された圧縮データの符号化データと、符号化パラメータ可変長符号化部２２により可変長符号化された符号化パラメータとは多重化されてビットストリームが生成される。
図４はこの発明の実施の形態１によるカラー動画像復号装置を示す構成図である。
図４において、可変長復号部４１はイントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ及び最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数を特定することで、ビットストリームに多重化されている符号化データの中で、最大サイズの符号化ブロック及び階層的に分割されている符号化ブロックに係る符号化データを特定し、各々の符号化データから符号化ブロックに係る圧縮データ、入力信号フォーマット情報、符号化モード、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報などを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部４５に出力するとともに、その符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ４２に出力する処理を実施する。
即ち、可変長復号部４１は各々の符号化データから符号化ブロックに係る圧縮データである変換係数を可変長復号する際、入力信号フォーマット情報が示す信号フォーマットがＹＵＶ４：２：０である場合、差分画像の色差信号における各変換係数のコンテキスト値が当該変換係数の周波数位置に応じて割り当てられているＹＵＶ４：２：０用のコンテキスト値情報を参照して、その色差信号における各変換係数のコンテキスト値を特定し、その変換係数のコンテキスト値に対応する生起確率を用いて、その色差信号における各変換係数を算術復号する。
入力フォーマット情報が示す信号フォーマットがＹＵＶ４：２：２である場合、信号フォーマットがＹＵＶ４：２：０である場合の色差信号における各変換係数のコンテキスト値と同一のコンテキスト値が、周波数位置の垂直方向に２個ずつ繰り返し割り当てられているＹＵＶ４：２：２用のコンテキスト値情報を参照して、その色差信号における各変換係数のコンテキスト値を特定し、その変換係数のコンテキスト値に対応する生起確率を用いて、その色差信号における各変換係数を算術復号する。
なお、可変長復号部４１は可変長復号手段を構成している。
切替スイッチ４２は可変長復号部４１から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部４１から出力されたイントラ予測パラメータをイントラ予測部４３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部４１から出力されたインター予測パラメータを動き補償部４４に出力する処理を実施する。
イントラ予測部４３はイントラ予測用メモリ４７により格納されている符号化ブロックに隣接している復号済みの画素を用いて、切替スイッチ４２から出力されたイントラ予測パラメータに基づいて、符号化ブロックに対するフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
即ち、イントラ予測部４３は、符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
一方、符号化ブロックにおける色差成分については、入力信号フォーマットがＹＵＶ４：２：０信号又はＹＵＶ４：２：２信号である場合には、可変長復号部４１により可変長復号された符号化モードが、輝度信号と同じイントラ予測モードを適用することを示す輝度色差共通イントラ予測モードであれば、符号化ブロックにおける色差成分に対して、輝度信号と同じイントラ予測モードによるフレーム内予測を実施して、色差成分に対する予測画像を生成する。
また、可変長復号部４１により可変長復号された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、符号化ブロックにおける色差成分に対して、方向性フレーム内予測を実施して、色差成分に対する予測画像を生成する。
また、可変長復号部４１により可変長復号された符号化モードが、イントラ符号化モードにおける輝度相関利用色差信号予測モードであれば、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を用いて、輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと処理対象となる色差成分符号化ブロックに対応する輝度成分を用いて、色差成分に対する予測画像を生成する。
入力信号フォーマットがＹＵＶ４：４：４信号である場合には、上記輝度色差共通イントラ予測モード又は上記輝度相関利用色差信号予測モードの処理を実施し、方向性予測モードは選択しないように構成してもよい。
ＹＵＶ４：４：４信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる方向性予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
当然、色差信号に対して、輝度信号とは異なる方向性予測モードを選択できるように構成してもよい。
動き補償部４４は動き補償予測フレームメモリ４９により格納されている１フレーム以上の参照画像を用いて、切替スイッチ４２から出力されたインター予測パラメータに基づいて、符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ４２、イントラ予測部４３及び動き補償部４４から予測画像生成手段が構成されている。
逆量子化・逆変換部４５は可変長復号部４１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部４１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として出力する処理を実施する。
即ち、逆量子化・逆変換部４５は可変長復号部４１から出力された予測差分符号化パラメータに含まれている変換ブロック分割フラグに基づいて階層的に分割された輝度信号の変換ブロック形状を特定し、変換ブロック単位で逆量子化処理・逆変換処理を行う。
具体的には、輝度信号については、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードである場合、その変換ブロック分割フラグに基づいて符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードである場合、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。
色差信号については、入力信号フォーマットがＹＵＶ４：２：０信号である場合には、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードであれば、輝度信号と同様に、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードであれば、輝度信号と同様に、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
入力信号フォーマットがＹＵＶ４：２：２信号である場合には、輝度信号の予測ブロックの形状にかかわらず、色差信号については、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロック形状は常に垂直方向の画素数が水平方向の画素数の２倍となる長方形となる。
また、入力信号フォーマットがＹＵＶ４：４：４信号である場合には、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
なお、逆量子化・逆変換部４５は差分画像生成手段を構成している。
加算部４６は逆量子化・逆変換部４５から出力された復号予測差分信号とイントラ予測部４３又は動き補償部４４により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、加算部４６は復号画像生成手段を構成している。
イントラ予測用メモリ４７はイントラ予測部４３により次回のイントラ予測処理で用いられる画像として、加算部４６により生成された復号画像信号が示す復号画像を格納するＲＡＭなどの記録媒体である。
ループフィルタ部４８は加算部４６により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ４９に出力するとともに、その復号画像を再生画像として外部に出力する処理を実施する。
動き補償予測フレームメモリ４９は動き補償部４４により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部４８によるフィルタリング処理後の復号画像を格納するＲＡＭなどの記録媒体である。
図４では、カラー動画像復号装置の構成要素である可変長復号部４１、切替スイッチ４２、イントラ予測部４３、動き補償部４４、逆量子化・逆変換部４５、加算部４６及びループフィルタ部４８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、カラー動画像復号装置がコンピュータなどで構成される場合、可変長復号部４１、切替スイッチ４２、イントラ予測部４３、動き補償部４４、逆量子化・逆変換部４５、加算部４６及びループフィルタ部４８の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図５はこの発明の実施の形態１によるカラー動画像復号装置の処理内容を示すフローチャートである。
図６はこの発明の実施の形態１によるカラー動画像復号装置の可変長復号部４１を示す構成図である。
図６において、変換係数可変長復号部５１はビットストリームに多重化された符号化データから圧縮データである直交変換係数を可変長復号する処理を実施する。
符号化パラメータ可変長復号部５２はビットストリームに多重化された符号化データから入力信号フォーマット情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報、ブロック分割情報などの符号化パラメータを可変長復号する処理を実施する。
次に動作について説明する。
最初に、図１のカラー動画像符号化装置の処理内容を説明する。
まず、符号化制御部１は、イントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（図２のステップＳＴ１）。
符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。
また、入力カラー画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力カラー画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力カラー画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。
また、符号化制御部１は、利用可能な１以上の符号化モード（Ｍ種類のイントラ符号化モード、Ｎ種類のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。予め用意されているＭ種類のイントラ符号化モードについては後述する。
ただし、後述するブロック分割部２により階層的に分割された各々の符号化ブロックが更にパーティション単位に分割される場合は、各々のパーティションに対応する符号化モードを選択することが可能である。
以下、この実施の形態１では、各々の符号化ブロックが更にパーティション単位に分割されるものとして説明する。
符号化制御部１による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
また、符号化制御部１は、各々の符号化ブロックに含まれているパーティション毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する。
符号化制御部１は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。また、予測差分符号化パラメータを必要に応じてイントラ予測部４に出力する。
ブロック分割部２は、入力カラー画像を示す映像信号を入力すると、その入力カラー画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。また、その符号化ブロックをパーティション単位に分割する（ステップＳＴ３）。
ここで、図７は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
図７の例では、最大サイズの符号化ブロックは、第０階層の符号化ブロックＢ０であり、輝度成分で（Ｌ０，Ｍ０）のサイズを有している。
また、図７の例では、最大サイズの符号化ブロックＢ０を出発点として、４分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックＢｎを得ている。
深さｎにおいては、符号化ブロックＢｎはサイズ（Ｌｎ，Ｍｎ）の画像領域である。
ただし、ＬｎとＭｎは同じであってもよいし異なっていてもよいが、図７の例ではＬｎ＝Ｍｎのケースを示している。
以降、符号化ブロックＢｎのサイズは、符号化ブロックＢｎの輝度成分におけるサイズ（Ｌｎ，Ｍｎ）と定義する。
ブロック分割部２では、４分木分割を行うため、常に（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ／２，Ｍｎ／２）が成立する。
ただし、ＲＧＢ信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌｎ，Ｍｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは（Ｌｎ／２，Ｍｎ／２）である。
以降、第ｎ階層の符号化ブロックＢｎで選択しうる符号化モードをｍ（Ｂｎ）と表記する。
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂｎ）は、色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。
符号化モードｍ（Ｂｎ）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」）、１つないし複数のインター符号化モード（総称して「ＩＮＴＥＲ」）があり、符号化制御部１は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックＢｎに対して最も符号化効率がよい符号化モードを選択する。
符号化ブロックＢｎは、図７に示すように、更に１つないし複数の予測処理単位（パーティション）に分割される。
以降、符号化ブロックＢｎに属するパーティションをＰｉ ｎ（ｉ： 第ｎ階層におけるパーティション番号）と表記する。図８は符号化ブロックＢｎに属するパーティションＰｉ ｎを示す説明図である。
符号化ブロックＢｎに属するパーティションＰｉ ｎの分割がどのようになされているかは符号化モードｍ（Ｂｎ）の中に情報として含まれる。
パーティションＰｉ ｎは、すべて符号化モードｍ（Ｂｎ）に従って予測処理が行われるが、パーティションＰｉ ｎ毎に、個別の予測パラメータを選択することができる。
符号化制御部１は、最大サイズの符号化ブロックに対して、例えば、図９に示すようなブロック分割状態を生成して、符号化ブロックＢｎを特定する。
図９（ａ）の斜線部分は分割後のパーティションの分布を示し、また、図９（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示している。
図９（ｂ）において、□で囲まれているノードが、符号化モードｍ（Ｂｎ）が割り当てられたノード（符号化ブロックＢｎ）を示している。
また、符号化制御部１は、分割後のパーティションに対して、前述の通りに、変換ブロックの分割形状を決定する。
切替スイッチ３は、符号化制御部１がイントラ符号化モードを選択すると（ｍ（Ｂｎ）∈ＩＮＴＲＡ）、ブロック分割部２により分割された符号化ブロックＢｎに属するパーティションＰｉ ｎをイントラ予測部４に出力し、符号化制御部１がインター符号化モードを選択すると（ｍ（Ｂｎ）∈ＩＮＴＥＲ）、その符号化ブロックＢｎに属するパーティションＰｉ ｎを動き補償予測部５に出力する。
イントラ予測部４は、切替スイッチ３から符号化ブロックＢｎに属するパーティションＰｉ ｎを受けると（ステップＳＴ４）、符号化制御部１により決定されたイントラ予測パラメータに基づいて、各パーティションＰｉ ｎに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐｉ ｎ）を生成する（ステップＳＴ５）。
以下、この明細書では、Ｐｉ ｎはパーティションを示し、（Ｐｉ ｎ）はパーティションＰｉ ｎの予測画像を示すものとする。
イントラ予測画像（Ｐｉ ｎ）の生成に用いられるイントラ予測パラメータは、カラー動画像復号装置側でも、全く同じイントラ予測画像（Ｐｉ ｎ）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。
なお、イントラ予測パラメータとして選択できるイントラ予測方向数は、処理対象となるブロックのサイズに応じて異なるように構成してもよい。
大きいサイズのパーティションでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのパーティションでは、選択できるイントラ予測方向数を多くするように構成することができる。
例えば、４×４画素パーティションや８×８画素パーティションでは３４方向、１６×１６画素パーティションでは１７方向、３２×３２画素パーティションでは９方向などのように構成してもよい。
ここで、イントラ予測部４の処理内容を具体的に説明する。
図１０は符号化ブロックＢｎに属する各パーティションＰｉ ｎにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
図１０の例では、イントラ予測モードに対応する予測方向ベクトルを示しており、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。
まず、イントラ予測部４は、ブロック分割部２により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
以下、輝度成分に対する予測画像の生成処理を具体的に説明するが、ここでは、イントラ予測部４が、パーティションＰｉ ｎの輝度信号に対するイントラ予測パラメータ（イントラ予測モード）に基づいて、その輝度信号のイントラ予測信号を生成するイントラ処理について説明する。
説明の便宜上、パーティションＰｉ ｎのサイズをｌｉ ｎ×ｍｉ ｎ画素とする。
図１１はｌｉ ｎ＝ｍｉ ｎ＝４の場合において、パーティションＰｉ ｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図１１の例では、パーティションＰｉ ｎに隣接している符号化済みの上パーティションの画素（（２×ｌｉ ｎ＋１）個の画素）と、左パーティションの画素（（２×ｍｉ ｎ）個の画素）を予測に用いる参照画素としているが、予測に用いる画素は、図１１に示す画素より多くても少なくてもよい。
また、図１１の例では、隣接している１行又は１列分の画素を予測に用いているが、２行又は２列分の画素、あるいは、それ以上の画素を予測に用いてもよい。
イントラ予測部４は、例えば、パーティションＰｉ ｎに対するイントラ予測モードのインデックス値が２（平均値予測）である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰｉ ｎ内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖｐ＝（ｄｘ，ｄｙ）に基づいて、パーティションＰｉ ｎ内の画素の予測値を生成する。
予測値を生成する画素（予測対象画素）のパーティションＰｉ ｎ内の相対座標（パーティションの左上画素を原点とする）を（ｘ，ｙ）とすると、予測に用いる参照画素の位置は、下記に示すＬと、隣接画素の交点となる。

Figure 2015080004
ただし、ｋは正のスカラ値である。
参照画素が整数画素位置にある場合、その整数画素を予測対象画素の予測値とする。参照画素が整数画素位置にない場合、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図１１の例では、参照画素が整数画素位置にないので、参照画素に隣接する２画素の平均値を予測値としている。
なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。
イントラ予測部４は、同様の手順で、パーティションＰｉ ｎ内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像（Ｐｉ ｎ）を出力する。
イントラ予測画像（Ｐｉ ｎ）の生成に用いているイントラ予測パラメータは、上述したように、ビットストリームに多重化するために可変長符号化部１３に出力される。
なお、イントラ予測は、画面内の未知の領域を既知の領域から予測する手段であるが、輝度信号と色差信号のテクスチャには相関があり、空間方向については、近傍画素同士は画素値の変化が小さいため、予測ブロックに隣接する復号済の輝度信号と色差信号を利用して輝度信号と色差信号の相関パラメータを算出し、その輝度信号と相関パラメータから色差信号を予測することにより、予測効率を向上させることができる。
ここでは、符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成するものを示したが、色差成分対する予測画像は次のように生成する。
図１２は色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。
入力信号フォーマットがＹＵＶ４：２：０信号又はＹＵＶ４：２：２信号である場合には、符号化制御部１により選択された符号化モードが、輝度信号と同じイントラ予測モードを適用することを示す輝度色差共通イントラ予測モードであれば、ブロック分割部２により分割された符号化ブロックにおける色差成分に対して、輝度信号と同じイントラ予測モードによるフレーム内予測を実施して、色差成分に対する予測画像を生成する。
符号化制御部１により選択された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、ブロック分割部２により分割された符号化ブロックにおける色差成分に対して、方向性フレーム内予測を実施して、色差成分に対する予測画像を生成する。
また、符号化制御部１により選択された符号化モードが、イントラ符号化モードにおける輝度相関利用色差信号予測モードであれば、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を用いて、輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと処理対象となる色差成分符号化ブロックに対応する輝度成分を用いて、色差成分に対する予測画像を生成する。
入力信号フォーマットがＹＵＶ４：４：４信号である場合には、上記輝度色差共通イントラ予測モード又は上記輝度相関利用色差信号予測モードの処理を実施し、方向性予測モードは選択しないように構成してもよい。
ＹＵＶ４：４：４信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる方向性予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
当然、色差信号に対して、輝度信号とは異なる方向性予測モードを選択できるように構成してもよい。
動き補償予測部５は、切替スイッチ３から符号化ブロックＢｎに属するパーティションＰｉ ｎを受けると（ステップＳＴ４）、符号化制御部１により決定されたインター予測パラメータに基づいて、各パーティションＰｉ ｎに対するインター予測処理を実施することにより、インター予測画像（Ｐｉ ｎ）を生成する（ステップＳＴ６）。
即ち、動き補償予測部５は、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで、インター予測画像（Ｐｉ ｎ）を生成する。
インター予測画像（Ｐｉ ｎ）の生成に用いられるインター予測パラメータは、カラー動画像復号装置側でも、全く同じインター予測画像（Ｐｉ ｎ）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。
減算部６は、イントラ予測部４又は動き補償予測部５から予測画像（Ｐｉ ｎ）を受けると、ブロック分割部２により分割された符号化ブロックＢｎに属するパーティションＰｉ ｎから、その予測画像（Ｐｉ ｎ）を減算することで、その差分画像を示す予測差分信号ｅｉ ｎを生成する（ステップＳＴ７）。
変換・量子化部７は、減算部６が予測差分信号ｅｉ ｎを生成すると、符号化制御部１で決定された変換ブロックサイズ単位で、その予測差分信号ｅｉ ｎに対する変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その予測差分信号ｅｉ ｎの変換係数を量子化することで、量子化後の変換係数である差分画像の圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ８）。
即ち、変換・量子化部７は、減算部６が予測差分信号ｅｉ ｎを生成すると、予測差分信号ｅｉ ｎの輝度信号に対する変換・量子化処理を実施する場合、ブロック分割部２により分割された符号化ブロックをさらに階層的に分割して、分割後のブロック単位で輝度信号の変換・量子化処理を実施する。
つまり、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択された場合、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。
色差信号については、図１３に示すように、入力信号フォーマットがＹＵＶ４：２：０信号である場合には、輝度信号の予測ブロックの形状が正方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
一方、輝度信号の予測ブロックの形状が長方形である予測モードが符号化ブロックの符号化モードとして選択されていれば、輝度信号と同様に、符号化ブロックが１つまたは複数の長方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
図１４に示すように、入力信号フォーマットがＹＵＶ４：２：２信号である場合には、輝度信号の予測ブロックの形状にかかわらず、色差信号については、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロック形状は、常に垂直方向の画素数が水平方向の画素数の２倍となる長方形となる。
また、図１４に示すように、入力信号フォーマットがＹＵＶ４：４：４信号である場合には、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として加算部９に出力する（ステップＳＴ９）。
加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４又は動き補償予測部５により生成された予測画像（Ｐｉ ｎ）を示す予測信号とを加算することで、局所復号パーティション画像ないしはその集まりとしての局所復号符号化ブロック画像（以下、「局所復号画像」と称する）を示す局所復号画像信号を生成し、その局所復号画像信号をループフィルタ部１１に出力する（ステップＳＴ１０）。
また、イントラ予測用メモリ１０には、イントラ予測に用いるために、当該局所復号画像が格納される。
ループフィルタ部１１は、加算部９から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に格納する（ステップＳＴ１１）。
ここで、符号化歪は、変換ブロックの境界に沿って発生するため、変換ブロックの境界に対して符号化歪の補償を行う。小さい変換ブロックについては、変換ブロックの境界の符号化歪が目立ちにくいので、ヘッダで最小ループフィルタ適用ブロックサイズをシグナリングし、変換ブロックサイズが最小ループフィルタ適用ブロックサイズより大きいブロックに対してのみ、符号化歪補償を適用するように構成してもよい。このようにすれば、不要な符号化歪補償を省略することができるので、画質を保ちつつ演算量を削減することができる。
また、輝度信号と色差信号では、変換ブロックの分割形状が異なるので、符号化歪補償は、輝度信号と色差信号でそれぞれ変換ブロックの分割形状を特定して処理するように構成する。
なお、ループフィルタ部１１によるフィルタリング処理は、入力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像信号が入力された後に１画面分まとめて行ってもよい。
ステップＳＴ４〜ＳＴ１０の処理は、ブロック分割部２により分割された全ての符号化ブロックＢｎに属するパーティションＰｉ ｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ１２）。
可変長符号化部１３は、入力信号フォーマット情報、変換・量子化部７から出力された圧縮データ、符号化制御部１から出力された符号化モード及び変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ及び動き情報などを可変長符号化して、その入力信号フォーマット情報、圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報などの符号化データが多重化されているビットストリームを生成する（ステップＳＴ１３）。
可変長符号化部１３は、上述したように、イントラ予測部４から出力されたイントラ予測パラメータを可変長符号化して、そのイントラ予測パラメータの符号語をビットストリームに多重化するが、イントラ予測パラメータを符号化する際に、複数の方向性予測の予測方向ベクトルの中から、代表的な予測方向ベクトル（予測方向代表ベクトル）を選択し、イントラ予測パラメータを予測方向代表ベクトルのインデックス（予測方向代表インデックス）と予測方向代表ベクトルからの差分を表すインデックス（予測方向差分インデックス）で表して、それぞれのインデックス毎に、確率モデルに応じた算術符号化などのハフマン符号化を行うことで、符号量を削減して符号化するように構成してもよい。
以下、可変長符号化部１３の処理内容を具体的に説明する。
可変長符号化部１３は、図３に示すように、変換・量子化部７から出力された圧縮データである直交変換係数を可変長符号化する変換係数可変長符号化部２１と、入力信号フォーマット情報、符号化モード、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報、ブロック分割情報などの符号化パラメータを可変長符号化する符号化パラメータ可変長符号化部２２とから構成されており、変換係数可変長符号化部２１により可変長符号化された圧縮データの符号化データと、符号化パラメータ可変長符号化部２２により可変長符号化された符号化パラメータとは多重化されてビットストリームが生成される。
可変長符号化部１３の変換係数可変長符号化部２１は、変換・量子化部７から出力された圧縮データである直交変換係数のコンテキスト値に対応する生起確率を用いて、当該直交変換係数を算術符号化する。
即ち、変換係数可変長符号化部２１は、輝度成分、ＹＵＶ４：２：０フォーマットの色差成分又はＹＵＶ４：４：４フォーマットの色差成分の変換ブロックを次のように算術符号化してブロック符号化データとして出力する。
（１）図１５に示す斜めスキャン順に各直交変換係数を走査するとともに、斜めスキャン順で最も後ろにある非零の直交変換係数の位置を“ＰｏｓＬａｓｔ”として特定する。
（２）ＰｏｓＬａｓｔの水平成分であるＰｏｓＬａｓｔＸと、ＰｏｓＬａｓｔの垂直成分であるＰｏｓＬａｓｔＹを算術符号化する。
（３）斜めスキャンと逆順である逆斜めスキャン順（図１６を参照）に、ＰｏｓＬａｓｔから以下の（４）〜（８）の処理を行う。
（４）逆斜めスキャン順に、各周波数成分の位置にある直交変換係数が非零であるか否かを示すsignificant_coeff_flagを算術符号化する。
（５）逆斜めスキャン順に、significant_coeff_flagが非零である旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値が１より大きいか否かを示すcoeff_abs_level_greater1_flagを算術符号化する。
（６）逆斜めスキャン順に、coeff_abs_level_greater1_flagが、直交変換係数の絶対値が１より大きい旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値が２より大きいか否かを示すcoeff_abs_level_greater2_flagを算術符号化する。
（７）逆斜めスキャン順に、significant_coeff_flagが非零である旨を示している周波数成分位置の直交変換係数については、その直交変換係数の正負の符号を示すcoeff_sign_flagを算術符号化する。
（８）逆斜めスキャン順に、coeff_abs_level_greater2_flagが、直交変換係数の絶対値が２より大きい旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値から３を減じた値であるcoeff_abs_level_minus3を算術符号化する。
（９）最後のサブブロックに至るまで（３）を繰り返し実施する。
なお、変換ブロックの縦横比が２Ｎ：０．５Ｎ、あるいは、０．５Ｎ：２Ｎである長方形ブロックについては、同様の斜めスキャンを施すことにより、Ｎ×Ｎサイズのブロックに直交変換係数をマッピングした後に上記と同様の処理を行う。
ここで、significant_coeff_flagの算術符号化に用いる生起確率としては、画素サイズが４×４や８×８のサイズであれば、例えば、図１７に示すようなＹＵＶ４：２：０用のコンテキストインデックス値（コンテキスト値情報）を参照して、色差信号における各変換係数のコンテキストインデックス値を特定し、そのコンテキストインデックス値に対応する生起確率（例えば、図示せぬ確率状態メモリの各領域には、周波数位置毎に定められたコンテキストインデックス値に対応する生起確率が格納されている）を用いる。
ただし、入力信号がＹＵＶ４：２：２フォーマットである場合の色差信号については、変換ブロックの形状が、横に対して縦が２倍の長方形となるため、図１８に示すようなＹＵＶ４：２：２用のコンテキストインデックス値（コンテキスト値情報）を参照する。
ＹＵＶ４：２：２用のコンテキストインデックス値は、上記の確率状態メモリの領域を示すコンテキストインデックス値の割り当てが垂直方向に２個ずつ繰り返し適用されている。
このようにすれば、入力信号がＹＵＶ４：２：２フォーマットである場合でも、ＹＵＶ４：２：０フォーマットの色差成分のコンテキストインデックス値の割り当て表を再利用することができ、少ない回路規模で圧縮効率を高めることができる。
次に、図４のカラー動画像復号装置の処理内容を説明する。
可変長復号部４１は、図１のカラー動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図５のステップＳＴ４１）、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する。
可変長復号部４１は、フレームサイズを復号すると、図１のカラー動画像符号化装置で決定された最大符号化ブロックサイズ（イントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ）と、分割階層数の上限（最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数）をカラー動画像符号化装置と同様の手順で決定する（ステップＳＴ４２）。
例えば、符号化ブロックの最大サイズが、全てのピクチャに対して、入力カラー画像の解像度に応じたサイズに決定されている場合には、先に復号しているフレームサイズに基づいて、図１のカラー動画像符号化装置と同様の手順で、符号化ブロックの最大サイズを決定する。
カラー動画像符号化装置によって、符号化ブロックの最大サイズ及び符号化ブロックの階層数がビットストリームに多重化されている場合には、そのビットストリームから符号化ブロックの最大サイズ及び符号化ブロックの階層数を復号する。
可変長復号部４１は、符号化ブロックの最大サイズ及び符号化ブロックの階層数を決定すると、最大符号化ブロックを出発点にして、各符号化ブロックの階層的な分割状態を把握することで、ビットストリームに多重化されている符号化データの中で、各符号化ブロックに係る符号化データを特定し、その符号化データから各符号化ブロックに割り当てられている符号化モードを復号する。
そして、可変長復号部４１は、その符号化モードに含まれている符号化ブロックＢｎに属するパーティションＰｉ ｎの分割情報を参照して、ビットストリームに多重化されている符号化データの中で、各パーティションＰｉ ｎに係る符号化データを特定する（ステップＳＴ４３）。
可変長復号部４１は、各パーティションＰｉ ｎに係る符号化データから圧縮データ、変換ブロック分割フラグを含む予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部４５に出力するとともに、符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ４２に出力する（ステップＳＴ４４）。
例えば、予測方向代表インデックスと予測方向差分インデックスがビットストリームに多重化されている場合には、その予測方向代表インデックスと予測方向差分インデックスをそれぞれの確率モデルに応じた算術復号などによりエントロピー復号し、その予測方向代表インデックスと予測方向差分インデックスからイントラ予測パラメータを特定するようにする。
これにより、カラー動画像符号化装置側で、イントラ予測パラメータの符号量を削減している場合でも、イントラ予測パラメータを正しく復号することができる。
以下、可変長復号部４１の処理内容を具体的に説明する。
可変長復号部４１は、図６に示すように、ビットストリームに多重化された符号化データから圧縮データである直交変換係数を可変長復号する変換係数可変長復号部５１と、ビットストリームに多重化された符号化データから入力信号フォーマット情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ、動き情報、ブロック分割情報などの符号化パラメータを可変長復号する符号化パラメータ可変長復号部５２とから構成されている。
可変長復号部４１の変換係数可変長復号部５１は、直交変換係数のコンテキスト値に対応する生起確率を用いて、当該直交変換係数を算術復号する。
即ち、変換係数可変長復号部５１は、輝度成分、ＹＵＶ４：２：０フォーマットの色差成分又はＹＵＶ４：４：４フォーマットの色差成分の変換ブロックを次のように算術復号する。
（１）図１６に示す逆斜めスキャン順に、ＰｏｓＬａｓｔを含むサブブロックから始めて、当該サブブロック内に非零の直交変換係数が含まれているか否かを示すSigCoeffGroupFlagを算術復号する。
SigCoeffGroupFlagが当該サブブロック内に非零の直交変換係数が含まれている旨を示している場合、以下の（２）〜（６）の処理を行う。
（２）逆斜めスキャン順に、各周波数成分の位置にある直交変換係数が非零であるか否かを示すsignificant_coeff_flagを算術復号する。
（３）逆斜めスキャン順に、significant_coeff_flagが非零である旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値が１より大きいか否かを示すcoeff_abs_level_greater1_flagを算術復号する。
coeff_abs_level_greater1_flagが、直交変換係数の絶対値が１より大きくないことを示す場合には、当該周波数成分位置の直交変換係数の絶対値として１を出力する。
（４）逆斜めスキャン順に、coeff_abs_level_greater1_flagが、直交変換係数の絶対値が１より大きい旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値が２より大きいか否かを示すcoeff_abs_level_greater2_flagを算術復号する。
coeff_abs_level_greater2_flagが、直交変換係数の絶対値が２より大きくないことを示す場合には、当該周波数成分位置の直交変換係数の絶対値として２を出力する。
（５）逆斜めスキャン順に、significant_coeff_flagが非零である旨を示している周波数成分位置の直交変換係数については、その直交変換係数の正負の符号を示すcoeff_sign_flagを算術復号し、当該周波数成分位置の直交変換係数の絶対値に対する正負の符号を決定する。
（６）逆斜めスキャン順に、coeff_abs_level_greater2_flagが、直交変換係数の絶対値が２より大きい旨を示している周波数成分位置の直交変換係数については、その直交変換係数の絶対値から３を減じた値であるcoeff_abs_level_minus3を算術復号する。
当該周波数成分位置の直交変換係数の絶対値をcoeff_abs_level_minus3の値に３を加えた値とし、coeff_sign_flagにより当該周波数成分位置の直交変換係数の絶対値に対する正負の符号を決定する。
ここで、significant_coeff_flagの算術復号に用いる生起確率としては、画素サイズが４×４や８×８のサイズであれば、例えば、図１７に示すようなＹＵＶ４：２：０用のコンテキストインデックス値を参照して、色差信号における各変換係数のコンテキストインデックス値を特定し、そのコンテキストインデックス値に対応する生起確率（例えば、図示せぬ確率状態メモリの各領域には、周波数位置毎に定められたコンテキストインデックス値に対応する生起確率が格納されている）を用いる。
ただし、入力信号がＹＵＶ４：２：２フォーマットである場合の色差信号については、変換ブロックの形状が、横に対して縦が２倍の長方形となるため、図１８に示すようなＹＵＶ４：２：２用のコンテキストインデックス値を参照する。
ＹＵＶ４：２：２用のコンテキストインデックス値は、上記の確率状態メモリの領域を示すコンテキストインデックス値の割り当てが垂直方向に２個ずつ繰り返し適用されている。
このようにすれば、入力信号がＹＵＶ４：２：２フォーマットである場合でも、ＹＵＶ４：２：０フォーマットの色差成分のコンテキストインデックス値の割り当て表を再利用することができ、少ない回路規模で圧縮効率を高めることができる。
切替スイッチ４２は、可変長復号部４１から出力された符号化ブロックＢｎに属するパーティションＰｉ ｎの符号化モードがイントラ符号化モードである場合、可変長復号部４１から出力されたイントラ予測パラメータをイントラ予測部４３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部４１から出力されたインター予測パラメータを動き補償部４４に出力する。
イントラ予測部４３は、可変長復号部４１からイントラ予測パラメータを受けると（ステップＳＴ４５）、図１のイントラ予測部４と同様に、そのイントラ予測パラメータに基づいて、各パーティションＰｉ ｎに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐｉ ｎ）を生成する（ステップＳＴ４６）。
即ち、イントラ予測部４３は、可変長復号部４１からイントラ予測パラメータを受けると、図１のイントラ予測部４と同様に、例えば、パーティションＰｉ ｎに対するイントラ予測モードのインデックス値が２（平均値予測）である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰｉ ｎ内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖｐ＝（ｄｘ，ｄｙ）に基づいて、パーティションＰｉ ｎ内の画素の予測値を生成する。
イントラ予測部４３は、同様の手順で、パーティションＰｉ ｎ内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像（Ｐｉ ｎ）を出力する。
動き補償部４４は、切替スイッチ４２からインター予測パラメータを受けると、カラー動画像符号化装置の動き補償予測部５と同様に、そのインター予測パラメータに基づいて、各パーティションＰｉ ｎに対するインター予測処理を実施することにより、インター予測画像（Ｐｉ ｎ）を生成する（ステップＳＴ４７）。
即ち、動き補償部４４は、動き補償予測フレームメモリ４９により格納されている１フレーム以上の参照画像を用いて、そのインター予測パラメータに基づくパーティションＰｉ ｎに対する動き補償予測処理を実施することで、インター予測画像（Ｐｉ ｎ）を生成する。
逆量子化・逆変換部４５は、可変長復号部４１から変換ブロック分割フラグを含む予測差分符号化パラメータを受けると、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換ブロック分割フラグに従って決定される変換ブロックサイズ毎に、可変長復号部４１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロック分割フラグから特定される変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として加算部４６に出力する（ステップＳＴ４８）。
加算部４６は、逆量子化・逆変換部４５から出力された復号予測差分信号と、イントラ予測部４３又は動き補償部４４により生成された予測画像（Ｐｉ ｎ）を示す予測信号とを加算することで、復号パーティション画像ないしはその集まりとしての復号画像を示す復号画像信号を生成し、その復号画像信号をループフィルタ部４８に出力する（ステップＳＴ４９）。
また、イントラ予測用メモリ４７には、イントラ予測に用いるために、当該復号画像が格納される。
ループフィルタ部４８は、加算部４６から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ４９に格納するとともに、その復号画像を再生画像として出力する（ステップＳＴ５０）。
ここで、符号化歪は、変換ブロックの境界に沿って発生するため、変換ブロックに境界に対して符号化歪の補償を行う。小さい変換ブロックについては、変換ブロックの境界の符号化歪が目立ちにくいので、ヘッダで最小ループフィルタ適用ブロックサイズをシグナリングし、変換ブロックサイズが最小ループフィルタ適用ブロックサイズより大きいブロックに対してのみ符号化歪補償を適用するように構成してもよい。このようにすれば、不要な符号化歪補償を省略することができるので、画質を保ちつつ演算量を削減することができる。
また、輝度信号と色差信号では、変換ブロックの分割形状が異なるので、符号化歪補償は、輝度信号と色差信号でそれぞれ変換ブロックの分割形状を特定して処理するように構成する。
なお、ループフィルタ部４８によるフィルタリング処理は、入力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する復号画像信号が入力された後に１画面分まとめて行ってもよい。
ステップＳＴ４３〜ＳＴ４９の処理は、全ての符号化ブロックＢｎに属するパーティションＰｉ ｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ５１）。
以上で明らかなように、この実施の形態１によれば、変換・量子化部７が、減算部６により生成された差分画像の輝度信号に対する変換・量子化処理を実施する場合、入力信号がＹＵＶ４：２：２フォーマットであれば、色差信号の変換ブロック形状を常に縦が横の２倍となる長方形に分割し、得られる変換係数を可変長符号化部１３で符号化する際には、ＹＵＶ４：２：０の色差成分の変換係数に適用するコンテキストインデックス値の割り当てを垂直方向に２個ずつ繰り返したものを適用することにより、回路規模を増加させることなく、ＹＵＶ４：２：２の色差信号の符号化効率を高めることができる効果を奏する。
また、カラー動画像復号装置においても、入力信号がＹＵＶ４：２：２フォーマットであれば、色差信号の変換ブロック形状を常に縦が横の２倍となる長方形に分割し、得られる変換係数を可変長復号４１で復号する際には、ＹＵＶ４：２：０の色差成分の変換係数に適用するコンテキストインデックス値の割り当てを垂直方向に２個ずつ繰り返したものを適用することにより、カラー動画像符号化装置で生成されるビットストリームを好適に復号することができる。
実施の形態２．
上記実施の形態１によるカラー動画像符号化装置では、輝度信号と色差信号を同時に符号化するように構成しているが、この実施の形態２によるカラー動画像符号化装置では、入力信号がＹＵＶ４：４：４フォーマットである場合、それぞれの成分をＹＵＶ４：０：０フォーマットであるとみなして、輝度成分（Ｙ成分）のみを最初に符号化し、その輝度成分の局部復号画像を参照画像メモリに格納し、その参照画像メモリに格納されたＹ成分の局部復号画像を参照画像として用いて、それぞれの色差成分（Ｕ成分およびＶ成分）の画像をＹＵＶ４：０：０フォーマットであるとみなして符号化するように構成する。
また、このようにＹＵＶ４：４：４フォーマットの各成分間で予測符号化を行う構成にするか、上記実施の形態１のように、ピクチャ間での予測符号化を行うかのいずれであるかを示す予測構成フラグを可変長符号化し符号化データに多重化する。
このようにして生成された３つのＹＵＶ４：０：０画像をまとめて、１つのピクチャと認識するための情報であるアクセスユニットデリミタをピクチャの先頭に多重化する。
次のピクチャでは、Ｙ成分については、参照画像メモリに格納された前ピクチャのＹ成分の局部復号画像を参照画像として用いて、ＹＵＶ４：０：０フォーマットとして符号化し、Ｕ成分およびＶ成分については、前ピクチャと同様に、当該ピクチャのＹ成分の局部復号画像を参照画像として用いて、それぞれ符号化を行う。
この実施の形態２によるカラー動画像復号装置では、符号化データからアクセスユニットデリミタを復号すると、予測構成フラグを復号し、その予測構成フラグがＹＵＶ４：４：４フォーマットの各成分間で予測符号化を行う構成にすることを示してれば、Ｙ成分をＹＵＶ４：０：０フォーマットとして復号して、Ｙ成分の復号画像を参照画像メモリに格納し、その参照画像メモリに格納されたＹ成分の復号画像を参照画像として用いて、それぞれの色差成分（Ｕ成分およびＶ成分）の画像をＹＵＶ４：０：０フォーマットであるとみなして復号するように構成する。
次のピクチャでは、Ｙ成分については、その参照画像メモリに格納された前ピクチャのＹ成分の復号画像を参照画像として用いて、ＹＵＶ４：０：０フォーマットとして復号し、Ｕ成分およびＶ成分については、前ピクチャと同様に、当該ピクチャのＹ成分の復号画像を参照画像として用いて、それぞれ復号を行う。
このように構成すれば、実施の形態２によるカラー動画像符号化装置では、輝度成分の符号化回路のみでＹＵＶ４：４：４フォーマットの画像を高効率に圧縮することができる効果を奏する。
また、実施の形態２による動画像復号装置では、上記のようにして圧縮された符号化データを輝度成分の復号回路のみで好適に復号することができるため、回路規模を小さく抑えることができる効果を奏する。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
１ 符号化制御部（符号化制御手段）、２ ブロック分割部（ブロック分割手段）、３ 切替スイッチ（予測画像生成手段）、４ イントラ予測部（予測画像生成手段）、５ 動き補償予測部（予測画像生成手段）、６ 減算部（差分画像生成手段）、７ 変換・量子化部（画像圧縮手段）、８ 逆量子化・逆変換部、９ 加算部、１０ イントラ予測用メモリ、１１ ループフィルタ部、１２ 動き補償予測フレームメモリ、１３ 可変長符号化部（可変長符号化手段）、２１ 変換係数可変長符号化部、２２ 符号化パラメータ可変長符号化部、４１ 可変長復号部（可変長復号手段）、４２ 切替スイッチ（予測画像生成手段）、４３ イントラ予測部（予測画像生成手段）、４４ 動き補償部（予測画像生成手段）、４５ 逆量子化・逆変換部（差分画像生成手段）、４６ 加算部（復号画像生成手段）、４７ イントラ予測用メモリ、４８ ループフィルタ部、４９ 動き補償予測フレームメモリ、５１ 変換係数可変長復号部、５２ 符号化パラメータ可変長復号部。

Claims (7)

  1. 入力カラー画像が分割された符号化ブロックと、上記符号化ブロックに対して予測処理を実施して生成された予測画像との差分画像に変換処理が実施された変換後差分画像の変換係数を可変長符号化して、上記変換係数の符号化データが多重化されたビットストリームを生成する可変長符号化手段を備え、
    上記可変長符号化手段は、入力カラー画像の信号フォーマットがＹＵＶ４：２：２である場合、上記信号フォーマットがＹＵＶ４：２：０である場合の色差信号における各変換係数のコンテキスト値と同一のコンテキスト値が、周波数位置の垂直方向に２個ずつ繰り返し割り当てられているＹＵＶ４：２：２用のコンテキスト値情報を参照して、上記色差信号における各変換係数のコンテキスト値を特定し、上記変換係数のコンテキスト値に対応する生起確率を用いて、上記色差信号における各変換係数を算術符号化することを特徴とするカラー動画像符号化装置。
  2. 可変長符号化手段は、入力カラー画像の信号フォーマットを示すフォーマット情報を可変長符号化するとともに、
    入力カラー画像の信号フォーマットがＹＵＶ４：２：０である場合、差分画像の色差信号における各変換係数のコンテキスト値が当該変換係数の周波数位置に応じて割り当てられているＹＵＶ４：２：０用のコンテキスト値情報を参照して、上記色差信号における各変換係数のコンテキスト値を特定し、上記変換係数のコンテキスト値に対応する生起確率を用いて、上記色差信号における各変換係数を算術符号化し、
    入力カラー画像の信号フォーマットがＹＵＶ４：２：２である場合、上記信号フォーマットがＹＵＶ４：２：０である場合の色差信号における各変換係数のコンテキスト値と同一のコンテキスト値が、周波数位置の垂直方向に２個ずつ繰り返し割り当てられているＹＵＶ４：２：２用のコンテキスト値情報を参照して、上記色差信号における各変換係数のコンテキスト値を特定し、上記変換係数のコンテキスト値に対応する生起確率を用いて、上記色差信号における各変換係数を算術符号化し、
    上記フォーマット情報及び上記色差信号における各変換係数の符号化データが多重化されたビットストリームを生成する
    ことを特徴とする請求項１記載のカラー動画像符号化装置。
  3. 入力カラー画像を所定のサイズの最大符号化ブロックに分割し、上記最大符号化ブロックを階層的に符号化ブロックに分割するブロック分割手段と、上記ブロック分割手段により分割された符号化ブロックに対応する符号化モードを選択する符号化制御手段と、上記ブロック分割手段により分割された符号化ブロックに対して、上記符号化制御手段により選択された符号化モードに対応する予測処理を実施して予測画像を生成する予測画像生成手段と、上記ブロック分割手段により分割された符号化ブロックと上記予測画像生成手段により生成された予測画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像の変換処理を実施して上記差分画像を圧縮する画像圧縮手段とを備えていることを特徴とする請求項１記載のカラー動画像符号化装置。
  4. 分割された各々の符号化ブロックに係る変換係数を、ビットストリームに多重化された符号化データから可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化ブロックに予測処理を実施して、当該符号化ブロックに対する予測画像を生成する予測画像生成手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る変換係数の逆変換処理を実施して圧縮前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記予測画像生成手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備え、
    上記可変長復号手段は、入力カラー画像の信号フォーマットがＹＵＶ４：２：２である場合、上記信号フォーマットがＹＵＶ４：２：０である場合の色差信号における各変換係数のコンテキスト値と同一のコンテキスト値が、周波数位置の垂直方向に２個ずつ繰り返し割り当てられているＹＵＶ４：２：２用のコンテキスト値情報を参照して、上記色差信号における各変換係数のコンテキスト値を特定し、上記変換係数のコンテキスト値に対応する生起確率を用いて、上記色差信号における各変換係数を算術復号することを特徴とするカラー動画像復号装置。
  5. 可変長復号手段は、ビットストリームに多重化された符号化データから入力カラー画像の信号フォーマットを示すフォーマット情報を可変長復号し、
    上記フォーマット情報が示す信号フォーマットがＹＵＶ４：２：０である場合、上記差分画像の色差信号における各変換係数のコンテキスト値が当該変換係数の周波数位置に応じて割り当てられているＹＵＶ４：２：０用のコンテキスト値情報を参照して、上記色差信号における各変換係数のコンテキスト値を特定し、上記変換係数のコンテキスト値に対応する生起確率を用いて、上記色差信号における各変換係数を算術復号し、
    上記フォーマット情報が示す信号フォーマットがＹＵＶ４：２：２である場合、上記信号フォーマットがＹＵＶ４：２：０である場合の色差信号における各変換係数のコンテキスト値と同一のコンテキスト値が、周波数位置の垂直方向に２個ずつ繰り返し割り当てられているＹＵＶ４：２：２用のコンテキスト値情報を参照して、上記色差信号における各変換係数のコンテキスト値を特定し、上記変換係数のコンテキスト値に対応する生起確率を用いて、上記色差信号における各変換係数を算術復号する
    ことを特徴とする請求項４記載のカラー動画像復号装置。
  6. 可変長符号化手段が、入力カラー画像が分割された符号化ブロックと、上記符号化ブロックに対して予測処理を実施して生成された予測画像との差分画像の変換係数を可変長符号化して、上記変換係数の符号化データが多重化されたビットストリームを生成する可変長符号化処理ステップを備え、
    上記可変長符号化処理ステップでは、入力カラー画像の信号フォーマットがＹＵＶ４：２：２である場合、上記信号フォーマットがＹＵＶ４：２：０である場合の色差信号における各変換係数のコンテキスト値と同一のコンテキスト値が、周波数位置の垂直方向に２個ずつ繰り返し割り当てられているＹＵＶ４：２：２用のコンテキスト値情報を参照して、上記色差信号における各変換係数のコンテキスト値を特定し、上記変換係数のコンテキスト値に対応する生起確率を用いて、上記色差信号における各変換係数を算術符号化することを特徴とするカラー動画像符号化方法。
  7. 可変長復号手段が、分割された各々の符号化ブロックに係る変換係数を、ビットストリームに多重化された符号化データから可変長復号する可変長復号処理ステップと、予測画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る符号化モードに対応する予測処理を実施して、当該符号化ブロックに対する予測画像を生成する予測画像生成処理ステップと、差分画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る変換係数の逆変換処理を実施して圧縮前の差分画像を生成する差分画像生成処理ステップと、復号画像生成手段が、上記差分画像生成処理ステップで生成された差分画像と上記予測画像生成処理ステップで生成された予測画像とを加算して復号画像を生成する復号画像生成処理ステップとを備え、
    上記可変長復号処理ステップでは、入力カラー画像の信号フォーマットがＹＵＶ４：２：２である場合、上記信号フォーマットがＹＵＶ４：２：０である場合の色差信号における各変換係数のコンテキスト値と同一のコンテキスト値が、周波数位置の垂直方向に２個ずつ繰り返し割り当てられているＹＵＶ４：２：２用のコンテキスト値情報を参照して、上記色差信号における各変換係数のコンテキスト値を特定し、上記変換係数のコンテキスト値に対応する生起確率を用いて、上記色差信号における各変換係数を算術復号することを特徴とするカラー動画像復号方法。
JP2012016868A 2012-01-30 2012-01-30 カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法 Pending JP2015080004A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012016868A JP2015080004A (ja) 2012-01-30 2012-01-30 カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法
PCT/JP2013/051081 WO2013114992A1 (ja) 2012-01-30 2013-01-21 カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012016868A JP2015080004A (ja) 2012-01-30 2012-01-30 カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法

Publications (1)

Publication Number Publication Date
JP2015080004A true JP2015080004A (ja) 2015-04-23

Family

ID=48905034

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012016868A Pending JP2015080004A (ja) 2012-01-30 2012-01-30 カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法

Country Status (2)

Country Link
JP (1) JP2015080004A (ja)
WO (1) WO2013114992A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020141378A (ja) * 2019-03-01 2020-09-03 キヤノン株式会社 画像符号化装置及びその制御方法及びプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014051080A1 (ja) * 2012-09-28 2014-04-03 三菱電機株式会社 カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法
JP2015076781A (ja) * 2013-10-10 2015-04-20 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR20180089290A (ko) 2017-01-31 2018-08-08 세종대학교산학협력단 영상의 부호화/복호화 방법 및 장치
JP6680260B2 (ja) * 2017-04-28 2020-04-15 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
JP6904156B2 (ja) 2017-08-10 2021-07-14 富士通株式会社 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
CN111127472B (zh) * 2019-10-30 2021-09-14 武汉大学 一种基于权重学习的多尺度图像分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4617644B2 (ja) * 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020141378A (ja) * 2019-03-01 2020-09-03 キヤノン株式会社 画像符号化装置及びその制御方法及びプログラム
JP7256658B2 (ja) 2019-03-01 2023-04-12 キヤノン株式会社 画像符号化装置及びその制御方法及びプログラム

Also Published As

Publication number Publication date
WO2013114992A1 (ja) 2013-08-08

Similar Documents

Publication Publication Date Title
JP6863669B2 (ja) 画像符号化装置、画像符号化方法、画像復号装置および画像復号方法
JP6005087B2 (ja) 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法及び符号化データのデータ構造
JP5656998B2 (ja) 動画像復号装置及び動画像復号方法
JP6469048B2 (ja) 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、動画像符号化データ及び記録媒体
JP2017118572A (ja) 符号化データ
WO2013114992A1 (ja) カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法
JPWO2014163200A1 (ja) カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法
JP2015076781A (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2015008341A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
WO2012176387A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2015019257A (ja) カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法
JP2013168913A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2014007643A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2013126145A (ja) カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法
WO2014051080A1 (ja) カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法
JP2012023609A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2013102269A (ja) カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法