JP2015008341A - 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 - Google Patents

Abstract

【課題】縮小参照画素の輝度成分を一時的に保持する際に必要なリソースの消費を抑制することができる動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法を得ることを目的とする。【解決手段】参照画素精度縮小部７３，８３が、輝度参照画素縮小部７１，８１により算出された縮小輝度参照画素Ｒｅｃ’Ｌのビット精度を削減するように構成する。これにより、縮小輝度参照画素Ｒｅｃ’Ｌを一時的に保持する際に必要なリソースの消費を抑制することができる。【選択図】図１

Description

この発明は、動画像を高効率で符号化を行う動画像符号化装置及び動画像符号化方法と、高効率で符号化されている動画像を復号する動画像復号装置及び動画像復号方法とに関するものである。

例えば、以下の非特許文献１に記載されている動画像符号化装置では、色差信号のフレーム内予測を行う予測手段として、輝度信号と色差信号の相関を利用して、縮小後の輝度信号に数値演算を施すことで、色差信号を予測するＩｎｔｒａ＿ＬＭモードが採用されている。
図２４はＩｎｔｒａ＿ＬＭモードの予測処理を実施する輝度相関利用色差信号予測部を示す構成図である。
図２４の輝度相関利用色差信号予測部は、輝度参照画素縮小部９３１、相関算出部９３２及び色差予測画像生成部９３３から構成されている。

輝度参照画素縮小部９３１は、図２５に示すように、ＹＵＶ４：２：０信号に対して、色差信号の予測ブロックに対応するブロック内の復号済の画素値である復号済輝度信号と、その復号済輝度信号の上端と左端に隣接している復号済輝度信号とを用いて、縮小輝度参照画素Ｒｅｃ’_Ｌを生成する。
ここで、縮小輝度参照画素Ｒｅｃ’_Ｌは、図２６に示すように、ＹＵＶ４：２：０信号において、色差信号の画素と同位相になるように、輝度参照画素Ｒｅｃ_Ｌに対して、縦方向に１：１のローパスフィルタを施した後に、縦横に偶数列のみをサブサンプリングすることで得られる。

相関算出部９３２は、輝度参照画素縮小部９３１が縮小輝度参照画素Ｒｅｃ’_Ｌを生成すると、その縮小輝度参照画素Ｒｅｃ’_Ｌと、色差信号の予測ブロックの上端及び左端に隣接している色差信号の復号済の画素値である色差参照画素Ｒｅｃ_Ｃとを用いて、下記の式（１）及び式（２）に示すように、予測に用いる相関パラメータα，βを算出する。

式（１），（２）において、Ｉは処理対象となる色差信号の予測ブロックの１辺の画素数の２倍の値である。

色差予測画像生成部９３３は、相関算出部９３２が相関パラメータα，βを算出すると、その相関パラメータα，βと縮小輝度参照画素Ｒｅｃ’_Ｌを用いて、下記の式（３）に示すように、色差予測画像Ｐｒｅｄ_Ｃを生成する。

J. Chen，et. al，"CE6.a.4: Chroma intra prediction by reconstructed luma samples"，Joint Collaborative Team on Video Coding（JCT-VC）of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，JCTVC-E266，5th Meeting: Geneva，CH，Mar.，2011.

従来の動画像符号化装置は以上のように構成されているので、隣接画素から予測できない色差信号の変化も、輝度信号との相関を利用して適切に予測することができ、高い精度での予測が可能になる。しかし、縮小輝度参照画素Ｒｅｃ’_Ｌを生成する際、２画素ずつの平均値を取ることで、画面の垂直方向には、強いローパスフィルタが施されているが、画面の水平方向には、単純に２画素おきにサブサンプリングされるだけであるため、縮小輝度参照画素Ｒｅｃ’_Ｌの水平方向にはエイリアシングが発生することがある。色差予測画像Ｐｒｅｄ_Ｃは、縮小輝度参照画素Ｒｅｃ’_Ｌをスカラ倍してオフセット加算することで得られるため、縮小輝度参照画素Ｒｅｃ’_Ｌのエイリアシングが、色差予測画像に反映されて予測誤差が増幅されてしまい、符号化効率の改善が限定的になるなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、エイリアシングの発生を抑制して、符号化効率を高めることができる動画像符号化装置及び動画像符号化方法を得ることを目的とする。
また、この発明は、符号化効率の改善が図られている符号化データから正確に動画像を復号することができる動画像復号装置及び動画像復号方法を得ることを目的とする。
また、この発明は、縮小輝度参照画素を一時的に保持する際に必要なリソースの消費を抑制することができる動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法を得ることを目的とする。

この発明に係る動画像符号化装置は、ブロック分割手段により分割された符号化ブロックの輝度成分に対するフレーム内予測を実施して、その輝度成分に対する予測画像を生成する輝度成分イントラ予測手段と、その符号化ブロックに対して水平方向及び垂直方向に隣接している参照画素の輝度成分と上記符号化ブロックの輝度成分とを用いて、その符号化ブロックに対して水平方向及び垂直方向に隣接している参照画素の色差成分と同位相となる縮小参照画素の輝度成分を算出する輝度参照画素縮小部と、輝度参照画素縮小部により算出された縮小参照画素の輝度成分と上記符号化ブロックに対して水平方向及び垂直方向に隣接している参照画素の色差成分とを用いて、輝度成分と色差成分の相関を示す相関パラメータを算出する相関算出部と、輝度参照画素縮小部により算出された縮小参照画素の輝度成分のビット精度を削減する参照画素精度縮小部と、相関算出部により算出された相関パラメータと参照画素精度縮小部によりビット精度が削減された縮小参照画素の輝度成分とを用いて、上記符号化ブロックの色差成分に対する予測画像を生成する色差予測画像生成部とから予測画像生成手段が構成されているようにしたものである。

この発明によれば、ブロック分割手段により分割された符号化ブロックの輝度成分に対するフレーム内予測を実施して、その輝度成分に対する予測画像を生成する輝度成分イントラ予測手段と、その符号化ブロックに対して水平方向及び垂直方向に隣接している参照画素の輝度成分と上記符号化ブロックの輝度成分とを用いて、その符号化ブロックに対して水平方向及び垂直方向に隣接している参照画素の色差成分と同位相となる縮小参照画素の輝度成分を算出する輝度参照画素縮小部と、輝度参照画素縮小部により算出された縮小参照画素の輝度成分と上記符号化ブロックに対して水平方向及び垂直方向に隣接している参照画素の色差成分とを用いて、輝度成分と色差成分の相関を示す相関パラメータを算出する相関算出部と、輝度参照画素縮小部により算出された縮小参照画素の輝度成分のビット精度を削減する参照画素精度縮小部と、相関算出部により算出された相関パラメータと参照画素精度縮小部によりビット精度が削減された縮小参照画素の輝度成分とを用いて、上記符号化ブロックの色差成分に対する予測画像を生成する色差予測画像生成部とから予測画像生成手段が構成されているので、縮小参照画素の輝度成分を一時的に保持する際に必要なリソースの消費を抑制することができる効果がある。

この発明の実施の形態１による動画像符号化装置を示す構成図である。 この発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。 この発明の実施の形態１による動画像符号化装置のイントラ予測部４を示す構成図である。 この発明の実施の形態１による動画像符号化装置の輝度相関利用色差信号予測部２４を示す構成図である。 この発明の実施の形態１による動画像符号化装置のイントラ予測部４の処理内容を示すフローチャートである。 この発明の実施の形態１による動画像符号化装置の輝度相関利用色差信号予測部２４の処理内容を示すフローチャートである。 この発明の実施の形態１による動画像復号装置を示す構成図である。 この発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。 この発明の実施の形態１による動画像復号装置のイントラ予測部４３を示す構成図である。 この発明の実施の形態１による動画像復号装置の輝度相関利用色差信号予測部５４を示す構成図である。 最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。 符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎを示す説明図である。 分割後のパーティションの分布や、階層分割後のパーティションに符号化モードｍ（Ｂ^ｎ）が割り当てられる状況を４分木グラフで示す説明図である。 符号化ブロックＢ^ｎに属する各パーティションＰ_ｉ ^ｎにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。 ｌ_ｉ ^ｎ＝ｍ_ｉ ^ｎ＝４の場合において、パーティションＰ_ｉ ^ｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。 色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。 縮小輝度参照画素Ｒｅｃ’_Ｌの生成方法を示す説明図である。 この発明の実施の形態２による動画像符号化装置の輝度相関利用色差信号予測部２４を示す構成図である。 この発明の実施の形態２による動画像復号装置の輝度相関利用色差信号予測部５４を示す構成図である。 色差信号の予測ブロックと復号済輝度信号などを示す説明図である。 縮小輝度参照画素Ｒｅｃ’_Ｌの生成方法を示す説明図である。 ４：２：０信号におけるトップフィールド及びボトムトップフィールドの輝度画素位置，色差画素位置を示す説明図である。 ４：２：２信号におけるトップフィールド及びボトムトップフィールドの輝度画素位置，色差画素位置を示す説明図である。 Ｉｎｔｒａ＿ＬＭモードの予測処理を実施する輝度相関利用色差信号予測部を示す構成図である。 色差信号の予測ブロックと復号済輝度信号などを示す説明図である。 縮小輝度参照画素Ｒｅｃ’_Ｌの生成方法を示す説明図である。

実施の形態１．
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、符号化制御部１はイントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部１は利用可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。
また、符号化制御部１は各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する処理を実施する。量子化パラメータ及び変換ブロックサイズは、予測差分符号化パラメータに含まれて、変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３等に出力される。
なお、符号化制御部１は符号化制御手段を構成している。

ブロック分割部２は入力画像（カレントピクチャ）を示す映像信号を入力すると、その入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部２はブロック分割手段を構成している。
切替スイッチ３は符号化制御部１により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部２により分割された符号化ブロックをイントラ予測部４に出力し、符号化制御部１により選択された符号化モードがインター符号化モードであれば、ブロック分割部２により分割された符号化ブロックを動き補償予測部５に出力する処理を実施する。

イントラ予測部４は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、その符号化ブロックに対して、イントラ予測用メモリ１０により格納されている上記符号化ブロックに隣接している復号済みの画素を用いて、符号化制御部１から出力されたイントラ予測パラメータに基づくフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
即ち、イントラ予測部４は、ブロック分割部２により分割された符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
一方、ブロック分割部２により分割された符号化ブロックにおける色差成分については、符号化制御部１により選択された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、ブロック分割部２により分割された符号化ブロックにおける色差成分のフレーム内予測を実施して、色差成分に対する予測画像を生成する。
また、符号化制御部１により選択された符号化モードが、イントラ符号化モードにおける平滑化輝度相関利用色差信号予測モードであれば、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する。

動き補償予測部５はブロック分割部２により分割された符号化ブロックに対応する符号化モードとして、符号化制御部１によりインター符号化モードが選択された場合、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ３、イントラ予測部４及び動き補償予測部５から予測画像生成手段が構成されている。

減算部６はブロック分割部２により分割された符号化ブロックから、イントラ予測部４又は動き補償予測部５により生成された予測画像を減算することで、差分画像（＝符号化ブロック−予測画像）を生成する処理を実施する。なお、減算部６は差分画像生成手段を構成している。
変換・量子化部７は符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、減算部６により生成された差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。なお、変換・量子化部７は画像圧縮手段を構成している。

逆量子化・逆変換部８は符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換・量子化部７から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として出力する処理を実施する。

加算部９は逆量子化・逆変換部８から出力された局所復号予測差分信号とイントラ予測部４又は動き補償予測部５により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
イントラ予測用メモリ１０はイントラ予測部４により次回のイントラ予測処理で用いられる画像として、加算部９により生成された局所復号画像信号が示す局所復号画像を格納するＲＡＭなどの記録媒体である。

ループフィルタ部１１は加算部９により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に出力する処理を実施する。
動き補償予測フレームメモリ１２は動き補償予測部５により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部１１によるフィルタリング処理後の局所復号画像を格納するＲＡＭなどの記録媒体である。

可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部１３は可変長符号化手段を構成している。

図１では、動画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータなどで構成される場合、符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。

図３はこの発明の実施の形態１による動画像符号化装置のイントラ予測部４を示す構成図である。
図３において、輝度信号イントラ予測部２１はブロック分割部２により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する処理を実施する。
即ち、輝度信号イントラ予測部２１はイントラ予測用メモリ１０により格納されている上記符号化ブロックに隣接している復号済みの輝度参照画素を参照して、符号化制御部１から出力されたイントラ予測パラメータに基づく輝度成分のフレーム内予測を実施することで、輝度成分に対する予測画像を生成する処理を実施する。なお、輝度信号イントラ予測部２１は輝度成分イントラ予測手段を構成している。

切替スイッチ２２は符号化制御部１から出力されたイントラ予測パラメータのうち、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードである旨を示していれば、予測に用いる参照画素を色差信号方向性イントラ予測部２３に与え、色差信号のイントラ符号化モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示していれば、予測に用いる参照画素を輝度相関利用色差信号予測部２４に出力する処理を実施する。

色差信号方向性イントラ予測部２３は切替スイッチ２２から受け取った上記符号化ブロックに隣接している復号済みの色差参照画素を参照して、符号化制御部１から出力されたイントラ予測パラメータに基づく色差成分のフレーム内予測を実施することで、色差成分に対する予測画像を生成する処理を実施する。
輝度相関利用色差信号予測部２４は切替スイッチ２２から受け取った復号済みの画素のうち、符号化ブロックに隣接している復号済みの輝度参照画素及び色差参照画素と、当該符号化ブロック内の復号済みの輝度参照画素を用いて、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する処理を実施する。
なお、切替スイッチ２２、色差信号方向性イントラ予測部２３及び輝度相関利用色差信号予測部２４から色差成分イントラ予測手段が構成されている。

図４はこの発明の実施の形態１による動画像符号化装置の輝度相関利用色差信号予測部２４を示す構成図である。
図４において、平滑化輝度参照画素縮小部３１はイントラ予測用メモリ１０により格納されている符号化ブロックを構成している復号済みの輝度参照画素のうち、水平方向及び垂直方向に隣接している複数の輝度参照画素の平滑化処理等を実施することで、縮小輝度参照画素Ｒｅｃ’_Ｌを生成する。
相関算出部３２はイントラ予測用メモリ１０により格納されている色差参照画素と平滑化輝度参照画素縮小部３１により生成された縮小輝度参照画素Ｒｅｃ’_Ｌを用いて、輝度成分と色差成分の相関を示す相関パラメータα，βを算出する処理を実施する。

色差予測画像生成部３３は相関算出部３２により算出された相関パラメータα，βと平滑化輝度参照画素縮小部３１により生成された縮小輝度参照画素Ｒｅｃ’_Ｌを用いて、色差成分に対する予測画像を生成する処理を実施する。
なお、図５はこの発明の実施の形態１による動画像符号化装置のイントラ予測部４の処理内容を示すフローチャートである。
図６はこの発明の実施の形態１による動画像符号化装置の輝度相関利用色差信号予測部２４の処理内容を示すフローチャートである。

図７はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図７において、可変長復号部４１はイントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ及び最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数を特定することで、ビットストリームに多重化されている符号化データの中で、最大サイズの符号化ブロック及び階層的に分割されている符号化ブロックに係る符号化データを特定し、各々の符号化データから符号化ブロックに係る圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部４５に出力するとともに、その符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ４２に出力する処理を実施する。なお、可変長復号部４１は可変長復号手段を構成している。

切替スイッチ４２は可変長復号部４１から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部４１から出力されたイントラ予測パラメータをイントラ予測部４３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部４１から出力されたインター予測パラメータを動き補償部４４に出力する処理を実施する。

イントラ予測部４３はイントラ予測用メモリ４７により格納されている符号化ブロックに隣接している復号済みの画素を用いて、切替スイッチ４２から出力されたイントラ予測パラメータに基づいて、符号化ブロックに対するフレーム内予測処理を実施することで予測画像を生成する処理を実施する。
即ち、イントラ予測部４３は、可変長復号部４１から出力された符号化ブロックにおける輝度成分については、その輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する。
一方、可変長復号部４１から出力された符号化ブロックにおける色差成分については、可変長復号部４１から出力された符号化モードが、イントラ符号化モードにおける方向性予測モードであれば、その符号化ブロックにおける色差成分のフレーム内予測を実施して、色差成分に対する予測画像を生成する。
また、可変長復号部４１から出力された符号化モードが、イントラ符号化モードにおける平滑化輝度相関利用色差信号予測モードであれば、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する。

動き補償部４４は動き補償予測フレームメモリ４９により格納されている１フレーム以上の参照画像を用いて、切替スイッチ４２から出力されたインター予測パラメータに基づいて、符号化ブロックに対する動き補償予測処理を実施することで予測画像を生成する処理を実施する。
なお、切替スイッチ４２、イントラ予測部４３及び動き補償部４４から予測画像生成手段が構成されている。

逆量子化・逆変換部４５は可変長復号部４１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部４１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として出力する処理を実施する。なお、逆量子化・逆変換部４５は差分画像生成手段を構成している。

加算部４６は逆量子化・逆変換部４５から出力された復号予測差分信号とイントラ予測部４３又は動き補償部４４により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、加算部４６は復号画像生成手段を構成している。
イントラ予測用メモリ４７はイントラ予測部４３により次回のイントラ予測処理で用いられる画像として、加算部４６により生成された復号画像信号が示す復号画像を格納するＲＡＭなどの記録媒体である。

ループフィルタ部４８は加算部４６により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ４９に出力するとともに、その復号画像を再生画像として外部に出力する処理を実施する。
動き補償予測フレームメモリ４９は動き補償部４４により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部４８によるフィルタリング処理後の復号画像を格納するＲＡＭなどの記録媒体である。

図７では、動画像復号装置の構成要素である可変長復号部４１、切替スイッチ４２、イントラ予測部４３、動き補償部４４、逆量子化・逆変換部４５、加算部４６及びループフィルタ部４８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータなどで構成される場合、可変長復号部４１、切替スイッチ４２、イントラ予測部４３、動き補償部４４、逆量子化・逆変換部４５、加算部４６及びループフィルタ部４８の処理内容を記述しているプログラムの全部又は一部を当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図８はこの発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。

図９はこの発明の実施の形態１による動画像復号装置のイントラ予測部４３を示す構成図である。
図９において、輝度信号イントラ予測部５１は可変長復号部４１から出力された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する処理を実施する。
即ち、輝度信号イントラ予測部５１はイントラ予測用メモリ４７により格納されている上記符号化ブロックに隣接している復号済みの輝度参照画素を参照して、可変長復号部４１から出力されたイントラ予測パラメータに基づく輝度成分のフレーム内予測を実施することで、輝度成分に対する予測画像を生成する処理を実施する。なお、輝度信号イントラ予測部５１は輝度成分イントラ予測手段を構成している。

切替スイッチ５２は可変長復号部４１から出力されたイントラ予測パラメータのうち、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードである旨を示していれば、予測に用いる参照画素を色差信号方向性イントラ予測部５３に与え、色差信号のイントラ符号化モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示していれば、予測に用いる参照画素を輝度相関利用色差信号予測部５４に出力する処理を実施する。

色差信号方向性イントラ予測部５３は切替スイッチ５２から受け取った上記符号化ブロックに隣接している復号済みの色差参照画素を参照して、可変長復号部４１から出力されたイントラ予測パラメータに基づく色差成分のフレーム内予測を実施することで、色差成分に対する予測画像を生成する処理を実施する。
輝度相関利用色差信号予測部５４は切替スイッチ５２から受け取った復号済みの画素のうち、符号化ブロックに隣接している復号済みの輝度参照画素及び色差参照画素と、当該符号化ブロック内の復号済みの輝度参照画素を用いて、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する処理を実施する。
なお、切替スイッチ５２、色差信号方向性イントラ予測部５３及び輝度相関利用色差信号予測部５４から色差成分イントラ予測手段が構成されている。

図１０はこの発明の実施の形態１による動画像復号装置の輝度相関利用色差信号予測部５４を示す構成図である。
図１０において、平滑化輝度参照画素縮小部６１はイントラ予測用メモリ４７により格納されている符号化ブロックを構成している復号済みの輝度参照画素のうち、水平方向及び垂直方向に隣接している複数の輝度参照画素の平滑化処理等を実施することで、縮小輝度参照画素Ｒｅｃ’_Ｌを生成する。
相関算出部６２はイントラ予測用メモリ４７により格納されている色差参照画素と平滑化輝度参照画素縮小部６１により生成された縮小輝度参照画素Ｒｅｃ’_Ｌを用いて、輝度成分と色差成分の相関を示す相関パラメータα，βを算出する処理を実施する。
色差予測画像生成部６３は相関算出部６２により算出された相関パラメータα，βと平滑化輝度参照画素縮小部６１により生成された縮小輝度参照画素Ｒｅｃ’_Ｌを用いて、色差成分に対する予測画像を生成する処理を実施する。

この実施の形態１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内・フレーム間適応符号化を行うことを特徴としている。
一般に映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有し、空間的に見ると、ある特定の映像フレーム上では、例えば、空や壁などのように、比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画などでは、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。

時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
符号化処理は、時間・空間的な予測によって、信号電力やエントロピーが小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測処理に用いる予測パラメータをできるだけ大きな画像信号領域に対して均一に適用することができれば、予測パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化が大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測誤りが増えてしまうため、予測差分信号の符号量を削減することができない。
したがって、時間的・空間的に変化が大きい領域では、予測対象の領域を小さくして、予測処理に用いる予測パラメータのデータ量を増やしても、予測差分信号の電力・エントロピーを低減する方が望ましい。
このような映像信号の一般的な性質に適応している符号化処理を行うため、この実施の形態１の動画像符号化装置では、所定の最大ブロックサイズから映像信号の領域を階層的に分割し、分割領域毎に予測処理や予測差分の符号化処理を適応化する構成を採用している。

この実施の形態１の動画像符号化装置が処理対象とする映像信号は、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
各画素の諧調は８ビットでもよいし、１０ビット、１２ビットなどの諧調であってもよい。
ただし、以下の説明においては、特に断らない限り、入力される映像信号がＹＵＶ信号であるものとする。また、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号であるものとする。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。

次に動作について説明する。
最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部１は、イントラ予測処理（フレーム内予測処理）又は動き補償予測処理（フレーム間予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（図２のステップＳＴ１）。

符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。
また、入力画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。

また、符号化制御部１は、利用可能な１以上の符号化モード（Ｍ種類のイントラ符号化モード、Ｎ種類のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。予め用意されているＭ種類のイントラ符号化モードについては後述する。
ただし、後述するブロック分割部２により階層的に分割された各々の符号化ブロックが更にパーティション単位に分割される場合は、各々のパーティションに対応する符号化モードを選択することが可能である。
以下、この実施の形態１では、各々の符号化ブロックが更にパーティション単位に分割されるものとして説明する。
符号化制御部１による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。

また、符号化制御部１は、各々の符号化ブロックに含まれているパーティション毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを決定する。
符号化制御部１は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。また、予測差分符号化パラメータを必要に応じてイントラ予測部４に出力する。

ブロック分割部２は、入力画像を示す映像信号を入力すると、その入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。また、その符号化ブロックをパーティション単位に分割する（ステップＳＴ３）。
ここで、図１１は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
図１１の例では、最大サイズの符号化ブロックは、第０階層の符号化ブロックＢ^０であり、輝度成分で（Ｌ^０，Ｍ^０）のサイズを有している。
また、図１１の例では、最大サイズの符号化ブロックＢ^０を出発点として、４分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックＢ^ｎを得ている。

深さｎにおいては、符号化ブロックＢ^ｎはサイズ（Ｌ^ｎ，Ｍ^ｎ）の画像領域である。
ただし、Ｌ^ｎとＭ^ｎは同じであってもよいし異なっていてもよいが、図１１の例ではＬ^ｎ＝Ｍ^ｎのケースを示している。
以降、符号化ブロックＢ^ｎのサイズは、符号化ブロックＢ^ｎの輝度成分におけるサイズ（Ｌ^ｎ，Ｍ^ｎ）と定義する。

ブロック分割部２では、４分木分割を行うため、常に（Ｌ^ｎ＋１，Ｍ^ｎ＋１）＝（Ｌ^ｎ／２，Ｍ^ｎ／２）が成立する。
ただし、ＲＧＢ信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌ^ｎ，Ｍ^ｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは（Ｌ^ｎ／２，Ｍ^ｎ／２）である。
以降、第ｎ階層の符号化ブロックＢ^ｎで選択しうる符号化モードをｍ（Ｂ^ｎ）と表記する。

複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂ^ｎ）は、色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。
符号化モードｍ（Ｂ^ｎ）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」)、１つないし複数のインター符号化モード（総称して「ＩＮＴＥＲ」）があり、符号化制御部１は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックＢ^ｎに対して最も符号化効率がよい符号化モードを選択する。

符号化ブロックＢ^ｎは、図１１に示すように、更に１つないし複数の予測処理単位（パーティション）に分割される。
以降、符号化ブロックＢ^ｎに属するパーティションをＰ_ｉ ^ｎ（ｉ： 第ｎ階層におけるパーティション番号）と表記する。図１２は符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎを示す説明図である。
符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎの分割がどのようになされているかは符号化モードｍ（Ｂ^ｎ）の中に情報として含まれる。
パーティションＰ_ｉ ^ｎは、すべて符号化モードｍ（Ｂ^ｎ）に従って予測処理が行われるが、パーティションＰ_ｉ ^ｎ毎に、個別の予測パラメータを選択することができる。

符号化制御部１は、最大サイズの符号化ブロックに対して、例えば、図１３に示すようなブロック分割状態を生成して、符号化ブロックＢ^ｎを特定する。
図１３（ａ）の斜線部分は分割後のパーティションの分布を示し、また、図１３（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂ^ｎ）が割り当てられる状況を４分木グラフで示している。
図１３（ｂ）において、□で囲まれているノードが、符号化モードｍ（Ｂ^ｎ）が割り当てられたノード（符号化ブロックＢ^ｎ）を示している。

切替スイッチ３は、符号化制御部１がイントラ符号化モードを選択すると（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡ）、ブロック分割部２により分割された符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎをイントラ予測部４に出力し、符号化制御部１がインター符号化モードを選択すると（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲ）、その符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎを動き補償予測部５に出力する。

イントラ予測部４は、切替スイッチ３から符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎを受けると（ステップＳＴ４）、具体的な処理内容は後述するが、符号化制御部１により決定されたイントラ予測パラメータに基づいて、各パーティションＰ_ｉ ^ｎに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐ_ｉ ^ｎ）を生成する（ステップＳＴ５）。
以下、この明細書では、Ｐ_ｉ ^ｎはパーティションを示し、（Ｐ_ｉ ^ｎ）はパーティションＰ_ｉ ^ｎの予測画像を示すものとする。

イントラ予測画像（Ｐ_ｉ ^ｎ）の生成に用いられるイントラ予測パラメータは、動画像復号装置側でも、全く同じイントラ予測画像（Ｐ_ｉ ^ｎ）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。
なお、イントラ予測パラメータとして選択できるイントラ予測方向数は、処理対象となるブロックのサイズに応じて異なるよう構成してもよい。
大きいサイズのパーティションでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのパーティションでは、選択できるイントラ予測方向数を多くするように構成することができる。
例えば、４×４画素パーティションや８×８画素パーティションでは３４方向、１６×１６画素パーティションでは１７方向、３２×３２画素パーティションでは９方向などのように構成してもよい。

動き補償予測部５は、切替スイッチ３から符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎを受けると（ステップＳＴ４）、符号化制御部１により決定されたインター予測パラメータに基づいて、各パーティションＰ_ｉ ^ｎに対するインター予測処理を実施することにより、インター予測画像（Ｐ_ｉ ^ｎ）を生成する（ステップＳＴ６）。
即ち、動き補償予測部５は、動き補償予測フレームメモリ１２により格納されている１フレーム以上の参照画像を用いて、符号化制御部１から出力されたインター予測パラメータに基づいて、その符号化ブロックに対する動き補償予測処理を実施することで、インター予測画像（Ｐ_ｉ ^ｎ）を生成する。
インター予測画像（Ｐ_ｉ ^ｎ）の生成に用いられるインター予測パラメータは、動画像復号装置側でも、全く同じインター予測画像（Ｐ_ｉ ^ｎ）を生成する必要があるため、可変長符号化部１３によってビットストリームに多重化される。

減算部６は、イントラ予測部４又は動き補償予測部５から予測画像（Ｐ_ｉ ^ｎ）を受けると、ブロック分割部２により分割された符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎから、その予測画像（Ｐ_ｉ ^ｎ）を減算することで、その差分画像を示す予測差分信号ｅ_ｉ ^ｎを生成する（ステップＳＴ７）。
変換・量子化部７は、減算部６が予測差分信号ｅ_ｉ ^ｎを生成すると、符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、その予測差分信号ｅ_ｉ ^ｎに対する変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その予測差分信号ｅ_ｉ ^ｎの変換係数を量子化することで、量子化後の変換係数である差分画像の圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ８）。

逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として加算部９に出力する（ステップＳＴ９）。

加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４又は動き補償予測部５により生成された予測画像（Ｐ_ｉ ^ｎ）を示す予測信号とを加算することで、局所復号パーティション画像ないしはその集まりとしての局所復号符号化ブロック画像（以下、「局所復号画像」と称する）を示す局所復号画像信号を生成し、その局所復号画像信号をループフィルタ部１１に出力する（ステップＳＴ１０）。
また、イントラ予測用メモリ１０には、イントラ予測に用いるために、当該局所復号画像が格納される。

ループフィルタ部１１は、加算部９から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に格納する（ステップＳＴ１１）。
なお、ループフィルタ部１１によるフィルタリング処理は、入力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像信号が入力された後に１画面分まとめて行ってもよい。

ステップＳＴ４〜ＳＴ１０の処理は、ブロック分割部２により分割された全ての符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ１２）。
可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータとを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する（ステップＳＴ１３）。

次に、イントラ予測部４の処理内容を具体的に説明する。
図１４は符号化ブロックＢ^ｎに属する各パーティションＰ_ｉ ^ｎにおいて選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
図１４の例では、イントラ予測モードに対応する予測方向ベクトルを示しており、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。

まず、イントラ予測部４の輝度信号イントラ予測部２１は、ブロック分割部２により分割された符号化ブロックにおける輝度成分のフレーム内予測を実施して、輝度成分に対する予測画像を生成する（図５のステップＳＴ２１）。
以下、輝度信号イントラ予測部２１の処理内容を具体的に説明する。
ここでは、イントラ予測部４の輝度信号イントラ予測部２１が、パーティションＰ_ｉ ^ｎの輝度信号に対するイントラ予測パラメータ（イントラ予測モード）に基づいて、その輝度信号のイントラ予測信号を生成するイントラ処理について説明する。
説明の便宜上、パーティションＰ_ｉ ^ｎのサイズをｌ_ｉ ^ｎ×ｍ_ｉ ^ｎ画素とする。

図１５はｌ_ｉ ^ｎ＝ｍ_ｉ ^ｎ＝４の場合において、パーティションＰ_ｉ ^ｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図１５の例では、パーティションＰ_ｉ ^ｎに隣接している符号化済みの上パーティションの画素（（２×ｌ_ｉ ^ｎ＋１）個の画素）と、左パーティションの画素（（２×ｍ_ｉ ^ｎ）個の画素）を予測に用いる参照画素としているが、予測に用いる画素は、図１５に示す画素より多くても少なくてもよい。
また、図１５の例では、隣接している１行又は１列分の画素を予測に用いているが、２行又は２列分の画素、あるいは、それ以上の画素を予測に用いてもよい。

輝度信号イントラ予測部２１は、例えば、パーティションＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が２（平均値予測）である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰ_ｉ ^ｎ内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖ_ｐ＝（ｄｘ，ｄｙ）に基づいて、パーティションＰ_ｉ ^ｎ内の画素の予測値を生成する。
予測値を生成する画素（予測対象画素）のパーティションＰ_ｉ ^ｎ内の相対座標（パーティションの左上画素を原点とする）を（ｘ，ｙ）とすると、予測に用いる参照画素の位置は、下記に示すＬと、隣接画素の交点となる。

参照画素が整数画素位置にある場合、その整数画素を予測対象画素の予測値とする。参照画素が整数画素位置にない場合、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図１５の例では、参照画素が整数画素位置にないので、参照画素に隣接する２画素の平均値を予測値としている。
なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。

輝度信号イントラ予測部２１は、同様の手順で、パーティションＰ_ｉ ^ｎ内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像（Ｐ_ｉ ^ｎ）を出力する。
イントラ予測画像（Ｐ_ｉ ^ｎ）の生成に用いているイントラ予測パラメータは、上述したように、ビットストリームに多重化するために可変長符号化部１３に出力される。

イントラ予測部４の切替スイッチ２２は、符号化制御部１から出力されたイントラ予測パラメータのうち、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードであるのか、平滑化輝度相関利用色差信号予測モードであるのかを判定する（ステップＳＴ２２）。
切替スイッチ２２は、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードである旨を示していれば、予測に用いる参照画素を色差信号方向性イントラ予測部２３に与え、色差信号のイントラ符号化モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示していれば、予測に用いる参照画素を輝度相関利用色差信号予測部２４に与える。
ここで、図１６は色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。
図１６の例では、色差信号イントラ予測パラメータが“３４”である場合には、予測に用いる参照画素が輝度相関利用色差信号予測部２４に与えられ、色差信号イントラ予測パラメータが“３４”以外である場合には、予測に用いる参照画素が色差信号方向性イントラ予測部２３に与えられることになる。

色差信号方向性イントラ予測部２３は、切替スイッチ２２から予測に用いる参照画素を受けると、パーティションＰ_ｉ ^ｎに隣接している復号済みの色差参照画素を参照して、符号化制御部１から出力されたイントラ予測パラメータに基づく色差成分のフレーム内予測を実施することで、色差成分に対する予測画像を生成する（ステップＳＴ２３）。
色差信号方向性イントラ予測部２３におけるイントラ予測の対象が色差信号であり、イントラ予測の対象が輝度信号である輝度信号イントラ予測部２１と異なるが、イントラ予測の処理内容自体は輝度信号イントラ予測部２１と同様である。よって、方向性予測、水平予測、垂直予測、ＤＣ予測などを行うことにより、色差信号のイントラ予測画像が生成される。

輝度相関利用色差信号予測部２４は、切替スイッチ２２から予測に用いる参照画素を受けると、符号化ブロックであるパーティションＰ_ｉ ^ｎに隣接している復号済みの輝度参照画素及び色差参照画素と、パーティションＰ_ｉ ^ｎ内の復号済みの輝度参照画素（輝度信号イントラ予測部２１により先に生成されたパーティションＰ_ｉ ^ｎのイントラ予測画像（Ｐ_ｉ ^ｎ）から得られた局所復号画像内の輝度参照画素）とを用いて、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する（ステップＳＴ２４）。
以下、輝度相関利用色差信号予測部２４の処理内容を具体的に説明する。

輝度相関利用色差信号予測部２４の平滑化輝度参照画素縮小部３１は、イントラ予測用メモリ１０により格納されているパーティションＰ_ｉ ^ｎを構成している復号済みの輝度参照画素（輝度信号イントラ予測部２１により先に生成されたパーティションＰ_ｉ ^ｎのイントラ予測画像（Ｐ_ｉ ^ｎ）から得られた局所復号画像内の輝度参照画素）のうち、水平方向及び垂直方向に隣接している複数の輝度参照画素の平滑化処理等を実施することで、縮小輝度参照画素Ｒｅｃ’_Ｌを生成する（図６のステップＳＴ３１）。
即ち、平滑化輝度参照画素縮小部３１は、図２５に示すように、パーティションＰ_ｉ ^ｎ内の色差信号の予測ブロック（図中、左側のＮ×Ｎのブロック）に対応するブロック（図中、右側の２Ｎ×２Ｎのブロック）内の復号済の画素値である復号済輝度信号と、その復号済輝度信号の上端と左端に隣接している復号済輝度信号とを用いて、縮小輝度参照画素Ｒｅｃ’_Ｌを生成する。
ここで、縮小輝度参照画素Ｒｅｃ’_Ｌは、図１７に示すように、ＹＵＶ４：２：０信号において、色差信号画素と同位相になるように、輝度参照画素Ｒｅｃ_Ｌに対して、横方向に１：２：１のローパスフィルタ、縦方向に１：１のローパスフィルタを施した後に、縦横に偶数列のみをサブサンプリングすることで得られる。

輝度相関利用色差信号予測部２４の相関算出部３２は、平滑化輝度参照画素縮小部３１が縮小輝度参照画素Ｒｅｃ’_Ｌを生成すると、その縮小輝度参照画素Ｒｅｃ’_Ｌと、色差信号の予測ブロックの上端及び左端に隣接している色差信号の復号済の画素値である色差参照画素Ｒｅｃ_Ｃとを用いて、下記の式（４）及び式（５）に示すように、予測に用いる相関パラメータα，βを算出する（ステップＳＴ３２）。

式（４），（５）において、Ｉは処理対象となる色差信号の予測ブロックの１辺の画素数の２倍の値である。

色差予測画像生成部３３は、相関算出部３２が相関パラメータα，βを算出すると、その相関パラメータα，βと縮小輝度参照画素Ｒｅｃ’_Ｌを用いて、下記の式（６）に示すように、色差予測画像Ｐｒｅｄ_Ｃを生成する（ステップＳＴ３３）。

なお、イントラ予測は、画面内の未知の領域を既知の領域から予測する手段であるが、輝度信号と色差信号のテクスチャには相関があり、空間方向については、近傍画素同士は画素値の変化が小さいため、予測ブロックに隣接する復号済の輝度信号と色差信号を利用して輝度信号と色差信号の相関パラメータを算出し、その輝度信号と相関パラメータから色差信号を予測することにより、予測効率を向上させることができる。
この際、ＹＵＶ４：２：０信号では、輝度信号と色差信号の解像度が異なるため、輝度信号をサブサンプリングする必要があるが、ローパスフィルタを施すことによりエイリアシングの発生を抑えることができ、予測効率を向上させることができる。

可変長符号化部１３は、上述したように、イントラ予測部４から出力されたイントラ予測パラメータを可変長符号化して、そのイントラ予測パラメータの符号語をビットストリームに多重化するが、イントラ予測パラメータを符号化する際に、複数の方向性予測の予測方向ベクトルの中から、代表的な予測方向ベクトル（予測方向代表ベクトル）を選択し、イントラ予測パラメータを予測方向代表ベクトルのインデックス（予測方向代表インデックス）と予測方向代表ベクトルからの差分を表すインデックス（予測方向差分インデックス）で表して、それぞれのインデックス毎に、確率モデルに応じた算術符号化などのハフマン符号化を行うことで、符号量を削減して符号化するよう構成してもよい。

次に、図７の動画像復号装置の処理内容を説明する。
可変長復号部４１は、図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図８のステップＳＴ４１）、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する。
可変長復号部４１は、フレームサイズを復号すると、図１の動画像符号化装置で決定された最大符号化ブロックサイズ（イントラ予測処理又は動き補償予測処理が実施される際の処理単位となる符号化ブロックの最大サイズ）と、分割階層数の上限（最大サイズの符号化ブロックから階層的に分割されている符号化ブロックの階層数）を動画像符号化装置と同様の手順で決定する（ステップＳＴ４２）。

例えば、符号化ブロックの最大サイズが、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定されている場合には、先に復号しているフレームサイズに基づいて、図１の動画像符号化装置と同様の手順で、符号化ブロックの最大サイズを決定する。
動画像符号化装置によって、符号化ブロックの最大サイズ及び符号化ブロックの階層数がビットストリームに多重化されている場合には、そのビットストリームから符号化ブロックの最大サイズ及び符号化ブロックの階層数を復号する。

可変長復号部４１は、符号化ブロックの最大サイズ及び符号化ブロックの階層数を決定すると、最大符号化ブロックを出発点にして、各符号化ブロックの階層的な分割状態を把握することで、ビットストリームに多重化されている符号化データの中で、各符号化ブロックに係る符号化データを特定し、その符号化データから各符号化ブロックに割り当てられている符号化モードを復号する。
そして、可変長復号部４１は、その符号化モードに含まれている符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎの分割情報を参照して、ビットストリームに多重化されている符号化データの中で、各パーティションＰ_ｉ ^ｎに係る符号化データを特定する（ステップＳＴ４３）。
可変長復号部４１は、各パーティションＰ_ｉ ^ｎに係る符号化データから圧縮データ、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部４５に出力するとともに、符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ４２に出力する（ステップＳＴ４４）。

例えば、予測方向代表インデックスと予測方向差分インデックスがビットストリームに多重化されている場合には、その予測方向代表インデックスと予測方向差分インデックスをそれぞれの確率モデルに応じた算術復号などによりエントロピー復号し、その予測方向代表インデックスと予測方向差分インデックスからイントラ予測パラメータを特定するようにする。
これにより、動画像符号化装置側で、イントラ予測パラメータの符号量を削減している場合でも、イントラ予測パラメータを正しく復号することができる。

切替スイッチ４２は、可変長復号部４１から出力された符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎの符号化モードがイントラ符号化モードである場合、可変長復号部４１から出力されたイントラ予測パラメータをイントラ予測部４３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部４１から出力されたインター予測パラメータを動き補償部４４に出力する。

イントラ予測部４３は、可変長復号部４１からイントラ予測パラメータを受けると（ステップＳＴ４５）、図１のイントラ予測部４と同様に、そのイントラ予測パラメータに基づいて、各パーティションＰ_ｉ ^ｎに対するイントラ予測処理を実施することにより、イントラ予測画像（Ｐ_ｉ ^ｎ）を生成する（ステップＳＴ４６）。
以下、イントラ予測部４３の処理内容を具体的に説明する。

イントラ予測部４３の輝度信号イントラ予測部５１は、可変長復号部４１からイントラ予測パラメータを受けると、動画像符号化装置の輝度信号イントラ予測部２１と同様に、例えば、パーティションＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が２（平均値予測）である場合、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰ_ｉ ^ｎ内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルｖ_ｐ＝（ｄｘ，ｄｙ）に基づいて、パーティションＰ_ｉ ^ｎ内の画素の予測値を生成する。
輝度信号イントラ予測部５１は、同様の手順で、パーティションＰ_ｉ ^ｎ内の輝度信号のすべての画素に対する予測画素を生成し、その生成したイントラ予測画像（Ｐ_ｉ ^ｎ）を出力する。

イントラ予測部４３の切替スイッチ５２は、動画像符号化装置の切替スイッチ２２と同様に、可変長復号部４１から出力されたイントラ予測パラメータのうち、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードであるのか、平滑化輝度相関利用色差信号予測モードであるのかを判定する。
切替スイッチ５２は、色差信号のイントラ符号化モードを示すパラメータが、方向性予測モードである旨を示していれば、予測に用いる参照画素を色差信号方向性イントラ予測部５３に与え、色差信号のイントラ符号化モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示していれば、予測に用いる参照画素を輝度相関利用色差信号予測部５４に与える。

色差信号方向性イントラ予測部５３は、切替スイッチ５２から予測に用いる参照画素を受けると、動画像符号化装置の色差信号方向性イントラ予測部２３と同様に、パーティションＰ_ｉ ^ｎに隣接している復号済みの色差参照画素を参照して、可変長復号部４１から出力されたイントラ予測パラメータに基づく色差成分のフレーム内予測を実施することで、色差成分に対する予測画像を生成する。
色差信号方向性イントラ予測部５３におけるイントラ予測の対象が色差信号であり、イントラ予測の対象が輝度信号である輝度信号イントラ予測部５１と異なるが、イントラ予測の処理内容自体は輝度信号イントラ予測部５１と同様である。よって、方向性予測、水平予測、垂直予測、ＤＣ予測などを行うことにより、色差信号のイントラ予測画像が生成される。

輝度相関利用色差信号予測部５４は、切替スイッチ５２から予測に用いる参照画素を受けると、動画像符号化装置の輝度相関利用色差信号予測部２４と同様に、パーティションＰ_ｉ ^ｎに隣接している復号済みの輝度参照画素及び色差参照画素と、パーティションＰ_ｉ ^ｎ内の復号済みの輝度参照画素（輝度信号イントラ予測部５１により先に生成されたパーティションＰ_ｉ ^ｎのイントラ予測画像（Ｐ_ｉ ^ｎ）から得られた復号画像内の輝度参照画素）とを用いて、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する。
以下、輝度相関利用色差信号予測部５４の処理内容を具体的に説明する。

輝度相関利用色差信号予測部５４の平滑化輝度参照画素縮小部６１は、動画像符号化装置の平滑化輝度参照画素縮小部３１と同様に、イントラ予測用メモリ４７により格納されているパーティションＰ_ｉ ^ｎを構成している復号済みの輝度参照画素（輝度信号イントラ予測部５１により先に生成されたパーティションＰ_ｉ ^ｎのイントラ予測画像（Ｐ_ｉ ^ｎ）から得られた復号画像内の輝度参照画素）のうち、水平方向及び垂直方向に隣接している複数の輝度参照画素の平滑化処理等を実施することで、縮小輝度参照画素Ｒｅｃ’_Ｌを生成する。
即ち、平滑化輝度参照画素縮小部６１は、図２５に示すように、パーティションＰ_ｉ ^ｎ内の色差信号の予測ブロック（図中、左側のＮ×Ｎのブロック）に対応するブロック（図中、右側の２Ｎ×２Ｎのブロック）内の復号済の画素値である復号済輝度信号と、その復号済輝度信号の上端と左端に隣接している復号済輝度信号とを用いて、縮小輝度参照画素Ｒｅｃ’_Ｌを生成する。
ここで、縮小輝度参照画素Ｒｅｃ’_Ｌは、図１７に示すように、ＹＵＶ４：２：０信号において、色差信号画素と同位相になるように、輝度参照画素Ｒｅｃ_Ｌに対して、横方向に１：２：１のローパスフィルタ、縦方向に１：１のローパスフィルタを施した後に、縦横に偶数列のみをサブサンプリングすることで得られる。

相関算出部６２は、平滑化輝度参照画素縮小部６１が縮小輝度参照画素Ｒｅｃ’_Ｌを生成すると、動画像符号化装置の相関算出部３２と同様に、その縮小輝度参照画素Ｒｅｃ’_Ｌと、色差信号の予測ブロックの上端及び左端に隣接している色差信号の復号済の画素値である色差参照画素Ｒｅｃ_Ｃとを用いて、上記の式（４），（５）に示すように、予測に用いる相関パラメータα，βを算出する。
色差予測画像生成部６３は、相関算出部６２が相関パラメータα，βを算出すると、動画像符号化装置の色差予測画像生成部３３と同様に、その相関パラメータα，βと縮小輝度参照画素Ｒｅｃ’_Ｌを用いて、上記の式（６）に示すように、色差予測画像Ｐｒｅｄ_Ｃを生成する。

動き補償部４４は、切替スイッチ４２からインター予測パラメータを受けると、動画像符号化装置の動き補償予測部５と同様に、そのインター予測パラメータに基づいて、各パーティションＰ_ｉ ^ｎに対するインター予測処理を実施することにより、インター予測画像（Ｐ_ｉ ^ｎ）を生成する（ステップＳＴ４７）。
即ち、動き補償部４４は、動き補償予測フレームメモリ４９により格納されている１フレーム以上の参照画像を用いて、そのインター予測パラメータに基づくパーティションＰ_ｉ ^ｎに対する動き補償予測処理を実施することで、インター予測画像（Ｐ_ｉ ^ｎ）を生成する。

逆量子化・逆変換部４５は、可変長復号部４１から予測差分符号化パラメータを受けると、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部４１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や逆ＤＳＴ（逆離散サイン変換）、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として加算部４６に出力する（ステップＳＴ４８）。

加算部４６は、逆量子化・逆変換部４５から出力された復号予測差分信号と、イントラ予測部４３又は動き補償部４４により生成された予測画像（Ｐ_ｉ ^ｎ）を示す予測信号とを加算することで、復号パーティション画像ないしはその集まりとしての復号画像を示す復号画像信号を生成し、その復号画像信号をループフィルタ部４８に出力する（ステップＳＴ４９）。
また、イントラ予測用メモリ４７には、イントラ予測に用いるために、当該復号画像が格納される。

ループフィルタ部４８は、加算部４６から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ４９に格納するとともに、その復号画像を再生画像として出力する（ステップＳＴ５０）。
なお、ループフィルタ部４８によるフィルタリング処理は、入力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する復号画像信号が入力された後に１画面分まとめて行ってもよい。
ステップＳＴ４３〜ＳＴ４９の処理は、全ての符号化ブロックＢ^ｎに属するパーティションＰ_ｉ ^ｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ５１）。

以上で明らかなように、この実施の形態１によれば、動画像符号化装置のイントラ予測部４が、ブロック分割部２により分割された符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成するように構成したので、平滑化後の輝度成分におけるエイリアシングの発生を抑制して、符号化効率を高めることができる効果を奏する。
即ち、符号化制御部１により選択された符号化モードがイントラ予測モードであり、色差信号のイントラ予測モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示している場合、輝度参照画素に対して、水平方向及び垂直方向に平滑化を施してサブサンプリングすることで縮小輝度参照画素を生成し、輝度信号と色差信号の相関を利用して色差信号のイントラ予測画像を生成するため、従来では発生していたエイリアシングによる予測誤差の増幅が抑制された予測画像が生成されて予測効率か向上し、その結果として、符号化効率を高めることができる。

また、この実施の形態１によれば、動画像復号装置のイントラ予測部４３が、可変長復号部４１から出力された符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成するように構成したので、符号化効率の改善が図られている符号化データから正確に動画像を復号することができる効果を奏する。
即ち、可変長復号部４１により可変長復号された符号化モードがイントラ予測モードであり、色差信号のイントラ予測モードを示すパラメータが、平滑化輝度相関利用色差信号予測モードである旨を示している場合、輝度参照画素に対して、水平方向及び垂直方向に平滑化を施してサブサンプリングすることで縮小輝度参照画素を生成し、輝度信号と色差信号の相関を利用して色差信号のイントラ予測画像を生成するため、符号化効率の改善が図られている符号化データから正確に動画像を復号することができる。

なお、この実施の形態１では、縮小輝度参照画素の生成時に、水平方向に１：２：１の平滑化フィルタを施すものを示したが、フィルタの係数は、これに限定されるものではなく、例えば、３：２：３、７：２：７、１：０：１などのフィルタや、さらにタップ数の大きい平滑化フィルタ、あるいは、１：１のフィルタであっても、同様の効果を得ることができる。
また、この実施の形態１では、縮小輝度参照画素の生成時に、予測対象となるブロックの輝度参照画素と、それに隣接する輝度参照画素の平滑化フィルタとして共通のものを使用するものを示したが、予測対象となるブロックの輝度参照画素には１：０：１のフィルタを適用し、隣接する輝度参照画素には１：２：１のフィルタを適用するなど、異なるフィルタを適用しても同様の効果を得ることができる。
１：０：１のフィルタや１：１のフィルタを適用すれば、演算量を削減する効果も得ることができる一方、タップ数の大きい平滑化フィルタを適用すれば、符号化効率を向上させる効果を得ることができる。
また、水平方向と垂直方向の平滑化は同時に行うよう構成してもよい。例えば、対象となる６画素を上記フィルタ係数に応じて重みつき加算した後に平均値を算出するよう構成してもよい。
当然、その他の組み合わせとして、上に隣接する輝度参照画素には１：２：１のフィルタを適用し、左に隣接する輝度参照画素および予測対象となるブロックの輝度参照画素には従来の縦方向の１：１フィルタを適用するよう構成してもよい。このように構成しても、相関パラメータを算出する際にエイリアシングを一部除去することができ、より正確な相関パラメータが算出されるため符号化効率を向上することができる。

実施の形態２．
図１８はこの発明の実施の形態２による動画像符号化装置の輝度相関利用色差信号予測部２４を示す構成図である。
図１８において、輝度参照画素縮小部７１は、例えば、入力される映像信号が図２５に示すようなＹＵＶ信号４：２：０フォーマットの信号である場合、イントラ予測用メモリ１０により格納されている符号化ブロックに対して、水平方向及び垂直方向に隣接している輝度参照画素（参照画素の輝度成分）と、その符号化ブロックを構成している復号済みの輝度参照画素（参照画素の輝度成分）とを用いて、その符号化ブロックに対して水平方向及び垂直方向に隣接している色差参照画素と同位相となる縮小輝度参照画素Ｒｅｃ’_Ｌ（縮小参照画素の輝度成分）を算出する処理を実施する。

相関算出部７２は輝度参照画素縮小部７１により算出された縮小輝度参照画素Ｒｅｃ’_Ｌと、イントラ予測用メモリ１０により格納されている符号化ブロックに対して、水平方向及び垂直方向に隣接している色差参照画素（参照画素の色差成分）とを用いて、輝度成分と色差成分の相関を示す相関パラメータα，βを算出する処理を実施する。

参照画素精度縮小部７３は輝度参照画素縮小部７１により算出された縮小輝度参照画素Ｒｅｃ’_Ｌのビット精度を削減する処理を実施する。
色差予測画像生成部７４は相関算出部７２により算出された相関パラメータα，βと参照画素精度縮小部７３によりビット精度が削減された縮小輝度参照画素Ｒｅｃ’_Ｌとを用いて、その符号化ブロックの色差成分に対する予測画像を生成する処理を実施する。

図１９はこの発明の実施の形態２による動画像復号装置の輝度相関利用色差信号予測部５４を示す構成図である。
図１９において、輝度参照画素縮小部８１は、例えば、入力される映像信号が図２５に示すようなＹＵＶ信号４：２：０フォーマットの信号である場合、イントラ予測用メモリ４７により格納されている符号化ブロックに対して、水平方向及び垂直方向に隣接している輝度参照画素（参照画素の輝度成分）と、その符号化ブロックを構成している復号済みの輝度参照画素（参照画素の輝度成分）とを用いて、その符号化ブロックに対して水平方向及び垂直方向に隣接している色差参照画素と同位相となる縮小輝度参照画素Ｒｅｃ’_Ｌ（縮小参照画素の輝度成分）を算出する処理を実施する。

相関算出部８２は輝度参照画素縮小部８１により算出された縮小輝度参照画素Ｒｅｃ’_Ｌと、イントラ予測用メモリ４７により格納されている符号化ブロックに対して、水平方向及び垂直方向に隣接している色差参照画素（参照画素の色差成分）とを用いて、輝度成分と色差成分の相関を示す相関パラメータα，βを算出する処理を実施する。

参照画素精度縮小部８３は輝度参照画素縮小部８１により算出された縮小輝度参照画素Ｒｅｃ’_Ｌのビット精度を削減する処理を実施する。
色差予測画像生成部８４は相関算出部８２により算出された相関パラメータα，βと参照画素精度縮小部８３によりビット精度が削減された縮小輝度参照画素Ｒｅｃ’_Ｌとを用いて、その符号化ブロックの色差成分に対する予測画像を生成する処理を実施する。

次に動作について説明する。
この実施の形態２の動画像符号化装置及び動画像復号装置は、上記実施の形態１の動画像符号化装置及び動画像復号装置と比べて、輝度相関利用色差信号予測部２４，５４の内部だけが相違している。
この実施の形態２では、縮小輝度参照画素Ｒｅｃ’_Ｌを一時的に保持するリソース（キャッシュ領域、あるいは、メモリ領域）が、他の予測方法と比べて格段に大きく、多くのリソースを消費することに鑑み、リソースの消費を抑制することを目的としている。
以下、輝度相関利用色差信号予測部２４，５４の処理内容を説明する。ただし、輝度相関利用色差信号予測部２４の処理内容と輝度相関利用色差信号予測部５４の処理内容は同様であるため、ここでは、輝度相関利用色差信号予測部２４の処理内容を説明する。

輝度相関利用色差信号予測部２４の輝度参照画素縮小部７１は、例えば、入力される映像信号が図２５に示すようなＹＵＶ信号４：２：０フォーマットの信号である場合、イントラ予測用メモリ１０により格納されている符号化ブロックに対して、水平方向及び垂直方向に隣接している輝度参照画素と、その符号化ブロックを構成している復号済みの輝度参照画素とを用いて、その符号化ブロックに対して水平方向及び垂直方向に隣接している色差参照画素と同位相となる縮小輝度参照画素Ｒｅｃ’_Ｌを算出する。
即ち、輝度参照画素縮小部７１は、図２５に示すように、パーティションＰ_ｉ ^ｎ内の色差信号の予測ブロック（図中、左側のＮ×Ｎのブロック）に対応するブロック（図中、右側の２Ｎ×２Ｎのブロック）内の復号済の画素値である復号済輝度信号と、その復号済輝度信号の上端と左端に隣接している復号済輝度信号とを用いて、縮小輝度参照画素Ｒｅｃ’_Ｌを生成する。

なお、縮小輝度参照画素Ｒｅｃ’_Ｌは、図２６に示すように、ＹＵＶ４：２：０信号において、色差信号の画素と同位相になるように、輝度参照画素Ｒｅｃ_Ｌに対して、縦方向に１：１のローパスフィルタを施した後に、縦横に偶数列のみをサブサンプリングすることで得られる。
あるいは、図１７に示すように、ＹＵＶ４：２：０信号において、色差信号の画素と同位相になるように、輝度参照画素Ｒｅｃ_Ｌに対して、横方向に１：２：１のローパスフィルタ、縦方向に１：１のローパスフィルタを施した後に、縦横に偶数列のみをサブサンプリングすることで得られる。
図１７のようにローパスフィルタを施してサブサンプリングする場合、平滑化後の輝度成分におけるエイリアシングの発生を抑制して、符号化効率を高めることができる。

輝度相関利用色差信号予測部２４の相関算出部７２は、輝度参照画素縮小部７１が縮小輝度参照画素Ｒｅｃ’_Ｌを生成すると、図４の相関算出部３２と同様に、その縮小輝度参照画素Ｒｅｃ’_Ｌと、色差信号の予測ブロックの上端及び左端に隣接している色差信号の復号済の画素値である色差参照画素Ｒｅｃ_Ｃとを用いて、輝度成分と色差成分の相関を示す相関パラメータα，βを算出する。
なお、相関算出部７２は、後述する参照画素精度縮小部７３によって削減されるビット数分だけ相関パラメータα，βの値を左シフトするようにしてもよい。

輝度相関利用色差信号予測部２４の参照画素精度縮小部７３は、輝度参照画素縮小部７１が縮小輝度参照画素Ｒｅｃ’_Ｌを算出すると、その縮小輝度参照画素Ｒｅｃ’_Ｌのビット精度を所定のビット数（例えば、４ビット）に削減し、ビット精度削減後の縮小輝度参照画素Ｒｅｃ’_Ｌを色差予測画像生成部７４に出力する。
色差予測画像生成部７４は、相関算出部７２が相関パラメータα，βを算出し、参照画素精度縮小部７３からビット精度削減後の縮小輝度参照画素Ｒｅｃ’_Ｌを受けると、その相関パラメータα，βとビット精度削減後の縮小輝度参照画素Ｒｅｃ’_Ｌを上記の式（６）に代入することで、色差予測画像Ｐｒｅｄ_Ｃを生成する。

以上で明らかなように、この実施の形態２によれば、参照画素精度縮小部７３，８３が、輝度参照画素縮小部７１，８１により算出された縮小輝度参照画素Ｒｅｃ’_Ｌのビット精度を削減するように構成したので、縮小輝度参照画素Ｒｅｃ’_Ｌを一時的に保持する際に必要なリソースの消費を抑制することができる効果を奏する。

実施の形態３．
上記実施の形態１では、入力される映像信号がＹＵＶ信号４：２：０フォーマットの信号である例を示したが、入力される映像信号がＹＵＶ信号４：２：２フォーマットの信号であってもよい。
この実施の形態３では、入力される映像信号がＹＵＶ信号４：２：２フォーマットの信号である場合の輝度相関利用色差信号予測部２４，５４の処理内容を説明する。
ただし、輝度相関利用色差信号予測部２４の処理内容と輝度相関利用色差信号予測部５４の処理内容は同様であるため、ここでは、輝度相関利用色差信号予測部５４の処理内容を説明する。

動画像復号装置の輝度相関利用色差信号予測部５４は、切替スイッチ５２から予測に用いる参照画素を受けると、パーティションＰ_ｉ ^ｎに隣接している復号済みの輝度参照画素及び色差参照画素と、パーティションＰ_ｉ ^ｎ内の復号済みの輝度参照画素（輝度信号イントラ予測部５１により先に生成されたパーティションＰ_ｉ ^ｎのイントラ予測画像（Ｐ_ｉ ^ｎ）から得られた復号画像内の輝度参照画素）とを用いて、その符号化ブロックを構成している画素のうち、水平方向及び垂直方向に隣接している複数の画素に係る輝度成分を平滑化して、平滑化後の輝度成分と色差成分の相関を示す相関パラメータを算出し、その相関パラメータと平滑化後の輝度成分を用いて、色差成分に対する予測画像を生成する。

即ち、輝度相関利用色差信号予測部５４の平滑化輝度参照画素縮小部６１は、イントラ予測用メモリ４７により格納されているパーティションＰ_ｉ ^ｎを構成している復号済みの輝度参照画素（輝度信号イントラ予測部５１により先に生成されたパーティションＰ_ｉ ^ｎのイントラ予測画像（Ｐ_ｉ ^ｎ）から得られた復号画像内の輝度参照画素）のうち、水平方向及び垂直方向に隣接している複数の輝度参照画素の平滑化処理等を実施することで、縮小輝度参照画素Ｒｅｃ’_Ｌを生成する。
即ち、平滑化輝度参照画素縮小部６１は、図２０に示すように、パーティションＰ_ｉ ^ｎ内の色差信号の予測ブロック（図中、左側のＮ×２Ｎのブロック）に対応するブロック（図中、右側の２Ｎ×２Ｎのブロック）内の復号済の画素値である復号済輝度信号と、その復号済輝度信号の上端と左端に隣接している復号済輝度信号とを用いて、縮小輝度参照画素Ｒｅｃ’_Ｌを生成する。
縮小輝度参照画素Ｒｅｃ’_Ｌは、図２１に示すように、ＹＵＶ４：２：２信号において、色差信号の画素と同位相になるように、輝度参照画素Ｒｅｃ_Ｌに対して、横方向に１：２：１のローパスフィルタを施した後に、縦横に偶数列のみをサブサンプリングすることで得られる。

相関算出部６２は、平滑化輝度参照画素縮小部６１が縮小輝度参照画素Ｒｅｃ’_Ｌを生成すると、動画像符号化装置の相関算出部３２と同様に、その縮小輝度参照画素Ｒｅｃ’_Ｌと、色差信号の予測ブロックの上端及び左端に隣接している色差信号の復号済の画素値である色差参照画素Ｒｅｃ_Ｃとを用いて、上記の式（４），（５）に示すように、予測に用いる相関パラメータα，βを算出する。
色差予測画像生成部６３は、相関算出部６２が相関パラメータα，βを算出すると、動画像符号化装置の色差予測画像生成部３３と同様に、その相関パラメータα，βと縮小輝度参照画素Ｒｅｃ’_Ｌを用いて、式（６）に示すように、色差予測画像Ｐｒｅｄ_Ｃを生成する。

なお、相関パラメータを算出するために用いる復号済輝度信号の左端に隣接している復号済輝度信号については、水平方向にフィルタ処理をかけるためには複数の輝度信号を格納しなければならないため、左端に隣接している復号済輝度信号にはフィルタ処理を施さないように構成することにより、必要となるメモリ量を削減することができる。
同様に、入力信号が４：４：４信号の場合には、それぞれの色成分の位相が一致しているため、位相を合わせるフィルタ処理及びサンプリング処理は不要であるが、例えば、上端に隣接している復号済輝度信号に対しては、水平方向に１：２：１などのローパスフィルタを施すように構成すれば、ノイズ成分が除去され、必要となるメモリ量を増加させることなく、より正確に相関パラメータを算出することができる。

同様に、入力信号が図２２に示すようにＹＵＶ４：２：０のフィールド構造である場合には、トップフィールドについては、水平方向に１：２：１などのローパスフィルタを施すとともに、縦方向に３：１のフィルタを施すことによって、エイリアシングを含むノイズを除去するとともに、色信号成分の位相に合わせた縮小輝度参照画素を得ることができる。
また、ボトムフィールドについては、水平方向に１：２：１などのローパスフィルタを施すとともに、縦方向に１：３のフィルタを施すことによって、エイリアシングを含むノイズを除去するとともに、色信号成分の位相に合わせた縮小輝度参照画素を得ることができる。

また、入力信号が図２３に示すようにＹＵＶ４：２：２のフィールド構造である場合には、トップフィールドについては、水平方向に１：２：１などのローパスフィルタを施すことによって、エイリアシングを含むノイズを除去するとともに、色信号成分の位相に合わせた縮小輝度参照画素を得ることができる。
また、ボトムフィールドについては、水平方向に１：２：１などのローパスフィルタを施すことによって、エイリアシングを含むノイズを除去するとともに、色信号成分の位相に合わせた縮小輝度参照画素を得ることができる。

これらの入力信号の場合にも、上記と同様に、上に隣接する輝度参照画素にのみ水平方向のフィルタを施し、左に隣接する輝度参照画素及び予測対象となるブロックの輝度参照画素には、水平方向のフィルタを施さないように構成すれば、相関パラメータをより正確に算出することができるとともに、演算量の増加や必要となるメモリ量を抑制することができる。

実施の形態４．
可変長符号化部１３では、イントラ予測パラメータを可変長符号化し、可変長復号部４１では、イントラ予測パラメータを可変長復号するよう構成した。イントラ予測パラメータには、輝度成分のイントラ予測モード、色差成分のイントラ予測モードが含まれる。
画像のテクスチャは、輝度成分と色差成分でエッジ方向が類似するという性質があるため、輝度成分のイントラ予測モードと色差成分のイントラ予測モードは類似する可能性が高い。

そこで、色差成分のイントラ予測モードとして、例えば公知のイントラ予測モードである水平方向予測、垂直方向予測、ＤＣ予測および前記平滑化輝度相関利用色差予測が選択可能である場合に、これに加えて、予測対象となる色差信号ブロックに対する輝度信号ブロックのイントラ予測モードと同じ予測モードを適用するイントラダイレクト予測を選択可能とすることにより、色差成分のイントラ予測効率を向上させることが可能となる。

さらに、もし輝度信号ブロックのイントラ予測モードが、色差成分のイントラ予測モードで選択可能である水平方向予測、垂直方向予測、ＤＣ予測のいずれかである場合には、前記イントラダイレクト予測として、Ｐｌａｎｅ予測あるいはＰｌａｎａｒ予測として公知のイントラ予測モードである平坦予測が適用されるように構成してもよい。
ＤＣ予測と平坦予測は平坦な領域を予測する手段としては類似しているため、いずれか一方を例外処理時にのみ選択可能とすることにより、イントラ色差予測モードのオーバヘッドを低減することが可能である。

つまり、可変長符号化部１３では、イントラ色差予測モードとして例えば水平方向予測、垂直方向予測、ＤＣ予測、前記平滑化輝度相関利用色差予測、イントラダイレクト予測の中から符号化制御部１が選択したイントラ色差予測モードを可変長符号化する。即ち、輝度信号ブロックのイントラ予測モードを適用する場合にはイントラダイレクト予測モードをイントラ色差予測モードとして可変長符号化するが、イントラダイレクト予測モードが水平方向予測、垂直方向予測、ＤＣ予測のいずれかである場合には平坦予測をイントラダイレクト予測モードとして可変長符号化する。

可変長復号部４１では、イントラ色差予測モードを可変長復号することにより、水平方向予測、垂直方向予測、ＤＣ予測、前記平滑化輝度相関利用色差予測、イントラダイレクト予測のいずれかのモードを出力する。
ここで、輝度信号ブロックのイントラ予測モードが水平方向予測、垂直方向予測、ＤＣ予測のいずれかである場合には、イントラダイレクト予測モードが復号された場合には色差信号ブロックのイントラ予測モードとして平坦予測が適用される。それ以外の場合にはイントラダイレクト予測モードが復号された場合には色差信号ブロックのイントラ予測モードとして輝度信号ブロックのイントラ予測モードが適用される。

なお、本発明の実施の形態における説明では、平滑化輝度相関利用色差信号予測モード以外の予測モードはすべて方向性予測モードとして記載している。また、本実施の形態ではイントラダイレクト予測モードの例外処理として平坦予測を適用するよう構成したが、斜め方向の予測を適用するよう構成しても、ＤＣ予測と平坦予測が常に選択可能とはならないのでイントラ色差予測モードの符号量を削減する効果を得られる。当然、本説明で用いたＤＣ予測と平坦予測を入れ替えた構成でも同様の効果が得られる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ 符号化制御部（符号化制御手段）、２ ブロック分割部（ブロック分割手段）、３ 切替スイッチ（予測画像生成手段）、４ イントラ予測部（予測画像生成手段）、５ 動き補償予測部（予測画像生成手段）、６ 減算部（差分画像生成手段）、７ 変換・量子化部（画像圧縮手段）、８ 逆量子化・逆変換部、９ 加算部、１０ イントラ予測用メモリ、１１ ループフィルタ部、１２ 動き補償予測フレームメモリ、１３ 可変長符号化部（可変長符号化手段）、２１ 輝度信号イントラ予測部（輝度成分イントラ予測手段）、２２ 切替スイッチ（色差成分イントラ予測手段）、２３ 色差信号方向性イントラ予測部（色差成分イントラ予測手段）、２４ 輝度相関利用色差信号予測部（色差成分イントラ予測手段）、３１ 平滑化輝度参照画素縮小部、３２ 相関算出部、３３ 色差予測画像生成部、４１ 可変長復号部（可変長復号手段）、４２ 切替スイッチ（予測画像生成手段）、４３ イントラ予測部（予測画像生成手段）、４４ 動き補償部（予測画像生成手段）、４５ 逆量子化・逆変換部（差分画像生成手段）、４６ 加算部（復号画像生成手段）、４７ イントラ予測用メモリ、４８ ループフィルタ部、４９ 動き補償予測フレームメモリ、５１ 輝度信号イントラ予測部（輝度成分イントラ予測手段）、５２ 切替スイッチ（色差成分イントラ予測手段）、５３ 色差信号方向性イントラ予測部（色差成分イントラ予測手段）、５４ 輝度相関利用色差信号予測部（色差成分イントラ予測手段）、６１ 平滑化輝度参照画素縮小部、６２ 相関算出部、６３ 色差予測画像生成部、７１，８１ 輝度参照画素縮小部、７２，８２ 相関算出部、７３，８３ 参照画素精度縮小部、７４，８４ 色差予測画像生成部、９３１ 輝度参照画素縮小部、９３２ 相関算出部、９３３ 色差予測画像生成部。

Claims (4)

1. 入力画像を符号化ブロックに分割するブロック分割手段と、上記ブロック分割手段により分割された符号化ブロックに対して予測画像を生成する予測画像生成手段と、上記ブロック分割手段により分割された符号化ブロックと上記予測画像生成手段により生成された予測画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データ及び上記符号化制御手段により選択された符号化モードを可変長符号化して、上記圧縮データ及び上記符号化モードの符号化データが多重化されたビットストリームを生成する可変長符号化手段とを備え、
   上記予測画像生成手段は、上記ブロック分割手段により分割された符号化ブロックの輝度成分に対するフレーム内予測を実施して、その輝度成分に対する予測画像を生成する輝度成分イントラ予測手段と、上記符号化ブロックに対して水平方向及び垂直方向に隣接する参照画素の輝度成分と上記符号化ブロックの輝度成分とを用いて、上記符号化ブロックに対して水平方向及び垂直方向に隣接する参照画素の色差成分と同位相となる縮小参照画素の輝度成分を算出する輝度参照画素縮小部と、上記輝度参照画素縮小部により算出された縮小参照画素の輝度成分と上記符号化ブロックに対して水平方向及び垂直方向に隣接する参照画素の色差成分とを用いて、輝度成分と色差成分の相関を示す相関パラメータを算出する相関算出部と、上記輝度参照画素縮小部により算出された縮小参照画素の輝度成分のビット精度を削減する参照画素精度縮小部と、上記相関算出部により算出された相関パラメータと上記参照画素精度縮小部によりビット精度が削減された縮小参照画素の輝度成分とを用いて、上記符号化ブロックの色差成分に対する予測画像を生成する色差予測画像生成部とから構成されていることを特徴とする動画像符号化装置。
2. ビットストリームに多重化された符号化データから分割された各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化ブロックに対して、当該符号化ブロックに係る符号化モードに対応する予測処理を実施して予測画像を生成する予測画像生成手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記予測画像生成手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備え、
   上記予測画像生成手段は、上記可変長復号手段により可変長復号された符号化ブロックの輝度成分に対するフレーム内予測を実施して、その輝度成分に対する予測画像を生成する輝度成分イントラ予測手段と、上記符号化ブロックに対して水平方向及び垂直方向に隣接する参照画素の輝度成分と上記符号化ブロックの輝度成分とを用いて、上記符号化ブロックに対して水平方向及び垂直方向に隣接する参照画素の色差成分と同位相となる縮小参照画素の輝度成分を算出する輝度参照画素縮小部と、上記輝度参照画素縮小部により算出された縮小参照画素の輝度成分と上記符号化ブロックに対して水平方向及び垂直方向に隣接する参照画素の色差成分とを用いて、輝度成分と色差成分の相関を示す相関パラメータを算出する相関算出部と、上記輝度参照画素縮小部により算出された縮小参照画素の輝度成分のビット精度を削減する参照画素精度縮小部と、上記相関算出部により算出された相関パラメータと上記参照画素精度縮小部によりビット精度が削減された縮小参照画素の輝度成分とを用いて、上記符号化ブロックの色差成分に対する予測画像を生成する色差予測画像生成部とから構成されていることを特徴とする動画像復号装置。
3. 入力画像を符号化ブロックに分割するブロック分割処理ステップと、予測画像生成手段が、上記ブロック分割処理ステップで分割された符号化ブロックに対して、上記符号化制御処理ステップで選択された符号化モードに対応する予測処理を実施して予測画像を生成する予測画像生成処理ステップと、差分画像生成手段が、上記ブロック分割処理ステップで分割された符号化ブロックと上記予測画像生成処理ステップで生成された予測画像との差分画像を生成する差分画像生成処理ステップと、画像圧縮手段が、上記差分画像生成処理ステップで生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮処理ステップと、可変長符号化手段が、上記画像圧縮処理ステップで出力された圧縮データ及び上記符号化制御処理ステップで選択された符号化モードを可変長符号化して、上記圧縮データ及び上記符号化モードの符号化データが多重化されたビットストリームを生成する可変長符号化処理ステップとを備え、
   上記予測画像生成処理ステップは、輝度成分イントラ予測手段が、上記ブロック分割処理ステップで分割された符号化ブロックの輝度成分に対するフレーム内予測を実施して、その輝度成分に対する予測画像を生成する輝度成分イントラ予測処理ステップと、輝度参照画素縮小部が、上記符号化ブロックに対して水平方向及び垂直方向に隣接する参照画素の輝度成分と上記符号化ブロックの輝度成分とを用いて、上記符号化ブロックに対して水平方向及び垂直方向に隣接する参照画素の色差成分と同位相となる縮小参照画素の輝度成分を算出する輝度参照画素縮小処理ステップと、相関算出部が、上記輝度参照画素縮小処理ステップで算出された縮小参照画素の輝度成分と上記符号化ブロックに対して水平方向及び垂直方向に隣接する参照画素の色差成分とを用いて、輝度成分と色差成分の相関を示す相関パラメータを算出する相関算出処理ステップと、参照画素精度縮小部が、上記輝度参照画素縮小処理ステップで算出された縮小参照画素の輝度成分のビット精度を削減する参照画素精度縮小処理ステップと、色差予測画像生成部が、上記相関算出処理ステップで算出された相関パラメータと上記参照画素精度縮小処理ステップでビット精度が削減された縮小参照画素の輝度成分とを用いて、上記符号化ブロックの色差成分に対する予測画像を生成する色差予測画像生成処理ステップとから構成されていることを特徴とする動画像符号化方法。
4. 可変長復号手段が、ビットストリームに多重化された符号化データから分割された各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号処理ステップと、予測画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに対して、当該符号化ブロックに係る符号化モードに対応する予測処理を実施して予測画像を生成する予測画像生成処理ステップと、差分画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成処理ステップと、復号画像生成手段が、上記差分画像生成処理ステップで生成された差分画像と上記予測画像生成処理ステップで生成された予測画像とを加算して復号画像を生成する復号画像生成処理ステップとを備え、
   上記予測画像生成処理ステップは、輝度成分イントラ予測手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックの輝度成分に対するフレーム内予測を実施して、その輝度成分に対する予測画像を生成する輝度成分イントラ予測処理ステップと、輝度参照画素縮小部が、上記符号化ブロックに対して水平方向及び垂直方向に隣接する参照画素の輝度成分と上記符号化ブロックの輝度成分とを用いて、上記符号化ブロックに対して水平方向及び垂直方向に隣接する参照画素の色差成分と同位相となる縮小参照画素の輝度成分を算出する輝度参照画素縮小処理ステップと、相関算出部が、上記輝度参照画素縮小処理ステップで算出された縮小参照画素の輝度成分と上記符号化ブロックに対して水平方向及び垂直方向に隣接する参照画素の色差成分とを用いて、輝度成分と色差成分の相関を示す相関パラメータを算出する相関算出処理ステップと、参照画素精度縮小部が、上記輝度参照画素縮小処理ステップで算出された縮小参照画素の輝度成分のビット精度を削減する参照画素精度縮小処理ステップと、色差予測画像生成部が、上記相関算出処理ステップで算出された相関パラメータと上記参照画素精度縮小処理ステップでビット精度が削減された縮小参照画素の輝度成分とを用いて、上記符号化ブロックの色差成分に対する予測画像を生成する色差予測画像生成処理ステップとから構成されていることを特徴とする動画像復号方法。

Images