JP2015005957A - 画像符号化装置及び、画像符号化方法及びプログラム - Google Patents

Abstract

【課題】画素予測モードを含む色差イントラ予測モードの探索において、輝度イントラ予測モードが決定してから色差イントラ予測モードの探索を開始するまでの時間差を短縮させることを可能とする画像符号化装置を提供する。
【解決手段】画像符号化装置に入力された符号化対象ブロックの色差成分の符号化において選択され得る色差予測モードの評価を表す色差の評価値を取得する第１の取得手段と、前記第１の取得手段によって取得された前記色差の評価値に基づいて、前記符号化対象ブロックの色差成分を符号化するために用いる前記色差予測モードを決定する決定手段とを有し、前記第１の取得手段は、前記符号化対象ブロックの色差成分の符号化において選択され得る色差予測モードのうち輝度成分の画素群を用いて予測する画素予測モードの評価値であって、前記符号化対象ブロックの輝度画素群を参照して算出された評価値を取得する。
【選択図】図１

Description

本発明は画像符号化装置及び、画像符号化方法、及びプログラムに関する。

動画像の圧縮記録の符号化方式として、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下Ｈ．２６４）が知らされている。

さらに、近年、Ｈ．２６４の後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始され、ＪＣＴ−ＶＣ（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）がＩＳＯ／ＩＥＣとＩＴＵ−Ｔの間で設立された。このＪＣＴ−ＶＣでは、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ符号化方式（以下、ＨＥＶＣ）の標準化が進められている（非特許文献１）。

ＨＥＶＣにおいては符号化効率を向上させるために、画面内における画素間の相関を利用して画面内予測（以下、イントラ予測と記す）を行い、予測残差を符号化する、イントラ予測符号化が採用されている（非特許文献１の８．４章）。このイントラ予測は、輝度成分のイントラ予測を行う輝度イントラ予測と、Ｃｂ成分及びＣｒ成分の各色差成分のイントラ予測を行う色差イントラ予測とから構成される。

ＨＥＶＣにおいては、イントラ予測の単位である予測ブロックのサイズ（以下、予測ブロックサイズ）として、６４×６４画素、３２×３２画素、１６×１６画素、８×８画素または４×４画素の５種類のうち、いずれかを取り得る。尚、６４×６４画素は水平方向６４画素、垂直方向６４画素のブロックを示し、本発明の実施形態においては、これを以下、６４×６４画素と表記する。また、画素数が変化しても同様である。

さらに、ＨＥＶＣにおいては、画像の輝度成分のイントラ予測モード（以下、輝度イントラ予測モード）として、各予測ブロックサイズに対して図７に示すように３５個のモードが夫々検討されている（非特許文献１の８．４．１節）。そして、ＨＥＶＣにおいてイントラ予測符号化を行う場合に、当該３５個のモードから最適な輝度イントラ予測モードを選択しないと、予測誤差が大きくなり、符号化効率が低下してしまう。

ＨＥＶＣにおいて、画像の各色差成分（Ｃｂ成分、及びＣｒ成分）のイントラ予測モード（以下、色差イントラ予測モード）は、輝度イントラ予測モードの３５個のモードに比べて選択可能なモード数が制限されている。即ち、色差イントラ予測モードとして、Ｐｌａｎａｒモード／ＤＣモード／水平モード／垂直モード／輝度参照モード／モード３４／画素予測モードの７個のモードが夫々検討されている（非特許文献１の８．４．２節Ｔａｂｌｅ８−２）。尚、「輝度参照モード」は、色差イントラ予測において、輝度イントラ予測モードを色差イントラ予測モードとしてそのまま使用するモードである。ここで、色差イントラ予測モードにおける「画素予測モード」は、予測対象である色差成分の画素を、輝度イントラ予測モードで参照される輝度成分の画素群を用いて予測するモードである。

画素予測モードにおいては、復号済みの再構成輝度ブロックから、画像符号化装置に入力された色差サンプルを予測するための参照色差サンプルを生成する。即ち、入力フォーマットが４：２：０である場合、再構成輝度ブロックの水平画素数及び垂直画素数をそれぞれ１／２にしたブロックを参照色差サンプルとする。非特許文献１にも記載されているように、図９（ａ）のような再構成輝度ブロックに対して、非特許文献１の（８−５４）式〜（８−５７）式を利用して、再構成輝度ブロックの画素数を１／４に変換（水平画素数及び垂直画素数をそれぞれ１／２）する。そして、画素数を１／４に変換した再構成輝度ブロックに対して、非特許文献１における（８−５８）式〜（８−７２）式による変換を施し、図９（ｃ）で示した色差成分Ｃｂ及びＣｒの各参照色差サンプルを生成する。

ＪＣＴ−ＶＣ 寄書 ＪＣＴＶＣ−Ｉ１００３＿ｄ４．ｄｏｃ インターネット＜ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／９＿Ｇｅｎｅｖａ／ｗｇ１１／＞

このように、画素予測モードにおいては、上述した方法で参照色差サンプルを生成し、色差イントラ予測モードの探索をしていた。このため、この探索は、輝度イントラ予測モードに対応する再構成輝度サンプルを生成してからでないと開始できなかった。即ち、輝度イントラ予測モードの探索を開始してから色差イントラ予測モードの探索を開始するまでの時間に差が生じるという課題があった。

上記のことから、本発明は画素予測モードを含む色差イントラ予測モードの探索において、輝度イントラ予測モードが決定してから色差イントラ予測モードの探索を開始するまでの時間差を短縮させることを可能とする画像符号化装置を提供することを目的とする。

かかる課題を解決するため、本発明の画像符号化装置は、下記の構成を有する。即ち、画像を符号化ブロック単位で符号化する画像符号化装置であって、前記画像符号化装置に入力された符号化対象ブロックの色差成分の符号化において選択され得る色差予測モードの評価を表す色差の評価値を取得する第１の取得手段と、前記第１の取得手段によって取得された前記色差の評価値に基づいて、前記符号化対象ブロックの色差成分を符号化するために用いる前記色差予測モードを決定する決定手段とを有し、前記第１の取得手段は、前記符号化対象ブロックの色差成分の符号化において選択され得る色差予測モードのうち輝度成分の画素群を用いて予測する画素予測モードの評価値であって、前記符号化対象ブロックの輝度画素群を参照して算出された評価値を取得することを特徴とする。

本発明により、画素予測モードを含む色差イントラ予測モードの探索において、輝度イントラ予測モードが決定してから色差イントラ予測モードの探索を開始するまでの時間差を短縮させることが可能である。

実施形態１及び実施形態２の画像符号化装置の構成を示す図 実施形態１の符号化ブロック、予測ブロック及び参照サンプルを示す図 実施形態１の輝度色差統合予測モード判定部の構成を示す図 実施形態１のイントラ予測モードを決定するフローチャートを示す図 実施形態１の輝度色差統合予測モード判定部におけるイントラ予測モード探索処理のタイミングチャートを示す図 実施形態２の輝度色差統合予測モード判定部の構成を示す図 ＨＥＶＣにおけるイントラ予測モードを示す図 実施形態２のイントラ予測モードを決定するフローチャートを示す図 画素予測モードを示す図 本発明の画像符号化装置に適用可能なコンピュータのハードウェア構成例を示すブロック図

＜実施形態１＞
本実施形態においては、一枚以上の入力画像を３２×３２画素の符号化ブロックに分割し、当該符号化ブロック単位で符号化が行われる。即ち、本実施形態においては、符号化ブロックサイズは３２×３２画素とする。また、本実施形態は、画面内予測（イントラ予測）を用いて符号化する、Ｉスライスのみを符号化対象とすることを前提としており、動きベクトルを伴って画面間予測を用いて符号化する、Ｐスライス、及びＢスライスは符号化対象としないものとする。

以下、本発明の実施形態１における画像符号化装置の動作について図１を用いて説明する。

全体制御部１３０は、画像符号化装置内の各処理ブロックの制御、及び各処理ブロック間のパラメータ伝達を行う。尚、図１において、全体制御部１３０と画像符号化装置内の各処理ブロックとの間の結線を省略している。そして、全体制御部１３０は画像符号化装置内の各処理ブロックの制御、及び各処理ブロック間のパラメータの読み書きを、パラメータ信号線またはレジスタバスのいずれかを通じて行うことが可能である。また、本実施形態において、図１の全体制御部１３０は、画像符号化装置内に設置されているが、本発明はこれに限定されない。即ち、全体制御部１３０は、当該画像符号化装置外に設置され、当該画像符号化装置内の各処理部の制御、及び処理部間のパラメータの読み書きを、パラメータ信号線またはレジスタバスのいずれかを通じて行ってもよい。

ブロックバッファ１０１には、画像符号化装置内に入力された入力画像の、輝度成分の画素群（輝度サンプルと称す）、及び色差成分の画素群（色差サンプルと称す）から成る１つもしくは複数の符号化ブロックが記録されている。尚、輝度サンプルから成る１つもしくは複数の符号化ブロックを入力輝度ブロックと記し、色差サンプルから成る１つもしくは複数の符号化ブロックを入力色差ブロックと記す。

ブロックサイズ決定部１０２は、ブロックバッファ１０１に記録された１つもしくは複数の符号化ブロックから１符号化ブロック毎に符号化対象である符号化対象ブロックを読み込む。そして、ブロックサイズ決定部１０２は、読み込んだ符号化対象ブロックに対して、予め決定した予測ブロックのサイズ（予測ブロックサイズ）、及び変換ブロックのサイズ（変換ブロックサイズ）を設定する。本実施形態においては、輝度成分の予測ブロックサイズは１６×１６画素、各色差成分の予測ブロックサイズは８×８画素であるとする。尚、色差成分はＣｂ成分、及びＣｒ成分から成り、本発明の各実施形態において、各色差成分とはＣｂ成分、及びＣｒ成分を示す。

イントラ予測部１１０は、ブロックバッファ１０１に記録された、符号化対象ブロックの輝度サンプル及び色差サンプルを読み込む。また、イントラ予測部１１０は、ブロックサイズ決定部１０２で設定された、輝度成分、及び各色差成分の予測ブロックサイズを夫々読み込む。そして、イントラ予測部１１０は、輝度成分のイントラ予測モード（輝度イントラ予測モード）の候補、及び色差成分のイントラ予測モード（色差イントラ予測モード）の候補から、輝度イントラ予測モード、及び色差イントラ予測モードを夫々探索する。

以下、輝度イントラ予測モードの候補、及び色差イントラ予測モードの候補を、輝度予測モード候補、及び色差予測モード候補と称す。尚、本実施形態においてＨＥＶＣを用いて符号化する場合、輝度予測モード候補としては、図７に示す３５個のモードが定義されている。また、色差予測モード候補としては、輝度イントラ予測モードに基づいて、Ｐｌａｎａｒモード／ＤＣモード／水平モード／垂直モード／輝度参照モード／モード３４（図７）／画素予測モードの７個のモードが定義されている。

尚、輝度イントラ予測モードが、Ｐｌａｎａｒモード／ＤＣモード／水平モード／垂直モードのいずれかのモードである場合は、色差イントラ予測モードは以下のモードから選択することができる。即ち、Ｐｌａｎａｒモード／ＤＣモード／水平モード／垂直モード／輝度参照モード／画素予測モードから選択することができる。また、輝度イントラ予測モードが、Ｐｌａｎａｒモード／ＤＣモード／水平モード／垂直モード以外のモードである場合は、色差イントラ予測モードはＰｌａｎａｒモード／ＤＣモード／水平モード／垂直モード／モード３４から選択することができる。

イントラ予測部１１０内の構成要素の動作について、以下に述べる。

輝度予測モード探索部１１０１（第一のイントラ予測部）は、各輝度予測モード候補に対応して、輝度成分の参照ブロック（参照輝度ブロック）の生成、及び輝度成分の予測残差ブロック（輝度予測残差ブロック）の算出を夫々行う処理部である。尚、符号化対象ブロックに対して、予測残差ブロックを算出する処理を行うことは、予測符号化とも称される。同様に、色差予測モード探索部１１０３（第二のイントラ予測部）は、各色差予測モード候補に対応して、色差成分の参照ブロック（参照色差ブロック）の生成、及び色差成分の予測残差ブロック（色差予測残差ブロック）の算出を夫々行う処理部である。イントラ予測モードの候補（輝度予測モード候補、及び色差予測モード候補）から、符号化で使用するイントラ予測モード（輝度イントラ予測モード、及び色差イントラ予測モード）を探索するアルゴリズムについては後述する。

まず、輝度予測モード探索部１１０１は、輝度サンプルバッファ１１０２に記録されている、イントラ予測に必要な輝度成分の参照画素群（参照輝度サンプルと称す）を入力する。

輝度サンプルバッファ１１０２に記録されている、イントラ予測に必要な参照輝度サンプルを図２に示す。尚、当該参照輝度サンプルは、輝度イントラ予測部１１０６で再構成された輝度成分の画素群（以下、輝度画素群と記す）から成る再構成輝度ブロックに基づくが、輝度イントラ予測部１１０６の処理については後述する。

本実施形態のように、符号化ブロックサイズが３２×３２画素の場合、符号化対象ブロックに隣接する符号化ブロック（隣接符号化ブロック）内の、以下に記す所定の輝度画素群（図２（ａ）の網掛け部分２０１）が参照輝度サンプルとして必要となる。

・符号化対象ブロックの上方及び右斜め上に隣接する、隣接符号化ブロックの下端の６４画素（ｐ［０，−１］〜ｐ［６３，−１］）
・符号化対象ブロックの左方に隣接する、隣接符号化ブロックの右端３２画素（ｐ［−１、０］〜ｐ［−１、３１］）
・符号化対象ブロックの左斜め上の１画素（ｐ［−１、−１］）
また、本実施形態のように、符号化対象ブロックの予測ブロックサイズが１６×１６画素の場合、同一符号化ブロック内の、以下の所定の輝度画素群（図２（ｂ）の網掛けの部分）が参照輝度サンプルとして必要となる。

・各予測ブロックの右端の各１５画素（ｒ［１５、０］〜ｒ［１５、１４］、ｒ［３１、０］〜ｒ［３１、１４］、ｒ［１５、１６］〜ｒ［１５、３０］、ｒ［３１、１６］〜ｒ［３１、３０］）
・予測ブロックの下端の各１５画素（ｒ［０、１５］〜ｒ［１４、１５］、ｒ［１６、１５］〜ｒ［３０、１５］、ｒ［０、３１］〜ｒ［１４、３１］、ｒ［１６、３１］〜ｒ［３０、３１］）
・予測ブロックの右斜め下の１画素（ｒ［１５、１５］、ｒ［３１、１５］、ｒ［１５、３１］、ｒ［３１、３１］）
上述のように、輝度予測モード探索部１１０１は、隣接する符号化ブロック内の所定の輝度画素群（図２（ａ））と、符号化対象ブロック内の所定の輝度画素群（図２（ｂ））とを、参照輝度サンプルとして輝度サンプルバッファ１１０２から入力する。図２は輝度成分におけるイントラ予測に必要である参照輝度サンプルについてのみ図示したが、各色差成分におけるイントラ予測に必要である色差成分の参照画素群（参照色差サンプルと称す）についても同様である。即ち、色差予測モード探索部１１０３は、当該参照色差サンプルを色差サンプルバッファ１１０４から入力する。

次に、輝度予測モード探索部１１０１、及び色差予測モード探索部１１０３において、各輝度予測モード候補、及び各色差予測モード候補に対応して、符号化で使用する輝度イントラ予測モード、及び色差イントラ予測モードを探索するアルゴリズムを説明する。

輝度予測モード探索部１１０１は、輝度予測モード候補のうちの探索対象のモード（輝度探索対象モード）で使用される参照輝度サンプルを輝度サンプルバッファ１１０２から読み込み、参照輝度ブロックを生成する。同様に、色差予測モード探索部１１０３は、色差予測モード候補のうちの探索対象のモード（色差探索対象モード）で使用される参照色差サンプルを色差サンプルバッファ１１０４から読み込み、参照色差ブロックを生成する。当該参照輝度ブロック、及び当該参照色差ブロックは、非特許文献１においてｐｒｅｄＳａｍｐｌｅ［ｘ、ｙ］として記載されている。即ち、３５個の各イントラ予測モードに対応する生成アルゴリズムは、非特許文献１の８．４．３．１節に記載されているので記述を省略する。

次に、輝度予測モード探索部１１０１は、符号化対象ブロック内の各予測ブロックに対して、輝度サンプルバッファ１１０２に記録された参照輝度サンプルから生成した参照輝度ブロックと、ブロックバッファ１０１から入力した輝度サンプルとの差分を算出する。これにより、輝度予測モード探索部１１０１は、符号化対象ブロック内の各予測ブロックに対して、当該参照輝度ブロックと当該輝度サンプルとの差分である輝度予測残差ブロックを生成する。色差予測モード探索部１１０３は同様に、符号化対象ブロック内の各予測ブロックに対して、色差サンプルバッファ１１０４に記録された参照色差サンプルから生成した参照色差ブロックと、ブロックバッファ１０１から入力した色差サンプルとの差分を算出する。これにより、色差予測モード探索部１１０３は、当該参照色差ブロックと当該色差サンプルとの差分である色差予測残差ブロックを生成する。尚、本実施形態において、輝度予測残差ブロックは１６×１６画素、色差予測残差ブロックは各色差成分において夫々８×８画素である。

さらに、輝度予測モード探索部１１０１は、画像の輝度成分について生成した輝度予測残差ブロックを統合予測モード判定部１１０５に送出する。同様に、色差予測モード探索部１１０３は、各色差成分について夫々生成した各色差予測残差ブロックを統合予測モード判定部１１０５に送出する。

統合予測モード判定部１１０５は、輝度予測モード探索部１１０１、及び色差予測モード探索部１１０３から、輝度探索対象モードに対応する輝度予測残差ブロック、及び色差探索対象モードに対応する色差予測残差ブロックを夫々入力する。さらに、統合予測モード判定部１１０５は、輝度予測モード候補、及び色差予測モード候補に対応する輝度予測残差ブロック、及び色差予測残差ブロックの推定発生符号量に関する評価値を夫々算出する。そして、算出した各評価値に基づいて、符号化で使用する輝度イントラ予測モード、及び色差イントラ予測モードを夫々決定する。評価値の算出方法、及び輝度イントラ予測モード及び色差イントラ予測モードの決定方法については後述する。

輝度イントラ予測部１１０６は、統合予測モード判定部１１０５で決定された輝度イントラ予測モードに対応する輝度予測残差ブロックを生成し、直交変換部１２０へ出力する。同様に、色差イントラ予測部１１０７は、統合予測モード判定部１１０５で決定された色差イントラ予測モードに対応する色差予測残差ブロックを生成し、直交変換部１２０へ出力する。

以下、直交変換部１２０が輝度イントラ予測部１１０６から輝度予測残差ブロックを入力した場合の、直交変換部１２０、量子化部１２１、エントロピー符号化及び多重化部１２２、逆量子化部１２３、及び逆直交変換部１２４における各処理を説明する。

直交変換部１２０は、ブロックサイズ決定部１０２で設定された変換ブロック単位で、輝度イントラ予測部１１０６で生成された輝度予測残差ブロックを夫々直交変換し、直交変換係数を生成する。さらに、直交変換部１２０は、生成した直交変換係数を量子化部１２１に出力する。

量子化部１２１は、全体制御部１３０から入力される量子化パラメータに基づいて、直交変換部１２０から入力された直交変換係数の量子化を行い、量子化した直交変換係数をエントロピー符号化及び多重化部１２２に送出する。

エントロピー符号化及び多重化部１２２は、量子化部１２１で量子化された直交変換係数のエントロピー符号化を行う。また、エントロピー符号化及び多重化部１２２は、統合予測モード判定部１１０５で決定された輝度イントラ予測モード等ヘッダ情報のエントロピー符号化も行う。エントロピー符号化及び多重化部１２２は、エントロピー符号化した直交変換係数とエントロピー符号化したヘッダ情報とを多重化し、多重化したデータを符号化ストリームとして画像符号化装置外へ出力する。

逆量子化部１２３は、量子化部１２１で量子化された直交変換係数に対して逆量子化を行う。

逆直交変換部１２４は、逆量子化部１２３で逆量子化された直交変換係数に対して、直交変換部１２０で直交変換する際に用いたものと同一の変換ブロック単位で逆直交変換を施す。さらに、逆直交変換部１２４は、逆直交変換した直交変換係数を復号し、輝度予測残差ブロックを生成する。逆直交変換部１２４は、生成した輝度予測残差ブロックを輝度イントラ予測部１１０６へ送出する。

上述では、各処理部１２０〜１２４が、輝度予測残差ブロックに対して施す処理について夫々説明したが、色差予測残差ブロックに対しても同様の処理を行う。即ち、直交変換部１２０が色差イントラ予測部１１０７から色差予測残差ブロックを入力した場合、各処理部１２０〜１２４は同様に、直交変換、量子化、エントロピー符号化及び多重化、逆量子化、及び逆直交変換の処理を夫々行う。逆直交変換部１２４は、生成した色差予測残差ブロックを色差イントラ予測部１１０７へ送出する。

輝度イントラ予測部１１０６は、逆直交変換部１２４で生成された復号輝度予測残差ブロックと、輝度イントラ予測部１１０６で輝度予測残差ブロックの生成時に使用した参照輝度ブロックとを加算し、再構成輝度ブロックを生成する。さらに、輝度イントラ予測部１１０６は、図２（ｃ）の網掛け部分に示すように、再構成輝度ブロック内の右端の画素群と下端の画素群とを再構成輝度サンプルとして輝度サンプルバッファ１１０２に記録する。即ち、再構成輝度サンプルは、再構成輝度ブロック内の右端の画素群（ｒ［１５、０］〜ｒ［１５、１５］）と下端の画素群（ｒ［０、１５］〜ｒ［１４、１５］）とからなる。同様にして、色差イントラ予測部１１０７は、逆直交変換部１２４で生成された復号色差予測残差ブロックと、色差イントラ予測部１１０７で色差予測残差ブロックの生成時に使用した参照色差ブロックとを加算し、再構成色差ブロックを生成する。さらに、色差イントラ予測部１１０７は、再構成色差ブロック内の右端の画素と下端の画素とを再構成色差サンプルとして色差サンプルバッファ１１０４に記録する。

輝度予測モード探索部１１０１、及び色差予測モード探索部１１０３におけるイントラ予測モードの探索により、統合予測モード判定部１１０５におけるイントラ予測モードを決定するアルゴリズムについて、以下に説明する。

本実施形態において、輝度予測モード探索部１１０１、及び色差予測モード探索部１１０３は、以下の順序で輝度イントラ予測モード、及び色差イントラ予測モードを探索する。以下、非特許文献１の８．４．１節記載の名称を使用して説明する。

＃０： Ｉｎｔｒａ＿Ｐｌａｎａｒ（モード０、Ｐｌａｎａｒモード）
＃１： Ｉｎｔｒａ＿ＤＣ（モード１、ＤＣモード）
＃２： Ａｎｇｕｌａｒ＿１０（モード１０、水平モード）
＃３： Ａｎｇｕｌａｒ＿２６（モード２６、垂直モード）
＃４： Ａｎｇｕｌａｒ＿２（モード２）
＃５： Ａｎｇｕｌａｒ＿３（モード３）
｜
（モード１０、モード２６を除くモード４〜モード３４）
｜
＃３４： Ａｎｇｕｌａｒ＿３４（モード３４）
＃３５： Ｉｎｔｒａ＿ＦｒｏｍＬｕｍａ（モード３５、画素予測モード）
ただし、Ｉｎｔｒａ＿ＦｒｏｍＬｕｍａ（モード３５）は色差イントラ予測においてのみ使用可能なモードである。

尚、上述したイントラ予測モードの括弧内のモード番号は図７のモード番号に対応している。例えば、Ａｎｇｕｌａｒ＿１０（モード１０）は図７における１０の方向の画素を予測に用いるモードである。

また、Ｉｎｔｒａ＿ＦｒｏｍＬｕｍａ（モード３５）は、非特許文献１の８．４．２節記載のｃｈｒｏｍａ＿ｐｒｅｄ＿ｆｒｏｍ＿ｌｕｍａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１である場合に適応されるモードである。ここで、ｃｈｒｏｍａ＿ｐｒｅｄ＿ｆｒｏｍ＿ｌｕｍａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、色差イントラ予測モードの候補としてＩｎｔｒａ＿ＦｒｏｍＬｕｍａ（モード３５）を含める場合には１、含めない場合には０とする。本実施形態においては、ｃｈｒｏｍａ＿ｐｒｅｄ＿ｆｒｏｍ＿ｌｕｍａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１の（色差イントラ予測モードの候補としてＩｎｔｒａ＿ＦｒｏｍＬｕｍａ（モード３５）を含める）場合を対象とし説明する。

統合予測モード判定部１１０５は、輝度予測モード探索部１１０１で生成された輝度予測残差ブロック、及び色差予測モード探索部１１０３で生成された色差予測残差ブロックに基づいて、式１により評価値ＩＳｔｏｔａｌ［ｉ］を算出する。尚、統合予測モード判定部１１０５は、評価値ＩＳｔｏｔａｌ［ｉ］を、各イントラ予測モードの候補（各輝度予測モード候補、及び各色差予測モード）に対して夫々算出する。

ＩＳｔｏｔａｌ［ｉ］＝
（Ｗｙ［ｉ］×ＩＳｙ［ｉ］）＋（Ｗｃｂ［ｉ］×ＩＳｃｂ［ｉ］）＋（Ｗｃｒ［ｉ］＋ＩＳｃｒ［ｉ］）ｗｉｔｈ ｉ＝０、１、２、・・・、３５
式１
式１において、ｉは探索対象のイントラ予測モードの候補を示しており、上記＃０〜＃３５に対応している。例えば、ＩＳｙ［２］は、輝度イントラ予測モードを水平モード（＃２）とした場合の輝度予測残差ブロックに基づく評価値である。

輝度評価値ＩＳｙ［ｉ］、Ｃｂ評価値ＩＳｃｂ［ｉ］、及びＣｒ評価値ＩＳｃｒ［ｉ］は、輝度予測残差ブロック、Ｃｂ成分予測残差ブロック、及びＣｒ成分予測残差ブロックの推定発生符号量を示す評価値である。本実施形態では、評価値を算出する手段（評価値算出手段）として、絶対値化した予測残差を予測残差ブロック内で合計する、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を使用する。また、式１においてＷｙ［ｉ］は輝度成分の重み（重み係数）、Ｗｃｂ［ｉ］はＣｂ成分の重み、Ｗｃｒ［ｉ］はＣｒ成分の重みを夫々示している。

式１を実現する統合予測モード判定部１１０５の構成を図３に示す。図３に示すように、本実施形態における統合予測モード判定部１１０５は、ＦＩＦＯ３０１〜３０３、評価値算出部３０４、重み付け評価部３０５、及びイントラ予測モード判定部３０６を有する。

ＦＩＦＯ３０１は、輝度予測モード探索部１１０１から輝度予測残差ブロックを入力し、蓄積する。同様に、ＦＩＦＯ３０２、及びＦＩＦＯ３０３は、色差予測モード探索部１１０３から各色差予測残差ブロック（Ｃｂ予測残差ブロック、及びＣｒ予測残差ブロック）を夫々入力し、蓄積する。各予測残差ブロック（輝度予測残差ブロック、Ｃｂ予測残差ブロック、及びＣｒ予測残差ブロック）は、夫々異なるタイミングで生成されることが一般的である。このため、統合予測モード判定部１１０５は、各予測残差ブロックをＦＩＦＯ３０１〜３０３に蓄積した後に評価値算出部３０４に送出する構成にすることで、同期を取ることができる。

評価値算出部３０４は、各ＦＩＦＯ３０１〜３０３から、輝度予測残差ブロック、Ｃｂ予測残差ブロック、及びＣｒ予測残差ブロックを夫々入力する。そして、評価値算出部３０４は、入力した輝度予測残差ブロック、Ｃｂ予測残差ブロック、及びＣｒ予測残差ブロックの評価値である輝度評価値ＩＳｙ［ｉ］、Ｃｂ評価値ＩＳｃｂ［ｉ］、Ｃｒ評価値ＩＳｃｒ［ｉ］を夫々算出する。評価値算出部３０４は、輝度評価値ＩＳｙ［ｉ］、Ｃｂ評価値ＩＳｃｂ［ｉ］、及びＣｒ評価値ＩＳｃｒ［ｉ］を夫々異なるタイミングで算出する。このため、各成分（輝度成分、Ｃｂ成分、及びＣｂ成分）で評価値を算出する評価値算出部を夫々用意する必要がなく、評価値算出部３０４を共有することが可能である。このため、評価値算出部３０４を有する本実施形態における画像符号化装置は、各成分で独立して評価値を算出する場合と比べて回路規模を削減することが可能である。

重み付け評価部３０５は、各評価値ＩＳｙ［ｉ］、ＩＳｃｂ［ｉ］、ＩＳｃｒ［ｉ］と、各重みＷｙ［ｉ］、Ｗｃｂ［ｉ］、Ｗｃｒ［ｉ］とを夫々重み付け（乗算）して加算することにより、評価値ＩＳｔｏｔａｌ［ｉ］を算出する。評価値ＩＳｔｏｔａｌ［ｉ］は、各イントラ予測モードの候補（各輝度予測モード候補、及び各色差予測モード候補）において、夫々算出される。

イントラ予測モード判定部３０６は、重み付け評価部３０５から各イントラ予測モード候補の評価値である評価値ＩＳｔｏｔａｌ［ｉ］を夫々入力し、蓄積する。全イントラ予測モード候補の中で評価値ＩＳｔｏｔａｌ［ｉ］が最少となるモード、即ち符号量が最少となるモードを最適なイントラ予測モードとして、輝度イントラ予測モード、及び色差イントラ予測モードを決定する。尚、イントラ予測モード判定部３０６は、後述するように、重み付け評価部３０５で決定された色差イントラ予測モードを出力することも可能である。

以下、重み付け評価部３０５における各重みＷｙ［ｉ］、Ｗｃｂ［ｉ］、Ｗｃｒ［ｉ］の決定方法と、イントラ予測モード判定部３０６における輝度イントラ予測モード、及び色差イントラ予測モード決定方法とを図４のフローチャートを用いて説明する。

ステップＳ４０１において、重み付け評価部３０５は各重みＷｙ［ｉ］、Ｗｃｂ［ｉ］、Ｗｃｂ［ｉ］に対して初期値を設定する。尚、本実施形態において、各重みＷｙ［ｉ］、Ｗｃｂ［ｉ］、Ｗｃｂ［ｉ］の初期値は、式２〜式４のように、輝度成分と各色差成分の量子化パラメータの比に基づいた値とする。

Ｗｙ［ｉ］＝１
式２
Ｗｃｂ［ｉ］＝αｃｂ×ｑｐ＿ｌｕｍａ／（ｑｐ＿ｌｕｍａ＋ｑｐ＿ｃｂ＿ｏｆｆｓｅｔ）
式３
Ｗｃｒ［ｉ］＝αｃｒ×ｑｐ＿ｌｕｍａ／（ｑｐ＿ｌｕｍａ＋ｑｐ＿ｃｒ＿ｏｆｆｓｅｔ）
式４
式３、及び式４における各パラメータについて説明する。

まず、ｑｐ＿ｌｕｍａは符号化対象ブロックの輝度成分の量子化パラメータである。また、ｑｐ＿ｃｂ＿ｏｂｂｓｅｔ、及びｑｐ＿ｃｒ＿ｏｂｂｓｅｔは、各色差成分（Ｃｂ成分、及びＣｒ成分）の量子化パラメータオフセットであり、輝度成分の量子化パラメータからのオフセット（差分値）を示す。また、αｃｂ、及びαｃｒは、画像符号化装置のユーザー等により任意の値に設定することが可能なパラメータ値であり、画像の内容や用途に基づいてカスタマイズすることができる。尚、重み付け評価部３０５は、ユーザー等が予め設定したデータ容量に基づくターゲット符号量や、ヘッダ情報の符号量に基づいてαｃｂ、及びαｃｒを設定することで、各成分の符号量を調整することが可能である。また、式２〜式４に示した、各重みＷｙ［ｉ］、Ｗｃｂ［ｉ］、Ｗｃｂ［ｉ］の初期値、及び各パラメータ値αｃｂ、αｃｒは、図１の全体制御部１３０によって重み付け評価部３０５に設定される。

ステップＳ４０２において、重み付け評価部３０５は、後述する色差イントラ予測をＰｌａｎａｒモード／ＤＣモード／水平モード／垂直モードのいずれかのモードに決定するために閾値ＴｈＣを設定する。尚、閾値ＴｈＣは、ユーザー等により全体制御部１３０に設定され、さらに、全体制御部１３０から重み付け評価部３０５へ入力される。

ステップＳ４０３において、重み付け評価部３０５は、輝度イントラ予測モード及び色差イントラ予測モードにおける所定のモードに対応する各評価値ＩＳｙ［ｉ］、ＩＳｃｂ［ｉ］、ＩＳｃｒ［ｉ］、及びＩＳｔｏｔａｌ［ｉ］を夫々算出する。尚、本実施形態において、所定のモードとは、Ｐｌａｎａｒモード（＃０、ｉ＝０）／ＤＣモード（＃１、ｉ＝１）／水平モード（＃２、ｉ＝１０）／垂直モード（＃３、ｉ＝２６）のことである。尚、色差イントラ予測モードとして、Ｐｌａｎａｒモード／ＤＣモード／水平モード／垂直モードのいずれかを使用する場合には、色差イントラ予測の符号化効率は輝度イントラ予測モードに依存しない。即ち、上述した所定のモード＃０〜＃３は、輝度イントラ予測モードに依存せずに、色差イントラ予測モードとして選択できるモードである。

ステップＳ４０４において、重み付け評価部３０５は、「輝度成分の画素を用いる色差イントラ予測（画素予測モード）」について、評価値ＩＳｙ［３５］、ＩＳｃｂ［３５］、ＩＳｃｒ［３５］、及びＩＳｔｏｔａｌ［３５］を夫々算出する。尚、ＩＳｃｂ［３５］、及びＩＳｃｒ［３５］は、色差イントラ予測モードを画素予測モード（＃３５）とした場合の色差予測残差ブロックに基づく評価値である。そして、ＩＳｙ［３５］は、輝度イントラ予測モードを、輝度イントラ予測モード候補（＃０〜＃３４）のうちの輝度評価ＩＳｙを最小にするモードとした場合の輝度予測残差ブロックに基づく評価値である。

通常、輝度イントラ予測及び色差イントラ予測においては、符号化対象ブロックの周囲の符号化ブロックにおける再構成輝度サンプル及び再構成色差サンプルを参照する。そして、再構成輝度サンプル及び再構成色差サンプルを生成するためには、符号化装置内部で直交変換・量子化を施した直交変換係数を符号化装置内部で逆直交変換・逆量子化する必要がある。以下、逆直交変換と逆量子化の処理を合わせてローカルデコード（局所復号化）と記す。

即ち、再構成輝度サンプルを参照色差サンプルとして使用する画素予測モードの探索にあたっては、従来、各輝度イントラ予測モードに対応する輝度予測誤差の直交変換・量子化及びローカルデコード（局所復号化）を行う必要があった。

ここで、本実施形態では、色差イントラ予測の画素予測モードの探索にあたっては、再構成輝度サンプルから参照色差サンプルを生成するのではなく、図１のブロックバッファ１０１に格納している輝度サンプルをそのまま使用する。即ち、本実施形態では、非特許文献１の（８−５４）式〜（８−５７）式を利用して、入力輝度ブロックの画素数を１／４に変換（水平画素数及び垂直画素数をそれぞれ１／２）する。そして、画素数を１／４に変換した入力輝度ブロックに対して、非特許文献１における（８−５８）式〜（８−７２）式による変換を施し、図９（ｃ）で示した色差成分Ｃｂ及びＣｒの各参照色差サンプルを生成する。

これにより、従来は画素予測モードの探索に必要であった、ローカルデコード処理を伴う再構成輝度サンプルの生成処理を省略することが可能になり、画素予測モードも含めた色差イントラ予測モードの探索を従来よりも高速に行うことが可能である。

特に、後述するように量子化パラメータが小さく画質劣化が少ない場合、輝度サンプルと再構成輝度サンプルとは近いデータとなり、再構成輝度サンプルの代わりに輝度サンプルを使用することにより弊害は限定的である。一方、量子化パラメータが大きく画質劣化が大きくなる場合には、輝度サンプルを使用することにより画素予測モードの探索に関する信頼性は低下するため、後述するように他の色差イントラ予測モードが選択されやすいようにする。尚、色差イントラ予測モードの探索には画素予測モードの参照色差サンプルとして輝度サンプルを使用するが、実際に色差イントラ予測モードとして画素予測モードを用いると決定した上で色差予測誤差ブロックを生成する際には再構成輝度サンプルを使用する。

次に、ステップＳ４０５において、重み付け評価部３０５は、ステップＳ４０３及びステップＳ４０４で算出した各所定のモードにおけるＣｂ評価値ＩＳｃｂ［ｉ］とＣｒ評価値ＩＳｃｒ［ｉ］との和（ＩＳｃｂ［ｉ］＋ＩＳｃｒ［ｉ］）の最小値を算出する。尚、本実施形態において、ＩＳｃｂ［ｉ］＋ＩＳｃｒ［ｉ］を色差成分評価値と称す。そして、重み付け評価部３０５は、算出した当該色差成分評価値の最小値と、ステップＳ４０２において設定された閾値ＴｈＣとを比較し、当該色差成分評価値の最小値が当該閾値ＴｈＣ以下であるか否かを判定する。そして、当該色差成分評価値の最小値が当該閾値ＴｈＣ以下である場合、ステップＳ４０６に進み、当該色差成分評価値の最小値が当該閾値ＴｈＣより大きい場合、ステップＳ４０９に進む。

ステップＳ４０５でＹＥＳ（画素予測モードを含む色差成分評価値（ＩＳｃｂ［ｉ］＋ＩＳｃｒ［ｉ］）の最小値が閾値ＴｈＣ以下である）と判定された場合、重み付け評価部３０５は、ステップＳ４０６の処理を行う。ステップＳ４０６において、重み付け評価部３０５は、所定のモードまたは画素予測モードのうち色差成分評価値ＩＳｃｂ［ｉ］＋ＩＳｃｒ［ｉ］の最小値に対応するモードを、色差成分の符号化において用いる色差イントラ予測モードとして決定する。さらに、重み付け評価部３０５は、決定した色差イントラ予測モードをイントラ予測モード判定部３０６に送出する。ステップＳ４０５で色差成分評価値の最小値が閾値ＴｈＣ以下であり十分小さいことから、ステップＳ４０６において当該色差成分評価値の最小値に対応するモードを色差イントラ予測モードとして用いることで、色差成分に対して十分な符号化効率を実現できる。

ステップＳ４０７において、重み付け評価部３０５は、各所定のモード＃０〜＃３及び画素予測モード＃３５以外の各モード＃４〜＃３４に対応する輝度評価値ＩＳｙ［ｉ］を算出する。尚、全体制御部１３０は、重み付け評価部３０５で使用される色差成分の各重みＷｃｂ［ｉ］、Ｗｃｂ［ｉ］をゼロに設定してもよい。即ち、ステップＳ４０７において全体制御部１３０は、各モード＃０〜＃３４に対応する評価値ＩＳｔｏｔａｌ［ｉ］をＩＳｔｏｔａｌ［ｉ］＝ＩＳｙ［ｉ］と変更し、重み付け評価部３０５が評価値ＩＳｔｏｔａｌ［ｉ］を算出するようにしてもよい。ここで、ステップＳ４０６で決定された色差イントラ予測モードは、輝度イントラ予測モードがどのモードを使用していても選択可能である。このため、輝度評価値ＩＳｙ［ｉ］のみを算出する、または色差成分の各重みＷｃｂ［ｉ］、Ｗｃｂ［ｉ］をゼロに設定して評価値ＩＳｔｏｔａｌ［ｉ］を算出することにより、輝度成分のみを考慮して最適な輝度イントラ予測モードを探索することができる。

ステップＳ４０８において、イントラ予測モード判定部３０６は、輝度予測モード候補である各モード＃０〜＃３４のうち、輝度評価値ＩＳｙ［ｉ］が最小となるモードを輝度イントラ予測モードとして決定する。尚、ステップＳ４０７において全体制御部１３０が色差成分の各重みＷｃｂ［ｉ］、Ｗｃｂ［ｉ］をゼロに設定し、重み付け評価部３０５が評価値ＩＳｔｏｔａｌ［ｉ］を算出した場合は次のような処理を行う。即ち、この場合、イントラ予測モード判定部３０６は、評価値ＩＳｔｏｔａｌ［ｉ］が最小となるモードをイントラ予測モードとして決定してもよい。

上述したように、ステップＳ４０５〜４０８の処理により、色差イントラ予測モードとして輝度イントラ予測モードに依存しない所定のモードを使用した場合の評価値に基づいて色差イントラ予測モードを決定する。そして、輝度評価値ＩＳｙ［ｉ］のみに基づいて輝度イントラ予測モードを決定する。これにより、色差イントラ予測モードとして所定のモードを設定した場合の評価値が閾値ＴｈＣ以下の場合、全ての色差予測モード候補ついて探索する必要がなく、演算量を減少することができる。また、色差イントラ予測モードとして所定のモードを設定した場合の評価値が閾値ＴｈＣ以下の場合、色差成分の符号化効率に過剰に影響されることなく輝度イントラ予測モードを選択することが可能になる。

ステップＳ４０９において、重み付け評価部３０５は、各所定のモード＃０〜＃３及び画素予測モード＃３５以外の各モード＃４〜＃３４に対応する各評価値ＩＳｙ［ｉ］、ＩＳｃｂ［ｉ］、ＩＳｃｒ［ｉ］、及びＩＳｔｏｔａｌ［ｉ］を夫々算出する。

ステップＳ４１０において、イントラ予測モード判定部３０６は、輝度予測モード候補である各モード＃０〜＃３４のうち、評価値ＩＳｔｏｔａｌ［ｉ］が最小となるモードを輝度イントラ予測モードとして決定する。また、ステップＳ４１０において、イントラ予測モード判定部３０６は、色差イントラ予測モードを輝度参照モードに決定する。即ち、ステップＳ４０５でＮＯ（色差成分評価値の最小値が閾値ＴｈＣより大きい）と判定された場合、イントラ予測モード判定部３０６は、ステップＳ４１０で決定した輝度イントラ予測モードと同じモードを当該色差イントラ予測モードとして決定する。

上述したように、各輝度予測モード候補と各色差予測モード候補とに対応する評価値を重み付けして夫々算出することにより、色差成分の符号化効率を考慮して輝度イントラ予測モード、及び色差イントラ予測モードを決定することができる。

図５に、輝度予測モード探索部１１０１、色差予測モード探索部１１０３、及び統合予測モード判定部１１０５の各動作を時系列で示したタイミングチャートを示す。図５は、図２（ａ）で示した３２×３２画素の各符号化ブロックを符号化するタイミングチャートを示しており、１６×１６画素の予測ブロックを４ブロック分処理する様子を示している。

時刻ｔ１において、輝度予測モード探索部１１０１は輝度サンプルバッファ１１０２から読み込んだ参照輝度サンプルに基づいて、Ｉｎｔｒａ＿Ｐｌａｎａｒ（＃０、図５では０と表記）に対応する参照輝度ブロックの生成を行う。そして、輝度予測モード探索部１１０１は、ブロックバッファ１０１から読み込んだ予測対象ブロック（図２における予測ブロック１）の輝度サンプルと、生成した参照輝度ブロックの差分である輝度予測残差ブロックを算出する。さらに、輝度予測モード探索部１１０１は、算出した輝度予測残差ブロックを統合予測モード判定部１１０５に送出する。続いて、Ｉｎｔｒａ＿ＤＣ（＃１、図５では１と表記）、Ａｎｇｕｌａｒ＿１０〜Ａｎｇｕｌａｒ＿３４（＃２〜３４、図５では２〜３４と表記）についても同様に輝度予測残差ブロックを夫々算出し、統合予測モード判定部１１０５に送出する。このように、輝度予測モード探索部１１０１は、輝度予測モード候補である全て（３５個）のモードについて夫々探索処理を行う。

時刻ｔ２において、色差予測モード探索部１１０３は色差サンプルバッファ１１０４から読み込んだ参照色差サンプルに基づいて、各色差成分（Ｃｂ成分及びＣｒ成分）のＩｎｔｒａ＿Ｐｌａｎａｒ（＃０）に対応する参照色差ブロックの生成を行う。そして、色差予測モード探索部１１０３は、生成した参照色差ブロックと、ブロックバッファ１０１から読み込んだ予測対象ブロック（図２における予測ブロック１）の色差サンプルと、の差分である色差予測残差ブロックを算出する。さらに、色差予測モード探索部１１０３は、算出した色差予測ブロックを統合予測モード判定部１１０５に送出する。続いて、Ｉｎｔｒａ＿ＤＣ（＃１）、Ａｎｇｕｌａｒ＿１０〜Ａｎｇｕｌａｒ＿３４（＃２〜＃３４）、Ｉｎｔｒａ＿ＦｒｏｍＬｕｍａ（＃３５）についても同様に色差予測残差ブロックを夫々算出し、統合予測モード判定部１１０５に送出する。このように、色差予測モード探索部１１０３は、色差予測モード候補である全て（３６個）のモードについて探索する。

尚、本実施形態において、色差予測モード探索部１１０３は、１つの色差予測モード候補について、各色差成分（Ｃｂ成分及びＣｒ成分）の色差予測残差ブロックを夫々生成してから、次の色差予測モード候補の探索を行う。また、本実施形態において、入力画像フォーマットは４：２：０である。入力画像フォーマットが４：２：０の場合、符号化ブロックに含まれるＣｂ成分の画素サンプル数は輝度成分の画素サンプル数の１／４である。このため、輝度成分の予測残差ブロック生成処理よりも色差成分の予測残差ブロック生成処理は高速に行うことができる。

時刻ｔ３において、統合予測モード判定部１１０５は、全成分（輝度成分、Ｃｂ成分、Ｃｒ成分）の予測残差ブロックが、ＦＩＦＯ３０１〜３０３において利用可能になっているため、各予測モード候補の評価値の算出を行う。

時刻ｔ４において、イントラ予測モード判定部３０６は、全ての輝度予測モード候補、及び色差予測モード候補に対応する評価値が算出されているため、輝度イントラ予測モード、及び色差イントラ予測モードを図４で示したフローチャートのように決定する。

上記の処理を、符号化対象ブロック内の全予測ブロック、及び画面内の符号化ブロック数分だけ繰り返すことにより、画面全体を符号化する。

本実施形態の色差イントラ予測モードの探索において、画素予測モードのための参照色差サンプルを生成する際に、再構成輝度サンプルの代わりに入力輝度サンプルを用いる。これにより、再構成輝度サンプルを使用する場合よりも探索を開始する時間を早めることができる。このため、色差イントラ予測モードの探索において高速な処理が可能となる。さらに、処理時間及び消費電力を削減することができる。

尚、本実施形態において予測ブロックサイズは１６×１６画素であるが、本発明はこれに限定されない。即ち、他の予測ブロックサイズに対しても適用可能である。即ち、ＨＥＶＣを用いた符号化において、ＨＥＶＣで取り得る予測ブロックサイズ（６４×６４画素、３２×３２画素、１６×１６画素、８×８画素、４×４画素）のうち、符号化ブロックサイズ以下のサイズのいずれかを使用してもよい。例えば、ＨＥＶＣを用いた符号化において、符号化ブロックサイズが３２×３２画素である場合、予測ブロックサイズとしては３２×３２画素、１６×１６画素、８×８画素、または４×４画素のいずれかを使用することが可能である。

また、本発明は変換ブロックサイズに限定されない。即ち、ＨＥＶＣを用いた画像符号化装置において、ＨＥＶＣにおいて取り得る変換ブロックサイズ（３２×３２画素、１６×１６画素、８×８画素、４×４画素）のうち、符号化ブロックサイズ以下のサイズのいずれかを使用してよい。例えば、ＨＥＶＣを用いた符号化において、符号化ブロックサイズが３２×３２画素である場合、変換ブロックサイズとしては３２×３２画素、１６×１６画素、８×８画素、または４×４画素のいずれかを使用することが可能である。

また、本実施形態においてブロックサイズ決定部１０２は、符号化対象ブロックのデータを解析した結果に基づいて予め予測ブロックサイズを決定するが、本発明はこれに限定されない。即ち、ブロックサイズ決定部１０２は、使用可能な全ての予測ブロックサイズについて、イントラ予測部１１０を夫々動作させ、最適な予測ブロックサイズを探索してもよい。また、ブロックサイズ決定部１０２は、本実施形態の画像符号化装置の内外で予め決定された、予測ブロックサイズ、及び変換ブロックサイズを読み込んで、夫々設定してもよい。さらに、本発明は予測ブロックサイズの決定方法について、特定のアルゴリズムに依存せず、既存のいかなるアルゴリズムも適用することが可能である。

また、本実施形態においてイントラ予測モードの候補を全て評価するアルゴリズムを使用したが、本発明はこれに限定されない。即ち、高速化のために、一部のイントラ予測モードの候補の評価を省略する等してイントラ予測モードの探索するアルゴリズムについても、同様の方法で適用することができる。また、各イントラ予測モードの候補の探索順序についても上記に限定されず、いかなる順番で探索することも可能である。

また、本実施形態において入力フォーマットとして４：２：０を使用したが、本発明はこれに限定されない。即ち、輝度成分の画素サンプル数（輝度サンプル数）と色差成分のサンプル数（色差サンプル数）の比には依存せず、一般的に使用されている４：２：０、４：２：２、及び４：４：４のいかなる入力フォーマットにおいても使用することが可能である。例えば入力フォーマットが４：４：４である場合には輝度サンプルブロックの画素数を１／４に変換する処理は不要になる。

＜実施形態２＞
本発明の実施形態２について説明する。本実施形態における画像符号化装置の構成は図１と同一である。尚、本実施形態では、色差イントラ予測モード探索の画素予測モードにおける、図１の統合予測モード判定部１１０５の内部の構成が、実施形態１における図３とは異なる。即ち、本実施形態では、各イントラ予測モードの候補において評価値ＩＳｔｏｔａｌ［ｉ］を夫々算出するための重み付け手段として、実施形態１で使用した重み付け評価部３０５とは異なる手段を使用する。また、本実施形態では、重み付け評価部に対して、ユーザーから量子化パラメータ閾値を設定することが可能な量子化パラメータ設定部が付加されている。

尚、本実施形態において、図５のタイミングチャートについては、実施形態１と同一の図が適用可能であるため、説明は省略する。また、本実施形態において、入力画像フォーマットは４：２：０であると仮定する。

図６は、本実施形態における統合予測モード判定部１１０５の内部構成を示した図であり、ＦＩＦＯ３０１、３０２、３０３、評価値算出部３０４、重み付け評価部６０１、量子化パラメータ取得部６０２、イントラ予測モード判定部３０６を有する。尚、図６において図３と同じ処理を行うものは、同じ符号を付与して説明は省略する。

重み付け評価部６０１は、評価値算出部３０４から読み込んだ各評価値ＩＳｙ［ｉ］、ＩＳｃｂ［ｉ］、ＩＳｃｒ［ｉ］と、各重みＷｙ［ｉ］、Ｗｃｂ［ｉ］、Ｗｃｒ［ｉ］とを夫々重み付けして加算することにより、評価値ＩＳｔｏｔａｌ［ｉ］を算出する。このように、各輝度予測モード候補と各色差予測モード候補とに対応する評価値を重み付けして夫々算出することにより、色差成分の符号化効率を考慮して輝度イントラ予測モード、及び色差イントラ予測モードを決定することができる。

尚、本実施形態の色差イントラ予測モード探索において、重み付け評価部６０１は、量子化パラメータの値によって以下のように決定された各重みＷｙ［ｉ］、Ｗｃｂ［ｉ］、Ｗｃｂ［ｉ］を用いて、評価値ＩＳｔｏｔａｌ［ｉ］を算出する。また、量子化パラメータの値に対する重み付けの閾値Ｑｔｈは、ユーザーが量子化パラメータ取得部（不図示）に設定する等して設定が可能であり、以下のように重み付けを適応的に変更することが可能である。以下、量子化パラメータの重み付けの閾値Ｑｔｈに基づく、重み付けの方法について説明する。

まず、重み付けを適応的に変更させる理由について説明する。前述したように、量子化パラメータの値が重み付けの閾値Ｑｔｈより小さい場合は、再構成画素と入力画素との差が十分小さくなるため、画素予測モードの評価値と他の色差イントラ予測モードの評価値とを対等に比較しても問題ない。このため、他の色差イントラ予測モードと同じ重み付け、即ち式２〜４を画素予測モードで使用することが可能である。

一方、量子化パラメータの値が重み付けの閾値Ｑｔｈより大きい場合は、量子化パラメータの値が重み付け閾値Ｑｔｈより小さい場合と比べて、再構成画素と入力画素との差が大きくなる。即ち、再構成画素の代わりに入力画素を用いて算出した画素予測モードの評価値は信頼性が低下するため、画素予測モードの評価値と他の色差イントラ予測モードの評価値とを単に比較することは相応しくない。このため、本実施形態では、画素予測モードの評価値を算出する場合と他の色差イントラ予測モードの評価値を算出する場合とで重み付けを変化させ、予各色差イントラ予測モードの評価値の比較を行う。これにより、量子化パラメータの値が重み付けの閾値Ｑｔｈより大きい場合に、色差イントラ予測モードの探索において画素予測モードが不適切に多く選択されることを抑制することが可能となる。

以下、各成分で用いられる量子化パラメータは、非特許文献１に記載されているＱＰ’ｙ、ＱＰ’ｃｂ及びＱＰ’ｃｒである。ＱＰ’ｙは輝度成分の量子化パラメータを表し、ＱＰ’ｃｂ及びＱＰ’ｃｒは色差成分の量子化パラメータを表す。尚、輝度成分の量子化パラメータＱＰ’ｙが≦Ｑｔｈである場合、画素予測モード（＃３５）の評価値を算出するための各重みＷｙ［３５］、Ｗｃｂ［３５］、Ｗｃｂ［３５］として式２〜４を用いる。

一方、輝度成分の量子化パラメータＱＰ’ｙが＞Ｑｔｈである場合、画素予測モード（＃３５）の評価値を算出するための各重みＷｙ［３５］、Ｗｃｂ［３５］、Ｗｃｂ［３５］として式５〜７を用いる。

Ｗｙ［３５］＝１
式５
Ｗｃｂ［３５］＝０．８×ｑｐ＿ｌｕｍａ／（ｑｐ＿ｌｕｍａ＋ｑｐ＿ｃｂ＿ｏｆｆｓｅｔ）
式６
Ｗｃｒ［３５］＝０．８×ｑｐ＿ｌｕｍａ／（ｑｐ＿ｌｕｍａ＋ｑｐ＿ｃｒ＿ｏｆｆｓｅｔ）
式７
上述したように、本実施形態において、輝度成分の量子化パラメータＱＰ’ｙの大きさに基づいて各重みＷｙ［ｉ］、Ｗｃｂ［ｉ］、Ｗｃｂ［ｉ］を適応的に変更することで、適切なＩＳｔｏｔａｌ［ｉ］を算出することができる。尚、式６は式３のαｃｂの値を０．８とした場合（αｃｂ＝０．８）の式であり、式７は式４のαｃｒの値を０．８とした場合（αｃｒ＝０．８）の式である。本実施形態において、量子化パラメータの閾値Ｑｔｈに基づいてαｃｂ及びαｃｒの値を０．８としたが、本発明はこれに限定されない。即ち、αｃｂ及びαｃｒの値は、０以上１以下の値であれば構わない。

尚、量子化パラメータの閾値Ｑｔｈはユーザーによって設定されるものであり、設定された量子化パラメータの閾値Ｑｔｈに基づいて重み付けの値も適応的に変更されるものである。

また、実施形態１と同様に、本発明は本実施形態において用いた特定の予測ブロックサイズ、変換ブロックサイズ、及び入力フォーマットに限定されない。さらに、ブロックサイズ決定部１０２における予測ブロックサイズの決定方法や、イントラ予測及び補償部１１０におけるイントラ予測モード探索アルゴリズムにも限定されない。

以下、本実施形態の重み付け評価部３０５における各重みＷｙ［ｉ］、Ｗｃｂ［ｉ］、Ｗｃｒ［ｉ］の決定方法とイントラ予測モード判定部３０６における輝度イントラ予測モード及び色差イントラ予測モード決定方法とを図８のフローチャートを用いて説明する。尚、本実施形態における図８の各ステップＳ４０１〜Ｓ４０９は、実施形態１における図４のフローチャートと同様である。このため、図８において図４と同じ処理を行うものは、同じ番号を付与して説明を省略する。

ステップＳ８０１において、重み付け評価部３０５はステップＳ４０４と同様に、画素予測モードの参照色差サンプルとして輝度サンプルを使用して色差イントラ予測モードの探索を行う。これにより、従来は画素予測モードの探索に必要であった、ローカルデコード処理を伴う再構成輝度サンプルの生成処理を省略することが可能になり、画素予測モードも含めた色差イントラ予測モードの探索を従来よりも高速に行うことが可能である。

また、ステップＳ８０１において重み付け評価部３０５はユーザーによって設定された量子化パラメータの閾値Ｑｔｈに基づいて所定の重み付けを行い、画素予測モードの評価値ＩＳｔｏｔａｌ［３５］を算出する。即ち、ステップＳ８０１において重み付け評価部３０５は評価値ＩＳｔｏｔａｌ［３５］を算出するために、量子化パラメータの閾値Ｑｔｈに基づいて、式２〜４を用いて重み付けをするか式５〜７を用いて重み付けをするかを適応的に変更する。尚、ステップＳ８０１でユーザーにより量子化パラメータの閾値Ｑｔｈの設定が行われていない場合は、式２〜４を用いて評価値ＩＳｔｏｔａｌ［３５］を算出し、ステップＳ４０５へ進む。

上述のように本実施形態は、色差イントラ予測モードの際における画素予測モードも含めた探索を行うために、再構成輝度サンプルの代わりに入力輝度サンプルを用いることで、再構成輝度サンプルを用いる場合よりも探索を開始する時間を早めることができる。このため、色差イントラ予測モードの探索において高速な処理を可能にする。

また、本実施形態は、量子化パラメータに基づいて画素予測モードの探索における重みを他の色差イントラ予測モードの探索における重み以下の値に変化させる。これにより、画素予測モードが必要以上に選択されてしまうことを抑制して、より適切な色差イントラ予測モードを選択することが可能である。

＜実施形態３＞
上記実施形態１、及び実施形態２において、其々図１、図３、及び図６に示した各処理部はハードウェアでもって構成しているものとして説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムで実行しても良い。

図１０は、上記実施形態１、及び実施形態２に係る画像符号化装置の各処理部が行う処理を実行するコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ１００１は、ＲＡＭ１００２やＲＯＭ１００３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上述した実施形態に係る画像符号化装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１００１は、図１、図３、及び図６に示した各処理部として機能することになる。

ＲＡＭ１００２は、外部記憶装置１００６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１００７を介して、外部から取得したデータ等を一時的に記憶するためのエリアを有する。さらに、ＲＡＭ１００２は、ＣＰＵ１００１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１００２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ１００３は、本コンピュータの設定データや、ブートプログラム等を格納する。

操作部１００４は、キーボードやマウス等により構成されており、本コンピュータのユーザーが操作することで、各種の指示をＣＰＵ１００１に対して入力することができる。

表示部１００５は、ＣＰＵ１００１による処理結果を表示する。また、表示部１００５は、例えば液晶ディスプレイで構成される。

外部記憶装置１００６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１００６には、オペレーティングシステム（ＯＳ）や、図１、図３、及び図６に示した各部の機能をＣＰＵ１００１に実現させるためのコンピュータプログラムが保存されている。さらには、外部記憶装置１００６には、処理対象としての各画像が保存されていても良い。

外部記憶装置１００６に保存されているコンピュータプログラムやデータは、ＣＰＵ１００１による制御に従って適宜、ＲＡＭ１００２にロードされ、ＣＰＵ１００１による処理対象となる。

Ｉ／Ｆ１００７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置等の他の機部を接続することができ、本コンピュータはこのＩ／Ｆ１００７を介して様々な情報を取得したり、送出したりすることができる。

バス１００８は、上述の各部を繋ぐ。

上述の構成における作動は、前述のフローチャートで説明した作動をＣＰＵ１００１が中心となってその制御を行う。

＜その他の実施形態＞
前述した実施形態では、輝度成分、及び色差成分のイントラ予測モードに対応する評価値を重み付けして算出することにより、色差成分の符号化効率を考慮して輝度イントラ予測モードを決定したが、本発明はこれに限定されない。即ち、色差成分の符号化効率を考慮して輝度イントラ予測モードを決定する方法であればよく、画像符号化装置に入力された入力画像の輝度成分、及び色差成分の画素から算出される属性情報を使用して、輝度イントラ予測モードを決定する方法を用いてもよい。例えば、入力画像の輝度成分、及び色差成分のエッジ、及びグラデーションの方向を算出し、当該方向に基づいて輝度イントラ予測モードを決定してもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. 画像を符号化ブロック単位で符号化する画像符号化装置であって、
   前記画像符号化装置に入力された符号化対象ブロックの色差成分の符号化において選択され得る色差予測モードの評価を表す色差の評価値を取得する第１の取得手段と、
   前記第１の取得手段によって取得された前記色差の評価値に基づいて、前記符号化対象ブロックの色差成分を符号化するために用いる前記色差予測モードを決定する決定手段と
   を有し、
   前記第１の取得手段は、前記符号化対象ブロックの色差成分の符号化において選択され得る色差予測モードのうち輝度成分の画素群を用いて予測する画素予測モードの評価値であって、前記符号化対象ブロックの輝度画素群を参照して算出された評価値を取得することを特徴とする画像符号化装置。
2. さらに、前記符号化対象ブロックの輝度成分の符号化において選択され得る輝度予測モードの評価を表す輝度の評価値を取得する第２の取得手段を有し、
   前記決定手段は、前記第１の取得手段によって取得された色差の評価値に基づいて前記符号化対象ブロックの色差成分を符号化するために用いる色差予測モードを決定し、前記第２の手段によって取得された輝度の評価値に基づいて、前記符号化対象ブロックの輝度成分を符号化するために用いる輝度予測モードを決定することを特徴とする請求項１に記載の画像符号化装置。
3. 前記決定手段は、前記第１の取得手段によって取得された複数の色差の評価値のそれぞれに第１の重み係数を乗算した各値と、前記第２の取得手段によって取得された複数の輝度の評価値のそれぞれに第２の重み係数を乗算した各値とに基づいて、前記色差予測モードを決定することを特徴とする請求項２に記載の画像符号化装置。
4. 前記第１の取得手段は、前記決定手段によって決定された前記輝度予測モードを用いて前記符号化対象ブロックの輝度成分の画素群を予測符号化、及び、局所復号して再構成された輝度画素群が生成される前に、前記色差予測モードのうちの前記画素予測モードの評価値を取得することを特徴とする請求項２乃至請求項３のいずれか一項に記載の画像符号化装置。
5. 前記第１の重み係数は、前記符号化対象ブロックの前記色差成分の符号化における量子化パラメータに基づいて決定され、前記第２の重み係数は、前記符号化対象ブロックの前記輝度成分の符号化における量子化パラメータに基づいて決定されることを特徴とする請求項３に記載の画像符号化装置。
6. 前記決定手段は、前記輝度成分の符号化における量子化パラメータが所定の値より大きい場合の、色差予測モードのうちの画素予測モードの評価を示す色差の評価値に乗算する重み係数を、前記輝度成分の符号化における量子化パラメータが所定の値より小さい場合の、前記画素予測モードの評価を示す色差の評価値に乗算する重み係数よりも大きくなるように重み付けして、前記色差予測モードを決定することを特徴とする請求項１乃至請求項５のいずれか一項に記載の画像符号化装置。
7. 前記第１の重み係数は、前記符号化対象ブロックの前記色差成分のサンプル数に基づいて決定され、前記第２の重み係数は、前記符号化対象ブロックの前記輝度成分のサンプル数に基づいて決定されることを特徴とする請求項３に記載の画像符号化装置。
8. さらに、前記決定手段によって前記色差予測モードとして前記画素予測モードが決定された場合に、前記符号化対象ブロックの輝度成分の画素群を予測符号化、及び、局所復号化して再構成された輝度画素群を用いて、前記符号化対象ブロックの色差成分の画素群を符号化する符号化手段を有することを特徴とする請求項１乃至請求項７のいずれか一項に記載の画像符号化装置。
9. 画像を符号化ブロック単位で符号化する画像符号化方法であって、
   入力された符号化対象ブロックの色差成分の符号化において選択され得る色差予測モードの評価を表す色差の評価値を取得する第１の取得工程と、
   前記第１の取得工程で取得された前記色差の評価値に基づいて、前記符号化対象ブロックの色差成分を符号化するために用いる前記色差予測モードを決定する決定工程と
   を有し、
   前記第１の取得工程は、前記符号化対象ブロックの色差成分の符号化において選択され得る色差予測モードのうち輝度成分の画素群を用いて予測する画素予測モードの評価値であって、前記符号化対象ブロックの輝度画素群を参照して算出された評価値を取得することを特徴とする画像符号化方法。
10. コンピュータを、請求項１に記載の画像符号化装置の各手段として機能させるためのプログラム。
    

Images