JP2016092489A - 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム - Google Patents

Abstract

【課題】イントラ予測符号化が適用されるイントラ予測符号化領域をシフトさせながら動画像を符号化する場合に、イントラ予測モードに対する制限を緩和する。【解決手段】決定部９１１は、イントラ予測符号化領域と未だイントラ予測符号化が適用されていない未リフレッシュ領域の境界を階段形状とする。また、決定部９１１は、複数のイントラ予測モードのうち、参照範囲が未リフレッシュ領域の画素を使用するイントラ予測モードを、有効なイントラ予測モードから除外する。そして、決定部９１１は、第２のブロックの符号化済み画像を参照するイントラ予測モードを、第１のブロックのための有効なイントラ予測モードに含めて、第１のブロックのためのイントラ予測モードを決定する。第１のブロックは、階段形状の第１の段に接するブロックであり、第２のブロックは、第１のブロックよりも前にイントラ予測符号化され、階段形状の第２の段に接するブロックである。【選択図】図９

Description

本発明は、動画像符号化装置、動画像符号化方法、及び動画像符号化プログラムに関する。

近年、Ｈ．２６４、High Efficiency Video Coding（ＨＥＶＣ，Ｈ．２６５）等の動画像符号化技術が用いられている。動画像符号化技術では、インター予測符号化とイントラ予測符号化の２つの符号化方式が併用される。インター予測符号化は、動画像に含まれる符号化対象画像を符号化済み画像の情報を用いて符号化する符号化方式であり、イントラ予測符号化は、符号化対象画像が持つ情報のみを用いて符号化対象画像を符号化する符号化方式である。

符号化対象画像は複数のブロックに分割され、ブロック毎に符号化される。符号化対象画像は、フレーム又はピクチャと呼ばれることがある。

動画像符号化技術において低遅延で伝送エラーから復帰するための技術として、イントラリフレッシュが知られている。イントラリフレッシュでは、符号化対象画像内のイントララインに含まれるブロックが強制的にイントラ予測符号化され、複数の画像の間でイントララインが徐々にシフトしていき、一定周期で画像全体にイントララインが巡回する。

イントララインとしては、例えば、符号化対象画像内で垂直方向のライン形状の領域、又は水平方向のライン形状の領域（イントラスライス）が用いられる。垂直方向のイントララインは、画面内で左から右へ向かってシフトされ、水平方向のイントラスライスは、画面内で上から下へ向かってシフトされる。

図１は、従来の垂直方向のイントララインによるイントラリフレッシュの例を示している。図１の画像１０１−１〜画像１０１−Ｎ（Ｎは２以上の整数）は、それぞれ、時刻ｔ１〜時刻ｔＮにおける符号化対象画像である。イントラ予測符号化が強制的に適用される領域であるイントラライン１０２−１〜イントラライン１０２−Ｎは、画像間で右方向に徐々にシフトしていき、時刻ｔ１〜時刻ｔＮの期間に対応する一定周期で、画像全体にイントララインが巡回する。以下では、イントラライン１０２−１〜イントラライン１０２−Ｎのいずれかを指して、イントラライン１０２と記載することがある。

図２は、画像１０１−１〜画像１０１−Ｎの各画像における直線状のリフレッシュ境界を示している。図２の画像は、リフレッシュ済みの領域Ａ１と未だリフレッシュされていない領域Ａ２とに区分される。領域Ａ１に含まれるイントラライン１０２内の各ブロックは、イントラ予測符号化された時点でリフレッシュ済みとなる。リフレッシュ境界２０１は、イントラライン１０２と領域Ａ２との間の境界である。

イントラライン１０２内の各ブロックのイントラ予測符号化においては、伝送エラーの影響を排除するため、領域Ａ１内の符号化済みブロックの情報が参照される。イントラライン１０２が巡回した後は画像全体のリフレッシュが完了しているため、符号化動画像である映像ストリームを復号する動画像復号装置において、伝送エラーからの復帰や映像ストリームの途中からの復号が可能となる。

ビットストリームを受信する画像受信装置からエラー情報を受け取った場合に、強制イントラブロックに対するイントラ符号化を実行する画像送信装置も知られている（例えば、特許文献１を参照）。この画像送信装置は、強制イントラブロック及び当該強制イントラブロック以外の他ブロックの境界となる境界ラインから、隣接画素の数に対応する対応画素を含有しないよう、参照符号化単位に対する探索範囲を設定する。そして、画像送信装置は、デブロックフィルタ設定情報を変更することによりデブロックフィルタ処理に対する制限を設定する伝搬防止符号化モードを選択して、画像データを符号化する。

特開２０１１−０５５２１９号公報

上述した従来の動画像符号化技術には、以下のような問題がある。
動画像のイントラリフレッシュでは、リフレッシュ済みの領域内のブロックの情報のみを参照するために、使用されるイントラ予測モードが制限され、符号化効率が低下することがある。

なお、かかる問題は、Ｈ．２６４又はＨＥＶＣを用いた動画像符号化に限らず、他の符号化アルゴリズムを用いる場合においても生ずるものである。また、かかる問題は、垂直方向のイントララインによるイントラリフレッシュに限らず、水平方向のイントラスライスによるイントラリフレッシュにおいても生ずるものである。

１つの側面において、本発明の目的は、イントラ予測符号化が適用されるイントラ予測符号化領域をシフトさせながら動画像を符号化する場合に、イントラ予測モードに対する制限を緩和することである。

１つの案では、動画像符号化装置は、決定部及び符号化部を含み、動画像に含まれる複数の画像の間で、イントラ予測符号化が適用されるイントラ予測符号化領域をシフトさせながら、それらの画像を符号化する。

決定部は、複数の画像のうち符号化対象画像内において、イントラ予測符号化領域と未だイントラ予測符号化が適用されていない未リフレッシュ領域の境界を階段形状とする。また、決定部は、参照範囲が互いに異なる複数のイントラ予測モードのうち、参照範囲が未リフレッシュ領域の画素を使用するイントラ予測モードを、有効なイントラ予測モードから除外する。ここで、参照範囲は、イントラ予測符号化領域内の複数のブロックのイントラ予測画像を生成する際に参照する符号化済みの画素の参照範囲である。

そして、決定部は、複数のブロックのうち、第２のブロックの符号化済み画像を参照するイントラ予測モードを、第１のブロックのための有効なイントラ予測モードに含めて、第１のブロックのためのイントラ予測モードを決定する。第１のブロックは、階段形状の第１の段に接するブロックであり、第２のブロックは、第１のブロックよりも前にイントラ予測符号化され、階段形状の第２の段に接するブロックである。

符号化部は、決定部が決定したイントラ予測モードに基づく第１のブロックのイントラ予測符号化結果を含む符号化動画像を出力する。

実施形態の動画像符号化装置によれば、イントラ予測符号化が適用されるイントラ予測符号化領域をシフトさせながら動画像を符号化する場合に、イントラ予測モードに対する制限を緩和することができる。

従来のイントラリフレッシュを示す図である。 直線状のリフレッシュ境界を示す図である。 Ｈ．２６４におけるイントラ予測モードを示す図である。 ＨＥＶＣのブロック構造を示す図である。 イントラ予測符号化されるブロックを示す図である。 ＨＥＶＣにおけるイントラ予測モードを示す図である。 イントラ予測モードが制限されるブロックを示す図である。 参照制限を受けるブロックの変化を示す図である。 動画像符号化装置の構成図である。 動画像符号化処理のフローチャートである。 動画像符号化装置の具体例を示す図である。 動画像符号化処理の具体例を示すフローチャートである。 第１の階段形状のリフレッシュ境界を示す図である。 第２の階段形状のリフレッシュ境界を示す図である。 第３の階段形状のリフレッシュ境界を示す図である。 符号化対象ブロックを示す図である。 ＣＴＵ内のＺスキャンを示す図である。 画素のコピーを示す図である。 イントラ予測符号化領域内のイントラ予測モードが制限されるブロックを示す図（その１）である。 イントラ予測符号化領域内のイントラ予測モードが制限されるブロックを示す図（その２）である。 イントラ予測符号化領域内のイントラ予測モードが制限されるブロックを示す図（その３）である。 リフレッシュ境界におけるインター予測符号化を示す図である。 リフレッシュ境界の傾きを変更する動画像符号化処理のフローチャートである。 変化するリフレッシュ境界の傾きを示す図である。 ループフィルタによるインター予測符号化の制限を示す図である。 動きベクトルの下向き傾向が大きい場合にイントラ予測符号化が適用されるブロックを示す図である。 直線状のリフレッシュ境界を有するイントラ予測符号化領域を示す図である。 階段形状のリフレッシュ境界を有するイントラ予測符号化領域を示す図である。 なだらかな傾きを持つリフレッシュ境界（その１）を示す図である。 なだらかな傾きを持つリフレッシュ境界（その２）を示す図である。 なだらかな傾きを持つリフレッシュ境界（その３）を示す図である。 情報処理装置の構成図である。

以下、図面を参照しながら、実施形態を詳細に説明する。
Ｈ．２６４では、符号化対象画像（符号化対象ピクチャ）が、例えば、１６×１６画素の固定ブロック（マクロブロック）に分割される。イントラ予測符号化は、マクロブロック単位で設定でき、イントラ予測符号化モードの選択とイントラ予測符号化画像の生成とは、共通のサブブロック単位で行うことができる。

図３は、Ｈ．２６４におけるイントラ予測モードの例を示している。この例では、４×４画素のサブブロックがイントラ予測符号化され、予測モード０〜予測モード８の９個のイントラ予測モードが示されている。

白丸は、イントラ予測符号化されるサブブロックの画素を表し、グレーの丸は、サブブロックの周囲の画素を表し、矢印は、イントラ予測符号化において参照される画素の位置に対応する予測方向を表している。

例えば、予測モード０の場合、サブブロック３０１をイントラ予測符号化するために、サブブロック３０１の各画素の垂直方向上方に位置する周囲の画素の情報が参照される。予測モード２の場合、周囲の画素の情報の平均値を用いてイントラ予測符号化画像が生成される。

ここで、４×４画素のサブブロックが図２のイントラライン１０２内にあり、リフレッシュ境界２０１に接する場合、予測モード３及び予測モード７において、未だリフレッシュされていない領域Ａ２内の画素が参照されることになる。したがって、イントラリフレッシュでは、予測モード０〜予測モード２、予測モード４〜予測モード６、及び予測モード８が使用され、予測モード３及び予測モード７は使用しない。

次に、図４は、ＨＥＶＣのブロック構造の例を示している。ＨＥＶＣでは、符号化対象ピクチャ４０１がCoding Tree Unit（ＣＴＵ）単位のブロックに分割され、各ＣＴＵは、さらに四分木構造でCoding Unit（ＣＵ）単位のブロックに分割される。ＣＴＵは、シーケンスで固定のサイズであり、例えば、１６×１６画素、３２×３２画素、又は６４×６４画素の中から選択可能である。ＣＵは、可変サイズであり、例えば、８×８画素〜ＣＴＵサイズの中から選択可能である。ＣＵは、イントラ予測符号化モードを選択する単位となる。

ＣＵは、Prediction Unit（ＰＵ）単位のブロックに分割されるともに、Transform Unit（ＴＵ）単位のブロックにも分割される。ＰＵは、イントラ予測モードを選択する単位となり、ＴＵは、イントラ予測符号化画像を生成する単位となる。ＴＵは、例えば、４×４画素、８×８画素、１６×１６画素、又は３２×３２画素の中から選択可能である。

ブロックに含まれる画素の画素値としては、例えば、輝度又は色差が用いられる。輝度を用いたブロックは、輝度ブロックと呼ばれることがあり、色差を用いたブロックは、色差ブロックと呼ばれることがある。

矢印４１１は、符号化対象ピクチャ４０１内における複数のＣＴＵの符号化順序（ラスタスキャン）を示しており、矢印４１２は、各ＣＴＵ内における複数のＣＵの符号化順序（Ｚスキャン）を示している。矢印４１３は、各ＣＵ内における複数のＰＵの符号化順序（Ｚスキャン）を示しており、矢印４１４は、各ＣＵ内における複数のＴＵの符号化順序（Ｚスキャン）を示している。

ＨＥＶＣにおけるブロック間には、次のような拘束条件が存在する。
（１）ＣＴＵサイズ≧ＣＵサイズ
（２）ＣＵサイズ≧ＰＵサイズ
（３）ＰＵサイズ≧ＴＵサイズ

そして、ＰＵ単位でイントラ予測モードが決定され、ＰＵに対応する１つ以上のＴＵのブロックが同じイントラ予測モードによりイントラ予測符号化される。

図５は、ＨＥＶＣにおいてイントラ予測符号化されるブロック（ＴＵ）の例を示している。この例では、８×８画素のブロックがイントラ予測符号化される。白丸は、イントラ予測符号化されるブロックの画素を表し、グレーの丸は、ブロックの周囲の画素を表す。ブロックをイントラ予測符号化するためにブロックの右上及び左下の画素も参照されるため、ブロックの上方の参照範囲の幅は１７画素となり、ブロックの左の参照範囲の高さも１７画素となっている。

図６は、図５のブロックをイントラ予測符号化するためのイントラ予測モードの例を示している。この例では、予測モード０〜予測モード３４の３５個のイントラ予測モードが示されている。

予測モード０は、Ｉｎｔｒａ＿Ｐｌａｎａｒに対応し、ブロックの周囲の画素の情報を用いて内挿予測によりイントラ予測符号化画像を生成するイントラ予測モードである。予測モード１は、Ｉｎｔｒａ＿ＤＣに対応し、ブロックの周囲の画素の情報の平均値を用いてイントラ予測符号化画像を生成するイントラ予測モードである。

予測モード２〜予測モード３４の矢印は、イントラ予測符号化において参照される画素の位置に対応する予測方向を表している。例えば、予測モード２６の場合、ブロックの各画素の垂直方向上方に位置する周囲の画素の情報が参照される。

ここで、イントラ予測符号化されるブロックが図２のイントラライン１０２内にあり、リフレッシュ境界２０１に接する場合、予測モード０及び予測モード２７〜予測モード３４において、未だリフレッシュされていない領域Ａ２内の画素が参照されることになる。したがって、イントラリフレッシュでは、予測モード１〜予測モード２６が使用され、予測モード０及び予測モード２７〜予測モード３４は使用されない。

図７は、垂直方向のイントラ予測符号化領域を用いた場合のリフレッシュ境界付近において、イントラ予測モードが制限されるブロック（ＰＵ）の例を示している。この例では、ＣＴＵサイズは６４×６４画素であり、ＴＵサイズはＰＵサイズと同じである。以下では、イントラ予測モードが制限されることを参照制限と記載することがある。

図７では、ピクチャ７０１に含まれる２個のＣＴＵと、ピクチャ７０１の次の時刻におけるピクチャ７０２に含まれる２個のＣＴＵとが示されている。しかし、ピクチャ７０１及びピクチャ７０２は、より多くのＣＴＵを含んでいる。

網掛け７２１のブロックは、図４に示した符号化順序に基づいて右上のブロック（参照範囲）が符号化済みであるが、その参照範囲の一部又は全部がリフレッシュ境界７１１の右の領域Ａ２内に存在するため、右上に対する参照制限を受ける。一方、網掛け７２２のブロックは、右上の参照範囲が未だ符号化されていないため、規格上その参照範囲が参照されることはなく、右上に対する参照制限を受けない。

例えば、ピクチャ７０１では、リフレッシュ境界７１１の左の領域Ａ１内のブロックのうち、リフレッシュ境界７１１に接する８×８画素の２個のブロックと１６×１６画素の２個のブロックとが、右上に対する参照制限を受ける。

一方、ピクチャ７０２では、リフレッシュ境界７１１からリフレッシュ幅７３１だけ右にシフトしたリフレッシュ境界７１２が用いられる。リフレッシュ境界７１２の左の領域Ａ１内のブロックのうち、リフレッシュ境界７１２に接する８×８画素の８個のブロックが、右上に対する参照制限を受ける。さらに、リフレッシュ境界７１２に近い１６×１６画素の３個のブロックと３２×３２画素の１個のブロックとが、右上に対する参照制限を受ける。

このように、ピクチャの左から右へ向かってイントラリフレッシュを行う場合、リフレッシュ境界の左の領域Ａ１において使用可能なイントラ予測モードを制限することで、イントラライン内に伝送エラーの影響を与えないようにすることができる。

図８は、参照制限を受けるブロック（ＰＵ）の変化の例を示している。この例では、ＣＴＵサイズは６４×６４画素であり、ＴＵサイズはＰＵサイズと同じであり、イントララインの幅（リフレッシュ幅）は１６画素である。網掛け８２１のブロックは、右上に対する参照制限を受けるブロックであり、網掛け８２２のブロックは、右上に対する参照制限を受けないブロックである。

ピクチャＰ１では、ＣＴＵ境界８０１とＣＴＵ境界８０２との間のリフレッシュ境界８１１に接する、イントラライン８３１内の８個のブロックが、右上に対する参照制限を受ける。

ピクチャＰ２では、リフレッシュ境界８１２に接する、イントラライン８３２内の８個のブロックのうち、４個のブロックが右上に対する参照制限を受け、残りの４個のブロックが参照制限を受けない。ピクチャＰ１とピクチャＰ２との間で参照制限を受けるブロックの個数が変化するのは、符号化処理順で右上の参照範囲が符号化済みの領域か、未だ符号化されていない領域かが変化するためである。

ピクチャＰ３では、リフレッシュ境界８１３に接する、イントラライン８３３内の８個のブロックが右上に対する参照制限を受ける。ピクチャＰ２とピクチャＰ３との間で参照制限を受けるブロックの個数が変化するのは、符号化処理順で右上の参照範囲が符号化済みの領域か、未だ符号化されていない領域かが変化するためである。

ピクチャＰ４では、リフレッシュ境界８１４に接する、イントラライン８３４内の８個のブロックのうち、２個のブロックが右上に対する参照制限を受け、残りの６個のブロックが参照制限を受けない。ピクチャＰ３とピクチャＰ４との間で参照制限を受けるブロックの個数が変化するのは、符号化処理順で右上の参照範囲が符号化済みの領域か、未だ符号化されていない領域かが変化するためである。

この場合、ピクチャＰ１〜ピクチャＰ４の４つのピクチャにおいて、イントラライン内のブロックに対する参照制限を受けるブロックの割合は、次式により計算される。
（８＋４＋８＋２）／（８＊４）＝１１／１６ （１）

イントラ予測モードが制限されるブロックでは、必ずしも最適なイントラ予測モードを使用できるとは限らないため、符号化効率が低下すると考えられる。リフレッシュ境界が垂直方向の直線である場合、式（１）が示すように、リフレッシュ境界においてイントラ予測モードが制限されるブロックの割合が多いため、動画像全体の符号化効率が低下する。

図９は、実施形態の動画像符号化装置の構成例を示している。図９の動画像符号化装置９０１は、決定部９１１及び符号化部９１２を含み、動画像に含まれる複数の画像の間で、イントラ予測符号化が適用されるイントラ予測符号化領域をシフトさせながら、それらの画像を符号化する。

図１０は、図９の動画像符号化装置９０１が行う動画像符号化処理の例を示すフローチャートである。まず、決定部９１１は、複数の画像のうち符号化対象画像内において、イントラ予測符号化領域と未だイントラ予測符号化が適用されていない未リフレッシュ領域の境界を階段形状とする（ステップ１００１）。

また、決定部９１１は、参照範囲が互いに異なる複数のイントラ予測モードのうち、参照範囲が未リフレッシュ領域の画素を使用するイントラ予測モードを、有効なイントラ予測モードから除外する。ここで、参照範囲は、イントラ予測符号化領域内の複数のブロックのイントラ予測画像を生成する際に参照する符号化済みの画素の参照範囲である。

そして、決定部９１１は、複数のブロックのうち、第２のブロックの符号化済み画像を参照するイントラ予測モードを、第１のブロックのための有効なイントラ予測モードに含めて、第１のブロックのためのイントラ予測モードを決定する。第１のブロックは、階段形状の第１の段に接するブロックであり、第２のブロックは、第１のブロックよりも前にイントラ予測符号化され、階段形状の第２の段に接するブロックである。

次に、符号化部９１２は、決定部９１１が決定したイントラ予測モードに基づく第１のブロックのイントラ予測結果に基づいて動画像符号化処理を実施する（ステップ１００２）。

図９の動画像符号化装置９０１によれば、イントラ予測符号化が適用されるイントラ予測符号化領域をシフトさせながら動画像を符号化する場合に、イントラ予測モードに対する制限を緩和することができる。

動画像符号化装置９０１は、様々な用途に利用される。例えば、動画像符号化装置９０１を、ビデオカメラ、映像送信装置、テレビ電話システム、コンピュータ、又は携帯電話機に組み込むことも可能である。

図１１は、図９の動画像符号化装置９０１の具体例を示している。図１１の動画像符号化装置９０１は、符号化部９１２、リフレッシュ幅決定部１１０１、領域決定部１１０２、ブロック決定部１１０３、及び予測モード制限部１１０４を含む。さらに、動画像符号化装置９０１は、イントラ予測モード決定部１１０５、インター予測モード決定部１１０６、及び予測モード選択部１１０７を含む。イントラ予測モード決定部１１０５は、図９の決定部９１１に対応する。

符号化部９１２は、誤差画像生成部１１１１、直交変換部１１１２、量子化部１１１３、エントロピー符号化部１１１４、逆量子化部１１１５、逆直交変換部１１１６、復号画像生成部１１１７を含む。さらに、符号化部９１２は、記憶部１１１８、イントラ予測画像生成部１１１９、インター予測画像生成部１１２０、予測画像選択部１１２１、ループフィルタ１１２２、及び記憶部１１２３を含む。

動画像符号化装置９０１は、例えば、ハードウェア回路として実装することができる。この場合、各構成要素を個別の回路として実装してもよく、複数の構成要素を１つの集積回路として実装してもよい。

動画像符号化装置９０１に入力される符号化対象動画像に含まれる複数の画像の各々は、符号化対象画像に対応し、カラー画像であってもよく、モノクロ画像であってもよい。カラー画像の場合、画素値はＲＧＢ形式であってもよく、ＹＵＶ形式であってもよい。

符号化部９１２内の誤差画像生成部１１１１は、符号化対象画像に含まれる符号化対象ブロックの原画像と、予測画像選択部１１２１から出力される予測画像との差分を表す誤差画像を生成する。直交変換部１１１２は、誤差画像生成部１１１１が生成する誤差画像を直交変換し、量子化部１１１３は、直交変換の結果を量子化して、符号化対象ブロックの予測符号化結果を表す係数情報を生成する。

逆量子化部１１１５は、量子化部１１１３が生成する係数情報を逆量子化し、逆直交変換部１１１６は、逆量子化の結果を逆直交変換して、誤差画像を生成する。復号画像生成部１１１７は、逆直交変換部１１１６が生成する誤差画像を、予測画像選択部１１２１から出力される予測画像に加算して、復号画像を生成する。記憶部１１１８は、復号画像生成部１１１７が生成する復号画像を記憶する。

イントラ予測画像生成部１１１９は、記憶部１１１８が記憶する復号画像を用いてイントラ予測を行い、符号化対象ブロックのイントラ予測画像を生成する。このとき、イントラ予測画像生成部１１１９は、符号化対象ブロックの周囲の符号化済みブロックの復号画像に含まれる画素値を、参照範囲の画素（参照画素）の情報として用いて、イントラ予測画像を生成する。

ループフィルタ１１２２は、復号画像生成部１１１７が生成する復号画像に対して、ブロック境界の近傍画素を用いてフィルタ処理を行うことで、符号化ノイズを低減する。記憶部１１２３は、ループフィルタ１１２２から出力される復号画像を記憶する。

インター予測画像生成部１１２０は、記憶部１１２３が記憶する復号画像を、符号化対象画像よりも後に符号化される画像に対する参照画像として用いることができる。インター予測画像生成部１１２０は、符号化対象画像よりも前に符号化された画像の復号画像を用いてインター予測を行い、符号化対象ブロックのインター予測画像を生成する。

予測画像選択部１１２１は、イントラ予測画像生成部１１１９が生成するイントラ予測画像、又はインター予測画像生成部１１２０が生成するインター予測画像のうち、いずれか一方の予測画像を選択して、誤差画像生成部１１１１へ出力する。

リフレッシュ幅決定部１１０１は、符号化対象画像内で強制的にイントラ予測符号化が適用されるイントラ予測符号化領域のサイズを表すリフレッシュ幅を決定する。領域決定部１１０２は、符号化対象画像の直前に符号化された画像におけるイントラ予測符号化領域の境界（リフレッシュ境界）と、リフレッシュ幅とに基づいて、符号化対象画像におけるイントラ予測符号化領域を決定する。

ブロック決定部１１０３は、イントラ予測符号化領域の情報と、符号化対象画像内の各ブロックの位置とサイズとに基づいて、イントラ予測モードが制限されるブロックを決定する。予測モード制限部１１０４は、イントラ予測モードが制限されるブロック毎に、使用しないイントラ予測モードを決定する。

イントラ予測モード決定部１１０５は、符号化対象ブロックに対して使用可能な複数のイントラ予測モードをイントラ予測画像生成部１１１９へ出力し、符号化対象ブロックのイントラ予測画像の生成を指示する。そして、イントラ予測モード決定部１１０５は、生成された複数のイントラ予測画像の符号化効率を示す評価値に基づいて、複数のイントラ予測モードのうちの１つを選択し、選択したイントラ予測モードを符号化対象ブロックのイントラ予測モードに決定する。

イントラ予測画像生成部１１１９は、イントラ予測モード決定部１１０５が決定したイントラ予測モードにより生成したイントラ予測画像を、予測画像選択部１１２１へ出力する。イントラ予測モード決定部１１０５は、決定したイントラ予測モードに対応するイントラ予測画像の評価値を予測モード選択部１１０７へ出力する。

インター予測モード決定部１１０６は、符号化対象画像よりも前に符号化された画像の復号画像を用いて動きベクトルを探索し、符号化対象ブロックのインター予測モードを決定する。インター予測モードは、参照画像、インター予測のブロックサイズ、及び動きベクトル等の情報を含む。そして、インター予測モード決定部１１０６は、決定したインター予測モードをインター予測画像生成部１１２０へ出力する。

インター予測画像生成部１１２０は、インター予測モード決定部１１０６が決定したインター予測モードによりインター予測画像を生成し、予測画像選択部１１２１へ出力する。インター予測モード決定部１１０６は、決定したインター予測モードに対応するインター予測画像の符号化効率を示す評価値を、予測モード選択部１１０７へ出力する。

予測モード選択部１１０７は、イントラ予測符号化領域の情報と、イントラ予測モード決定部１１０５が出力する評価値と、インター予測モード決定部１１０６が出力する評価値とに基づいて、イントラ予測モード又はインター予測モードのいずれかを選択する。符号化対象ブロックがイントラ予測符号化領域内のブロックである場合、イントラ予測モードが選択され、符号化対象ブロックがイントラ予測符号化領域外のブロックである場合、評価値が良い方の予測モードが選択される。

予測モード選択部１１０７は、選択した予測モードを予測画像選択部１１２１へ出力し、予測画像選択部１１２１は、その予測モードに対応する予測画像を選択する。

エントロピー符号化部１１１４は、符号化対象画像内の複数のブロックの予測符号化結果を表す係数情報と、使用された予測モードを表す予測情報とをエントロピー符号化し、符号化対象動画像の符号化結果である符号化動画像（符号化ストリーム）を生成する。そして、エントロピー符号化部１１１４は、生成した符号化ストリームを動画像復号装置（不図示）へ出力する。

図１２は、図９の動画像符号化装置９０１が行う動画像符号化処理の具体例を示すフローチャートである。動画像符号化装置９０１は、符号化対象動画像に含まれる複数の画像の各々に対して、図１２の動画像符号化処理を行う。

まず、リフレッシュ幅決定部１１０１は、符号化対象画像におけるリフレッシュ幅を決定し、領域決定部１１０２は、符号化対象画像におけるイントラ予測符号化領域を決定する（ステップ１２０１）。

次に、予測モード選択部１１０７は、符号化対象ブロックがイントラ予測符号化領域内のブロックであるか否かをチェックする（ステップ１２０２）。符号化対象ブロックがイントラ予測符号化領域内のブロックである場合（ステップ１２０２，ＹＥＳ）、ブロック決定部１１０３は、符号化対象画像内でイントラ予測モードが制限されるブロック（制限対象ブロック）を決定する（ステップ１２０３）。

次に、予測モード選択部１１０７は、符号化対象ブロックが制限対象ブロックであるか否かをチェックする（ステップ１２０４）。符号化対象ブロックが制限対象ブロックである場合（ステップ１２０４，ＹＥＳ）、予測モード制限部１１０４は、符号化対象ブロックに対して使用しないイントラ予測モードを決定する（ステップ１２０５）。

次に、イントラ予測モード決定部１１０５は、使用しないイントラ予測モードを除いた残りのイントラ予測モードの中から、符号化対象ブロックのイントラ予測モードを選択する（ステップ１２０６）。そして、イントラ予測画像生成部１１１９は、選択されたイントラ予測モードによりイントラ予測画像を生成する。誤差画像生成部１１１１、直交変換部１１１２、及び量子化部１１１３は、生成されたイントラ予測画像を用いて符号化対象ブロックのイントラ予測符号化結果を生成する。

次に、予測モード選択部１１０７は、符号化対象画像内のすべてのブロックが符号化されたか否かをチェックする（ステップ１２０７）。未だ符号化されていないブロックが残っている場合（ステップ１２０７，ＮＯ）、予測モード選択部１１０７は、符号化順序に従って入力される次の符号化対象ブロックに対して、ステップ１２０２以降の処理を行う。

一方、符号化対象ブロックが制限対象ブロックではない場合（ステップ１２０４，ＮＯ）、イントラ予測モード決定部１１０５は、すべてのイントラ予測モードの中から、符号化対象ブロックのイントラ予測モードを選択する（ステップ１２０８）。そして、イントラ予測画像生成部１１１９は、選択されたイントラ予測モードによりイントラ予測画像を生成する。誤差画像生成部１１１１、直交変換部１１１２、及び量子化部１１１３は、生成されたイントラ予測画像を用いて符号化対象ブロックのイントラ予測符号化結果を生成し、予測モード選択部１１０７は、ステップ１２０７以降の処理を行う。

符号化対象ブロックがイントラ予測符号化領域外のブロックである場合（ステップ１２０２，ＮＯ）、予測モード選択部１１０７は、イントラ予測モード又はインター予測モードを、符号化対象ブロックの予測モードとして選択する（ステップ１２０９）。そして、誤差画像生成部１１１１、直交変換部１１１２、及び量子化部１１１３は、選択された予測モードにより生成された予測画像を用いて、符号化対象ブロックの予測符号化結果を生成し、予測モード選択部１１０７は、ステップ１２０７以降の処理を行う。

そして、符号化対象画像内のすべてのブロックが符号化された場合（ステップ１２０７，ＹＥＳ）、動画像符号化装置９０１は、符号化対象画像の符号化処理を終了する。

図１３〜図１５は、イントラ予測符号化領域と未だイントラ予測符号化が適用されていない領域との間の階段形状のリフレッシュ境界の例を示している。これらの例では、ＣＴＵサイズは６４×６４画素であり、各ブロックはＰＵを表し、ＴＵサイズはＰＵサイズと同じであり、リフレッシュ幅は１６画素である。

網掛け１３２１のブロックは、符号化順序に基づいて右上のブロック（参照範囲）が符号化済みであるが、その参照範囲の一部又は全部が未だリフレッシュされていない領域内に存在するため、右上に対する参照制限を受ける。したがって、網掛け１３２１のブロックでは、右上方向の画素を参照するイントラ予測モードが制限される。

一方、網掛け１３２２のブロックは、右上の参照範囲が未だ符号化されておらず、規格上その参照範囲が参照されないか、又は右上の参照範囲がリフレッシュ済みであるため、右上に対する参照制限を受けない。

図１３のリフレッシュ境界１３１１は、画像内で水平１：垂直４の急な傾きを持つ右上がり階段形状であり、垂直方向の４個のＣＴＵに対応する４段を周期Ｌとして含む。周期Ｌに対応するＣＴＵ内において、リフレッシュ境界１３１１に接する、イントラ予測符号化領域１３１２内の１６個のブロックのうち、７個のブロックが右上に対する参照制限を受け、残りの９個のブロックが参照制限を受けない。

例えば、イントラ予測符号化領域１３１２内のブロック１３４１は、リフレッシュ境界１３１１の段１３３１に接しており、ブロック１３４１の右上に位置するブロック１３４２は、リフレッシュ境界１３１１の段１３３２に接している。ブロック１３４２は、ブロック１３４１よりも前にリフレッシュ済みであるため、ブロック１３４１のイントラ予測符号化において参照可能である。

また、イントラ予測符号化領域１３１２内のブロック１３４３は、段１３３１に接しており、ブロック１３４３の右上の参照範囲は、ブロック１３４４に含まれている。ブロック１３４４は、ブロック１３４３よりも後に符号化されるため、規格上、ブロック１３４３のイントラ予測符号化において参照されない。

この場合、イントラ予測符号化領域１３１２内のブロックに対する参照制限を受けるブロックの割合は７／１６である。図８の場合と比較すると、参照制限を受けるブロックの割合が１１／１６から７／１６に減少していることが分かる。

このように、右上がり階段状のリフレッシュ境界１３１１を用いることで、イントラ予測符号化領域１３１２内で右上方向の画素を参照可能なブロックの個数が増加し、イントラ予測符号化領域の符号化効率が向上する。

図１４のリフレッシュ境界１４１１は、画像内で水平１：垂直２の傾きを持つ右上がり階段形状であり、垂直方向の２個のＣＴＵに対応する４段を周期Ｌとして含む。周期Ｌに対応するＣＴＵ内において、リフレッシュ境界１４１１に接する、イントラ予測符号化領域１４１２内の８個のブロックのうち、２個のブロックが右上に対する参照制限を受け、残りの６個のブロックが参照制限を受けない。

この場合、イントラ予測符号化領域１４１２内のブロックに対する参照制限を受けるブロックの割合は１／４（＝２／８）であり、図１３の場合よりも改善されている。

図１５のリフレッシュ境界１５１１は、画像内で水平１：垂直１のなだらかな傾きを持つ右上がり階段形状であり、１個のＣＴＵに対応する４段を周期Ｌとして含む。周期Ｌに対応するＣＴＵ内において、リフレッシュ境界１５１１に接する、イントラ予測符号化領域１５１２内の４個のブロックのうち、いずれのブロックも右上に対する参照制限を受けない。

この場合、イントラ予測符号化領域１５１２内のブロックに対する参照制限を受けるブロックの割合は０であり、図１４の場合よりもさらに改善されている。

このように、右上がり階段形状の傾きがなだらかであるほど、リフレッシュ境界に接するブロックの右上のブロックがリフレッシュ済みである可能性が高くなり、参照制限を受けるブロックの割合が小さくなると考えられる。

次に、ＨＥＶＣにおけるイントラ予測モードの制限の具体例について説明する。図１６は、符号化対象ブロック（ＴＵ）の例を示している。この例では、ＴｂＳ×ＴｂＳ画素の符号化対象ブロックがイントラ予測符号化される。白丸は、符号化対象ブロックの画素を表し、グレーの丸は、符号化対象ブロックの周囲の画素を表す。符号化対象ブロックの上方の参照範囲の幅は２＊ＴｂＳ＋１画素であり、符号化対象ブロックの左の参照範囲の高さも２＊ＴｂＳ＋１画素である。

この場合、符号化対象ブロックの上方の参照範囲の画素数は２＊ＴｂＳ＋１個であり、その参照範囲の各画素は、ｒｅｆ［ｘ］（ｘ＝０，１，．．．，２＊ＴｂＳ）と表すことができる。

ＨＥＶＣでは、参照範囲の画素を参照する際に、ブロックサイズとイントラ予測モードとに応じて画素の情報が平滑化される。例えば、平滑化フィルタとして３ＴＡＰフィルタを用いる場合、ブロックサイズとイントラ予測モードとが以下のような組み合わせのときに、ｒｅｆ［ｘ］の隣接画素を用いてｒｅｆ［ｘ］に対するフィルタ処理が行われる。
（１１）ブロックサイズが８×８の場合
予測モード：１８，３４
（１２）ブロックサイズが１６×１６の場合
予測モード：１８，１９，２０，２１，２２，２３，２４，２８，２９，３０，３１，３２，３３，３４
（１３）ブロックサイズが３２×３２の場合
予測モード：１８，１９，２０，２１，２２，２３，２４，２５，２７，２８，２９，３０，３１，３２，３３，３４

このようなフィルタ処理が行われる場合、参照画素だけでなく、フィルタ処理に用いられる画素もリフレッシュ済みであることが望ましい。したがって、画像を左から右へ向かってイントラリフレッシュする場合、図６に示した予測モード０〜予測モード３４のうち使用可能なイントラ予測モードは、以下のようになる。
（２１）右上画素のすべてが参照禁止の場合、すべてのブロックサイズにおいて予測モード１〜予測モード２６を使用できる。
（２２）右上の８画素（ｒｅｆ［ＴｂＳ＋１］〜ｒｅｆ［ＴｂＳ＋８］）を参照可能な場合、１６×１６画素の輝度ブロックにおいて予測モード０〜予測モード３０を使用でき、３２×３２画素の輝度ブロックにおいて予測モード０〜予測モード２８を使用できる。この場合、４×４画素及び８×８画素の輝度ブロックにおいて予測モード０〜予測モード３４を使用できる。
（２３）右上の１６画素（ｒｅｆ［ＴｂＳ＋１］〜ｒｅｆ［ＴｂＳ＋１６］）を参照可能な場合、３２×３２画素の輝度ブロックにおいて予測モード０〜予測モード３０を使用できる。この場合、４×４画素、８×８画素、及び１６×１６画素の輝度ブロックにおいて予測モード０〜予測モード３４を使用できる。
（２４）右上の２４画素（ｒｅｆ［ＴｂＳ＋１］〜ｒｅｆ［ＴｂＳ＋２４］）を参照可能な場合、３２×３２画素の輝度ブロックにおいて予測モード０〜予測モード３２を使用できる。この場合、４×４画素、８×８画素、及び１６×１６画素の輝度ブロックにおいて予測モード０〜予測モード３４を使用できる。

符号化対象ブロックの位置及びブロックサイズに応じたイントラ予測モードの制限は、以下のようになる。
（３１）符号化対象ブロックの右上のブロックが未だ符号化されていない場合、符号化対象ブロックは右上に対する参照制限を受けない。

図１７は、６４×６４画素のＣＴＵ内の複数のブロック（ＰＵ）に対するＺスキャンの例を示している。この例では、ＣＴＵサイズは６４×６４画素であり、ＴＵサイズはＰＵサイズと同じである。

ＣＴＵが８×８画素のブロックに分割されている場合、矢印１７０１が示す順序で各ブロックが符号化される。ＣＴＵが１６×１６画素のブロックに分割されている場合、矢印１７０２が示す順序で各ブロックが符号化される。ＣＴＵが３２×３２画素のブロックに分割されている場合、矢印１７０３が示す順序で各ブロックが符号化される。

各ＣＴＵ内のグレーのブロックは、右上のブロックが未だ符号化されていないため、右上に対する参照制限を受けない。この場合、図１８に示すように、符号化対象ブロックの上方の符号化済み画素のうち最右端の画素１８０１の情報をコピーすることで、右上の参照範囲に対応する画素１８１１〜画素１８１８の情報が生成される。そして、符号化対象ブロックのイントラ予測符号化において、画素１８１１〜画素１８１８の情報が参照される。
（３２）符号化対象ブロックの右上のブロックがリフレッシュ境界の左にあるリフレッシュ済みブロックであり、右上の参照画素のうちリフレッシュ済み画素の数が、符号化対象ブロックの高さ以上である場合、符号化対象ブロックは右上に対する参照制限を受けない。符号化対象ブロックの高さは、符号化対象ブロックの垂直方向のサイズに対応する。
（３３）符号化対象ブロックの右上のブロックがリフレッシュ境界の左にあるリフレッシュ済みブロックであり、右上の参照画素のうちリフレッシュ済み画素の数が、符号化対象ブロックの高さ未満である場合、符号化対象ブロックは右上に対する参照制限を受ける。

この場合、右上のリフレッシュ済み画素の数と符号化対象ブロックの高さとの関係に応じて、使用されないイントラ予測モードが決定される。未だリフレッシュされていない画素を参照しないイントラ予測モードだけが使用できる。
（３４）符号化対象ブロックの右上のブロックが符号化済みであるが、未だリフレッシュされていない場合、符号化対象ブロックは右上に対する参照制限を受ける。

この場合、右上画素のすべてが参照禁止であるため、使用可能なイントラ予測モードは予測モード１〜予測モード２６である。

図１９〜図２１は、イントラ予測モードが制限されるブロック（ＰＵ）の例を示している。これらの例では、ＣＴＵサイズは６４×６４画素であり、ＴＵサイズはＰＵサイズと同じであり、リフレッシュ幅は１６画素である。

図１９のブロック分割は、図１３に示したブロック分割と同じであり、イントラ予測符号化領域１３１２内の１６×６４画素の部分が階段形状の１段に対応する。イントラ予測符号化領域１３１２内の符号化対象ブロックのブロックサイズは、１６×１６画素である。網掛け１３２１のブロックは、右上に対する参照制限を受け、網掛け１３２２のブロックは、右上に対する参照制限を受けない。

この場合、周期Ｌに対応するＣＴＵ内において、リフレッシュ境界１３１１に接する、イントラ予測符号化領域１３１２内のブロック０〜ブロック１５に対するイントラ予測モードの制限は、以下のようになる。
（４１）ブロック５、ブロック６、ブロック７、ブロック１３、及びブロック１５
これらのブロックは、上記（３１）の場合に該当し、右上に対する参照制限を受けない。
（４２）ブロック０、ブロック４、ブロック８、及びブロック１２
これらのブロックは、上記（３２）の場合に該当し、右上に対する参照制限を受けない。
（４３）ブロック１、ブロック２、ブロック３、ブロック９、ブロック１０、ブロック１１、及びブロック１４
これらのブロックは、上記（３４）の場合に該当し、使用可能なイントラ予測モードは予測モード１〜予測モード２６である。

図２０のブロック分割では、イントラ予測符号化領域２０１２内の１６×６４画素又は３２×６４画素の部分が階段形状の１段に対応する。イントラ予測符号化領域２０１２内の符号化対象ブロックのブロックサイズは、１６×１６画素又は３２×３２画素である。網掛け２０２１のブロックは、右上に対する参照制限を受け、網掛け２０２２のブロックは、右上に対する参照制限を受けない。

この場合、周期Ｌに対応するＣＴＵ内において、リフレッシュ境界２０１１に接する、イントラ予測符号化領域２０１２内のブロック０〜ブロック１１に対するイントラ予測モードの制限は、以下のようになる。
（５１）ブロック５
これらのブロックは、上記（３１）の場合に該当し、右上に対する参照制限を受けない。
（５２）ブロック０及びブロック６
これらのブロックは、上記（３２）の場合に該当し、右上に対する参照制限を受けない。
（５３）ブロック４及びブロック１０
これらのブロックは、上記（３３）の場合に該当し、使用可能なイントラ予測モードは予測モード０〜予測モード３０である。
（５４）ブロック１、ブロック２、ブロック３、ブロック７、ブロック８、ブロック９、及びブロック１１
これらのブロックは、上記（３４）の場合に該当し、使用可能なイントラ予測モードは予測モード１〜予測モード２６である。

図２１のブロック分割では、イントラ予測符号化領域２１１２内の１６×６４画素の部分が階段形状の１段に対応する。イントラ予測符号化領域２１１２内の符号化対象ブロックのブロックサイズは、８×８画素又は１６×１６画素である。イントラ予測符号化領域２１１２内の８×８画素のブロックの一部は、リフレッシュ境界２１１１に接していない。網掛け２１２１のブロックは、右上に対する参照制限を受け、網掛け２１２２のブロックは、右上に対する参照制限を受けない。

この場合、周期Ｌに対応するＣＴＵ内において、イントラ予測符号化領域２１１２に含まれるブロック０〜ブロック３９に対するイントラ予測モードの制限は、以下のようになる。
（６１）ブロック４、ブロック８、ブロック１２、ブロック１５、ブロック１７、ブロック１８、ブロック１９、ブロック２４、ブロック２８、ブロック３２、ブロック３４、ブロック３８、及びブロック３９
これらのブロックは、上記（３１）の場合に該当し、右上に対する参照制限を受けない。
（６２）ブロック０、ブロック１、ブロック３、ブロック５、ブロック７、ブロック９、ブロック１１、ブロック１３、ブロック１４、ブロック１６、ブロック２０、ブロック２１、ブロック２３、ブロック２５、ブロック２７、ブロック２９、ブロック３１、ブロック３３、ブロック３５、及びブロック３７
これらのブロックは、上記（３２）の場合に該当し、右上に対する参照制限を受けない。
（６３）ブロック２、ブロック６、ブロック１０、ブロック２２、ブロック２６、ブロック３０、及びブロック３６

これらのブロックは、上記（３４）の場合に該当し、使用可能なイントラ予測モードは予測モード１〜予測モード２６である。

なお、ＴＵサイズがＰＵサイズよりも小さく、１つのＰＵに複数のＴＵが対応する場合、参照制限が最も厳しいＴＵにおいて使用可能なイントラ予測モードを、そのＰＵにおいて使用可能なイントラ予測モードとして選択してもよい。

次に、階段形状のリフレッシュ境界がインター予測符号化に対して与える影響について説明する。図２２は、階段形状のリフレッシュ境界におけるインター予測符号化の例を示している。この例では、ＴＵサイズはＰＵサイズと同じである。

ある時刻の画像Ｐ１１において、領域２２１１は、それより前の時刻までにリフレッシュ済みの領域であり、イントラ予測符号化領域２２１２内の各ブロックは、イントラ予測符号化された時点でリフレッシュ済みとなる。領域２２１３は、未だリフレッシュされていない領域である。

インター予測符号化では、過去の参照画像のリフレッシュ済み領域のブロックを参照してインター予測画像が生成される。したがって、画像Ｐ１１において、リフレッシュ境界２２２１の左の領域２２１１及びイントラ予測符号化領域２２１２が、次の時刻の画像Ｐ１２における参照可能範囲となる。

画像Ｐ１２において、領域２２３１は、それより前の時刻までにリフレッシュ済みの領域であり、イントラ予測符号化領域２２３２内の各ブロックは、イントラ予測符号化された時点でリフレッシュ済みとなる。領域２２３３は、未だリフレッシュされていない領域である。

この場合、イントラ予測符号化領域２２３２の左のブロック（ＰＵ）２２５１に対する動きベクトルの探索範囲２２６１は、参照先の画像Ｐ１１におけるリフレッシュ済み領域に対応し、ブロック２２５１の下方の領域も含んでいる。このため、ブロック２２５１に対する動きベクトルとして、下向きの動きベクトルを探索することが可能である。

ところが、ブロック（ＰＵ）２２５２の下方の領域は、参照先の画像Ｐ１１において未だリフレッシュされていない領域に対応するため、ブロック２２５２に対する動きベクトルの探索範囲２２６２から除外される。このため、ブロック２２５２に対する動きベクトルとして、下向きの動きベクトルを探索することが困難になる。下向きの動きベクトルは、画像内の物体が上向きに動く場合等に発生する。

このように、階段形状のリフレッシュ境界を用いた場合、イントラ予測符号化領域の左のブロックにおいて動きベクトルの探索範囲が制限されることがある。この場合、動きベクトルの方向が制限されるため、インター予測符号化の符号化効率が低下すると考えられる。特に、リフレッシュ境界の傾きがなだらかであり、画面全体に下向きの動きベクトルが多い場合、リフレッシュ境界付近のブロックで正確な動きを捉えることが困難になる。

そこで、リフレッシュ境界の傾きをシーンの動き情報に応じて変更することが考えられる。この場合、下向きの動きベクトルが多いシーンでは、図１３に示したような急な傾きを持つ右上がり階段形状のリフレッシュ境界を用いる。一方、下向きの動きベクトルが少ないシーンでは、図１５に示したようななだらかな傾きを持つ右上がり階段形状のリフレッシュ境界を用いる。

図２３は、リフレッシュ境界の傾きを変更する動画像符号化処理の例を示すフローチャートである。この例では、イントラ予測符号化領域が画像全体を巡回する１周期に含まれるＮ個の画像の動き情報に基づいて、次の周期におけるリフレッシュ境界の傾きが決定される。

まず、領域決定部１１０２は、リフレッシュ境界の傾きの初期値を設定し（ステップ２３０１）、符号化対象画像を示す変数ｉを１に設定する（ステップ２３０２）。次に、領域決定部１１０２は、符号化対象画像の動き情報を代表するグローバルベクトルＧｉを計算する（ステップ２３０３）。グローバルベクトルとしては、例えば、符号化対象画像内の動きベクトルの平均値、最頻値等に対応するベクトルを用いることができる。

次に、動画像符号化装置９０１は、図１２の動画像符号化処理を行って符号化対象画像を符号化する（ステップ２３０４）。このとき、領域決定部１１０２は、リフレッシュ境界の傾きの初期値に応じてイントラ予測符号化領域を決定する。

次に、領域決定部１１０２は、動画像符号化処理を継続するか否かを決定する（ステップ２３０５）。領域決定部１１０２は、ステップ２３０４で符号化した画像が符号化対象動画像に含まれる最後の画像ではない場合、動画像符号化処理を継続すると決定し、符号化した画像が最後の画像である場合、動画像符号化処理を継続しないと決定する。

動画像符号化処理を継続する場合（ステップ２３０５，ＹＥＳ）、領域決定部１１０２は、ｉを１だけインクリメントし（ステップ２３０６）、ｉがＮを超えたか否かをチェックする（ステップ２３０７）。

ｉがＮ以下である場合（ステップ２３０７，ＮＯ）、領域決定部１１０２は、ステップ２３０３以降の処理を繰り返す。そして、ｉがＮを超えた場合（ステップ２３０７，ＹＥＳ）、領域決定部１１０２は、グローバルベクトルＧ１〜グローバルベクトルＧＮに基づいて、１周期に含まれるＮ個の画像の動きベクトルの傾向を判定する（ステップ２３０８）。

領域決定部１１０２は、例えば、直前のＮ−ｊ個（ｊ＝１〜Ｎ−１）のグローバルベクトル（Ｇｊ＋１〜ＧＮ）が連続して下向きである場合、動きベクトルの傾向が下向きを示していると判定することができる。動きベクトルの傾向が下向きを示していない場合（ステップ２３０８，ＮＯ）、領域決定部１１０２は、リフレッシュ境界の傾きを変更することなく、ステップ２３０２以降の処理を繰り返す。

一方、動きベクトルの傾向が下向きを示している場合（ステップ２３０８，ＹＥＳ）、領域決定部１１０２は、符号化対象画像内の動きベクトルに基づいて、リフレッシュ境界の傾きを決定し（ステップ２３０９）、ステップ２３０２以降の処理を繰り返す。この場合、ステップ２３０４において、領域決定部１１０２は、決定したリフレッシュ境界の傾きに応じてイントラ予測符号化領域を決定する。

そして、動画像符号化処理を継続しない場合（ステップ２３０５，ＮＯ）、領域決定部１１０２は、動画像符号化処理を終了する。

ステップ２３０９において、領域決定部１１０２は、例えば、次のような選択論理に基づいてリフレッシュ境界の傾きを決定することができる。
（７１）下向きの動きベクトルの大きさ＜ＴＨ１である場合、なだらかな傾きが選択される。（例えば、水平１：垂直１）
（７２）ＴＨ１≦下向きの動きベクトルの大きさ＜ＴＨ２である場合、標準的な傾きが選択される。（例えば、水平１：垂直２）
（７３）ＴＨ２≦下向きの動きベクトルの大きさである場合、急な傾きが選択される。（例えば、水平１：垂直４）

上記（７１）〜（７３）の下向きの動きベクトルとしては、例えば、符号化対象画像内における複数の下向きの動きベクトルの平均値、最頻値等を用いてもよい。また、グローバルベクトルＧｊ＋１〜グローバルベクトルＧＮに対応するＮ−ｊ個の画像内における複数の下向きの動きベクトルの平均値、最頻値等を、下向きの動きベクトルとして用いてもよい。閾値ＴＨ２としては、閾値ＴＨ１よりも大きな値が用いられる。

図２４は、変化するリフレッシュ境界の傾きの例を示している。ある時刻における画像Ｐ２１において、領域２４０１は、それより前の時刻までにリフレッシュ済みの領域であり、領域２４０３は、未だリフレッシュされていない領域である。イントラ予測符号化領域２４０２と領域２４０３との間のリフレッシュ境界は、水平１：垂直２の傾きを持つ階段形状の境界である。

画像Ｐ２１よりも所定時間後の画像Ｐ２２において、イントラ予測符号化領域２４１１のリフレッシュ境界は、イントラ予測符号化領域２４０２のリフレッシュ境界と同じ傾きを持つ。

その後、イントラ予測符号化領域２４１１が画像の右端まで達したとき、動きベクトルの傾向が下向きを示し、下向きの動きベクトルの大きさがＴＨ２以上であると仮定する。この場合、画像Ｐ２３のように、イントラ予測符号化領域２４２１のリフレッシュ境界の傾きが水平１：垂直４に変更される。

このように、階段形状のリフレッシュ境界の傾きをシーンの動き情報に応じて変更することで、リフレッシュ境界付近のブロックで動きベクトルの方向に対する制限が緩和される。このため、ブロックの正確な動きを捉えやすくなり、インター予測符号化の符号化効率が向上する。

図２５は、ループフィルタによるインター予測符号化の制限の例を示している。画像Ｐ１１のイントラ予測符号化領域２２１２において、境界２５０１とリフレッシュ境界２２２１との間の数画素幅の領域は、ループフィルタ１１２２のフィルタ処理により領域２２１３内のエラーの影響を受ける可能性がある。例えば、ＨＥＶＣのデブロッキングフィルタを用いた場合、境界２５０１とリフレッシュ境界２２２１との間の領域の幅は、３画素又は４画素となる。

この場合、画像Ｐ１２において、動きベクトルの探索範囲が、エラーの影響を受ける可能性のある領域を含まないことが望ましい。そこで、ブロック２２５１に対する動きベクトルの探索範囲２５１１は、画像Ｐ１１におけるリフレッシュ境界２２２１から数画素だけ左にシフトされる。同様に、ブロック２２５２に対する動きベクトルの探索範囲２５１２も、リフレッシュ境界２２２１から数画素だけ左にシフトされる。

予測モード選択部１１０７は、イントラ予測符号化領域の上方のブロックで動きベクトルの下向き傾向が大きい場合、そのブロックに対して強制的にイントラ予測符号化を適用することも可能である。図２６は、動きベクトルの下向き傾向が大きい場合にイントラ予測符号化が適用されるブロック（ＰＵ）の例を示している。この例では、ＣＴＵサイズは６４×６４画素であり、ＴＵサイズはＰＵサイズと同じであり、リフレッシュ幅は１６画素である。

網掛け２６２１のブロックは、右上に対する参照制限を受け、網掛け２６２２のブロックは、右上に対する参照制限を受けない。網掛け２６２３のブロックは、イントラ予測符号化領域に接しており、動きベクトルの下向き傾向が大きい場合にイントラ予測符号化が適用されるブロックである。

リフレッシュ境界２６０２は、ある時刻の画像Ｐ３１におけるリフレッシュ境界であり、水平１：垂直４の傾きを持つ。また、リフレッシュ境界２６０１は、前の時刻の画像におけるリフレッシュ境界である。画像Ｐ３１の周期Ｌに対応するＣＴＵ内で、リフレッシュ境界２６０１の左の８個のブロックにおいて、動きベクトルの下向き傾向が大きい場合にイントラ予測符号化が適用される。

リフレッシュ境界２６０３は、次の時刻の画像Ｐ３２におけるリフレッシュ境界であり、リフレッシュ境界２６０２と同じ傾きを持つ。画像Ｐ３２の周期Ｌに対応するＣＴＵ内で、リフレッシュ境界２６０２の左の８個のブロックにおいて、動きベクトルの下向き傾向が大きい場合にイントラ予測符号化が適用される。

このように、イントラ予測符号化領域に接するブロックの一部に対して強制的にイントラ予測符号化を適用することで、インター予測符号化における下方に対する参照制限を回避して、ブロックの正確な動きを捉えやすくなる。

次に、直線状のリフレッシュ境界を有するイントラ予測符号化領域のサイズと、階段形状のリフレッシュ境界を有するイントラ予測符号化領域のサイズとの違いについて説明する。

図２７は、直線状のリフレッシュ境界を有するイントラ予測符号化領域の例を示している。この例では、ＣＴＵサイズは６４×６４画素であり、各ブロックはＰＵを表し、ＴＵサイズはＰＵサイズと同じである。

画像Ｐ４１におけるリフレッシュ境界２７０１は直線状であり、イントラ予測符号化領域２７１１のリフレッシュ幅は１６画素である。イントラ予測符号化領域２７１１内の８個の１６×１６画素のブロックは、右上に対する参照制限を受ける。イントラ予測符号化領域２７１１のサイズは、１ＣＴＵ当たり４個の１６×１６画素のブロックに相当する。

画像Ｐ４２におけるリフレッシュ境界２７０２も直線状であり、イントラ予測符号化領域２７１２のリフレッシュ幅は３２画素である。イントラ予測符号化領域２７１２内の４個の３２×３２画素のブロックは、右上に対する参照制限を受ける。イントラ予測符号化領域２７１２のサイズは、１ＣＴＵ当たり８個の１６×１６画素のブロックに相当する。

このように、直線状のリフレッシュ境界を用いた場合、イントラ予測符号化領域は帯状になり、リフレッシュ幅を変更することでイントラ予測符号化領域のサイズが変更される。

図２８は、階段形状のリフレッシュ境界を有するイントラ予測符号化領域の例を示している。この例では、ＣＴＵサイズは６４×６４画素であり、各ブロックはＰＵを表し、ＴＵサイズはＰＵサイズと同じであり、リフレッシュ幅は１６画素である。網掛け２８２１のブロックは、右上に対する参照制限を受け、網掛け２８２２のブロックは、右上に対する参照制限を受けない。

ある時刻の画像Ｐ５１におけるリフレッシュ境界２８０１は、水平１：垂直４の傾きを持つ右上がり階段形状であり、イントラ予測符号化領域２８１１のサイズは、１ＣＴＵ当たり５個の１６×１６画素のブロックに相当する。

次の時刻の画像Ｐ５２におけるリフレッシュ境界２８０２は、リフレッシュ境界２８０１と同じ傾きを持つ右上がり階段形状であり、イントラ予測符号化領域２８１２のサイズは、イントラ予測符号化領域２８１１のサイズと同じである。

次の時刻の画像Ｐ５３におけるリフレッシュ境界２８０３は、リフレッシュ境界２８０１と同じ傾きを持つ右上がり階段形状であり、イントラ予測符号化領域２８１３のサイズは、イントラ予測符号化領域２８１１のサイズと同じである。

次の時刻の画像Ｐ５４におけるリフレッシュ境界２８０４は、リフレッシュ境界２８０１と同じ傾きを持つ右上がり階段形状であり、イントラ予測符号化領域２８１４のサイズは、イントラ予測符号化領域２８１１のサイズと同じである。

一方、図１３のリフレッシュ境界１３１１もリフレッシュ境界２８０１と同じ傾きを持つが、イントラ予測符号化領域１３１２のサイズは、１ＣＴＵ当たり４個の１６×１６画素のブロックに相当する。

このように、階段形状のリフレッシュ境界を用いた場合、イントラ予測符号化領域は階段形状になる。このため、リフレッシュ幅を変更しなくても、イントラ予測符号化領域の形状を変更することで、イントラ予測符号化領域のサイズを細かい精度で変更することができる。

リフレッシュ境界の傾きがなだらかな場合、イントラ予測符号化領域の形状によっては、符号化対象ブロックの左下のブロックがリフレッシュされていないため、左下に対する参照制限を受ける場合がある。

図２９〜図３１は、なだらかな傾きを持つ階段形状のリフレッシュ境界の例を示している。これらの例では、ＣＴＵサイズは６４×６４画素であり、各ブロックはＰＵを表し、ＴＵサイズはＰＵサイズと同じである。

網掛け２９２１のブロックは、符号化順序に基づいて左下のブロック（参照範囲）が符号化済みであるが、その参照範囲の一部又は全部が未だリフレッシュされていない領域内に存在するため、左下に対する参照制限を受ける。したがって、網掛け２９２１のブロックでは、左下方向の画素を参照するイントラ予測モードが制限される。

一方、網掛け２９２２のブロックは、左下の参照範囲が未だ符号化されておらず、規格上その参照範囲が参照されないか、又は左下の参照範囲がリフレッシュ済みであるため、左下に対する参照制限を受けない。

図２９のリフレッシュ境界２９０１は、画像内で水平３：垂直１の傾きを持つ右上がり階段形状であり、イントラ予測符号化領域２９１１のリフレッシュ幅は４８画素である。イントラ予測符号化領域２９１１内において、左側のＣＴＵ境界に接するブロック２９３１〜ブロック２９３３の左下のブロックがリフレッシュされていないため、ブロック２９３１〜ブロック２９３３は、左下に対する参照制限を受ける。

図３０のリフレッシュ境界３００１は、画像内で水平２：垂直１の傾きを持つ右上がり階段形状であり、イントラ予測符号化領域３０１１のリフレッシュ幅は３２画素である。イントラ予測符号化領域３０１１内において、３２×３２画素のブロック３０２１の左下のブロック３０２２がリフレッシュされていないため、ブロック３０２１は、左下に対する参照制限を受ける。

図３１のリフレッシュ境界３１０１は、リフレッシュ境界３００１と同じ傾きを持つ右上がり階段形状であり、イントラ予測符号化領域３１１１のリフレッシュ幅は３２画素である。この場合、階段形状の１段の高さが１６画素であり、イントラ予測符号化領域３１１１内のすべてのブロックが１６×１６画素であるため、階段形状の角の部分で、左下の参照範囲がリフレッシュされていない領域に含まれることがない。したがって、イントラ予測符号化領域３１１１内のすべてのブロックが、左下に対する参照制限を受けない。

これに対して、水平方向のイントラスライスをイントラ予測符号化領域として用いた場合、左下のブロックがリフレッシュされていない可能性が高くなり、参照制限を受けるブロックの割合が大きくなる。このように、右上がり階段形状のリフレッシュ境界を用いることで、水平方向のリフレッシュ境界を用いる場合よりも、左下方向の画素を参照可能なブロックの個数が増加し、イントラ予測符号化領域の符号化効率が向上する。

図９及び図１１の動画像符号化装置９０１の構成は一例に過ぎず、動画像符号化装置９０１の用途や条件に応じて一部の構成要素を省略又は変更してもよい。

例えば、図１１のリフレッシュ幅決定部１１０１が動画像符号化装置９０１の外部に設けられている場合、リフレッシュ幅決定部１１０１を省略することができる。

誤差画像生成部１１１１が生成する誤差画像の直交変換及び量子化の代わりに、別の変換アルゴリズムを使用する場合、直交変換部１１１２、量子化部１１１３、逆量子化部１１１５、及び逆直交変換部１１１６を別の構成要素に変更することができる。また、係数情報及び予測情報のエントロピー符号化の代わりに、別の符号化アルゴリズムを使用する場合、エントロピー符号化部１１１４を別の符号化部に変更することができる。

復号画像生成部１１１７が生成する復号画像においてノイズがあまり発生しない場合、ループフィルタ１１２２を省略することができる。

図１０、図１２、及び図２３に示したフローチャートは一例に過ぎず、動画像符号化装置９０１の構成や条件に応じて一部の処理を省略又は変更してもよい。例えば、図１２の動画像符号化処理において、ステップ１２０５の処理をステップ１２０４の処理の前へ移動してもよい。図２３の動画像符号化処理において、ステップ２３０３の処理とステップ２３０４の処理とを入れ替えてもよい。

図３及び図６のイントラ予測モードは一例に過ぎず、Ｈ．２６４及びＨＥＶＣ以外の符号化アルゴリズムに基づく別のイントラ予測モードを用いることもできる。

図１３〜図１５、図１９〜図２２、図２４〜図２６、及び図２８〜図３１に示した階段形状のリフレッシュ境界は一例に過ぎず、別の階段形状のリフレッシュ境界を用いることもできる。例えば、様々な高さの段が混在する階段形状のリフレッシュ境界を用いてもよい。

また、符号化対象画像内における複数のＣＴＵの符号化順序がラスタスキャンとは異なり、各ＣＴＵ内における複数のブロックの符号化順序がＺスキャンとは異なる場合、イントラ予測符号化領域が右から左へ向かってシフトされることも考えられる。この場合、右上がり階段形状のリフレッシュ境界の代わりに、左上がり階段形状のリフレッシュ境界を用いてもよい。

図９及び図１１の動画像符号化装置９０１は、ハードウェア回路として実装することもでき、図３２に示すような情報処理装置（コンピュータ）を用いて実現することもできる。

図３２の情報処理装置は、Central Processing Unit（ＣＰＵ）３２０１、メモリ３２０２、入力装置３２０３、出力装置３２０４、補助記憶装置３２０５、媒体駆動装置３２０６、ネットワーク接続装置３２０７、及び動画像入力装置３２０８を含む。これらの構成要素はバス３２０９により互いに接続されている。

メモリ３２０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリである。メモリ３２０２は、動画像符号化処理に用いられる動画像符号化プログラム及びデータを格納する。メモリ３２０２は、図１１の記憶部１１１８及び記憶部１１２３として用いることもできる。

ＣＰＵ３２０１（プロセッサ）は、例えば、メモリ３２０２を利用して動画像符号化プログラムを実行することにより、図１及び図１１の決定部９１１及び符号化部９１２として動作する。ＣＰＵ３２０１は、図１１のリフレッシュ幅決定部１１０１、領域決定部１１０２、ブロック決定部１１０３、予測モード制限部１１０４、イントラ予測モード決定部１１０５、インター予測モード決定部１１０６、及び予測モード選択部１１０７としても動作する。

ＣＰＵ３２０１は、図１１の誤差画像生成部１１１１、直交変換部１１１２、量子化部１１１３、エントロピー符号化部１１１４、逆量子化部１１１５、逆直交変換部１１１６、及び復号画像生成部１１１７としても動作する。ＣＰＵ３２０１は、イントラ予測画像生成部１１１９、インター予測画像生成部１１２０、予測画像選択部１１２１、及びループフィルタ１１２２としても動作する。

入力装置３２０３は、例えば、キーボード、ポインティングデバイス等であり、ユーザ又はオペレータからの指示や情報の入力に用いられる。出力装置３２０４は、例えば、表示装置、プリンタ、スピーカ等であり、ユーザ又はオペレータへの問い合わせや処理結果の出力に用いられる。

補助記憶装置３２０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置３２０５は、ハードディスクドライブであってもよい。情報処理装置は、補助記憶装置３２０５に動画像符号化プログラム及びデータを格納しておき、それらをメモリ３２０２にロードして使用することができる。

媒体駆動装置３２０６は、可搬型記録媒体３２１０を駆動し、その記録内容にアクセスする。可搬型記録媒体３２１０は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体３２１０は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、又はUniversal Serial Bus（ＵＳＢ）メモリであってもよい。ユーザ又はオペレータは、この可搬型記録媒体３２１０に動画像符号化プログラム及びデータを格納しておき、それらをメモリ３２０２にロードして使用することができる。

このように、動画像符号化プログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ３２０２、補助記憶装置３２０５、又は可搬型記録媒体３２１０のような、物理的な（非一時的な）記録媒体である。

ネットワーク接続装置３２０７は、Local Area Network（ＬＡＮ）、インターネット等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。ネットワーク接続装置３２０７は、動画像復号装置に対して符号化ストリームを出力する出力インタフェースとして用いることもできる。情報処理装置は、動画像符号化プログラム及びデータを外部の装置からネットワーク接続装置３２０７を介して受信し、それらをメモリ３２０２にロードして使用することもできる。

動画像入力装置３２０８は、入力される符号化対象動画像をメモリ３２０２へ転送する。

なお、情報処理装置が図３２のすべての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。例えば、ユーザ又はオペレータとのインタフェースが不要の場合は、入力装置３２０３及び出力装置３２０４を省略してもよい。また、情報処理装置が可搬型記録媒体３２１０にアクセスしない場合は、媒体駆動装置３２０６を省略してもよい。

開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

図３乃至図３２を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
動画像に含まれる複数の画像の間で、イントラ予測符号化が適用されるイントラ予測符号化領域をシフトさせながら、前記複数の画像を符号化する動画像符号化装置であって、
前記複数の画像のうち符号化対象画像内において、前記イントラ予測符号化領域と未だイントラ予測符号化が適用されていない未リフレッシュ領域の境界を階段形状とし、前記イントラ予測符号化領域内の複数のブロックのイントラ予測画像を生成する際に参照する符号化済みの画素の参照範囲が互いに異なる複数のイントラ予測モードのうち、前記参照範囲が前記未リフレッシュ領域の画素を使用するイントラ予測モードを有効なイントラ予測モードから除外し、前記複数のブロックのうち、前記階段形状の第１の段に接する第１のブロックよりも前にイントラ予測符号化され、前記階段形状の第２の段に接する第２のブロックの符号化済み画像を参照するイントラ予測モードを、前記第１のブロックのための有効なイントラ予測モードに含めて、前記第１のブロックのためのイントラ予測モードを決定する決定部と、
前記決定部が決定した前記イントラ予測モードに基づく前記第１のブロックのイントラ予測符号化結果を含む符号化動画像を出力する符号化部と、
を備えることを特徴とする動画像符号化装置。
（付記２）
前記符号化対象画像の動きベクトルの情報に基づいて、前記符号化対象画像よりも後に符号化される画像内の前記イントラ予測符号化領域に対する前記階段形状の境界の傾きを変更する領域決定部をさらに備えることを特徴とする付記１記載の動画像符号化装置。
（付記３）
前記符号化対象画像内の第３のブロックのインター予測符号化において、前記符号化対象画像よりも前に符号化される画像内の未だイントラ予測符号化が適用されていない領域が動きベクトルの探索範囲から除外される場合、前記第３のブロックに対してイントラ予測符号化を適用する予測モード選択部をさらに備えることを特徴とする付記１又は２記載の動画像符号化装置。
（付記４）
動画像に含まれる複数の画像の間で、イントラ予測符号化が適用されるイントラ予測符号化領域をシフトさせながら、前記複数の画像を符号化する動画像符号化装置が、
前記複数の画像のうち符号化対象画像内において、前記イントラ予測符号化領域と未だイントラ予測符号化が適用されていない未リフレッシュ領域の境界を階段形状とし、前記イントラ予測符号化領域内の複数のブロックのイントラ予測画像を生成する際に参照する符号化済みの画素の参照範囲が互いに異なる複数のイントラ予測モードのうち、前記参照範囲が前記未リフレッシュ領域の画素を使用するイントラ予測モードを有効なイントラ予測モードから除外し、前記複数のブロックのうち、前記階段形状の第１の段に接する第１のブロックよりも前にイントラ予測符号化され、前記階段形状の第２の段に接する第２のブロックの符号化済み画像を参照するイントラ予測モードを、前記第１のブロックのための有効なイントラ予測モードに含めて、前記第１のブロックのためのイントラ予測モードを決定し、
決定した前記イントラ予測モードに基づく前記第１のブロックのイントラ予測符号化結果を含む符号化動画像を生成する、
ことを特徴とする動画像符号化方法。
（付記５）
前記動画像符号化装置は、前記符号化対象画像の動きベクトルの情報に基づいて、前記符号化対象画像よりも後に符号化される画像内の前記イントラ予測符号化領域に対する前記階段形状の境界の傾きを変更することを特徴とする付記４記載の動画像符号化方法。
（付記６）
前記動画像符号化装置は、前記符号化対象画像内の第３のブロックのインター予測符号化において、前記符号化対象画像よりも前に符号化される画像内の未だイントラ予測符号化が適用されていない領域が動きベクトルの探索範囲から除外される場合、前記第３のブロックに対してイントラ予測符号化を適用することを特徴とする付記４又は５記載の動画像符号化方法。
（付記７）
動画像に含まれる複数の画像の間で、イントラ予測符号化が適用されるイントラ予測符号化領域をシフトさせながら、前記複数の画像を符号化するコンピュータに、
前記複数の画像のうち符号化対象画像内において、前記イントラ予測符号化領域と未だイントラ予測符号化が適用されていない未リフレッシュ領域の境界を階段形状とし、前記イントラ予測符号化領域内の複数のブロックのイントラ予測画像を生成する際に参照する符号化済みの画素の参照範囲が互いに異なる複数のイントラ予測モードのうち、前記参照範囲が前記未リフレッシュ領域の画素を使用するイントラ予測モードを有効なイントラ予測モードから除外し、前記複数のブロックのうち、前記階段形状の第１の段に接する第１のブロックよりも前にイントラ予測符号化され、前記階段形状の第２の段に接する第２のブロックの符号化済み画像を参照するイントラ予測モードを、前記第１のブロックのための有効なイントラ予測モードに含めて、前記第１のブロックのためのイントラ予測モードを決定し、
決定した前記イントラ予測モードに基づく前記第１のブロックのイントラ予測符号化結果を含む符号化動画像を生成する、
処理を実行させる動画像符号化プログラム。
（付記８）
前記コンピュータは、前記符号化対象画像の動きベクトルの情報に基づいて、前記符号化対象画像よりも後に符号化される画像内の前記イントラ予測符号化領域に対する前記階段形状の境界の傾きを変更することを特徴とする付記７記載の動画像符号化プログラム。
（付記９）
前記コンピュータは、前記符号化対象画像内の第３のブロックのインター予測符号化において、前記符号化対象画像よりも前に符号化される画像内の未だイントラ予測符号化が適用されていない領域が動きベクトルの探索範囲から除外される場合、前記第３のブロックに対してイントラ予測符号化を適用することを特徴とする付記７又は８記載の動画像符号化プログラム。

１０１−１〜１０１−Ｎ 画像
１０２、１０２−１〜１０２−Ｎ、８３１、８３２、８３３、８３４ イントラライン
２０１、７１１、７１２、８１１、８１２、８１３、８１４、１３１１、１４１１、１５１１、２０１１、２１１１、２２２１、２２４１、２６０１〜２６０３、２７０１、２７０２、２８０１〜２８０４、２９０１、３００１、３１０１ リフレッシュ境界
３０１ サブブロック
４０１ 符号化対象ピクチャ
４１１〜４１４、１７０１〜１７０３ 矢印
７０１、７０２ ピクチャ
７２１、７２２、８２１、８２２、１３２１、１３２２、２０２１、２０２２、２１２１、２１２２、２６２１〜２６２３、２８２１、２８２２、２９２１、２９２２ 網掛け
７３１ リフレッシュ幅
８０１、８０２ ＣＴＵ境界
９０１ 動画像符号化装置
９１１ 決定部
９１２ 符号化部
１１０１ リフレッシュ幅決定部
１１０２ 領域決定部
１１０３ ブロック決定部
１１０４ 予測モード制限部
１１０５ イントラ予測モード決定部
１１０６ インター予測モード決定部
１１０７ 予測モード選択部１１０７
１１１１ 誤差画像生成部
１１１２ 直交変換部
１１１３ 量子化部
１１１４ エントロピー符号化部
１１１５ 逆量子化部
１１１６ 逆直交変換部
１１１７ 復号画像生成部
１１１８、１１２３ 記憶部
１１１９ イントラ予測画像生成部
１１２０ インター予測画像生成部
１１２１ 予測画像選択部
１１２２ ループフィルタ
１３１２、１４１２、１５１２、２０１２、２１１２、２２１２、２２３２、２４０２、２４１１、２４２１、２７１１、２７１２、２８１１〜２８１４、２９１１、３０１１、３１１１ イントラ予測符号化領域
１３３１、１３３２ 段
１８０１、１８１１〜１８１８ 画素
２２１１、２２１３、２２３１、２２３３、２４０１、２４０３ 領域
１３４１〜１３４４、２２５１、２２５２、２９３１〜２９３３、３０２１、３０２２ ブロック
２２６１、２２６２、２５１１、２５１２ 探索範囲
２５０１ 境界
３２０１ ＣＰＵ
３２０２ メモリ
３２０３ 入力装置
３２０４ 出力装置
３２０５ 補助記憶装置
３２０６ 媒体駆動装置
３２０７ ネットワーク接続装置
３２０８ 動画像入力装置
３２０９ バス
３２１０ 可搬型記録媒体

Claims (5)

1. 動画像に含まれる複数の画像の間で、イントラ予測符号化が適用されるイントラ予測符号化領域をシフトさせながら、前記複数の画像を符号化する動画像符号化装置であって、
   前記複数の画像のうち符号化対象画像内において、前記イントラ予測符号化領域と未だイントラ予測符号化が適用されていない未リフレッシュ領域の境界を階段形状とし、前記イントラ予測符号化領域内の複数のブロックのイントラ予測画像を生成する際に参照する符号化済みの画素の参照範囲が互いに異なる複数のイントラ予測モードのうち、前記参照範囲が前記未リフレッシュ領域の画素を使用するイントラ予測モードを有効なイントラ予測モードから除外し、前記複数のブロックのうち、前記階段形状の第１の段に接する第１のブロックよりも前にイントラ予測符号化され、前記階段形状の第２の段に接する第２のブロックの符号化済み画像を参照するイントラ予測モードを、前記第１のブロックのための有効なイントラ予測モードに含めて、前記第１のブロックのためのイントラ予測モードを決定する決定部と、
   前記決定部が決定した前記イントラ予測モードに基づく前記第１のブロックのイントラ予測符号化結果を含む符号化動画像を出力する符号化部と、
   を備えることを特徴とする動画像符号化装置。
2. 前記符号化対象画像の動きベクトルの情報に基づいて、前記符号化対象画像よりも後に符号化される画像内の前記イントラ予測符号化領域に対する前記階段形状の境界の傾きを変更する領域決定部をさらに備えることを特徴とする請求項１記載の動画像符号化装置。
3. 前記符号化対象画像内の第３のブロックのインター予測符号化において、前記符号化対象画像よりも前に符号化される画像内の未だイントラ予測符号化が適用されていない領域が動きベクトルの探索範囲から除外される場合、前記第３のブロックに対してイントラ予測符号化を適用する予測モード選択部をさらに備えることを特徴とする請求項１又は２記載の動画像符号化装置。
4. 動画像に含まれる複数の画像の間で、イントラ予測符号化が適用されるイントラ予測符号化領域をシフトさせながら、前記複数の画像を符号化する動画像符号化装置が、
   前記複数の画像のうち符号化対象画像内において、前記イントラ予測符号化領域と未だイントラ予測符号化が適用されていない未リフレッシュ領域の境界を階段形状とし、前記イントラ予測符号化領域内の複数のブロックのイントラ予測画像を生成する際に参照する符号化済みの画素の参照範囲が互いに異なる複数のイントラ予測モードのうち、前記参照範囲が前記未リフレッシュ領域の画素を使用するイントラ予測モードを有効なイントラ予測モードから除外し、前記複数のブロックのうち、前記階段形状の第１の段に接する第１のブロックよりも前にイントラ予測符号化され、前記階段形状の第２の段に接する第２のブロックの符号化済み画像を参照するイントラ予測モードを、前記第１のブロックのための有効なイントラ予測モードに含めて、前記第１のブロックのためのイントラ予測モードを決定し、
   決定した前記イントラ予測モードに基づく前記第１のブロックのイントラ予測符号化結果を含む符号化動画像を生成する、
   ことを特徴とする動画像符号化方法。
5. 動画像に含まれる複数の画像の間で、イントラ予測符号化が適用されるイントラ予測符号化領域をシフトさせながら、前記複数の画像を符号化するコンピュータに、
   前記複数の画像のうち符号化対象画像内において、前記イントラ予測符号化領域と未だイントラ予測符号化が適用されていない未リフレッシュ領域の境界を階段形状とし、前記イントラ予測符号化領域内の複数のブロックのイントラ予測画像を生成する際に参照する符号化済みの画素の参照範囲が互いに異なる複数のイントラ予測モードのうち、前記参照範囲が前記未リフレッシュ領域の画素を使用するイントラ予測モードを有効なイントラ予測モードから除外し、前記複数のブロックのうち、前記階段形状の第１の段に接する第１のブロックよりも前にイントラ予測符号化され、前記階段形状の第２の段に接する第２のブロックの符号化済み画像を参照するイントラ予測モードを、前記第１のブロックのための有効なイントラ予測モードに含めて、前記第１のブロックのためのイントラ予測モードを決定し、
   決定した前記イントラ予測モードに基づく前記第１のブロックのイントラ予測符号化結果を含む符号化動画像を生成する、
   処理を実行させる動画像符号化プログラム。