JP2005252679A - フレーム内符号化予測モード決定方法，フレーム内符号化予測モード決定装置，フレーム内符号化予測モード決定プログラムおよびそのプログラム記録媒体 - Google Patents

Abstract

【課題】フレーム内符号化において，符号量の増加を抑制しながら，復号画像における線状のノイズの発生を回避する予測モードを決定する。
【解決手段】各予測モードごとに予測画像を生成し，各予測モードの中でコストＣ（ヘッダ符号量と予測残差Ｒとの合計値）が最小となる予測モードと，予測残差Ｒが最小となる予測モードとを求める（Ｓ１０〜Ｓ２２）。コストＣが最小となる予測モードがある特定の予測モード（図１では０，１）である場合には（Ｓ２３），線発生判定関数Ｌにより予測画像に線が入るか否かを判定する（Ｓ２５，Ｓ２６）。線が入る場合には，予測画像の生成に用いる予測モードを，予測残差Ｒが最小となる予測モードに決定する（Ｓ２７）。それ以外の場合には，コストＣが最小となる予測モードに決定する（Ｓ２４）。
【選択図】図１

Description

本発明は，フレーム内符号化において予測モードを決定する技術に関するものであり，特に，ディジタル画像を符号化する場合に発生する線状のノイズの発生を回避することができるようにしたフレーム内符号化予測モード決定方法に関するものである。

映像符号化方式の一種であるＨ．２６４のフレーム内符号化では，各フレームを４×４サイズもしくは１６×１６サイズのブロックに分割し，そのブロックごとに符号化処理を施す。その際，符号化しようとするブロックに隣接する画素を用いて予測画像を生成し，その予測画像と原画像との差分値を変換・量子化することで，圧縮効率の向上を図っている（例えば，非特許文献１参照）。予測画像がそのブロックの原画像に近ければ近いほど，その差分値を変換・量子化した後の符号量を小さくすることができる。

予測画像の作成の際には，４×４サイズのブロックごとに作成する方法と，１６×１６サイズのブロックごとに作成する方法の２種類がある。４×４サイズの場合には９種類の予測モードがあり，１６×１６サイズの場合には４種類の予測モードがある。ここでは，４×４サイズでの予測画像の例について，図３を用いて説明する。

図３は，４×４サイズの予測モードの例を示す図である。図３（Ａ）は，予測モード０（Vertical）の予測画像を示し，図３（Ｂ）は，予測モード１（Horizontal）の予測画像を示している。図３において，上の４つの正方形は符号化対象とする４×４ブロックの上に隣接する４画素を表し，左の４つの正方形は符号化対象とする４×４ブロックの左に隣接する４画素を表し，図中央の４×４サイズのブロックはそれらの画素をもとに生成された各予測モードの予測画像を表している。

予測モード０では，符号化対象となる４×４ブロックの上に隣接する４つの画素を縦に並べたものを予測画像とする（図３（Ａ）参照）。また，予測モード１では，符号化対象となる４×４ブロックの左に隣接する４つの画素を横に並べたものを予測画像とする（図３（Ｂ）参照）。

４×４サイズの場合には，予測画像の生成方法が異なる９種類の予測モードがあり，ブロックごとに，その画像に最も適した予測モードを選択していくことになる。そして，原画像とその予測モードの予測画像との差分値を変換・量子化し，モード番号の情報をヘッダとして付加して符号化処理を行っていく。

図４は，フレーム内符号化における予測モード決定処理のフローチャートである。処理が開始されると，まず，モード番号ｎを０に，最小コストＣ_min を十分大きな値に設定する（ステップＳ１００）。そして，以下の処理（ステップＳ１０１〜Ｓ１０７）を，モード番号ｎが最大値（例えば，Ｈ．２６４のイントラ４×４予測では８）になるまで，ｎの値を１ずつ増やしながら繰り返し行う（ステップＳ１０８，Ｓ１０９）。

まず，モード番号ｎの予測画像を生成する（ステップＳ１０１）。その後，量子化ステップサイズと隣接ブロックの予測モードからモード番号ｎのヘッダの符号量を推定する（ステップＳ１０２）。また，原画像と生成した予測画像とから予測残差を求める（ステップＳ１０３）。求めたヘッダの符号量と予測残差とを合計してモード番号ｎのコストＣを求め（ステップＳ１０４），そのコストＣと最小コストＣ_min との比較を行う（ステップＳ１０５）。

コストＣが最小コストＣ_min に等しいかそれよりも大きければ，ステップＳ１０８へ進む。コストＣが最小コストＣ_min よりも小さければ，最小コストＣ_min の値をコストＣに書き換える（ステップＳ１０６）。また，最適モード番号Ｎをモード番号ｎとし，この最適モード番号Ｎの値を保持する（ステップＳ１０７）。

その後，モード番号ｎの値が最大値かどうかを判断し（ステップＳ１０８），最大値でなければモード番号ｎの値を１増やし（ステップＳ１０９），ステップＳ１０１以降の処理を繰り返す。

ステップＳ１０８においてモード番号ｎが最大値であるならば，そのときに保持している最適モード番号Ｎを出力する（ステップＳ１１０）。

このように予測モードを決定することで，符号量が最も少なくなると期待される予測モードを選択することができる（例えば，非特許文献２参照）。

図５は，上記の処理を実現するためのフレーム内符号化における予測モード決定装置の構成例を示す図である。図５の例の予測モード決定装置１００は，予測画像生成部１０１，ヘッダ符号量計算部１０２，減算器１０３，予測残差計算部１０４，加算器１０５，最小値判定部１０６，スイッチ１０７，制御部１０８から構成されている。

予測画像生成部１０１は，制御部１０８から送られてくるモード番号ｎと近隣画素の画素値とから，そのモード番号ｎに応じた予測画像を生成して減算器１０３に出力する。

ヘッダ符号量計算部１０２は，量子化ステップサイズと，隣接ブロックの予測モードと，制御部１０８から送られてくるモード番号ｎとを入力とし，その場合のヘッダ符号量を推定して加算器１０５に出力する。

減算器１０３は，原画像と予測画像との差分値（差分画像）を計算し，それを予測残差計算部１０４に送る。

予測残差計算部１０４は，減算器１０３から送られてくる差分画像から予測残差を計算し，それを加算器１０５に出力する。

加算器１０５は，予測残差計算部１０４から送られてくる予測残差と，ヘッダ符号量計算部１０２から送られてくるヘッダ符号量とを加算してコストＣを求め，それを最小値判定部１０６に送る。

最小値判定部１０６は，その時点での最小コストＣ_min と，そのときのモード番号の値（最適モード番号Ｎ）とを保持している。加算器１０５からコストＣが送られてくると，現在保持している最小コストＣ_min との比較を行う。送られてきたコストＣが保持している最小コストＣ_min よりも小さければ，最小コストＣ_min の値を入力されたコストＣの値に更新する。また同時に，保持している最適モード番号Ｎを，制御部１０８から現在与えられているモード番号ｎに更新し，その最適モード番号Ｎをスイッチ１０７に出力する。また，制御部１０８からリセット信号が送られてくると，保持している最小コストＣ_min の値を十分大きな値に設定する。

スイッチ１０７は，制御部１０８から送られてくるスイッチ制御信号により，ＯＮ／ＯＦＦを切り替える。予測モードの推定中はＯＦＦになっているが，予測モードが決定するとスイッチ制御信号によりＯＮに切り替え，予測モードを出力する。

制御部１０８は，予測モード決定開始信号や最小値判定終了信号が送られてくると，それぞれの場合に応じてモード番号ｎやスイッチ制御信号を送信する。

予測モード決定開始信号を受信すると，まず，リセット信号を最小値判定部１０６に送信する。また，スイッチ１０７にスイッチ制御信号を送信し，スイッチ１０７をＯＦＦにする。次に，制御部１０８で保持しているモード番号ｎを０に設定し，予測画像生成部１０１とヘッダ符号量計算部１０２と最小値判定部１０６とに送信する。

その後，最小値判定部１０６から最小値判定終了信号を受信するたびにモード番号ｎを１つずつ増やし，予測画像生成部１０１とヘッダ符号量計算部１０２と最小値判定部１０６とに送信する。最小値判定終了信号を受信したときにモード番号ｎが最大値である場合には，スイッチ１０７にスイッチ制御信号を送信し，スイッチをＯＮにする。

このように，図５に示すような構成の予測モード決定装置１００を用いることにより，図４のフローチャートに示すような処理に従って，フレーム内符号化における予測モードの決定を行うことができる。
Thomas Wiegand，Gary J.Sullivan, Gisle Bjontegaard, Ajay Luthra,"Overview of the H.264/AVC Video Coding Standard ", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEM FOR VIDEO TECHNOLOGY, pp.1-19 (July 2003) 高木幸一，滝嶋康弘，中島康之，"Ｈ．２６４｜ＭＰＥＧ−４ ＡＶＣのＲＤ特性の検証"，信学会総合大会，D-11-3，pp.3（2003）

以上のように，従来のフレーム内符号化における予測モードの決定では，ヘッダ符号量と予測残差との和をコストとして全予測モードについて計算し，そのコストが最小となる予測モードを選択していた。しかし，このようにヘッダ符号量を考慮に入れて予測モードを決定した場合，符号化効率は高いものの，ビットレートが低いときに復号画像に線状のノイズが発生することがあるという問題があった。

ビットレートが低いときには予測残差に割り当てられるビット量が少なくなり，必然的にヘッダ符号量の占める割合が高くなる。このため，フレーム内符号化における予測モードの決定にヘッダ符号量と予測残差の和を用いた場合，ヘッダ符号量が小さいモードが選ばれる頻度が高くなり，必ずしも予測残差が最小のモードが選ばれなくなる。

例えば，Ｈ．２６４映像符号化法のイントラ４×４予測では，符号化対象ブロックの上と左に隣接するブロックの予測モードのうち，モード番号の小さい方を most probable mode と呼び，その予測モードにするとヘッダの符号量が小さくなる。モード番号の小さい方を most probable mode とする性質上，予測モード０や予測モード１が most probable mode となる確率が高く，ビットレートが低い場合にはこれらの予測モードの選択率が高くなる。

近隣の画素を予測方向に並べて予測画像を作る場合には，その近隣の画素の中に他の画素とは明らかに値の違う画素が存在すると，予測画像中に予測方向に沿った線が発生してしまう。このように，原画像には存在しない線が予測画像に発生する場合があるが，ビットレートが低い場合には予測残差に十分なビット量が割り当てられないため，復号画像にも線状のノイズとなって現れてしまう。

以上のことから，低ビットレート時には，原画像に存在しない線が予測画像に混入する確率が高くなり，予測残差でこの線が消せないため，復号画像にも線状のノイズが発生してしまうという問題があった。

本発明の目的は，符号量の増加を抑制しながら，線状のノイズの発生を回避することができるフレーム内符号化における予測モード決定技術を提供することである。

本発明は，上記課題を解決するために，上記の従来法を用いたときにヘッダ符号量が小さくなりやすい特定の予測モード（例えば，Ｈ．２６４のイントラ４×４予測では予測モード０または予測モード１）が予測モードとして選択された場合に，その予測画像の生成に使用されたｐ個の画素（例えば，Ｈ．２６４のイントラ４×４予測では，予測モード０ならばブロックの上に隣接する４つの画素，予測モード１ならばブロックの左に隣接する４つの画素）の画素値ｘ₁ ，ｘ₂ ，…，ｘ_p を，所定の線発生判定関数Ｌ＝ｆ（ｘ₁ ，ｘ₂ ，…，ｘ_p ）に代入し，この関数の出力値Ｌがある閾値Ｔｈよりも大きい場合には，予測残差が最小となる予測モードを予測モードとして選択するようにする。

ここで，線発生判定関数Ｌ＝ｆ（ｘ₁ ，ｘ₂ ，…，ｘ_p ）としては，例えば，画素値ｘ₁ ，ｘ₂ ，…，ｘ_p の分散を計算する関数を用いることができる。他の例としては，例えば，画素値ｘ₁ ，ｘ₂ ，…，ｘ_p の平均値ｍを計算し，各画素値ｘ₁ ，ｘ₂ ，…，ｘ_p と平均値ｍとの差分の絶対値の和を算出する関数，または差分の二乗値の和を算出する関数を，線発生判定関数Ｌ＝ｆ（ｘ₁ ，ｘ₂ ，…，ｘ_p ）として用いることもできる。

また，本発明に係るフレーム内符号化予測モード決定装置は，上記課題を達成するために，予測画像の生成に使用されたｐ個の画素の画素値を用いて線発生判定関数Ｌ＝ｆ（ｘ₁ ，ｘ₂ ，…，ｘ_p ）を計算し，その計算結果と所定の閾値Ｔｈとを比較する手段と，予測残差が最小となる予測モードを求める手段と，ヘッダ符号量を加味して求めた予測モードと，予測残差のみから求めた予測モードとを，前記比較結果に基づいて切り替える手段とを備えることを特徴とする。

以上の各手段による処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

本発明の作用は以下のとおりである。予測画像に線状のノイズが含まれる予測モードは予測残差が大きくなる。本発明では，予測残差が最小になるものを予測モードとして選択することで，予測画像に線状ノイズが含まれない予測モードが自動的に選ばれることになり，それによって復号画像に線状のノイズが発生するのを回避することが可能になる。

しかし，低ビットレート時にはヘッダの符号量が無視できないため，すべての４×４ブロックの予測モードを予測残差が最小のものとして決定してしまうと，上述の従来法を用いた場合の符号化結果と比較して符号量が増加してしまう。

そこで，本発明では，ヘッダ符号量が小さくなりやすい特定のモードが選択された場合以外には，上記の従来法で決定された予測モードを採用する。また，従来法で特定の予測モードが選択された場合には，線発生判定関数を用いて予測画像での線の発生を判定し，予測画像に線が発生しないと判定されたブロックについても従来法で決定された予測モードを採用することで，符号量の増加を最小限に抑えている。予測画像に入った線がノイズではない場合には予測残差が小さいため，予測残差最小の予測モードを求める際に正しく評価される。

本発明では，線発生判定関数の引数として予測画像の生成に使う画素の画素値のみを与えるが，予測画像はこれらの画素を並べて生成されているため，これで必要十分な情報量であり，予測画像に線が入るかどうかを完全に判定することが可能となる。

このように，少ない画素の情報から線状ノイズの発生の有無を判断して回避することが可能となり，本発明の目的である，符号量の増加を抑制しながら線状ノイズの発生を回避することが可能となる。

本発明によれば，予測方向に応じた予測画像を生成して利用するフレーム内符号化における予測モードの決定において，符号量の増加を抑制しながら，線状のノイズが発生する予測モードの選択を回避することができ，予測画像に起因する線状ノイズの発生を抑えることができるという効果が得られる。

以下，本発明の実施の形態について，図を用いて説明する。図１は，本発明のフレーム内符号化における予測モード決定処理のフローチャートである。図１のフローチャートは，本発明をＨ．２６４のイントラ４×４予測の予測モードの決定に適用した場合のフローチャートである。なお，前述の特定のモード番号は，ここでは０と１に設定した。

処理が開始されると，まず，モード番号ｎを０に，最小コストＣ_min と最小予測残差Ｒ_min とを十分大きな値に設定する（ステップＳ１０）。そして，以下の処理（ステップＳ１１〜Ｓ２０）を，モード番号ｎが最大値（例えば，Ｈ．２６４のイントラ４×４の予測では８）になるまで，ｎの値を１ずつ増やしながら繰り返し行う（ステップＳ２１，Ｓ２２）。

まず，モード番号ｎの予測画像を生成する（ステップＳ１１）。その後，量子化ステップサイズと隣接ブロックの予測モードからモード番号ｎのヘッダの符号量を推定する（ステップＳ１２）。また，生成した予測画像と原画像とから予測残差Ｒを求める（ステップＳ１３）。求めたヘッダの符号量と予測残差Ｒとを合計してモード番号ｎのコストＣを求め（ステップＳ１４），そのコストＣと最小コストＣ_min との比較を行う（ステップＳ１５）。

コストＣが最小コストＣ_min に等しいかそれよりも大きければ，ステップＳ１８へ進む。コストＣが最小コストＣ_min よりも小さければ，最小コストＣ_min の値をコストＣに書き換える（ステップＳ１６）。またこのとき，最適モード番号Ｎ_C をモード番号ｎとし，この最適モード番号Ｎ_C の値を保持する（ステップＳ１７）。

次に，予測残差Ｒと最小予測残差Ｒ_min との比較を行い（ステップＳ１８），予測残差Ｒが最小予測残差Ｒ_min に等しいかそれよりも大きければ，ステップＳ２１へ進む。予測残差Ｒが最小予測残差Ｒ_min よりも小さければ，最小予測残差Ｒ_min の値を予測残差Ｒに書き換える（ステップＳ１９）。またこのときの，最適モード番号Ｎ_R をモード番号ｎとし，この最適モード番号Ｎ_R の値を保持する（ステップＳ２０）。

その後，モード番号ｎの値が最大値かどうかを判断し（ステップＳ２１），最大値でなければモード番号ｎの値を１増やして（ステップＳ２２），上記のステップＳ１１以降の処理を繰り返す。

ステップＳ２１においてモード番号ｎが最大値であるならば，最適モード番号Ｎ_C が０または１であるかの判定を行い（ステップＳ２３），最適モード番号Ｎ_C が０でも１でもない場合には，そのときに保持している最適モード番号Ｎ_C を，現在の符号化対象ブロックの予測画像の生成に用いる予測モードの番号として出力する（ステップＳ２４）。

ステップＳ２３において最適モード番号Ｎ_C が０または１である場合には，その予測モードの予測画像の生成に使用される４つの画素の画素値ｘ₁ ，ｘ₂ ，ｘ₃ ，ｘ₄ を，所定の線発生判定関数Ｌ＝ｆ（ｘ₁ ，ｘ₂ ，ｘ₃ ，ｘ₄ ）に代入してＬを求める（ステップＳ２５）。線発生判定関数により算出したＬと，あらかじめ定められた閾値Ｔｈとを比較し（ステップＳ２６），Ｌ＞Ｔｈならば，そのときに保持している最適モード番号Ｎ_R を出力する（ステップＳ２７）。また，Ｌ＞Ｔｈでなければ，そのときに保持している最適モード番号Ｎ_C を出力する（ステップＳ２４）。

以上のようなフレーム内符号化における予測モード決定処理により，符号量の増加を抑制しながらも，線状のノイズが混入する予測モードを回避することができる。

図２は，図１の予測モード決定処理を実現するための予測モード決定装置１の構成例を示す。予測モード決定装置１は，予測画像生成部１０，ヘッダ符号量計算部１１，減算器１２，予測残差計算部１３，加算器１４，コスト最小値判定部１５，予測残差最小値判定部１６，線発生判定部１７，スイッチ１８，制御部１９から構成されている。

予測画像生成部１０は，制御部１９から送られてくるモード番号ｎと，近隣画素の画素値とから，そのモード番号ｎに応じた予測画像を生成して減算器１２に出力する。

ヘッダ符号量計算部１１は，量子化ステップサイズと，隣接ブロックの予測モードと，制御部１９から送られてくるモード番号ｎとを入力とし，その場合のヘッダ符号量を推定して加算器１４に出力する。

減算器１２は，原画像と予測画像との差分値（差分画像）を計算し，それを予測残差計算部１３に送る。

予測残差計算部１３は，減算器１２から送られてくる差分画像から予測残差Ｒを計算し，それを加算器１４と予測残差最小値判定部１６とに送信する。

加算器１４は，予測残差計算部１３から送られてくる予測残差Ｒと，ヘッダ符号量計算部１１から送られてくるヘッダ符号量とを加算してコストＣを求め，それをコスト最小値判定部１５に送る。

コスト最小値判定部１５は，その時点での最小コストＣ_min と，そのときのモード番号の値（最適モード番号Ｎ_C ）とを保持している。加算器１４からコストＣが送られてくると，現在保持している最小コストＣ_min との比較を行う。送られてきたコストＣが保持している最小コストＣ_min よりも小さければ，最小コストＣ_min の値を入力されたコストＣの値に更新する。また同時に，保持している最適モード番号Ｎ_C を，制御部１９から現在与えられているモード番号ｎに更新し，その最適モード番号Ｎ_C をスイッチ１８の端子ａと線発生判定部１７とに送信する。また，制御部１９からリセット信号が送られてくると，保持している最小コストＣ_min の値を十分大きな値に設定する。

予測残差最小値判定部１６は，その時点での最小予測残差Ｒ_min と，そのときのモード番号の値（最適モード番号Ｎ_R ）とを保持している。予測残差Ｒが送られてくると，現在保持している最小予測残差Ｒ_min との比較を行う。送られてきた予測残差Ｒが保持している最小予測残差Ｒ_min よりも小さければ，最小予測残差Ｒ_min の値を入力された予測残差Ｒの値に更新する。また同時に，保持している最適モード番号Ｎ_R を，制御部１９から現在与えられているモード番号ｎに更新し，その最適モード番号Ｎ_R をスイッチ１８の端子ｂに送信する。また，制御部１９からリセット信号が送られてくると，保持している最小予測残差Ｒ_min の値を十分大きなものに設定する。

線発生判定部１７は，所定の線発生判定関数Ｌ＝ｆ（ｘ₁ ，ｘ₂ ，ｘ₃ ，ｘ₄ ）に基づくＬを計算し，そのＬと所定の閾値Ｔｈとを比較し，スイッチ１８を切り替える制御を次のように行う。まず，線発生判定部１７は，制御部１９から初期化信号が送られてくると，スイッチ制御信号をスイッチ１８に送り，スイッチ１８をＯＦＦに設定する。制御部１９から判定開始信号が送られてくると，以下に述べる判定を行う。

線発生判定部１７は，コスト最小値判定部１５から送られてくる最適モード番号Ｎ_C が０でも１でもない場合には，スイッチ制御信号をスイッチ１８に送り，スイッチ１８を端子ａに接続する。最適モード番号Ｎ_C が０または１の場合には，その予測モードの予測画像生成に使用される４つの画素値ｘ₁ ，ｘ₂ ，ｘ₃ ，ｘ₄ を用いて線発生判定関数Ｌ＝ｆ（ｘ₁ ，ｘ₂ ，ｘ₃ ，ｘ₄ ）を計算する。その結果とあらかじめ設定されている閾値Ｔｈとを比較し，Ｌ＞Ｔｈならば，スイッチ制御信号をスイッチ１８に送り，スイッチ１８を端子ｂに接続する。Ｌ≦Ｔｈならば，スイッチ制御信号をスイッチ１８に送り，スイッチ１８を端子ａに接続する。

スイッチ１８は，線発生判定部１７から送信されるスイッチ制御信号により，ＯＦＦと端子ａ接続と端子ｂ接続とを切り替える。

制御部１９は，予測モード決定開始信号と２つの最小値判定終了信号が送られてくると，それぞれの場合に応じてモード番号ｎの送信制御と，線発生判定部１７の制御（判定部制御信号の送信）を行う。

すなわち，制御部１９は，予測モード決定開始信号を受信すると，線発生判定部１７に初期化信号を送り，線発生判定部１７を介してスイッチ１８をＯＦＦに設定する。また，コスト最小値判定部１５と予測残差最小値判定部１６にリセット信号を送信する。次に，制御部１９で保持しているモード番号ｎを０に設定し，予測画像生成部１０とヘッダ符号量計算部１１とコスト最小値判定部１５と予測残差最小値判定部１６とに送信する。

その後，制御部１９は，コスト最小値判定部１５と予測残差最小値判定部１６との双方から最小値判定終了信号を受信するたびにモード番号ｎを１つずつ増やし，予測画像生成部１０とヘッダ符号量計算部１１とコスト最小値判定部１５と予測残差最小値判定部１６とに送信する。コスト最小値判定部１５と予測残差最小値判定部１６との双方から最小値判定終了信号を受信したときにモード番号ｎが最大値である場合には，線発生判定部１７に判定開始信号を送信する。

以上のような構成の予測モード決定装置１を用いることにより，図１のフローチャートに示す処理を実現し，フレーム内符号化における予測モードを決定することができる。

次に，線発生判定関数Ｌ＝ｆ（ｘ₁ ，ｘ₂ ，ｘ₃ ，ｘ₄ ）の具体的な関数形状の例について説明する。

まず，線発生判定関数に，分散を用いた場合について説明する。このとき，線発生判定関数は，分散の定義式から，以下の式（１）のように書くことができる。

ｆ（ｘ₁ ，ｘ₂ ，ｘ₃ ，ｘ₄ ）
＝（ｘ₁ ² ＋ｘ₂ ² ＋ｘ₃ ² ＋ｘ₄ ² ）／４
−（ｘ₁ ＋ｘ₂ ＋ｘ₃ ＋ｘ₄ ）² ／１６ （１）
この場合の閾値Ｔｈの設定であるが，例えば，４つの画素のうち３つが同じ値で残りの１つがそれらよりも５だけ値が違う場合について考える。このとき，予測画像には他よりも値が５だけ違う線が入っていることになる。このときの分散は，上の式（１）から“４．６８７５”と求められる。したがって，Ｔｈ＝４．６８と置けば，３つが同じ値で残りの一つだけが他より５以上違う場合について，すべて検出することができる。

次に，線発生判定関数に，分散の近似式を用いた場合について説明する。このとき，線発生判定関数は，以下の式（２）ように書くことができる。

ｆ（ｘ₁ ，ｘ₂ ，ｘ₃ ，ｘ₄ ）
＝｜ｘ₁ −ｍ｜＋｜ｘ₂ −ｍ｜＋｜ｘ₃ −ｍ｜＋｜ｘ₄ −ｍ｜ （２）
（ただし，ｍは４画素の平均値ｍ＝（ｘ₁ ＋ｘ₂ ＋ｘ₃ ＋ｘ₄ ）／４）
この場合の閾値Ｔｈの設定であるが，分散のときと同じ場合を考えると，Ｔｈ＝７．５と置けば，３つが同じで残りの１つだけが他より５以上違う場合について検出することができる。式（２）のように，各画素とそれらの平均値との差分の絶対値を計算するのではなく，差分の二乗を計算しても，閾値Ｔｈは異なることになるが同様の結果を得ることができる。

次に，線発生判定関数に，以下の式（３）を用いた場合について説明する。

ｆ（ｘ₁ ，ｘ₂ ，ｘ₃ ，ｘ₄ ）
＝Ｍａｘ（｜３ｘ₁ −（ｘ₂ ＋ｘ₃ ＋ｘ₄ ）｜，
｜３ｘ₂ −（ｘ₁ ＋ｘ₃ ＋ｘ₄ ）｜，
｜３ｘ₃ −（ｘ₁ ＋ｘ₂ ＋ｘ₄ ）｜，
｜３ｘ₄ −（ｘ₁ ＋ｘ₂ ＋ｘ₃ ）｜） （３）
（ただし，Ｍａｘ（）は引数のうち，値が最も大きいものを返す関数である）
この場合の閾値Ｔｈの設定であるが，Ｔｈ＝１５と置けば，３つが同じで残りの１つだけが他より５以上違う場合について検出することができる。

なお，以上説明した例は，本発明の実施の形態の一例であり，本発明はこれに限定されるものではない。

本発明のフレーム内符号化における予測モード決定処理のフローチャートである。 本発明のフレーム内符号化における予測モード決定装置の構成例を示す図である。 ４×４サイズの予測モードの例を示す図である。 従来のフレーム内符号化における予測モード決定処理のフローチャートである。 従来のフレーム内符号化における予測モード決定装置の構成例を示す図である。

符号の説明

１ 予測モード決定装置
１０ 予測画像生成部
１１ ヘッダ符号量計算部
１２ 減算器
１３ 予測残差計算部
１４ 加算器
１５ コスト最小値判定部
１６ 予測残差最小値判定部
１７ 線発生判定部
１８ スイッチ
１９ 制御部

Claims (12)

1. フレーム内符号化方式において符号化対象ブロックに隣接する画素から予測方向に応じた予測画像を生成する予測モードを含む複数の予測モードの中から，予測画像の生成に用いる予測モードを，発生符号量に基づいて決定する予測モード決定方法であって，
   前記各予測モードごとに，符号化対象ブロックの予測画像を生成する過程と，
   前記符号化対象ブロックの原画像と前記予測画像との差分の予測残差とヘッダ符号量とを算出する過程と，
   前記予測残差と前記ヘッダ符号量との和が最小となる予測モードを検出する過程と，
   前記予測残差が最小となる予測モードを検出する過程と，
   前記予測画像の生成に使用する画素をもとに，前記予測残差とヘッダ符号量との和が最小となる予測モードと，前記予測残差が最小となる予測モードとのいずれかを，前記符号化対象ブロックの予測画像の生成に用いる予測モードとして決定する過程とを有する
   ことを特徴とするフレーム内符号化予測モード決定方法。
2. 請求項１に記載のフレーム内符号化予測モード決定方法において，
   前記予測残差とヘッダ符号量との和が最小となる予測モードが，隣接する画素から予測方向に応じた予測画像を生成する所定のいくつかの予測モードである場合に，前記予測画像の生成に使用する画素を用いて前記予測画像に線が発生するか否かを判定する過程を有し，
   前記予測画像に線が発生しないと判定された場合に，前記予測残差とヘッダ符号量との和が最小となる予測モードを前記符号化対象ブロックの予測画像の生成に用いる予測モードとして決定し，前記予測画像に線が発生すると判定された場合に，前記予測残差が最小となる予測モードを前記符号化対象ブロックの予測画像の生成に用いる予測モードとして決定する
   ことを特徴とするフレーム内符号化予測モード決定方法。
3. 請求項２に記載のフレーム内符号化予測モード決定方法において，
   前記隣接する画素から予測方向に応じた予測画像を生成する所定のいくつかの予測モードは，他の予測モードのときよりも相対的にヘッダ符号量が小さくなる予め定められた特定の予測モードであり，
   前記予測残差とヘッダ符号量との和が最小となる予測モードが，これらの特定の予測モードの場合にのみ前記予測画像に線が発生するか否かを判定し，これらの特定の予測モード以外の場合には，前記判定を行わないで前記予測残差とヘッダ符号量との和が最小となる予測モードを前記符号化対象ブロックの予測画像の生成に用いる予測モードとして決定する
   ことを特徴とするフレーム内符号化予測モード決定方法。
4. 請求項２または請求項３に記載のフレーム内符号化予測モード決定方法において，
   前記予測画像に線が発生するか否かを判定する過程では，前記予測画像の生成に使用する画素の分散を計算し，計算した値と所定の閾値とを比較することにより判定する
   ことを特徴とするフレーム内符号化予測モード決定方法。
5. 請求項２または請求項３に記載のフレーム内符号化予測モード決定方法において，
   前記予測画像に線が発生するか否かを判定する過程では，前記予測画像の生成に使用する各画素とそれらの画素の平均値との差分の絶対値の和または差分の二乗値の和を計算し，計算した値と所定の閾値とを比較することにより判定する
   ことを特徴とするフレーム内符号化予測モード決定方法。
6. フレーム内符号化方式において符号化対象ブロックに隣接する画素から予測方向に応じた予測画像を生成する予測モードを含む複数の予測モードの中から，予測画像の生成に用いる予測モードを，発生符号量に基づいて決定する予測モード決定装置であって，
   前記各予測モードごとに，符号化対象ブロックの予測画像を生成する予測画像生成手段と，
   前記符号化対象ブロックの原画像と前記予測画像との差分の予測残差を算出する予測残差計算手段と，
   前記符号化対象ブロックのヘッダ符号量を算出するヘッダ符号量計算手段と，
   前記予測残差と前記ヘッダ符号量との和が最小となる予測モードを検出するコスト最小値判定手段と，
   前記予測残差が最小となる予測モードを検出する予測残差最小値判定手段と，
   前記予測画像の生成に使用する画素をもとに，前記予測残差とヘッダ符号量との和が最小となる予測モードと，前記予測残差が最小となる予測モードとのいずれかを，前記符号化対象ブロックの予測画像の生成に用いる予測モードとして決定する予測モード決定手段とを備える
   ことを特徴とするフレーム内符号化予測モード決定装置。
7. 請求項６に記載のフレーム内符号化予測モード決定装置において，
   前記予測残差とヘッダ符号量との和が最小となる予測モードが，隣接する画素から予測方向に応じた予測画像を生成する所定のいくつかの予測モードである場合に，前記予測画像の生成に使用する画素を用いて前記予測画像に線が発生するか否かを判定する線発生判定手段を備え，
   前記予測モード決定手段は，前記予測画像に線が発生しないと判定された場合に，前記予測残差とヘッダ符号量との和が最小となる予測モードを前記符号化対象ブロックの予測画像の生成に用いる予測モードとして決定し，前記予測画像に線が発生すると判定された場合に，前記予測残差が最小となる予測モードを前記符号化対象ブロックの予測画像の生成に用いる予測モードとして決定する
   ことを特徴とするフレーム内符号化予測モード決定装置。
8. 請求項７に記載のフレーム内符号化予測モード決定装置において，
   前記隣接する画素から予測方向に応じた予測画像を生成する所定のいくつかの予測モードは，他の予測モードのときよりも相対的にヘッダ符号量が小さくなる予め定められた特定の予測モードであり，
   前記線発生判定手段は，前記予測残差とヘッダ符号量との和が最小となる予測モードが，前記特定の予測モードの場合にのみ前記予測画像に線が発生するか否かを判定して判定結果を前記予測モード決定手段に通知し，
   前記予測モード決定手段は，前記判定結果に応じて予測モードの切り替えを行い，前記特定の予測モード以外の場合には，前記予測残差とヘッダ符号量との和が最小となる予測モードを前記符号化対象ブロックの予測画像の生成に用いる予測モードとして決定する
   ことを特徴とするフレーム内符号化予測モード決定装置。
9. 請求項７または請求項８に記載のフレーム内符号化予測モード決定装置において，
   前記線発生判定手段は，前記予測画像の生成に使用する画素の分散を計算し，計算した値と所定の閾値とを比較することにより判定する
   ことを特徴とするフレーム内符号化予測モード決定装置。
10. 請求項７または請求項８に記載のフレーム内符号化予測モード決定装置において，
    前記線発生判定手段は，前記予測画像の生成に使用する各画素とそれらの画素の平均値との差分の絶対値の和または差分の二乗値の和を計算し，計算した値と所定の閾値とを比較することにより判定する
    ことを特徴とするフレーム内符号化予測モード決定装置。
11. 請求項１から請求項５までのいずれか１項に記載のフレーム内符号化予測モード決定方法をコンピュータに実行させるためのフレーム内符号化予測モード決定プログラム。
12. 請求項１から請求項５までのいずれか１項に記載のフレーム内符号化予測モード決定方法をコンピュータに実行させるためのプログラムを，コンピュータ読み取り可能な記録媒体に記録した
    ことを特徴とするフレーム内符号化予測モード決定プログラム記録媒体。

Images