JP2006165801A - 符号化モード判定装置及び方法 - Google Patents

Abstract

【課題】 フレーム間符号化とフレーム内符号化を切り替えながら符号化を行う際、計算負荷を抑制しながら、精度良い符号化モードの判定を実現すること。
【解決手段】 輝度の合計などの空間統計量が所定の条件を満たす場合、不安定性検出部２０４による処理によらず、空間統計量閾値処理部４０１により符号化モードを決定する。それ以外の場合、空間統計量に基づいてモード判定の安定性を不安定性検出部２０４で検出し、安定したモード判定が行えると判定された場合には空間統計量に基づいて符号化モードを決定する。一方、不安定性検出部２０４によってモード判定が不安定であると判定された場合には、周波数統計量算出部２０５、２０６で算出した周波数統計量に基づいて符号化モードを決定する。
【選択図】 図１

Description

本発明は、動画像信号を圧縮符号化する動画像符号化装置に好適に用いることのできる符号化モード判定装置及び方法に関する。

動画像は情報量が多いため、記録・伝送するにあたり、情報を圧縮する技術が必要になる。動画像圧縮技術の代表例として“ＩＴＵ勧告Ｈ．２６１ オーディオビジュアル・サービス用ビデオ符号化”などのハイブリッド符号化方式が挙げられ、これらの方式はフレーム間冗長情報を削減する（以下、インタ符号化）ことにより高圧縮を達成している。しかし、常にフレーム間冗長情報を削減する事が最適な圧縮を促すものでなく、フレーム間の冗長情報を削減するより、フレーム内の冗長情報を削減（以下、イントラ符号化）した方が、高圧縮につながる場合がある。そのため、インタ符号化とイントラ符号化のどちらを用いた方がよいかを判定する符号化モード判定には、高精度であることが望まれている。

図８は、従来の動画像符号化装置の構成例を示すブロック図である。
動画像入力部１００には、時間方向に連続する複数フレームで構成されるデジタル動画像が入力される。動画像入力部１００から入力された動画像は小さな矩形領域（例えば８ｘ８画素，１６ｘ１６画素など）に分割され、カラー動画像の場合はマクロブロックと呼ばれる矩形領域単位で符号化を行う（マクロブロックは一つ以上の矩形領域で構成される）。

以下では、入力動画像がカラー画像である事を想定し、マクロブロック単位で処理を行う。動きベクトル検出部１０９では、画像入力部１００からの現フレームの画像データと、フレームメモリ１０８に記憶された前フレームの局所復号化画像を参照して、マクロブロック単位で動きベクトル検出を行う。この際、符号化対象ブロックの周囲±１５画素の範囲で、ブロックマッチングを行い、各輝度の予測誤差の平均絶対値が最小のブロックを予測ブロックとして、動きベクトルを検出する。

フレームメモリ１０８には、予測画像保持部１１１の画像情報と、減算部１０１、セレクタ１（１１６）、直交変換部１０３、量子化部１０４、逆量子化部１０５、逆直交変換部１０６を経た差分信号の局所復号化情報とを加算部１０７で加算した再生フレーム（参照フレーム）を蓄積する領域がある。動き補償部１１０は、動きベクトル検出部１０９により検出された動きベクトルを用いて、フレームメモリ１０８に蓄積された参照フレームから予測ブロックを検出し、予測画像保持部１１１に出力する。予測画像保持部１１１は、蓄積している予測画像を減算部１０１とセレクタ２（１１７）に出力する。セレクタ２（１１７）は、符号化モード判定部１０２から送られるモード判定情報に基づき、予測画像保持部１１１の画像データを加算部１０７へ送る。

減算部１０１は、動画像入力部１００から入力される符号化対象ブロックと、予測画像保持部１１１からの予測画像ブロックから予測誤差を算出し、セレクタ１（１１６）へ予測誤差を送る。セレクタ１（１１６）では、符号化モード判定部１０２の制御により、減算部１０１から出力された予測誤差か、動画像入力部１００から減算部１０１を通らずに供給される原画像のいずれかを、符号化単位であるマクロブロック単位で直交変換部１０３に出力する。直交変換部１０３では、ＤＣＴ変換によって直交変換が行われる。量子化部１０４では、レート制御部１１２（後述）から出力される量子化制御信号に基づき、スカラー量子化が行われ、量子化後の値を可変長符号化部１１３と逆量子化部１０５に出力する。可変長符号化部１１３では、量子化部１０４で量子化された値を可変長符号化し、バッファ１１４へ出力する。バッファ１１４では、バッファ内の符号量などの情報をレート制御部１１２へ出力するとともに、符号データを符号出力部１１５へ出力する。

レート制御部１１２では、バッファ１１４から出力される符号量などの情報に基づき、量子化部１０４に量子化制御信号を送る。逆量子化部１０５では、量子化部１０４で量子化された値を逆量子化し、逆量子化された値を逆直交変換部１０６へ出力する。逆直交変換部１０６では、直交化された予測誤差信号を逆直交化し、加算部１０７に出力する。加算部１０７は、逆直交変換部１０６の出力と、予測画像保持部１１１の出力を加算し符号化対象ブロックを再生し、フレームメモリ１０８に出力する

上述のように、符号化モード判定部１０２の判定精度は符号化結果の画質に影響を及ぼす。そこで、図９に符号化モード判定部１０２の構成例を示し、その具体的な処理についてさらに説明する。符号化モード判定部１０２には、フレーム単位で、フレーム内符号化とフレーム間符号化の選択を行う処理部と、マクロブロック単位でフレーム内符号化とフレーム間符号化の選択（以下、イントラインタ判定）を行う処理部が存在するが、フレーム単位の選択はIPPIPP....（Ｉ＝フレーム内符号化、Ｐ＝フレーム間符号化）という固定パターンで繰り返すものとして、フレーム単位の判定を行う処理部は図９では省略している。従って、図９にはマクロブロック単位の符号化方法選択に関する構成が示されている。

統計量第一算出部１５０と統計量第二算出部１５１はそれぞれ、原画像と差分画像に関する、輝度もしくは周波数空間上の統計量をマクロブロック単位で算出し、算出結果は統計量比較部１５２にて比較される。符号化モードセレクタ１５３は、統計量比較部１５２での比較結果に基づき、イントラ符号化、インタ符号化のいずれかを選択して、選択された符号化モードをセレクタ１（１１６）及びセレクタ２（１１７）へ送信する。セレクタ１（１１６）は、符号化モード判定部１０２から判定結果が通知されるまで原画像と差分画像を保持し、通知された符号化モードに応じ、イントラ符号化では原画像を、インタ符号化では差分画像を直交変換部１０３へ出力する。

図１０はこのような符号化モード判定部１０２のより具体的な処理の流れの例を示すフローチャートである。
符号化モード判定が開始されると（ステップＳ１０００）、符号化対象のマクロブロックをイントラ符号化した時の発生符号量とインタ符号化した時の発生符号量を予測するために、統計量第一算出部１５０では、原画像のマクロブロックIMbに関する空間統計量Istatを、統計量第二算出部１５１では予測誤差のマクロブロックPMbに関する統計量Pstatを算出し（ステップＳ１００１）する。統計量比較部１５２ではIstatとPstatの大小を比較する（ステップＳ１００２）。

Pstatと”PMbの発生符号量”、Istatと”Imbの発生符号量”は比例関係であると仮定すると、Pstat＜Istatの場合には仮定より予測誤差の方が発生符号量は少ないことになり、符号化モードセレクタ１５３では、インタ符号化が選択され（ステップＳ１００３）、逆にIstatの方が小さい場合、符号化モードセレクタ１５３では、イントラ符号化が選択される（ステップＳ１００４）。インタ符号化、イントラ符号化いずれかが選択されるとモード判定は終了する（ステップＳ１００５）。

IMbとPMbを実際に符号化し、発生した符号量Icode,PcodeをそれぞれIstat,Pstatとし、発生符号量の小さい方を選択すると、符号量の観点から最適なモード判定となるが、実際に符号化すると処理能力を大きく費やすことになるため、簡単な近似式で発生符号量を予測する事が多い。

例えば、ISOで標準化されているMPEG2 Test Model 5では、IstatとPstatを輝度の分散や絶対和として発生符号量を見積もり、モード判定を行っている。また、特許文献１には、IMbとPMbを直交変換し、周波数空間上の係数の統計量をIstat,Pstatとして符号量を予測することが記載されている。

特開２０００−３４１６９７号公報（段落００３３）

しかしながら、輝度の分散や絶対和などでモード判定する場合、計算コスト（計算負荷もしくは計算に必要な能力資源）は少ないが、シーンチェンジのように極端な輝度の変化がなければ正確なモード判定は困難である。また、周波数空間上の係数の統計量でモード判定する場合、精度良くモード判定できるが、計算コストが上昇する。

本発明はこのような従来技術の課題を解決し、計算コストを抑えながら良好な判定精度を得ることが可能な符号化モード判定装置及び方法を実現することにある。

上述の目的は、フレーム内符号化、フレーム間符号化のいずれを行うかを判定する符号化モード判定装置であって、原画像信号のフレーム内信号の空間統計量を算出する第１の空間統計量算出手段と、フレーム内信号の周波数統計量を算出する第１の周波数統計量算出手段と、原画像信号と予測画像信号との差分信号の空間統計量を算出する第２の空間統計量算出手段と、差分信号の周波数統計量を算出する第２の周波数統計量算出手段と、第１及び第２の空間統計量算出手段が算出した空間統計量の少なくとも一方が、第１の条件を満たすかどうかを判定する第１の判定手段と、第１の判定手段によって第１の条件を満たさないと判定された原画像信号について、第１及び第２の空間統計量算出手段が算出した空間統計量が第１の条件と異なる第２の条件を満たすかどうかを判定する第２の判定手段と、第１の判定手段によって第１の条件を満たすと判定された原画像信号についてはフレーム内符号化又はフレーム間符号化の予め定められた一方を選択し、第１の判定手段によって第１の条件を満たさないと判定された原画像信号については、第２の判定手段によって第２の条件を満たすと判定された場合は第１及び第２の空間統計量算出手段が算出した空間統計量の大小関係に応じてフレーム内符号化及びフレーム間符号化の一方を選択し、第２の判定手段によって第２の条件を満たさないと判定された場合は、第１及び第２の周波数統計量算出手段が算出した周波数統計量の大小関係に応じてフレーム内符号化及びフレーム間符号化の一方を選択するモード判定手段とを有することを特徴とする符号化モード判定装置にによって達成される。

また、上述の目的は、フレーム内符号化、フレーム間符号化のいずれを行うかを判定する符号化モード判定方法であって、原画像信号のフレーム内信号の空間統計量を算出する第１の空間統計量算出工程と、フレーム内信号の周波数統計量を算出する第１の周波数統計量算出工程と、原画像信号と予測画像信号との差分信号の空間統計量を算出する第２の空間統計量算出工程と、差分信号の周波数統計量を算出する第２の周波数統計量算出工程と、第１及び第２の空間統計量算出工程が算出した空間統計量の少なくとも一方が、第１の条件を満たすかどうかを判定する第１の判定工程と、第１の判定工程によって第１の条件を満たさないと判定された原画像信号について、第１及び第２の空間統計量算出工程が算出した空間統計量が第１の条件と異なる第２の条件を満たすかどうかを判定する第２の判定工程と、第１の判定工程によって第１の条件を満たすと判定された原画像信号についてはフレーム内符号化又はフレーム間符号化の予め定められた一方を選択し、第１の判定工程によって第１の条件を満たさないと判定された原画像信号については、第２の判定工程によって第２の条件を満たすと判定された場合は第１及び第２の空間統計量算出工程が算出した空間統計量の大小関係に応じてフレーム内符号化及びフレーム間符号化の一方を選択し、第２の判定工程によって第２の条件を満たさないと判定された場合は、第１及び第２の周波数統計量算出工程が算出した周波数統計量の大小関係に応じてフレーム内符号化及びフレーム間符号化の一方を選択するモード判定工程とを有することを特徴とする符号化モード判定方法によっても達成される。

さらに、上述の目的は、本発明の符号化モード判定方法をコンピュータに実行させるプログラム及びこのプログラムを格納したコンピュータ読み取り可能な記録媒体によっても達成される。

このような構成により、本発明によれば、計算コストを抑えながら良好な判定精度を得ることが可能となる。

以下、図面を参照して本発明の好適な実施形態について説明する。
＜第１の実施形態＞
本発明の第１の実施形態に係る動画像符号化装置の基本的な構成は、符号化モード判定部以外は図８を用いて説明した従来構成と同等でよい。従って、以下の説明においては本実施形態における符号化モード判定部についてのみ説明する。

また、本実施形態において用いるフレーム間符号化方式は、説明及び理解を容易にするため、動きベクトルを用いた簡単な方式を例にとって説明する。しかし、これに限定されることなく、例えば、ＭＰＥＧ２、ＭＰＥＧ４符号化で用いられるようなフレーム間符号化方式に適用することも可能である。

図１は、本実施形態における符号化モード判定部の構成例を示すブロック図である。
符号化モード判定部は、原画像をマクロブロック毎に入力する原画像入力部２０９、差分画像をマクロブロック毎に入力する差分画像入力部２１０、原画像のマクロブロックの輝度絶対和を算出する空間統計量第一算出部２０１、差分画像のマクロブロックの輝度絶対和を算出する空間統計量第二算出部２０２、絶対和の比較を行う空間統計量比較部２０３、モード判定が不安定になるマクロブロックを判定する不安定性検出部２０４、原画像のマクロブロックに直交変換を施し、係数の統計量を算出する周波数統計量第一算出部２０５、差分画像のマクロブロックに直交変換を施し、係数の統計量を算出する周波数統計量第二算出部２０６、係数の統計量を比較する周波数統計量比較部２０７、空間統計量比較部２０３、周波数統計量比較部２０７及び空間統計量閾値処理部４０１の出力結果から最終的にイントラ符号化、インタ符号化のいずれかを選択する符号化モードセレクタ２０８、選択した符号化方式をセレクタ１（１１６）及びセレクタ２（１１７）に出力するデータ出力部２１１、空間統計量第一算出部２０１の算出結果に閾値処理を行う空間統計量閾値処理部４０１とを備える。

次に、このような構成を有する符号化モード判定部の動作を、図２のフローチャートに基づき説明する。
まず、空間統計量第一算出部２０１では、原画像入力部２０９から入力されたマクロブロック単位の原画像データから、輝度の絶対和SMAEintraを算出する。同様に、空間統計量第二算出部２０２では、差分画像入力部２１０から入力されたマクロブロック単位の差分画像データから、輝度の絶対和SMAEinterを算出する（ステップＳ３００２）。

次に、空間統計量第一算出部２０１が算出したSMAEintraの値が、空間統計量閾値処理部４０１で閾値処理され（ステップＳ３００３）、SMAEintraの値が閾値C*SMAEinter（０＜Ｃ≦１）未満の時には、ＦＬＡＧ＝１が符号化モードセレクタ２０８に送信される。この場合には、不安定性検出部２０４を動作させる必要もない。SMAEintraの値がC*SMAEinter以上の場合には、ステップＳ３００４に進む。なお、図３において、太線で囲まれている領域が、閾値処理される範囲を示している。

SMAEintraの値がC*SMAEinter以上の場合、不安定性検出部２０４では、空間統計量算出部２０１、２０２の出力の差の絶対値ABS(SMAEinter-SMAEintra)と、AｘSMAEintra+B（A,Bは正の実数）を求め、その値を比較する（ステップＳ３００４）。そして、大小関係に応じて以下の処理を行う。

１．ABS(SMAEinter-SMAEintra)＞＝AｘSMAEintra+B（ステップＳ３００４、Ｎｏ）の場合
この場合、不安定性検出部２０４は、モード判定が安定する（符号化対象のマクロブロックが、低精度なモード判定方法でも精度の良いモード判定ができるマクロブロック）と予測し、空間統計量比較部２０３を起動し、周波数統計量第一算出部２０５、周波数統計量第二算出部２０６、周波数統計量比較部２０７を停止させる。

次に、空間統計量比較部２０３は、SMAEinterとSMAEintraを比較し、SMAEinter＜SMAEintraの場合（ステップＳ３００５，Ｙｅｓ）、ＦＬＡＧ＝０を、SMAEintra≦SMAEinterの場合（ステップＳ３００５，Ｎｏ）、ＦＬＡＧ＝１を符号化モードセレクタ２０８に送信する。

２．ABS(SMAEinter-SMAEintra)＜AｘSMAEintra+B（ステップＳ３００４，Ｙｅｓ）の場合
この場合、不安定性検出部２０４は、モード判定が不安定になる（符号化対象のマクロブロックが、高精度なモード判定方法でないと精度の良いモード判定ができないマクロブロック）と予測し、周波数統計量第一算出部２０５、周波数統計量第二算出部２０６及び周波数統計量比較部２０７を起動させ、空間統計量比較部２０３を停止させる。

周波数統計量第一算出部２０５では、原画像入力部２０９から入力されたマクロブロック単位の画像データの輝度を直交変換し、その係数の絶対和TMAEintraを算出し、周波数統計量第二算出部２０６では、差分画像入力部２１０から入力されたマクロブロック単位の差分画像データの輝度を直交変換し、その係数の絶対和TMAEinterを算出する（ステップＳ３００６）。

周波数統計量比較部２０７では、TMAEinterとTMAEintraを比較し、TMAEinter＜TMAEintraの場合（ステップＳ３００７，Ｙｅｓ）、ＦＬＡＧ＝０を、TMAEinter≧TMAEintraの場合（ステップＳ３００７，Ｎｏ）、ＦＬＡＧ＝１を符号化モードセレクタ２０８に送信する。

符号化モードセレクタ２０８では、空間統計量比較部２０３、周波数統計量比較部２０７及び空間統計量閾値処理部４０１のいずれかから出力されるＦＬＡＧの値により、符号化方法を以下（ステップＳ３００８）のように決定し、モード判定を終了する。なお空間統計量比較部２０３と周波数統計量比較部２０７は不安定性検出部２０４に制御されているため、同時に起動されない．

１．ＦＬＡＧ＝１の時 イントラ符号化と決定し、原画像入力部２０９からの情報を直交変換部へ出力するようセレクタ１（１１６）へ通知する。
２．ＦＬＡＧ＝０の時 インタ符号化と決定し、差分画像入力部２１０からの情報を直交変換部へ出力するようセレクタ１（１１６）へ通知する。
また、決定した符号化方式はセレクタ２（１１７）へも通知する。

以上説明したように、本実施形態によれば、高精度なモード判定方法でなければ精度の良いモード判定ができないマクロブロック群と、低精度モード判定方法でも精度の良いモード判定ができるマクロブロック群を分離し、それぞれのモード判定方法で判定しているため、高精度なモード判定方法だけでモード判定した時よりも高速に判定処理が可能で、低精度モード判定方法だけでモード判定した時よりも高精度な判定処理が可能になるという効果がある。換言すれば、計算コストを抑制しながら、効率の良い符号化方式の判定を行うことが可能である。

また、空間統計量閾値処理部４０１を設け、フレーム内又はフレーム間空間統計量の大きさにより簡便に符号化方法を決定することを可能としたので、いずれかの符号化方法を優先させて使用させたい時に、符号化モード判定処理を高速化できる効果がある。つまり、閾値を調整することで、優先的に使用される符号化モードを制御することができる。このような制御は、例えば、時間方向に、イントラ符号化とインタ符号化が交互に選択されると符号化タイプの差によるノイズが目立つため、イントラ符号化を優先させたい場合などに有用である。

尚、本実施形態における空間統計量閾値処理部４０１での閾値処理対象はSMAEintraであるが、SMAEinterでもかまわない。その場合の閾値はC*SMAEintra（１≦Ｃ）となる。また、本実施形態において、空間統計量閾値処理部４０１の閾値処理結果からイントラ符号化を決定しているが（ステップ３００３）、イントラ符号化の代わりに、インタ符号化を決定するようにしてもかまわない。

なお、本実施形態では、空間統計量として輝度の絶対和を用いたが、輝度の分散や平均値などの統計量を用いてもよい。同様に、周波数統計量として、直交変換の係数の絶対和を用いたが、係数の分散や平均値を用いたり、係数を任意の順番にスキャンして求めた差分の分散を用いたりしてもよい。
また、不安定領域判定にAｘSMAEintra+Bという閾値を用いたが、SMAEintraの変わりにSMAEinterを用いたAｘSMAEinter+Bという閾値を用いても良い。

＜第２の実施形態＞
次に、第２の実施形態に係る動画像符号化装置について説明する。本発明の第２の実施形態に係る動画像符号化装置の基本的な構成は、符号化モード判定部以外は図８を用いて説明した従来構成と同等でよい。従って、以下の説明においては本実施形態における符号化モード判定部についてのみ説明する。

また、本実施形態において用いるフレーム間符号化方式は、説明及び理解を容易にするため、動きベクトルを用いた簡単な方式を例にとって説明する。しかし、これに限定されることなく、例えば、ＭＰＥＧ２、ＭＰＥＧ４符号化で用いられるようなフレーム間符号化方式に適用することも可能である。

図４は、本実施形態における符号化モード判定部の構成例を示すブロック図であり、図１に示した第１の実施形態に係る符号化モード判定部と同じ構成には同じ参照数字を付した。図１と図４との比較から明らかなように、本実施形態では、Intra/Inter空間統計量閾値処理部５０１により、空間統計量の閾値処理を空間統計量第一算出部だけでなく、空間統計量第二算出部の出力に対しても行うことを特徴とする。他の構成については第１の実施形態と共通であるため、説明を省略する。

次に、このような構成を有する符号化モード判定部の動作を、図５のフローチャートに基づき説明する。図５のフローチャートにおいても、第１の実施形態で説明した図２のフローチャートと同一処理を行うステップについては同じ参照数字を付した。図５と図２とを比較すると明らかなように、ステップＳ３００２とステップＳ３００４の間に行われるステップＳ４００３の処理のみが異なるため、ステップＳ４００３の処理についてのみ説明する。

ステップＳ４００３では、空間統計量第一算出部が算出したSMAEintraの値と、空間統計量第二算出部が算出したSMAEinterの値が、intra/inter空間統計量閾値処理部５０１で閾値処理される。具体的には、SMAEintraの値が閾値Ｔｈ１（Ｔｈ１は実数）未満であり、かつSMAEinterの値が閾値Ｔｈ２（Ｔｈ２は実数）未満の時には、ＦＬＡＧ＝１が符号化モードセレクタ２０８に送信され、それ以外の場合には、ステップＳ３００４に進む。なお、図６において、太線で囲まれている領域が、ステップＳ４００３で閾値処理される範囲を示している。

ステップＳ３００４以降は第１の実施形態で説明した通りに処理が行われ、最終的にステップＳ３００８において、符号化モードセレクタ２０８が、空間統計量比較部２０３、周波数統計量比較部２０７及び空間統計量閾値処理部５０１のいずれかから出力されるＦＬＡＧの値により、符号化方法を選択する。

本実施形態でも第１の実施形態と同様、高精度なモード判定方法でなければ精度の良いモード判定ができないマクロブロック群と、低精度モード判定方法でも精度の良いモード判定ができるマクロブロック群を分離し、それぞれのモード判定方法で判定しているため、高精度なモード判定方法だけでモード判定した時よりも高速に判定処理が可能で、低精度モード判定方法だけでモード判定した時よりも高精度な判定処理が可能になるという効果がある。換言すれば、計算コストを抑制しながら、効率の良い符号化方式の判定を行うことが可能である。

さらに、Intra/Inter空間統計量閾値処理部５０１により、イントラ符号化してもインタ符号化しても発生符号量が微小であると予測できる場合には、符号化モードを簡便に判定することができ、符号化モード判定を高速化できるという効果がある。

なお、本実施形態においても、第１の実施形態と同様、空間統計量や周波数統計量として他の値を用いても良い。また、不安定領域判定にAｘSMAEintra+Bという閾値を用いたが、SMAEintraの変わりにSMAEinterを用いたAｘSMAEinter+Bという閾値を用いても良い。

＜第３の実施形態＞
図７は、上述の第１又は第２の実施形態に係る動画像符号化装置を例えばパーソナルコンピュータ等の汎用情報処理装置で実現する場合の構成例を示すブロック図である。

図において、動画像符号化装置としての情報処理装置は、装置全体の制御を司るＣＰＵ３０１と、ブートプログラム及びＢＩＯＳ等を記憶するＲＯＭ３０２と、ＣＰＵ３０１のワークエリアとして使用されるＲＡＭ３０３を有している。ハードディスク装置等の外部記憶装置３０４は、ＯＳ、画像圧縮処理に係るアプリケーションプログラム（ＭＰＥＧアプリケーション）等を格納する。画像入力部３０５は、例えばＵＳＢ、ＩＥＥＥ１３９４などの汎用インタフェースを介して接続されたイメージスキャナ等であるが、画像データが既に記憶媒体に記憶されている場合には、その記憶媒体をアクセスする装置（例えばメモリカードリーダや、光ディスクドライブなど）であってもよいし、画像データがネットワーク上のサーバに存在する場合にはネットワークインタフェースであってもよい。動画像符号化装置はさらに、キーボード（ＫＢ）やポインティングデバイス（ＰＤ）等の入力デバイス３０６、ビデオＲＡＭを搭載すると共にそのビデオＲＡＭへの描画処理及びビデオＲＡＭからデータを読出しビデオ信号として出力する表示制御部３０７、表示制御部３０７よりのビデオ信号に基づき表示する表示装置３０８を有する。

上記構成において、電源を投入すると、ＣＰＵ３０１はＲＯＭ３０２に格納されたブートプログラムに従って外部記憶装置３０４よりＯＳをＲＡＭ３０３にロードし、しかる後、上述の実施形態で説明した符号化モード判定処理を含む画像圧縮符号化プログラムをロード、実行することで、画像入力部３０５より入力した画像データの圧縮符号化データを生成し、外部記憶装置３０４に格納することになる。なお、最終的に生成された圧縮符号化画像データの出力先は外部記憶装置３０４ではなく、ネットワークを介して出力しても構わないし、その出力先は問わない。

＜他の実施形態＞
上述の実施形態においては、符号化モード判定部によって決定した符号化モードをセレクタ１が受信し、直交変換部へ出力するデータを選択していたが、セレクタ１の機能を符号化モード判定部に持たせても良い。この場合、画像入力部１００と差分器１０１からの画像データを直接符号化モードセレクタ２０８に入力する経路を追加し、符号化モードセレクタ２０８にバッファを設けて判定処理が終了するまで画像データを記憶しておき、判定結果に応じて原画像データもしくは差分画像データを直交変換部１０３へ出力するようにすればよい。なお、セレクタ２に対して判定結果を通知する点については変更の必要はない。

また、本実施形態の目的は、上述の実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

尚、第１及び第２の実施形態は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、カメラ、ディスプレイ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、カムコーダ、遠隔監視装置等）に適用してもよい。

第１の実施形態に係る動画像符号化装置における符号化モード判定部の構成例を示すブロック図である。 図１の符号化モード判定部の動作を説明するフローチャートである。 第１の実施形態における空間統計量閾値処理部の処理範囲を説明する図である。 第２の実施形態に係る動画像符号化装置における符号化モード判定部の構成例を示すブロック図である。 図４の符号化モード判定部の動作を説明するフローチャートである。 第２の実施形態における不安定性検出部が用いる閾値を説明する図である。 第３の実施形態に係る動画像符号化装置の構成例を示すブロック図である。 従来の動画像符号化装置の構成例を示すブロック図である。 図８の符号化モード判定部の構成例を示すブロック図である。 従来のモード判定部の動作を説明するフローチャートである。

Claims (10)

1. フレーム内符号化、フレーム間符号化のいずれを行うかを判定する符号化モード判定装置であって、
   原画像信号のフレーム内信号の空間統計量を算出する第１の空間統計量算出手段と、
   前記フレーム内信号の周波数統計量を算出する第１の周波数統計量算出手段と、
   前記原画像信号と予測画像信号との差分信号の前記空間統計量を算出する第２の空間統計量算出手段と、
   前記差分信号の前記周波数統計量を算出する第２の周波数統計量算出手段と、
   前記第１及び第２の空間統計量算出手段が算出した空間統計量の少なくとも一方が、第１の条件を満たすかどうかを判定する第１の判定手段と、
   前記第１の判定手段によって前記第１の条件を満たさないと判定された原画像信号について、前記第１及び第２の空間統計量算出手段が算出した空間統計量が前記第１の条件と異なる第２の条件を満たすかどうかを判定する第２の判定手段と、
   前記第１の判定手段によって前記第１の条件を満たすと判定された原画像信号についてはフレーム内符号化又はフレーム間符号化の予め定められた一方を選択し、前記第１の判定手段によって前記第１の条件を満たさないと判定された原画像信号については、前記第２の判定手段によって前記第２の条件を満たすと判定された場合は前記第１及び第２の空間統計量算出手段が算出した空間統計量の大小関係に応じてフレーム内符号化及びフレーム間符号化の一方を選択し、前記第２の判定手段によって前記第２の条件を満たさないと判定された場合は、前記第１及び第２の周波数統計量算出手段が算出した周波数統計量の大小関係に応じてフレーム内符号化及びフレーム間符号化の一方を選択するモード判定手段とを有することを特徴とする符号化モード判定装置。
2. 前記第１の判定手段によって前記第１の条件を満たすと判定された原画像信号については、前記第１及び第２の空間統計量算出手段及び前記第１及び第２の周波数統計量算出手段による処理を行わないことを特徴とする請求項１記載の符号化モード判定装置。
3. 前記第２の判定手段によって前記第２の条件を満たすと判定された原画像信号については、前記第１及び第２の周波数統計量算出手段による処理を行わないことを特徴とする請求項１又は請求項２に記載の符号化モード判定装置。
4. 前記第１の条件が、前記第１及び第２の空間統計量算出手段が算出した空間統計量の少なくとも一方が、所定の値未満であるかどうかであることを特徴とする請求項１乃至請求項３のいずれか１項に記載の符号化モード判定装置。
5. 前記所定の条件が、前記第１及び第２の空間統計量算出手段が算出した空間統計量の差の絶対値と、予め定められた閾値との大小関係であることを特徴とする請求項１乃至請求項４のいずれか１項に記載の符号化モード判定装置。
6. 前記閾値が、前記第１の空間統計量算出手段が算出した空間統計量に基づいて定められることを特徴とする請求項５記載の符号化モード判定装置。
7. 請求項１乃至請求項６のいずれか１項に記載の符号化モード判定装置を用いた動画像符号化装置。
8. フレーム内符号化、フレーム間符号化のいずれを行うかを判定する符号化モード判定方法であって、
   原画像信号のフレーム内信号の空間統計量を算出する第１の空間統計量算出工程と、
   前記フレーム内信号の周波数統計量を算出する第１の周波数統計量算出工程と、
   前記原画像信号と予測画像信号との差分信号の前記空間統計量を算出する第２の空間統計量算出工程と、
   前記差分信号の前記周波数統計量を算出する第２の周波数統計量算出工程と、
   前記第１及び第２の空間統計量算出工程が算出した空間統計量の少なくとも一方が、第１の条件を満たすかどうかを判定する第１の判定工程と、
   前記第１の判定工程によって前記第１の条件を満たさないと判定された原画像信号について、前記第１及び第２の空間統計量算出工程が算出した空間統計量が前記第１の条件と異なる第２の条件を満たすかどうかを判定する第２の判定工程と、
   前記第１の判定工程によって前記第１の条件を満たすと判定された原画像信号についてはフレーム内符号化又はフレーム間符号化の予め定められた一方を選択し、前記第１の判定工程によって前記第１の条件を満たさないと判定された原画像信号については、前記第２の判定工程によって前記第２の条件を満たすと判定された場合は前記第１及び第２の空間統計量算出工程が算出した空間統計量の大小関係に応じてフレーム内符号化及びフレーム間符号化の一方を選択し、前記第２の判定工程によって前記第２の条件を満たさないと判定された場合は、前記第１及び第２の周波数統計量算出工程が算出した周波数統計量の大小関係に応じてフレーム内符号化及びフレーム間符号化の一方を選択するモード判定工程とを有することを特徴とする符号化モード判定方法。
9. 請求項８記載の符号化モード判定方法をコンピュータに実行させるプログラム。
10. 請求項９記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。