JP2012065176A - 動画像符号化装置 - Google Patents

Abstract

【課題】ベスト予測モード選択のための演算量を削減した動画像符号化装置を提供する。
【解決手段】動画像符号化装置は、縮小画画像に基づいて動き予測を行なう縮小画動き予測部と、前記縮小画動き予測部による動き予測の結果に基づいてスキップモード予測処理、インター予測処理、及びイントラ予測処理の何れか１つの予測処理を選択する予測処理選択部と、前記選択された１つの予測処理を縮小されていない画像に対して実行する予測部とを含む。
【選択図】図１

Description

本願開示は、一般に動画像符号化装置に関し、詳しくは予測符号化を用いた動画像符号化装置に関する。

動画データのフレーム間及びフレーム内の差分値に基づいてデータを圧縮し符号化する画像符号化技術が様々な分野で利用されている。ここでフレームとは、動画データを構成する時間軸上に並べられた一連の静止画像の各画像のことである。差分値に基づいてデータサイズを圧縮し符号化する画像符号化技術としてはＨ．２６４やＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などがある。画像を圧縮符号化して動画データのデータサイズを小さくすることにより、限られた記憶容量を有する記憶媒体に、長時間で高画質の動画データを記憶させることができる。動画圧縮の機能を有する画像符号化装置は、例えばハンディカメラ等にも実装されている。

動画データを構成する各フレームは、それぞれが１６×１６画素のブロックである複数のマクロブロックからなる。フレーム間のインター予測処理においては、着目マクロブロックのフレームに隣接するフレームの画素情報に基づいて予測画素データを生成し、この予測画素データと着目マクロブロックの画素データとの差分を求めることにより画像予測を行なう。この際、予測誤差が最小になるように隣接フレームの画素情報を選択する動きベクトル検出処理が行なわれる。またフレーム内のイントラ予測処理においては、１つのフレーム内において着目マクロブロックに隣接する隣接画素情報に基づいて予測画素データを生成し、この予測画素データと着目マクロブロックの画素データとの差分を求めることにより画像予測を行なう。更に、フレーム間のインター予測の特別なケースとしてスキップモードが存在する。このスキップモードでは、予測誤差が最小になる動きベクトルを検出するのではなく、着目ブロックの周囲のブロックの情報から動きベクトルを予測し、この予測動きベクトルが示す位置にある隣接フレーム内のブロックが着目ブロックに等しいとして扱う。符号化後の情報には、着目ブロックがスキップモードであることを示す情報のみが含まれ、誤差の符号化情報や動きベクトルの情報は含まれない。

より詳細には、インター予測処理には、１６×１６画素、１６×８画素、８×１６画素、８×８画素、８×４画素、４×８画素、及び４×４画素の７種類の異なる大きさのブロックを用いる７種類の予測モードが規定されている。またイントラ予測処理には、合計で２２種類の予測モードが規定されている。具体的には、４×４画素のブロックに対して異なる予測方向を用いた９種類の予測モード、８×８画素のブロックに対して異なる予測方向を用いた９種類の予測モード、１６×１６画素のブロックに対して異なる予測方向を用いた４種類の予測モードが規定されている。またＰピクチャに対してスキップモードが規定されている。

Ｈ．２６４では、圧縮率を向上するために、マクロブロック毎に最適な予測モードを適用する。具体的には、上記の全ての予測モードのコストを求め、コストが一番小さい予測モードを、着目マクロブロックのベスト予測モードとして用いる。最初に、例えばインター予測処理の７種類の各予測モードのコストを計算し、ベストインター予測モードを決定する。次に、例えばイントラ予測処理の２２種類の各予測モードのコストを計算し、ベストイントラ予測モードを判定する。最後に、例えばスキップモードのコストを計算する。着目マクロブロックの総合的なベスト予測モードとしては、ベストインター予測モードのコスト、ベストイントラ予測モードのコスト、及びスキップモードのコストを比較し、コストが最小の予測モードを選択する。

動き予測はインター予測のコア技術である。動き予測においては、着目マクロブロックと隣接フレームの探索範囲内にあるマクロブロックとの画素値の差分絶対値和等をコストとして計算すると共に、これらマクロブロック間の位置差分を動きベクトルとして計算する。コストが最小となる探索範囲内にあるマクロブロックの位置を求め、この位置に対応する動きベクトルをベスト動きベクトルとする。１つのマクロブロックには２５６画素（１６×１６）が含まれるので、１つの探索位置に対して少なくとも２５６回の差分計算が実行される。Ｍ×Ｎ画素の探索範囲に対し、Ｍ×Ｎ×２５６回の差分計算を行うので、莫大な演算量となる。

動き予測における演算量を削減するために、動き予測の計算を階層的に実行する階層動き予測技術が用いられる。階層動き予測の処理プロセスは、縮小画動き予測処理と同倍画動き予測処理との２つの処理を含む。縮小画動き予測処理では、着目マクロブロックと隣接ピクチャとを共に１／Ｐのサイズに縮小する。サイズがＭ×Ｎ／Ｐの探索範囲において、初期動きベクトルＰＭＥ＿ＭＶと初期差分値コストＰＭＥ＿ＣＯＳＴとを求める。次の同倍画動き予測処理では、縮小していないマクロブロックと隣接ピクチャとを用い、初期動きベクトルＰＭＥ＿ＭＶを探索中心として設定した小さい探索範囲Ｒ×Ｓ（Ｒ＜＜Ｍ、Ｓ＜＜Ｎ）内で、最終の動きベクトルと差分コストとを求める。縮小画動き予測処理における探索では、マクロブロックと探索範囲とを共に１／Ｐに縮小してあるので、演算量は従来の１／Ｐ^２になる。同倍画動き予測処理では、縮小していない画像を用いるが、探索範囲が大幅に小さくなっているので、演算量が大幅に少なくなる。この階層動き予測技術は、高画質を維持しながらも演算量を大幅に削減できるので、高速な動き予測方法としてよく使われる。

しかしながら、階層動き予測技術においても、全ての予測モードのコストを求め、コストが最小の予測モードをマクロブロックのベスト予測モードとして選択している。合計で３０（＝７＋２２＋１）種類の予測モードの計算には、莫大な量の演算が実行されることになり、演算のための回路面積と消費電力とが肥大化する。

Joint Video Team of ITU-Tand ISO/IEC JTC 1, "Draft ITU-T Recommendation and Final Draft International Standardof Joint Video Specification (ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC),"document JVT-G050r1, May 2003; technical corrigendum 1 documents JVT-K050r1(non-integrated form) and JVT-K051r1 (integrated form), March 2004; andFidelity Range Extensions documents JVT-L047 (non-integrated form) and JVT-L050(integrated form), July 2004

以上を鑑みると、ベスト予測モード選択のための演算量を削減した動画像符号化装置が望まれる。

動画像符号化装置は、縮小画画像に基づいて動き予測を行なう縮小画動き予測部と、前記縮小画動き予測部による動き予測の結果に基づいてスキップモード予測処理、インター予測処理、及びイントラ予測処理の何れか１つの予測処理を選択する予測処理選択部と、前記選択された１つの予測処理を縮小されていない画像に対して実行する予測部とを含む。

少なくとも１つの実施例によれば、縮小画動き予測部による動き予測の結果に基づいてスキップモード予測処理、インター予測処理、及びイントラ予測処理の何れか１つの予測処理を選択するので、ベスト予測モード選択のための演算量を削減することができる。

動画像符号化装置の構成の一例を示すブロック図である。 スキップモードを説明するための図である。 縮小画動き予測、予測処理選択動作、及びマクロブロックの予測処理動作の流れを示すフローチャートである。 差分絶対値と初期ベストコストとの組み合わせに対して何れのモードが選択されるのかを視覚的に表わした図である。 各閾値と動画圧縮率との関係を示す図である。 図１の動画像符号化装置により得られる画質を従来技術との比較において示す図である。 図１の動画像符号化装置を適用した動画像符号化システムの構成の一例を示す図である。

以下に、本発明の実施例を添付の図面を用いて詳細に説明する。

図１は、動画像符号化装置の構成の一例を示すブロック図である。図１において、各ボックスで示される各機能ブロックと他の機能ブロックとの境界は、基本的には機能的な境界を示すものであり、物理的な位置の分離、電気的な信号の分離、制御論理的な分離等に対応するとは限らない。ハードウェアの場合、各機能ブロックは、他のブロックと物理的にある程度分離された１つのハードウェアモジュールであってもよいし、或いは他のブロックと物理的に一体となったハードウェアモジュール中の１つの機能を示したものであってもよい。ソフトウェアの場合、各機能ブロックは、他のブロックと論理的にある程度分離された１つのソフトウェアモジュールであってもよいし、或いは他のブロックと論理的に一体となったソフトモジュール中の１つの機能を示したものであってもよい。

図１に示す動画像符号化装置１は、入力された動画データを圧縮し符号化する。動画像符号化装置１は、縮小画動き予測部２、予測処理選択部３、スキップモード予測部４、インター予測部５、イントラ予測部６、及び選択部７を含む。動画像符号化装置１は更に、ＤＣＴ変換部８、量子化部９、可変長符号部１０、逆量子化部１１、逆ＤＣＴ変換部１２、フィルタ部１３、減算部１４、及び加算部１５を有する。ここでＤＣＴとは離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）であり、離散信号を周波数領域の信号に変換する処理である。

画像符号化装置１の入力は、原画像データ２０及び参照画像データ２１である。動画像符号化装置１の出力は符号化したストリーム２３及びローカルデコード画像２２である。ローカルデコード画像２２は、あるフレームの符号化処理により生成された符号を復号化することにより再構成した画像であり、次のフレームを符号化処理する際に参照画像として用いられる。

縮小画動き予測部２は、縮小画画像に基づいて動き予測を行なう。詳しくは、縮小画動き予測部２は、まず、原画の入力画像２０と参照画像２１とをサイズ縮小する縮小処理を実行する。この縮小処理は、元の画像の画素を所定数毎に間引くことにより実行してよいし、また空間フィルタや時間フィルタをかけた後に画素を間引くことにより実行してもよい。縮小処理の縮小倍数は特に限定されない。また横方向の縮小率と縦方向の縮小率とは同一であってもよいし、異なっていてもよい。次に、縮小画動き予測部２は、縮小後の予測対象ブロック（縮小後の着目矩形領域）に対し、その前方、後方、或いはその両方のフレームの縮小後参照画像を用いて動き予測を行なう。具体的には、縮小画動き予測部２は、動きベクトルが示す位置にある参照画像中の画像ブロックと予測対象ブロックとの間の誤差（例えば画素毎の差分の絶対値和）を複数の動きベクトルに対して求め、この誤差が最小となる最適な動きベクトルを検出する。この最適な動きベクトル（初期ベスト動きベクトル）に対応する参照画像中の位置の画像ブロックと予測対象ブロックとの誤差（例えば画素毎の差分の絶対値和）が初期ベストコストである。このようにして、縮小画動き予測部２からは、初期ベスト動きベクトル及び初期ベストコストが出力される。

予測処理選択部３は、縮小画動き予測部２による動き予測の結果に基づいてスキップモード予測処理、インター予測処理、及びイントラ予測処理の何れか１つの予測処理を選択する。具体的には、予測処理選択部３は、縮小画動き予測部２による動き予測により得られた初期ベスト動きベクトル及び初期ベストコストに基づいて、予測対象ブロックに適用する１つの予測処理を選択する。予測処理選択部３は、例えばスイッチＳＷ１を切り換えることにより、スキップモード予測部４、インター予測部５、及びイントラ予測部６のうちの選択された予測処理に対応する予測部を動作させる。この予測部が、選択された１つの予測処理を縮小されていない画像に対して実行する。

予測処理選択部３によりスキップモード予測処理が選択されると、スキップモード予測部４が、入力画像２０と参照画像２１とに基づいて、スキップモードでの予測処理を実行する。スキップモードでは、予測誤差が最小になる動きベクトルを検出するのではなく、着目ブロックの周囲のブロックの情報から動きベクトルを予測し、この予測動きベクトルが示す位置にある隣接フレーム内のブロックが着目ブロックに等しいとして扱う。符号化後の情報には、着目ブロックがスキップモードであることを示す情報のみが含まれ、誤差の符号化情報や動きベクトルの情報は含まれない。一般にスキップモードは、画像中で変化がない静止部分や、纏まった領域が一様に運動する単純な動きを示す部分等に適用される。

図２は、スキップモードを説明するための図である。符号化対象フレームＮにおいて、着目マクロブロック３１が予測対象ブロック即ち符号化対象ブロックである。この着目マクロブロック３１の予測動きベクトル（ＭＶＰ）３５は、基本的に、着目マクロブロック３１の左隣接のマクロブロック３２、上隣接のマクロブロック３３、及び右上隣接のマクロブロック３４のそれぞれの動きベクトルから求められる。この予測動きベクトルを求める方法はＨ．２６４に規定されている。スキップモードでは、上記求めた予測動きベクトルが示す画面位置にある１つ前のフレームＮ−１のマクロブロック３６が、フレームＮの着目マクロブロック３１に等しいものとして扱う。即ち、復号化側では、当該マクロブロック３１がスキップモードであることを検出すると、予測動きベクトルが示す直前のフレームＮ−１のマクロブロック３６をコピーして当該マクロブロック３１とする。

図１に戻り、予測処理選択部２によりインター予測処理が選択されると、インター予測部５が、入力画像２０と参照画像２１とに基づいて、複数のインター予測モードのうちから最適なインター予測モードを選択して実行する。これにより、入力画像２０の予測対象ブロックに対し、その前方、後方、或いはその両方のフレームの参照画像２１から最も類似したブロックが抜き出され又は生成されて予測画像となる。具体的には、インター予測部５は、動きベクトルが示す位置にある参照画像２１中の画像ブロックと予測対象ブロックとの間の誤差（例えば画素毎の差分の絶対値和）を複数の動きベクトルに対して求め、この誤差が最小となる最適な動きベクトルを検出する。この最適な動きベクトルに対応する参照画像２１中の位置の画像ブロックと予測対象ブロックとの誤差（例えば画素毎の差分の絶対値和）がベストコストである。インター予測部５は、インター予測処理の複数の予測モードの各々に対して最適な動きベクトルとベストコストとを求め、ベストコストが最小となる予測モードを選択する。この選択された予測モードにおける最適な動きベクトルと予測画像とが、インター予測部５から出力される。なおインター予測部５は、最適な動きベクトルを探索する際に、参照画像２１中の探索領域を、縮小画動き予測部２が求めた初期ベスト動きベクトルに応じた位置に設定してよい。これにより探索領域の大きさを狭め、効率的な動きベクトル探索を実現し、演算量を削減することができる。

また予測処理選択部２によりイントラ予測処理が選択されると、イントラ予測部６が、入力画像２０と符号化済みの隣接ブロックの画素２７とに基づいて、複数のイントラ予測モードのうちから最適なイントラ予測モードを選択して実行する。具体的には、イントラ予測部６は、入力画像２０の予測対象ブロックに対し、それに隣接するブロックの画素２７の値に基づいて予測画像を生成する。この際、異なるブロックサイズ及び異なる予測方向に対応して複数種類のイントラ予測モードが存在する。イントラ予測部６は、複数の予測モードの各々に対して予測画像を生成し、生成した予測画像と予測対象ブロックとの誤差（例えば画素毎の差分の絶対値和）が最小となる予測モードを選択する。この選択された予測モードにおける予測画像が、イントラ予測部６から出力される。

選択部７は、予測処理選択部３による選択結果に応じてスイッチＳＷ２を切り換えることにより、スキップモード予測部４、インター予測部５、及びイントラ予測部６のうち選択された１つの予測処理の予測部の出力を受け取り、予測画像２４を出力する。この予測画像２４は、スキップ予測処理、インター予測処理、又はイントラ予測処理において隣接フレームのマクロブロックあるいは同一フレームの隣接マクロブロックに基づいて生成された画像である。なおスキップモードが選択された場合には、予測画像２４を出力することなく、可変長符号部１０が生成するストリーム２３に当該予測対象ブロックがスキップモードであることを示す情報を含める等の適切な処理を実行するように動画像符号化装置１が動作してもよい。

差分器１４は、入力画像２０とその予測結果である予測画像２４との差分を計算し、その差分値を予測誤差２５として出力する。ＤＣＴ変換部８は、離散コサイン変換を実行することにより、予測誤差２５を周波数領域のデータであるＤＣＴ係数に変換する。量子化部９は、ＤＣＴ係数を量子化ステップで除算して整数値に丸める処理を実行することにより、ＤＣＴ係数を量子化する。可変長符号部１０は、量子化後のＤＣＴ係数値のうち、出現頻度の高い情報を短い符号で表現し、出現頻度の低い情報を長い符号で表現することにより、全体として出力ビット数を減らす処理を行い、符号化データ２３を出力する。

逆量子化部１１は、量子化部９により量子化された予測誤差を逆量子化する。逆量子化した予測誤差は、逆ＤＣＴ変換部１２により逆変換され、ＤＣＴ係数値に変換される前の予測誤差２６が復元される。加算部１５はスキップモード予測部４、インター予測部５、又はイントラ予測部６により生成された予測画像２４と復元された予測誤差２６とを加算し、画像２７を再構成する。再構成された画像２７は、フィルタ部１３に入力される。フィルタ部１３は、デブロッキング・フィルタとも呼ばれ、再構成画像２７のブロック境界に現れるブロックひずみを減少させる処理を行ない、処理後の画像をローカルデコード画像２２として出力する。ローカルデコード画像２２は、外部のメモリに格納され、次のフレームを処理する時にスキップモード予測部４又はインター予測部５によるフレーム間予測処理のための参照画像として用いられる。

図３は、縮小画動き予測、予測処理選択動作、及びマクロブロックの予測処理動作の流れを示すフローチャートである。ステップＳ１で、縮小画動き予測部２が、縮小画を用いて動き予測を実行する。この動き予測の結果として、初期ベスト動きベクトルＰＭＥ＿ＭＶと初期ベストコストＰＭＥ＿ＣＯＳＴとが求められる。

次のステップＳ２及びステップＳ３で、予測処理選択部３が、スキップモード予測処理、インター予測処理、及びイントラ予測処理の何れか１つを選択する。具体的には、予測処理選択部３は、まず、着目マクロブロックに隣接するマクロブロックの動きベクトルから予測動きベクトルＭＶＰを求める。これは、図２を用いて説明した予測動きベクトルＭＶＰを求める処理と同様である。予測処理選択部３は、次に、予測動きベクトルＭＶＰと初期ベスト動きベクトルＰＭＥ＿ＭＶとの差分絶対値ＰＭＥ＿ＭＶＤ（＝｜ＰＭＥ＿ＭＶ−ＭＶＰ｜）を求める。予測処理選択部３は、更に、前記差分絶対値ＰＭＥ＿ＭＶＤと複数の第１の閾値とを比較するとともに初期ベストコストＰＭＥ＿ＣＯＳＴと複数の第２の閾値とを比較する比較処理を実行し、前記比較処理の結果に基づいて１つの予測処理を選択する。

具体的には、ステップＳ２で、差分絶対値ＰＭＥ＿ＭＶＤと初期ベストコストＰＭＥ＿ＣＯＳＴとが以下の式（１）の条件１を満たすか否かを判断する。

PME_MVD≦α1 & PME_COST≦β1 ・・・（１）
ここでα１及びβ１は、適宜設定された閾値であり、「＆」はＡＮＤ論理を示す。上記の式（１）の条件１を満たす場合には、ベクトルの差分絶対値が十分に小さく、且つ、初期ベストコストが十分に小さい。ベクトルの差分絶対値が十分に小さいということは、初期ベスト動きベクトルと周囲の隣接ブロックから求めた予測動きベクトルとの差が十分に小さいということである。即ち、当該マクロブロックが、周囲のマクロブロックと共に纏まった領域として一様に運動又は静止している可能性が高いことになる。この場合、スキップモードが適している状況である可能性がある。また、初期ベスト動きベクトルと予測動きベクトルとの差が十分に小さいということは更に、予測動きベクトルＭＶＰが十分信頼できるものであり、予測動きベクトルＭＶＰに基づいて予測するスキップモードが適していることになる。また更に、初期ベストコストが十分に小さいので、着目ブロックが参照画像に等しいそのままの画像であるとして扱うスキップモードが適していることになる。従って、ベクトルの差分絶対値が十分に小さく、且つ、初期ベストコストが十分に小さい場合には、スキップモードを予測モードとして選択する。

このようにステップＳ２で式（１）の条件１を満たす場合には、スキップモードを選択するとして、ステップＳ４に進む。ステップＳ４では、スキップモードでのベストコストを求める。即ち、スキップモードでの予測処理を実行する。その後ステップＳ８で、着目マクロブロックのベスト・モードの結果（この場合はスキップモードの結果）を予測結果として出力する。

ステップＳ２でスキップモードが選択されなかった場合、次にステップＳ３で、差分絶対値ＰＭＥ＿ＭＶＤと初期ベストコストＰＭＥ＿ＣＯＳＴとが以下の式（２）の条件２を満たすか否かを判断する。

(PME_MVD≦α2 & PME_COST≦β3) OR (PME_COST≦β2 & PME_MVD≦α3)
・・・（２）
ここでα２、α３、β２、及びβ３は、適宜設定された閾値であり、「＆」はＡＮＤ論理を示し、「ＯＲ」はＯＲ論理を示す。α１＜α２＜α３であり、β１＜β２＜β３である。上記の式（２）の条件２を満たす場合には、ベクトルの差分絶対値が小さく（≦α２）且つ初期ベストコストがそれ程大きくはない（≦β３）、又は、初期ベストコストが小さく（≦β２）且つベクトルの差分絶対値がそれ程大きくはない（≦α３）。

ベクトルの差分絶対値が小さい（≦α２）ということは、初期ベスト動きベクトルと周囲の隣接ブロックから求めた予測動きベクトルとの差が小さいということである。即ち、当該マクロブロックが、周囲のマクロブロックと共に纏まった領域として一様に運動又は静止している可能性が高いことになる。この場合、初期ベストコストがα１よりも大きい（ステップＳ２でスキップモードが選択されていない）ので、スキップモードのように着目ブロックが参照画像に等しいそのままの画像であるとして扱うことはできない。しかしながら初期ベストコストがそれ程大きくはない（≦β３）ので、動き予測が十分に信頼できるものであり、着目ブロックと参照画像との誤差を符号化するインター予測が適していると判断する。

また初期ベストコストが小さい（≦β２）ということは、初期ベスト動きベクトルに基づく動き予測が信頼できるということである。この場合、ベクトルの差分絶対値がα１よりも大きい（ステップＳ２でスキップモードが選択されていない）ので、予測動きベクトルＭＶＰにそれ程信頼性がなく、スキップモードのように予測動きベクトルＭＶＰに基づいて予測することは適切でない。しかしながらベクトルの差分絶対値がそれ程大きくはない（≦α３）ので、初期ベストコストが偶然に低い状況なのではなく、検出した初期ベスト動きベクトルが十分に信頼できるものであると考えられる。従って、探索範囲から最適な動きベクトルを検出して予測をするインター予測が適していると判断する。

このようにステップＳ３で式（２）の条件２を満たす場合には、インター予測処理を選択するとして、ステップＳ６に進む。ステップＳ６では、縮小されていない入力画像及び参照画像を用いて動き予測処理を実行する。次にステップＳ７で、複数のインター予測モードのうちのベストコストを求める。即ち、インター予測のうちのベストな予測モードを決定する。その後ステップＳ８で、着目マクロブロックのベスト・モードの結果（この場合はベストインター予測モードの結果）を予測結果として出力する。

ステップＳ３で式（２）の条件２を満たさない場合には、着目マクロブロックに対しては動き予測が適していないと判断して、イントラ予測処理を選択する。この場合、ステップＳ５で、複数のイントラ予測モードのうちのベストコストを求める。即ち、イントラ予測のうちのベストな予測モードを決定する。その後ステップＳ８で、着目マクロブロックのベスト・モードの結果（この場合はベストイントラ予測モードの結果）を予測結果として出力する。

図４は、差分絶対値と初期ベストコストとの組み合わせに対して何れのモードが選択されるのかを視覚的に表わした図である。図４には、横軸に差分絶対値ＰＭＥ＿ＭＶＤをとり縦軸に初期ベストコストＰＭＥ＿ＣＯＳＴをとった平面が示されている。この平面上において、領域４０の内部の点に対応する差分絶対値と初期ベストコストとの組み合わせに対しては、スキップモードが選択される。また領域４０の外であり且つ領域４１の内部の点に対応する差分絶対値と初期ベストコストとの組み合わせに対しては、インター予測モードが選択される。更に領域４１の外の点に対応する差分絶対値と初期ベストコストとの組み合わせに対しては、イントラ予測モードが選択される。図４に示される例のように、例えば、α１を２、α２を６、α３を１６、β１をＱＰ、β２を４×ＱＰ、β３を８×ＱＰに設定してよい。ここでα１乃至α３の単位は画素であってよい。この例では、β１乃至β３は、動画圧縮率ＱＰの関数となっている。同様に、α１乃至α３についても、動画圧縮率ＱＰの関数としてよい。

図５は、各閾値と動画圧縮率との関係を示す図である。図５の横軸は動画圧縮率ＱＰを示し、縦軸は閾値α１乃至α３及びβ１乃至β３の値を示す。Ｈ．２６４では直交変換デ得られた係数に対して、量子ステップで除算した結果を整数値に丸める量子化処理が行なわれる。この量子化ステップの大きさを調整することにより、符号化したビット数を増減することができる。量子化ステップが小さい場合は、量子化誤差が小さく、復号画像の画質が高くなるが、符号化データの圧縮率が低い。逆に、量子化ステップが大きい場合は、量子化誤差が大きく、復号画像の画質が低いが、符号化データの圧縮率が高い。Ｈ．２６４では、量子化ステップの値は量子化パラメータＱＰ（Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ）から導出する。量子化パラメータＱＰが大きくなると、量子化ステップが大きくなり、量子化誤差が大きくなり、動画圧縮率が高くなる。図５の横軸は動画圧縮率として量子化パラメータＱＰの値をとっている。

一般に、スキップモードが最も圧縮率が高く、インター予測処理が次に圧縮率が高く、イントラ予測処理が最も圧縮率が低い。従って、動画圧縮率ＱＰが大きい場合には、イントラ予測処理よりも、インター予測処理を選択するのが好ましく、更に、インター予測処理よりもスキップモード予測処理を選択するのが好ましい。従って、図５に示すように、動画圧縮率ＱＰが大きくなるにつれて、閾値α２、α３、β２、β３が大きくなるように設定し、イントラ予測処理を選択するよりもインター予測処理を選択する割合が増加するように設定する。また動画圧縮率ＱＰが大きくなるにつれて、閾値α１及びβ１が大きくなるように設定し、インター予測処理を選択するよりもスキップモードを選択する割合が増加するように設定する。このように、量子化部による量子化の誤差に応じて各閾値を変化させることで、適切な符号化を実現することができる。

図６は、図１の動画像符号化装置により得られる画質を従来技術との比較において示す図である。入力動画像シーケンスとしてＨＤＴＶ＿Ｐａｒｋｊｏｙを用いた場合に、各復号量ビットレート（Ｍｂｐｓ）に対して、復号画像の画質ＰＳＮＲ(ピーク信号対雑音比)がデシベル単位で示されている。特性曲線６１が、図３に示す動画像符号化方法により得られた画像の画質を示し、特性曲線６２が、全予測モードを計算してベスト予測モードを特定する従来の動画像符号化方法により得られた画像の画質を示す。図６に示されるように、図３の動画像符号化方法を用いた場合、同一の復号量ビットレートにおいて従来の動画像符号化方法に比較して約０．２ｄＢ程度しか画質が低下しておらず、実質的には略同程度の画質が得られていると言える。

図７は、図１の動画像符号化装置を適用した動画像処理システムの構成の一例を示す図である。図７に示す動画像処理システム７１は、例えばデジタルカメラ或いはビデオレコーダであり、レンズ７２、ＣＣＤ又はＣＭＯＳのセンサ７３、ＣＰＵ又はＤＳＰであるマイクロプロセッサ７４、及びＨ．２６４に準拠したコーデック７５を含む。動画像処理システム７１は、内部メモリとして内蔵されるか或いは外部メモリとして取り外し可能なメモリ７６と、外部メモリとして取り外し可能なメディア７７とを備えている。

撮像対象からの入力光は、レンズ７２を介してセンサ７３に入射される。センサ７３は画像を１枚ずつ生成し、生成された画像がコーデック７５に順次入力される。コーデック７５は、図１に示した動画像符号化装置を含むものであり、図３に示す動画像符号化方法により、順次入力される画像からなる動画像データを符号化して圧縮する。コーデック７５が生成した符号化後のストリームは、外部メディア７７に保存される。する。ＣＰＵ或いはＤＳＰであるマイクロプロセッサ７４は、動画像処理システム７１の全体の動作を制御する。コーデック７５は、動画を圧縮する際にメモリ７６をバッファメモリとして使用する。

以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。

なお本願発明は以下の内容を含むものである。
（付記１）
縮小画画像に基づいて動き予測を行なう縮小画動き予測部と、
前記縮小画動き予測部による動き予測の結果に基づいてスキップモード予測処理、インター予測処理、及びイントラ予測処理の何れか１つの予測処理を選択する予測処理選択部と、
前記選択された１つの予測処理を縮小されていない画像に対して実行する予測部と
を含むことを特徴とする動画像符号化装置。
（付記２）
前記予測部は、
前記予測処理選択部によりスキップモード予測処理が選択されると、スキップモードでの予測処理を実行するスキップ予測部と、
前記予測処理選択部によりインター予測処理が選択されると、複数のインター予測モードのうちから最適なインター予測モードを選択して実行するインター予測部と、
前記予測処理選択部によりイントラ予測処理が選択されると、複数のイントラ予測モードのうちから最適なイントラ予測モードを選択して実行するイントラ予測部と
を含むことを特徴とする付記１記載の動画像符号化装置。
（付記３）
前記予測処理選択部は、前記縮小画動き予測部による動き予測により得られた初期動きベクトル及び初期コストに基づいてスキップモード予測処理、インター予測処理、及びイントラ予測処理の何れか１つを選択することを特徴とする付記１又は２記載の動画像符号化装置。
（付記４）
前記予測処理選択部は、着目矩形画像領域に隣接する矩形画像領域の動きベクトルから予測される予測動きベクトルと前記初期動きベクトルとの差分絶対値を求め、前記差分絶対値と複数の第１の閾値とを比較するとともに前記初期コストと複数の第２の閾値とを比較する比較処理を実行し、前記比較処理の結果に基づいてスキップモード予測処理、インター予測処理、及びイントラ予測処理の何れか１つを選択することを特徴とする付記３記載の動画像符号化装置。
（付記５）
前記予測部が前記１つの予測処理を実行することにより得られた画像の予測誤差を係数に変換する変換部と、
前記変換部により得られた前記係数を量子化する量子化部と、
前記量子化部により得られた量子化後の前記係数を符号化する符号化部と
を更に含み、前記量子化部による量子化の誤差に応じて前記複数の第１の閾値及び前記複数の第２の閾値を変化させることを特徴とする付記４記載の動画像符号化装置。
（付記６）
縮小画画像に基づいて動き予測を行ない、
前記動き予測の結果に基づいてスキップモード予測処理、インター予測処理、及びイントラ予測処理の何れか１つの予測処理を選択し、
前記選択された１つの予測処理を縮小されていない画像に対して実行する
各段階を含むことを特徴とする動画像符号化方法。
（付記７）
前記選択された１つの予測処理を縮小されていない画像に対して実行する段階は、
スキップモード予測処理が選択されると、スキップモードでの予測処理を実行し、
インター予測処理が選択されると、複数のインター予測モードのうちから最適なインター予測モードを選択して実行し、
イントラ予測処理が選択されると、複数のイントラ予測モードのうちから最適なイントラ予測モードを選択して実行する
各段階を含むことを特徴とする付記６記載の動画像符号化方法。
（付記８）
前記１つの予測処理を選択する段階は、前記動き予測により得られた初期動きベクトル及び初期コストに基づいてスキップモード予測処理、インター予測処理、及びイントラ予測処理の何れか１つを選択することを特徴とする付記６又はや記載の動画像符号化方法。
（付記９）
前記１つの予測処理を選択する段階は、
着目矩形画像領域に隣接する矩形画像領域の動きベクトルから予測される予測動きベクトルと前記初期動きベクトルとの差分絶対値を求め、
前記差分絶対値と複数の第１の閾値とを比較するとともに前記初期コストと複数の第２の閾値とを比較する比較処理を実行し、
前記比較処理の結果に基づいてスキップモード予測処理、インター予測処理、及びイントラ予測処理の何れか１つを選択する
各段階を含むことを特徴とする付記８記載の動画像符号化方法。
（付記１０）
前記１つの予測処理を実行することにより得られた画像の予測誤差を係数に変換し、
前記係数を量子化し、
量子化後の前記係数を符号化する
各段階を更に含み、前記量子化の誤差に応じて前記複数の第１の閾値及び前記複数の第２の閾値を変化させることを特徴とする付記９記載の動画像符号化装置。
（付記１１）
動画像を撮像する撮像素子と、
前記動画像を符号化する符号化器と
を含み、前記符号化器は、
前記動画像を縮小して得られる縮小画画像に基づいて動き予測を行なう縮小画動き予測部と、
前記縮小画動き予測部による動き予測の結果に基づいてスキップモード予測処理、インター予測処理、及びイントラ予測処理の何れか１つの予測処理を選択する予測処理選択部と、
前記選択された１つの予測処理を縮小されていない画像に対して実行する予測部と
を含むことを特徴とする動画像処理システム。

１ 動画像符号化装置
２ 縮小画動き予測部
３ 予測処理選択部
４ スキップモード予測部
５ インター予測部
６ イントラ予測部
７ 選択部
８ ＤＣＴ変換部
９ 量子化部
１０ 可変長符号部
１１ 逆量子化部
１２ 逆ＤＣＴ変換部
１３ フィルタ部
１４ 減算部
１５ 加算部

Claims (5)

1. 縮小画画像に基づいて動き予測を行なう縮小画動き予測部と、
   前記縮小画動き予測部による動き予測の結果に基づいてスキップモード予測処理、インター予測処理、及びイントラ予測処理の何れか１つの予測処理を選択する予測処理選択部と、
   前記選択された１つの予測処理を縮小されていない画像に対して実行する予測部と
   を含むことを特徴とする動画像符号化装置。
2. 前記予測部は、
   前記予測処理選択部によりスキップモード予測処理が選択されると、スキップモードでの予測処理を実行するスキップ予測部と、
   前記予測処理選択部によりインター予測処理が選択されると、複数のインター予測モードのうちから最適なインター予測モードを選択して実行するインター予測部と、
   前記予測処理選択部によりイントラ予測処理が選択されると、複数のイントラ予測モードのうちから最適なイントラ予測モードを選択して実行するイントラ予測部と
   を含むことを特徴とする請求項１記載の動画像符号化装置。
3. 前記予測処理選択部は、前記縮小画動き予測部による動き予測により得られた初期動きベクトル及び初期コストに基づいてスキップモード予測処理、インター予測処理、及びイントラ予測処理の何れか１つを選択することを特徴とする請求項１又は２記載の動画像符号化装置。
4. 前記予測処理選択部は、着目矩形画像領域に隣接する矩形画像領域の動きベクトルから予測される予測動きベクトルと前記初期動きベクトルとの差分絶対値を求め、前記差分絶対値と複数の第１の閾値とを比較するとともに前記初期コストと複数の第２の閾値とを比較する比較処理を実行し、前記比較処理の結果に基づいてスキップモード予測処理、インター予測処理、及びイントラ予測処理の何れか１つを選択することを特徴とする請求項３記載の動画像符号化装置。
5. 前記予測部が前記１つの予測処理を実行することにより得られた画像の予測誤差を係数に変換する変換部と、
   前記変換部により得られた前記係数を量子化する量子化部と、
   前記量子化部により得られた量子化後の前記係数を符号化する符号化部と
   を更に含み、前記量子化部による量子化の誤差に応じて前記複数の第１の閾値及び前記複数の第２の閾値を変化させることを特徴とする請求項４記載の動画像符号化装置。

Images