JP2006270436A - ビデオエンコーダ及びこれを用いた携帯無線端末装置 - Google Patents

Abstract

【課題】Ｈ．２６４／ＡＶＣビデオエンコーダにおいて、少ない計算量によって動き補償予測を行う。
【解決手段】動き補償予測器（２０）は、参照画像選択部（３１）、探索中心設定部（３２）と、探索範囲設定部（３３）、動きベクトル探索部（３４）、及び動画像信号中の対象ブロックに対して参照画像信号の選択、探索中心の設定、探索範囲の設定及び動きベクトルの探索を繰り返した結果求まる最適動きベクトルを用いて動き補償を行うことにより予測画像信号を生成する動き補償部（３５）を有し、探索範囲設定部（３４）は前回選択された参照画像信号上に設定された探索範囲内で探索された動きベクトルに依存する情報に従って、今回選択された参照画像信号上に探索範囲を設定する。
【選択図】 図２

Description

本発明は、ビデオエンコーダ及びこれを用いた携帯無線端末装置に関する。

動画像の圧縮符号化技術として代表的なＭＰＥＧ方式では、動き補償予測（インター予測）、イントラ予測、離散コサイン変換（ＤＣＴ）及び可変長符号化を組み合わせて符号化を行う。

一方、ITU-T Rec.H.264|ISO/IEC 14496-10 AVC（非特許文献１）に記載されているように、従来のＭＰＥＧ方式より符号化効率を高めたＨ．２６４／ＡＶＣと呼ばれる動画像符号化規格が制定されている。Ｈ．２６４／ＡＶＣでは、動き補償予測において複数の参照画像について動きベクトルの探索を行い、その結果得られる最適動きベクトルを用いて動き補償を行う。さらに、非特許文献２にはＨ．２６４／ＡＶＣにおける符号化モードの選択法として、符号化歪と符号量が最適な組み合わせの符号化モードを選択する符号化歪−符号量最適法（rate-distortion optimization：ＲＤＯ）が記載されている。
ITU-T Rec.H.264|ISO/IEC 14496-10 AVC Thomas Wiegand, Heiko Schwarz, Anthony Joch, Faouzi Kossentini, Senior Member, IEEE, and Gary K. Sullivan, Senior Member IEEE, "Rate-Constrained Coder Control and Comparison of Video Coding Standards" IEEE TRANSACTIONS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL.13, NO.7, JULY 2003

Ｈ．２６４／ＡＶＣでは、複数の参照画像からの選択が可能となったことで、符号化効率が向上する反面、最適な動きベクトルを探索するためのブロックマッチングの回数が参照画像数に比例して増大する。ブロックマッチングの回数が増えると、動き補償予測に必要な計算量が増える。従って、特に携帯無線端末装置のようなＣＰＵパワーの小さい機器にビデオエンコーダを実装する場合、ＣＰＵに大きな負担を与えることになり、好ましくない。

本発明は、少ない計算量によって動き補償予測を行うことができる、Ｈ．２６４／ＡＶＣに適したビデオエンコーダ及びこれを用いた携帯無線端末装置を提供することを目的とする。

本発明の第１の観点によると、動画像信号を符号化するビデオエンコーダにおいて、複数フレームの参照画像信号から１フレームの参照画像信号を選択する手段と、選択された参照画像信号上に探索中心を設定する手段と、前記選択された参照画像信号上に前記探索中心を基準とする探索範囲を設定する手段と、前記探索範囲内でブロックマッチングを行って動きベクトルを探索する手段と、前記動画像信号中の各対象ブロックに対して、前記参照画像信号の選択、前記探索中心の設定、前記探索範囲の設定及び前記動きベクトルの探索を繰り返した結果求まる最適動きベクトルを用いて前記参照画像信号に対して動き補償を行うことにより予測画像信号を生成する手段、及び前記動画像信号の前記対象ブロックに対する前記予測画像信号の差分信号及びサイド情報を符号化する手段を具備し、
前記探索範囲を設定する手段は、前回選択された参照画像信号上に設定された探索範囲内で探索された動きベクトルに依存する情報に従って、今回選択された参照画像信号上に前記探索範囲を設定することを特徴とする。

前記探索範囲を設定する手段は、第１に前記動きベクトルを探索する手段が以下の数式を満たす全ての動きベクトル候補ｍについて前記動きベクトルを探索するように前記探索範囲を設定することを特徴とする。

Ｒ２（ｍ）＜Ｒ０−（ＳＡＤ１−ΔＥＳＡＤ−ＳＡＤ０）／λ_M
ＳＡＤ２＝ＳＡＤ１−ΔＥＳＡＤ
ここで、Ｒ０，ＳＡＤ０は現在探索されている動きベクトルＭＶ０に対応する、前記サイド情報の発生符号量及びＳＡＤを表し、Ｒ２（ｍ）は前記動きベクトル候補ｍにそれぞれ対応する、前記サイド情報の発生符号量を表し、ＳＡＤ１は前記探索中心におけるＳＡＤを表し、ＳＡＤ２は探索中の動きベクトルＭＶ２に対応する、前記サイド情報の発生符号量を表し、ΔＥＳＡＤはＳＡＤ１に対するＳＡＤ２の減少量の期待値を表し、λMはラグランジェ乗数を表し、ＳＡＤは前記動画像信号と前記参照画像信号との間の差分の絶対値和(sum of absolute difference)を表す。

前記探索範囲を設定する手段は、第２に前記動きベクトルを探索する手段が以下の数式を満たす全ての動きベクトル候補ｍについて前記動きベクトルを探索するように前記探索範囲を設定することを特徴とする。

Ｒ２（ｍ）＜Ｒ０−（ＳＡＴＤ１−ΔＥＳＡＴＤ−ＳＡＴＤ０）／λ_M
ＳＡＴＤ２＝ＳＡＴＤ１−ΔＥＳＡＴＤ
ここで、Ｒ０，ＳＡＴＤ０は現在探索されている動きベクトルＭＶ０に対応する、前記サイド情報の発生符号量及びＳＡＴＤを表し、Ｒ２（ｍ）は前記動きベクトル候補ｍにそれぞれ対応する、前記サイド情報の発生符号量を表し、ＳＡＴＤ１は前記探索中心におけるＳＡＴＤを表し、ＳＡＴＤ２は探索中の動きベクトルＭＶ２に対応する、前記サイド情報の発生符号量を表し、ΔＥＳＡＴＤはＳＡＴＤ１に対するＳＡＴＤ２の減少量の期待値を表し、λMはラグランジェ乗数を表し、ＳＡＴＤは前記動画像信号と前記参照画像信号との間の差分をアダマール変換した値の絶対値和（sum of absolute transformed difference）を表す。

前記探索範囲を設定する手段は、第３に前記参照画像信号を選択する手段の１回目の選択時には以下の数式を満たす全ての動きベクトル候補mについて前記動きベクトルを探索するように前記探索範囲を設定することを特徴とする。

Ｒ２（ｍ）＜Ｒ１−ΔＥＳＡＤ／λ_M
ここで、Ｒ１は前記探索中心における動きベクトルに対応する、前記サイド情報の発生符号量を表す。

前記探索中心を設定する手段は、第４に第１回目の設定時には前記探索中心をゼロ点ベクトル及び予測ベクトルの位置がそれぞれ指し示すブロックのうち、ＳＡＤが最小となるブロックの位置に設定することを特徴とする。

一方、前記探索中心を設定する手段は、第ｉ（ｉ＝２，３…）回目の設定時には前記探索中心を（ａ）ゼロ点ベクトル、（ｂ）予測ベクトル、（ｃ）第１回目の探索で得られた動きベクトルをスケーリングしたベクトル、がそれぞれ指し示すブロックのうち、ＳＡＤが最小あるいは第１回目の設定時に得られるＳＡＤより小さくなるブロックの位置に設定することを特徴とする。

さらに、本発明によると上記ビデオエンコーダ、及び前記ビデオエンコーダにより前記動画像信号を符号化して得られる符号化ビットストリームを送信する送信手段を具備する携帯無線端末装置を提供する。

本発明によれば、動きベクトルの探索範囲を適切に設定できるため、動きベクトル探索のためのブロックマッチングの回数が大きく減少する。従って、複数フレームの参照画像を使用することによる符号化効率向上の効果を少ない計算量で得ることができる。

以下、図面を参照して本発明の実施形態を説明する。

図１は、本発明の第１の実施形態に係る動画像符号化装置を示している。動画像符号化装置には、この例では例えばフレーム単位で動画像信号１０１が入力される。動画像信号１０１は減算器１１に入力され、減算器１１により予測信号１１０との差分である予測誤差信号１０２が生成される。予測誤差信号１０２に対して直交変換／量子化ユニット１２により直交変換及び量子化が施される。量子化された直交変換係数情報１０３は、エントロピー符号化器２２に入力される。

量子化された直交変換係数情報１０３は、逆量子化／逆直交変換ユニット１５により処理され、これによって予測誤差信号１０３に対応した信号１０４が生成される。逆量子化／逆直交変換ユニット１５は直交変換／量子化ユニット１２の処理と逆の処理である逆ＤＣＴ及び逆量子化を行う。逆量子化／逆直交変換ユニットユニット１５からの出力信号１０４は、加算器１６においてモード選択スイッチ２１からの予測信号１１０と加算され、これによって局部復号画像信号１０６が生成される。局部復号画像信号１０６は、参照画像メモリ１８に参照画像信号として記憶される。参照画像メモリ１８には、複数フレームの参照画像信号が順次記憶される。

参照画像メモリ１８から読み出される参照画像信号は、デブロッキングフィルタ１９によってフィルタリングされる。フィルタリング後の参照画像信号１０７は、動き補償予測器２０に入力される。動き補償予測器２０では、フィルタリング後の複数フレームの参照画像信号について動きベクトルの探索と、動きベクトルによる動き補償を行い、動きベクトル情報１０８とフレーム単位の動き補償予測信号１０９を生成する。動き補償予測器２０については、後に詳しく説明する。

モード選択スイッチ２１は、符号化制御部２３から出力される符号化モード情報に従ってイントラ予測モード時にはイントラ予測信号１０５を選択し、動き補償予測モード（インター予測モード）時には動き補償予測信号１０９を選択する。モード選択スイッチ２１によって選択された予測信号１１０は、減算器１１に入力される。

エントロピー符号化器２２では、直交変換／量子化ユニット１２から出力される量子化された直交変換係数情報１０３、動き補償予測器２０から出力される動きベクトル情報１０８及び予測モード情報１１１に対して例えば算術符号化のようなエントロピー符号化を施し、情報１０３，１０８及び１１１の各々に対応する可変長符号１１３を生成する。可変長符号１１３は、図示しない後段の多重化器にシンタックス用データとして与えられ、多重化されることにより符号化ビットストリームが生成される。符号化スケーリングは図示しない出力バッファにより平滑化された後、図示しない伝送系または蓄積系へ送出される。

符号化制御部２３は、例えば動画像信号１０１のアクティビティや出力バッファのバッファ量をモニタし、バッファ量が一定となるように直交変換／量子化ユニット１２及び逆量子化／逆直交変換ユニット１５における量子化パラメータの制御とエントロピー符号化器２２の制御及びモード選択スイッチ２１の制御を行う。

動き補償予測器２０では図２に示されるように、デブロッキングフィルタ１９によるフィルタリング後の参照画像信号１０７によって与えられる参照画像信号セット１２１を入力とし、参照画像選択部３１によって１フレームの参照画像信号１２２を選択する。次に、動き補償予測器２０は選択された参照画像信号１２２に対して、探索中心設定部３２、探索範囲設定部３３及び動きベクトル探索部３４を経た動きベクトル１２３の探索と、動きベクトル１２３を用いた動き補償部３５よる動き補償を行い、動き補償予測信号１０９を生成する。

本実施形態における動きベクトル探索の概略は、以下の通りである。動画像信号１０１の１フレームに相当する図３（Ａ）に示される原画像信号２０１中の現在符号化しようとしているブロックを対象ブロック２０２とする。対象ブロック２０２に対して、図３（Ｂ）に示されるように、選択された参照画像信号２０３を用意する。この参照画像２０３中に、例えば対象ブロック２０２に対応する位置（ゼロ点ベクトルの位置）２０４を探索中心とする探索範囲２０５を設定する。次に図３（Ｃ）に示されるように、探索範囲２０５内でブロックマッチングにより対象ブロック２０２に最も類似した参照ブロック２０６を求め、対象ブロック２０２と参照ブロック２０６との間のベクトルｍを動きベクトルとする。図３（Ｄ）に示されるように、現在の対象ブロック２０２に隣接する複数の対象ブロックについて既に求められた動きベクトルから、公知の手法により予測ベクトルｐを求め、動きベクトルｍと予測ベクトルｐとの間の差分ベクトルｍ−ｐおよび参照画像を指定するための参照インデックスｒを動きベクトル情報１０８とする。

Ｈ．２６４／ＡＶＣにおける符号化モードの選択法として、符号化歪と符号量との組み合わせを最適にする符号化モードを選択するRate-Distortion 最適法（ＲＤＯ法）が知られている。本実施形態では、動きベクトル探索処理にＲＤＯを適用する。このとき動きベクトルｍは、例えば以下の数式（１）に示すコストＪを最小とするベクトルで与えられる。
Ｊ＝ＳＡＤ（ｍ）＋λ_M×Ｒ（ｍ，ｐ，ｒ） （１）
ここで、ＳＡＤ（ｍ）は原画像信号２０１と参照画像信号２０３との間の差分絶対値和（sum of absolute difference）、λ_Mはラグランジェ定数、Ｒ（ｍ，ｐ，ｒ）は差分ベクトル及び参照インデックス（サイド情報）の符号量をそれぞれ表す。

次に、図４及び図５に示すフローチャートを参照して動きベクトル探索の具体的な手順について説明する。図４及び図５は、ある対象ブロックに対して

まず、複数のフレームから第１回目の動きベクトル探索に用いる第１参照画像信号を選択する（ステップＳ１０１）。第１参照画像信号の選択法は、特に限定されない。例えば符号化対象画像信号のフレームの直近のフレームから第１参照画像信号を選択してもよいし、対象ブロックの近傍のブロックを符号化するときの参照画像信号の選択状況に基づいて第１参照画像信号を選択してもよい。

次に、第１参照画像信号上に探索中心を設定する（ステップＳ１０２）。ここでの探索中心は、例えば第１参照画像信号上でゼロ点ベクトル及び予測ベクトルの位置がそれぞれ指し示すブロックのうち、コストＪが最小（Ｊ＝Ｊ００）となるブロックの位置に設定される。ステップＳ１０２で設定された探索中心を基準にして、例えば矩形状の探索範囲を設定する（ステップＳ１０３）。

ステップＳ１０３で設定された探索範囲内でブロックマッチングを行って第１回目の動きベクトル探索を行い、動きベクトルＭＶ０を得る（ステップＳ１０４）。同時に、第１参照画像信号上で動きベクトルＭＶ０が指し示す参照ブロックにおけるＳＡＤ＝ＳＡＤ０とサイド情報の符号量Ｒ０及びコストＪ０を求める。コストＪ０は、数式（１）にＳＡＤ０及びＲ０を代入することにより求まる。

次に、Ｊ０が十分に小さいかどうかを調べるために、Ｊ０を閾値Ｔｈ０と比較する（ステップＳ１０５）。もし、Ｊ０が閾値Ｔｈ０より小さければ、動きベクトル探索処理を終了し、ステップＳ１０４で探索された動きベクトルを最適動きベクトルとして動き補償に用いる。一方、Ｊ０が閾値Ｔｈ０以上ならば、次に第ｉ回目（ｉ＝２，３，…）の動きベクトル探索に用いる別の参照画像信号（第ｉ参照画像信号）があるかどうかを調べる（ステップＳ１０６）。もし第ｉ参照画像信号がなければ処理を終了し、ステップＳ１０４で探索された動きベクトルを最適動きベクトルとして動き補償に用いる。第ｉ参照画像信号があれば第ｉ参照画像信号を選択する（ステップＳ１０７）。第ｉ参照画像信号は、符号化対象画像信号に時間的に近い複数フレームの参照画像信号から選択してもよいし、対象ブロックの近傍ブロックの動きベクトル探索時に参照されたフレームから選択してもよい。

次に、ステップＳ１０７で選択された第ｉ参照画像信号上に探索中心を設定する（ステップＳ１０８）。ここでの探索中心は、例えば第ｉ参照画像信号上で（ａ）ゼロ点ベクトル、（ｂ）予測ベクトル、（ｃ）ステップＳ１０４で得られた動きベクトルＭＶ０をスケーリングしたベクトルがそれぞれ指し示すブロックのうち、コストＪが最小あるいはＪ０より小さくなるブロックの位置に設定される。動きベクトルＭＶ０をスケーリングしたベクトルとは、ＭＶ０を第１参照画像信号のフレームと第ｉ参照画像信号のフレームとの間の時間間隔によって比例配分したベクトルであり、公知のテレスコピックサーチで用いられるベクトルと同様である。

次に、ステップＳ１０８で設定された探索中心のブロックにおけるコストＪ＝Ｊ１と先にステップＳ１０４で求められたＪ０との差を閾値Ｔｈ１と比較する（ステップＳ１０９）。もし、Ｊ１−Ｊ０が閾値Ｔｈ１以上ならば，ステップＳ１０５へ，一方、Ｊ１−Ｊ０が閾値Ｔｈ１より小さければ、ステップＳ１０８で設定された探索中心を有する探索範囲を設定する（ステップＳ１１０）。この場合、探索範囲は数式（１）に示したコストＪを考慮して設定する。具体的には、以下の数式（２）を満たす全ての動きベクトル候補ｍについて動きベクトルを探索するように探索範囲を設定する。

Ｒ２（ｍ）＜Ｒ０−（ＳＡＤ１−ΔＥＳＡＤ−ＳＡＤ０）／λM
ＳＡＤ２＝ＳＡＤ１−ΔＥＳＡＤ （２）
ここで、Ｒ０，ＳＡＤ０は現在探索されている動きベクトルＭＶ０に対応する、前記サイド情報の発生符号量及びＳＡＤを表し、Ｒ２（ｍ）は前記動きベクトル候補ｍにそれぞれ対応する、サイド情報の発生符号量を表し、ＳＡＤ１は前記探索中心におけるＳＡＤを表し、ＳＡＤ２は探索中の動きベクトルＭＶ２に対応する、前記サイド情報の発生符号量を表し、ΔＥＳＡＤはＳＡＤ１に対するＳＡＤ２の減少量の期待値を表し、λ_Mはラグランジェ乗数を表す。

こうして設定された探索範囲内でブロックマッチングを行って第ｉ回目の動きベクトル探索を行い、動きベクトルＭＶ２を得ると同時に、第ｉ参照画像信号上で動きベクトルＭＶ２が指し示す参照ブロックにおけるＳＡＤ＝ＳＡＤ２を求める（ステップＳ１１１）。

次に、Ｊ２がＪ０より小さいかどうかを調べる（ステップＳ１１２）。もし、Ｊ２がＪ０より小さければ、Ｊ２を新たなＪ０とし（ステップＳ１１３）、ステップＳ１０５に戻る。Ｊ２がＪ０以上ならば、ステップＳ１０５に戻る。

このように図５の例では、第２回目以降の動きベクトル探索において動きベクトルの探索範囲の絞り込みを行うため、動きベクトルの探索に必要なブロックマッチングの回数がさらに減少する。従って、動き補償予測に必要な計算量を削減することができる。

次に、図６を用いて第１回目の動きベクトル探索処理の別の例について説明する。図６は、図４に示すフローチャートを変更している。まず、複数のフレームから第１回目の動きベクトル探索に用いる第１参照画像信号を選択する（ステップＳ２０１）。第１参照画像信号の選択法は、特に限定されない。例えば符号化対象画像信号のフレームの直近のフレームから第１参照画像信号を選択してもよいし、対象ブロックの近傍のブロックを符号化するときの参照画像信号の選択状況に基づいて第１参照画像信号を選択してもよい。次に、第１参照画像信号上に探索中心を設定する（ステップＳ２０２）。ここでの探索中心は、例えば第１参照画像信号上でゼロ点ベクトル及び予測ベクトルの位置がそれぞれ指し示すブロックのうち、コストＪが最小（Ｊ＝Ｊ００）となるブロックの位置に設定される。これまでの処理は、図４のステップＳ１０１〜Ｓ１０２の処理と同様である。

次に、Ｊ００が十分に小さいかどうかを調べるために、Ｊ００を閾値Ｔｈ０と比較する（ステップＳ２０３）。もしＪ００が閾値Ｔｈ０より小さければ、Ｊ００をＪ０として図５のステップＳ１０５に移り、第ｉ回目以降の動きベクトル探索を行う。一方、Ｊ００が閾値Ｔｈ０より大きければ、第１参照画像信号上にステップＳ２０２で設定された探索中心を基準に探索範囲を設定する（ステップＳ２０５）。

ステップＳ２０５では、図５のステップＳ１１０と同様に、数式（２）を満たす全ての動きベクトル候補ｍについて動きベクトルを探索するように探索範囲を設定する。但し、この場合は数式（２）のＲ０，ＳＡＤ０に、探索中心における動きベクトルＭＶ０に対応する、サイド情報の発生符号量（Ｒ１）及びＳＡＤ（ＳＡＤ１）を代入する。従って、数式（２）は以下のように変形される。

Ｒ２（ｍ）＜Ｒ１−ΔＥＳＡＤ／λ_M （３）
このように図６の例では、１回目の動きベクトル探索においても動きベクトルの探索範囲の絞り込みを行う。従って、動きベクトルの探索に必要なブロックマッチングの回数がさらに減少するため、計算量のさらなる削減を達成することができる。

以上の説明ではＳＡＤを用いたが、ＳＡＤに代えて動画像信号と参照画像信号との間の差分をアダマール変換した値の絶対値和（sum of absolute transformed difference）（ＳＡＴＤ）を用いてもよい。その場合、数式（２）に代えて以下の数式（４）を用いる。

Ｒ２（ｍ）＜Ｒ０−（ＳＡＴＤ１−ΔＥＳＡＴＤ−ＳＡＴＤ０）／λ_M
ＳＡＴＤ２＝ＳＡＴＤ１−ΔＥＳＡＴＤ （４）
図７は、本発明の応用例である携帯電話機のような携帯無線端末装置を示している。受信時には、図示しないキャリア通信網に含まれる基地局から送信される無線周波数（ＲＦ）信号がアンテナ５０により受信され、受信信号はデュプレクサ５１を介して受信ユニット５２に入力される。受信ユニット５１は受信信号に対して増幅、周波数変換（ダウンコンバート）及びアナログ−ディジタル変換などの処理を施し、中間周波数（ＩＦ）信号を生成する。受信ベースバンド信号は、符号分割多元接続（code division multiple access：ＣＤＭＡ）コーデック５４に入力され、直交復調及び逆拡散の処理を受けて受信データとされる。受信データは、受信されたＲＦ信号が音声信号の場合は音声コーデック５５によって所定の音声復号化方式に従って伸張処理され、さらにディジタル−アナログ変換により復号されてアナログ音声信号とされる。アナログ音声信号は電力増幅器５８６を介してスピーカ３７に供給され、ここから音声として出力される。

一方、送信時にはユーザの発声音声がマイクロフォン５８により音声信号として検出される。音声信号は前置増幅器５９で増幅された後、音声コーデック５５によりディジタル化され、かつ所定の音声符号化方式に従って圧縮処理されることによって、送信音声データとされる。送信音声データはＣＤＭＡコーデック５４に入力され、拡散処理及び直交変調の処理を受ける。直交変調信号は送信ユニット３３によりディジタル−アナログ変換、周波数変換（アップコンバート）を受けてＲＦ信号に変換され、さらに電力増幅器により増幅された後、デュプレクサ５１を介してアンテナ５０に供給されることにより、電波として空間に放射され、前記基地局に向けて送信される。

中央演算処理装置（ＣＰＵ）でなる制御ユニット６０は、各部の制御及び種々の演算や映像・文字情報の処理を司る部分であり、ここにはＣＤＭＡコーデック５４及び音声コーデック５５の他、キー入力部６１、ディスプレイ６２、ビデオコーデック６３及びカメラ（イメージングデバイス）６４が接続されている。図示しないバッテリから制御ユニット６０の制御下で各部に電源が供給される。

ビデオコーデック６３は、Ｈ．２６４／ＡＶＣに準拠しており、図１あるいは図２に示したビデオデコーダと図示しないビデオデコーダを含む。ビデオエンコーダは、例えばカメラ４４によって得られる動画像信号を符号化し、符号化ビットストリームを生成する。符号化ビットストリームは制御ユニット６０の制御下でＣＤＭＡコーデック３４に供給され、送信ユニット５３、デュプレクサ５１及びアンテナ５０を介して前記基地局に向けて送信される。このときカメラ４４によって得られる動画像信号を制御ユニット６０により処理してディスプレイ６２に供給することによって、撮影された画像をモニタすることもできる。

前記受信データが圧縮された動画像信号である場合、受信データはＣＤＭＡコーデック３４により符号化ビットストリームとされ、ビデオデコーダに入力される。ビデオデコーダは、符号化ビットストリームを復号して動画像信号を生成する。ビデオデコーダにより生成される動画像信号は、制御ユニット６０の制御下でディスプレイ６２に供給されることによって画像として表示される。

ビデオエンコーダで必要な処理の一部（例えば予測モードの決定）や、ビデオデコーダで必要な処理の一部は、制御ユニット６０のＣＰＵにおいてソフトウェア処理で実現される。本発明の前記実施形態に従うビデオデコーダは、前述したように動きベクトルの探索に必要な計算量が大きく減少するため、ビデオデコーダ及び制御ユニット４０の負担が軽減される。この結果、図７のような無線端末装置の小型化、低消費電力化に寄与することができる。

本発明の一実施形態に従うビデオエンコーダを示すブロック図 図１中の動き補償予測器の機能を表したブロック図 本発明の一実施形態における動きベクトル探索の概略を説明する図 本発明の一実施形態における第１回目の動きベクトル探索について説明するフローチャート 本発明の一実施形態における第ｉ回目（ｉ＝２，３…）の動きベクトル探索について説明するフローチャート 本発明の一実施形態における第１回目の動きベクトル探索の他の例について説明するフローチャート 図１のビデオエンコーダを含む携帯無線端末装置の例を示すブロック図

符号の説明

１１…減算器；
１２…ＤＣＴユニット；
１３…量子化器；
１４…逆量子化器；
１５…ＩＤＣＴユニット；
１６…加算器；
１７…イントラ予測器；
１８…参照画像メモリ；
１９…デブロッキングフィルタ；
２０…インター予測器；
２１…予測画像信号切替スイッチ；
２２…エントロピー符号化器；
２３…符号化制御部；
３１…参照画像選択部；
３２…探索中心設定部；
３３…探索範囲設定部；
３４…動きベクトル探索部；
３５…動き補償部

Claims (7)

1. 動画像信号を符号化するビデオエンコーダにおいて、
   複数フレームの参照画像信号から１フレームの参照画像信号を選択する手段と、
   選択された参照画像信号上に探索中心を設定する手段と、
   前記選択された参照画像信号上に前記探索中心を基準とする探索範囲を設定する手段と、
   前記探索範囲内でブロックマッチングを行って動きベクトルを探索する手段と、
   前記動画像信号中の各対象ブロックに対して、前記参照画像信号の選択、前記探索中心の設定、前記探索範囲の設定及び前記動きベクトルの探索を繰り返した結果求まる最適動きベクトルを用いて前記参照画像信号に対して動き補償を行うことにより予測画像信号を生成する手段、及び
   前記動画像信号の前記対象ブロックに対する前記予測画像信号の差分信号及びサイド情報を符号化する手段を具備し、
   前記探索範囲を設定する手段は、前回選択された参照画像信号上に設定された探索範囲内で探索された動きベクトルに依存する情報に従って、今回選択された参照画像信号上に前記探索範囲を設定することを特徴とするビデオエンコーダ。
2. 請求項１記載のビデオエンコーダにおいて、前記探索範囲を設定する手段は、前記動きベクトルを探索する手段が以下の数式を満たす全ての動きベクトル候補ｍについて前記動きベクトルを探索するように前記探索範囲を設定することを特徴とする。
   Ｒ２（ｍ）＜Ｒ０−（ＳＡＤ１−ΔＥＳＡＤ−ＳＡＤ０）／λ_M
   ＳＡＤ２＝ＳＡＤ１−ΔＥＳＡＤ
   ここで、Ｒ０，ＳＡＤ０は現在探索されている動きベクトルＭＶ０に対応する、前記サイド情報の発生符号量及びＳＡＤを表し、Ｒ２（ｍ）は前記動きベクトル候補ｍにそれぞれ対応する、サイド情報の発生符号量を表し、ＳＡＤ１は前記探索中心におけるＳＡＤを表し、ＳＡＤ２は探索中の動きベクトルＭＶ２に対応する、前記サイド情報の発生符号量を表し、ΔＥＳＡＤはＳＡＤ１に対するＳＡＤ２の減少量の期待値を表し、λ_Mはラグランジェ乗数を表し、ＳＡＤは前記動画像信号と前記参照画像信号との間の差分の絶対値和(sum of absolute difference)を表す。
3. 請求項１記載のビデオエンコーダにおいて、前記探索範囲を設定する手段は、前記動きベクトルを探索する手段が以下の数式を満たす全ての動きベクトル候補ｍについて前記動きベクトルを探索するように前記探索範囲を設定することを特徴とする。
   Ｒ２（ｍ）＜Ｒ０−（ＳＡＴＤ１−ΔＥＳＡＴＤ−ＳＡＴＤ０）／λ_M
   ＳＡＴＤ２＝ＳＡＴＤ１−ΔＥＳＡＴＤ
   ここで、Ｒ０，ＳＡＴＤ０は現在探索されている動きベクトルＭＶ０に対応する、前記サイド情報の発生符号量及びＳＡＴＤを表し、Ｒ２（ｍ）は前記動きベクトル候補ｍにそれぞれ対応する、サイド情報の発生符号量を表し、ＳＡＴＤ１は前記探索中心におけるＳＡＴＤを表し、ＳＡＴＤ２は探索中の動きベクトルＭＶ２に対応する、前記サイド情報の発生符号量を表し、ΔＥＳＡＴＤはＳＡＴＤ１に対するＳＡＴＤ２の減少量の期待値を表し、λ_Mはラグランジェ乗数を表し、ＳＡＴＤは前記動画像信号と前記参照画像信号との間の差分をアダマール変換した値の絶対値和（sum of absolute transformed difference）を表す。
4. 請求項２または３記載のビデオエンコーダにおいて、前記探索範囲を設定する手段は、前記参照画像信号を選択する手段の１回目の選択時には以下の数式を満たす全ての動きベクトル候補mについて前記動きベクトルを探索するように前記探索範囲を設定することを特徴とする。
   Ｒ２（ｍ）＜Ｒ１−ΔＥＳＡＤ／λ_M
   ここで、Ｒ１は前記探索中心における動きベクトルに対応する、前記サイド情報の発生符号量を表す。
5. 請求項１記載のビデオエンコーダにおいて、前記探索中心を設定する手段は、第１回目の設定時には前記探索中心をゼロ点ベクトル及び予測ベクトルの位置がそれぞれ指し示すブロックのうち、以下の数式で示すコストＪが最小となるブロックの位置に設定することを特徴とする。
   Ｊ＝ＳＡＤ（ｍ）＋λ_M×Ｒ（ｍ）
   ここで、ＳＡＤ（ｍ）は前記動画像信号と参照画像信号との間の差分絶対値和（sum of absolute difference）、λ_Mはラグランジェ定数、Ｒ（ｍ）は前記サイド情報の符号量をそれぞれ表す。
6. 請求項１記載のビデオエンコーダにおいて、前記探索中心を設定する手段は、第ｉ（ｉ＝２，３…）回目の設定時には前記探索中心を（ａ）ゼロ点ベクトル、（ｂ）予測ベクトル、（ｃ）第１回目の探索で得られた動きベクトルをスケーリングしたベクトル、がそれぞれ指し示すブロックのうち、以下の数式で示すコストＪが最小あるいは第１回目の設定時に得られるコストＪより小さくなるブロックの位置に設定することを特徴とする。
   Ｊ＝ＳＡＤ（ｍ）＋λ_M×Ｒ（ｍ）
   ここで、ＳＡＤ（ｍ）は前記動画像信号と参照画像信号との間の差分絶対値和（sum of absolute difference）、λ_Mはラグランジェ定数、Ｒ（ｍ）は前記サイド情報の符号量をそれぞれ表す。
7. 請求項１乃至６のいずれか１項記載のビデオエンコーダ、及び
   前記ビデオエンコーダにより前記動画像信号を符号化して得られる符号化ビットストリームを送信する送信手段を具備する携帯無線端末装置。

Images