JP2006014288A - 動きベクトル符号化装置、方法、プログラム及び媒体 - Google Patents

Abstract

【課題】動画像圧縮符号化において、動きの激しい画像で、予測ベクトルと動きベクトルが一致しないベクトルが多く含まれるような場合であっても符号化効率を低下させないために、動きベクトル符号量を削減する。
【解決手段】動画像圧縮符号化に使う動きベクトルの符号量について、ピクチャの動きベクトル成分の最大値あるいは最小値と、差分ベクトルの分布を考慮し、差分ベクトル符号量が少ないｆ＿ｃｏｄｅを設定することで、動きベクトル成分をまったく変更することなく、動きベクトル符号量のみ削減する。
【選択図】図１

Description

本発明は、動画像圧縮符号化において、動きベクトル（以下、ＭＶと略称）の符号化に関するものである。

動画像圧縮符号化において、ＭＶの符号化は、ＭＶと予測ベクトルの差分を符号化する方法が一般的であり、予測ベクトルが確からしいと仮定して符号量を抑えている。しかしシーンによっては予測ベクトルが外れることがあり、その際にはＭＶ符号量が増大してしまう。ＭＶの符号化は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）では、ＭＶとある方法により決定した予測ＭＶから差分ベクトルを求め、これを符号化する。差分ベクトルは、基本差分ベクトルをスケールファクタでスケーリングし、それに残差ベクトルを加えて表現する。スケールファクタは、動きベクトルの符号化可能範囲を決定するスケールファクタコードｆ＿ｃｏｄｅで、１＜＜（ｆ＿ｃｏｄｅ−１）と表される。すなわち動きベクトルの符号化可能範囲は、２のｆ＿ｃｏｄｅ乗に比例する大きさの領域を持つことになる。基本差分ベクトルは可変長符号化で、残差ベクトルは固定長符号化部で符号化する。このｆ＿ｃｏｄｅの設定により、同じ差分ベクトルの表現でも、符号量が異なってくる。

ｆ＿ｃｏｄｅは、ピクチャごとに決定するが、ピクチャのＭＶ成分の最大値と最小値を包含することをｆ＿ｃｏｄｅの必要条件とし、この中で最小のｆ＿ｃｏｄｅ値を使うことも一つの方法である。

さらに、ピクチャ内のマクロブロック（以下、ＭＢと略称）ごとのＭＶの差分値の内、最大の差分値を抽出し、それを表現できる最小のｆ＿ｃｏｄｅを使う方法もある。（例えば、特許文献１参照。）。

また、入力した画像処理情報からピクチャのＭＶを全て求め、それら成分の最大値と、ＭＶの相関値から、ＭＶ符号化の極端な増加を防ぐ方法もある（例えば、特許文献２参照。）。

しかしこれらの方法では、一度全てのＭＶを求めた後でなければ、スケールファクタを決定することが出来ない。
特開２００１−１９７４９２号公報 特開２００２−２０９２１６号公報

解決しようとする問題点は、エンコードする際に、ピクチャのＭＶを全て求めなければ、ＭＶ符号量を削減することを目的としたｆ＿ｃｏｄｅの設定ができない点である。

本発明は、過去のＭＶの情報を使うことで、符号化するピクチャのＭＶを符号化する前に、予めＭＶ符号量を削減することを目的としたｆ＿ｃｏｄｅの決定を行うことを、主要な特徴とする。

符号化ピクチャのＭＶを検出する前に、予め求めておいたＭＶ符号量を削減することのできるｆ＿ｃｏｄｅを使うことで、同じＭＶを表現しているにも関わらず、ＭＶ符号量を削減できる利点がある。

符号化ピクチャには、符号化フレーム又は符号化フィールドが対応できる。以下では、一例として符号化フレームを基準に実施の形態を記述するが、本発明が符号化フレームに制限されるのではない。

符号化フレームのＭＶを検出する前に、前もって過去のＭＶ情報を元に、ＭＶ符号量を削減できるスケールファクタを決定し、同じＭＶの表現であるにも関わらず、ＭＶ符号量の削減を実現した。

（実施の形態１）
図１は、本発明装置の実施の形態１であって、ＭＰＥＧ方式に基づく動きベクトル符号化装置の一例を表している。１０１は符号化フレームと参照フレームを入力とし、予め決定しておいたベクトル探索範囲の範囲内（ｆ＿ｃｏｄｅ１）で、ＭＢ毎にＭＶを検出し、ＭＶとＭＶ検出範囲、ＭＶＴｙｐｅ（ｆｏｒｗａｒｄベクトル ｏｒ ｂａｃｋｗａｒｄベクトル）を出力するＭＶ検出器である。１０３はＭＶを一時記憶するＭＶバッファ、１０４はＭＶバッファ１０３のＭＶから予測ベクトルを作成する予測ベクトル作成器である。１０２は、ＭＶバッファ１０３から出力されるＭＶと、予測ベクトル作成器１０４から出力される予測ベクトルとの差分ベクトルを１ｆｒｍ分加算し、１ｆｒｍの平均差分ベクトルを計算する差分ＭＶ平均器である。１０５はＭＶ検出器１０１から出力されるＭＶ検出範囲を満たす最小となるｆ＿ｃｏｄｅ１を求め、差分ＭＶ平均器１０２の１ｆｒｍ分の差分ベクトルの平均値から、前記差分ベクトルの平均値のＭＶ符号量が最小となるｆ＿ｃｏｄｅ２を求め、前記ｆ＿ｃｏｄｅ２が前記ｆ＿ｃｏｄｅ１より大きい値である場合、ｆ＿ｃｏｄｅとしてｆ＿ｃｏｄｅ２を採用し、その他の場合は、ｆ＿ｃｏｄｅ１を採用し、ｆ＿ｃｏｄｅをピクチャタイプとＭＶｔｙｐｅごとに記憶するｆ＿ｃｏｄｅ決定器である。このようにして記憶されたｆ＿ｃｏｄｅはこの後に続くフレームの中で、同じタイプの符号化フレームのＭＶ符号化に必要なｆ＿ｃｏｄｅを出力するために使うことができる。また、現在の符号化フレームのＭＶ符号化のためのｆ＿ｃｏｄｅとして、同一のタイプの先行する符号化フレームを処理することにより予め決定され記憶されるｆ＿ｃｏｄｅを使用することができる。一般に、Ｂｐｉｃｔｕｒｅでは、参照するピクチャとの間隔が、ｆｏｒｗａｒｄベクトルとｂａｃｋｗｏｒｄベクトルで異なるため、ＭＶｔｙｐｅ毎にｆ＿ｃｏｄｅを記憶する。また、ＰｐｉｃｔｕｒｅはＢｐｉｃｔｕｒｅとＭＶを検出する間隔が異なるため、ピクチャタイプに応じてｆ＿ｃｏｄｅを記憶する。１０６は差分ベクトルとＦｃｏｄｅ決定器１０５からのｆ＿ｃｏｄｅを入力とし、ＭＶを符号化するＭＶ符号化器である。

実施の形態１では、予め過去のｆ＿ｃｏｄｅの動き補償範囲内でＭＶを検出し、その検出範囲を包含するように決定したｆ＿ｃｏｄｅ１と、過去の差分ベクトルの平均値が最小の符号量となるｆ＿ｃｏｄｅ２を決定し、ｆ＿ｃｏｄｅ２＞ｆ＿ｃｏｄｅ１ならばＭＶ符号化器が符号化に使うｆ＿ｃｏｄｅとしてｆ＿ｃｏｄｅ２を使い、そうでなければｆ＿ｃｏｄｅ１を使うことができる。

上記構成により、符号化フレームのＭＶや差分ベクトルを全て保存する必要なく、ＭＶの符号量を削減することが出来る。

（実施の形態２）
図２は、本発明装置の実施の形態２であって、ＭＰＥＧ方式に基づく動きベクトル符号化装置の別の構成を表している。図２において、実施の形態１と同じ構成のものは同一の符号を付しているため、該当部分の動作説明は省略する。実施の形態１と大きく異なる点は、過去のｆ＿ｃｏｄｅを用いることによる遅延なく、検出したＭＶに対してｆ＿ｃｏｄｅを求めることが出来る点である。
２０１は予めＭＶ探索範囲を決定する必要なく、ＭＶを検出してｆ＿ｃｏｄｅ決定するために存在しており、符号化フレームと参照フレームを入力とし、符号化前に予め一部のＭＢ毎にＭＶを検出し、それを出力とするＰｒｅＭＶ検出器、２０２はＭＶバッファ１０３で検出されたＭＶのベクトル成分のうち、最大値と最小値を保持するバッファ、２０５はＭＶ成分の最大値・最小値と、差分ベクトルの平均値を入力とし、ｆ＿ｃｏｄｅと、ＭＶ成分の最大値・最小値を包含するＭＶ探索範囲を出力するＦ＿ｃｏｄｅ決定器、２０６はＭＶ検出器２０３で検出したＭＶと、Ｆｃｏｄｅ決定器２０５で決定したＦ＿ｃｏｄｅからＭＶを符号化するＭＶ符号化器である。Ｆ＿ｃｏｄｅ決定器２０５では、ＭＶ成分の最大値、最小値から決定したｆ＿ｃｏｄｅ１と、差分ベクトルの平均値が最小の符号量となるｆ＿ｃｏｄｅ２を決定し、ｆ＿ｃｏｄｅ２＞ｆ＿ｃｏｄｅ１ならばＭＶ符号化器２０６で符号化に使うｆ＿ｃｏｄｅにｆ＿ｃｏｄｅ２を出力し、そうでなければｆ＿ｃｏｄｅ１を出力する。２０３は符号化フレームと参照フレームとＭＶ探索範囲を入力とし、前記範囲内でＭＢ（ＭａｃｒｏＢｌｏｃｋ）毎にＭＶを検出するＭＶ検出器である。

実施の形態２は、符号化フレームのＭＶを検出する前に、符号化とは別に予めＭＶを一定間隔の距離を持つよう間引いた複数のＭＢでＭＶ検出を行い、Ｆｃｏｄｅ決定器２０５でＭＶ成分の最大値・最小値及び差分ベクトルの平均値からＭＶの探索範囲と、ｆ＿ｃｏｄｅを決定し、改めてＭＶ検出とＭＶ符号化を行う。

上記構成により、記憶が必要な要素は、ベクトル成分の最大値、最小値、差分ベクトルの平均値のみとなるので、符号化フレームのＭＶや差分ベクトルを全て保存する必要なく、ＭＶの符号量を削減することが出来る。また、ＭＶ検出直前に、間引いた複数のＭＢでＭＶの傾向をつかみ、ｆ＿ｃｏｄｅを決定するため、ピクチャタイプを考慮する必要が無くなる。

（実施の形態３）
図３は、本発明の実施の形態３であって、ＭＰＥＧ方式に基づく動きベクトル符号化装置の別の構成を表している。図３において、実施の形態１や２と同じ構成のものは同一の符号を付しているため、該当部分の動作説明は省略する。３０１は１フレーム分のＳｔｒｅａｍバッファ、３０２はＳｔｒｅａｍを入力としＭＶを復号化するＭＶ復合化器、２０６はＭＶバッファ１０３のＭＶと、Ｆｃｏｄｅ決定器２０５で決定したＦ＿ｃｏｄｅからＭＶを符号化するＭＶ符号化器である。３０３は、ＭＶ符号化器２０６から出力される符号化済みＭＶをＳｔｒｅａｍのＭＶと置き換えるＭＶ合成器である。

実施の形態３は、既に符号化済みのＳｔｒｅａｍを入力とし、そのＭＶのｆ＿ｃｏｄｅを置き換え、再度ＭＶを符号化している。上記構成により、一度符号化したＭＶについて、ｆ＿ｃｏｄｅの置き換えとＭＶの再符号化することで、ＭＶ符号量を削減することが出来る。

前記実施の形態１〜３は、動画像圧縮符号化のためのシステムの一部である動きベクトル符号化装置を示すものであり、前記システムには、他にもフレーム再配列や多重化（multiplexing）などのために様々な機能ブロックが含まれることができる。また、前記実施の形態１〜３には、動きベクトル符号化が装置により行われるのが開示されているが、ソフトウェア的に、すなわちプログラムによっても同様に行うことができる。ひいては、前記プログラムを記録した媒体を用いて、マイクロプロセッサやコンピューターなどのシステムを動作させることにより、動きベクトル符号化又は動画像圧縮符号化を行うことができる。

前記符号化を用いて得られた結果、すなわち符号化情報は、必要に応じて他のところに伝送することができ、記録装置を用いて媒体に記録することができる。そして、この符号化情報が復号化装置に入力されると、元のデータが復元できる。

本発明は、動きの激しく予測ベクトルが外れるような映像において、ＭＶと予測ベクトルからｆ＿ｃｏｄｅを決定することで、急激なＭＶ符号量の増加を抑えることができる。

本発明の実施の形態１に於ける動きベクトル符号化装置の構成図 本発明の実施の形態２に於ける動きベクトル符号化装置の構成図 本発明の実施の形態３に於ける動きベクトル符号化装置の構成図

符号の説明

１０１、２０３ ＭＶ検出器
１０２ 差分ＭＶ平均器
１０３ ＭＶバッファ
１０４ 予測ＭＶ作成器
１０５、２０５ Ｆｃｏｄｅ決定器
１０６、２０６ ＭＶ符号化器
２０１ ＰｒｅＭＶ検出器
２０２ ＭＶ成分Ｍａｘ／Ｍｉｎバッファ
３０１ Ｓｔｒｅａｍバッファ
３０２ ＭＶ復号化器
３０３ ＭＶ合成器

Claims (13)

1. 符号化ピクチャと参照ピクチャを入力とし、所定の大きさのブロック毎に動きベクトルとその範囲を検出する検出手段と、前記検出手段で検出された動きベクトルを記憶する第一の記憶手段と、前記第一の記憶手段から出力される動きベクトルから予測ベクトルを作成する作成手段と、前記第一の記憶手段から出力される動きベクトルと、前記作成手段から出力される予測ベクトルとの差分ベクトルの平均値を計算する計算手段と、前記計算手段で計算された差分ベクトルの平均値を基に動きベクトルの符号化可能範囲を表す係数を決定する決定手段と、前記差分ベクトルと前記決定手段から出力される係数により、動きベクトルを符号化する符号化手段とを備えることを特徴とする動きベクトル符号化装置。
2. 前記決定手段は、前記検出手段で検出された動きベクトルの最大値と最小値を含む第一の符号化可能範囲が、前記計算手段で計算された平均値が最小の符号量となる第二の符号化可能範囲以上である場合には、第一の符号化可能範囲を選択し、前記計算手段で計算された平均値が最小の符号量となる第二の符号化可能範囲未満である場合には、第二の符号化可能範囲を選択することを特徴とする、請求項１記載の動きベクトル符号化装置。
3. 符号化ピクチャと参照ピクチャを入力とし、符号化ピクチャの一部の動きベクトルを検出する予備検出手段と、前記予備検出手段で検出された動きベクトルを記憶する第一の記憶手段と、前記第一の記憶手段で記憶された動きベクトルから予測ベクトルを作成する作成手段と、前記第一の記憶手段で記憶された動きベクトルと、前記作成手段で作成された予測ベクトルとの差分ベクトルの平均値を計算する計算手段と、前記第一の記憶手段で記憶された動きベクトルの最大値と最小値を記憶する第二の記憶手段と、前記第二の記憶手段で記憶された動きベクトルの最大値・最小値と、前記計算手段で計算された差分ベクトルの平均値を基に、動きベクトルの符号化可能範囲を表す係数と、動きベクトルの最大値・最小値を包含する探索範囲を出力する決定手段と、符号化ピクチャと参照ピクチャと前記決定手段から出力される探索範囲を基に、所定の大きさのブロック毎に動きベクトルを検出する本検出手段と、前記決定手段で決定した係数を基に、前記本検出手段で検出した動きベクトルを符号化する符号化手段とを備えることを特徴とする動きベクトル符号化装置。
4. 前記決定手段は、前記本検出手段で検出された動きベクトルの最大値と最小値を含む第一の符号化可能範囲が、前記計算手段で計算された平均値が最小の符号量となる第二の符号化可能範囲以上である場合には、第一の符号化可能範囲を選択し、前記計算手段で計算された平均値が最小の符号量となる第二の符号化可能範囲未満である場合には、第二の符号化可能範囲を選択することを特徴とする、請求項３に記載の動きベクトル符号化装置。
5. 動画像圧縮ストリームを入力とする動きベクトル復号手段と、前記動きベクトル復号手段で復号化された動きベクトルを記憶する第一の記憶手段と、前記第一の記憶手段から出力される動きベクトルから予測ベクトルを作成する作成手段と、前記第一の記憶手段から出力される動きベクトルと、前記作成手段から出力される予測ベクトルとの差分ベクトルの平均値を計算する計算手段と、前記計算手段で計算された差分ベクトルの平均値を基に動きベクトルの符号化可能範囲を表す係数を決定する決定手段と、前記差分ベクトルと前記決定手段から出力される係数により、動きベクトルを符号化する符号化手段と、前記符号化手段で符号化された動きベクトルのストリームを、前記動画像圧縮ストリームの動きベクトル部と置換える置換え手段を備えることを特徴とする動きベクトル符号化装置。
6. 前記決定手段は、前記動きベクトル復号手段で復号化された動きベクトルの最大値と最小値を含む第一の符号化可能範囲が、前記計算手段で計算された平均値が最小の符号量となる第二の符号化可能範囲以上である場合には、第一の符号化可能範囲を選択し、前記計算手段で計算された平均値が最小の符号量となる第二の符号化可能範囲未満である場合には、第二の符号化可能範囲を選択することを特徴とする、請求項５記載の動きベクトル符号化装置。
7. 符号化ピクチャと参照ピクチャを入力とし、所定の大きさのブロック毎に動きベクトルとその範囲を検出する検出ステップと、前記検出ステップで検出された動きベクトルを記憶する第一の記憶ステップと、前記第一の記憶ステップで記憶された動きベクトルから予測ベクトルを作成する作成ステップと、前記第一の記憶ステップで記憶された動きベクトルと、前記作成ステップで作成された予測ベクトルとの差分ベクトルの平均値を計算する計算ステップと、前記計算ステップで計算された差分ベクトルの平均値を基に動きベクトルの符号化可能範囲を表す係数を決定する決定ステップと、前記差分ベクトルと前記決定ステップで決定された係数により、動きベクトルを符号化する符号化ステップを有することを特徴とする動きベクトル符号化方法。
8. 前記決定ステップは、前記検出ステップで検出された動きベクトルの最大値と最小値を含む第一の符号化可能範囲が、前記計算ステップで計算された平均値が最小の符号量となる第二の符号化可能範囲以上である場合には、第一の符号化可能範囲を選択し、前記計算ステップで計算された平均値が最小の符号量となる第二の符号化可能範囲未満である場合には、第二の符号化可能範囲を選択することを特徴とする、請求項７記載の動きベクトル符号化方法。
9. 符号化ピクチャと参照ピクチャを入力とし、符号化ピクチャの一部の動きベクトルを検出する予備検出ステップと、前記予備検出ステップで検出された動きベクトルを記憶する第一の記憶ステップと、前記第一の記憶ステップで記憶された動きベクトルから予測ベクトルを作成する作成ステップと、前記第一の記憶ステップで記憶された動きベクトルと、前記作成ステップで作成された予測ベクトルとの差分ベクトルの平均値を計算する計算ステップと、前記第一の記憶ステップで記憶された動きベクトルの最大値と最小値を記憶する第二の記憶ステップと、前記第二の記憶ステップで記憶された動きベクトルの最大値・最小値と、前記計算ステップで計算された差分ベクトルの平均値を基に、動きベクトルの符号化可能範囲を表す係数と、動きベクトルの最大値・最小値を包含する探索範囲を決定する決定ステップと、符号化ピクチャと参照ピクチャと前記決定ステップで決定された探索範囲を基に、所定の大きさのブロック毎に動きベクトルを検出する本検出ステップと、前記決定ステップで決定した係数を基に、前記本検出ステップで検出した動きベクトルを符号化する符号化ステップを有することを特徴とする、動きベクトル符号化方法。
10. 前記決定ステップは、前記本検出ステップで検出された動きベクトルの最大値と最小値を含む第一の符号化可能範囲が、前記計算ステップで計算された平均値が最小の符号量となる第二の符号化可能範囲以上である場合には、第一の符号化可能範囲を選択することを特徴とし、前記計算ステップで計算された平均値が最小の符号量となる第二の符号化可能範囲未満である場合には、第二の符号化可能範囲を選択することを特徴とする、請求項９に記載の動きベクトル符号化方法。
11. 動画像圧縮ストリームを入力とする動きベクトル復号ステップと、前記動きベクトル復号ステップで復号化された動きベクトルを記憶する第一の記憶ステップと、前記第一の記憶ステップで記憶された動きベクトルから予測ベクトルを作成する作成ステップと、前記第一の記憶ステップで記憶された動きベクトルと、前記作成ステップで作成された予測ベクトルとの差分ベクトルの平均値を計算する計算ステップと、前記計算ステップで計算された差分ベクトルの平均値を基に動きベクトルの符号化可能範囲を表す係数を決定する決定ステップと、前記差分ベクトルと前記決定ステップで決定された係数により、動きベクトルを符号化する符号化ステップと、前記符号化ステップで符号化された動きベクトルのストリームを、前記動画像圧縮ストリームの動きベクトル部と置換える置換えステップを備えることを特徴とする動きベクトル符号化方法。
12. 前記決定ステップは、前記動きベクトル復号ステップで復号化された動きベクトルの最大値と最小値を含む第一の符号化可能範囲が、前記計算ステップで計算された平均値が最小の符号量となる第二の符号化可能範囲以上である場合には、第一の符号化可能範囲を選択し、前記計算ステップで計算された平均値が最小の符号量となる第二の符号化可能範囲未満である場合には、第二の符号化可能範囲を選択することを特徴とする、請求項１１記載の動きベクトル符号化方法。
13. 請求項７から請求項１２のいずれかの請求項に記載の方法により作成した符号化情報を記録した媒体。

Images