JP2007228400A

JP2007228400A - 動画像変換装置

Info

Publication number: JP2007228400A
Application number: JP2006048794A
Authority: JP
Inventors: Shunichi Sekiguchi; 俊一関口; Yuichi Izuhara; 優一出原; Kazuo Sugimoto; 和夫杉本; Etsuhisa Yamada; 悦久山田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2006-02-24
Filing date: 2006-02-24
Publication date: 2007-09-06

Abstract

【課題】少ない演算量で、ロバストかつ柔軟な動きベクトル変換処理を行うことのできる動画像変換装置を得る。
【解決手段】ＭＰＥＧ−２デコーダ部２から出力されるＭＰＥＧ−２の符号化パラメータに基づいて、動きベクトル割り当て単位領域毎に動きベクトル候補を生成し、かつ、この生成を行い際、動きベクトル割り当て単位領域の部分領域内の位置と形状とに応じて、ＭＰＥＧ−２で符号化された所定部分領域のうちのどの部分領域の符号化パラメータを用いるかを適応的に定める動きベクトル推定部３を設ける。ＡＶＣエンコーダ部６は、動きベクトル推定部３で生成された動きベクトルに基づいて符号化を行う。
【選択図】図１

Description

この発明は、ディジタル圧縮符号化された動画像データを入力として、符号化方式、品質、解像度等を変換して新たな圧縮符号化動画像を出力する動画像変換装置に関するものである。

従来、ＭＰＥＧやＩＴＵ−ＴＨ．２６ｘ等の国際標準映像符号化方式では、映像信号の各フレームについて、輝度信号１６×１６画素とそれに対応する色差信号８×８画素分をまとめたブロックデータ(以下、マクロブロックという)を単位として、動き補償技術及び直交変換／変換係数量子化技術に基づいて圧縮する方法が採用されている。このことを利用して、ある国際標準映像符号化方式で符号化されたビットストリームを、異なる映像符号化方式、映像解像度、ビットレートのビットストリームへ演算量を抑えながら変換するビデオトランスコーディング技術が各所で研究・開発されている。

上記のような国際標準映像符号化方式は、デジタル放送、ＤＶＤ、３Ｇ携帯動画コンテンツ、インターネットストリーミングなどの用途で現在世界的に利用されているが、動画データを扱う蓄積メディアやネットワークなどの制約により、映像解像度や符号化ビットレートなどの符号化パラメータをアプリケーションによって変えなければならない事情が発生する。ビデオトランスコーディング技術は、かような状況において、動画像を利用するアプリケーション間でシームレスにコンテンツをやりとりするための基本技術として重要である。理想的には、ビデオトランスコーディングは、入力ビットストリームを一度ベースバンド信号へ復号し、再度エンコーダを用いて出力ビットストリームを生成すればよいが、このような方法はデコーダとエンコーダのフル実装を必要とするほか、演算処理量の削減を行うことが難しい。したがって、ビデオトランスコーディング技術というときは、一般に入出力間の映像符号化方式の類似性を利用して、動きベクトル、変換係数やその他画像符号化情報の再利用を行うことで演算量を大幅に削減するアプローチのことをさす。

例えば、非特許文献１、２は、ＭＰＥＧ−２ビデオビットストリームからＭＰＥＧ−４ＡＶＣ／Ｈ．２６４（以下、ＡＶＣと記す）に従うビデオビットストリームへのトランスコーディングを課題としており、最もクリティカルな演算負荷要因であるＡＶＣの動きベクトルを決める処理に際して、ＭＰＥＧ−２の動きベクトル（ＭＶ）情報をＡＶＣ符号化の動き検出過程における初期探索点の候補の一つとすることで、ＡＶＣ符号化における動き検出の結果を早期に収束させ、動き検出による予測効率を保ちながら処理量削減を図る工夫を開示している。

X.Lu他「Fast mode decision and motion estimation for H.264 with a focus on MPEG-2/H.264 transcoding」、ISCAS2005，May，2005 筑波他「MPEG-2/H.264トランスコーダにおける再動き検出に関する検討」、FIT2005、September，2005.

ＡＶＣでは一つの動きベクトルがサポートする画像領域範囲をマクロブロックだけでなく、マクロブロックを更に多様なブロックサイズへ分割した領域の単位とすることも可能となっており、これにより、非定常な映像信号への時間方向の予測の追随制を高めて圧縮効率を向上させている。上記の非特許文献１、２のような従来のＭＰＥＧ−２→ＡＶＣトランスコーディング技術では、このような多様なブロックサイズに対する最適な動きベクトル変換を効率よく行うことが困難であった。

この発明は上記のような課題を解決するためになされたもので、少ない演算量で、ロバストかつ柔軟な動きベクトル変換処理を行うことのできる動画像変換装置を得ることを目的とする。

この発明に係る動画像変換装置は、第１の映像符号化方式における所定部分領域単位の符号化パラメータに基づいて、動きベクトル割り当て単位領域毎に動きベクトル候補を生成すると共に、その生成を行う際、動きベクトル割り当て単位領域の部分領域内の位置と形状とに応じて、第１の映像符号化方式で符号化された所定部分領域のうちのどの部分領域の符号化パラメータを用いるかを適応的に定める動きベクトル推定部を用いて、第１の映像符号化方式に従う映像符号化データを、第２の映像符号化方式に従う映像符号化データに変換するようにしたものである。

この発明の動画像変換装置は、第１の映像符号化方式に従う映像符号化データ中の動きベクトルや符号化モードの情報を再利用しながら、第２の映像符号化方式に従う映像符号化における最適な符号化モードおよび動きベクトルの決定を行うようにしたので、少ない演算量で、ロバストかつ柔軟な動きベクトル変換処理を行うことのできる動画像変換装置を得ることができる。

実施の形態１．
以下、この発明の実施の形態１について説明する。本実施の形態１における動画像変換装置は、第１の映像符号化方式に従う映像符号化データとして入力をＭＰＥＧ−２、第２の映像符号化方式に従う映像符号化データとして出力をＡＶＣとする符号化方式の変換を行う装置とする。入力と出力の間で映像解像度（フレームを構成する水平・垂直各画素数）、映像フレームレートは不変とし、特にビットレートの変換にも言及しない。

実施の形態１に係る動画像変換装置の特徴は、入力となるＭＰＥＧ−２ビットストリーム中のある映像フレームを一度ＭＰＥＧ−２規格に従う復号方法によって復号し、その復号処理過程で取り出される情報を一時的に保持して、同映像フレームを再びＡＶＣ映像符号化方式に従ったビットストリームへ圧縮する過程で用いる動きベクトルを、前記符号化データを複合的に利用することで効率的に推定する点にある。説明の簡便化のため、以下では本装置の動作に際して入力ＭＰＥＧ−２ビットストリームはＰピクチャのみを含むものとし、それを同じくＡＶＣのＰピクチャへ変換するものとする。

図１に、本実施の形態１における動画像変換装置の内部構成を示す。
本トランスコーダは、ＭＰＥＧ−２デコーダ部２、ＡＶＣエンコーダ部６が、動きベクトル推定部３を介してカスケード接続された構成で表される。

ＭＰＥＧ−２デコーダ部２は、可変長復号部２０１、逆量子化部２０２、逆ＤＣＴ部２０３、動き補償部２０４、フレームメモリ２０５、加算器２０６を備えている。可変長復号部２０１は、ＭＰＥＧ−２の符号化方式で圧縮された入力圧縮データ１に対して、復号を行い、予測残差信号符号化データ２ａと、ＭＰＥＧ−２符号化情報（符号化モード情報および動きベクトル情報）２ｂを生成する機能部である。逆量子化部２０２は、予測残差信号符号化データ２ａを逆量子化し、逆ＤＣＴ部２０３は、逆ＤＣＴを行う機能部であり、逆ＤＣＴ部２０３から出力される予測残差信号復号値２ｃは、加算器２０６に出力されると共に、動きベクトル推定部３に出力されるよう構成されている。動き補償部２０４は、可変長復号部２０１からのＭＰＥＧ−２符号化情報２ｂと、フレームメモリ２０５に格納された参照画像に基づいて、動き補償を行い、予測画像２ｄを出力する機能部である。フレームメモリ２０５は、復号画像５を参照画像として格納する記憶部である。また、加算器２０６は、予測残差信号復号値２ｃと、動き補償部２０４からの予測画像２ｄを加算し、復号画像５としてＡＶＣエンコーダ部６に出力する機能部である。

動きベクトル推定部３は、ＭＰＥＧ−２における所定部分領域単位の符号化パラメータに基づいて、動きベクトル割り当て単位領域毎に動きベクトル候補を生成すると共に、その動きベクトル候補の生成を行う際、動きベクトル割り当て単位領域の部分領域内の位置と形状とに応じて、ＭＰＥＧ−２で符号化された所定部分領域のうちのどの部分領域の符号化パラメータを用いるかを適応的に定める機能を有している。

図２は、動きベクトル推定部３の内部構成図である。
動きベクトル推定部３は、メモリ３０１、ＢＭＶ決定部３０２、マスク決定部３０３、動きベクトル加重平均処理部３０４、マスク内動きベクトル分散算出部３０５、動きベクトル孤立度算出部３０６、動きベクトル精度変換部３０７を備えている。

メモリ３０１は、入力されたＭＰＥＧ−２符号化情報２ｂと、予測残差信号復号値２ｃとを保持するためのメモリである。ＢＭＶ決定部３０２は、メモリ３０１に保持されているＭＰＥＧ−２符号化情報である動きベクトル情報３ａに基づいてＢＭＶ（ＣＭＶ算出に用いるマスク内のマクロブロック単位動きベクトルであるが、これについては後で詳述する）を決定し、これをＢＭＶ３ｂとして出力する機能部である。マスク決定部３０３は、ＡＶＣのＭＣブロックサイズを示す予測モードの情報３ｃを入力し、マスクを決定して、このマスク情報３ｄを出力する機能部である。動きベクトル加重平均処理部３０４は、メモリ３０１から予測誤差量３ｅと、マスク決定部３０３からのマスク情報３ｄと、マスク内動きベクトル分散算出部３０５からのＢＭＶの分散を示す値３ｆと、ＢＭＶの孤立度を示す値３ｇとに基づいて動きベクトルを求め、これを候補ベクトル３ｈとして出力する機能部である。

マスク内動きベクトル分散算出部３０５は、ＢＭＶ決定部３０２からのＢＭＶ３ｂとマスク決定部３０３からのマスク情報３ｄに基づいてマスク内動きベクトル分散を算出し、ＢＭＶの分散を示す値３ｆとして動きベクトル加重平均処理部３０４に与えるための処理部である。動きベクトル孤立度算出部３０６は、メモリ３０１内の動きベクトル差分符号化情報３ｉと、ＢＭＶ３ｂとマスク情報３ｄとを入力し、動きベクトルの孤立度を算出し、この値３ｇを動きベクトル加重平均処理部３０４に与えるための機能部である。動きベクトル精度変換部３０７は、動きベクトル加重平均処理部３０４からの候補ベクトル３ｈを入力し、動きベクトルの精度を変換し、動き候補ベクトル４を出力する機能部である。

図１に戻って、ＡＶＣエンコーダ部６は、符号化モード判定部６０１、動き補償部６０２、変換部６０３、量子化部６０４、可変長符号化部６０５、逆量子化部６０６、逆変換部６０７、加算器６０８、ループフィルタ６０９、フレームメモリ６１０、減算器６１１を備えている。

符号化モード判定部６０１は、動きベクトル推定部３で生成されたＡＶＣにおける動きベクトルの候補のうち、動きベクトル候補を用いた場合の予測効率を評価する評価値に基づいて、最も効率がよいと判定される動きベクトル候補を、ＡＶＣエンコーダ部６において使用する動きベクトルとして決定するよう構成されている。

動き補償部６０２は、符号化モード判定部６０１で決定された予測モード、動きベクトルに基づいて予測画像６ａを生成する機能部である。変換部６０３は例えばＤＣＴといった変換処理を行い、量子化部６０４は量子化を行う機能部である。可変長符号化部６０５は、量子化部６０４の出力に対してＡＶＣビデオストリームの形式に符号化して出力する機能部である。また、逆量子化部６０６および逆変換部６０７は、それぞれ量子化部６０４および変換部６０３の逆量子化および逆変換を行う機能部である。加算器６０８は、逆変換部６０７から出力された予測残差信号復号値６ｂと、予測画像６ａとを加算する機能部である。ループフィルタ６０９は、ブロック歪み除去を行うフィルタである。フレームメモリ６１０は、動き補償部６０２で動き補償を行うためのフレームを保持するためのメモリである。また、減算器６１１は、復号画像５と予測画像６ａとの差分をとり、予測残差信号６ｃを出力する機能部である。

次に、実施の形態１の動作について説明する。
ＭＰＥＧ−２デコーダ部２において一旦復号画像５を生成し、ＡＶＣエンコーダ部６で符号化を行う。この際、ＡＶＣエンコーダ部６の動きベクトル検出処理を省略するため、動きベクトル推定部３において、ＭＰＥＧ−２ビデオストリームから取り出した動きベクトルを、ＡＶＣ符号化に利用可能な動きベクトルへ変換する。

以下、動作の詳細について説明する。
（１）入力ＭＰＥＧ−２ビデオストリームの復号処理
先ず、ＭＰＥＧ−２準拠の符号化方式で圧縮された入力圧縮データ１がＭＰＥＧ−２デコーダ部２に入力される。ＭＰＥＧ−２デコーダ部２では、可変長復号部２０１においてＭＰＥＧ−２規格に従い、入力圧縮データ１のシンタックス解析を行い、予測残差信号符号化データ２ａ、ＭＰＥＧ−２符号化情報（符号化モード情報および動きベクトル情報）２ｂを生成する。予測残差信号符号化データ２ａは、逆量子化部２０２、逆ＤＣＴ部２０３を経て、予測残差信号復号値２ｃに復号される。ＭＰＥＧ−２符号化情報２ｂは、動きベクトル推定部３にて動きベクトル推定処理に用いるため、動きベクトル推定部３内部に用意されるメモリ３０１中に１フレーム分保持される。

ＭＰＥＧ−２符号化情報２ｂ中の動きベクトル情報は、動きベクトル値そのものだけでなく、フレーム予測かフィールド予測かを示すフラグなど、ＭＣ（動き補償）に関わる全ての情報を含むものとする。これは動き補償部２０４へ入力され、フレームメモリ２０５中に格納される参照画像データと動きベクトルとに従い、予測画像２ｄが生成される。そして、予測残差信号復号値２ｃと予測画像２ｄが加算器２０６で加算されて、復号画像５が生成される。復号画像５は、ＭＰＥＧ−２デコーダ部２の出力として、以後のフレームの動き補償に参照画像として用いるため、フレームメモリ２０５に格納される。

（２）動きベクトル推定処理
次に、本発明の特徴である動きベクトル推定処理について説明する。
図３は、動きベクトル推定部３による動きベクトル推定処理のフローチャートである。

ＡＶＣでは、図４に示すように、マクロブロックを複数の形状のＭＣブロックに分割して個々のＭＣブロック毎に動きベクトルを割り当てて動き補償予測を行うことができる（以下、マルチブロックサイズＭＣと呼ぶ）。図４において、ｍｂ＿ｔｙｐｅはマクロブロックの単位で指定されるＭＣブロックサイズ種別であり、ｍｂ＿ｔｙｐｅ＝＝ＩＮＴＥＲ８×８の場合には、８×８ブロックの単位で更にその内部を細分化できる（ｓｕｂ＿ｍｂ＿ｔｙｐｅで指定）。従って、マクロブロック内では１〜１６本まで多彩な動きベクトル割り当てが可能である。

例えば、映像中に動物体が存在する場合、マクロブロック中に動物体の輪郭と背景とが混在する場合があり、マクロブロック内に様々な動きが存在する可能性があるが、ＡＶＣではマルチブロックサイズＭＣの機構によって、従来のＭＰＥＧ−２、ＭＰＥＧ−４といった標準方式に比べてこれらの動きを的確に予測することが可能となる。一方、ＭＰＥＧ−２では図５に示すようにマクロブロック内は最大２本の動きベクトル割り当てに止まり、ＡＶＣとＭＰＥＧ−２とでは、一つの動きベクトル情報がサポートする画像領域に大きな差異がある。尚、図５において、（ａ）はフレーム構造符号化時の動き予測モード、（ｂ）はフィールド構造符号化時の動き予測モードを示している。

従って、従来のビデオトランスコーディング技術（例えば、特開２００３−３０９８５１号公報等に記載の技術）で用いられる単純な動きベクトルマッピングではＡＶＣ符号化時に使用する動きベクトルとして有益な情報が得られない可能性が高い。

そこで、本発明では、このような状況を鑑み、例えば、B.Shen他、“daptive Motion-Vector Resampling for Compressed Video Downsampling”，IEEE Transactions on Circuits And Systems for Video Technology，vol.9，no.6，Sep.1999で提案されている、入力圧縮データにおける予測残差と動きベクトル精度との相関を利用して加重平均により最終動きベクトルを得る手法を応用する。Shenらが、２：１の解像度変換を伴い、かつＭＣブロックのカバレージ単位が変換前後で変化しないトランスコーディングを前提としているのに対し、本発明は解像度変換の有無およびＭＣブロックサイズの変化に依存しない方式を提供する。そのために、推定対象となるＭＣブロックの位置と形状に応じて適応的に加重平均をとるエリア(以下、マスクと呼ぶ)を変化させる。さらに、加重平均に際して、Shenらの方式では提案されていない動きベクトルのマスク内での分散、および動きベクトルの孤立度合いを示す評価値に着目する。これらを加重平均の重みに組み入れて動きベクトル候補を算出することで、最終的に決定する動きベクトルの候補数を増加させ、より安定した動きベクトルの推定を可能とする。

１）ＭＰＥＧ−２復号情報の蓄積
可変長復号部２０１から出力される入力ＭＰＥＧ−２ビットストリームに含まれる情報のうち、以下の情報をＭＰＥＧ−２符号化情報２ｂとして、メモリ３０１に１フレーム分蓄積する
・動きベクトル情報（Ｖ（ｉ，ｊ，ｋ））
・動きベクトル差分符号化情報（ＭＶＤ（ｉ，ｊ，ｋ））
・マクロブロック符号化モード情報（Ｍ（ｉ，ｊ））
・動きタイプ（Ｔ（ｉ，ｊ））

ここで、（ｉ，ｊ）は１フレーム中のＭＰＥＧ−２マクロブロック行・列番号（ラスタスキャン順）、ｋはマクロブロック中のＭＰＥＧ−２動きベクトルの通し番号である。ＭＰＥＧ−２の場合、Ｔ（ｉ，ｊ）がフレームＭＣを示している場合ｋ＝１、フィールドＭＣまたはデュアルプライムＭＣを示している場合はｋ＝２とし、ＭＰＥＧ−２復号に実際に使用される動きベクトル情報を格納する。また、Ｍ（ｉ，ｊ）がイントラまたはスキップＭＢであることを示す場合は、ビットストリーム中に動きベクトルは存在しないが、本実施の形態１では、イントラＭＢの場合はｋ＝０，Ｖ（ｉ，ｊ，ｋ）＝ＰＭＶ（ＰＭＶはカレントマクロブロックがインターＭＢだとした場合に動きベクトルの復号に用いる予測ベクトルのことを意味する。ＭＰＥＧ−２では、動きベクトル情報は周辺マクロブロックの情報から一意に生成される予測ベクトル＝ＰＭＶとの差分を符号化する）、ＭＶＤ（ｉ，ｊ，ｋ）＝０とし、スキップＭＢの場合はｋ＝０，Ｖ（ｉ，ｊ，ｋ）＝０、ＭＶＤ（ｉ，ｊ，ｋ）＝ＰＭＶとする。

また、逆ＤＣＴ部２０３の出力である予測残差信号復号値２ｃを
・予測誤差量（Ｅ（ｉ，ｊ，ｎ））
として蓄積する。ここで、ｎはマクロブロック内におけるＤＣＴ処理単位である８×８ブロックの通し番号（０＜＝ｎ＜４）である。Ｅ（ｉ，ｊ，ｎ）は予測誤差量をスカラ値として定量化する値であれば任意の表現でよいが、本実施の形態１では、

とする。（ｘ，ｙ）は、８×８ブロック内でのサンプル位置を示し、ｅ_i,j,n（ｘ，ｙ）は予測誤差復号値を示す。

Ｍ（ｉ，ｊ）がイントラＭＢであることを示す場合は、逆ＤＣＴ部２０３の出力はイントラ符号化情報であってフレーム間予測残差ではなく、動きベクトルの推定の重みとして適さないため、逆ＤＣＴ部２０３の出力を使用せず、Ｅ（ｉ，ｊ，ｎ）には所定の固定値を設定する。尚、ＭＰＥＧ−２復号情報の蓄積処理は図３中のフローチャートには記載していないが、図３の処理が開始される前に１フレーム分の蓄積が完了している必要がある。

これらＶ（ｉ，ｊ，ｋ），ＭＶＤ（ｉ，ｊ，ｋ），Ｍ（ｉ，ｊ），Ｔ（ｉ，ｊ），Ｅ（ｉ，ｊ，ｎ）は、全てＭＰＥＧ−２デコーダ部２の一連の動作の中で得られる情報であり、一部符号化データを直接使用できないケースでの簡易な演算以外は特別な演算処理を導入する必要はない。

次いで、Ｖ（ｉ，ｊ，ｋ），ＭＶＤ（ｉ，ｊ，ｋ），Ｍ（ｉ，ｊ），Ｔ（ｉ，ｊ），Ｅ（ｉ，ｊ，ｎ）に基づいて、ＡＶＣのＭＣブロック候補毎に動きベクトルの推定を行う。以下の説明では、ＡＶＣのＭＣブロックサイズを示す予測モードをｍ（ｉ，ｊ）とする。（ｉ，ｊ）は１フレーム中のＭＰＥＧ−２およびＡＶＣマクロブロックの通し番号（ラスタスキャン順）である。

ｍ（ｉ，ｊ）として、以下を想定する。これらの定義は図４に示した通りで、本実施の形態１では説明を簡略化するため、ＩＮＴＥＲ８×８の場合の８×８ブロック単位に与えられるｓｕｂ＿ｍｂ＿ｔｙｐｅは常にＩＮＴＥＲ８×８に固定、とする（即ち、ＩＮＴＥＲ８×４、ＩＮＴＥＲ４×８、ＩＮＴＥＲ４×４は使用しないものとする）。個々のｍ（ｉ，ｊ）に対して定まるＭＣブロック毎の動きベクトルの候補をＣＭＶ（ｉ，ｊ，ｐ）とする。ｐはｍ（ｉ，ｊ）に応じて定まるＣＭＶの通し番号を表す（図４のＩＮＴＥＲ１６×１６、ＩＮＴＥＲ１６×８、ＩＮＴＥＲ８×１６、ＩＮＴＥＲ８×８の各ＭＣブロックに付与した番号がｐを表す）。
ｍ（ｉ，ｊ）＝０：ＩＮＴＥＲ１６×１６（ｐ＝０）
ｍ（ｉ，ｊ）＝１：ＩＮＴＥＲ１６×８（０≦ｐ＜２）
ｍ（ｉ，ｊ）＝２：ＩＮＴＥＲ８×１６（０≦ｐ＜３）
ｍ（ｉ，ｊ）＝３：ＩＮＴＥＲ８×８（０≦ｐ＜４）

２）マスク決定処理
先ず、マスク決定部３０３は、ｍ（ｉ，ｊ）（図２中の３ｃ）に応じて、ＣＭＶ算出に用いるマスク領域を決定する（図３のステップＳＴ１）。
図６および図７は、マスク決定の様子を示す説明図である。
これら図６および図７において、太実線の領域がカレントマクロブロックを、普通実線が８×８ブロックを、ハッチング領域が動きベクトル推定対象領域を、太点線領域がマスクを示す。また、これらの図において、（ａ）はｍ（ｉ，ｊ）＝０：ＩＮＴＥＲ１６×１６の場合、（ｂ）はｍ（ｉ，ｊ）＝１：ＩＮＴＥＲ１６×８の場合、（ｃ）はｍ（ｉ，ｊ）＝２：ＩＮＴＥＲ８×１６の場合、（ｄ）はｍ（ｉ，ｊ）＝３：ＩＮＴＥＲ８×８の場合を示している。マスクはＣＭＶの個数（即ち、ＭＣブロックの個数）分設定される。このように、推定対象のＭＣブロックのサイズや位置に応じてマスク領域を変更することにより、ＭＣブロックのサイズや位置によらず、最適な周辺動きベクトルを基に加重平均処理を行うことができる。

３）ＢＭＶ決定処理
次いで、ＢＭＶ決定部３０２は、ＣＭＶ算出に用いるマスク内のマクロブロック単位動きベクトルＢＭＶをＭＰＥＧ−２の動きベクトルＶ（ｉ，ｊ，ｋ）（図２中の３ａ）に基づいて決定する（ステップＳＴ２）。図６の（ａ）には、８×８ないしはマクロブロックの単位でＭＰＥＧ−２符号化情報２ｂの状態を一緒に図示している。ここで、ＢＭＶ（ｉ，ｊ）は、Ｖ（ｉ，ｊ，ｋ）から定まるマクロブロックを単位とするＭＰＥＧ−２動きベクトル情報であり、ＭＰＥＧ−２ビットストリームがフレームピクチャ構造で符号化されている場合は以下のルールで定める。

Ｔ（ｉ，ｊ）がフレームＭＣを示している場合、ＢＭＶ（ｉ，ｊ）＝Ｖ（ｉ，ｊ，０）
Ｔ（ｉ，ｊ）がフィールドＭＣまたはデュアルプライムＭＣを示している場合、ＢＭＶ（ｉ，ｊ）はＶ（ｉ，ｊ，０）とＶ（ｉ，ｊ，１）のうち、予測残差が小さい方を選択する。

また、ＭＰＥＧ−２ビットストリームがフィールドピクチャ構造で符号化されている場合は以下のルールで定める。
Ｔ（ｉ，ｊ）がフィールドＭＣを示している場合、ＢＭＶ（ｉ，ｊ）＝Ｖ（ｉ，ｊ，０）
Ｔ（ｉ，ｊ）が１６×８ＭＣまたはデュアルプライムＭＣを示している場合、ＢＭＶ（ｉ，ｊ）はＶ（ｉ，ｊ，０）とＶ（ｉ，ｊ，１）のうち、予測残差が小さい方を選択する。

予測残差には、Ｅ（ｉ，ｊ，ｎ）を用いることができる。尚、ＢＭＶ（ｉ，ｊ）の候補が２本あるケースについては、２本ともＢＭＶとして扱い、ＣＭＶもＢＭＶに対応して２本生成するように構成することもできる。この場合、ＣＭＶの算出処理回数が増えるが、上記予測残差情報を別途用意する必要はない上、ＭＰＥＧ−２符号化情報で与えられる選択肢を最大限利用してＣＭＶの候補を増やすことができ、最終的に決定する動きベクトルの精度をより向上させることができる。また、ＢＭＶは図２中のデータ３ｂで表している。

４）ＣＭＶ算出処理
本実施の形態１では、３種類のＣＭＶを求める。以下、それらをＣＭＶ１、ＣＭＶ２、ＣＭＶ３と呼ぶ。これらは全て最終的なＡＶＣ符号化用動きベクトルを求める際の候補ベクトルとする。

４−１）ＣＭＶ１の算出
先ず、動きベクトル加重平均処理部３０４は、ＢＭＶ（ｉ，ｊ）（図２の３ｂ）とＥ（ｉ，ｊ，ｎ）（図２の３ｅ）を用いてＣＭＶ１（ｉ，ｊ，ｐ）を求める（ステップＳＴ３）。ＣＭＶ１（ｉ，ｊ，ｐ）は、ｍ（ｉ，ｊ）＝０，１，２，３のそれぞれについて求める（ステップＳＴ１〜ステップＳＴ８）。以下の説明においては、具体的な例として、図８に、ｍ（ｉ，ｊ）＝２（ＩＮＴＥＲ８×１６）の場合の左側のＭＣブロック（ハッチング部分）に対するＣＭＶ１（ｉ，ｊ，０）を求めることとする。ここで、ＣＭＶ１算出に際しては、２）のマスク決定処理において点線で示すマスクＲ（図２の３ｄ）を構成し、このマスクＲ内のＢＭＶ（ｉ，ｊ）とＥ（ｉ，ｊ，ｎ）を用いる。もう一方のＭＣブロックに対するＣＭＶ１（ｉ，ｊ，１）も同様の方法で算出する。

具体的には、下式の加重平均で求める。（ここでは水平成分、垂直成分の種別を略して記載している。実際はＣＭＶ１の水平成分、垂直成分のそれぞれについて算出を行う）

但し、ＣＭＶは８×１６ブロックをカバーするＭＶであること、ＢＭＶは１６×１６ブロックをカバーするＭＶであることから、実際上は、
ＢＭＶ（ｉ−１，ｊ−１）＆Ｅ（ｉ−１，ｊ−１，３），
ＢＭＶ（ｉ，ｊ−１）＆［Ｅ（ｉ，ｊ−１，２）＋Ｅ（ｉ，ｊ−１，３）］／２，
ＢＭＶ（ｉ＋１，ｊ−１）＆Ｅ（ｉ＋１，ｊ−１，２），
ＢＭＶ（ｉ−１，ｊ）＆［Ｅ（ｉ−１，ｊ，１）＋Ｅ（ｉ−１，ｊ，３）］／２，
ＢＭＶ（ｉ，ｊ）＆［Ｅ（ｉ，ｊ，０）＋Ｅ（ｉ，ｊ，２）］／２，
ＢＭＶ（ｉ，ｊ）＆［Ｅ（ｉ，ｊ，１）＋Ｅ（ｉ，ｊ，３）］／２，
ＢＭＶ（ｉ−１，ｊ＋１）＆Ｅ（ｉ−１，ｊ＋１，１），
ＢＭＶ（ｉ，ｊ＋１）＆［Ｅ（ｉ，ｊ＋１，０）＋Ｅ（ｉ，ｊ＋１，１）］／２，
ＢＭＶ（ｉ＋１，ｊ＋１）＆Ｅ（ｉ＋１，ｊ＋１，０）
の組み合わせで加重平均をとる。予測誤差量の逆数で動きベクトルを重み付けすることで、予測誤差の小さいブロックに割り当てられた動きベクトルに強い重みが与えられる。

４−２）ＣＭＶ２の算出
次に、ＣＭＶ２を求める（ステップＳＴ４）。ＣＭＶ２は、マスクＲ（３ｄ）に基づいて、マスク内動きベクトル分散算出部３０５と動きベクトル加重平均処理部３０４とによって求める。具体的には下式の加重平均で求める。

σ_RはマスクＲ（３ｄ）内におけるＢＭＶの分散（選択された所定部分領域全体に含まれる動きベクトルのばらつき度合いを示す分散値）を示し、マスク内動きベクトル分散算出部３０５で、ＢＭＶ（図２中の３ｂ）に基づいて算出される。ｈ（σ_R）（図２の３ｆ）は、σ_Rに依存する単調減少の非線形関数である。

ＣＭＶ１と比較すると、ＣＭＶ２では、マスクＲ内のＢＭＶの分散が小さい場合に、対象ＭＣブロックに対応するＢＭＶが強く重み付けされる。つまりＣＭＶ２は、ＣＭＶ１によって十分な精度の推定ができない場合、動きベクトル場を平滑化する方向のベクトル候補として機能する。

４−３）ＣＭＶ３の算出
次に、ＣＭＶ３を求める（ステップＳＴ５）。ＣＭＶ３は、マスクＲ（３ｄ）に基づいて、マスク内動きベクトル分散算出部３０５、動きベクトル孤立度算出部３０６、動きベクトル加重平均処理部３０４によって求める。ＣＭＶ３では、ＣＭＶ２に対して、下記のように関数ｇの定義を変更したものを用いる。

ＢＭＶＤ（ｉ，ｊ）は、上記４−２）で示した手順でＢＭＶとして採用したＶ（ｉ，ｊ，ｋ）に対応するインデックスｋのＭＶＤ（ｉ，ｊ，ｋ）（図２の３ｆ）を割り当てるものとする。ｐ（ｘ）はｘ^-1に依存する非線形関数とし、ｐ（ＢＭＶＤ（ｉ，ｊ））の部分は全体としてはＢＭＶＤの大きさの逆数を表す。また、ｐ（ＢＭＶＤ（ｉ，ｊ））は図２中の３ｇに対応する。

ＢＭＶＤの大きさはＢＭＶの孤立度（選択された所定部分領域全体に含まれる動きベクトルの予測値からの差分量）を表し、ＢＭＶＤが大きいほど孤立度が大きい可能性が高いので、このように重みの計算式にＢＭＶＤの大きさの逆数を取り入れることにより、孤立したベクトルの重みを小さくできる効果がある。孤立したベクトルは動き予測の信頼性が低い確率が高いという推定が根拠である。孤立したＢＭＶの重みを小さくすることにより、ＣＭＶの推定精度を向上させる効果がある。

５）ＣＭＶ表現精度の変換
ＭＰＥＧ−２の動きベクトルＶ（ｉ，ｊ，ｋ）、動きベクトル差分ＭＶＤ（ｉ，ｊ，ｋ）はいずれも半画素を１とする精度で表現されている。そこで、ＡＶＣの動きベクトルとしてＣＭＶを用いるために、動きベクトル精度変換部３０７により、ＣＭＶ１〜ＣＭＶ３のベクトル値をそれぞれ２倍して１／４画素を１とする動きベクトル値に変換する（ステップＳＴ６）。このような処理により、ＡＶＣエンコーダ部６で使用する動きベクトル候補４が決定される。

（３）ＡＶＣ符号化処理
1)予測モード決定処理
上記（２）の処理により、ＡＶＣの予測モードｍ（ｉ，ｊ）で利用すべき動きベクトルの候補４が選定されたため、最終的にＡＶＣエンコーダ部６で使用する予測モードを、符号化モード判定部６０１にて決定する。この結果として、最終的にカレントマクロブロックの符号化に用いる予測モードと動きベクトルが決定される。（尚、説明を簡単にするため、符号化モード判定部６０１では、ＡＶＣの予測モードｍ（ｉ，ｊ）のうち最適なモードを選択する処理とみなす（実際の符号化では、フレーム間予測モードだけでなく、フレーム内（イントラ）符号化モードなども考慮して最適な符号化モードを選ぶことになるが、その点は本発明の本質から外れるため、詳細は略す））。

このモード判定処理には、判定基準として、下式に示すレート歪コストＪｍを用いる。

同式において、ｍは予測モード種別（ｍ（ｉ，ｊ）のこと）、ｖｍはモードｍの場合の動きベクトル（ＣＭＶ１〜ＣＭＶ３のこと）、Ｍはモード種別の集合（Ｍ＝（ＩＮＴＥＲ１６×１６、ＩＮＴＥＲ１６×８、ＩＮＴＥＲ８×１６、ＩＮＴＥＲ８×８））、αｍはモードｍに応じて定まる定数、Ｅｍはモードｍ使用時の予測誤差評価値、Ｒｖｍは動きベクトルがｖｍの場合の動きベクトル符号量、λは正の定数、ｍ^*，ｖｍ^*は本評価の結果最終的に選定される予測モードと動きベクトルである。Ｅｍは輝度信号のみでなく、色差成分（Ｃｂ、Ｃｒ成分）を加味して定義するように構成してもよい。

λの値としては、例えば、Gary J. Sullivan and Thomas Wiegand，“Rate-Distortion Optimization for Video Compression”，IEEE Signal Processing Magazine，vol. 15，no. 6，pp. 74-90，Nov.1998.に開示される以下の値を用いることができる。但し、Ｑｐは、符号化対象マクロブロックの量子化ステップパラメータである。

以上のように、本実施の形態では、ＭＰＥＧ−２デコーダ部２で入力圧縮データ１から抽出・蓄積したＭＰＥＧ−２符号化情報２ｂを再利用することにより、一切の動きベクトル再探索処理を実行することなく、ＡＶＣエンコード時に選択しうる予測モードｍで用いるｖｍとしてＣＭＶ１〜ＣＭＶ３の３種類を評価することができ、少ない演算量で効率のよい予測モード判定が可能となる。

２）符号化処理
ＭＰＥＧ−２デコーダ部２によって復号された復号画像５はそのままＡＶＣエンコーダ部６へ入力信号として入力される。符号化モード判定部６０１により、予測モード、動きベクトルが定まると、動き補償部６０２で予測画像６ａが生成され、また、減算器６１１により入力信号である復号画像５との差分をとって予測残差信号６ｃが生成され、それが変換部６０３、量子化部６０４を経て可変長符号化部６０５によってＡＶＣビデオストリームの形式に配列される。

量子化後の予測残差信号は、逆量子化部６０６、逆変換部６０７を経て予測残差信号復号値６ｂに戻され、加算器６０８によって予測画像６ａと加算された後、以降のフレームのＭＣに用いるためにフレームメモリ６１０に格納される。格納前に、必要に応じてループフィルタ６０９にてブロック歪み除去フィルタ処理が行われる。

尚、実施の形態１では、変換先としてＡＶＣを想定したが、同様にマクロブロックを単位とする符号化方式（例えばＭＰＥＧ−４、ＳＭＰＴＥＶＣ−１等）への変換にも同様の方式を適用することができることは言うまでもない。

以上のように、実施の形態１の動画像変換装置によれば、映像信号の各フレームを所定部分領域に分割し、その単位で動きベクトルを含む符号化パラメータを選択して符号化を行う第１の映像符号化方式に従う映像符号化データを入力として、映像信号の各フレームを所定部分領域に分割し、その単位で符号化パラメータを選択して符号化を行うと共に、所定部分領域内を、複数の形状を有する動きベクトル割り当て単位領域に分割可能な第２の映像符号化方式に従う映像符号化データへの変換を行う動画像変換装置であって、第１の映像符号化方式における所定部分領域単位の符号化パラメータに基づいて、動きベクトル割り当て単位領域毎に動きベクトル候補を生成すると共に、その生成を行う際、動きベクトル割り当て単位領域の部分領域内の位置と形状とに応じて、第１の映像符号化方式で符号化された所定部分領域のうちのどの部分領域の符号化パラメータを用いるかを適応的に定める動きベクトル推定部と、生成された第２の映像符号化方式における動きベクトルの候補のうち、動きベクトル候補を用いた場合の予測効率を評価する評価値に基づいて、最も効率がよいと判定される動きベクトル候補を、第２の映像符号化方式において使用する動きベクトルとして決定する符号化モード判定部とを備えたので、少ない演算量で、ロバストかつ柔軟な動きベクトル変換処理を行うことができる。

また、実施の形態１の動画像変換装置によれば、動きベクトル推定部は、動きベクトル割り当て単位領域毎に動きベクトル候補を求めるに際して選択された、第1の映像符号化方式の部分領域内の符号化パラメータのうち、所定部分領域に割り当てられた符号化モード、動きベクトル、動き予測誤差信号評価値に基づいて動きベクトル候補を生成するようにしたので、安定した動きベクトルの推定を行うことができる。

また、実施の形態１の動画像変換装置によれば、動きベクトル推定部は、選択された所定部分領域全体に含まれる動きベクトルのばらつき度合いを示す分散値に基づいて動きベクトル候補を生成するようにしたので、最終的に決定する動きベクトルの候補数を増加させ、より安定した動きベクトルの推定を可能とすることができる。

また、実施の形態１の動画像変換装置によれば、動きベクトル推定部は、選択された所定部分領域全体に含まれる動きベクトルの予測値からの差分量に基づいて動きベクトル候補を生成するようにしたので、更に安定した動きベクトルの推定を行うことができる。

また、実施の形態１の動画像変換装置によれば、第１の映像符号化方式をＭＰＥＧ−２、第２の映像符号化方式をＭＰＥＧ−４ＡＶＣ／Ｈ．２６４としたので、ＭＰＥＧ−２からＭＰＥＧ−４ＡＶＣ／Ｈ．２６４への変換を行うトランスコーダとして、少ない演算量で、ロバストかつ柔軟な動きベクトル変換処理を実現することができる。

この発明の実施の形態１による動画像変換装置を示す構成図である。この発明の実施の形態１による動画像変換装置の動きベクトル推定部の内部構成図である。この発明の実施の形態１における動きベクトル推定部による動きベクトル推定処理のフローチャートである。ＡＶＣにおけるマルチブロックサイズＭＣの説明図である。ＭＰＥＧ−２における動きベクトル割り当ての説明図である。この発明の実施の形態１におけるマスク決定部のマスク決定処理の説明図（その１）である。この発明の実施の形態１におけるマスク決定部のマスク決定処理の説明図（その２）である。この発明の実施の形態１におけるｍ（ｉ，ｊ）＝２の場合の左側のＭＣブロックに対するＣＭＶ１（ｉ，ｊ，０）の説明図である。

符号の説明

１入力圧縮データ、２ＭＰＥＧ−２デコーダ部、３動きベクトル推定部、４動き候補ベクトル、５復号画像、６ＡＶＣエンコーダ部、２ｂＭＰＥＧ−２符号化情報、３０２ＢＭＶ決定部、３０３マスク決定部、３０４動きベクトル加重平均処理部、３０５マスク内動きベクトル分散算出部、３０６動きベクトル孤立度算出部、６０１符号化モード判定部。

Claims

映像信号の各フレームを所定部分領域に分割し、その単位で動きベクトルを含む符号化パラメータを選択して符号化を行う第１の映像符号化方式に従う映像符号化データを入力として、映像信号の各フレームを所定部分領域に分割し、その単位で符号化パラメータを選択して符号化を行うと共に、前記所定部分領域内を、複数の形状を有する動きベクトル割り当て単位領域に分割可能な第２の映像符号化方式に従う映像符号化データへの変換を行う動画像変換装置であって、
前記第１の映像符号化方式における所定部分領域単位の符号化パラメータに基づいて、前記動きベクトル割り当て単位領域毎に動きベクトル候補を生成すると共に、当該生成を行う際、前記動きベクトル割り当て単位領域の前記部分領域内の位置と形状とに応じて、前記第１の映像符号化方式で符号化された所定部分領域のうちのどの部分領域の符号化パラメータを用いるかを適応的に定める動きベクトル推定部と、
前記生成された第２の映像符号化方式における動きベクトルの候補のうち、当該動きベクトル候補を用いた場合の予測効率を評価する評価値に基づいて、最も効率がよいと判定される動きベクトル候補を、前記第２の映像符号化方式において使用する動きベクトルとして決定する符号化モード判定部とを備えた動画像変換装置。
動きベクトル推定部は、動きベクトル割り当て単位領域毎に動きベクトル候補を求めるに際して選択された、第1の映像符号化方式の部分領域内の符号化パラメータのうち、所定部分領域に割り当てられた符号化モード、動きベクトル、動き予測誤差信号評価値に基づいて動きベクトル候補を生成することを特徴とする請求項１記載の動画像変換装置。
動きベクトル推定部は、選択された所定部分領域全体に含まれる動きベクトルのばらつき度合いを示す分散値に基づいて動きベクトル候補を生成することを特徴とする請求項２記載の動画像変換装置。
動きベクトル推定部は、選択された所定部分領域全体に含まれる動きベクトルの予測値からの差分量に基づいて動きベクトル候補を生成することを特徴とする請求項３記載の動画像変換装置。
第１の映像符号化方式はＭＰＥＧ−２、第２の映像符号化方式はＭＰＥＧ−４ＡＶＣ／Ｈ．２６４であることを特徴とする請求項１から請求項４のうちいずれか１項記載の動画像変換装置。