JP2008259174A

JP2008259174A - コンピュータにより実施される動きベクトルのマッピング方法、動きベクトルをマッピングするトランスコーダ及び動きベクトルをマッピングするデコーダ

Info

Publication number: JP2008259174A
Application number: JP2007329985A
Authority: JP
Inventors: Jun Xin; ジュン・シン; Vetro Anthony; アンソニー・ヴェトロ
Original assignee: Mitsubishi Electric Research Laboratories Inc
Current assignee: Mitsubishi Electric Research Laboratories Inc
Priority date: 2007-04-05
Filing date: 2007-12-21
Publication date: 2008-10-23
Also published as: US20080247465A1

Abstract

【課題】動きベクトルをマッピングする方法及びシステムを提供する。
【解決手段】入力ビットストリームの一組の入力ブロックの動きベクトル毎に重みが求められる。次に、動きベクトルの一組が、重みの一組に基づいて、出力ビットストリームの出力ブロックの出力動きベクトルにマッピングされる。
【選択図】図２

Description

本発明は、包括的にはビデオ信号の処理に関し、特に動きベクトルのマッピングに関する。

ＭＰＥＧ−２が現在、ビデオ符号化の主要フォーマットである。Ｈ．２６４／ＡＶＣビデオ符号化規格はＭＰＥＧ−２と同じ画質を約半分の記憶要件で約束している（ＩＴＵ−Ｔ勧告Ｈ．２６４｜ＩＳＯ／ＩＥＣ１４４９６−１０「高度ビデオ符号化（Advanced Video Coding）」２００５年（参照により本明細書中に援用される））。Ｈ．２６４／ＡＶＣ圧縮フォーマットは、ブルーレイディスク等の記憶フォーマット規格、及び他の家庭用ビデオ録画システムに採用されている。より高精細度のコンテンツが利用可能になり、より多くのコンテンツを録画したい、又はより多くのチャンネルを同時に録画したいという要求が増えるにつれて、長時間録画モードが重要な機能となる。したがって、ＭＰＥＧ−２ビデオをよりコンパクトなＨ．２６４／ＡＶＣフォーマットに少ない処理量（complexity）で変換する技法を開発する必要がある。少ない処理量を達成するための鍵は、入力ＭＰＥＧ−２ビデオストリームから復号された情報を再利用することである。

ＭＰＥＧ−２デコーダをＨ．２６４／ＡＶＣエンコーダに接続することでトランスコーダを形成することができる。これを基準トランスコーダと呼ぶ。基準トランスコーダは、Ｈ．２６４／ＡＶＣエンコーダにおいて動き推定を行う必要があるため、計算処理量が非常に多い。入力ＭＰＥＧ−２ビデオビットストリームからの動き情報及びモード情報を再利用することによって基準トランスコーダの処理量を下げることができることはよく知られている（A. Vetro、C. Christopoulos、及びH. Sun著「ビデオトランスコーディングのアーキテクチャ及び技法：概説（Video transcoding architectures and techniques: an overview）」（IEEE Signal Processing Mag. 20(2):18-29, March 2003）を参照のこと）。しかし、このような情報を最も費用効率が良く有用な方法で再利用することは既知の課題である。

図１は従来技術のビデオトランスコーダ１００を示す。入力ＭＰＥＧ−２ビットストリーム１０１がＭＰＥＧ−２ビデオデコーダ１１０に供給される。デコーダは復号されたピクチャデータ１１１及び制御データ１１２を出力する。制御データはＭＰＥＧ−２ヘッダ情報及びマクロブロックデータを含む。ＭＰＥＧ−２マクロブロックデータは、ＭＰＥＧ−２ビットストリームの入力マクロブロック毎の動き情報１２１及びモード情報１３１を含む。この情報は、モーションマッピング１２０及びモード決定１３０への入力として供給される。モード決定は、Ｈ．２６４ビットストリームの出力マクロブロック毎の動き情報及びモード情報を含むＨ．２６４マクロブロックデータを推定する。Ｈ．２６４マクロブロックデータ及び復号されたピクチャデータは次に、予測１４０、復号されたピクチャデータと予測との間の差１５０、変換／量子化（ＨＴ／Ｑ）１６０、エントロピー符号化１７０、再構成された残差信号を得るための逆変換／量子化（逆Ｑ／逆ＨＴ）１８０、再構成された残差信号と予測との加算１８５、デブロッキングフィルタ１９０及び再構成されたピクチャのフレームバッファ１９５への記憶を含む簡略化されたＨ．２６４／ＡＶＣ符号化を行うために用いられる。エンコーダは、動き情報及びモード情報が入力ＭＰＥＧ−２ビデオビットストリーム及び対応するＭＰＥＧ−２マクロブロックデータに基づくため、基準トランスコーダに対して「簡略化」される。

トランスコーダにおけるモーションマッピング方法が、Z. Zhou、S. Sun、S. Lei、及びM. T. Sun著「ＭＰＥＧ−２からＨ．２６４へのトランスコーディングのための動き情報及び符号化モードの再利用（Motion information and coding mode reuse for MPEG-2 to H.264 transcoding）」（IEEE Int. Symposium on Circuits and Systems, pages 1230-1233, 2005）、並びにX. Lu、A. Tourapis、P. Yin、及びJ. Boyce著「ＭＰＥＧ−２／Ｈ．２６４トランスコーディングに焦点を当てたＨ．２６４の高速モード決定及びモーションマッピング（Fast mode decision and motion mapping for H.264 with a focus on MPEG-2/H.264 transcoding）」（IEEE Int. Symposium on Circuits and Systems, 2005）に記載されている。

しかし、それらの方法は複雑なモーションマッピングプロセスを必要とする。インター１６×１６予測の場合、入力ＭＰＥＧ−２ビデオビットストリームからの動きベクトルが付加的な動きベクトル予測子として用いられる。より小さなブロックサイズ、例えば１６×８、８×１６及び８×８の場合、動きベクトルを入力動きベクトルから直接推測することができない。これは、ＭＰＥＧ−２がそのような動きベクトルを含まないためである。代わりに、動きベクトルは、ＭＰＥＧ−２動きベクトルを考慮せずに従来の符号化プロセスを用いて推測される。したがって、このような方法は依然として、非常に複雑な動き検索プロセスを必要とする。

ＭＰＥＧ−２動きベクトルをブロックサイズに関係なくＨ．２６４／ＡＶＣ動きベクトルに直接マッピングする効率的なマッピングを行う従来技術の方法はない。複雑な動き検索プロセスを用いずにこのようなマッピングを行う必要がある。

本発明の実施の形態は、サイズの異なるブロック間で動きベクトルをマッピングする方法を提供する。出力ブロックの動きベクトルは、一組の入力動きベクトルと、一組の入力ブロックの空間特性とから推定される。入力ブロックは出力ブロックに重なるか又は近接する。推定された動きベクトルに動き精緻化プロセスを適用することができる。

Ｈ．２６４／ＡＶＣ規格は、インター予測の７つのブロックサイズ、すなわち、１６×１６、１６×８、８×１６、８×８、８×４、４×８、及び４×４を規定する。一方、ＭＰＥＧ−２規格は、１６×１６又は１６×８の２つのサイズを規定する。これは、ビデオをＭＰＥＧ−２からＨ．２６４／ＡＶＣへトランスコードする際に、所与のブロックサイズに対応する動きベクトルの、より広範囲のブロックサイズへのマッピングを必要とする。

図２に示すように、本発明は、一組の入力ブロック２１０に基づく一組の入力動きベクトル２０１を用いて出力ブロック２２０の動きベクトル２０８を求める、動きベクトルマッピング２０３のための方法２００を提供する。一組の入力ブロック２１０は出力ブロック２２０に重なるか又は近接する。出力ブロックは入力ブロックと異なるサイズであり得る。本明細書中で定義されるように、一組は１つ又は複数の成員を含み得る。近傍の範囲とマッピングの効率との間にはトレードオフがある。ブロックが少なすぎると十分な入力データが得られない場合があり、ブロックが多すぎるとノイズが入る場合がある。

一組の入力ブロック２１０に付随する一組の入力動きベクトル２０１に動きベクトルマッピング２０３を施して推定動きベクトル２０４を得る。動きベクトルマッピング２０３は一組の重み２０５を利用する。各入力ブロック２１０につき１つの重みがある。マッピング２０３は加重平均又は加重中央値として求められる。他の演算も適用することができる。重み２０５は、重み決定２０６を用いて、一組の入力ブロック２１０の入力動きベクトル２０１及び空間特性２０２に基づく。次に、推定動きベクトル２０４に任意の動きベクトル精緻化２０７を施して、出力ブロック２２０の精緻化された動きベクトル２０８を得る。動きベクトルマッピング方法２０３及び重み決定２０６に関するさらなる詳細を以下で説明する。

一般性を失うことなく、入力ＭＰＥＧ−２ビデオは、より一般的なＭＰＥＧ−２符号化方法であるフレームピクチャを用いて符号化されるものと仮定する。また、出力は、マクロブロック適応的フレーム／フィールド（ＭＢＡＦＦ）を用いずにＨ．２６４／ＡＶＣフレームピクチャを用いて符号化されるものと仮定する。これらの仮定は、本発明の説明を簡潔にするためだけに行われ、本発明の実施には必要ない。本発明の実施の形態は一般に、フィールドピクチャ入力、ＭＢＡＦＦを伴うフレームピクチャ出力、又はフィールドピクチャ出力、すなわち、あらゆるブロックベースのビデオ符号化方法に適用可能であることが理解される。

ブロックの動きベクトルは、その幾何学的中心の動きベクトルと同じである。したがって、動きベクトルマッピング２０３への１つの入力は一組の入力ブロック２１０の幾何学的中心であり、出力は出力ブロック２２０の幾何学的中心の動きベクトル２０８である。動きベクトルは、一組の入力動きベクトル２０１の加重平均又は加重中央値として導出することができる。

一組の入力ブロックは入力ビットストリームから得ることができ、出力ブロックは出力ビットストリームのためのものであることに留意すべきである。代替的に、一組の入力ブロックは入力ビットストリームにおいて事前に符号化されたブロックから得られ、出力ブロックは復号ピクチャの出力ブロックである。また、出力動きベクトルは、復号ピクチャの出力ブロックを再構成するために用いられる予測動きベクトルであり得る。復号ピクチャの出力ブロックの残差動きベクトルは復号することができ、予測動きベクトルと残差動きベクトルとの和は、復号ピクチャの出力ブロックを再構成するために用いられる再構成動きベクトルを与える。

重み決定
本発明の実施の形態において、重み２０５は、入力ブロック２１０の空間特性２０２と、一組の入力動きベクトル２０１とに基づく。代替の実施の形態を以下で説明する。

本発明の一実施の形態において、各入力動きベクトル２０１の重み２０５は、対応する入力ブロック及び出力ブロックの幾何学的中心間の距離に反比例する。

図３は、１６×１６のサイズの出力マクロブロック（太線）３００、１６×８のサイズの網掛け出力マクロブロックのブロックパーティション（partition：区画）「Ａ」３０５、及び「ａ_１」〜「ａ_６」としてそれぞれラベル付けされている６つの入力マクロブロック３１０を示す。入力マクロブロック「ａ_５」は出力マクロブロック３００に重なる。各入力マクロブロック３１０及び出力マクロブロックパーティション「Ａ」３０５の幾何学的中心は点３２０として示される。

入力マクロブロック「ａ_１」〜「ａ_６」のそれぞれに１つの動きベクトルが付随する場合、重みω_ｉは入力マクロブロック「ａ_１」の幾何学的中心と目標マクロブロックパーティション「Ａ」の幾何学的中心との間の距離に比例する。各入力マクロブロックの各幾何学的中心とパーティション３０５の幾何学的中心との間の各距離ｄ_ｉを線３２５として示す。

この場合、８ピクセルの距離が１であると仮定すると、距離ｄ_ｉは｛５／２，３／２，５／２，√１７／２，１／２，√１７／２｝である。これらの距離を１に正規化してそれぞれの重みを得る。

すなわち、重みは距離に反比例する。この特定の場合、一組の入力動きベクトルの一組の重みは、

であり、合計で１となる。

図４は、出力マクロブロック（太線）４１０、８×１６のサイズの出力マクロブロックパーティション「Ｂ」４２０、及び「ｂ_１」〜「ｂ_６」としてそれぞれラベル付けされている６つの入力マクロブロックの組を示す。幾何学的中心及び距離も示す。

図５は、出力マクロブロック５１０、８×８のサイズの出力マクロブロックパーティション「Ｃ」５２０、及び「ｃ_１」〜「ｃ_４」としてそれぞれラベル付けされている４つの入力マクロブロックの組を示す。

図３の説明と同様に、図４及び図５に示す出力マクロブロックパーティション「Ｂ」及び「Ｃ」の動きベクトルは、一組の入力動きベクトルの加重平均を用いて推定することができる。

別の実施の形態において、重みωは入力ブロックのサイズにも依存する。これは、入力ブロックが出力ブロックと異なるサイズである場合に特に有用である。この場合、重みはサイズに比例する。

図６は、１６×１６のサイズの出力マクロブロック（太線）６１０、１６×８のサイズの出力マクロブロックのブロックパーティション「Ｆ」６２０、及び「ｆ_１」〜「ｆ_６」としてそれぞれラベル付けされている６つの入力マクロブロックの組を示す。幾何学的中心及び距離も示す。この場合、各重みは次のように求められる。

ここで、ｄ_ｉは各入力ブロック「ｆ_ｉ」及び出力マクロブロックパーティション「Ｆ」６２０の幾何学的中心間の距離であり、ｂ_ｉは、ブロックサイズで決まる入力ブロックの小さい方の寸法である。例えば、「ｆ_１」のｂ_ｉは８であり、「ｆ_３」のｂ_ｉは４である。代替的に、ｂは入力ブロックの面積（サイズ）とすることができる。重みは、他の入力ブロックサイズ及び出力ブロックサイズに関しても同様に求めることができる。したがって、重みは距離、寸法、面積、又はそれらの組み合わせであり得る。入力動きベクトルが得られない場合、入力動きベクトルの重みはゼロに設定されるか、又は入力動きベクトルは使用されない外れ値であると判定される。

動きベクトルＶが外れ値であるかを判定する１つのプロセスを以下で説明する。Ｖ_ａｖｇを全ての入力動きベクトルの平均とする。その上で、｜Ｖ−Ｖ_ａｖｇ｜が所定の閾値Ｔよりも大きい場合にＶは外れ値であると見なす。ここで、｜Ｖ−Ｖ_ａｖｇ｜＝｜Ｖ_ｘ−Ｖ_{ａｖｇ，ｘ}｜＋｜Ｖ_ｙ−Ｖ_{ａｖｇ，ｙ}｜であり、Ｖ_ｘ、Ｖ_ｙはベクトルＶのｘ成分及びｙ成分であり、Ｖ_{ａｖｇ，ｘ}、Ｖ_{ａｖｇ，ｙ}はベクトルＶ_ａｖｇのｘ成分及びｙ成分である。

動きベクトルのマッピング及び精緻化
一組の重み｛ω_ｉ｝（ｉ＝１，２，．．．，Ｎ）及び一組の入力動きベクトル｛Ｖ_ｉ｝が得られたら、加重平均

あるいは加重中央値

を用いて出力ブロックの出力動きベクトルＶ_ｏを推定する。

加重平均又は加重中央値の演算の後、例えば、推定された動きベクトルを用いて動き補償予測を行う場合に、結果として得られた動きベクトルに精緻化プロセス２０７を施すことができる。動きベクトルの精緻化は、小さな局所関心領域内で予測誤差が最小化されるように動きベクトルに比較的小さな調整を行うよく知られた方法である（A. Vetro、C. Christopoulos、及びH. Sun著「ビデオトランスコーディングのアーキテクチャ及び技法：概説（Video transcoding architectures and techniques: an overview）」（IEEE Signal Processing Mag. 20(2):18-29, March 2003（参照により本明細書中に援用される））を参照のこと）。

ＭＰＥＧ−２及びＨ．２６３からＨ．２６４／ＡＶＣへのトランスコーディング中に、本発明は、Ｈ．２６４／ＡＶＣ符号化のための様々なブロックサイズの動きベクトルを、入力ビデオビットストリームから復号された動きベクトルから効率的に推定するために用いることができる。

本発明はまた、ビデオ符号化中に動きベクトルを効率的に符号化するために用いることができる。出力動きベクトルは、近傍ブロックの動きベクトルから推定された動きベクトルを予測子として用いることができ、その後、出力動きベクトルと予測子との間の差のみがデコーダに伝えられる。復号は逆のプロセスである。

この概念を図７に示す。図７は、出力マクロブロックパーティション「Ｐ」７２０及び４つの因果近傍ブロック「ｐ_１」〜「ｐ_４」を示す。この場合、パーティション（斜線）「Ｐ」６２０の動きベクトルは、ブロック「ｐ_１」〜「ｐ_４」の組の動きベクトルから推定される動きベクトルを予測子として用いて符号化することができる。

この手法は、従来の符号化において用いられる平行移動マクロブロック動きモデルよりも一般的である。ズームイン又はズームアウトのような動きがある場合も、矩形マクロブロックの動きベクトルは、その幾何学的中心の動きベクトルとほぼ同じであると見なすことができる。

本発明を好ましい実施の形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び修正を行ってもよいことが理解されるべきである。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るような変形及び修正をすべて網羅することである。

従来技術のトランスコーダのブロック図である。本発明の一実施の形態による、サイズの異なるブロック間で動きベクトルをマッピングする方法のブロック図である。本発明の一実施の形態による、一組の入力動きベクトルからの１６×８マクロブロックパーティションの動きベクトルマッピングのブロック図である。本発明の一実施の形態による、一組の入力動きベクトルからの８×１６マクロブロックパーティションの動きベクトルマッピングのブロック図である。本発明の一実施の形態による、一組の入力動きベクトルからの８×８マクロブロックパーティションの動きベクトルマッピングのブロック図である。本発明の一実施の形態による、ブロックサイズの異なる一組の入力動きベクトルからの１６×８マクロブロックパーティションの動きベクトルマッピングのブロック図である。本発明の一実施の形態による、因果近傍の一組の入力動きベクトルからの１６×８マクロブロックパーティションの動きベクトルマッピングのブロック図である。

Claims

各入力ブロックの各動きベクトルにつき１つの重みがあり、一組の入力ブロックの一組の動きベクトルの一組の重みを求めるステップと、
前記一組の動きベクトルを前記一組の重みに従って出力ブロックの出力動きベクトルにマッピングするステップと
を含む、コンピュータにより実施される動きベクトルのマッピング方法。
前記重みは、前記入力ブロックの幾何学的中心から前記出力ブロックの幾何学的中心までの距離に依存する
請求項１記載の方法。
前記重みは、前記入力ブロックのサイズに依存する
請求項１記載の方法。
前記重みは、前記入力ブロックの幾何学的中心から前記出力ブロックの幾何学的中心までの距離と、前記入力ブロックのサイズとに依存する
請求項１記載の方法。
前記一組の入力ブロックは、ＭＰＥＧ−２規格に従って符号化され、前記出力ブロックは、Ｈ．２６４／ＡＶＣ規格に従って符号化される
請求項１記載の方法。
前記一組の入力ブロックは、前記出力ブロックと異なるサイズを有する
請求項１記載の方法。
前記一組の入力ブロックは、前記出力ブロックに重なる
請求項１記載の方法。
前記一組の入力ブロックは、前記出力ブロックに近接する
請求項１記載の方法。
前記一組の入力ブロックは、前記出力ブロックに重なると共に近接する
請求項１記載の方法。
前記マッピングするステップは、加重中央値を用いる
請求項１記載の方法。
前記出力動きベクトルを精緻化するステップをさらに含む
請求項１記載の方法。
前記重みは、前記距離に反比例する
請求項２記載の方法。
前記重みは、前記サイズに比例する
請求項３記載の方法。
前記重みは、

であり、ここで、ｄ_ｉは前記距離である
請求項２記載の方法。
前記重みは、

であり、ここで、ｄ_ｉは前記距離であり、ｂ_ｉは前記入力ブロックの小さい方の寸法である
請求項２記載の方法。
前記重みは、前記動きベクトルが外れ値である場合にはゼロである
請求項１記載の方法。
前記出力動きベクトルは、

であり、ここで、Ｖ_ｉは一組の入力動きベクトルである
請求項１４記載の方法。
前記出力動きベクトルは、

であり、ここで、Ｖ_ｉは一組の入力動きベクトルである
請求項１４記載の方法。
前記一組の入力ブロックは、入力ビットストリームから得られ、前記出力ブロックは、出力ビットストリームのためのものである
請求項１記載の方法。
前記一組の入力ブロックは、入力ビットストリーム中の事前に符号化されたブロックから得られ、前記出力ブロックは、復号ピクチャの出力ブロックである
請求項１記載の方法。
前記出力動きベクトルは、復号ピクチャの前記出力ブロックを再構成するために用いられる予測動きベクトルである
請求項１記載の方法。
前記復号ピクチャの前記出力ブロックの残差動きベクトルは、復号される
請求項２１記載の方法。
前記予測動きベクトルと前記残差動きベクトルとの和は、前記復号ピクチャの前記出力ブロックを再構成するために用いられる再構成動きベクトルを与える
請求項２２記載の方法。
各入力ブロックの各動きベクトルにつき１つの重みがあり、入力ビットストリームの一組の入力ブロックの一組の動きベクトルの一組の重みを求める手段と、
前記一組の動きベクトルを前記一組の重みに従って出力ビットストリームの出力ブロックの出力動きベクトルにマッピングする手段と
を備える、動きベクトルをマッピングするトランスコーダ。
前記出力動きベクトルを精緻化する手段をさらに備える
請求項２４記載のトランスコーダ。
各入力ブロックの各動きベクトルにつき１つの重みがあり、入力ビットストリームの一組の入力ブロックの一組の動きベクトルの一組の重みを求める手段と、
前記一組の動きベクトルを前記一組の重みに従って復号ピクチャの出力ブロックの出力動きベクトルにマッピングする手段と
を備える、動きベクトルをマッピングするデコーダ。