JP2011147130A - 動き推定のための技術 - Google Patents

Abstract

【課題】ビデオデコーダの双予測フレーム又は予測フレームにおいて再構成された参照ピクチャに基づいて動き推定（ＭＥ）を適用する。
【解決手段】予測フレームについては、投影動き推定が、現在の入力ブロックについての動きベクトル（ＭＶ）を得るように実行される。双予測フレームにおいては、投影動き推定（ＭＥ）及びミラー動き推定の両方が、現在の入力ブロックについての動きベクトル（ＭＶ）を得るように実行される。メトリックが用いられ、探索経路内にあるＭＶ０及びＭＶ１の各々の対についてのメトリックを決定し、そのメトリックは、第１メトリック、第２メトリック及び第３メトリックの組み合わせに基づいている。第１メトリックは時間的フレーム相関性に基づき、第２メトリックは参照ブロックの空間的に隣接するブロックに基づき、そして第３メトリックは現在のブロックの空間的に隣接するブロックに基づいている。
【選択図】図１

Description

Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｅｃ（ＡＶＣ）としても知られているＨ．２６４及びＭＰＥＧ−４ Ｐａｒｔ １０は、産業界で広く追求されることが期待されているＩＴＵ−Ｔ／ＩＳＯビデオ圧縮規格である。Ｈ．２６４規格は、Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ（ＪＶＴ）により準備され、ＶＣＥＧ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）として知られているＩＴＵ−Ｔ ＳＧ１６ Ｑ．６を有し、また、ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｗｘｐｅｒｔ Ｇｒｏｕｐ）として知られているＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１も有する。Ｈ．２６４は、デジタルテレビＤｉｇｉｔａｌ ＴＶ（ＤＴＶ）放送、Ｄｉｒｅｃｔ Ｂｒｏａｄｃａｓｔ Ｓａｔｅｌｌｉｔｅ（ＤＢＳ）ビデオ、Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ（ＤＳＬ）ビデオ、Ｉｎｔｅｒａｃｔｉｖｅ Ｓｔｏｒａｇｅ Ｍｅｄｉａ（ＩＳＭ）、Ｍｕｌｔｉｍｅｄｉａ Ｍｅｓｓａｇｉｎｇ（ＭＭＭ）、Ｄｉｇｉｔａｌ Ｔｅｒｒｅｓｔｒｉａｌ ＴＶ Ｂｒｏａｄｃａｓｔ（ＤＴＴＢ）及びＲｅｍｏｔｅ Ｖｉｄｅｏ Ｓｕｒｖｅｉｌｌａｎｃｅ（ＲＶＳ）の領域におけるアプリケーションのためにデザインされる。

ビデオ符号化における動き推定は、ビデオフレーム間の時間的冗長性を除去又は低減することにより、ビデオ圧縮性能を改善するように用いられることが可能である。

入力ブロックを符号化するために、従来の動き推定は、参照フレームの特定の検索ウィンドウにおけるエンコーダにおいて実行されることが可能である。これは、入力ブロックと参照フレームにおける参照フレームとの間の差分絶対値の和（ＳＡＤ）を最小化する動きベクトルの決定を可能にする。動きベクトル（ＭＶ）情報は、その場合、動き補償のためのデコーダに送信されることが可能である。その動きベクトルは、端数画素単位について決定されることが可能であり、補間フィルタが端数画素値を計算するように用いられることが可能である。

元の入力フレームがデコーダで有効でない場合、デコーダにおける動き推定（ＭＥ）は、再構成された参照フレームを用いて実行されることが可能である。予測フレーム（Ｐフレーム）を符号化するとき、順方向の参照バッファにおいて複数の参照フレームが存在することが可能である。双予測フレーム（Ｂフレーム）を符号化するとき、順方向のバッファにおいて複数の参照フレームが、そして逆方向の参照バッファにおいて少なくとも１つの参照フレームが存在することが可能である。Ｂフレーム符号化のために、ミラー動き推定（ＭＥ）又は投影動き推定（ＭＥ）が、動きベクトル（ＭＶ）を得るように実行されることが可能である。予測フレーム（Ｐフレーム）符号化のために、投影動き推定（ＭＥ）が、動きベクトルを得るように実行されることが可能である。

他のコンテキストでは、１つ又はそれ以上のフレームにおけるブロックに関して、前に復号化された有効な画素において動き推定を実行することにより、ブロックに基づいた動きベクトルがビデオデコーダにおいて生成されることが可能である。有効な画素は、例えば、現在のフレームの一連の走査符号化順序における空間的に隣接するブロック、前に復号化されたフレームにおけるブロック、又は階層符号化が用いられたときの低階層においてダウンサンプリングされたフレームにおけるブロック等であることが可能である。有効な画素は代替として、上記のブロックの組み合わせであることが可能である。

従来のビデオ符号化システムにおいては、動き推定は、現在の符号化ブロックの予測のための動きベクトルを決定するようにエンコーダ側で実行され、それらの動きベクトルは、バイナリストリームに対して符号化され、現在の復号化ブロックの動き補償のためにデコーダ側に送信される必要がある。一部の最新のビデオ符号化規格、例えば、Ｈ．２６４／ＡＶＣにおいては、マクロブロック（ＭＢ）は符号化のためにより小さいブロックに区分されることが可能であり、動きベクトルは各々の副区分されたブロックに割り当てられることが可能である。その結果、マクロブロックが４ｘ４ブロックに区分される場合、予測符号化マクロブロックについては最大１６個の動きベクトルまで、双予測符号化マクロブロック（ＭＢ）については最大３２個の動きベクトルまで存在する。その結果、実質的な帯域幅は、エンコーダからデコーダに動きベクトル情報を送信するように用いられる。

ミラー動き推定ＭＥを用いて双予測フレームにおける現在のブロックについての動きベクトルを決定する実施形態の実施例を示す図である。 ２つの順方向の参照フレームに基づいて予測フレームにおける現在のブロックについての動きベクトルを決定する投影動き推定の実施例を示す図である。 拡張された参照ブロックを示す図である。 現在のブロックの空間的に隣接するブロックを示す図である。 実施形態に従った処理を示す図である。 動きベクトルを決定するように用いられる実施形態を示す図である。 自己動きベクトル導出モジュールを有する例示としてのＨ．２６４ビデオエンコーダアーキテクチャを示す図である。 自己動きベクトル導出モジュールを有するＨ．２６４ビデオデコーダを示す図である。

ディジタルビデオクリップは複数の連続的なビデオフレームを有する。連続的なフレームにおけるオブジェクト又は背景の動きが滑らかな軌道を描くことが可能であり、連続的なフレームにおける動きは比較的強い時間的相関性を有することが可能である。この相関性を用いることにより、動きベクトルが、再構成された参照ピクチャから動きを推定することによって現在の符号化ブロックについて導出されることが可能である。デコーダにおける動きベクトルの決定は、エンコーダにおいて実行される動き推定と比較して、送信帯域幅を低減することが可能である。

元の入力画素情報がデコーダにおいて有効でない場合、デコーダにおける動き推定は、再構成された参照フレームと、現在のフレームの有効な再構成されたブロックとを用いて実行されることが可能である。ここで、用語“有効な”は、ブロックが現在のブロックに先行して再構成されていることを意味する。予測フレームを符号化するとき、順方向の参照バッファには複数の参照フレームが存在し得る。双予測フレームを符号化するとき、順方向の参照バッファにおいて複数の参照フレームと、逆方向の参照バッファにおいて少なくとも１つの参照フレームとが存在し得る。

次に、一実施形態に従って、現在のブロックについて動きベクトルを得るように、デコーダにおいて動き推定を実行することについて説明する。双予測フレーム符号化のために、ミラー動き推定又は投影動き推定が、動きベクトルを決定するように実行されることが可能である。予測フレーム符号化のために、投影動き推定が、動きベクトルを決定するように実行されることが可能である。用語“フレーム”及び“ピクチャ”は、当業者が理解できるように、ここでは置き換え可能であるように用いられることに留意されたい。

エンコーダから動きベクトルを受信することに代えて、復号化ブロックについて動きベクトルを決定するように、デコーダについての種々の実施形態を提供する。デコーダ側の動き推定は、時間的フレーム相関性、及び参照ブロックの空間的に隣接するブロック及び現在のブロックの空間的に隣接するブロックに基づいて実行されることが可能である。例えば、動きベクトルは、参照バッファにおける２つの再構成されたピクチャ間でデコーダ側動き探索を実行することにより決定されることが可能である。予測ピクチャにおけるブロックについて、投影動き推定（ＭＥ）が用いられ、双予測ピクチャにおけるブロックについて、投影動き推定及びミラー動き推定の両方が用いられることが可能である。また、動き推定は、ブロックタイプの副区分に関して実行されることが可能である。符号化効率は、デコーダ側動き探索についての適応的な探索領域を適用することにより効果を上げることが可能である。例えば、探索領域を決定する技術について、２００９年１０月２０日に出願された米国特許出願公開第１２／５８２，０６１号明細書において開示されている。

図１は、ミラー動き推定を用いて、双予測フレームにおいて現在のブロックについての動きベクトルを決定する実施形態の実施例を示している。図１の実施形態においては、順方向参照フレーム１２０と逆方向参照フレーム１３０との間の２つの双予測フレーム１１０及び１１５が存在し得る。フレーム１１０は現在の符号化フレームであり得る。現在のブロック１４０を符号化するときに、ミラー動き推定が、参照フレーム１２０及び１３０の探索ウィンドウ１６０及び１７０のそれぞれにおいて探索を実行することにより動きベクトルを得るように実行されることが可能である。上記のように、現在の入力ブロックがデコーダにおいて有効でない場合、ミラー動き推定が、それら２つの参照フレームにより実行されることが可能である。

図２は、２つの順方向参照フレーム、即ち、順方向Ｒｅｆ０（参照フレーム２２０として示されている）及び順方向Ｒｅｆ１（参照フレーム２３０として示されている）に基づいて、予測フレームにおいて現在のブロックについての動きベクトルを決定する投影動き推定の実施例を示している。それらの参照フレームは、現在のフレーム２１０における目的ブロック２４０についての動きベクトルを導出するように用いられることが可能である。探索ウィンドウ２７０は参照フレーム２２０において指定されることが可能であり、探索経路は探索ウィンドウ２７０において指定されることが可能である。探索経路における各々の動きベクトルＭＶ０について、その投影動きベクトルＭＶ１は、参照フレーム２３０の探索ウィンドウ２６０において決定されることが可能である。動きベクトル、即ち、ＭＶ０及びその関連動きベクトルＭＶ１の各々の対について、差分絶対値の和等のメトリックが、（１）参照フレーム２２０においてＭＶ０が向いている参照ブロック２８０と、（２）参照フレーム２３０においてＭＶ１が向いている参照ブロック２５０との間で計算されることが可能である。そのメトリックについての最適値、例えば、最小のＳＡＤ（差分絶対値の和）を得る動きベクトルＭＶ０が、その場合、目的ブロック２４０についての動きベクトルとして選択されることが可能である。

図１及び２に関して説明しているシナリオについての動きベクトルを決定する技術については、２００９年９月２５日に出願された米国特許出願公開第１２１／５６６，８２３号明細書の図２及び４に示されている。

動きベクトルの例示としての探索については、米国特許出願公開第１２１／５６６，８２３号明細書の処理３００及び５００に示されているように処理することが可能である。次に、本明細書の図１のシナリオについての動きベクトルを決定する処理の要約を提供する。探索ウィンドウは順方向参照フレームにおいて指定されることが可能である。この探索ウィンドウは、エンコーダ及びデコーダの両方において同じであることが可能である。探索経路は、順方向探索ウィンドウにおいて指定されることが可能である。エンコーダ及びデコーダが同じ探索経路を辿る限り、ここでは、フル探索スキーム又は何れかの高速探索スキームが用いられることが可能である。探索経路におけるＭＶ０について、そのミラー動きベクトルＭＶ１は、逆方向探索ウィンドウで得られることが可能である。ここでは、関連時間期間中に動き軌道が相対的に短い直線であることを前提としている。差分絶対値の和（ＳＡＤ）等のメトリックが、（ｉ）順方向参照フレームにおいてＭＶ０が向いている参照ブロックと、（ｉｉ）逆方向参照フレームにおいてＭＶ１が向いている参照ブロックとの間で計算されることが可能である。それらの参照ブロックは、図１に参照番号１５０及び１８０のそれぞれで示されている。何れかの付加的な動きベクトルＭＶ０がその探索経路に存在するかどうかについての判定が行われることが可能である。それが好適である場合、その処理は繰り返され、各々のＭＶ０が関連するＭＶ１を有する場合に、２つ以上のＭＶ０が得られる。更に、各々のそのような関連する対について、例えば、差分絶対値の和（ＳＡＤ）等のメトリックが得られる。そのメトリック、即ち、最小のＳＡＤ等について所望の値を生成するＭＶ０が選択されることが可能であるが、それに限定されるものではない。このＭＶ０は、その場合、現在のブロックについての動きを予測するように用いられることが可能である。

次に、本明細書の図２のシナリオについての動きベクトルを決定する処理の要約を提供する。探索ウィンドウが、第１順方向参照フレームにおいて指定されることが可能である。このウィンドウは、エンコーダ及びデコーダの両方において同じであることが可能である。探索経路はこの探索ウィンドウで指定されることが可能である。例えば、ここでは、フル探索スキーム又は高速探索スキームが用いられ、従って、エンコーダ及びデコーダは同じ探索経路を辿ることが可能である。探索経路における動きベクトルＭＶ０について、その投影動きベクトルＭＶ１は、第２探索ウィンドウで得られることが可能である。ここでは、動き軌道はこの短い経路において直線であることを前提としている。ＳＡＤ等のメトリックが、（ｉ）第１参照フレームにおいてＭＶ０が向いている参照ブロックと、（ｉｉ）第２参照フレームにおいてＭＶ１が向いている参照ブロックとの間で計算されることが可能である。探索経路に残っていて、未だに考慮されていない、何れかの付加的な動きベクトルＭＶ０が存在するかどうかについての判定が行われることが可能である。少なくとも１つのＭＶ０が残っている場合、その処理が繰り返され、他のＭＶ０については、対応する投影動きベクトルＭＶ１が決定されることが可能である。このようにして、ＭＶ０及びＭＶ１の対の集合が決定され、メトリック、例えば、ＳＡＤが各々の対について計算されることが可能である。複数のＭＶ０の１つが選択され、その選択されたＭＶ０は、そのメトリックについて望ましい値、例えば、最小のＳＡＤを得るが、それに限定されるものではない。ＳＡＤメトリックが０であることが理論的に最適な値であるため、ＳＡＤメトリックについての最小の有効な値、即ち、０に近い値は好適なモードを示す。このＭＶ０は、その場合、現在のブロックについての動きを予測するように用いられる。

種々の実施形態においては、動きベクトルを決定するように、２つの参照フレームにおける２つのミラーブロック間の又は２つの投影ブロック間の差分絶対値の和が決定される。現在のブロックのサイズはＭｘＮ個の画素であり、現在のブロックの位置は、現在のブロックの最左上画素の座標により表される。種々の実施形態においては、参照フレームＲ_０における動きベクトルがＭＶ_０＝（ｍｖ_０＿ｘ，ｍｖ_０＿ｙ）であり、他の参照フレームＲ_１における対応する動きベクトルがＭＶ_１＝（ｍｖ_１＿ｘ，ｍｖ_１＿ｙ）であるとき、動き探索メトリックは、次式（１）を用いて決定される。
Ｊ＝Ｊ_０＋α_１Ｊ_１＋α_２Ｊ_２ （１）
ここで、Ｊ_０は、（ｉ）順方向参照フレームにおいてＭＶ０が向いている参照ブロックと、逆方向参照フレーム（又は、図２のシナリオにおける第２順方向参照フレーム）においてＭＶ１が向いている参照ブロックとの間で計算され、２００９年９月２５日に出願された米国特許出願公開第１２／５６６，８２３号明細書において開示されている差分絶対値の和を表し、
Ｊ_１は、参照ブロックの空間的に隣接するブロックに基づく拡張されたメトリックであり、Ｊ_２は、現在のブロックの空間的に隣接するブロックに基づく拡張されたメトリックであり、この場合、α_１及びα_２は２つの重み係数である。重み係数α_１及びα_２は、シミュレーションにより決定されることが可能であり、デフォルトは１に設定される。

式（１）により値Ｊ、例えば、最小値のＳＡＤについての最適値を得る動きベクトルＭＶ０が、その場合、現在のブロックについての動きベクトルとして選択されることが可能である。動きベクトルＭＶ０は、次式
ＭＶ１＝（ｄ_１／ｄ_０）ｘＭＶ０
に従って定義される関連動きベクトルＭＶ１を有し、
ここで、現在のブロックが双予測ピクチャ内にあるとき、ｄ_０は、現在のフレームのピクチャと図１に示されている順方向参照フレームとの間の距離を表し、
現在のブロックが予測ピクチャ内にあるとき、ｄ_０は、現在のフレームのピクチャと図２に示されている第１順方向参照フレームとの間の距離を表し、
現在のブロックが双予測ピクチャ内にあるとき、ｄ_１は、現在のフレームのピクチャと図１に示されている逆方向参照フレームとの間の距離を表し、そして
現在のブロックが予測ピクチャ内にあるとき、ｄ_１は、現在のフレームのピクチャと図２に示されている第２順方向参照フレームとの間の距離を表す。

図１のシナリオについては、現在のブロックについて得られた動きベクトルＭＶ０及びＭＶ１の対が与えられる場合、順方向予測Ｐ０（ＭＶ０）はＭＶ０により得られることが可能であり、逆方向予測Ｐ１（ＭＶ１）はＭＶ１により得られることが可能であり、そして双方向予測がＭＶ０及びＭＶ１の両方により得られることが可能である。双方向予測は、例えば、Ｐ０（ＭＶ０）及びＰ１（ＭＶ１）の平均、又は重み付け平均（Ｐ０（ＭＶ０）＊ｄ１＋Ｐ１（ＭＶ１）＊ｄ０）／（ｄ０＋ｄ１）であることが可能である。代替機能が、双方向予測を得るように用いられることが可能である。実施形態においては、エンコーダ及びデコーダは同じ予測方法を用いることが可能である。実施形態においては、選択される予測方法は、規格仕様において識別される又は符号化されたビットストリームにおいて信号が送られることが可能である。

図２のシナリオにおいては、現在のブロックについての予測が異なる方法で得られることが可能である。それらの予測は、例えば、Ｐ０（ＭＶ０）、Ｐ１（ＭＶ１）、（Ｐ０（ＭＶ０）＋Ｐ１（ＭＶ１））／２又は（Ｐ０（ＭＶ０）＊ｄ１＋Ｐ１（ＭＶ１）＊ｄ０／（ｄ０＋ｄ１）であることが可能である。他の実施形態においては、他の機能が用いられることが可能である。それらの予測は、エンコーダ及びデコーダの両方において同じ方法で得られることが可能である。実施形態においては、予測方法は、規格仕様において識別される又は符号化ビットストリームにおいて信号が送られることが可能である。

種々の実施形態においては、Ｊ_０は次式を用いて決定されることが可能である。

ここで、Ｎ及びＭは現在のブロックのｘ寸法及びｙ寸法のそれぞれであり、
Ｒ_０は第１順方向参照フレームであり、Ｒ_０（ｘ＋ｍｖ_０＿ｘ＋ｉ，ｙ＋ｍｖ_０＿ｙ＋ｊ）は位置（ｘ＋ｍｖ_０＿ｘ＋ｉ，ｙ＋ｍｖ_０＿ｙ＋ｊ）のＲ_０における画素値であり、
Ｒ_１は、ミラー動き推定（ＭＥ）についての第１逆方向参照フレーム又は投影動き推定についての第２順方向参照フレームであり、Ｒ_１（ｘ＋ｍｖ_１＿ｘ＋ｉ，ｙ＋ｍｖ_１＿ｙ＋ｊ）は位置（ｘ＋ｍｖ_１＿ｘ＋ｉ，ｙ＋ｍｖ_１＿ｙ＋ｊ）のＲ_１における画素値であり、
ｍｖ_０＿ｘは、参照フレームＲ_０のｘ方向における現在のブロックについての動きベクトルであり、
ｍｖ_０＿ｙは、参照フレームＲ_０のｙ方向における現在のブロックについての動きベクトルであり、
ｍｖ_１＿ｘは、参照フレームＲ_１のｘ方向における現在のブロックについての動きベクトルであり、
ｍｖ_１＿ｙは、参照フレームＲ_１のｙ方向における現在のブロックについての動きベクトルである。

動きベクトルが端数画素位置の方を向いているとき、画素値が、補間により、例えば、Ｈ．２６４／ＡＶＣ規格仕様において規定されている双一次補間又は６タップ補間により得られる。

変数Ｊ_１の説明は、図３を参照して行う。図３は、拡張された参照ブロックを示している。ＭｘＮ個の参照ブロック３０２が、Ｗ_０、Ｗ_１、Ｈ_０及びＨ_１のそれぞれである拡張された縁サイズにより４つの縁において拡張されている。従って、図１及び２のシナリオで動きベクトルを決定するように用いられる参照フレームＲ_０及びＲ_１における参照ブロックの各々は、図３の実施例に従って拡張される。一部の実施形態においては、メトリックＪ_１は次式を用いて計算される。

ここで、Ｍ及びＮは元の参照ブロックの寸法である。拡張された参照ブロックの寸法は（Ｍ＋Ｗ_０＋Ｗ_１）ｘ（Ｎ＋Ｈ_０＋Ｈ_１）であることに留意されたい。

変数Ｊ_２の説明は、図４を参照して行う。図４は、現在のブロック４０２の空間的に隣のブロックを示している。変数Ｊ_２については、参照ブロックとは対照的である現在のブロックを参照して説明されることに留意されたい。現在のブロックは新しいピクチャに位置付けられる。ブロック４０２はＭｘＮ個の画素の現在のブロックである。ブロックの復号化はラスタ走査順序にあるため、復号化された４つの有効な空間的に隣の領域、即ち、左隣領域Ａ_０、上隣領域Ａ_１、左上隣領域Ａ_２及び右上隣領域Ａ_３を有することが可能である。現在のブロックが複数のフレーム境界にあるとき又は親マクロブロック（ＭＢ）の上境界又は左境界にないとき、空間的に隣接する領域の一部は現在のブロックについて有効でない。有効性フラグが、４つの領域についてγ_０、γ_１、γ_２及びγ_３として定義される。領域のフラグが１に等しい場合には、その領域は有効であり、領域のフラグが０に等しい場合には、その領域は有効でない。その場合、有効な空間領域は、次式のように、現在のブロックについてＡ_{ａｖａｉｌ}と定義される。
Ａ_{ａｖａｉｌ}＝γ_０Ａ_０＋γ_１Ａ_１＋γ_２Ａ_２＋γ_３Ａ_３
従って、メトリックＪ_２は次式のように計算される。

ここで、Ｃ（ｘ，ｙ）は、現在のブロックを境界付ける領域内の現在のフレームにおける画素であり、ω_０及びω_１は、新しいピクチャと、参照フレーム０及び１との間のフレーム距離に従って設定される、若しくは０．５に設定されることが可能である２つの重み係数である。

Ｒｘが新しいピクチャを表す場合、等しい重みは、Ｒ_０からＲ_ｘまでの距離がＲ_１からＲ_ｘまでの距離に等しい場合に生じる。Ｒ_０からＲ_ｘまでの距離がＲ_１からＲ_ｘまでの距離と異なる場合、重み係数は、それに応じて、重み付けの違いに基づいて設定される。

実施形態においては、図４のパラメータが、次式のように設定されるが、それらに限定されるものではない。

図５は、実施形態に従った処理を表している。ブロック５０２は、現在のブロックが双予測ピクチャ内にあるときの順方向参照フレームにおける、又は現在のブロックが予測ピクチャ内にあるときの第１順方向参照フレームにおける、探索ウィンドウを指定する段階である。この探索ウィンドウは、エンコーダ及びデコーダの両方において同じであることが可能である。

ブロック５０４は、順方向探索ウィンドウにおける探索経路を指定する段階を有する。ここでは、エンコーダ及びデコーダが同じ探索経路を辿る限り、フル探索スキーム又は何れかの高速探索スキームが用いられる。

ブロック５０６は、探索経路における各々のＭＶ０について、（１）第２参照フレームについての探索ウィンドウにおける動きベクトルＭＶ１と、（２）第１参照フレームにおける参照ブロック及びＭＶ１が向いている第２参照フレームにおける参照ブロックに基づくメトリックとを決定する段階を有する。探索経路におけるＭＶ０について、現在のブロックが双予測ピクチャ内にあるとき、ミラー動きベクトルＭＶ１は、逆方向探索ウィンドウにおいて得られる。探索経路におけるＭＶ０について、現在のブロックが予測ピクチャ内にあるとき、投影動きベクトルＭＶ１は、第２順方向参照フレームについての探索ウィンドウにおいて得られる。ここで、動き軌道は関連時間期間中、相対的に短い直線であることを前提とすることが可能である。ＭＶ１は、ＭＶ０の次式の関数として得られ、ここでは、ｄ０及びｄ１は、現在のフレームとそれぞれの参照フレームの各々との間の距離である。
ＭＶ１＝（ｄ_１／ｄ_０）ｘＭＶ０
ブロック５０８は、最も好ましいメトリックを有する動きベクトルＭＶ０を選択することを有する。例えば、上記のメトリックＪが決定され、メトリックＪの最小値に関連するＭＶ０が選択される。このＭＶ０は、その場合、現在のブロックについての動きを予測するように用いられることが可能である。

図６は、動きベクトルを決定するように用いられる実施形態を示している。システム６００は、コンピュータプログラムロジック６４０を記憶することが可能である１つ又はそれ以上のコンピュータ読み出し可能媒体を有することが可能であるメモリの本体６１０及びプロセッサ６２０を有することが可能である。メモリ６１０は、例えば、ハードディスクドライブ、コンパクトディスクドライブ等の取り外し可能媒体、又は読み出し専用メモリ（ＲＯＭ）ドライブとして実施されることが可能である。メモリは、プロセッサ６２０によりネットワークを介して遠隔的にアクセスされることが可能である。プロセッサ６２０及びメモリ６１０は、バス等の当業者に知られている複数の技術のうちの何れかを用いる通信におけるものであることが可能である。メモリ６１０に含まれている論理は、プロセッサ６２０により読み出されて、実行されることが可能である。Ｉ／Ｏ６３０として集合的に示されている１つ又はそれ以上のＩ／Ｏポート及び／又はＩ／Ｏ装置はまた、プロセッサ６２０及びメモリ６１０に接続されることが可能である。Ｉ／Ｏポートは、無線通信インタフェースのための１つ又はそれ以上のアンテナを有することが可能であり、又は有線通信インタフェースを有することが可能である。

コンピュータプログラム論理６４０は動き推定論理６６０を有することが可能である。動き推定論理は、実行されるときに、上記の動き推定処理を実行することが可能である。動き推定論理６６０は、例えば、実行されるときに、上記の動作を実行する投影動き推定論理を有することが可能である。論理６６０は、例えば、ミラー動き推定論理、現在のブロックの時間的又は空間的隣接ブロックに基づいて動き推定を実行する論理、又は現在のブロックに対応する下層ブロックに基づいて動き推定を実行する論理、も有する、又は代替として有することが可能である。

その処理を実行する動き推定論理６６０に先行して、探索範囲ベクトルが生成されることが可能である。この探索範囲ベクトルは、探索範囲計算論理６５０により上記のように実行されることが可能である。探索計算のために実行される技術については、例えば、２００９年１０月２０日に出願された米国出願公開第１２／５８２，０６１号明細書に記載されている。一旦、探索範囲ベクトルが生成されると、このベクトルは、動き推定論理６６０により実行される探索を境界付けるように用いられることが可能である。

探索範囲ベクトルの決定を実行する論理は、より大きいコーデックアーキテクチャで用いられる自己動きベクトル導出モジュールに組み込まれることが可能である。図７は、自己動きベクトル導出モジュール７４０を有することが可能である例示としてのＨ．２６４ビデオエンコーダアーキテクチャ７００を示していて、ここで、Ｈ．２６４ｈａビデオコーデック規格である。現在のビデオ情報は、複数のフレームの形で現在のビデオブロック７１０から提供されることが可能である。現在のビデオは、差分ユニット７１１に渡されることが可能である。差分ユニット７１１は、動き補償段階７２２及び動き推定段階７１８を有することが可能である差分パルスコード変調（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ：ＤＰＣＭ）（コアビデオ符号化とも呼ばれる）ループの一部であることが可能である。そのループはまた、イントラ予測段階７２０及びイントラ補間段階７２４を有することが可能である。一部の場合、インループデブロッキングフィルタ７２６も、そのループで用いられることが可能である。

現在のビデオ７１０は、差分ユニット７１１及び動き推定段階７１８に供給されることが可能である。動き補償段階７２２又はイントラ補間段階７２４は、その場合に、残り（ｒｅｓｉｄｕａｌ）を生成するように現在のビデオから減算されることが可能である、スイッチ７２３を介しての出力を生成することが可能である。その残りは、その場合、変換／量子化段階７１２で変換されて、量子化され、そしてブロック７１４におけるエントロピー符号化を受ける。その結果、チャネル出力がブロック７１６で得られる。

動き補償段階７２２又は内部補間段階７２４の出力が、逆量子化ユニット７３０及び逆変換ユニット７３２からの入力を受け入れることも可能である加算器７３３に供給されることが可能である。後者の２つのユニットは、変換／量子化段階７１２の変換及び量子化を取り消す。逆変換ユニット７３２は、逆量子化されて、逆変換された情報をそのループに戻すように供給することが可能である。

自己動きベクトル導出モジュール７４０は、動きベクトルの導出のために上記の処理を実行することが可能である。自己動きベクトル導出モジュール７４０は、インループデブロッキングフィルタ７２６の出力を受け入れることが可能であり、動き補償段階７２２に出力を供給することが可能である。

図８は、自己動きベクトル導出モジュール８１０を備えたＨ．２６４ビデオデコーダ８００を示している。ここでは、図７のエンコーダ７００のためのデコーダ８００は、エントロピー復号化ユニット８４０に結合されたチャネル入力８３８を有することが可能である。復号化ユニット８４０からの出力は、逆量子化ユニット８４２及び逆変換ユニット８４４に、並びに自己動きベクトル導出モジュール８１０に供給されることが可能である。自己動きベクトル導出モジュール８１０は動き補償ユニット８４８に結合されることが可能である。エントロピー復号化ユニット８４０の出力は、切り換えスイッチ８２３に供給することが可能であるイントラ補間ユニット８５４にも供給されることが可能である。逆変換ユニット８４４と、スイッチ８２３により選択される動き補償ユニット８４８かイントラ補間ユニット８５４のどちらかとからの情報は、その場合、まとめられ、インループデブロッキングユニット８４６に供給され、イントラ補間ユニットに戻るように供給されることが可能である。インループデブロッキングユニット８４６の出力は、その場合、自己動きベクトル導出モジュール８１０に供給されることが可能である。

自己動きベクトル導出モジュールはビデオエンコーダに位置付けられ、ビデオデコーダ側と同期することが可能である。自己動きベクトル導出モジュールは、代替として、一般ビデオコーデックアーキテクチャに適用されることが可能であり、Ｈ．２６４符号化アーキテクチャに限定されるものではない。従って、動きベクトルは、エンコーダからデコーダに送信されるのではなく、そのことは送信帯域幅を節約することができる。

種々の実施形態は、ビデオコーデックシステムの符号化効率を改善するように自己動きベクトル（ＭＶ）導出モジュールのデコーダ側動き推定（ＭＥ）のための空間的−時間的組み合わせ動き探索を用いる。

本明細書で述べているグラフィクス技術及び／又は処理技術は、種々のハードウェアアーキテクチャにおいて実施されることが可能である。例えば、グラフィクス機能及び／又はビデオ機能は、チップセット内に統合されることが可能である。代替として、別個のグラフィクスプロセッサ及び／又はビデオプロセッサが用いられることが可能である。他の実施形態においては、グラフィクス機能及び／又はビデオ機能は、マルチコアプロセッサを有する汎用目的のプロセッサにより実施されることが可能である。他の実施形態においては、それらの機能は、消費者のエレクトロニクス装置で実施されることが可能である。

本発明の実施形態は、マザーボード、ハードワイヤード論理、メモリ装置により記憶されているソフトウェアを用いて、そしてマイクロプロセッサ、ファームウェア、ＡＳＩＣ（特定用途向け集積回路）及び／又はＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）により実行される１つ又はそれ以上のマイクロチップ又は集積回路の何れか又はそれらの組み合わせとして実施されることが可能である。用語“論理”は、例示として、ソフトウェア又はハードウェア並びに／若しくはソフトウェア及びハードウェアの組み合わせを有することが可能である。

本発明の実施形態は、例えば、コンピュータ、複数のコンピュータのネットワーク又は他の電子装置等の１つ又はそれ以上の機械により実行されるときに、本発明の実施形態に従った動作を実行する１つ又はそれ以上の機械においてもたらされる機器実行可能命令が記憶されている１つ又はそれ以上の機械読み出し可能媒体を有することが可能であるコンピュータプログラムプロダクトとして提供されることが可能である。機械読み出し可能媒体には、フロッピー（登録商標）ディスク、光ディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｉｅｓ）、光磁気ディスク、ＲＯＭ（読み出し専用メモリ）、ＲＡＭ（ランダムアクセスメモリ）、ＥＰＲＯＭ（消去可能プログラマブルＲＯＭ）、ＥＥＰＲＯＭ（電気的消却・プログラマブルＲＯＭ）、磁気カード又は光カード、フラッシュメモリ、若しくは他の種類の機械実行可能命令を記憶するために適切な媒体又は機械読み出し可能媒体があるが、それらに限定されるものではない。

添付図及び上記の詳述は、本発明の実施例を与えるものである。それらにおいては異なる機能要素として示されているが、当業者は、それらの要素の１つ又はそれ以上が単一の機能要素にうまく組み合わされることが可能であることを理解することができる。代替として、特定の要素は複数の機能要素に分割されることが可能である。１つの実施形態における要素が他の実施形態に付加されることが可能である。更に、何れかのフローチャートの段階は、示されている順序で実行される必要はなく、それらの段階の全てが実行される必要はない。また、他の段階に依存しない段階は、他の段階と並列して実行されることが可能である。しかしながら、本発明の範囲は、それらの特定の実施例に決して限定されるものではない。明細書に明示的に記載されているか否かに拘わらず、構造、寸法、材料使用等の種々の変形が可能である。本発明の範囲については、同日提出の特許請求の範囲に記載されている。

Claims (20)

1. コンピュータにより実行される方法であって：
   ビデオデコーダにおいて、第１参照フレームにおける探索ウィンドウを指定する段階；
   前記第１参照フレームの前記探索ウィンドウにおける探索経路を指定する段階；
   各々の動きベクトルＭＶ０が現在のブロックから前記探索ウィンドウにおける参照ブロックの方を向いている、前記探索経路における各々の動きベクトルＭＶ０について、第２参照フレームにおいて参照ブロックの方を向いている対応する第２の動きベクトルＭＶ１を決定する段階であって、前記対応する第２の動きベクトルＭＶ１は前記動きベクトルＭＶ０の関数である、段階；
   前記探索経路にある前記動きベクトルＭＶ０及び前記第２の動きベクトルＭＶ１の対の各々についてのメトリックを決定する段階であって、前記メトリックは第１メトリック、第２メトリック及び第３メトリックの組み合わせを有し、前記第１メトリックは時間的フレーム相関性に基づき、前記第２メトリックは前記参照ブロックの空間的に隣接するブロックに基づき、そして前記第３メトリックは前記現在のブロックの空間的に隣接するブロックに基づいている、段階；
   前記メトリックについての前記動きベクトルＭＶ０の対応する値が所望の値である前記動きベクトルＭＶ０を選択する段階であって、前記選択された動きベクトルＭＶ０は現在のブロックについての動きベクトルとして用いられる、段階；並びに
   表示のためのピクチャを備える段階であって、表示のための前記ピクチャは前記選択された動きベクトルＭＶ０の一部に基づいている、段階；
   を有する方法。
2. 請求項１に記載の方法であって、メトリックを決定する前記段階は：
   前記第１メトリック、前記第２メトリック及び前記第３メトリックの重み平均を決定する段階；
   を有する方法。
3. 請求項１又は２に記載の方法であって、メトリックを決定する前記段階は：
   次式
   

   

   に基づいて前記第１メトリックを決定する段階であって、ここで、Ｎ及びＭは前記現在のブロックのｙ寸法及びｘ寸法のそれぞれであり、Ｒ_０は第１順方向参照フレームを有し、Ｒ_０（ｘ＋ｍｖ_０＿ｘ＋ｉ，ｙ＋ｍｖ_０＿ｙ＋ｊ）は位置（ｘ＋ｍｖ_０＿ｘ＋ｉ，ｙ＋ｍｖ_０＿ｙ＋ｊ）のＲ_０における画素値であり、Ｒ_１はミラー動き推定についての第１逆方向参照フレーム又は投影動き推定についての第２順方向参照フレームを有し、Ｒ_１（ｘ＋ｍｖ_１＿ｘ＋ｉ，ｙ＋ｍｖ_１＿ｙ＋ｊ）は位置（ｘ＋ｍｖ_１＿ｘ＋ｉ，ｙ＋ｍｖ_１＿ｙ＋ｊ）のＲ_１における画素値を有し、ｍｖ_０＿ｘは参照フレームＲ_０のｘ方向における現在のブロックについての動きベクトルを有し、ｍｖ_０＿ｙは参照フレームＲ_０のｙ方向における現在のブロックについての動きベクトルを有し、ｍｖ_１＿ｘは参照フレームＲ_１のｘ方向における現在のブロックについての動きベクトルを有し、ｍｖ_１＿ｙは参照フレームＲ_１のｙ方向における現在のブロックについての動きベクトルを有する、段階；
   を有する方法。
4. 請求項１乃至３の何れか一項に記載の方法であって、メトリックを決定する前記段階は：
   次式
   

   

   に基づいて前記第２メトリックを決定する段階；
   を有する方法。
5. 請求項１乃至４の何れか一項に記載の方法であって、メトリックを決定する前記段階は：
   次式
   

   

   に基づいて前記第３メトリックを決定する段階であって、ここで、Ａ_{ａｖａｉｌ}は前記現在のブロックの周囲の領域を有し、Ｃ（ｘ，ｙ）は前記現在のブロックを境界付ける領域内の現在のフレームにおける画素を有し、ω_０及びω_１は、新しいピクチャと参照フレーム０及び１との間のフレーム距離に従って設定される２つの重み係数である、段階；
   を有する方法。
6. 請求項１乃至５の何れか一項に記載の方法であって、前記現在のブロックは双予測ピクチャ内にあり、前記第１順方向参照フレームは順方向参照フレームを有し、前記第２順方向参照フレームは逆方向参照フレームを有する、方法。
7. 請求項１乃至６の何れか一項に記載の方法であって、前記現在のブロックは予測ピクチャ内にあり、前記第１順方向参照フレームは第１順方向参照フレームを有し、前記第２順方向参照フレームは第２順方向参照フレームを有する、方法。
8. 請求項１乃至７の何れか一項に記載の方法であって、前記メトリックは差分絶対値の和であり、前記所望の値は差分絶対値の最小の和である、方法。
9. 請求項１乃至８の何れか一項に記載の方法であって：
   エンコーダにおいて、第３参照フレームにおいて第２探索ウィンドウを指定し、前記第３参照フレームの前記第２探索ウィンドウにおいて第２探索経路を指定することにより、前記現在のブロックについての動きベクトルを決定する段階；
   各々の動きベクトルＭＶ２が前記現在のブロックから前記第２探索ウィンドウにおける参照ブロックの方を向いている、前記第２探索経路における各々の動きベクトルＭＶ２について、第４参照フレームにおける参照ブロックの方を向いている対応する第２動きベクトルＭＶ３を決定する段階；
   前記第２探索経路にある動きベクトルＭＶ２及び前記第２動きベクトルＭＶ３の各々の対についてのメトリックを決定する段階であって、前記メトリックは第１メトリック、第２メトリック及び第３メトリックの組み合わせを有する、段階；並びに
   前記メトリックについての前記動きベクトルＭＶ２の対応する値が所望の値である前記動きベクトルＭＶ２を選択する段階であって、前記選択された動きベクトルＭＶ２は前記現在のブロックについての動きベクトルとして用いられる、段階；
   を更に有する、方法。
10. 探索経路において各々の動きベクトルＭＶ０を決定する論理であって、各々のＭＶ０は現在のブロックから探索ウィンドウにおける参照ブロックの方を向いている、論理；
    第２参照フレームにおいて参照ブロックの方を向いている対応する第２の動きベクトルＭＶ１を決定する論理であって、前記対応する第２の動きベクトルＭＶ１はＭＶ０の関数である、論理；
    前記探索経路にある動きベクトルＭＶ０及び前記対応する第２の動きベクトルＭＶ１の各々の対についてのメトリックを決定する論理であって、前記メトリックは、第１メトリック、第２メトリック及び第３メトリックの組み合わせを有し、前記第１メトリックは時間的フレーム相関性に基づき、第２メトリックは前記参照ブロックの空間的に隣接するブロックに基づき、そして第３メトリックは前記現在のブロックの空間的に隣接するブロックに基づく、論理；並びに
    前記メトリックの前記動きベクトルＭＶ０の対応する値が所望の値である前記ＭＶ０を選択する論理であって、前記選択された動きベクトルＭＶ０は、前記現在のブロックについての動きベクトルとして用いられる、論理；
    を有するビデオデコーダ。
11. 請求項１０に記載のビデオデコーダであって：
    前記第１参照フレームにおいて前記探索ウィンドウを指定する論理；
    前記第１参照フレームの前記探索ウィンドウにおいて前記探索経路を指定する論理；及び
    前記第２参照フレームにおいて探索ウィンドウを指定する論理；
    を更に有する、ビデオデコーダ。
12. 請求項１０又は１１に記載のビデオデコーダであって、メトリックを決定するように、前記論理は：
    次式
    

    

    に基づいて前記第１メトリックを決定するためのものであって、ここで、Ｎ及びＭは前記現在のブロックのｙ寸法及びｘ寸法のそれぞれであり、ｍｖ_０＿ｘは参照フレームＲ_０のｘ方向における現在のブロックについての動きベクトルを有し、ｍｖ_０＿ｙは参照フレームＲ_０のｙ方向における現在のブロックについての動きベクトルを有し、ｍｖ_１＿ｘは参照フレームＲ_１のｘ方向における現在のブロックについての動きベクトルを有し、ｍｖ_１＿ｙは参照フレームＲ_１のｙ方向における現在のブロックについての動きベクトルを有する；
    ビデオデコーダ。
13. 請求項１０乃至１２の何れか一項に記載のビデオデコーダであって、メトリックを決定するように、前記論理は：
    次式
    

    

    に基づいて前記第２メトリックを決定するものである；
    方法。
14. 請求項１０乃至１３の何れか一項に記載の方法であって、メトリックを決定するように、前記論理は：
    次式
    

    

    に基づいて前記第３メトリックを決定するものであって、ここで、Ａ_{ａｖａｉｌ}は前記現在のブロックの周囲の領域を有し、Ｃ（ｘ，ｙ）は前記現在のブロックを境界付ける領域内の現在のフレームにおける画素を有し、ω_０及びω_１は、新しいピクチャと参照フレーム０及び１との間のフレーム距離に従って設定される２つの重み係数である；
    ビデオデコーダ。
15. 請求項１０乃至１４の何れか一項に記載のビデオデコーダであって、前記現在のブロックは双予測ピクチャ内にあり、前記第１順方向参照フレームは順方向参照フレームを有し、前記第２順方向参照フレームは逆方向参照フレームを有する、ビデオデコーダ。
16. 請求項１０乃至１５の何れか一項に記載のビデオデコーダであって、前記現在のブロックは予測ピクチャ内にあり、前記第１順方向参照フレームは第１順方向参照フレームを有し、前記第２順方向参照フレームは第２順方向参照フレームを有する、ビデオデコーダ。
17. ディスプレイ；
    メモリ；並びに
    前記ディスプレイに通信可能に結合されたプロセッサであって、該プロセッサは、
    各々の動きベクトルＭＶ０が現在のブロックから探索ウィンドウにおける参照ブロックの方を向いていて、探索経路において各々の動きベクトルＭＶ０を決定し、
    第２参照フレームにおいて参照ブロックの方を向いている対応する第２の動きベクトルＭＶ１が動きベクトルＭＶ０の関数であり、前記対応する第２の動きベクトルＭＶ１を決定し、
    前記探索経路にある動きベクトルＭＶ０及び前記対応する第２の動きベクトルＭＶ１の対の各々についてのメトリックは、第１メトリック、第２メトリック及び第３メトリックの組み合わせを有し、前記第１メトリックは時間的フレーム相関性に基づき、前記第２メトリックは前記参照ブロックの空間的に隣接するブロックに基づき、そして前記第３メトリックは前記現在のブロックの空間的に隣接するブロックに基づいていて、前記メトリックを決定し、
    前記メトリックについての前記動きベクトルＭＶ０の対応する値が所望の値である前記動きベクトルＭＶ０が選択され、前記選択された動きベクトルＭＶ０は前記現在のブロックについての動きベクトルとして用いられる、プロセッサ；
    を有するシステム。
18. 請求項１７に記載のシステムであって：
    前記プロセッサに通信可能に結合された無線ネットワークインタフェース；
    を更に有する、システム。
19. 請求項１７又は１８に記載のシステムであって、メトリックを決定するように、前記プロセッサは：
    次式
    

    

    に基づいて前記第１メトリックを決定し、
    次式
    

    

    に基づいて前記第２メトリックを決定し、そして
    次式
    

    

    に基づいて前記第３メトリックを決定し、
    ここで、Ｎ及びＭは前記現在のブロックのｙ寸法及びｘ寸法のそれぞれであり、ｍｖ_０＿ｘは参照フレームＲ_０のｘ方向における現在のブロックについての動きベクトルを有し、ｍｖ_０＿ｙは参照フレームＲ_０のｙ方向における現在のブロックについての動きベクトルを有し、ｍｖ_１＿ｘは参照フレームＲ_１のｘ方向における現在のブロックについての動きベクトルを有し、ｍｖ_１＿ｙは参照フレームＲ_１のｙ方向における現在のブロックについての動きベクトルを有し、
    Ａ_{ａｖａｉｌ}は前記現在のブロックの周囲の領域を有し、Ｃ（ｘ，ｙ）は前記現在のブロックを境界付ける領域内の現在のフレームにおける画素を有し、ω_０及びω_１は、新しいピクチャと参照フレーム０及び１との間のフレーム距離に従って設定される２つの重み係数である；
    システム。
20. 請求項１７乃至１９の何れか一項に記載のシステムであって：
    前記現在のブロックが双予測ピクチャ内にあるとき、前記第１順方向参照フレームは順方向参照フレームを有し、前記第２順方向参照フレームは逆方向参照フレームを有し、
    前記現在のブロックが予測ピクチャ内にあるとき、前記第１順方向参照フレームは第１順方向参照フレームを有し、前記第２順方向参照フレームは第２順方向参照フレームを有する、
    システム。

Images