JP2005533464A

JP2005533464A - 加重予測による動き推定

Info

Publication number: JP2005533464A
Application number: JP2005505118A
Authority: JP
Inventors: ボイス，ジル，マクドナルド; スタイン，アラン，ジェイ
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2002-07-15
Filing date: 2003-07-11
Publication date: 2005-11-04
Anticipated expiration: 2023-07-11
Also published as: JP4533841B2; EP1540824A2; MXPA05000672A; AU2003259110A8; MY137057A; AU2003259110A1; TWI234402B; CN1669330A; WO2004008642A3; EP1540824B1; DE60319239D1; CN100450185C; ES2301828T3; TW200412799A; WO2004008642A2; DE60319239T2; BR0305517A; US7376186B2; EP1540824A4; BRPI0305517B1

Abstract

映像エンコーダ及びデコーダは、画像ブロックに対する映像信号データと、当該画像ブロックを予測するためのある基準画像インデックスとを符号化及び復号化するために備えられ、当該エンコーダは基準画像インデックスに対応する加重係数を示す出力を有する基準画像加重係数セレクタと、基準画像加重係数セレクタに信号通信し、基準画像を重み付けしたものを提供するマルチプレクサと、マルチプレクサに信号通信し、基準画像を重み付けしたものに対応する動きベクトルを提供する動き推定装置とを有し、対応するデコーダは、基準画像インデックスに対応する加重係数を決定するための出力を有する基準画像加重係数ユニットを有する。

Description

発明の詳細な説明

［関連出願の相互参照］
本出願は、そのすべてが参照することによりここに含まれる、２００２年７月１５日に出願された米国仮特許出願第６０／３９５，８７４号（代理人整理番号ＰＵ０２０３３９）「加重予測による動き推定（ＭｏｔｉｏｎＥｓｔｉｍａｔｉｏｎＷｉｔｈＷｅｉｇｈｔｉｎｇＰｒｅｄｉｃｔｉｏｎ）」の優先権を主張するものである。さらに、本出願は、そのすべてが参照することによりここに含まれる、２００２年７月１５日に出願された米国仮特許出願第６０／３９５，８４３号（代理人整理番号ＰＵ０２０３４０）「ビデオＣＯＤＥＣにおける基準画像の適応的加重（ＡｄａｐｔｉｖｅＷｅｉｇｈｔｉｎｇＯｆＲｅｆｅｒｅｎｃｅＰｉｃｔｕｒｅｓＩｎＶｉｄｅｏＣＯＤＥＣ）」の優先権を主張するものである。
［発明の技術分野］
本発明は、映像エンコーダ及びデコーダに関し、より詳細には、映像エンコーダ及びデコーダにおける加重予測による統合された動き推定に関する。
［発明の背景］
映像データは、一般にビットストリーム形式により処理及び転送される。典型的な映像圧縮符号化及び復号化装置（ＣＯＤＥＣ）は、符号化対照の画像の基準画像予測を形成し、現在画像と当該予測の間の差分を符号化することにより、それらの圧縮効率の多くを獲得する。より密接に当該予測と現在画像が相関するほど、当該画像の圧縮に要するビットは少なくて済み、これにより処理効率が向上する。従って、可能なもののうち最良の基準画像予測が形成されることが望ましい。

ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）−１、ＭＰＥＧ−２及びＭＰＥＧ−４を含む多くの映像圧縮規格において、以前の基準画像の動き補償されたものが現在画像の予測として利用され、現在画像と予測との差分のみが符号化される。単独の画像予測（Ｐ画像）が利用されるとき、動き補償予測の生成時には基準画像はスケーリングされない。双方向の画像予測（Ｂ画像）が利用されるとき、２つの異なる画像からそれぞれの中間予測が生成され、その後これら２つの中間予測は、それぞれに対して（１／２，１／２）の等しい加重係数を用いて平均化され、単独の平均予測が生成される。これらのＭＰＥＧ規格では、２つの基準画像のそれぞれは、Ｂ画像の順方向及び逆方向からの画像である。
［発明の概要］
従来技術における上記及び他の問題点および短所が、映像エンコーダ及びデコーダにおける加重予測による統合された動き推定のためのシステムおよび方法により解決される。

画像ブロックに対する映像信号データの対応する符号化方法は、実質的に未圧縮の画像ブロックを受信するステップと、ある基準画像に対応して画像ブロックに加重係数を割り当てるステップと、当該加重係数により基準画像を重み付けするステップと、画像ブロックと重み付け荒れた基準画像との差分に対応する動きベクトルを計算するステップと、当該動きベクトルに応じて重み付けされた基準画像を動き補償するステップと、動き補償された重み付けされた基準画像に応答して、加重係数選択を精緻化するステップと、動きベクトルに応じてもとの重み付けされていない基準画像を動き補償するステップと、重み付けされ動き補償された基準画像を生成するため、動き補償されたもとの基準画像と割り当てられた加重係数とを乗ずるステップと、重み付けされ動き補償された基準画像を実質的に未圧縮の画像ブロックから差し引くステップと、実質的に未圧縮の画像ブロックと重み付けされ動き補償された基準画像との差分を示す信号を符号化するステップとを有する。

本発明の上記及び他の特徴及び効果は、添付された図面と共に読まれる以下の実施例の説明から明らかとなるであろう。
［好適実施例の詳細な説明］
統合された動きベクトルの推定及び適応的な基準画像加重係数選択のための効率的な処理が与えられる。動き推定処理において初期的加重係数が推定及び使用される繰り返しの処理が利用される。荷重係数の推定は、動き推定処理の結果に基づき精緻化される。加重係数が符号化において利用されるとき、映像エンコーダは、加重係数と動きベクトルの両方を決定するが、それぞれに対する最良の選択はもう一方に依存する。動き推定は、典型的には、デジタル映像圧縮エンコーダの最も計算量を有する部分である。

ある映像シーケンス、特にフェージング（ｆａｄｉｎｇ）を有するシーケンスでは、符号化対照の現在画像または画像ブロックは、基準画像自体よりも、加重係数によりスケーリングされた基準画像により強く相関する。基準画像に適用される加重係数のない映像ＣＯＤＥＣは、フェージングシーケンスをかなり非効率的に符号化する。

提案されているＪＶＴ（ＪｏｉｎｔＶｉｄｅｏＴｅａｍ）映像圧縮規格では、各Ｐ画像は複数の基準画像を利用して、画像の予測を生成するが、個々の動きブロックまたは８×８の領域を有するマクロブロックは、予測に対して単独の基準画像しか利用しない。動きベクトルの符号化及び送信に加えて、どの基準画像が使用されるかを示す基準画像インデックスが、各動きブロックまたは８×８の領域に対して送信される。可能な基準画像の限られた集合は、エンコーダとデコーダの両方に格納され、可能な基準画像の個数が送信される。

ＪＶＴ規格では、双予測的な（ｂｉ−ｐｒｅｄｉｃｔｉｖｅ）画像（またはＢ画像と呼ばれる）のために、各動きブロックまたは８×８の領域に対して、各自が異なる基準画像から得られる２つの予測子（ｐｒｅｄｉｃｔｏｒ）が生成され、単一の平均予測子を生成するため、これら２つの予測子は平均化される。双予測的に符号化された動きベクトルに対して、基準画像の両方を順方向から、基準画像の両方を逆方向から、あるいは基準画像を順方向と逆方向の各方向から取得することができる。予測に利用されてもよい利用可能な基準画像の２つのリストが維持されている。２つの基準画像は、リスト０予測子及びリスト１予測子と呼ばれる。各基準画像に対するインデックス、リスト０及びリスト１基準画像に対してそれぞれｒｅｆ＿ｉｄｘ＿ｌ０及びｒｅｆ＿ｉｄｘ＿ｌ１が、符号化及び送信される。ＪＶＴ双予測画像またはＢ画像は、２つの予測との間の適応的重み付けを可能にする。すなわち、
Ｐｒｅｄ＝［（Ｐ０）＊（Ｐｒｅｄ０）］＋［（Ｐ１）＊（Ｐｒｅｄ１）］＋Ｄ
が成り立つ。ただし、Ｐ０及びＰ１は加重係数であり、Ｐｒｅｄ０及びＰｒｅｄ１はそれぞれリスト０及びリスト１に対する基準画像予測であり、Ｄはオフセットである。

加重係数を示すための２つの方法が提案されてきた。第１の方法では、加重係数は、基準画像に用いられる方向により決定される。この方法では、インデックスｒｅｆ＿ｉｄｘ＿ｌ０がｒｅｆ＿ｉｄｘ＿ｌ１以下である場合、（１／２，１／２）の加重係数が使用され、そうでない場合には、（２，−１）の係数が使用される。

第２の方法では、任意の個数の加重係数が、各スライスに対して送信される。その後、加重係数インデックスが、双方向予測を利用する動きブロックまたは８×８のマクロブロックの領域のそれぞれに対して送信される。デコーダは、受信した加重係数インデックスを用いて、送信された集合から当該動きブロックまたは８×８の領域を復号するときに利用する適切な加重係数を選択する。例えば、３つの加重係数がスライスレイヤにおいて送信された場合、それらはそれぞれ加重係数インデックス０、１及び２に対応するであろう。

以下の説明は本発明の原理を単に例示したものである。従って、ここで明示的に説明または表示がされていなくても、当業者は本発明の原理を体現し、その趣旨及び範囲内に含まれる様々な構成を考案することができるであろうということは理解されるであろう。さらに、ここで記載されるすべての実施例や条件付言語は、読者が発明の原理や発明者による当該技術分野に貢献する概念の理解に資する教育的目的のみのために本来意図されたものであり、このような具体的に記載された実施例や条件に限定されるものでないと解釈されるべきである。さらに、本発明の原理、特徴及び実施例に関するここでの説明のすべては、それの特定の実施例と共に、本発明の構成的及び機能的均等物を包括することが意図される。さらに、このような均等物は、現在知られている均等物と共に、将来開発される均等物、すなわち、構成とは関係なく同一の機能を実行するよう開発された任意の要素を含むものと解されるべきである。

従って、例えば、ここでのブロック図は、本発明の原理を体現する例示的な回路の概念図を表すということが、当業者により理解されるであろう。同様に、任意のフローチャート、フロー図、状態遷移図、擬似コードなどは、コンピュータによる読み出し可能な媒体により実質的に表現され、コンピュータやプロセッサにより、このようなコンピュータやプロセッサが明示的に示されているかどうかに関係なく実行される各種処理を表す。

図面に示される各種要素の機能は、専用ハードウェアだけでなく、適切なソフトウェアに付属のソフトウェアの実行が可能なハードウェアの使用を通じて提供されてもよい。プロセッサによる提供時には、これらの機能は、単一の専用プロセッサ、単一の共有プロセッサ、または一部が共有可能な複数の個別のプロセッサにより与えられてもよい。さらに、「プロセッサ」または「コントローラ」という用語の明示的使用は、ソフトウェアの実行が可能なハードウェアのみを呼ぶものと解されるべきでなく、以下に限定するものではないが、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを格納する読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）及び不揮発性記憶装置を暗黙に含むものであってもよい。また、他のハードウェア、従来および／またはカスタマイズされたハードウェアが含まれてもよい。同様に、図面に示される任意のスイッチは単なる概念的なものである。それらの機能は、プログラム論理の動作、専用論理、プログラム制御と専用論理の相互作用、あるいは手動を通じてでさえ実行可能であり、特定技術が実現者により文脈からより具体的に理解されるものとして選択可能である。

ここでのクレームにおいて、特定機能を実行する手段として表される任意の要素は、当該機能を実行するためのソフトウェアを実行する適切な回路と組み合わされて、例えば、ａ）当該機能を実行する回路要素の組み合わせ、またはｂ）ファームウェアやマイクロコードなどを含む任意の形式によるソフトウェアを含む当該機能を実行する任意の方法を含むものと解されるべきである。クレームにより規定される発明は、記載された各種手段により与えられる機能が、クレームが求める方法により合成及び提供されるという事実に基づくものである。従って、出願人は、これらの機能を提供することができる任意の手段をここで示されたものと均等なものとしてみなしている。

図１に示されるように、標準的な映像エンコーダ１００は、参照番号１００により全体的に示される。エンコーダ１００への入力は、加算接合１１０の非反転入力と信号通信的に接続される。加算接合１１０の出力は、ブロック変換装置１２０と信号通信的に接続される。変換装置１２０は、量子化装置１３０と信号通信的に接続される。量子化装置１３０の出力は、可変長符号化装置（ＶＬＣ）１４０と信号通信的に接続され、ＶＬＣ１４０の出力はエンコーダ１００の外部利用可能な出力となる。

量子化装置１３０の出力は、さらに、逆量子化装置１５０と信号通信的に接続される。逆量子化装置１５０は、逆ブロック変換装置１６０に信号通信的に接続され、さらに逆ブロック変換装置１６０は、基準画像記憶部１７０と信号通信的に接続される。基準画像記憶部１７０の第１出力は、動き推定装置１８０の第１出力と信号通信的に接続される。エンコーダ１００への入力はさらに、動き推定装置１８０の第２入力と信号通信的に接続される。動き推定装置１８０の出力は、動き補償装置１９０の第１入力と信号通信的に接続される。基準画像記憶部１７０の第２出力は、動き補償装置１９０の第２入力と信号通信的に接続される。動き補償装置１９０の出力は、加算接合１１０の反転入力と信号通信的に接続される。

図２を参照するに、基準画像重み付けを備える映像エンコーダは、参照番号２００により全体的に示される。エンコーダ２００への入力は、加算接合２１０の非反転入力と信号通信的に接続される。加算接合２１０の出力は、ブロック変換装置２２０と信号通信的に接続される。変換装置２２０は、量子化装置２３０と信号通信的に接続される。量子化装置２３０の出力は、ＶＬＣ２４０と信号通信的に接続され、ＶＬＣ４４０の出力はエンコーダ２００の外部利用可能な出力となる。

量子化装置２３０の出力は、さらに、逆量子化装置２５０に信号通信的に接続される。逆量子化装置２５０は、逆ブロック変換装置２６０と信号通信的に接続され、さらに逆ブロック変換装置２６０は、基準画像記憶部２７０と信号通信的に接続される。基準画像記憶部２７０の第１出力は、基準画像加重係数割当装置２７２の第１入力と信号通信的に接続される。エンコーダ２００への入力は、さらに、基準画像加重係数割当装置２７２の第２入力と信号通信的に接続される。加重係数を示す基準画像加重係数割当装置２７２の出力は、動き推定装置２８０の第１入力と信号通信的に接続される。基準画像記憶部２７０の第２出力は、動き推定装置２８０の第２入力と信号通信的に接続される。

エンコーダ２００への入力は、さらに、動き推定装置２８０の第３入力と信号通信的に接続される。動きベクトルを示す動き推定装置２８０の出力は、動き補償装置２９０の第１入力と信号通信的に接続される。基準画像記憶部２７０の第３出力は、動き補償装置２９０の第２入力と信号通信的に接続される。動き補償された基準画像を示す動き補償装置２９０の出力は、乗算器２９２の第１入力と信号通信的に接続される。加重係数を示す基準画像加重係数割当装置２７２の出力は、乗算器２９２の第２入力と信号通信的に接続される。乗算器２９２の出力は、加算接合２１０の反転入力と信号通信的に接続される。

図３を参照するに、統合された動き推定と加重予測を備えた映像エンコーダは、参照番号３００により全体的に示される。エンコーダ３００への入力は、加算接合３１０の非反転入力と信号通信的に接続される。加算接合３１０の出力は、ブロック変換装置３２０と信号通信的に接続される。変換装置３２０は、量子化装置３３０と信号通信的に接続される。量子化装置３３０の出力は、ＶＬＣ３４０と信号通信的に接続され、さらにＶＬＣ４４０の出力はエンコーダ３００の外部利用可能な出力となる。

量子化装置３３０の出力はさらに、逆量子化装置３５０と信号通信的に接続される。逆量子化装置３５０は、逆ブロック変換装置３６０と信号通信的に接続され、さらに逆ブロック変換装置３６０は、基準画像記憶部３７０と信号通信的に接続される。基準画像記憶部３７０の第１出力は、基準画像加重係数選択装置３７２の第１入力と信号通信的に接続される。エンコーダ３００への入力は、さらに、選択装置３７２に現在画像を提供するため、基準画像加重係数選択装置３７２の第１入力と信号通信的に接続される。加重係数を示す基準画像加重係数選択装置３７２の出力は、乗算器３７４の第１入力と信号通信的に接続される。乗算器３７４の第２入力は、基準画像記憶部３７０の基準画像出力と信号通信的に接続される。ここで、乗算器３７４として単に示されているが、乗算器以外の他のタイプの加重係数適用装置が構成されてもよく、当業者には明らかなように、そのすべてが本発明の趣旨及び範囲内に属すると考えられる。

乗算器３７４の出力は、加重基準画像記憶部３７６と信号通信的に接続される。加重基準画像記憶部３７６の出力は、重み付けされた基準画像を与えるため、動き推定装置３８０の第１入力と信号通信的に接続される。動き推定装置３８０の出力は、動きベクトルを提供するため、第１動き補償装置３８２と信号通信的に接続される。動き推定装置３８０の出力はさらに、第２動き補償装置３９０の第１入力と信号通信的に接続される。加重基準画像記憶部３７６の第２出力は、第１動き補償装置３８２の第２入力と信号通信的に接続される。

加重動き補償基準画像を示す第１動き補償装置３８２の出力は、絶対差分生成装置３８４の第１入力と信号通信的に接続される。現在画像であるエンコーダ３００への入力は、さらに、絶対差分生成装置３８４の第２入力と信号通信的に接続される。絶対差分生成装置３８４の出力は、基準画像加重係数選択装置３７２の第３入力と信号通信的に接続される。

基準画像記憶部３７０の第３出力は、第２動き補償装置３９０の第２入力と信号通信的に接続される。動き補償基準画像を示す第２動き補償装置３９０の出力は、乗算器３９２の第１入力と信号通信的に接続される。加重係数を示す基準画像加重係数選択装置３７２の出力は、乗算器３９２の第２入力と信号通信的に接続される。乗算気３９２の出力は、加算結合３１０の反転入力と信号通信的に接続される。

図４に示されるように、標準的な映像デコーダが、参照番号４００により全体的に示される。映像デコーダ４００は、逆量子化装置４２０と信号通信的に接続された可変長デコーダ（ＶＬＤ）４１０を有する。逆量子化装置４２０は、逆変換装置４３０と信号通信的に接続される。逆変換装置４３０は、加算器または加算接合４４０の第１入力端末に信号通信的に接続され、加算接合４４０の出力は映像デコーダ４００の出力を提供する。加算接合４４０の出力は、基準画像記憶部４５０と信号通信的に接続される。基準画像記憶部４５０は、動き補償装置４６０に信号通信的に接続され、動き補償装置４６０は、加算接合４４０の第２入力端末と信号通信的に接続される。

図５を参照するに、適応的双予測を備えた映像デコーダが、参照番号５００により全体的に示される。映像デコーダ５００は、逆量子化装置５２０と信号通信的に接続されたＶＬＤ５１０を有する。逆量子化装置５２０は、逆変換装置５３０と信号通信的に接続される。逆変換装置５３０は、加算接合５４０の第１入力端末と信号通信的に接続され、加算接合５４０の出力は映像デコーダ５００の出力を提供する。加算接合５４０の出力は、基準画像記憶部５５０と信号通信的に接続される。基準画像記憶部５５０は、動き補償装置５６０と信号通信的に接続され、動き補償装置５６０は、乗算器５７０の第１入力と信号通信的に接続される。

ＶＬＤ５１０は、さらに、適応的双予測（ＡＢＰ）係数インデックスをルックアップ（ｌｏｏｋｕｐ）５８０に提供するため、基準画像加重係数ルックアップ５８０と信号通信的に接続される。ルックアップ５８０の第１出力は、加重係数を与えるためのものであり、乗算器５７０の第２入力と信号通信的に接続される。乗算器５７０の出力は、加算接合５９０の第１入力と信号通信的に接続される。ルックアップ５８０の第２出力は、オフセットを与えるためのものであり、加算接合５９０の第２入力と信号通信的に接続される。加算接合５９０の出力は、加算接合５４０の第２入力端末と信号通信的に接続される。

図６を参照するに、動きベクトル及び加重係数決定プロセスが、参照番号６００により全体的に示される。ここで、機能ブロック６１０は、現在画像または画像ブロック（ｃｕｒ）と基準画像（ｒｅｆ）に対して、加重係数ｗ＝ａｖｇ（ｃｕｒ）／ａｖｇ（ｒｅｆ）を計算することにより、初期的加重係数推定を検出する。ブロック６１０は、加重係数ｗが閾値Ｔ１より大きく、閾値Ｔ２未満であるか判断する判定ブロック６１２に制御をわたす。ｗがＴ１とＴ２の間にある場合、制御はリターンブロック６１４にわたされ、ｗ＝１が初期的加重係数として使用される。ｗがＴ１とＴ２の間にない場合、制御は機能ブロック６１６にわたされ、加重基準画像ｗｒｅｆを生成するため、加重係数ｗが基準画像に適用される。ブロック６１６は、機能ブロック６１８に制御をわたし、加重基準画像ｗｒｅｆを用いて動きベクトル（ＭＶ）を検出することにより、動き推定を実行する。ブロック６１８は制御を機能ブロック６２０にわたし、ＭＶをｗｒｅｆに適用することにより、動き補償加重基準画像ｍｃｗｒｅｆが生成される。ブロック６２０は機能ブロック６２２に制御をわたし、差分ｄｉｆｆが計算される。ただし、ｄｉｆｆはｃｕｒとｍｃｗｒｅｆとの画素差の和の絶対値に等しい。

ブロック６２２は制御を判定ブロック６２４にわたし、ｄｉｆｆがこれまでの最良のｄｉｆｆより大きいか判断する。ｄｉｆｆがこれまでの最良のｄｉｆｆより大きい場合、制御はリターンブロック６２６にわたされ、これまでの最良のｄｉｆｆが使用される。ｄｉｆｆがこれまでの最良のｄｉｆｆより大きくない場合、制御は判定ブロック６２８にわたされ、ｄｉｆｆが閾値Ｔより小さいか判断される。ｄｉｆｆが閾値Ｔより小さい場合、制御はリターンブロック６３４にわたされ、現在の推定が利用される。ｄｉｆｆが閾値Ｔより小さくない場合、制御は機能ブロック６３０にわたされ、ＭＶをｒｅｆに適用することにより、動き補償基準画像ｍｃｒｅｆが生成される。ブロック６３０は、制御を機能ブロック６３２にわたし、ｗをａｖｇ（ｃｕｒ）／ａｖｇ（ｍｃｒｅｆ）に設定することにより、加重係数推定を精緻化する。ブロック６３２は、さらなる処理のため、制御を機能ブロック６１６にわたす。従って、加重係数をさらに精緻化するための決定は、差分と閾値や許容度との比較に基づき行われる。

図７を参照するに、画像ブロックに対する映像信号データを復号するための一例となるプロセスが、参照番号７００により全体的に示される。本プロセスは、入力ブロック７１２に制御をわたすスタートブロック７１０を有する。入力ブロック７１２は、当該画像ブロックの圧縮データを受け取り、入力ブロック７１４に制御をわたす。入力ブロック７１４は、画像ブロックのデータと共に、各自が特定の基準画像と対応する少なくとも１つの基準画像インデックスを受け取る。入力インデックス７１４は、制御を機能ブロック７１６にわたし、受信した各基準画像インデックスに対応する加重係数が決定され、任意的な機能ブロック７１７に制御がわたされる。任意的な機能ブロック７１７は、受信した各基準画像インデックスに対応するオフセットを決定し、制御を機能ブロック７１８にわたす。機能ブロック７１８は、受信した各基準画像インデックスに対応する基準画像を抽出し、制御を機能ブロック７２０にわたす。機能ブロック７２０は、抽出された基準画像を動き補償し、機能ブロック７２２に制御をわたす。機能ブロック７２２は、動き補償された基準画像と対応する加重係数とを乗算し、制御を任意的な機能ブロック７２３にわたす。任意的な機能ブロック７２３は、動き補償基準画像に対応するオフセットを加算し、制御を機能ブロック７２４にわたす。機能ブロック７２４は、重み付けされた動き補償基準画像を生成し、制御をエンドブロック７２６にわたす。

本実施例では、符号化された各画像またはスライスに対して、加重係数が現在画像のブロックが符号化可能な各教養可能な基準画像と関連付けされる。現在画像の各ブロックが符号化または復号化されるとき、それの基準画像インデックスに対応する加重係数とオフセットが、加重予測子を生成するため、基準予測に適用される。同一の基準画像に関して符号化されたスライスのすべてのブロックが、同一の加重係数を基準画像予測に適用する。

画像の符号化時に適応的重み付けを利用するかどうかは、画像パラメータ集合またはシーケンスパラメータ集合、若しくはスライスまたは画像ヘッダに示すことができる。適応的重み付けを利用する各スライスまたは画像に対して、加重係数が当該スライスまたは画像の符号化に利用可能な許容可能な各基準画像に対して送信されてもよい。許容可能な基準画像数は、スライスヘッダにより送信される。例えば、３つの基準画像が現在スライスの符号化に利用可能である場合、３つまでの加重係数が送信され、同じインデックスを有する基準画像と関連付けされる。

加重係数が送信されない場合、デフォルトの加重が使用される。本発明の一実施例では、加重係数が送信されないとき、（１／２，１／２）のデフォルトの加重が使用される。加重係数は、固定長または派遣長のコードを用いて送信されてもよい。

典型的なシステムと異なり、各スライス、ブロックまたは画像と共に送信される各加重係数は、特定の基準画像インデックスに対応する。以前に、各スライスまたは画像と共に送信された加重係数の何れの集合も、特定の基準画像と関連付けされていない。代わりに、各動きブロックまたは８×８の領域に対して適応的双予測加重インデックスが送信され、送信された集合からどの加重係数が当該動きブロックまたは８×８の領域に適用されるべきか選択される。

本実施例では、各動きブロックまたは８×８の領域に対する加重係数インデックスは、明示的には送信されない。代わりに、送信された基準画像インデックスに関連付けされた加重係数が用いられる。これにより、基準画像の適応的重み付けを可能にするための送信ビットストリームにおけるオーバヘッド量は劇的に低減する。

本システム及び技術は、単一の予測子により符号化される予測Ｐ画像、あるいは２つの予測子により符号化される双予測Ｂ画像の何れかに適用されてもよい。エンコーダとデコーダの両方において与えられる復号化プロセスが、Ｐ及びＢ画像のケースに対して以下で説明される。また、本技術は、Ｉ、Ｂ及びＰ画像に類似したコンセプトを用いた符号化システムに適用されてもよい。

Ｂ画像の一方向予測とＢ画像の双方向予測に対して、同一の加重係数を使用することができる。単独の予測子がＰ画像のマクロブロックまたはＢ画像の一方向予測に対して使用されるとき、当該ブロックに対して単独の基準画像インデックスが送信される。動き補償の復号化プロセスステップにより予測子が生成された後、加重係数が予測子に適用される。その後、加重予測子が符号化された残差に加えられ、復号化画像を生成するのに当該和に対してクリッピング（ｃｌｉｐｐｉｎｇ）が実行される。リスト０予測のみを用いるＰ画像におけるブロックまたはＢ画像におけるブロックの利用に対して、加重予測子は、
Ｐｒｅｄ＝Ｗ０＊Ｐｒｅｄ０＋Ｄ０（１）
として構成される。ただし、Ｗ０はリスト０の基準画像に関連付けされた加重係数であり、Ｄ０はリスト０の基準画像に関連付けされたオフセットであり、Ｐｒｅｄ０はリスト０の基準画像から動き補償された予測ブロックである。

リスト１予測のみを用いるＢ画像におけるブロックの利用に対して、加重予測子は、
Ｐｒｅｄ＝Ｗ１＊Ｐｒｅｄ１＋Ｄ１（２）
として構成される。ただし、Ｗ１はリスト１の基準画像に関連付けされた加重係数であり、Ｄ０はリスト１の基準画像に関連付けされたオフセットであり、Ｐｒｅｄ１はリスト１の基準画像から動き補償された予測ブロックである。

加重予測子は、結果として得られる値が、典型的には０から２５５までの許容される画素値の範囲内にあることを保証するようクリッピングされてもよい。重み付けの式における乗算の精度は、任意の所定の解像度ビット数に限定されてもよい。

双予測のケースでは、基準画像インデックスが２つの予測子のそれぞれに対して送信される。２つの予測子を生成するため、動き補償が実行される。各予測子は、それの基準画像インデックスに関連付けされた加重係数を用いて、２つの加重予測子を生成する。その後、これら２つの加重予測子は、平均化された予測子を生成するため平均化され、その後、符号化された残差に加えられる。

リスト０とリスト１の予測を用いたＢ画像におけるブロックの利用に対して、加重予測子は、
Ｐｒｅｄ＝（Ｐ０＊Ｐｒｅｄ０＋Ｄ０＋Ｐ１＊Ｐｒｅｄ１＋Ｄ１）／２（３）
として構成される。

結果として得られる値が、典型的には０から２５５までの画素値の許容範囲内となることを保証するため、加重予測子の計算において、クリッピングが加重予測子または中間値の何れかに適用されてもよい。

従って、加重係数が、複数の基準画像を用いる映像圧縮エンコーダ及びデコーダの基準画像予測に適用される。加重係数は、画像内の個々の動きブロックに対して、当該動きブロックに対して用いられる基準画像インデックスに基づき調整される。基準画像インデックスが圧縮映像ビットストリームによりすでに送信されているため、動きブロックに基づき加重係数を調整するための追加的なオーバヘッドを劇的に低減することができる。同一の基準画像に関して符号化されるすべての動きブロックは、同じ加重係数を基準画像予測に適用する。

動き推定技術についてはこれまで広く研究されてきた。符号化対照の画像の各動きブロックに対して、基準画像からの当該動きブロックのずれを表す動きベクトルが選択される。検索領域内の網羅的探索法では、動きブロックの位置に対する所定の範囲のオフセット内のすべてのずれが調べられる。このチェックは、基準画像におけるずれた動きブロックとの現在画像の動きブロックの各画素の絶対差の和（ＳＡＤまたは平均二乗誤差（ＭＳＥ）を計算することを含む。最小のＳＡＤまたはＭＳＥとのオフセットが、動きベクトルとして選択される。以下のすべてが基準画像におけるずれた動きブロックによる現在動きブロックのＳＡＤまたはＭＳＥを計算するステップを含む、３ステップ探索やレート歪最適化動き推定などの当該方法に関する多数の変形が提案されてきた。

動きベクトルまたは適応的基準画像加重係数を決定するための計算コストは、高い圧縮効率を達成することが可能な動きベクトル及び加重係数を選択しながら、繰り返し処理を用いることにより低減することが可能である。一例となる動きベクトル及び加重係数の決定プロセスが、本発明の原理の用途がそのようなケースに限定されるものではないが、単一の加重係数が基準画像全体に適用されるということを仮定して説明される。本プロセスはまた、例えば、スライスなどの画像のより小さな領域に適用することができる。さらに、本発明の一実施例は１つの基準画像のみを用いるものとして説明されているが、本発明は、複数の基準画像予測及び双予測画像に適用されてもよい。

動きブロックに対する動きベクトルの計算は、典型的には、使用される加重係数が既知であるとき、最も良く行うことができる。一実施例では、加重係数の推定は、基準画像と現在画像の画素値を用いて構成される。加重係数は、複数の解像度ビットに限定されてもよい。加重係数が１に近接する場合、動き推定プロセスにおける加重係数を考慮する必要はなく、１に等しいと仮定される加重係数により通常の動き推定が実行可能である。そうでない場合には、加重係数推定が基準画像に適用される。その後、ＳＡＤまたはＭＳＥを計算する任意の方法を用いて動き推定が行われるが、このＳＡＤまたはＭＳＥの計算は、重み付けされていない基準画像でなく重み付けされた基準画像におけるずれた動きブロックと現在画像の動きブロックとの間で実行される。動きベクトルの選択後、必要に応じて、加重係数の推定を精緻化することができる。

果汁動き補償基準画像を生成するのに、現在動きベクトルが果汁基準画像に適用される。加重動き補償基準画像と現在画像との差分が計算される。この差分が閾値あるいはこれまでの最良の差分未満である場合、本プロセスは完了し、現在候補動きベクトルと加重係数が受け入れられる。

差分が閾値より大きい場合、加重係数を精緻化することができる。この場合、動き補償されているが、重み付けされていない基準画像が、現在候補動きベクトルに基づき生成される。加重係数推定は、加重係数の初期的推定の構成で行われたように、動き補償されていない基準画像でなく、動き補償基準画像と現在画像を用いて精緻化される。

この選択プロセスは、加重基準画像を生成するのに、新たに精緻化された加重係数を基準画像に適用することを繰り返す。この繰り返しの処理は、差分がこれまでの最良の差分以上または閾値未満となるまで、あるいは所定の回数が終了するまで継続される。現在の繰り返しの差分が以前の最良の繰り返しより大きい場合、この最良の繰り返しに対する加重係数及び動きベクトルが利用される。現在の繰り返しの差分が閾値未満である場合、
現在の加重係数及び動きベクトルが用いられる。繰り返しの回数の最大数が終了すると、最良の差分を有する以前の繰り返しからの加重係数及び動きベクトルが用いられる。

一実施例では、加重係数ｗの初期的推定は、現在画像ｃｕｒの画素の平均値を基準画像ｒｅｆの画素の平均値により除された比率である。すなわち、
ｗ＝ａｖｇ（ｃｕｒ）／ａｖｇ（ｒｅｆ）（４）
である。

精緻化推定は、現在画像の画素の平均と動き補償された基準画像ｍｃｒｅｆの画素の平均との比率であり、
ｗ＝ａｖｇ（ｃｕｒ）／ａｖｇ（ｍｃｒｅｆ）（５）
となる。

差分ｄｉｆｆは、現在画像ｃｕｒと加重動き補償基準画像ｗｍｃｒｅｆとの画素差の平均の絶対値であり、
ｄｉｆｆ＝｜Σｃｕｒ−ｗｍｃｒｅｆ｜（６）
である。

他の実施例では、差分は、現在画像における画素と加重動き補償基準画像における画素との絶対差の和であり、
ｄｉｆｆ＝Σ｜ｃｕｒ−ｗｍｃｒｅｆ｜（７）
である。

ブロックベースの動き推定が実行されるとき、基準画像における同一画素が多数のＳＡＤ計算に対して用いられる。一実施例では、動き推定処理中、加重係数が基準画像の一画素に適用されると、加重画素が通常の画素に加えて格納される。この格納処理は、画像の一領域または画像全体に対して行われてもよい。

加重基準画像値は、例えば８ビットなどの重み付けされていない基準と同数のビットと共に格納されるようクリップ処理されてもよいし、あるいはより多くのビットを用いて格納されてもよい。クリッピングがメモリをより効率的にする動き補償処理に対して実行される場合、加重係数は実際に選択された動きベクトルに対して基準画像に再適用され、追加ビットを用いて差分が計算され、加重係数の適用後、デコーダがクリッピングを実行しない場合に生じるデコーダとの不一致を回避するため、差分の後にクリッピングが実行される。

複数の基準画像が１つの画像を符号化するのに利用されるとき、各基準画像に対して別々の加重係数を計算することができる。動き推定中、動きベクトルと基準画像インデックスが書く動きブロックに対して選択される。当該プロセスの各繰り返しに対して、動きベクトルと加重係数が、各基準画像に対して求められる。

好適な実施例では、動き推定中、与えられた動きブロックに対する最良の基準画像が決定される。差分計算は各基準画像に対して別々に行われ、当該基準画像を用いた動きブロックのみが計算において使用される。与えられた基準画像に対する加重係数推定の精緻化は、当該基準画像を用いて符号化される動きブロックのみを用いる。双予測的符号化に対して、加重係数及び動きベクトルが２つの予測のそれぞれに対して別々に決定され、平均化された予測を構成するのにこれらは平均化される。

本発明の原理は、他の多数のタイプの動き推定アルゴリズムに適用可能である。階層的アプローチと共に利用されるとき、加重係数の選択と動きベクトルの選択の繰り返しは、任意のレベルの動き推定階層と共に利用可能である。例えば、繰り返しアプローチは、整数画像要素（ｐｅｌ）動き推定と共に利用することができる。与えられた繰り返しのアルゴリズムを用いて加重係数及び整数動きベクトルが求められた後、サブｐｅｌ動きベクトルが、加重係数の選択の他の繰り返しを必要とすることなく求められてもよい。

本発明の上記及び他の特徴および効果は、ここでの教示に基づき当業者により容易に確信されるであろう。本発明の原理は、ハードウェア、ソフトウェア、ファームウェア、特定用途プロセッサあるいは上記の組み合わせの各種形態により実現されてもよいということが理解されるべきである。

最も好ましくは、本発明の原理は、ハードウェアとソフトウェアの組み合わせとして実現される。さらに、このソフトウェアは好ましくは、プログラム記憶ユニット上で有形的に実現されるアプリケーションプログラムとして実現される。このアプリケーションプログラムは、任意の適切なアーキテクチャからなるマシーンにアップロードされ、実行されてもよい。好ましくは、このマシーンは、１以上の中央演算ユニット（ＣＰＵ）、ランダムアクセスメモリ（ＲＡＭ）及び入出力（Ｉ／Ｏ）インタフェースなどのハードウェアを有するコンピュータプラットフォーム上で実現される。コンピュータプラットフォームはまた、オペレーティングシステムやマイクロインストラクションコード（ｍｉｃｒｏｉｎｓｔｒｕｃｔｉｏｎｃｏｄｅ）を有するようにしてもよい。ここで説明された各種プロセス及び機能は、ＣＰＵにより実行可能なマイクロインストラクションコードの一部、アプリケーションプログラムの一部、または上記の任意の組み合わせであってもよい。さらに、追加的データ記憶ユニット及び印刷ユニットなどの他の様々な周辺ユニットが、コンピュータプラットフォームに接続されてもよい。

さらに、添付された図面に示されるシステムコンポーネント及び方法の一部は、好ましくはソフトウェア的に実現されるため、システムコンポーネントまたはプロセス機能ブロック間の実際の接続は、本発明がプログラムされる方法に依存して異なっているかもしれない。ここでの教示が与えられると、当業者は、本発明の上記及び類似の実現形態及び構成を考案することができるであろう。

添付された図面を参照して、例示的な実施例が説明されたが、本発明はこれらの実施例に限定されるものでなく、本発明の範囲または趣旨から逸脱することなく、様々な変更及び改良が当業者により可能であるかもしれない。このようなあらゆる変更及び改良は、添付されたクレームにより与えられる本発明の範囲内に含まれるものと解される。

図１は、標準的な映像エンコーダのブロック図を示す。図２は、基準画像加重を備えた映像エンコーダのブロック図を示す。図３は、本発明の原理による統合された動き推定及び加重予測を備えた映像エンコーダのブロック図を示す。図４は、標準的な映像デコーダのブロック図を示す。図５は、適応的予測を備えた映像デコーダのブロック図を示す。図６は、本発明の原理による符号化処理に対するフローチャートを示す。図７は、本発明の原理による復号化処理に対するフローチャートを示す。

Claims

少なくとも１つの基準画像に対する画像ブロックの映像信号データを符号化する映像エンコーダであって、
前記少なくとも１つの基準画像に対応する加重係数を示す出力を有する基準画像加重係数選択器と、
前記基準画像加重係数選択装置と信号通信し、前記少なくとも１つの基準画像の重み付けされたものを提供する加重係数適用器と、
前記加重係数適用器と信号通信し、前記少なくとも１つの基準画像の重み付けされたものに対応する動きベクトルを提供する動き推定器と、
から構成されるエンコーダ。
請求項１記載の映像エンコーダであって、さらに、
前記基準画像加重係数選択器と信号通信し、前記少なくとも１つの基準画像と対応する基準画像インデックスとを提供する基準画像記憶部を有することを特徴とするエンコーダ。
請求項２記載の映像エンコーダであって、さらに、
前記基準画像記憶部と信号通信し、前記少なくとも１つの基準画像に対応する基準画像インデックスを符号化する可変長符号化器を有することを特徴とするエンコーダ。
請求項１記載の映像エンコーダであって、さらに、
前記基準画像加重係数選択器と信号通信し、前記基準画像の重み付けされたものを格納する加重基準画像記憶部を有することを特徴とするエンコーダ。
請求項１記載の映像エンコーダであって、さらに、
前記基準画像加重係数選択器と信号通信し、前記基準画像加重係数選択器に応じた動き補償基準画像を提供する動き補償器を有することを特徴とするエンコーダ。
請求項５記載の映像エンコーダであって、さらに、
前記動き補償器及び前記基準画像加重係数選択器と信号通信し、加重係数を動き補償基準画像に適用する乗算器を有することを特徴とするエンコーダ。
請求項１記載の映像エンコーダであって、さらに、
前記動き推定器と信号通信し、前記基準画像加重係数選択器及び前記動き推定器に応じた加重動き補償基準画像を提供する動き補償器を有することを特徴とするエンコーダ。
請求項７記載の映像エンコーダであって、
双予測画像予測子と共に利用可能であり、さらに、
異なる２つの基準画像から第１及び第２予測子を生成する予測手段を有する、
ことを特徴とするエンコーダ。
請求項８記載の映像エンコーダであって、
前記異なる２つの基準画像は共に、前記画像ブロックに対して同一方向からのものであることを特徴とするエンコーダ。
画像ブロックの映像信号データの符号化方法であって、
実質的に未圧縮な画像ブロックを受信するステップと、
前記画像ブロックに基準画像に対応する加重係数を割り当てるステップと、
前記基準画像を前記加重係数により重み付けするステップと、
前記画像ブロックと前記重み付けされた基準画像との差に対応する動きベクトルを計算するステップと、
前記動きベクトルに対応して、前記加重基準画像を動き補償するステップと、
前記動き補償加重基準画像に応答して、前記加重係数の選択を精緻化するステップと、
から構成されることを特徴とする方法。
請求項１０記載の符号化方法であって、さらに、
前記動きベクトルに対応して、前記もとの重み付けされていない基準画像を動き補償するステップと、
加重動き補償基準画像を生成するため、前記動き補償されたもとの基準画像と前記割り当てられた加重係数とを乗算するステップと、
前記実質的に未圧縮の画像ブロックから前記加重動き補償基準画像を差し引くステップと、
前記実質的に未圧縮の画像ブロックと前記加重動き補償基準画像との差を示す信号を符号化するステップと、
を有することを特徴とする方法。
請求項１０記載の符号化方法であって、
前記動きベクトルを計算するステップは、
前記画像ブロックに対する所定の範囲のオフセット内のすべてのずれに対して検索領域内を調べるステップと、
動き補償基準画像により前記画像ブロックの各画素の絶対差の和と平均二乗誤差の少なくとも１つを計算するステップと、
前記絶対差の和と前記平均二乗誤差の最小値によるオフセットを前記動きベクトルとして選択するステップと、
から構成されることを特徴とする方法。
請求項１０記載の符号化方法であって、
双予測画像予測子が利用され、さらに、
前記画像ブロックに第２基準画像に対応する第２加重係数を割り当てるステップと、
前記画像ブロックと前記第２加重基準画像との差に対応する第２動きベクトルを計算するステップと、
前記第２動きベクトルに対応して、前記第２加重参照画像を動き補償するステップと、
前記第２動き補償加重基準画像に応答して、前記第２加重係数の選択を精緻化するステップと、
を有することを特徴とする方法。
請求項１１記載の符号化方法であって、
双予測画像予測子が利用され、さらに、
前記画像ブロックに第２基準画像に対応する第２加重係数を割り当てるステップと、
前記第２基準画像を前記第２加重係数により重み付けするステップと、
前記画像ブロックと前記第２加重基準画像との差に対応する第２動きベクトルを計算するステップと、
前記第２動きベクトルに対応して、前記第２加重基準画像を動き補償するステップと、
前記動き補償加重基準画像に対応して、前記第２加重係数の選択を精緻化するステップと、
前記第２動きベクトルに対応して、前記もとの重み付けされていない第２基準画像を動き補償するステップと、
第２加重動き補償基準画像を生成するため、前記動き補償されたもとの第２基準画像を前記割り当てられた第２加重係数と乗算するステップと、
前記実質的に未圧縮の画像ブロックから前記第２加重動き補償基準画像を差し引くステップと、
前記実質的に未圧縮の画像ブロックと前記第２加重動き補償基準画像との差を示す信号を符号化するステップと、
を有することを特徴とする方法。
請求項１３記載の符号化方法であって、
前記第１及び第２基準画像は共に、前記画像ブロックに対して同一方向からのものであることを特徴とする方法。
請求項１３記載の符号化方法であって、
前記動きベクトルを計算するステップは、
前記画像ブロックに対する所定の範囲のオフセット内のすべてのずれに対して検索領域内を調べるステップと、
前記第１予測子に対応する第１動き補償基準画像により前記画像ブロックの各画素の絶対差の和と平均二乗誤差の少なくとも１つを計算するステップと、
前記絶対差の和と前記平均二乗誤差の最小値によるオフセットを前記第１予測子に対する前記動きベクトルとして選択するステップと、
前記第２予測子に対応する第２動き補償基準画像により前記画像ブロックの各画素の絶対差の和と平均二乗誤差の少なくとも１つを計算するステップと、
前記絶対差の和と前記平均二乗誤差の最小値によるオフセットを前記第２予測子に対する前記動きベクトルとして選択するステップと、
から構成されることを特徴とする方法。
請求項１０記載の符号化方法であって、
前記基準画像を前記加重係数により重み付けするステップは、
前記加重係数がほぼ１に近いか判断するステップと、
前記加重係数がほぼ１に近い場合、前記もとの基準画像を前記加重基準がぞうとして使用するステップと、
から構成されることを特徴とする方法。
請求項１０記載の符号化方法であって、
前記動き補償加重基準画像に応じて前記加重係数の選択を精緻化するステップは、
前記画像ブロックと前記動き補償加重基準画像との差を計算するステップと、
前記計算された差を所定の許容度と比較するステップと、
さらに、前記計算された差が前記所定の許容度にない場合、前記加重係数を精緻化するステップと、
から構成されることを特徴とする方法。