JP2012235520A - 複数経路ビデオ符号化及び復号化のための方法及び装置 - Google Patents

Abstract

【課題】ビデオ符号器、ビデオ復号器、及び複数経路ビデオ符号化方式を使用してビデオ信号データを符号化及び復号化する対応する方法が提供される。
【解決手段】ビデオ符号器は、動き推定器（１１６）及び分解モジュール（１７４）を含んでいる。動き推定器は、ビデオ信号データにおいて動き推定を実行し、第１の符号化経路におけるビデオ信号データに対応する動き残差を獲得する。分解モジュールは、動き推定器と信号通信可能であり、後の符号化経路において動き残差を分解する。
【選択図】図１Ｂ

Description

[関連出願の表示]
本出願は、２００６年９月２２日に出願され、「複数経路ビデオ符号化及び復号化のための方法及び装置（ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＭＵＬＴＩＰＬＥ ＰＡＳＳ ＶＩＤＥＯ ＣＯＤＩＮＧ ＡＮＤ ＤＥＣＯＤＩＮＧ）」と題されたＰＣＴ国際出願第ＰＣＴ／ＵＳ２００６／０３７１３９号の利益を請求し、このＰＣＴ国際出願第ＰＣＴ／ＵＳ２００６／０３７１３９号は、本出願に含めるものとする。

本発明は、ビデオ符号化及び復号化に関し、特に、複数経路ビデオ符号化及び復号化のための方法及び装置に関する。

現在では、国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）ムービング・ピクチャー・エクスパーツ・グループ−４（ＭＰＥＧ−４）第１０部高度ビデオ符号化（ＡＶＣ）規格／国際電気通信連合電気通信部門（ＩＴＵ−Ｔ）Ｈ．２６４規格（これ以降、「ＭＰＥＧ４／Ｈ．２６４規格」又は単純に「Ｈ．２６４規格」と呼ぶ）が、最も有力且つ最新のビデオ符号化規格である。全ての別のビデオ符号化規格と同様にＨ．２６４規格は、ブロックに基づいた動き補償及び離散コサイン変換（ＤＣＴ）のような変換符号化を使用する。ＤＣＴがビデオ符号化に効率的であり、且つブロードキャスト高精細テレビ（ＨＤＴＶ）のようなハイエンドアプリケーションに適していることは、周知である。しかしながら、ＤＣＴアルゴリズムは、専用ビデオ携帯電話等の非常に低いビットレートを必要とするアプリケーションには、適していない。非常に低いビットレートでは、ＤＣＴ変換は、デブロッキングフィルタを使用してもブロッキングアーティファクトを取り入れてしまう。なぜなら、非常に少しの係数だけが非常に低いビットレートで符号化され、各係数は、非常に粗い量子化ステップを有する傾向があるからである。

マッチング追跡（ｍａｔｃｈｉｎｇ ｐｕｒｓｕｉｔｓ）（ＭＰ）は、貪欲（ｇｒｅｅｄｙ）アルゴリズムであり、関数の冗長辞書から選択される波形の線形範囲に任意の信号を分解する。これらの波形は、信号構成・構造に最も一致するように選択される。

ここで、１−Ｄ個の信号ｆ（ｔ）を有し、過完備（ｏｖｅｒ−ｃｏｍｐｌｅｔｅ）辞書セットＧからの基底ベクトルを使用してこの信号を分解したいと仮定する。個々の辞書関数は、以下のように表わすことができる。

ここで、γは、特定の辞書要素に関連付けられた添え字のパラメータである。分解は、γを選択することにより始まり、以下のように内積の絶対値を最大化する。

その後、残差信号が以下のように計算される。

その後、この残差信号は、元の信号と同じように展開される。このような処置は、決められた数の展開係数が生成されるか、残差のための幾つかのエネルギ閾値に達するまで反復して続けられる。各段階ｎにおいて、辞書関数γ_nが生成される。全Ｍ段階の後、信号は、以下のように辞書の線形関数により近似され獲得する。

ｎサンプルの信号のマッチング追跡分解の複雑性は、ｋ・Ｎ・ｄ・ｎｌｏｇ₂ｎのオーダであることがわかっている。ここで、ｄは、変換を考慮しない辞書のサイズに依存しており、Ｎは、選択した展開係数の数であり、定数ｋは、辞書関数を選択する方策に依存している。高度な過完備辞書を与えると、マッチング追跡は、Ｈ．２６４規格において使用される８×８及び４×４ＤＣＴ整数変換よりもより計算量を消費し、複雑性は、Ｏ（ｎｌｏｇ₂ｎ）として定義される。

通常では、マッチング追跡アルゴリズムは、任意の１組の冗長基底形状に対応している。ガボール（Ｇａｂｏｒ）関数の過完備基底を使用して信号を展開することが提案されている。２−Ｄガボール辞書は、非常に冗長性があり、各形状は、符号化された残差画像における整数ピクセル位置に存在してもよい。マッチング追跡は、より大きな辞書セットを有し且つ各符号化された基底関数は、残差信号における構造に良く一致するので、フレームに基づいたガボール辞書は、人為的なブロック構造を含んでいない。

ガボール冗長辞書セットが、マッチング追跡アルゴリズムを使用する提案されたビデオ符号化システム（これ以降、「従来のガボールに基づいたマッチング追跡ビデオ符号化手法」と呼ぶ）について、マッチング追跡に基づいた非常に低いビットレートビデオ符号化のために採用された。提案されたシステムは、非常に低いビットレート画像符号化のためのシミュレーションモデル、又は略して「ＳＩＭ３」と称される低いビットレートハイブリッドＤＣＴシステムのフレームワークに基づいており、ＤＣＴ残差符号器が、マッチング追跡符号器と置き換えられる。この符号器は、マッチング追跡を使用し、動き残差画像を辞書切り離し可能な２−Ｄガボール関数に分解する。提案されたシステムは、低いビットレートにおいて低い動きシーケンスを十分実行することを示した。

滑らかな１６×１６サイン二乗窓（ｓｉｎ−ｓｑｕａｒｅｄ ｗｉｎｄｏｗ）が、従来のガボールに基づいたマッチング追跡ビデオ符号化手法における８×８パーティションのための予測画像に適用された。従来のガボールに基づいたマッチング追跡ビデオ符号化手法におけるマッチング追跡ビデオコーデックは、ＩＴＵ−ＴＨ．２６３コーデックに基づいている。しかしながら、Ｈ．２６４規格は、輝度動き補償のために、４×４程度の小ささであってもよい小さなブロックサイズを有する可変ブロックサイズ動き補償を可能にする。さらに、Ｈ．２６４規格は、大部分の別の顕著な従来のビデオ符号化技術のような８×８ではなく、ベースラインプロファイル及びメインプロファイルのために４×４ＤＣＴのような変換に主に基づいている。イントラ符号化のための方向空間予測は、予測信号の質を向上させる。全てのこれら強調された特徴・構成は、Ｈ．２６４規格をより効率的にするが、マッチング追跡をＨ．２６４規格に適用するときに、より複雑にされた状況を取り扱うことを要求する。滑らかな１６×１６サイン二乗窓は、以下のように示される。

ハイブリッド符号化方式（これ以降、「従来のハイブリッド符号化方式」と呼ぶ）により、動き推定のためのＨ．２６４規格により導入される特徴・構成の一部から恩恵を受け且つ空間領域における変換を置き換えることが提案された。予測エラーは、適切に設計された２次元異方性冗長辞書により信号を分解するマッチング追跡アルゴリズムを使用して符号化される。さらに、迅速なアトム検索技術が導入された。しかしながら、提案された従来のハイブリッド符号化方式は、当該提案された従来のハイブリッド符号化方式が１経路方式又は２経路方式を使用するかどうかを扱っていない。さらに、提案された従来のハイブリッド符号化方式は、動き推定部がＨ．２６４規格に対応しているが、任意のデブロッキングフィルタが符号化方式に使用されるかどうか、又は任意の他の方法が、非常に低いビットレートにおいて予測画像により生ずるブロッキングアーティファクトを平滑化するのに使用されるかどうかを扱っていない。

従来技術の上記及び別の欠点及び不利益は、本発明により解消される。本発明は、複数経路ビデオ符号化及び復号化のための方法及び装置に関する。

本発明のある形態によれば、複数経路ビデオ符号化方式を使用してビデオ信号データを符号化するビデオ符号器が提供される。ビデオ符号器は、動き推定器及び分解モジュールを含んでいる。動き推定器は、ビデオ信号データに動き推定を実行し、第１の符号化経路におけるビデオ信号データに対応する動き残差を獲得する。分解モジュールは、動き推定器と信号通信可能であり、後の符号化経路において動き残差を分解する。

本発明の別の形態によれば、複数経路ビデオ符号化方式を使用してビデオ信号データを符号化する方法が提供される。当該方法は、ビデオ信号データに動き推定を実行し、第１の符号化経路におけるビデオ信号データに対応する動き残差を獲得するステップと、後の符号化経路において動き残差を分解するステップとを含んでいる。

本発明の別の形態によれば、ビデオビットストリームを復号化するビデオ復号器が提供される。ビデオ復号器は、エントロピ復号器、アトム（ａｔｏｍ）復号器、逆変換器、動き補償器、デブロッキングフィルタ、及び結合器を含んでいる。エントロピ復号器は、ビデオビットストリームを復号し、解凍されたビデオビットストリームを獲得する。アトム復号器は、エントロピ復号器と信号通信可能であり、解凍されたビットストリームに対応する解凍されたアトムを復号し、復号化されたアトムを獲得する。逆変換器は、アトム復号器と信号通信可能であり、逆変換を復号化されたアトムに適用し、再構成された残差画像を形成する。動き補償器は、エントロピ復号器と信号通信可能であり、解凍されたビットストリームに対応する動きベクトルを使用して動き補償を実行し、再構成された予測画像を形成する。デブロッキングフィルタは、動き補償器と信号通信可能であり、再構成された予測画像にデブロッキングフィルタリングを実行し、再構成された予測画像を平滑化する。結合器は、逆変換器及びオーバラップブロック動き補償器と信号通信可能であり、再構成された予測画像と残差画像とを組み合わせ、再構成画像を獲得する。

本発明の別の形態によれば、ビデオビットストリームを復号化する方法が提供される。当該方法は、ビデオビットストリームを復号化し、解凍されたビデオビットストリームを獲得するステップと、解凍されたビットストリームに対応する解凍されたアトムを復号化し、復号化されたアトムを獲得するステップと、逆変換を復号化されたアトムに適用し、再構成された残差画像を形成するステップと、解凍されたビットストリームに対応する動きベクトルを使用して動き補償を実行し、再構成された予測画像を形成するステップと、再構成された予測画像にデブロッキングフィルタリングを実行し、再構成された予測画像を平滑化するステップと、再構成された予測画像及び残差画像を組み合わせ、再構成画像を獲得するステップとを含んでいる。

本発明の上記及び別の形態、特徴・構成、及び利点は、典型的な実施形態の以下の発明を実施するための形態から明らかとなり、発明を実施するための形態は、添付図面を参照しつつ読まれるべきである。
本発明は、以下の典型的な図面により、より良く理解される。

本発明の原理の実施形態に従い、本発明の原理が適用される２経路Ｈ．２６４規格に基づいたマッチング追跡符号器／復号器（ＣＯＤＥＣ）における典型的な符号器の典型的な第１の経路についての図である。 本発明の原理の実施形態に従い、本発明の原理が適用される２経路Ｈ．２６４規格に基づいたマッチング追跡符号器／復号器（ＣＯＤＥＣ）における典型的な符号器の典型的な第２の経路についての図である。 本発明の原理の実施形態に従い本発明の原理が適用される２経路Ｈ．２６４規格に基づいたマッチング追跡符号器／復号器（ＣＯＤＥＣ）における典型的な復号器についての図である。 本発明の原理の実施形態に従い入力ビデオ列を符号化する典型的な方法のための図である。 本発明の原理の実施形態に従い入力ビデオ列を復号化する典型的な方法のための図である。

本発明は、複数経路ビデオ符号化及び復号化のための方法及び装置に関する。有利なように、本発明は、例えば、非常に低いビットレート用途におけるＨ．２６４規格に使用されるＤＣＴ変換により導入されるブロッキングアーティファクトを修正する。さらに、本発明は、単に低いビットレート用途に制限されず、本発明の範囲を維持しつつ、別の（大きな）ビットレートにも使用されてもよい。

本明細書は、本発明の原理を説明している。当業者は、ここには明確に説明又は示されていないが、本発明の原理を実施し、本発明の精神及び範囲内に含まれる様々な変形・変更を行うことができる。

ここに列挙される全ての例及び条件付きの説明は、教育的な目的であり、読者が、技術を促進するのに発明者により寄与された本発明の原理及び概念を理解する助けとなり、このような特定の列挙された例及び状態に限定されないと解釈されるべきである。

さらに、本発明の原理、形態、実施形態、及びこれらの特定の例を列挙するここでの全ての説明は、これらの構造的な均等物及び機能的な均等物を包含することを目的としている。さらに、このような均等物は、現在公知の均等物及び将来に開発される均等物、つまり、構造に関係なく同一の機能を実行するように開発された任意の要素を含む。

よって、例えば、ここで与えられたブロック図は、本発明の原理を実施する例示的な回路の概念図を示していることが、当業者により認識されるであろう。同様に、任意のフローチャート、フロー図、状態遷移図、及び疑似コード等は、コンピュータ可読媒体に実質的に表されており、コンピュータ又はプロセッサが明確に示されているかどうかにかかわらず、コンピュータ又はプロセッサにより実行される様々な処理を示している。

図面に示した様々な要素の機能は、専用ハードウェア及び適切なソフトウェアと組み合わさったソフトウェアを実行可能なハードウェアの使用により与えられてもよい。プロセッサにより与えられると、機能は１つの専用プロセッサ、１つの共有されたプロセッサ、又は一部が共有されるかもしれない複数の個々のプロセッサにより与えられてもよい。さらに、用語「プロセッサ」又は「コントローラ」の明確な使用は、ソフトウェアを実行することができるハードウェアを排他的に言及していると解釈されるべきではなく、デジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶しているリードオンリメモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、及び不揮発性記憶手段を暗に含んでいてもよく、これらだけに限定されない。

従来の及び／又は特別に形成された別のハードウェアが含まれていてもよい。同様に、図面に示した任意のスイッチは、単に概念的なものである。これらの機能は、プログラムロジックのオペレーション、専用ロジック、プログラム制御と専用ロジックとの相互作用、又は手動により実行されてもよく、特定の技術が、文脈からより詳しく理解されるように、実施者により選択可能である。

特許請求の範囲において、特定の機能を実行する手段として示された任意の要素は、その機能を実行する任意のやり方を含むように意図しており、当該任意のやり方は、例えば、ａ）その機能を実行する回路素子の組み合わせ、ｂ）任意の形態のソフトウェアを含み、当該任意の形態のソフトウェアは、ファームウェア又はマイクロコード等を含み、上記機能を実行するのにそのソフトウェアを起動する適切な回路と組み合わされる。そのような請求の範囲により画定される本発明は、様々な列挙された手段により提供される機能が組み合わされ、特許請求の範囲が要求する形態に互いに集められることにある。上記機能を提供することができる任意の手段は、ここで示した手段の均等物と考えられる。

本発明の原理によれば、複数経路ビデオ符号化及び復号化方式が提供される。複数経路ビデオ符号化及び復号化方式は、マッチング追跡と共に使用されてもよい。説明に役立つ実施形態において、２経路Ｈ．２６４に基づいた符号化方式がマッチング追跡ビデオ符号化のために開示されている。

Ｈ．２６４規格は、他のビデオ圧縮規格に類似したブロックに基づいた動き補償及びＤＣＴのような変換を利用する。非常に低いビットレートでは、ＤＣＴ変換は、デブロッキングフィルタを使用しても、ブロッキングアーティファクトを取り入れる。なぜなら、非常に少しの係数だけが非常に低いビットレートで符号化されることができ、各係数が非常に粗い量子化ステップを有する傾向があるからである。本発明の原理によれば、過完備基底を使用するマッチング追跡が、残差画像を符号化するのに利用される。動き補償及びモード決断部は、Ｈ．２６４規格に対応している。オーバラップブロック動き補償（ＯＢＭＣ）は、予測画像を平滑化するのに利用される。さらに、新しい手法は、マッチング追跡以外の基底を選択するのに提供される。

本発明の原理によれば、ビデオ符号器及び／又は復号器は、ＯＢＭＣを予測画像に適用し、予測モデルにより生じるブロッキングアーティファクトを低減する。マッチング追跡アルゴリズムは、残差画像を符号化するために使用される。マッチング追跡の利点は、当該マッチング追跡がブロックに基づいておらず、フレームに基づいており、符号化残差の違いにより生じるブロッキングアーティファクトが存在しないことである。

図１Ａ及び図１Ｂを参照すると、２経路Ｈ．２６４規格に基づいたマッチング追跡符号器／復号器（ＣＯＤＥＣ（コーデック））における符号器の典型的な第１の経路部及び第２の経路部が参照符号１１０及び１６０により示される。符号器は、参照符号１９０により示され、復号器部分は、参照符号１９１により示される。

図１Ａを参照すると、第１の経路部１１０の入力部は、結合器１１２の非反転入力部、符号器制御モジュール１１４の入力部、及び動き推定器１１６の第１の入力部と信号通信可能に接続されている。結合器１１２の第１の出力部は、バッファ１１８の第１の入力部と信号通信可能に接続されている。結合器１１２の第２の出力部は、整数変換／スケーリング／量子化モジュール１２０の入力部と信号通信可能に接続されている。整数変換／スケーリング／量子化モジュール１２０の出力部は、スケーリング／逆変換モジュール１２２の第１の入力部と信号通信可能に接続されている。

符号器制御モジュール１１４の第１の出力部は、フレーム間予測器１２６の第１の入力部と信号通信可能に接続されている。符号器制御モジュール１１４の第２の出力部は、動き補償器１２４の第１の入力部と信号通信可能に接続されている。符号器制御モジュール１１４の第３の出力部は、動き推定器１１６の第２の入力部と信号通信可能に接続されている。符号器制御モジュール１１４の第４の出力部は、スケーリング／逆変換モジュール１２２の第２の入力部と信号通信可能に接続されている。符号器制御モジュール１１４の第５の出力部は、バッファ１１８の第１の入力部と信号通信可能に接続されている。

動き推定器１１６の出力部は、動き補償器１２４の第２の入力部及びバッファ１２８の第２の入力部と信号通信可能に接続されている。結合器１１２の反転入力部は、動き補償器１２４の出力部との信号通信手段又はフレーム間予測器１２６の出力部と信号通信可能に選択的に接続される。動き補償器１２４又はフレーム間予測器１２６の選択された出力部は、結合器１２８の第１の入力部と信号通信可能に接続される。スケーリング／逆変換モジュール１２２の出力部は、結合器１２８の第２の入力部と信号通信可能に接続されている。結合器１２８の出力部は、フレーム間予測器１２６の第２の入力部、動き推定器１１６の第３の入力部、動き補償器１２４の入力／出力部と信号通信可能に接続されている。バッファ１１８の出力部は、第１の経路部１１０の出力部として利用できる。

第１の経路部１１０に関しては、符号器制御モジュール１１４、整数変換／スケーリング／量子化モジュール１２０、バッファ１１８、及び動き推定器１１６が符号器１９０に含まれている。さらに、第１の経路部に関しては、スケーリング／逆変換モジュール１２２、フレーム間予測器１２６、及び動き補償器１２４が復号器部分１９１に含まれている。

第１の経路部１１０の入力部は、入力ビデオ１１１を受信し、第２の経路部１６０において使用するために制御データ（例えば、動きベクトル、モード選択、及び予測画像等）をバッファ１１８に記憶する。

図１Ｂを参照すると、第２の経路部１６０の第１の入力部は、エントロピ符号器１６６の入力部と信号通信可能に接続されている。第１の入力部は、第１の経路部１１０から制御データ１６２（例えば、モード選択等）及び動きベクトル１６４を受信する。第２の経路部１６０の第２の入力部は、結合器１６８の非反転入力部と信号通信可能に接続されている。第２の経路部１６０の第３の入力部は、オーバラップブロック動き補償（ＯＢＭＣ）／デブロッキングモジュール１７０の入力部と信号通信可能に接続されている。第２の経路部１６０の第２の入力部は、入力ビデオ１１１を受信し、第２の経路部の第３の入力部は、第１の経路部１１０から予測画像１８７を受信する。

残差１７２を与える結合器１６８の出力部は、アトム（ａｔｏｍ）探知器１７４の入力部と信号通信可能に接続されている。符号化された残差１７８を与えるアトム探知器１７４の出力部は、アトム符号器１７６の入力部及び結合器１８０の第１の非反転入力部と信号通信可能に接続されている。ＯＢＭＣ／デブロッキングモジュール１７０の出力部は、結合器１６８の反転入力部及び結合器１８０の第２の非反転入力部と信号通信可能に接続されている。出力ビデオを与える結合器１８０の出力部は、参照バッファ１８２の入力部と信号通信可能に接続されている。アトム符号器１７６の出力部は、エントロピ符号器１６６の入力部と信号通信可能に接続されている。エントロピ符号器１６６の出力部は、第２の経路部１６０の出力部として利用でき、出力ビットストリームを与える。

第２の経路部１６０に関しては、エントロピ符号器は、符号器１９０に含まれ、結合器１６８、ＯＢＭＣモジュール１７０、アトム探知器１７４、アトム符号器１７６、及び参照バッファ１８２は、復号器部分１９１に含まれている。

図２を参照すると、２経路Ｈ．２６４規格に基づいたマッチング追跡符号器／復号器（ＣＯＤＥＣ（コーデック））内の典型的な復号器は、参照符号２００により示される。

復号器２００の入力部は、エントロピ復号器２１０の入力部と信号通信可能に接続されている。エントロピ復号器の出力部は、アトム復号器２２０の入力部及び動き補償器２５０の入力部と信号通信可能に接続されている。残差を与える逆変換モジュール２３０の出力部は、結合器２７０の第１の非反転入力部と信号通信可能に接続されている。動き補償器２５０の出力部は、ＯＢＭＣ／デブロッキングモジュール２６０の入力部と信号通信可能に接続されている。ＯＢＭＣ／デブロッキングモジュール２６０の出力部は、結合器２７０の第２の非反転入力部と信号通信可能に接続されている。結合器の出力部は、復号器２００の出力部として利用できる。

Ｈ．２６３コーデックに基づいている従来のガボールに基づいたマッチング追跡ビデオ符号化手法におけるマッチング追跡ビデオコーデックとは異なり、本発明の原理は、ＩＴＵ−ＴＨ．２６４／ＡＶＣ符号化システムに適用できる。フレームに基づいた残差符号化の故に、我々は、Ｈ．２６４／ＡＶＣコーデックに実装されていないＯＢＭＣを予測画像に適用する。

本発明の原理に基づく実施形態において、ビデオ符号化方式における第１の経路は、Ｈ．２６４規格に対応している。第１の経路において実際には、符号化は行われない。例えば、モード選択、予測画像、及び動きベクトル等の全ての制御データは、第２の経路のためにバッファに保存される。ＤＣＴ変換が、レート歪み最適化（ＲＤＯ）を使用する動き補償及びモード選択のために、第１の経路に適用されている。ＤＣＴ係数を使用して残差画像を符号化する代わりに、全ての残差画像は、第２の経路のために保存される。本発明の原理に基づく実施形態では、１６×１６強制（ｃｏｎｓｔｒａｉｎｅｄ）イントラ符号化又は、Ｈ．２６４規格準拠強制イントラ符号化を適用すること、及び特にイントラ符号化されたマクロブロックとインタ符号化されたマクロブロックとの間の境界部分を処理することが提案される。

第２の経路において、動きベクトル及び制御データがエントロピ符号化により符号化されてもよい。残差画像は、マッチング追跡により符号化されてもよい。アトム検索及びパラメータ符号化が、例えば、従来のガボールに基づいたマッチング追跡ビデオ符号化手法に基づいて実行されてもよい。再構成画像は、参照フレームのために保存される。

マッチング追跡ビデオ符号化の利点の１つは、マッチング追跡がブロックに基づいておらず、ブロッキングアーティファクトが存在しないことである。しかしながら、動き予測がブロックに基づいて実行され、不正確であると、この動き予測は、非常に低いビットレートにおいて幾つかのブロッキングアーティファクトを生成する。シミュレーションは、アトムが、動いている輪郭部及び領域に現れることを示し、当該動いている輪郭部及び領域では、動きベクトル（ＭＶ）は、あまり正確ではない。動き予測を向上させることにより、アトムが残差をより良く表すことができる。

動き予測からアーティファクトを除去するために、ある方法は、Ｈ．２６４等を使用すること、又は改良されたデブロッキングフィルタを使用し、予測画像におけるブロックの境界部を平滑化することを含んでいる。別の手法において、オーバラップブロック（ＯＢＭＣ）を使用する平滑化動きモデルが使用される。従来のガボールに基づいたマッチング追跡ビデオ符号化手法では、１６×１６サイン２乗窓が採用された。Ｎ×Ｎサイン２乗窓は、例えば、従来のハイブリッド符号化方式に従い定義されてもよい。１６×１６サイン２乗窓は、８×８ブロックのために形成され、１６×１６ブロックは、４つの８×８ブロックとして処理される。

しかしながら、Ｈ．２６４規格において、輝度ブロックサイズ１６×１６、１６×８、８×１６、８×８サンプルを有するパーティションは、サポートされている。８×８サンプルを有するパーティションが選択される場合、８×８パーティションは、８×４、４×８、又は４×４輝度サンプル及び対応する色度サンプルのパーティションにさらに分割される。ここでは、４つの手法が、より多くのパーティションの種類に対応するために提案される。第１の手法では、４×４パーティションのために８×８サイン二乗窓を使用している。４×４よりも大きい全ての別のパーティションについては、これらパーティションは、幾つかの４×４パーティションに分割される。第２の手法では、８×８以上のパーティションのために１６×１６サイン二乗窓を使用しているが、この第２の手法は、８×８よりも小さなパーティションには、影響を与えない。第３の手法では、全てのパーティションのために適応可能なＯＢＭＣを使用している。上記３つの手法の全ては、ＯＢＭＣだけを実装しており、デブロッキングフィルタを実装していない。第４の手法では、ＯＢＭＢとデブロッキングフィルタとを組み合わせている。

残差符号化のために実装された従来のガボールに基づいたマッチング追跡ビデオ符号化手法における冗長ガボール辞書セットの他に、我々は、より多くの過完備基底を利用することを提案する。低いビットレートでは、変換動きモデルは、動いているエッジ等の関連のある視覚特徴／構成の自然な動きを正確に表すことができない。よって、残差エラーエネルギの大部分は、これらの領域に位置する。よって、エッジ検出冗長辞書を使用してエラー画像を表すことは、意味がある。離散ウェーブレット変換（例えば、２−Ｄ双対木（Ｄｕａｌ−Ｔｒｅｅ）離散ウェーブレット変換（ＤＤＷＴ））は、２−Ｄガボール辞書が利用されるか、又は幾つかの他のエッジ検出辞書が使用されるよりも少ない冗長性を有する。２−ＤＤＤＷＴは、２−ＤＤＷＴよりも多くのサブバンド／方向性を有している。各サブバンドは、ある方向を示し、当該各サブバンドは、エッジ検出用である。ノイズシェーピングをした後に、２−ＤＤＤＷＴは、標準的な２−ＤＤＷＴと比較して、同一の保持された係数を有してより高いＰＳＮＲを達成する。よって、２−ＤＤＤＷＴは、エッジ情報を符号化するのにより適している。予測画像にＯＢＭＣを適用した後、エラー画像は、滑らかなエッジを有する。パラメトリック過完備２−Ｄ辞書が、滑らかなエッジを与えるのに使用されてもよい。

図３を参照すると、入力ビデオ列を符号化する典型的な方法は、参照符号３００により示される。当該方法３００は、開始ブロック３０５を含み、判断ブロック３１０に進む。判断ブロック３１０は、現在のフレームがＩフレームであるかどうかを判断する。現在のフレームがＩフレームであるならば、機能ブロック３５５に進む。現在のフレームがＩフレームでないならば、機能ブロック３１５に進む。

機能ブロック３５５は、Ｈ．２６４規格準拠フレーム符号化を実行し、出力ビットストリームを提供して、終了ブロック３７０に進む。

機能ブロック３１５は、Ｈ．２６４規格準拠動き補償を実行し、機能ブロック３２０に進む。機能ブロック３２０は、動きベクトル（ＭＶ）、制御データ、及び予測ブロックを保存し、判断ブロック３２５に進む。判断ブロック３２５は、フレームの最後に達したかどうかを判断する。フレームの最後に達したならば、機能ブロック３３０に進む。フレームの最後に達していなければ、機能ブロック３１５に戻る。

機能ブロック３３０は、予測画像にＯＢＭＣ及び／又はデブロッキングフィルタリングを実行し、機能ブロック３３５に進む。機能ブロック３３５は、元の画像及び予測画像から残差画像を獲得して、機能ブロック３４０に進む。機能ブロック３４０は、マッチング追跡を使用して、残差を符号化し、機能ブロック３４５に進む。機能ブロック３４５は、エントロピ符号化を実行して、出力ビットストリームを与え、終了ブロック３７０に進む。

図４を参照すると、入力ビデオ列を復号化する典型的な方法が参照符号４００により示されている。当該方法４００は、開始ブロック４００を含み、判断ブロック４１０に進む。判断ブロック４１０は、現在のフレームがＩフレームであるかどうかを判断する。現在のフレームがＩフレームであるならば、機能ブロック４３５に進む。現在のフレームがＩフレームでないならば、機能ブロック４１５に進む。

機能ブロック４３５は、Ｈ．２６４規格準拠復号化を実行して、再構成画像を提供し、終了ブロック４７０に進む。

機能ブロック４１５は、動きベクトル、制御データ、及びマッチング追跡アトムを復号し、機能ブロック４２０及び機能ブロック４２５に進む。機能ブロック４２０は、復号化されたアトムを使用して残差画像を再構成し、機能ブロック４３０に進む。機能ブロック４２５は、動きベクトル及び他の制御データを復号化して、ＯＢＭＣ／及び／又はデブロッキングフィルタリングを適用することにより、予測画像を再構成し、機能ブロック４３０に進む。機能ブロック４３０は、再構成された残差画像と再構成された予測画像とを組み合わせ、再構成画像を提供し、終了ブロック４７０に進む。

本発明の多くの付随する利点／特徴の一部が説明され、これらの一部は、上述されている。例えば、ある利点／特徴は、複数経路ビデオ符号化方式を使用してビデオ信号データを符号化するビデオ符号器であり、当該ビデオ符号器は、動き推定器及び分解モジュールを含んでいる。動き推定器は、ビデオ信号データに動き推定を実行し、第１の符号化経路におけるビデオ信号データに対応する動き残差を獲得する。分解モジュールは、動き推定器と信号通信可能であり、後の符号化経路における動き残差を分解する。

別の利点／特徴は、上述したようなビデオ符号器であり、複数経路ビデオ符号化方式は、２経路ビデオ符号化方式である。ビデオ符号器は、バッファをさらに含み、当該バッファは、動き推定器及び分解モジュールと信号通信可能であり、第２の符号化経路において使用するために第１の符号化経路において得られた動き残差を記憶する。分解モジュールは、第２の符号化経路における冗長ガボール辞書セットを使用して動き残差を分解する。

別の利点／特徴は、上述したような２経路ビデオ符号化方式を使用するビデオ符号器であり、動き推定器は、第１の符号化経路において、国際電気通信連合電気通信部門（ＩＴＵ−Ｔ）Ｈ．２６４規格に応じる動き推定及び符号化モード選択を実行する。

別の利点／特徴は、上述したような２経路ビデオ符号化方式を使用するビデオ符号器であり、ビデオ符号器は、予測モジュール及びオーバラップブロック動き補償器をさらに含んでいる。予測モジュールは、バッファと信号通信可能であり、第１の符号化経路におけるビデオ信号データに対応する予測画像を形成する。オーバラップブロック動き補償器は、バッファと信号通信可能であり、１６×１６サイン二乗窓を使用して、予測画像にオーバラップブロック動き補償（ＯＢＭＣ）を実行し、第２の符号化経路における予測画像を平滑化する。バッファは、第２の符号化経路において使用するために第１の経路における予測画像を記憶する。

さらに、別の利点／特徴は、上述したような２経路ビデオ符号化方式を使用するビデオ符号器であり、ビデオ符号器は、予測モジュール及びオーバラップブロック動き補償器をさらに含んでいる。予測モジュールは、バッファと信号通信可能であり、第１の符号化経路におけるビデオ信号データに対応する予測画像を形成する。オーバラップブロック動き補償器は、バッファと信号通信可能であり、第２の符号化経路における予測画像の８×８より大きなパーティションだけにオーバラップブロック動き補償（ＯＢＭＣ）を実行する。バッファは、第２の符号化経路において使用するために第１の符号化経路における予測画像を記憶する。

さらに、別の利点／特徴は、上述したような２経路ビデオ符号化方式を使用するビデオ符号器であり、ビデオ符号器は、予測モジュール及びオーバラップブロック動き補償器をさらに含んでいる。予測モジュールは、バッファと信号通信可能であり、第１の符号化経路におけるビデオ信号データに対応する予測画像を形成する。オーバラップブロック動き補償器は、バッファと信号通信可能であり、第２の符号化経路における予測画像の４×４パーティションのために８×８サイン二乗窓を使用してオーバラップブロック動き補償（ＯＢＭＣ）を実行する。ＯＢＭＣが第２の符号化経路において実行されると、予測画像の全てのパーティションは、４×４パーティションに分割される。バッファは、第２の符号化経路において使用するために第１の符号化経路における予測画像を記憶する。

また、別の利点／特徴は、上述したような２経路ビデオ符号化方式を使用するビデオ符号器であり、ビデオ符号器は、予測モジュール及びオーバラップブロック動き補償器をさらに含んでいる。予測モジュールは、バッファと信号通信可能であり、第１の符号化経路におけるビデオ信号データに対応する予測画像を形成する。オーバラップブロック動き補償器は、バッファと信号通信可能であり、第２の符号化経路における予測画像の全てのパーティションのために適応可能なオーバラップブロック動き補償（ＯＢＭＣ）を実行する。バッファは、第２の符号化経路において使用するために第１の符号化経路における予測画像を記憶する。

さらに、別の利点／特徴は、上述したような２経路ビデオ符号化方式を使用するビデオ符号器であり、ビデオ符号器は、予測モジュール及びデブロッキングフィルタをさらに含んでいる。予測モジュールは、バッファと信号通信可能であり、第１の符号化経路におけるビデオ信号データに対応する予測画像を形成する。デブロッキングフィルタは、バッファと信号通信可能であり、第２の符号化経路において予測画像にデブロッキングオペレーションを実行する。バッファは、第２の符号化経路において使用するために第１の符号化経路における予測画像を記憶する。

さらに、別の利点／特徴は、上述したような２経路ビデオ符号化方式を使用するビデオ符号器であり、分解モジュールは、双対木ウェーブレット変換を実行し、動き残差を分解する。

さらに、別の利点／特徴は、上述したような２経路ビデオ符号化方式及び双対木ウェーブレット変換を使用するビデオ符号器であり、分解モジュールは、ノイズシェーピングを使用し、双対木ウェーブレット変換の係数を選択する。

さらに、別の利点／特徴は、上述したような２経路ビデオ符号化方式を使用するビデオ符号器であり、分解モジュールは、パラメトリック過完備２−Ｄ辞書を利用し、第２の符号化経路における動き残差を分解する。

さらに、別の利点／特徴は、ビデオビットストリームを復号化するビデオ復号器であり、ビデオ復号器は、エントロピ復号器、アトム復号器、逆変換器、動き補償器、デブロッキングフィルタ、及び結合器を含んでいる。エントロピ復号器は、ビデオビットストリームを復号化し、解凍されたビデオビットストリームを獲得する。アトム復号器は、エントロピ復号器と信号通信可能であり、解凍されたビットストリームに対応する解凍されたアトムを復号化し、復号化されたアトムを獲得する。逆変換器は、アトム復号器と信号通信可能であり、逆変換を復号化されたアトムに適用し、再構成された残差画像を形成する。動き補償器は、エントロピ復号器と信号通信可能であり、解凍されたビットストリームに対応する動きベクトルを使用して動き補償を実行し、再構成された予測画像を形成する。デブロッキングフィルタは、動き補償器と信号通信可能であり、再構成された予測画像にデブロッキングフィルタリングを実行し、再構成された予測画像を平滑化する。結合器は、逆変換器及びオーバラップブロック動き補償器と信号通信可能であり、再構成された予測画像と、残差画像を組み合わせ、再構成画像を獲得する。

本発明の上記及び別の特徴／構成及び利点は、ここでの教示内容に基づいて当業者により容易に確認されるであろう。本発明の教示内容は、ハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、又はこれらの組み合わせの様々な形態で実装されてもよい。

最も好ましくは、本発明の教示内容は、ハードウェアとソフトウェアとの組み合わせとして実装される。さらに、ソフトウェアは、プログラム記憶ユニットに具体的な形態に実現されたアプリケーションプログラムとして実装されてもよい。アプリケーションプログラムは、任意の適切なアーキテクチャを有する機械にアップロードされ、当該機械により実行されてもよい。好ましくは、上記機械は、１つ以上の中央処理装置（「ＣＰＵ」）、ランダムアクセスメモリ（「ＲＡＭ」）、及び入力／出力（「Ｉ／Ｏ」）インターフェイス等のハードウェアを有するコンピュータプラットフォームに実装される。コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含んでいてもよい。ここで説明された様々な処理及び機能は、ＣＰＵにより実行されるかもしれないマイクロ命令コードの一部若しくはアプリケーションプログラムの一部、又はこれらの任意の組み合わせであってもよい。さらに、様々な別の周辺装置がコンピュータプラットフォームに接続されてもよく、例えば、当該様々な別の周辺装置は、別のデータ記憶装置及びプリント装置である。

好ましくは、添付図面に示された構成システム要素及び方法の一部は、ソフトウェアで実装されるので、システム要素同士又は処理機能ブロック同士の間の実際の接続は、本発明がプログラムされている手法に依存して異なっていてもよい。ここでの教示内容を与えると、当業者は、上記及び類似した本発明の実装又は構成を予想することができるであろう。

説明に役立つ実施形態は、ここでは添付図面を参照しつつ説明されたが、本発明は、上記の厳格な実施形態に限定されず、様々な変形及び変更が、本発明の範囲又は精神から逸脱することなく、当業者によりなされてもよい。全てのこのような変形及び変更は、特許請求の範囲に記載された本発明の範囲内に含めるものとする。

Claims (18)

1. 複数経路ビデオ符号化方式を使用してビデオ信号データを符号化するビデオ符号器であって、前記ビデオ符号器は、
   前記ビデオ信号データに動き推定を実行して、第１の符号化経路における前記ビデオ信号データに対応する動き残差を獲得する動き推定器と、
   前記動き推定器と信号通信可能であり、後の符号化経路における前記動き残差を分解する分解モジュールと、
   を含み、
   前記複数経路ビデオ符号化方式は２経路ビデオ符号化方式であり、前記ビデオ符号器は、バッファをさらに含み、前記バッファは、前記動き推定器及び前記分解モジュールと信号通信可能であり、第２の符号化経路において使用するために前記第１の符号化経路において得られた前記動き残差を記憶し、前記分解モジュールは、前記第２の符号化経路における冗長ガボール辞書セットを使用して前記動き残差を分解し、
   前記バッファと信号通信可能であり、前記第１の符号化経路における前記ビデオ信号データに対応する予測画像を形成する予測モジュールと、
   前記バッファと信号通信可能であり、１６×１６サイン二乗窓を使用して前記予測画像にオーバラップブロック動き補償（ＯＢＭＣ）を実行し、前記第２の符号化経路における前記予測画像を平滑化するオーバラップブロック動き補償器と、
   をさらに含み、前記バッファは、前記第２の符号化経路において後続する使用のために前記第１の符号化経路における前記予測画像を記憶する、前記ビデオ符号器。
2. 前記バッファと信号通信可能であり、前記第１の符号化経路における前記ビデオ信号データに対応する予測画像を形成する予測モジュールと、
   前記バッファと信号通信可能であり、前記第２の符号化経路における前記予測画像の８×８以上のパーティションだけにオーバラップブロック動き補償（ＯＢＭＣ）を実行するオーバラップブロック動き補償器と、
   をさらに含み、前記バッファは、前記第２の符号化経路において後続する使用のために前記第１の符号化経路における前記予測画像を記憶する、請求項１に記載のビデオ符号器。
3. 前記バッファと信号通信可能であり、前記第１の符号化経路における前記ビデオ信号データに対応する予測画像を形成する予測モジュールと、
   前記バッファと信号通信可能であり、前記第２の符号化経路における前記予測画像の４×４パーティションのために８×８サイン二乗窓を使用してオーバラップブロック動き補償（ＯＢＭＣ）を実行するオーバラップブロック動き補償器と、
   をさらに含み、ＯＢＭＣが前記第２の符号化経路において実行されると、前記予測画像の全てのパーティションは、４×４パーティションに分割され、前記バッファは、前記第２の符号化経路において後続する使用のために前記第１の符号化経路における前記予測画像を記憶する、請求項１に記載のビデオ符号器。
4. 前記バッファと信号通信可能であり、前記第１の符号化経路における前記ビデオ信号データに対応する予測画像を形成する予測モジュールと、
   前記バッファと信号通信可能であり、前記第２の符号化経路における前記予測画像の全てのパーティションのために適応可能なオーバラップブロック動き補償（ＯＢＭＣ）を実行するオーバラップブロック動き補償器と、
   をさらに含み、前記バッファは、前記第２の符号化経路において後続する使用のために前記第１の符号化経路における前記予測画像を記憶する、請求項１に記載のビデオ符号器。
5. 前記バッファと信号通信可能であり、前記第１の符号化経路における前記ビデオ信号データに対応する予測画像を形成する予測モジュールと、
   前記バッファと信号通信可能であり、前記第２の符号化経路における前記予測画像にデブロッキングオペレーションを実行するデブロッキングフィルタと、
   をさらに含み、前記バッファは、前記第２の符号化経路において後続する使用のために前記第１の符号化経路における前記予測画像を記憶する、請求項１に記載のビデオ符号器。
6. 前記分解モジュールは、双対木ウェーブレット変換を実行し、前記動き残差を分解する、請求項１に記載のビデオ符号器。
7. 前記分解モジュールは、ノイズシェーピングを使用し、前記双対木ウェーブレット変換の係数を選択する、請求項１に記載のビデオ符号器。
8. 前記分解モジュールは、パラメトリック過完備２−Ｄ辞書を利用し、前記第２の符号化経路における前記動き残差を分解する、請求項１に記載のビデオ符号器。
9. 複数経路ビデオ符号化方式を使用してビデオ信号データを符号化する方法であって、
   前記ビデオ信号データに動き推定を実行し、第１の符号化経路において前記ビデオ信号データに対応する動き残差を獲得するステップと、
   後の符号化経路において前記動き残差を分解するステップと、
   を含み、
   前記複数経路ビデオ符号化方式は、２経路ビデオ符号化方式であり、前記方法は、第２の符号化経路において後続する使用のために前記第１の符号化経路において獲得された前記動き残差を記憶するステップをさらに含み、前記分解するステップは、前記第２の符号化経路における冗長ガボール辞書セットを使用して前記動き残差を分解し、
   前記第１の符号化経路における前記ビデオ信号データに対応する予測画像を形成するステップと、
   前記第１の符号化経路における前記予測画像を記憶するステップと、
   １６×１６サイン二乗窓を使用して前記予測画像にオーバラップブロック動き補償（ＯＢＭＣ）を実行し、前記第２の符号化経路における前記予測画像を平滑化するステップと、
   をさらに含む、前記方法。
10. 前記第１の符号化経路における前記ビデオ信号データに対応する予測画像を形成するステップと、
    前記第１の符号化経路における前記予測画像を記憶するステップと、
    前記第２の符号化経路における前記予測画像の８×８以上のパーティションだけにオーバラップブロック動き補償（ＯＢＭＣ）を実行するステップと、
    をさらに含む、請求項９に記載の方法。
11. 前記第１の符号化経路における前記ビデオ信号データに対応する予測画像を形成するステップと、
    前記第１の符号化経路における前記予測画像を記憶するステップと、
    前記第２の符号化経路における前記予測画像の４×４パーティションのために８×８サイン二乗窓を使用してオーバラップブロック動き補償（ＯＢＭＣ）を実行するステップと、
    をさらに含み、ＯＢＭＣが前記第２の符号化経路に実行されると、前記予測画像の全てのパーティションは４×４パーティションに分割される、請求項９に記載の方法。
12. 前記第１の符号化経路における前記ビデオ信号データに対応する予測画像を形成するステップと、
    前記第１の符号化経路における前記予測画像を記憶するステップと、
    前記第２の符号化経路における前記予測画像の全てのパーティションのために適応可能なオーバラップブロック動き補償（ＯＢＭＣ）を実行するステップと、
    をさらに含む、請求項９に記載の方法。
13. 前記第１の符号化経路における前記ビデオ信号データに対応する予測画像を形成するステップと、
    前記第１の符号化経路における前記予測画像を記憶するステップと、
    前記第２の符号化経路における前記予測画像にデブロッキングオペレーションを実行するステップと、
    をさらに含む、請求項９に記載の方法。
14. 前記分解するステップは、双対木ウェーブレット変換を実行し、前記動き残差を分解する、請求項９に記載の方法。
15. 前記分解するステップは、ノイズシェーピングを使用し、前記双対木ウェーブレット変換の係数を選択する、請求項１４に記載の方法。
16. 前記分解するステップは、パラメトリック過完備２−Ｄ辞書を利用し、前記第２の符号化経路における前記動き残差を分解する、請求項９に記載の方法。
17. ビデオビットストリームを復号化するビデオ復号器であって、
    解凍されたビデオストリームを獲得するために前記ビデオビットストリームを復号化するエントロピ復号器と、
    前記エントロピ復号器と信号通信可能であり、復号されたアトムを獲得するために、前記解凍されたビットストリームに対応する解凍されたアトムを復号化するアトム復号器と、
    前記アトム復号器と信号通信可能であり、再構成された残差画像を形成するために逆変換を前記復号されたアトムに適用する逆変換器と、
    前記エントロピ復号器と信号通信可能であり、再構成された予測画像を形成するために、前記解凍されたビットストリームに対応する動きベクトルを使用して動き補償を実行する動き補償器と、
    前記動き補償器と信号通信可能であり、前記再構成された予測画像を平滑化するために、前記再構成された予測画像にデブロッキングフィルタリングを実行するデブロッキングフィルタと、
    前記逆変換器及び前記オーバラップブロック動き補償器と信号通信可能であり、再構成画像を獲得するために、前記再構成された予測画像と前記残差画像を組み合わせる結合器と、
    を含む、復号器。
18. ビデオビットストリームを復号化する方法であって、
    前記ビットストリームを復号化し、解凍されたビデオビットストリームを獲得するステップと、
    前記解凍されたビットストリームに対応する解凍されたアトムを復号し、復号されたアトムを獲得するステップと、
    前記復号されたアトムに逆変換を適用し、再構成された残差画像を形成するステップと、
    前記解凍されたビットストリームに対応する動きベクトルを使用して動き補償を実行し、再構成された予測画像を形成するステップと、
    前記再構成された予測画像にデブロッキングフィルタリングを実行し、前記再構成された予測画像を平滑化するステップと、
    前記再構成された予測画像及び前記残差画像を組み合わせて再構成画像を獲得するステップと、
    を含む、方法。

Images