JP2007506361A - 適応参照画像の発生 - Google Patents

Abstract

参照専用画像から予測して、入力画像または画像ブロックを符号化するビデオ・エンコーダ（３００）および対応する方法（７００）が提供される。エンコーダ（３００）は、以前に符号化した画像を記憶する画像フレーム・バッファ（３７４）、および画像フレーム・バッファに接続され、以前に符号化した画像から、参照専用の画像を発生する参照画像処理装置（３７６）を具える。対応する方法（７００）は、圧縮されない画像ブロックを受信するステップ（７１２）と、以前に符号化した画像をフィルタ処理し、適応参照画像を生成するステップ（７１４）と、適応参照画像を動き補償するステップ（７１８）と、動き補償された適応参照画像を、圧縮されない画像ブロックから差し引くステップ（７２２）と、圧縮されない画像ブロックと動き補償された適応参照画像との差を符号化するステップ（７２４）とを含んでいる。ビデオ・デコーダ（４００）とそれに対応する方法（８００）も開示される。

Description

本発明は、ビデオ・エンコーダ／ビデオ・デコーダ（ＣＯＤＥＣ）に向けられ、特に、ＣＯＤＥＣにおける予測子としての参照画像の使用に向けられる。

ＭＰＥＧ‐２およびＪＶＴ／Ｈ．２６４／ＭＰＥＧ ＡＶＣのような典型的ビデオ圧縮システムおよび規格においては、一般に、エンコーダとデコーダは、圧縮を達成するために、イントラ（ｉｎｔｒａ）／インター（ｉｎｔｅｒ）コーディングに頼る。イントラ・コーディングでは、空間予測方法が使用され、インター・コーディングでは、画像間に存在する時間相関を利用することにより、圧縮が達成される。具体的に言うと、以前に符号化／復号化した画像が将来の画像のための参照画像として使用され、これらの画像間の動きを補償するために、動き推定および動き補償が行われる。Ｈ．２６４のような高度なＣＯＤＥＣでは、必要なときに、より正確な予測を行うために、フェード・イン／フェード・アウトの間に、ライティング（ｌｉｇｈｔｉｎｇ：照明）の変動を考慮する。最後に、予測／量子化プロセスで発生されるブロッキング・アーティファクト（ｂｌｏｃｋｉｎｇ ａｒｔｉｆａｃｔ）を減じるためにデブロッキング（ｄｅｂｌｏｃｋｉｎｇ）方法も使用される。

あいにく、インター・コーディング（ｉｎｔｅｒ ｃｏｄｉｎｇ）に関連する典型的方法では、予測プロセス全体にかなり影響する幾つかの付加的特性および特徴を考慮していない。特に高い解像度の画像は、フィルム粒子またはスペックル・ノイズ（ｓｐｅｃｋｌｅ ｎｏｉｓｅ）のようなタイプのノイズを含んでいる。この種のノイズは、１つの画像と別の画像との間に全く相関関係を持たない傾向があり、符号化の間、参照画像内に残存するノイズを補償する必要が多分にある。このノイズのいくらかは、量子化により、またエンコーダに導入される非標準的な閾値化（ｎｏｎ‐ｎｏｒｍａｔｉｖｅ ｔｈｒｅｓｈｏｌｄｉｎｇ）により、除去されるが、それでもやはり符号化能率にかなり不利な影響を与える。

時間／空間フィルタリング（ｆｉｌｔｅｒｉｎｇ）方法を使用できる前処理の段階で、このノイズを除去して符号化能率をかなり改善できるが、フィルム・コンテンツの場合、ノイズ自体がフィルムの芸術的内容の一部でもあるので、このノイズをいくらか保持することも望ましい。従って、表示画像の芸術的内容を維持すると同時に、参照画像における相関性のないノイズを減じる新しいスキームが必要とされる。

（発明の概要）
従来技術のこれらのおよび他の欠点と不利な点は、適応参照画像の再生によるビデオ・コーディング／デコーディング（符号化／復号化）のための装置と方法により対処される。

本発明は、参照専用の画像からの予測により、入力画像または画像ブロックを符号化して、付随的に復号化するビデオ・エンコーダとデコーダ、および対応する方法である。例示するエンコーダは、以前に符号化した画像を記憶する画像フレーム・バッファ、および画像フレーム・バッファに接続され、以前に符号化した画像から参照専用画像を発生する参照画像処理装置を具える。例示する符号化方法は、実質的に圧縮されない画像ブロックを受信するステップ、以前に符号化した画像をフィルタ処理して、適応参照画像を発生するステップ、適応参照画像を動き補償するステップ、圧縮されない画像ブロックから、動き補償された適応参照画像を差し引くステップ、および圧縮されない画像ブロックと動き補償された適応参照画像との差を符号化するステップから成る。

本発明のこれらのおよび他の特徴および利点は、図面に関連して読まれる実施例についての以下の説明から明らかとなる。

本発明の原理によれば、以前に符号化した画像にフィルタを適用し、それを、後に画像を符号化する際、参照用に使用して符号化能率の更なる改善が得られ、表示画像の芸術的内容の保持のために、符号化プロセスの間、ノイズ情報を維持するために使用できる。

本発明の幾つかの実施例の原理を説明する。本発明の実施例として明記または明示されていないが、当業者は、本発明の原理を具現化し且つ本発明の技術思想と範囲内に含まれる種々の構成を創案できるものと理解される。

本明細書中に記載の実例および条件付き言語はすべて、当技術推進のため発明者より寄せられるコンセプトと本発明の原理を読者が理解するのを助ける教育上の目的を意図するものであり、明確に特定して記載されるこのような実例および条件に限定されるものではない。本発明の原理、態様、および実施例を記載する本明細書中のすべての記述、並びに本発明の具体的実例は、本発明の構造上および機能上の同等物を包含する意図のものである。加えて、このような同等物には、現在知られている同等物、および将来開発される同等物、構造に関りなく、同一の機能を実行する要素も含まれる。

ここに示すブロック図は、本発明の原理を具現化する例示的回路のコンセプトを表すことが当業者に理解されるであろう。フローチャート、流れ図、状態遷移図、擬似コードなどは、コンピュータで読み出されるメディア内に表され、コンピュータまたはプロセッサが明示されると否とに関らず、そのようなコンピュータまたはプロセッサで実行されるものと理解される。

図面に示す種々の要素の機能は、専用のハードウェア、および適正なソフトウェアに関連してソフトウェアを実行できるハードウェアを使用して、提供される。プロセッサによって提供される場合、これらの機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、あるいは複数の個々のプロセッサ（そのうち幾つかは共有される）によって、提供される。更に、「プロセッサ」または「コントローラ」という用語は、ソフトウェアを実行できるハードウェアのみを指すのではなく、ＤＳＰ（ディジタル信号プロセッサ）ハードウェア、ソフトウェアを記憶するＲＯＭ（読出し専用メモリ）、ＲＡＭ（ランダムアクセス・メモリ）、および不揮発性メモリも含められる。

その他のハードウェア（従来の、またはカスタムの）も含められる。図面に示すスイッチは概念的なものにすぎない。これらのスイッチの機能は、プログラム・ロジックの動作を介して、専用のロジックを介して、プログラム制御と専用ロジックの相互作用を介して、あるいは手動により、実行され、特定の技術は、そのコンテクストから具体的に理解されるものとして実施者が選択できる。

本発明の特許請求の範囲で、指定される機能を実行する手段として表される構成要素は、その機能を実行する方法を包含する意図のものであり、これには、例えば、ａ）その機能を実行する回路要素の組合せ、またはｂ）ソフトウェアを実行してその機能を実行するために適正な回路と組み合わされる、ファームウェア、マイクロコードなど任意の形態のソフトウェアが含まれる。特許請求の範囲で限定される本発明は、記載される種々の手段により提供される機能が特許請求の範囲で要求する方法で組み合わされ且つ統合されることに在る。従って出願者は、それらの機能を提供できる手段を、本明細書中に示す手段と同等のものと見なす。

図１に、ビデオ・エンコーダを全体として参照番号１００で示す。エンコーダ１００への入力は、空間フィルタ１０２と入力画像ストア（記憶装置）１０４にそれぞれ接続される。空間フィルタ１０２の出力は、加算器１１０の切替え可能な非反転入力の第１の位置に切替え可能に接続される。入力画像ストア１０４はノイズ・リデューサ１０６に接続され、ノイズ・リデューサ１０６は、加算器１１０の切替え可能な非反転入力の第２の位置に接続される。加算器１１０の出力はブロック変成器１２０に接続され、変成器１２０は量子化器１３０に接続される。量子化器１３０の出力はエントロピ・コーダ／可変長コーダ（ＶＬＣ）１４０に接続される。ＶＬＣ１４０の出力はビデオ・エンコーダ１００の外部で利用できる出力である。

量子化器１３０の出力は更に逆量子化器１５０に接続される。逆量子化器１５０は逆ブロック変成器１６０に接続され、逆変成器１６０は、イン‐ループ（ｉｎ‐ｌｏｏｐ）フィルタ１７２に接続され、イン‐ループ・フィルタ１７２は参照画像ストア１７５に接続される。参照画像ストア１７５の第１の出力は動き推定器／モード決定装置１８０の第１の入力に接続される。空間フィルタ１０２の出力は動き推定器１８０の第２の入力に接続される。動き推定器１８０の第１の出力は動き補償器１９０の第１の入力に接続される。動き推定器１８０の第２の出力はノイズ・リデューサ１０６の第２の入力に接続される。参照画像ストア１７５の第２の出力は動き補償器１９０の第２の入力に接続される。動き補償器１９０の出力は加算器１１０の反転入力に接続される。

図２で、送信機２０１は受信機２０４に信号を伝達する。送信機２０１は、フィルム粒子除去装置２１１とフィルム粒子モデリング装置２１２を具え、装置２１１と２１２は入力ビデオ信号を受信する。フィルム粒子除去装置２１１は、フィルム粒子モデリング装置２１２とビデオ・エンコーダ２１３に接続され、ビデオ・エンコーダ２１３は受信機２０４のビデオ・デコーダに信号を伝達し、圧縮したビットストリームを送信する。フィルム粒子モデリング（ｍｏｄｅｌｉｎｇ）装置２１２は、受信機２０４のフィルム粒子シミュレーション装置２７８に信号を伝達し、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ：補足的な付加情報）メッセージを送信する。ビデオ・デコーダ２０２は、フィルム粒子シミュレーション装置２７８と加算器２８２の第１の非反転入力の各々に接続される。フィルム粒子シミュレーション装置２７８は、加算器２８２の第２の非反転入力に接続され、加算器２８２は表示用の信号を供給する。

受信機２０４は可変長デコーダ（ＶＬＤ）２１０を具え、逆量子化器２２０に接続されるビットストリームを受信する。逆量子化器は逆ブロック変成器２３０に接続される。逆変成器は加算器２４０の第１の入力端子に接続される。加算器２４０の出力はループ・フィルタ２７２に接続され、ループ・フィルタ２７２はフレーム・バッファ２７４に接続される。フレーム・バッファ２７４は、動き補償器２６０、フィルム粒子シミュレーション装置２７８および加算器２８２の第１の非反転入力の各々に接続される。ＶＬＤ２１０の出力は、第２の入力として動き補償器２６０に結合される。動き補償器２６０の出力は加算器２４０の第２の入力端子に接続される。フィルム粒子シミュレーション装置２７８は、例えば、補足的な付加情報（ＳＥＩ）メッセージのような、ノイズ・パラメータを受信する第２の入力を有する。フィルム粒子シミュレーション装置２７８の出力は加算器２８２の第２の非反転入力に接続される。加算器２８２の出力は受信機２８２からの出力となる。

図３に、ビデオ・エンコーダを全体として参照番号３００で示す。エンコーダ３００への入力は加算器３１０の非反転入力に接続される。加算器３１０の出力はブロック変成器３２０に接続される。変成器３２０は量子化器３３０に接続され、量子化器３３０の出力は可変長コーダ（ＶＬＣ）３４０に接続される。ＶＬＣ３４０の出力は外部で利用できるエンコーダ３００のビットストリーム出力である。

量子化器３３０の出力は逆量子化器３５０に接続される。逆量子化器３５０は逆ブロック変成器３６０に接続され、逆変成器３６０は加算器３７０の第１の非反転入力に接続される。加算器３７０の出力はループ・フィルタ３７２に接続され、オプションで、参照画像処理装置３７６に接続される。ループ・フィルタ３７２はフレーム・バッファ３７４に接続され、フレーム・バッファ３７４は、参照画像処理装置３７６に接続され、オプションで、動き補償装置３９０に接続される。参照画像処理装置３７６は、可変長コーダ（ＶＬＣ）３４０、フレーム・バッファ３７４、動き推定装置３８０、および動き補償装置３９０に接続される。

エンコーダ３００への入力は更に動き推定器３８０の第２の入力に接続される。動き推定器３８０の出力は、動き補償器３９０の入力、およびＶＬＣ３４０の第３の入力に接続される。動き補償器３９０の出力は加算器３１０の反転入力に接続される。

図４に、ビデオ・デコーダを全体として参照番号４００で示す。ビデオ・デコーダ４００は可変長デコーダ（ＶＬＤ）４１０を具え、逆量子化器４２０に接続されるビットストリームを受信する。逆量子化器４２０は逆変成器４３０に接続され、逆変成器４３０は加算器４４０の第１の入力端子に接続される。加算器４４０の出力はループ・フィルタ４７２に接続され、オプションで、ループ・フィルタ４７２でなく、参照画像処理装置４７６に接続され、ループ・フィルタを効果的にバイパスする。ループ・フィルタ４７２はフレーム・バッファ４７４に接続される。フレーム・バッファ４７４の第１の出力は参照画像処理装置４７６の第１の入力に接続される。ＶＬＤ４１０は参照画像処理装置４７６の第２の入力に接続される。

参照画像処理装置４７６の第１の出力は動き補償装置４６０に接続され、動き補償装置４６０は、加算器４４０の第２の非反転入力端子に接続され、オプションで、参照画像処理装置４７６の入力に接続される。ビデオ・デコーダ４００の出力は、フレーム・バッファ４７４の第２の出力と参照画像処理装置４７６の第２の出力に切替え可能に接続される。

図５に、画素の投影による参照画像の発生を全体として参照番号５００で示す。各画素は、その以前の動きベクトルに応じて新しい位置に投影される。

図６に、動きの投影による参照画像の発生を全体として参照番号６００で示す。現在の参照画像における各ブロックは、共に位置づけされる（ｃｏ‐ｌｏｃａｔｅｄ）ブロックと同じＭＶ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ：動きベクトル）を有するものと想定される。

図７に、本発明の原理による、適応参照画像発生により符号化するプロセスを示す。このプロセスは、スタート・ブロック７１０でコントロール（ｃｏｎｔｒｏｌ：制御）を入力ブロック７１２に伝える。入力ブロック７１２は、圧縮されない画像ブロック・データを受信し、コントロールを機能ブロック７１４に伝え、機能ブロック７１４は、以前に符号化され記憶された画像にフィルタを適用し、適応参照画像を発生する。機能ブロック７１４はコントロールを機能ブロック７１８に伝え、機能ブロック７１８は、動きベクトルに対応して適応参照画像を補償し、コントロールを機能ブロック７２２に伝える。機能ブロック７２２は圧縮されない画像ブロックから動き補償された適応参照画像を差し引き、コントロールを機能ブロック７２４に伝える。機能ブロック７２４は、圧縮されない画像と動き補償された適応参照画像との差で信号を符号化し、コントロールを機能ブロック７２６に伝える。機能ブロック７２６は、復号化した差を動き補償された適応参照画像に加算して、復号化した画像を形成し、コントロールを機能ブロック７２８に伝える。機能ブロック７２８は復号化した画像を画像フレーム・バッファに記憶し、コントロールをエンド・ブロック７３０に伝える。

図８に、本発明の原理による、適応参照画像の発生により復号化するプロセスを全体として参照番号８００で示す。このプロセスは、スタート・ブロック８１０でコントロール（ｃｏｎｔｒｏｌ：制御）を入力ブロック８１２に伝える。入力ブロック８１２は復号化した画像データを受信し、コントロールを機能ブロック８１４に伝える。機能ブロック８１４は、以前に符号化され記憶された画像にフィルタを適用して、適応参照画像を発生し、コントロールを機能ブロック８１６に伝える。機能ブロック８１６は適応参照画像を動き補償し、コントロールを機能ブロック８１８に伝える。機能ブロック８１８は符号化した差を復号化し、コントロールを機能ブロック８２４に伝える。機能ブロック８２４は、動き補償された適応参照画像を、復号化した差に加算し、復号化した画像を形成し、コントロールを機能ブロック８２６に伝える。機能ブロック８２６は復号化した画像を記憶し、表示し、コントロールをエンド・ブロック８２８に伝える。

図１に戻り、ビデオ符号化／復号化アーキテクチャは、ビデオ・シーケンスからノイズを除去するために、空間／時間フィルタリング（ｆｉｌｔｅｒｉｎｇ）のような、前処理方法を考慮してもよい。この処理は、本質的に、シーケンス内の空間／時間関係を改善し、よりよい符号化能率を導く。

図２に関してよく理解されるように、場合によっては、保持することが望ましいタイプのノイズ（例えば、ＨＤ（高精細）コンテンツ内でのフィルム粒子ノイズ）もある。従って、このようなコンテンツを一組の符号化したパラメータに関連づけて、元のフィルム粒子ノイズの推定値をデコーダに発生させることも望ましい。これらのパラメータは、補足的な付加情報（ＳＥＩ）メッセージと共にＨ．２６４で送信され、ノイズの発生のために、異なるモデルも使用することができる。

再び図３と図４に、現行の方法と比較して性能を更に改善できる新しい符号化／復号化アーキテクチャを示す。これは、表示用に符号化／復号化される画像と、将来符号化する画像のために参照用に使用される画像とを区別することにより達成される。コンテンツにも依るが、将来の画像の動き全体または一部を高い精度で予測できることは既に知られており、この情報を使用して、関連する参照画像を発生することができる。また、各画像について全く相関性のないタイプのノイズ（例えば、フィルム粒子ノイズ）もあり、このようなノイズは、よりよい符号化能率を達成するために、補償を要し、もしできるなら、参照画像から完全に除去する必要がある。

ここに開示するアーキテクチャは、符号化／復号化のプロセスに付加的ステップを導入し、エンコーダとデコーダで利用できる既知の空間／時間情報を使用し、もし必要なら、復号化した画像を分析／処理し、将来の画像の参照基準として使用できる新しい画像を発生する。参照画像の発生手順は、ビットストリーム内の符号化された付加的情報に基づいて、あるいはコンテクストに基づいて適応的に決定される。この新しい画像は、ビットストリーム信号またはデコーダの決定に基づいて、表示の目的にも使用することができる。

本発明の原理により、現行のシステムと比較して符号化能率の更なる改善を導くインター予測（ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）参照画像を発生するために、付加的ステップが符号化／復号化プロセスに導入される。ここに開示するシステムの特徴として、ノイズの多いコンテンツのシーケンスの場合、ノイズは通常、時間的に相関性がないので、以前に復号化された画像は最良の参照画像ではない。ノイズは前処理段階で除去できるが、フィルムのコンテンツにおけるフィルム粒子の場合のように、ノイズ自体が実際のコンテンツの一部でもあるので、ノイズを保持することが望ましいこともある。

このアーキテクチャにおいて、例えば、メディアン（ｍｅｄｉａｎ）フィルタ、ウイーナ（Ｗｉｅｎｅｒ）フィルタ、幾何平均、最小二乗などのフィルタ、およびそれらの組合せを使用して、オプションの付加的フィルタリング・プロセスが各参照画像に適用される。フィルタリングを付加的に使用して、副画素（ｓｕｂ‐ｐｉｘｅｌ）補間法で除去されないノイズを除去することができる。単純な平均化フィルタのような、線形フィルタも使用できるが、必ずしも副画素の位置を考慮する必要はない。時間フィルタリングのような、時間的方法を考慮し、あるいは以前の画像の動き情報を使用し、動き補償された参照画像を発生し、グローバルな動き補償により動き補償された新しい参照画像を発生することもできる。本明細書中で、簡略化のため、これらの方法は「フィルタリング（フィルタ処理）」（フィルタの使用）と称される。

フィルタおよびプロセスは、すべての参照画像について固定されるが、異なるシステムに有益な、代りのアーキテクチャも幾つか使用できる。特に、簡単な方法として、１ビット信号のような、各画像の信号を符号化し、この画像が別の画像の参照基準とされるなら、フィルタ処理された画像が代りに使用される。この場合、原のサンプル、またはフィルタ処理されたサンプルを使用して副画素の位置が発生されることが、エンコーダとデコーダで予め定められる。代りに、この位置を指定する付加的信号を送信することができる。

各画像について、フィルタのパラメータおよび／または情報もストリーム内で送られる。この方法は、付加的メモリを必要としない明らかな利点を有するが、エンコーダの融通性も制限される。画像によっては、異なるフィルタを使用するか、または全く使用しない参照画像の方が有益となるであろう。

もっと融通性のある方法は、各画像について、その参照画像がフィルタ処理されるかどうかを指定する。この方法では、エンコーダを各画像の特性によりよく適応させ、より高い性能が達成される。すべての参照画像について同じフィルタを使用することができ、あるいはビットストリーム内で送られる各参照画像について異なるフィルタを使用することができる。画像には異なる特性を有する部分もあり、異なるフィルタリング方法から利益を得られることを考慮し、フィルタを使用せず、または異なるフィルタを使用して、同一画像を参照画像として再使用することもできる。バッファ内に現在の画像のための参照画像として使用できるＮ個の異なる画像、およびＫ個の異なるフィルタリング方法があるとすれば、基準として使用できる参照画像はＮ×（Ｋ＋１）となる。フィルタは本質的に、マクロブロックのレベルで各参照画像に関連する参照指標（ｒｅｆｅｒｅｎｃｅ ｉｎｄｅｘ）を介して選択され、これは、Ｈ．２６４で陽解法の（ｅｘｐｌｉｃｉｔ）重みつき予測モードに現在行われているものに幾分類似する。

もっと具体的に言うと、陽解法の重みつき予測で必要とされるパラメータは、符号化の間、画像およびスライス・ヘッダ内で送られる。例えば、画像ヘッダは、パラメータｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇとｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｆｌａｇを含み、使用する重みつき予測モードを指定する。ｗｅｉｇｈｔｅｄ＿ｐｒｅｄ＿ｆｌａｇが１であれば、ＰスライスとＳＰスライスについて、重みつき予測（常に陽解法）が使用される。ｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｆｌａｇも１であれば、Ｂピクチャについて陽解法の重みつき予測が使用される。これらのパラメータの何れかが１に設定され、適正なスライス・タイプが使用されるならば、予測重みテーブル（ｐｒｅｄ＿ｗｅｉｇｈｔ＿ｔａｂｌｅ）の諸要素もそのスライス・ヘッダ内で送信される。これらの要素には、スライスがＢピクチャであり且つｗｅｉｇｈｔｅｄ＿ｂｉｐｒｅｄ＿ｆｌａｇが１である（これは、各ブロックに関連する参照画像に依り異なるが、動き補償の間、予測サンプルの発生の間に使用される）なら、リスト＿０とリスト＿１に各参照画像についての重みとオフセットが含まれる。特定の参照画像に使用する特定の重みとオフセットは特定のマクロブロックまたはマクロブロック・パーティションの参照画像指標で表示される。

新しい予測方法とそのパラメータを同じヘッダ内に伝える、付加的要素を導入することもできる。例えば、ａｄａｐｔｉｖｅ＿ｒｅｆ＿ｐｒｅｄ＿ｆｌａｇと名づけられる新しい画像レベルのシンタクス要素を規定することができる。もしこれが１であればスライス・ヘッダ内に付加的テーブル（例えば、ａｄａｐｔｉｖｅ＿ｒｅｆ＿ｔａｂｌｅ）が伝送され、テーブルは、どちらかのリストに各参照画像について付加的パラメータを含み、このリストには、フィルタリング方法とフィルタのパラメータが含まれる。フィルタのパラメータはダイナミックで、使用されるフィルタリング方法に依存する。例えば、メディアン・フィルタには付加的パラメータは必要でないが、分離可能なフィルタは、複数のタップと係数を必要とする。参照画像指標を使用して、特定のマクロブロックまたはマクロブロック・パーティションのために特定のフィルタを選択することができる。

上述の方法は、付加的計算およびエンコーダとデコーダでの記憶を意味するが、フィルタ処理された値を瞬時に計算し、記憶の必要性を減じることもできる。これらの各参照画像について副画素値を計算することは必ずしも必要でなく、オリジナル（原画像）から生じた副画素値のみを計算し記憶することにより、このようなエンコーダの複雑性が減じられる。この場合、フィルタ処理された参照画像の副画素値を原の副画素値と同じにさせる（これはＲａｔｅ Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎモデルの下で有益である）か、またはフィルタ処理された参照画像について整数の動きベクトル与えることもできる。このような場合、これらの動きベクトルは、動きベクトル予測プロセスの間、適正にスケール化する必要があり、それらの予測子は最も近い整数値に四捨五入すべきである。

参照画像の発生に使用されるフィルタを示す信号を送るかどうかはさておき、復号化したマクロブロックまたはモードの特性を与えられれば、このような決定をマクロブロックのレベルで行うこともできる。Ｐピクチャ用のＳＫＩＰまたはＢピクチャ用のＤｉｒｅｃｔまたはＢｉ‐ｐｒｅｄｉｃｔｉｖｅ（双方向予測）のようなモードは、大抵のシーケンスで、フィルタ処理されない画像から利益を得るように思われる。例えば、ＳＫＩＰが使用されると、これは、現在のマクロブロックはその参照画像との類似性が非常に高いことを、そしてたとえノイズがいくらか存在しても、視覚に著しく影響しないことを意味する。同じことは、ＤｉｒｅｃｔＳＫＩＰにも当てはまり、Ｄｉｒｅｃｔを含むすべての双方向予測モードはそれ自体、時間フィルタとして働き、多量のノイズを減じることができる。他方、これらのモードにフィルタ処理された画像を使用すると、付加的フィルタリングにより、ぼけのような、アーティファクトを多く生じて能率を低下させる。

図３および図４はそれぞれ、エンコーダとデコーダを示す。このエンコーダとデコーダに含まれるユニークな要素は参照画像処理モジュールである。図３から、デブロッキング（ｄｅｂｌｏｃｋｉｎｇ）前後の画像から参照画像を発生することが可能であり、フィルタリングは必須のものではない。以前符号化した画像からの動き情報も、動き投影された参照画像の発生に使用できる。Ｈ．２６４で使用されるｔｅｍｐｏｒａｌ ｄｉｒｅｃｔと同様、動きは隣接する画像間で相対的に連続していることを考慮することにより、この参照画像は発生される。この観察で、画素の投影を使用して、参照画像が発生され、図５に示すように、各画素はその以前の動きベクトルに従って新しい位置に投影され、あるいは図６に示すように、動きを投影して、現在の参照画像における各マクロブロックは、それと同時に位置づけされるブロックと同じ動きベクトル（ＭＶ）を有するものと想定される。重みつき平均を使用して２つの方法を組み合わせることもでき、投影された画素を、他の方法でフィルタ処理することもできる。拡張処理法として、マルチスペクトル画像エンハンスメントにおけるのと同様な方法を使用することもでき、この場合、動き／画素の投影またはフィルタリングにより、複数の画像が組み合わされ、超（スーパー）解像度のイメージングまたは顕著な静止画に匹敵する単一の参照画像が発生される。

例示するフィルタには以下のものが含まれる：ａ）１×３、ｂ）３×１、ｃ）分離可能（最初に１×３それに続いて３×１）、ｄ）３×３メディアン、ｆ）それらの重みつき平均と原の参照画像（ｒｅｆ＝（ａ×Ｍｅｄ_１×３＋ｂ×Ｍｅｄ_３×１＋ｃ×Ｍｅｄ_３×３＋ｄ×オリジナル＋（ａ＋ｂ＋ｃ＋ｄ）／２）／（ａ＋ｂ＋ｃ＋ｄ））、ｇ）ｗｉｅｎｅｒフィルタ（Ｇａｕｓｓｉａｎノイズの処理による）、ｈ）係数付きａ３×３平均化フィルタ、

またはｉ）簡単な分離可能ｎ‐タップ・フィルタ、ｊ）閾値化された平均（結果が原のサンプルとかなり異なるなら、フィルタｈのみを使用する）、およびこれらのフィルタの組合せ。他のフィルタも使用され、ビットストリーム内に送られ、またはエンコーダとデコーダ内で知られ、ビットストリーム内のパラメータを介して、例えば、参照指標を介して、選択される。

このアーキテクチャでも使用され且つ簡単な３×３メディアン（Ｍｅｄｉａｎ）よりもよいエッジを維持する、比較的複雑性の低い、かなり興味あるフィルタは、２‐Ｄオーダの統計フィルタとメディアンの組合せであった。原（オリジナル）画像内にある現在の画素とその周囲の８画素が選択され分類された。もし現在の画素が３×３メディアンと同じであったなら、他の処理は行われなかった。もし同じでなく、現在の画素が最大または最小のサンプルであったなら、これは、それに最も近いサンプルで置き換えられたか、またはそれに最も近いサンプルとそれ自体との平均で置き換えられた。そのほか、このサンプルは現在のサンプルとそれに最も近い２つのサンプルの平均値で置き換えられた。

同じ参照画像を発生し且つドリフトを回避するために、デコーダはどのフィルタが使用されたかを正確に知らなければならない。エンコーダとデコーダで、このフィルタは同一であり、このフィルタをピクチャまたはスライス・レベルで伝送することもできる。このフィルタ全体をＭＢ（マクロブロック）レベルで伝送するにはかなりの経費を要することになるが、もしフィルタがグローバルな動き補償された参照画像を使用しており且つ付加的融通性が得られるなら、動きベクトル（ＭＶ）スケーリング・パラメータのような、フィルタの一部を調節する追加的パラメータを幾つか伝送することもできる。エンコーダは、複雑性が最小の適正な処理方法を選択できなければならない。この目的で、ノイズ推定、画像相関などのような、参照画像と現在の画像の事前分析法も使用される。このような推定は、画像全体のレベルで、あるいは異なる領域で（特に、異なるエリアは、領域に基づく方法で、より正確に検出できる異なる特性を有することを考慮する際に）、行われる。

本発明のこれらのおよびその他の特徴と利点は、本明細書中における教示に基づいて当技術に通常の技量を有する者に容易に確かめられる。本発明の原理は、種々の形態のハードウェア、ソフトウェア、ファームウェア、特殊目的のプロセッサ、またはそれらを組み合わせて実施されることが理解されるべきである。

本発明の原理は、ハードウェアとソフトウェアを組み合わせて実施されるのが最も好ましい。ソフトウェアは、プログラム記憶装置で具現化されるアプリケーション・プログラムとして実施されるのが好ましい。アプリケーション・プログラムは適当なアーキテクチャを具えるマシンにアップロードされ、マシンで実行される。マシンは、一個または複数個の中央処理装置（ＣＰＵ）、ランダム・アクセス・メモリ（ＲＡＭ）、および入力／出力（Ｉ／Ｏ）インタフェースを有するコンピュータ・プラットフォームで実施されるのが好ましい。コンピュータ・プラットフォームにはオペレーティング・システムとマイクロインストラクション・コードを含んでいる。本明細書中に記載の種々のプロセスと機能はマイクロインストラクション・コードの一部であるか、またはアプリケーション・プログラムの一部であり、またはその組合せであり、ＣＰＵで実行される。付加的データ記憶装置およびプリンタのような種々の周辺装置がコンピュータ・プラットフォームに接続される。

図面に描かれるシステムの構成部品および方法の幾つかはソフトウェアで実施されるのが好ましく、システム構成部品またはプロセス機能ブロック間の実際の接続は、本発明がプログラムされる仕方に依り異なる。本明細書中における教示を与えられれば、当業者は本発明のこれらのおよび類似の実施または構成を考えることができるであろう。

実施例は図面に関して説明されているが、本発明はそれらの厳密な実施例に制限されず本発明の技術思想または範囲から離脱することなく、当技術に通常の技量を有する者により種々の変更および変形が可能であることが理解されるべきである。そのような変更および変形はすべて、特許請求の範囲に記載の本発明の範囲内に含められる意図のものである。

本発明の実施例による、適応参照画像再生のためのビデオ・エンコーダのブロック図を示す。 本発明の実施例による、適応参照画像再生のためのビデオ・デコーダのブロック図を示す。 本発明の別の実施例による、適応参照画像再生のためのビデオ・エンコーダのブロック図を示す。 本発明の別の実施例による、適応参照画像再生のためのビデオ・デコーダのブロック図を示す。 本発明の実施例による、画素の投影による参照画像の発生を示す。 本発明の実施例による、動きの投影による参照画像の発生を示す。 本発明の原理による、適応参照画像の発生で符号化するフローチャート。 本発明の原理による、適応参照画像発生で復号化するフローチャート。

Claims (41)

1. 少なくとも１つの参照専用の画像から予測して、入力画像を符号化するビデオ・エンコーダ（３００）であって、
   以前に符号化した少なくとも１つの画像を記憶する画像フレーム・バッファ（３７４）と、
   画像フレーム・バッファに接続され、以前に符号化した少なくとも１つの画像から少なくとも１つの参照専用画像を発生する参照画像処理装置（３７６）と、から成る、ビデオ・エンコーダ（３００）。
2. 参照画像処理装置が、動き補償された参照画像に応答する、請求項１記載のビデオ・エンコーダ。
3. 参照画像処理装置が複数の参照画像に応答する、請求項１記載のビデオ・エンコーダ。
4. 参照画像処理装置が少なくとも１つのループ・フィルタに応答する、請求項１記載のビデオ・エンコーダ。
5. 参照画像処理装置が少なくとも１つの重みづけ係数に応答する、請求項１記載のビデオ・エンコーダ。
6. 参照画像処理装置が参照画像指標（インデックス）に応答し、複数のフィルタのうちどのフィルタを以前に符号化した少なくとも１つの画像に適用すべきかを伝える、請求項１記載のビデオ・エンコーダ。
7. 参照画像処理装置が空間フィルタを具える、請求項１記載のビデオ・エンコーダ。
8. 参照画像処理装置が時間フィルタを具える、請求項１記載のビデオ・エンコーダ。
9. １つの参照画像に適用する、指定されたフィルタが、別の参照画像に適用する指定されたフィルタと異なる、請求項６記載のビデオ・エンコーダ。
10. 適用するフィルタを示す信号を送り、各画像について、その参照画像がフィルタ処理されるかどうかを指定する、請求項６記載のビデオ・エンコーダ。
11. 適用するフィルタを示す信号を送り、すべての参照画像に同じフィルタを使用すべきかどうかを指定する、請求項６記載のビデオ・エンコーダ。
12. 適用するフィルタを示す信号を送り、異なるフィルタリング・パラメータで参照画像を再使用するかどうかを指定する、請求項６記載のビデオ・エンコーダ。
13. 通常の参照画像とフィルタ処理済み参照画像の少なくとも１つを使用することを伝える、請求項６記載のビデオ・エンコーダ。
14. 参照画像処理装置に接続されて、動き補償された参照専用画像を発生する動き補償装置（３９０）を具える、請求項１記載のビデオ・エンコーダ。
15. 参照画像処理装置が、参照画像を発生する動き投影機と画素投影機の少なくとも１つを具える、請求項１記載のビデオ・エンコーダ。
16. 画像ブロックのビデオ信号データを符号化する方法（７００）であって、
    圧縮しない画像ブロックを受信するステップ（７１２）と、
    以前に符号化した画像をフィルタ処理し、適応参照画像を生成するステップ（７１４）と、
    適応参照画像を動き補償するステップ（７１８）と、
    圧縮しない画像ブロックから動き補償した適応参照画像を差し引くステップ（７２２）と、
    圧縮しない画像ブロックと動き補償した適応参照画像との間の差を符号化するステップ（７２４）と、から成る、前記方法（７００）。
17. 符号化した差を復号化するステップと、
    復号化した差を、動き補償された適応参照画像に加算して、復号化した画像を形成するステップと、
    復号化した画像を画像バッファに記憶するステップと、を具える請求項１６記載の方法。
18. フィルタリングがビットストリーム・フィールドに応答し、相関関係のないノイズを減じるために、複数のフィルタのうちどのフィルタを適用すべきかを伝える、請求項１６記載の方法。
19. 処理するステップで、空間フィルタを適用する、請求項１６記載の方法。
20. 処理するステップで、時間フィルタを適用する、請求項１６記載の方法。
21. １つの参照画像に適用する送られたフィルタが、別の参照画像に適用する送られたフィルタと異なる、請求項１８記載の方法。
22. 適用するフィルタを示す信号を送り、各画像について、その参照画像がフィルタ処理されるかどうかを指定する、請求項１８記載の方法。
23. 適用するフィルタを示す信号を送り、すべての参照画像に同じフィルタを使用すべきかどうかを指定する、請求項１８記載の方法。
24. 適用するフィルタを示す信号を送り、異なるフィルタリング・パラメータで参照画像を再使用すべきかどうかを指定する、請求項１８記載の方法。
25. 相関関係のない信号が、フィルムの粒子を表示するＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ：補足的な付加情報）メッセージである、請求項１６記載の符号化方法。
26. 少なくとも１つの参照専用画像から予測して、出力画像を復号化するビデオ・デコーダ（４００）であって、
    画像フレーム・バッファ（４７４）と、
    画像フレーム・バッファに接続され、以前に復号化した少なくとも１つの画像から少なくとも１つの参照専用画像を発生する参照画像処理装置と、から成り、該少なくとも１つの参照専用画像は目に見える表示用画像である必要はない、ビデオ・デコーダ（４００）。
27. 参照画像処理装置が参照画像指標（インデックス）に応答し、複数のフィルタのうちどのフィルタを、以前復号化した少なくとも１つの画像に適用すべきかを伝える、請求項２６記載のビデオ・デコーダ
28. 参照画像処理装置が空間フィルタを具える、請求項２６記載のビデオ・デコーダ。
29. 参照画像処理装置が時間フィルタを具える、請求項２６記載のビデオ・デコーダ。
30. 参照画像処理装置が、動き補償された参照画像に応答する、請求項２６記載のビデオ・デコーダ。
31. 参照画像処理装置が複数の参照画像に応答する、請求項２６記載のビデオ・デコーダ。
32. 参照画像処理装置が少なくとも１つのループ・フィルタに応答する、請求項２６記載のビデオ・デコーダ。
33. 参照画像処理装置が少なくとも１つの重みづけ係数に応答する、請求項２６記載のビデオ・デコーダ。
34. 参照画像処理装置に接続されて、動き補償した参照専用の画像を供給する動き補償装置（４６０）を具える、請求項２６記載のビデオ・デコーダ。
35. 参照画像処理装置が、適用されたフィルタを表示する信号に応答する、請求項２６記載のビデオ・デコーダ。
36. 前記信号が、通常の参照画像とフィルタ処理済み参照画像の少なくとも１つを使用することを表示する、請求項３５記載のビデオ・デコーダ。
37. 参照画像処理装置に接続されて、相関関係のない画像データをシミュレートするシミュレーション装置（２７８）を具える、請求項２６記載のビデオ・デコーダ。
38. 参照画像処理装置が、動き投影機と画素投影機の少なくとも１つを具え、参照画像を処理する、請求項２６記載のビデオ・デコーダ。
39. 表示画像用のビデオ信号データを復号化する方法（８００）であって、
    参照専用の画像を受信するステップ（８１２）と、
    相関関係のない画像データを受信するステップ（８１４）と、
    参照専用画像を動き補償するステップ（８２０）と、
    動き補償した参照画像を相関関係のない画像データで再構成するステップ（８２２）と、
    再構成した画像を表示するステップ（８２４）と、から成る、復号化方法（８００）。
40. 相関関係のない画像データがフィルムの粒子を示す補足的な付加情報メッセージである、請求項３９記載の復号化方法。
41. 受信される参照画像が、時間フィルタと空間フィルタの少なくとも１つを使用して適応的に発生される、請求項３９記載の復号化する方法。

Images