JP2013517681A

JP2013517681A - 圧縮センシングを用いるビデオコーディング

Info

Publication number: JP2013517681A
Application number: JP2012548958A
Authority: JP
Inventors: ド，トン; リュ，シャオアン; ソーレ，ジョエル
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2010-01-15
Filing date: 2011-01-14
Publication date: 2013-05-16
Anticipated expiration: 2031-01-14
Also published as: CN102714730A; BR112012017145A2; US20120288003A1; CN105791830A; CN102714730B; KR20120115303A; EP2524506A1; JP5785955B2; KR101846467B1; WO2011087908A1; EP2524506B1; CN105791830B

Abstract

圧縮センシングを用いるビデオエンコーダとデコーダのための方法と装置を提供する。外符号化方法は、ピクチャ中の画像ブロックの測定値ベクトルを生成し、前記測定値ベクトルを符号化し、前記符号化された測定値ベクトルに応じた前記画像ブロックの信号希薄性を最小化して前記画像ブロックを再構成することにより、前記画像ブロックを符号化するステップを有し、前記測定値ベクトルは前記画像ブロックに関する変換係数を含む（９００）。対応する復号方法は、ピクチャの画像ブロックの測定値ベクトルを受け取り、前記測定値ベクトルを復号し、前記復号された測定値ベクトルに応じた前記画像ブロックの信号希薄性を最小化して前記画像ブロックを再構成することにより、前記画像ブロックを復号する復号し、前記測定値ベクトルは前記画像ブロックに関する変換係数を含む。

Description

本原理は概してビデオの符号化及び復号に関し、より具体的には圧縮センシングを用いるビデオエンコーダ及びデコーダの方法及び装置に関する。

［関連出願との相互参照］
この出願は、２０１０年１月１５日に出願した米国仮出願第６１／２９５，２５８号の利益を主張するものである。この文献はその全体をここに参照援用する。
［背景技術］
圧縮センシング（compressive sensing、compressive sampling、compressed sensingとも呼ぶ）は、信号が希薄な又は圧縮可能なことが事前に分かっている場合に信号を取得及び再構成する手法である。圧縮センシングの理論を用いると、ナイキストのサンプリングレートより非常に低いレートで信号をサンプリングできる。圧縮センシングは、データ圧縮、磁気共鳴映像法（ＭＲＩ）などのいろいろなアプリケーションに利用できる。文献では、圧縮センシングは、残差コーディングを改善するビデオ圧縮のフレームワークに組み込まれている。残差はあまり希薄でないことが多いので、改善には限界がある。

圧縮センシング（ＣＳ）フレームワークの概要
ｘを長さＮの信号であるとする。ある線形変換Ψ（例えば、離散余弦変換（ＤＣＴ）や離散ウェーブレット変換（ＤＷＴ））：

で、Ｋ＜＜Ｎ個の計数を用いてｘをよく近似できるとき、ｘはＫスパース（K-sparse又は圧縮可能）であると言う。ここで、Ψは希薄化変換（sparsifying
transform）であり、αは変換係数ベクトルであり、αのうちＫ個の計数のみが非ゼロである。図１を参照して、参照数字１００で希薄信号の表示を示した。表示１００は、長さＮの信号ｘと、希薄化変換Ψと、変換係数ベクトルαとを含む。

圧縮センシング理論によると、かかる信号は次の非コヒーレント線形予測

により取得できる。ここで、ｙはＭ個のエントリーを有する測定ベクトルであり、ΦはＭ×Ｎ非コヒーレントセンシング行列であり、Ｍ＜＜Ｎである。図２を参照して、参照数字２００で、圧縮センシングにおける測定取得方法を示した。方法２００は、長さＮの信号ｘと、Ｍ個のエントリーを有する測定ベクトルｙと、Ｍ×Ｎ非コヒーレントセンシング行列Φとを含む。

圧縮センシングフレームワークは、次の最適化問題

を解くことにより、ｘをＭ≧ｃＫｌｏｇＮ（ｃは小さい定数）個の測定値のみから正確に回復できるということを主張するものである。ここで、入力信号はｘ^＊＝Ψα^＊により近似できる。式（３）において、測定ベクトルｙとセンシング行列Φと希薄化行列Ψは既知である。しかし、信号ｘとその変換係数ベクトルαは未知である（求めねばならない）。この場合、αは最適化変数である。

＜外１＞

文献中最も使われている非コヒーレントセンシング行列Φは、ランダム予測又はランダム行列である。これは各エントリーが、独立かつ同じ分布をしたランダム変数を含む（例えば、各エントリーはガウス分布又はベルヌーイ分布を有する）。かかるランダム行列は、希薄化Ψと最適に非コヒーレントであり、そのため最適な性能を与えることが示せる。

式（３）の目的関数は他の希薄度（sparsity measures）で置き換えることもできる。例えば、画像（又は画像ブロック）などの２次元信号では、希薄度として全変動（ＴＶ）を用いることが一般的である。全変動は連続した画素間の差の関数である。全変動の一例は

である。これは、各画素における水平離散グラジエントＤｈと垂直離散グラジエントＤｖの大きさの和である。テクスチャがほとんど無い小さな画像ブロックの全変動は小さいことが多い。言い換えると、かかる画像ブロックはグラジエントドメインでは希薄であることが多い。

関連研究
第１の先行技術アプローチでは、ブロック残差のＤＣＴ変換係数のサブセットを符号化し、希薄信号回復アルゴリズムを用いて符号化された係数からブロック残差を回復するビデオコーデックが提案されている。希薄信号回復はＴＶ最小化により得られる。式（３）の最適化問題は

となる。ここで、ｘは残差データであり、すなわち元のデータから予測データを引いた結果である。基本的に、このアプローチは、観測データｙの制約の下に、再構成される残差のグラジエントを最小化しようとするものである。量子化プロセスが含まれるので、完全な再構成は原理的に不可能である（すなわち、ｙ＝Φｘの等号は制約のし過ぎである）。そのため、このアルゴリズムでは、次の問題

を解くことにより、ある誤差の範囲（式（６）のεで示す）を許容する。

このアプローチには以下に説明するように少数だが重大な欠点がある。上記の第１の先行技術アプローチのデコーダは、ＴＶ最小化ベースのアルゴリズムを用いてブロック残差を再構成する。このアプローチは、ブロック残差がグラジエントドメインで希薄であるとの前提でうまく機能する。しかし、ブロック残差は、ブロック予測後のグラジエントドメインでは希薄でないことが多く、この前提は空間的冗長性を利用した有向イントラ予測とは互換性が無い。

第１の先行技術アプローチでは、係数をトランケート（truncate）する前に、ブロック残差に対して１次元ＤＣＴ係数が計算される。このトランケーションすなわちサンプリングパターンは、ブロック残差のエネルギーを最適に捕捉せず、そのためエンコーダの符号化効率を低下させる。さらに、第１の先行技術アプローチで用いられる希薄回復アルゴリズムでは、符号化計数の量子化効果を完全には考慮していないため、再構成されるブロックの画質低下につながる。さらに、第１の先行技術アプローチの実装（implementation）では、準最適なｌ１最小化アルゴリズム（l１-minimization algorithm）を用いる。そのため、得られるエンコーダは実際のアプリケーションに用いるには遅すぎる。

図３を参照するに、参照数字３００で、ピクチャの画像データの符号化方法を示した。方法３００は、ループリミットブロック３２０に制御を渡す開始ブロック３１０を含む。ループリミットブロック３２０は、１からピクチャ中のブロックの数（＃）までの範囲を有する変数ｉを用いるループを開始し、機能ブロック３３０に制御を渡す。機能ブロック３３０は、イントラ予測／インター予測を行い、カレントブロックの予測を求め、機能ブロック３４０に制御を渡す。機能ブロック３４０は、（元のカレントブロックとカレントブロックの予測との間の差を表す）残差にＤＣＴ変換を適用し、その変換係数を求め、機能ブロック３５０に制御を渡す。機能ブロック３５０は、変換係数を量子化して、量子化変換係数を求め、機能ブロック３６０に制御を渡す。機能ブロック３６０は、量子化変換係数をエントロピー符号化して、機能ブロック３７０に制御を渡す。機能ブロック３７０は、量子化変換係数を逆量子化して、機能ブロック３８０に制御を渡す。機能ブロック３８０は、逆量子化された変換係数を（例えば、離散余弦変換（ＤＣＴ）を用いて）逆変換して、カレントブロックの再構成残差を求め、機能ブロック３９０に制御を渡す。機能ブロック３９０は、カレントブロックの再構成残差（reconstructed residue）をカレントブロックの予測に加えて、カレントブロックを再構成し、ループリミットブロック３９５に制御を渡す。機能ブロック３９５において、エンハンスメントレイヤ画像を描き、終了ブロック３９９に進む。

図４を参照するに、参照数字４００で、ピクチャの画像データの復号方法を示した。方法４００は、ループリミットブロック４２０に制御を渡す開始ブロック４１０を含む。ループリミットブロック４２０は、１からピクチャ中のブロックの数（＃）までの範囲を有する変数ｉを用いるループを開始し、関数ブロック４３０に制御を渡す。機能ブロック４３０は、エントロピー復号をして、量子化された変換係数と、イントラ／インター予測モードと、その他の情報とを求め、機能ブロック４４０に制御を渡す。機能ブロック４４０は、カレントブロックの量子化変換係数を逆量子化して、機能ブロック４５０に制御を渡す。機能ブロック４５０は、逆量子化された変換係数を（例えば、離散余弦変換（ＤＣＴ）を用いて）逆変換して、再構成残差を求め、機能ブロック４６０に制御を渡す。機能ブロック４６０は、カレントブロックの再構成残差をカレントブロックの予測に加えて、カレントブロックを再構成し、ループリミットブロック４７０に制御を渡す。機能ブロック４７０において、エンハンスメントレイヤ画像を描き、終了ブロック４９９に進む。

こうした先行技術の欠点や不利な点を、本原理は解消する。本原理は圧縮センシングを用いるビデオエンコーダ及びデコーダの方法及び装置に関する。

本原理の一態様によると、装置が提供される。該装置は、ピクチャ中の画像ブロックの測定値ベクトルを生成し、前記測定値ベクトルを符号化し、前記符号化された測定値ベクトルに応じた前記画像ブロックの信号希薄性を最小化して前記画像ブロックを再構成することにより、前記画像ブロックを符号化するビデオエンコーダを有する。前記測定値ベクトルは前記画像ブロックに関する変換係数を含む。

本原理の他の一態様によると、ビデオエンコーダにおける方法が提供される。該方法は、ピクチャ中の画像ブロックの測定値ベクトルを生成し、前記測定値ベクトルを符号化し、前記符号化された測定値ベクトルに応じた前記画像ブロックの信号希薄性を最小化して前記画像ブロックを再構成することにより、前記画像ブロックを符号化するステップを有する。前記測定値ベクトルは前記画像ブロックに関する変換係数を含む。

本原理の他の一態様によると、装置が提供される。該装置は、ピクチャの画像ブロックの測定値ベクトルを受け取り、前記測定値ベクトルを復号し、前記復号された測定値ベクトルに応じた前記画像ブロックの信号希薄性を最小化して前記画像ブロックを再構成することにより、前記画像ブロックを復号するビデオデコーダを有する。前記測定値ベクトルは前記画像ブロックに関する変換係数を含む。

本原理のさらに別の一態様によると、ビデオデコーダにおける方法が提供される。該方法は、ピクチャの画像ブロックの測定値ベクトルを受け取り、前記測定値ベクトルを復号し、前記復号された測定値ベクトルに応じた前記画像ブロックの信号希薄性を最小化して前記画像ブロックを再構成することにより、前記画像ブロックを復号するステップを有する。前記測定値ベクトルは前記画像ブロックに関する変換係数を含む。

本原理の上記その他の態様、特徴、及び有利性は、添付した図面を参照して読むと、実施形態の詳細な説明から明らかとなるであろう。

本原理は以下の図面を参照してよりよく理解することができる。
本原理を適用できる希薄信号の表現を示す図である。先行技術による圧縮センシングにおける測定値取得方法を示す図である。先行技術によるピクチャの画像データ符号化方法を示すフロー図である。先行技術によるピクチャの画像データ復号方法を示すフロー図である。本原理の一実施形態による、本原理を適用できるビデオエンコーダの一例を示すブロック図である。本原理の一実施形態による、本原理を適用できるビデオデコーダの一例を示すブロック図である。本原理の一実施形態による、ブロック再構成方法の一例を示すフロー図である。本原理の一実施形態による、重み付けファクタの適応的調整を含む、量子化ノイズ補正方法の一例を示すフロー図である。本原理の一実施形態による、ピクチャの画像データ符号化方法の一例を示すフロー図である。本原理の一実施形態による、ピクチャの画像データ復号方法の一例を示すフロー図である。

本原理は、圧縮センシングを用いるビデオエンコーダとビデオデコーダの方法と装置とに関する。

この説明は本原理を例示するものである。言うまでもなく、当業者は、ここには明示的に説明や図示はしていないが、本原理を化体し、その精神と範囲内に含まれる様々な構成を工夫することができる。

ここに記載したすべての例と条件付きの言葉は、発明者が技術発展に対してなした本原理とコンセプトとを、読者が理解しやすいようにするためのものであり、その解釈は具体的に記載した実施例や条件に限定されるべきではない。

さらに、本原理の原理、態様、実施形態、及びその実施例のすべての記載は、その構成的等価物及び機能的等価物の両方を含むものである。また、かかる等価物は、現在知られている等価物及び将来開発される等価物を含み、すなわち、構成にかかわらず同じ機能を発揮する開発されるすべての要素を含む。

よって、例えば、当業者には言うまでもなく、ここに説明したブロック図は本原理を化体する回路を概念的に示すものである。同様に、言うまでもなく、フローチャート、フロー図、状態遷移図、擬似コード等は、様々な方法（processes）を表し、これらの方法をコンピュータ読み取り可能媒体に実質的に表しても、（明示的に示していようがいまいが）コンピュータやプロセッサで実行してもよい。

図示した様々な要素の機能は、専用ハードウェアを用いても、ソフトウェアを実行可能なハードウェアと適当なソフトウェアとを組み合わせても提供できる。プロセッサを設けるとき、機能を単一の専用プロセッサで提供してもよいし、共有された単一のプロセッサで提供してもよいし、一部が共有された複数の個別プロセッサで提供してもよい。さらに、「プロセッサ」または「コントローラ」という用語を明示的に使用した場合、ソフトウェアを実行できるハードウェアのみをいうと解釈してはならず、限定はされないが、デジタルシグナルプロセッサ（ＤＳＰ）、ソフトウェアを記憶するＲＯＭ、ＲＡＭ、不揮発性記憶装置を黙示的に含んでもよい。

その他のハードウェアを従来のものでもカスタムのものであっても含んでもよい。同様に、図面に示したスイッチは概念的なものである。スイッチの機能は、プログラムロジックの動作、専用ロジックの動作、プログラム制御や専用ロジックのインターラクション、またはマニュアルで実行されてもよく、具体的な方法は実施者が文脈から判断して選択できる。

請求項において、特定の機能を実行する手段として表した要素は、その機能を実行するいかなる方法も含み、例えば、ａ）その機能を実行する回路要素の組合せと、ｂ）ファームウェアやマイクロコード等を含む任意の形式のソフトウェア及びそれと組み合わせたその機能を実行する適当な回路とを含む。請求項に記載した本原理は、記載した様々な手段が提供する機能を、請求項に記載したように組み合わせることにある。よって、これらの機能を提供できる手段はどれでも、ここに示したものと等化であると見なせる。

明細書において、本発明の「一実施形態」、またはそのバリエーションと言う場合、本発明の少なくとも１つの実施形態に含まれるその実施形態に関して説明する具体的な特徴、構造、特性などを意味する。それゆえ、本明細書を通していろいろなところに記載した「一実施形態において」またはそのバリエーションは、必ずしもすべてが同じ実施形態を参照するものではない。

言うまでもなく、例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ」、および「ＡとＢの少なくとも一方」のうちの「及び／又は」および「少なくとも一方」などと言うとき、第１のオプション（Ａ）のみを選択する場合、第２のオプション（Ｂ）のみを選択する場合、又は両方のオプション（ＡとＢ）を選択する場合を含むものとする。別の例として、例えば、「Ａ、Ｂ、及び／又はＣ」、および「Ａ、Ｂ、及びＣの少なくとも一方」などと言うとき、第１のオプション（Ａ）のみを選択する場合、第２のオプション（Ｂ）のみを選択する場合、第３のオプション（Ｃ）のみを選択する場合、第１と第２のオプション（ＡとＢ）のみを選択する場合、第２と第３のオプション（ＢとＣ）を選択する場合、第１と第３のオプション（ＡとＣ）を選択する場合、又は３つすべてのオプション（ＡとＢとＣ）を選択する場合を含むものとする。本技術分野及び関連技術分野の当業者には明らかなように、これは多数の場合にも拡張できる。

また、ここで、「ピクチャ（picture）」と「画像（image）」との用語は、交換可能に使い、静止画像とビデオシーケンスの画像とを言う。知られているように、ピクチャはフレーム又はフィールドであってもよい。

さらに、以下を付記する。ここで、「測定ベクトル」とは、変換係数のサブセットを言う。例えば、一実施形態では、次の式を使う。これは以下、式（４）である。すなわち、ｙ＝Ａ（ｘ）。ここで、ｙは測定ベクトルであり、Ａ（）は演算子であり、ｘは信号である。われわれの例では、演算Ａ（）において、変換係数はｘを変換することにより生成され、変換係数をジグザグの順序でスキャンし、第１の計数をサブセットとして選択する。この変換係数のサブセットを測定ベクトルと呼ぶベクトルに入れる。このように、ここでは、「画像ブロックに関する変換係数」とは、以下にもっと詳しく説明するように、画像ブロックに対して生成された測定ベクトルに関連して用いるとき、その画像ブロックの残差の変換係数のサブセット及び／又はその画像ブロックの予測に対する変換係数のサブセットを言う。残差に対する変換係数のサブセットと予測に対する変換係数のサブセットを組み合わせて、画像ブロックの測定ベクトルを求める（例えば、以下の式（９）を参照）。

一実施形態では、（１）残差係数Ａ（ｘ_ｒｅｓ）のサブセットと、（２）予測ブロック（Ｘ_ｐｒｅｄ）とが分かっている時に、画像ブロックｘをいかに再構成するかを説明する。直感的には、定数Ａ（ｘ）が受け取った情報に近くなければならないという制約の下で、すべての可能なｘの値にわたりループを回して、ｘの希薄性を最小化する値を見つける。定数Ａ（ｘ）はここで「推定された測定値」とも呼ぶ。受け取られる情報はｙ＝Ａ（ｘ_ｒｅｓ）＋Ａ（ｘ_ｐｒｅｄ）であり、ここで「再構成された測定値」とも呼ぶ。この問題は重み付けファクタμを用いて式（８）に定式化する。

図５を参照して、本原理を適用できるビデオエンコーダを参照数字５００で示した。ビデオエンコーダ５００は、コンバイナ５８５の非反転入力と信号通信している出力を有するフレーム順序付けバッファ５１０を含む。コンバイナ５８５の出力は変換器及び量子化器５２５の第１の入力と接続され信号通信している。変換器及び量子化器５２５の出力は、エントロピーコーダ５４５の第１の入力及び逆変換器及び逆量子化器５５０の第１の入力と接続され信号通信している。エントロピーコーダ５４５の出力は、コンバイナ５９０の第１の非反転入力と接続され信号通信している。コンバイナ５９０の出力は出力バッファ５３５の第１の入力と接続され信号通信している。

エンコーダコントローラ５０５の第１の出力は、フレーム順序付けバッファ５１０の第２の入力と、逆変換器及び逆量子化器５５０の第２の入力と、ピクチャタイプ決定モジュール５１５の入力と、マクロブロックタイプ（ＭＢタイプ）決定モジュール５２０の第１の入力と、イントラ予測モジュール５６０の第２の入力と、デブロッキングフィルタ５６５の第２の入力と、動き補償器５７０の第１の入力と、動き推定器５７５の第１の入力と、基準ピクチャバッファ５８０の第２の入力とに接続され、信号通信している。

エンコーダコントローラ５０５の第２の出力は、サプリメンタルエンハンスメント情報（ＳＥＩ）挿入器５３０の第１の入力と、変換器及び量子化器５２５の第２の入力と、エントロピーコーダ５４５の第２の入力と、出力バッファ５３５の第２の入力と、シーケンスパラメータセット（ＳＰＳ）及びピクチャパラメータセット（ＰＰＳ）挿入器５４０の入力とに接続され、信号通信している。

ＳＥＩ挿入器５３０の出力は、コンバイナ５９０の第２の非反転入力と接続され信号通信している。

ピクチャタイプ決定モジュール５１５の第１の出力は、フレーム順序付けバッファ５１０の第３の入力に接続され信号通信している。ピクチャタイプ決定モジュール５１５の第２の出力は、マクロブロックタイプ決定モジュール５２０の第２の入力に接続され信号通信している。

シーケンスパラメータセット（ＳＰＳ）及びピクチャパラメータセット（ＰＰＳ）挿入器５４０の出力は、コンバイナ５９０の第３の非反転入力と接続され信号通信している。

逆量子化及び逆変換器５５０の出力は、コンバイナ５１９の第１の非反転入力と接続され信号通信している。コンバイナ５１９の出力は、イントラ予測モジュール５６０の第１の入力と、及びデブロッキングフィルタ５６５の第１の入力と接続され、信号通信している。デブロッキングフィルタ５６５の出力は基準ピクチャバッファ５８０の第１の入力と接続され、信号通信している。基準ピクチャバッファ５８０の出力は、動き推定器５７５の第２の入力と、及び動き補償器５７０の第３の入力と接続され、信号通信している。動き推定器５７５の第１の出力は動き補償器５７０の第２の入力と接続され、信号通信している。動き推定器５７５の第２の出力はエントロピーコーダ５４５の第３の入力と接続され、信号通信している。

動き補償器５７０の出力はスイッチ５９７の第１の入力と接続され、信号通信している。イントラ予測モジュール５６０の出力はスイッチ５９７の第２の入力と接続され、信号通信している。マクロブロックタイプ決定モジュール５２０の出力はスイッチ５９７の第３の入力と接続され、信号通信している。スイッチ５９７の第３の入力は、スイッチの「データ」入力が、（制御入力すなわち第３の入力と比較して）動き補償器５７０から提供されるか、又はイントラ予測モジュール５６０から提供されるか、判断する。スイッチ５９７の出力は、コンバイナ５１９の第２の非反転入力と、及びコンバイナ５８５の反転入力と接続され、信号通信している。

フレーム順序付けバッファ５１０の第１の入力と、エンコーダコントローラ５０５の入力は、入力ピクチャを受け取る、エンコーダ５００の入力としても利用可能である。さらに、サプリメンタルエンハンスメント情報（ＳＥＩ）挿入器５３０の第２の入力は、メタデータを受け取る、エンコーダ５００の入力としても利用可能である。出力バッファ５３５の出力は、ビットストリームを出力する、エンコーダ５００の出力として利用できる。

図６を参照して、本原理を適用できるビデオデコーダの一例を参照数字６００で示した。ビデオデコーダ６００は入力バッファ６１０を含む。入力バッファ６１０の出力は、エントロピーデコーダ６４５の第１の入力と接続され、信号通信している。エントロピーデコーダ６４５の第１の出力は逆変換及び逆量子化器６５０の第１の入力と接続され、信号通信している。逆量子化及び逆変換器６５０の出力は、コンバイナ６２５の第２の非反転入力と接続され、信号通信している。コンバイナ６２５の出力は、デブロッキングフィルタ６６５の第２の入力と、及びイントラ予測モジュール６６０の第１の入力と接続され、信号通信している。デブロッキングフィルタ６６５の第２の出力は基準ピクチャバッファ６８０の第１の入力と接続され、信号通信している。基準ピクチャバッファ６８０の出力は動き補償器６７０の第２の入力と接続され、信号通信している。

エントロピーデコーダ６４５の第２の出力は、動き報償器６７０の第３の入力と、デブロッキングフィルタ６６５の第１の入力と、及びイントラ予測器６６０の第３の入力と接続され、信号通信している。エントロピーデコーダ６４５の第３の出力はデコーダコントローラ６０５の入力と接続され、信号通信している。デコーダコントローラ６０５の第１の出力はエントロピーデコーダ６４５の第２の入力と接続され、信号通信している。デコーダコントローラ６０５の第２の出力は逆変換及び逆量子化器６５０の第２の入力と接続され、信号通信している。デコーダコントローラ６０５の第３の出力はデブロッキングフィルタ６６５の第３の入力と接続され、信号通信している。デコーダコントローラ５０５の第４の出力はイントラ予測モジュール６６０の第２の入力と、動き補償器６７０の第１の入力と、基準ピクチャバッファ６８０の第２の入力と接続され、信号通信している。

動き補償器６７０の出力はスイッチ６９７の第１の入力と接続され、信号通信している。イントラ予測モジュール６６０の出力はスイッチ６９７の第２の入力と接続され、信号通信している。スイッチ６９７の出力は、コンバイナ６２５の第１の非反転入力と接続され、信号通信している。

入力バッファ６１０の入力は、入力ビットストリームを受け取る、デコーダ６００の入力として利用できる。デブロッキングフィルタ６６５の第１の出力は、出力ピクチャを出力する、デコーダ６００の出力として利用できる。

量子化ステップのため、最終的に再構成されるブロックには量子化ノイズがある。すなわち、我々は、現在の技術水準のビデオエンコーダ及びデコーダ（例えば、International Organization for Standardization/International
Electrotechnical Commission (ISO IEC) Moving Picture Experts Group-４ (MPEG-４) Part １０
Advanced Video Coding (AVC) Standard／International
Telecommunication Union, Telecommunication Sector (ITU-T) H.２６４ Recommendation（以下、「MPEG-４ AVC Standard」と呼ぶ）や、ISO/IEC MPEG-２ Standardなど）では、量子化パラメータが希薄になるとより大きな性能損失が生じることを認識した。かかる量子化ノイズは、ブロック残差の変換係数の量子化及び逆量子化により生じる。

本原理では、量子化ノイズの効果を緩和する方法と装置を提案する。一実施形態では、本原理により、量子化ノイズを緩和する非線形再構成法を提供する。提案の再構成は、部分的に、ノイズ除去方法とみなすことができる。また、本原理は、変換係数のサブセットのみを符号化してビットレートを低減する新しい圧縮センシングコーディング法も提供する。新しい非線形再構成法は、量子化ノイズを補償し、トランケート（truncate）された変換係数を回復するために利用できる。

我々が提案するアプローチは、先行技術の上記の限界の解決を試み、コーディング効率が高く実行が速いソリューションを提供するものである。

ここで、変換係数を符号化する新しい方法と、画像ブロックを回復する新しい再構成アルゴリズムとを提案する。我々が導入する新しいコーディングモード（すなわち、圧縮センシングモード又はＣＳモード）は、圧縮センシング理論に基づくものである。このモードでは、変換係数のサブセットのみを符号化し、希薄信号回復アルゴリズムを利用して符号化係数からブロックを回復する。エンコーダは既存のコーディングモードと提案のＣＳモードとを選択して、ブロック残差を符号化する。

ブロック残差を符号化する新規のＣＳコーディングモード
圧縮センシングフレームワークの通常のプラクティスに従えば、非コヒーレンスを保証するには、変換係数のランダムなサブセットの選択又はランダム予測が最適である。しかし、圧縮アプリケーションでは、このセンシング行列はよい性能は得られない。これは以下のように理解できる。圧縮センシングフレームワークの性能基準と画像圧縮の性能基準とはまったく異なる。前者は、再構成信号の品質に対する測定数（ＰＳＮＲ）であり、後者は再構成信号の品質に対するコーディングビット量である。留意点として、コーディングビット量は、符号化された測定の数だけでなく、その測定の統計的分布にも依存する。それゆえ、画像圧縮アプリケーションに対するよいセンシングオペレータは、非コヒーレントであり圧縮率の高い測定をしなければならない。ランダム予測では非コヒーレンスが高くなるが、その測定値はガウス分布しやすく、圧縮するのが困難である。このように、圧縮アプリケーションにとってランダム予測は非効率である。

我々は、ランダム予測を利用せず、ブロック残差の変換係数を全部は符号化しない。そのかわり、変換係数のサブセットのみを符号化し、残りの変換係数は無視することを提案する。一実施形態では、ジグザクの順番で変換係数をスキャンして、最初の係数をサブセットとして選択する。この変換係数のサブセットをブロック残差の測定ベクトルと呼ぶベクトルに入れる。測定値の取得は数学的に

で表せる。ここで、ｘ_ｒｅｓはブロック残差を示し、ｙ_ｒｅｓはブロック残差の変換係数のサブセットを含むベクトルを示し、Ａは（例えば、２次元ＤＣＴ変換や整数ＭＰＥＧ−４ＡＶＣ標準変換により）ブロック残差を変換してジグザグのスキャン順序で最初のエントリーのサブセットを選択する演算子を表す。

このセンシング演算子Ａは、（イ）ブロック残差のエネルギーを最大限捕捉し、（ロ）簡単に統合できるように、現在のＭＰＥＧ−４ＡＶＣ標準整数変換と調和する。我々が提案するセンシング方法では、非コヒーレンスと圧縮可能性との間のバランスがよくなり、圧縮性能が高くなる。

新規なブロック再構成方法
画像ブロックを再構成するため、ピクセルドメインにおけるＴＶ最小化ブロック再構成を用いる。これは量子化パラメータで適応的に調整できる。言うまでもなく、式（４）又は（５）に関する制約下での最適化は、

の無制約下の最適化と等価である。ここで、μはＴＶ重み付け係数と呼ばれることが多い実正数である。この無制約最適化アプローチを用いるのは、制約下でのものよりもずっと速く解けるからである。また、適応的ＴＶ重み付け係数μを用いて量子化ノイズを補償する。

（カレントブロックの）予測ブロックと、カレントブロックのブロックのブロック残差の測定値ベクトル（カレントブロックのブロック残差ｙ_ｒｅｓの測定値ベクトルはそのブロック残差ｙ_ｒｅｓの変換係数のサブセットを含む）とに基づき、カレントブロックのブロック再構成をする新規な方法を次に提案する。

ステップ１：予測ブロックの重要な変換係数のサブセットを含む、予測ブロックの測定値ベクトルを生成し、ｙ_ｐｒｅｄで示す：

ステップ２：（現）再構成ブロックの測定値ベクトルを、ブロック残差の測定値ベクトルを予測ブロックの測定値ベクトルに加えることにより生成する：

ステップ３：最終的な再構成ブロックの最適化問題

を解く。ここで、ｘ_ｒｅｃは最終的再構成ブロックであり、Ψはｘに対する演算子であり、μは重み付けファクタである。Ψはどんな演算子でもよいが、このアルゴリズムは、信号が希薄な空間にΨがマッピングするときに機能する。この点で、トータルバリエーション（ＴＶ）がよい例であるのは、ピクチャ中の多くのブロックはグラジエントドメインでは希薄だからである。最適化変数はｘである。

図７を参照して、参照数字７００でブロック再構成方法を示した。方法７００は、開始ブロック７１０を含み、開始ブロック７１０は機能ブロック７２０に制御を渡す。機能ブロック７２０は、予測ブロックの変換係数のサブセットである測定値ベクトルを生成し、制御を機能ブロック７３０に渡す。機能ブロック７３０は、予測ブロックの測定ベクトルを、ブロック残差の変換係数のサブセットである（逆量子化した）測定値ベクトルに加えることにより、再構成ブロックの測定値ベクトルを生成し、機能ブロック７４０に制御を渡す。機能ブロック７４０は、再構成ブロックの測定値ベクトルで目標関数を最小化して、終了ブロック７９９に制御を渡す。

ブロック残差ｙ_ｒｅｓの測定値ベクトルを量子化（し、再構成のために逆量子化）する時に量子化ノイズが生じる。この量子化ノイズを補正するため、図８に示したように、ファクタμを量子化ステップに対して適応的に調整する。図８を参照して、重み付けファクタの適応的調整を含む量子化ノイズ補正方法の一例を参照数字８００で示した。方法８００は、開始ブロック８１０を含み、開始ブロック７１０は機能ブロック８１５に制御を渡す。機能ブロック８１５は、信号の希薄性と測定誤差との、重み付けファクタμによる重み付け和として、最小化関数を定式化し、機能ブロック８２０に制御を渡す。測定誤差は再構成した測定値と推測した測定値との間の差を表す。機能ブロック８２０は、重み付けファクタμを量子化パラメータに適応するように設定し、機能ブロック８３０に制御を渡す。機能ブロック８３０は、適応的重み付けファクタμで目標関数を最小化して、終了ブロック８９９に制御を渡す。

新規なビデオ符号化とビデオ復号
本原理は、既存の（例えば、ＭＰＥＧ−４ＡＶＣ標準、ＭＰＥＧ−２標準などの）ビデオエンコーダとデコーダに対して、新しい圧縮センシングコーディングモードと新しいブロック再構成アルゴリズムとを組み込む。図５を参照して、本原理を適用できるビデオエンコーダを説明し、図６を参照して、本原理を適用できるビデオデコーダを説明する。

図９を参照するに、参照数字９００で、ピクチャの画像データの符号化方法を示した。方法９００は、有利にも、本原理による新規の圧縮センシングモードと新規のブロック再構成とを組み込んだものである。方法９００は、ループリミットブロック９１０に制御を渡す開始ブロック９０５を含む。ループリミットブロック９１０は、１からブロックの数（＃）までの範囲を有する変数ｉを用いるループを開始し、機能ブロック９１５に制御を渡す。機能ブロック９１５はイントラ／インター予測を行い、機能ブロック９２０に制御を渡す。機能ブロック９２０は、残差にＤＣＴ変換を適用して、変換係数を求め、機能ブロック９２５に制御を渡す。機能ブロック９２５は、係数トランケーションを行い、（変換係数のサブセットのみを残して）測定値ベクトルを求め、機能ブロック９３０に制御を渡す。機能ブロック９３０は、（トランケーションされた）変換係数を量子化して、機能ブロック９３５に制御を渡す。機能ブロック９３５は、量子化された変換係数をエントロピー符号化して、機能ブロック９４０に制御を渡す。機能ブロック９４０は、量子化された変換係数を逆量子化して、機能ブロック９４５に制御を渡す。機能ブロック９４５は、例えば、図７の方法７００を用いて、ブロック測定値の生成を行い、機能ブロック９５０に制御を渡す。機能ブロック９５０は、式（８）に記載した最適化問題を解いて、ＴＶ最小再構成ブロックを求め、機能ブロック９５５に制御を渡す。機能ブロック９５５は、レート歪み計算を行い、レート歪み値Ｊ１を求め、判断ブロック９９０に制御を渡す。判断ブロック９９０は、Ｊ１＜Ｊ２かどうか判断する。そうであれば、制御は機能ブロック９９２に渡される。そうでなければ、制御は機能ブロック９９４に渡される。機能ブロック９９２は、圧縮センシング（ＣＳ）コーディング法を選択し、ＣＳフラグ＝１を設定し、ループ制限ブロック９９６に制御を渡す。ループ制限ブロック９９６は、ループを終了し、終了ブロック９９９に制御を渡す。機能ブロック９６０は、変換係数を量子化して、機能ブロック９６５に制御を渡す。機能ブロック９６５は、量子化された変換係数をエントロピー符号化して、機能ブロック９７０に制御を渡す。機能ブロック９７０は、量子化された変換係数を逆量子化して、機能ブロック９７５に制御を渡す。機能ブロック９７５は、量子化された変換係数に逆離散余弦変換（ＩＤＣＴ）を適用して、再構成残差を求め、機能ブロック９８０に制御を渡す。機能ブロック９８０は、（機能ブロック９８０で求めた）再構成残差を（機能ブロック９１５で求めた）予測値に加えて、予測値で補正した再構成ブロックを求め、機能ブロック９８５に制御を渡す。機能ブロック９８５は、レート歪み補正を行い、レート歪み値Ｊ２を求め、判断ブロック９９０に制御を渡す。

図１０を参照するに、参照数字１０００で、ピクチャの画像データの復号方法を示した。方法１０００は、有利にも、本原理による新規の圧縮センシングモードと新規のブロック再構成とを組み込んだものである。方法１０００は、開始ブロック１００５を含み、開始ブロック１００５はループリミットブロック１０１０に制御を渡す。ループリミットブロック１０１０は、１からブロックの数（＃）までの範囲を有する変数ｉを用いるループを開始し、機能ブロック１０１５に制御を渡す。機能ブロック１０１５は、ビットストリームをエントロピー復号して、残差の量子化された変換係数と、イントラ／インター予測モードと、その他の情報とを求め、機能ブロック１０２０に制御を渡す。機能ブロック１０２０は、ＣＳフラグを読み、機能ブロック１０２５に制御を渡す。判断ブロック１０２５は、ＣＳフラグ＝１かどうか判断する。そうであれば、制御は機能ブロック１０３０に渡される。そうでなければ、制御は機能ブロック１０５０に渡される。機能ブロック１０３０は、量子化された変換係数を逆量子化して、残差の変換係数を求め、機能ブロック１０３５に制御を渡す。機能ブロック１０３５は、例えば、図７の方法７００を用いて、ブロック測定値の生成を行い、機能ブロック１０４０に制御を渡す。機能ブロック１０４０は、式（８）に記載した最適化問題を解いて、ＴＶ最小再構成ブロックを求め、機能ブロック１０４５に制御を渡す。ループ制限ブロック１０４５は、ループを終了し、終了ブロック１０９９に制御を渡す。機能ブロック１０５０は、残差の量子化された変換係数を逆量子化して、その変換係数を求め、機能ブロック１０５５に制御を渡す。機能ブロック１０５５は、残差の変換係数に逆変換（例えば、離散余弦変換（ＩＤＣＴ））を適用して、残差を再構成し、機能ブロック１０６０に制御を渡す。機能ブロック１０６０は、カレントブロックの再構成残差をカレントブロックの予測値に加えて、予測補正再構成ブロックを求め、ループリミットブロック１０４５に制御を渡す。

我々が提案するブロック再構成に対するアプローチは、上記の先行技術のアプローチのようにブロック残差を再構成するのではなく、画像／ピクセルドメインでブロックを再構成することを試みるものである。これは、自然画像ブロックはその残差よりもグラジエントが希薄である（gradient sparse）との我々の観察に基づく。よって、ピクセルドメインでＴＶ最小化を解くことにより、信号再構成の品質を高くすることができる。また、（イ）従来のアプローチにおける１次元ＤＣＴではなく、２次元ＤＣＴ変換（又は正数ＭＰＥＧ−４ＡＶＣ標準変換）を用い、（ロ）ジグザグスキャニング順に基づく異なるサンプリングパターンを用いる（すなわち、変換係数をジグザグスキャニング順にソートし、最初のエントリーを用いてサブセットを選択する）。我々の目標は、符号化係数の数を一定にしつつ、より多くのブロック残差エネルギーをキャプチャすることである。信号を再構成するため、より高速で効率的なＴＶ最小化アルゴリズムを用いてブロック再構成をスピードアップする。また、ブロック再構成をノイズ除去プロセス（de-noising process）とみなす。このように、量子化ノイズを補償するため、式（７）のファクタμを、量子化ステップサイズや量子化パラメータに対して適応的に調整する。

エンコーダは、レート歪み（ＲＤ）最適化に基づき、ブロック残差を、既存のコーディングモードを用いて符号化するか、圧縮センシングコーディングモードを用いて符号化するか決定する。各ブロックについて、エンコーダが圧縮センシングモードを用いるかどうか示すフラグがデコーダに送られる。デコーダは、エンコーダで選択されたコーディングモードの情報をえるためＣＳフラグを読み、適切な再構成アルゴリズムを実行する。

ここで、本発明に付随する多くの利点／特徴を説明する。一部はすでに上記したことである。例えば、一利点／特徴は、装置が、ピクチャ中の画像ブロックの測定値ベクトルを生成し、前記測定値ベクトルを符号化し、前記符号化された測定値ベクトルに応じた前記画像ブロックの信号希薄性を最小化して前記画像ブロックを再構成することにより、前記画像ブロックを符号化するビデオエンコーダを有し、前記測定値ベクトルは前記画像ブロックに関する変換係数を含むことである。

他の一利点／特徴は、上記のビデオエンコーダを有する装置において、前記測定値ベクトルは前記画像ブロック対して決まる残差に応じて決まり、前記残差は前記画像ブロックの元のものと前記画像ブロックの予測との間の差を表すことである。

さらに他の一利点／特徴は、上記ビデオエンコーダを有する装置において、前記測定値ベクトルは前記画像ブロック対して決まる残差に応じて決まり、前記残差は前記画像ブロックの元のものと前記画像ブロックの予測との間の差を表し、前記測定値ベクトルは、前記残差の変換係数のサブセットを含むことである。

他の一利点／特徴は、上記のビデオエンコーダを有する装置において、前記測定ベクトルが量子化とエントロピー符号化とを用いて符号化されていることである。

さらに、他の一利点／特徴は、上記のビデオエンコーダを有する装置において、前記信号の希薄性は画像ドメインで決定されることである。

さらに他の一利点／特徴は、上記ビデオエンコーダを有する装置において、上記の通り、前記信号の希薄性は画像ドメインで決定される、前記信号の希薄性はトータルバリエーションで測定され、前記トータルバリエーションは前記画像ブロック中の連続するピクセル間の差の関数であることである。

さらに、他の一利点／特徴は、上記のビデオエンコーダを有する装置において、前記画像ブロックの信号の希薄性は、信号希薄性と測定誤差の重み付け和として定式化される最小化関数を用いて最小化され、前記測定誤差は前記画像ブロックの再構成された測定値と推定された測定値との間の差を表すことである。

本原理の上記その他の特徴と利点は、当業者はここに開示した教示に基づき容易に確認できるであろう。言うまでもなく、本原理の教示は、ハードウェア、ソフトウェア、ファームウェア、特殊用途プロセッサ、またはこれらの組み合わせなどのいろいろな形体で実施することができる。

最も好ましくは、本原理の教示をハードウェアとソフトウェアの組合せとして実施する。また、ソフトウェアはプログラム記録装置に実態的に化体されたアプリケーションプログラムとして実施してもよい。そのアプリケーションプログラムは、好適なアーキテクチャを有する機械にアップロードされ、実行される。好ましくは、機械は、中央処理装置（ＣＰＵ）、ランダムアクセスメモリ（ＲＡＭ）、及び入出力（Ｉ／Ｏ）インターフェイス等のハードウェアを有するコンピュータプラットフォームで実施される。コンピュータプラットフォームはオペレーティングシステムとマイクロコードも含んでもよい。ここに説明した様々なプロセスや機能は、ＣＰＵが実行できる、マイクロ命令コードの一部やアプリケーションプログラムの一部であってもよく、これらのいかなる組合せであってもよい。また、追加的データ記憶装置や印刷装置等その他の様々な周辺装置をコンピュータプラットフォームに接続してもよい。

さらに言うまでもなく、添付した図面に示したシステム構成要素や方法の一部はソフトウェアで実施されることが好ましいが、システム構成要素（または方法）間の実際的な結合は本原理をプログラムするそのプログラム方法に応じて異なる。ここに開示された本発明の教示を受けて、関連技術分野の当業者は、本原理の同様な実施形態や構成を考えることができるであろう。

例示した実施形態を添付した図面を参照して説明したが、言うまでもなく、本原理はこれらの実施形態には限定されず、当業者は、本原理の範囲と精神から逸脱することなく、様々な変化と修正を施すことができるであろう。かかる変更や修正はすべて添付した請求項に記載した本原理の範囲内に含まれるものである。

Claims

ピクチャ中の画像ブロックの測定値ベクトルを生成し、前記測定値ベクトルを符号化し、前記符号化された測定値ベクトルに応じた前記画像ブロックの信号希薄性を最小化して前記画像ブロックを再構成することにより、前記画像ブロックを符号化するビデオエンコーダを有し、前記測定値ベクトルは前記画像ブロックに関する変換係数を含む、装置。
前記測定値ベクトルは前記画像ブロック対して決まる残差に応じて決まり、前記残差は前記画像ブロックの元のものと前記画像ブロックの予測との間の差を表す、請求項１に記載の装置。
前記測定値ベクトルは、前記残差の変換係数のサブセットを含む、請求項２に記載の装置。
前記測定ベクトルが量子化とエントロピー符号化とを用いて符号化されている、請求項１に記載の装置。
前記信号の希薄性は画像ドメインで決定される、請求項１に記載の装置。
前記信号の希薄性はトータルバリエーションで測定され、前記トータルバリエーションは前記画像ブロック中の連続するピクセル間の差の関数である、請求項５に記載の装置。
前記画像ブロックの信号の希薄性は、信号希薄性と測定誤差の重み付け和として定式化される最小化関数を用いて最小化され、前記測定誤差は前記画像ブロックの再構成された測定値と推定された測定値との間の差を表す、請求項１に記載の装置。
ビデオエンコーダにおいて、
ピクチャ中の画像ブロックの測定値ベクトルを生成し、前記測定値ベクトルを符号化し、前記符号化された測定値ベクトルに応じた前記画像ブロックの信号希薄性を最小化して前記画像ブロックを再構成することにより、前記画像ブロックを符号化するステップを有し、前記測定値ベクトルは前記画像ブロックに関する変換係数を含む、方法。
前記測定値ベクトルは前記画像ブロック対して決まる残差に応じて決まり、前記残差は前記画像ブロックの元のものと前記画像ブロックの予測との間の差を表す、請求項８に記載の方法。
前記測定値ベクトルは、前記残差の変換係数のサブセットを含む、請求項９に記載の方法。
前記測定ベクトルが量子化とエントロピー符号化とを用いて符号化されている、請求項８に記載の方法。
前記信号の希薄性は画像ドメインで決定される、請求項８に記載の方法。
前記信号の希薄性はトータルバリエーションで測定され、前記トータルバリエーションは前記画像ブロック中の連続するピクセル間の差の関数である、請求項１２に記載の方法。
前記画像ブロックの信号の希薄性は、信号希薄性と測定誤差の重み付け和として定式化される最小化関数を用いて最小化され、前記測定誤差は前記画像ブロックの再構成された測定値と推定された測定値との間の差を表す、請求項８に記載の方法。
前記方法はコーディングモードとして実装され、前記コーディングモードを選択するかどうかはフラグを用いてシグナリングされる、請求項１に記載の方法。
前記コーディングモードはレート歪みに基づく、請求項１５に記載の方法。
ピクチャの画像ブロックの測定値ベクトルを受け取り、前記測定値ベクトルを復号し、前記復号された測定値ベクトルに応じた前記画像ブロックの信号希薄性を最小化して前記画像ブロックを再構成することにより、前記画像ブロックを復号するビデオデコーダを有し、前記測定値ベクトルは前記画像ブロックに関する変換係数を含む、装置。
前記測定値ベクトルは前記画像ブロック対して決まる残差に応じて決まり、前記残差は前記画像ブロックの元のものと前記画像ブロックの予測との間の差を表す、請求項１７に記載の装置。
前記測定値ベクトルは、前記残差の変換係数のサブセットを含む、請求項１８に記載の装置。
前記測定ベクトルが量子化とエントロピー符号化とを用いて符号化されている、請求項１７に記載の装置。
前記信号の希薄性は画像ドメインで決定される、請求項１７に記載の装置。
前記画像ブロックの信号の希薄性は、信号希薄性と測定誤差の重み付け和として定式化される最小化関数を用いて最小化され、前記測定誤差は前記画像ブロックの再構成された測定値と推定された測定値との間の差を表す、請求項１７に記載の装置。
ビデオデコーダにおいて、
ピクチャの画像ブロックの測定値ベクトルを受け取り、前記測定値ベクトルを復号し、前記復号された測定値ベクトルに応じた前記画像ブロックの信号希薄性を最小化して前記画像ブロックを再構成することにより、前記画像ブロックを復号するステップを有し、前記測定値ベクトルは前記画像ブロックに関する変換係数を含む、方法。
前記測定値ベクトルは前記画像ブロック対して決まる残差に応じて決まり、前記残差は前記画像ブロックの元のものと前記画像ブロックの予測との間の差を表す、請求項２３に記載の方法。
前記測定値ベクトルは、前記残差の変換係数のサブセットを含む、請求項２４に記載の方法。
前記測定ベクトルが量子化とエントロピー符号化とを用いて符号化されている、請求項２３に記載の方法。
前記信号の希薄性は画像ドメインで決定される、請求項２３に記載の方法。
前記画像ブロックの信号の希薄性は、信号希薄性と測定誤差の重み付け和として定式化される最小化関数を用いて最小化され、前記測定誤差は前記画像ブロックの再構成された測定値と推定された測定値との間の差を表す、請求項２３に記載の方法。
ビデオ信号データがエンコードされたコンピュータ読み取り可能記憶媒体であって、
ピクチャ中の画像ブロックの測定値ベクトルを生成し、前記測定値ベクトルを符号化し、前記符号化された測定値ベクトルに応じた前記画像ブロックの信号希薄性を最小化して前記画像ブロックを再構成することにより、符号化された前記画像ブロックを有し、前記測定値ベクトルは前記画像ブロックに関する変換係数を含む、コンピュータ読み取り可能記憶媒体。