JP2011528874A - 関連する視覚的ディテールの選択的維持を使用する高効率の映像圧縮のためのシステム及び方法 - Google Patents

Abstract

視覚的に認識できない又は関連しないディテールを表示するデータの選択的除去によってブロックアーチファクトの生成を防止して圧縮効率を向上させるようにデジタル映像信号を圧縮するためのシステム及び方法を提供する。許容帯域幅限界を超えるデータの優先的除去によって帯域幅制御が向上する。これは、結合したコンプレッサとデコンプレッサシステムが高知覚品質の解凍映像を低ビットレートで送信又は記憶可能にする処理を提供する。一実施形態において、低周波数成分は、ビデオストリームから除去されて、ビデオストリームの高周波数成分の記憶又は送信とは別に圧縮フォーマットで記憶又は送信される。ある高周波数ビデオストリームディテールは、ビットレートを更に削減するために抑制可能である。

Description

本開示は、デジタル映像信号に関し、より具体的には、所与の知覚品質を得られる解凍映像のビットレートを大幅に節約できる人間の視覚システム（ＨＶＳ）の特徴を利用することによって、圧縮デジタル映像信号の品質を向上させるためのシステム及び方法に関する。

映像信号が、テキスト情報または音声信号の表現に必要なデジタルデータの量と比べて、大量のデジタルデータによって表されることは周知である。それ故、デジタル映像信号は、高ビットレートで送信される場合および特にこれらのビットレートが映像表示デバイスで求められるリアルタイムデジタル映像信号に対応しなければならない場合に、相対的に広帯域を占める。

特に、ケーブルやファイバ等の通信チャネルを介する、大量の個別映像信号の同時送受信は、様々な通信チャネルにおける利用可能な帯域を共有する方法でこれらの映像信号を周波数分割多重化または時分割多重化することによって行われることが多い。

デジタル映像データは、通常、音声およびその他のデータと共に、国際的に合意されたフォーマット規格（例えば、ＭＰＥＧ２，ＭＰＥＧ４，Ｈ２６４）に従ってフォーマットされたメディアファイルに埋め込まれる。そのようなファイルは、通常、インターネットを通じて配信または多重化され、コンピュータ、携帯電話、デジタルビデオレコーダのデジタルメモリ内およびコンパクトディスク（ＣＤ）およびデジタルビデオディスク（ＤＶＤ）上に夫々記憶される。これらのデバイスの多くは、物理的に且つ識別不能に併合して単一のデバイスになっている。

フォーマットされたメディアファイルを作成する過程では、ファイルデータは、それらの表示に必要なデジタルデータ量を減少させるために、様々なレベルおよび方式のデジタル圧縮を受け、それによって、多数のその他の映像ファイルと共に多重化される場合にそれらの正確な同時送信に必要な帯域だけでなく、必要なメモリストレージを減少させる。

インターネットは、映像データの配信の特に複雑な例を提供するが、そこでは、中央サーバからエンドユーザへのダウンロード送信中に、多様な方法および多様なチャネル（即ち、経路）を介して映像ファイルが多重化される。しかし、ほぼ全ての場合に、所与の元のデジタル映像ソースおよびエンドユーザが受信して表示する映像の所与の品質にとって、結果得られる映像ファイルが最小限のサイズに圧縮されることが望ましい。

フォーマットされた映像ファイルは、完全にデジタル化された映画を表示することができる。映画ファイルは、即時に表示してリアルタイムで視聴するため、またはデジタルビデオレコーダ等のエンドユーザ記録デバイスに記憶し、後にリアルタイムで視聴するために「オンデマンド」でダウンロードされてもよい。

従って、これらの映像ファイルの映像コンポーネントの圧縮は、送信上、帯域を節約するだけでなく、そのような映画ファイルを記憶するのに必要なメモリ全体を減少させる。

上記の通信チャネルの受信機端では、通常、単一ユーザ計算記憶デバイスが採用される。そのような単一ユーザデバイスの現在典型的な例は、パーソナルコンピュータおよびデジタルセットトップボックスであり、それらのいずれかまたは両方は、通常、エンドユーザの映像表示デバイス（例えば、テレビ）に出力接続され、且つ、直接的または間接的に、通信回線に接続された銅配線ケーブル線（即ち、ケーブルテレビ）に入力接続される。通常、このケーブルは、何百個もの多重化されたデジタル映像信号を同時に伝達し、ローカルの映像プログラム配信事業者からの地上波映像信号を伝達する光ファイバーケーブルに入力接続されることが多い。エンドユーザの衛星放送受信アンテナも放送映像信号の受信に使用される。エンドユーザが地上波ケーブルを介して配信される映像信号を採用しようと衛星を介して配信される映像信号を採用しようと、通常、エンドユーザデジタルセットトップボックスまたはそれらに相当するものを使用して、デジタル映像信号を受信し、視聴すべき特定の映像信号（即ち、いわゆるテレビチャンネルまたはテレビプログラム）を選択する。これらの送信されたデジタル映像信号は、圧縮されたデジタルフォーマットであることが多く、従ってエンドユーザによって受信後にリアルタイムで解凍されるはずである。

映像圧縮の多くの方法は、元の非圧縮映像信号のデジタル近似値のみを保持することによってデジタル映像データ量を減少させる。その結果、圧縮前の元の映像信号と解凍された映像信号の間には測定可能な差が存在する。この差は映像歪として定義される。映像圧縮の所与の方法では、圧縮された映像データのデータ量がこれらの方法に対して異なるパラメータを選択することによって減少するにつれて、映像歪の程度は大抵大きくなる。即ち、映像歪は、圧縮のレベルが増加するにつれて増加する傾向がある。

映像圧縮のレベルが増加するにつれて、映像歪は最終的にＨＶＳに視認可能になり、最終的にこの歪みは選ばれた表示デバイス上でリアルタイム映像の典型的な視聴者にとって視覚上不快になる。映像歪は、いわゆる映像アーチファクトとして観察される。映像アーチファクトは、元の非圧縮映像のシーンに属さないものとしてＨＶＳによって解釈される、観察された映像コンテンツである。

圧縮中または圧縮後に、圧縮された映像から視覚上不快なアーチファクトを大幅に減衰する方法が存在する。これらの方法のほとんどは、ブロックベースの二次元（２Ｄ）離散コサイン変換（ＤＣＴ）を採用する圧縮方法またはそれに近似するものにのみ適用する。以下において、本発明者らはこれらの方法をＤＣＴベースと呼ぶ。このような場合、とりわけ視覚上不快なアーチファクトは、表示された映像のシーンにおけるアーチファクトブロックの出現である。

通常、これらのブロックを検索することによってまたはこれらのブロックが映像の各フレームの何処に位置しているかというアプリオリな知識を要求することによって、アーチファクトブロックを減衰する方法が存在する。

視覚上不快なアーチファクトの出現を減衰するという問題は、映像データが恐らく２回以上事前に圧縮および解凍されている、または映像データが事前にサイズ変更、再フォーマットまたは再混色されているというよくある場合に、特に難しい。例えば、映像データは、ＮＴＳＣからＰＡＬフォーマットに再フォーマットされていたり、ＲＧＢからＹＣｒＣｂフォーマットに変換されていたりする可能性がある。そのような場合、アーチファクトブロックの位置のアプリオリ知識はほぼ確実に不明であるため、この知識に依存する方法は機能しない。

映像アーチファクトの出現を減衰する方法は、圧縮された映像データの表示に必要な全データ量を大きく増加させてはならない。この制約が主要な設計課題である。例えば、表示された映像の各フレームにおける各ピクセルの三原色の各々は通常８ビットで表され、従って１カラーピクセルあたり２４ビットになる。例えば、視覚上不快なアーチファクトが明確に認識できる圧縮の限界にまで達したとすると、Ｈ２６４（ＤＣＴベース）映像圧縮規格では、最低で１ピクセルあたり約１／４０ビットに相当する映像データの圧縮が可能である。従って、これは４０×２４＝９６０よりも優れた平均圧縮比に相当する。そのため、この圧縮比において、映像アーチファクトを減衰するいずれの方法も、１ピクセルあたり１／４０ビットに対して僅かなビット数を追加しなければならない。圧縮比が高過ぎて１ピクセルあたりの平均ビット数が概して１／４０ビット未満である場合にはブロックアーチファクトの出現を減衰する方法が必要である。

ＤＣＴベースおよびその他のブロックベース圧縮方法に関して、最も重大な視覚上不快なアーチファクトは、典型的には時間、サイズおよび方位によって映像シーンの局所的な時空間特性に依存する方法により変化する小さな矩形ブロックの形状である。特に、アーチファクトブロックの性質は、映像シーンにおけるオブジェクトの局所運動に依存し、これらのオブジェクトが含む空間的ディテール量に依存する。特定の映像に関して圧縮率が増加するにつれて、ＭＰＥＧベースＤＣＴベースビデオエンコーダは、各ブロック内のピクセルの輝度を表す、いわゆる量子化された基底関数に徐々に少ないビットを割当てる。各ブロックに割当てられるビット数は、ＨＶＳに関する幅広い心理視覚知識に基づいて決まる。例えば、ビデオオブジェクトの形状およびエッジならびにそれらの運動の平滑な時間軌跡は、心理視覚的に重要であり、従ってビットは、全てのＭＰＥＧ ＤＣＴベースの方法と同様に、それらの忠実度を確保するように割当てられなければならない。

圧縮のレベルが増加するにつれ、上記忠実度を保持するという目的において、圧縮方法（いわゆるエンコーダにおける）は、最終的に、各ブロックに一定の（または一定に近い）輝度を割当てるが、通常、最も視覚上不快なのがこのブロックアーチファクトである。ブロックアーチファクトの相対的均一輝度が、それらの直近のブロックの相対的均一輝度より３％超大きい場合、これらのブロックを含む空間領域は視覚上不快であると推測される。ブロックベースＤＣＴ型方法を使用して大きく圧縮されている映像シーンにおいては、多くのフレームの大領域がそのようなブロックアーチファクトを含む。

ブロックアーチファクトの生成を最小にする、更にはブロックアーチファクトの生成を防止できる、且つ視覚的に認識できない又は関連しないディテールを表現するデータの選択的除去を使って圧縮効率を向上させる方法によってデジタル映像信号を圧縮するシステム及び方法を提供する。帯域幅制御は許容帯域幅限界を超えるデータの優先的除去により向上される。結合したコンプレッサとデコンプレッサシステムが高知覚品質の解凍映像を低ビットレートで送信又は保存可能にする処理を提供する。

一実施形態において、「伝送」ビデオストリームの送信に必要な帯域幅を減少するために、本明細書に記載の概念と組み合わせて、「ブロックアーチファクトを平滑化することによって圧縮された映像信号の品質を向上させるシステム及び方法（ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＩＭＰＲＯＶＩＮＧ ＴＨＥ ＱＵＡＬＩＴＹ ＯＦ ＣＯＭＰＲＥＳＳＥＤ ＶＩＤＥＯ ＳＩＧＮＡＬＳ ＢＹ ＳＭＯＯＴＨＩＮＧ ＢＬＯＣＫ ＡＲＴＩＦＡＣＴＳ）」及び「フレーム全体を平滑化して保存されたディテールをオーバーレイすることによって圧縮された映像信号の品質を向上させるシステム及び方法（ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＩＭＰＲＯＶＩＮＧ ＴＨＥ ＱＵＡＬＩＴＹ ＯＦ ＣＯＭＰＲＥＳＳＥＤ ＶＩＤＥＯ ＳＩＧＮＡＬＳ ＢＹ ＳＭＯＯＴＨＩＮＧ ＴＨＥ ＥＮＴＩＲＥ ＦＲＡＭＥ ＡＮＤ ＯＶＥＲＬＡＹＩＮＧ ＰＲＥＳＥＲＶＥＤ ＤＥＴＡＩＬ）」という題名の上記に特定された同時係属特許出願に記載の概念を使用してもよい。本明細書に記述される圧縮／解凍処理は、所与の知覚品質を得られる解凍映像のビットレートを大幅に節約できるＨＶＳの特徴を利用する。

一つの重要な見解は、ＨＶＳが、オブジェクトの全体的な構造及び運動は比較的に速く知覚するが、ディテールに「注目する」のはもっと遅いということである。例えば、野球のバッターは、ピッチャーとボールの動きを素早く知覚し、適切な反応を起こして、かなりの確実性をもってボールを打つことができるが、ボールが移動し飛行中に回転している時に、ボールの縫い糸や擦り傷のディテールをほとんど、あるいは全く知覚していない。一方、もしそのボールがバッターから数フィート離れて静止して置かれていれば、彼／彼女はそれらディテールを知覚してかなり正確に表現することができるだろう。高速回転しているボールの縫い糸等の認識できないディテールの出現を抑制するこのＨＶＳの特性を利用することで、圧縮された映像の表現における帯域幅を消費しないようにする。

上述した応答速度の特性に加え、その他のＨＶＳの特性を利用して圧縮効率を上げてもよい。所与の帯域幅に関し、知覚されたビデオの品質を映像シーケンスにおける「最も関連する」ディテールの送信を優先することによって最適化してもよい。従って、例えば、静止している又は速度の遅いディテールは、一般に、高速のディテールよりも優先度が高い。同様に、ほとんどの種類の映像で、視聴者にとって映像の中心付近のディテールが画像周囲のディテールよりも更に「関連」がある。従って、帯域幅を、中心のディテールが周囲ディテールよりもより高い忠実性で伝達されるように利用してよい。

また、ＨＶＳは、人間の顔の特徴等の特定の画像成分に対して非常に敏感な傾向にある。顔認識能力を組み込んでいるほど高性能なエンコードシステムであれば、そのような認識領域が高い忠実性で提示されるように優先させることができる。

本明細書に記載の概念によって扱われる更なるＨＶＳの特性は、上記に示した出願に記述された非ブロック化方法によって扱われている特性、つまり、ＨＶＳが画像の他の平滑な領域にあるくっきりとしていて幾何学的に拡張したアーチファクトに非常に敏感であるという事実に類似している。具体的に、本方法は非常に低い帯域幅のシナリオでも画像の滑らかな出現を維持するように組み立てられる。これは、低帯域幅のシナリオにおいて全く好ましくないブロックアーチファクトを生成する傾向にある従来のＤＣＴブロックベースの方法とは対照的である。

ウェーブレット法とは対照的に、この方法は、一つには、ハイモーションシーンの良好な圧縮を達成するために選択的にディテールを抑制し、生産的に動き推定及び補償を使用する能力によって、より低い帯域幅を達成する。

上記では、以下の本発明の詳細な記述がより良く理解されるように、本発明の特徴および技術的利点をやや広範に概説している。本発明の更なる特徴および利点が以下に記述され、本発明の特許請求の主題を形成する。開示される概念および具体的な実施形態が、本発明と同一の目的を遂行するその他の構造を改良または設計する基礎として容易に利用可能であることは、当業者には理解されるはずである。また、そのような等価の構造物は、添付の特許請求の範囲に明記された発明の趣旨および範囲から逸脱するものでないことも、当業者には理解されるべきである。本発明の特徴と考えられる新規の特徴は、その構成および動作方法の両者について、更なる目的および利点と共に、添付の図面と関連して考察される以下の記述からより良く理解されるだろう。しかしながら、各図面は、図示および説明のみの目的で提供されており、本発明の限界を定義するものとしては意図されないことが明示的に理解される。

本発明のより完全な理解のために、添付の図面とともに以下の記述を参照する。

本明細書に記載の概念に従って映像フレームをエンコードするための方法の一実施形態を示す図である。 本明細書に記載の概念に従って映像フレームをデコードするための方法の一実施形態を示す図である。 本明細書に記載のエンコーダ及びデコーダの概念が有益に採用され得るシステムの一実施形態を示す図である。

図１は、本明細書に記載の概念に従って映像フレームをエンコード／圧縮するための方法の一実施形態１０を示す。この方法は、一例として、図３に示すシステム３０において使用できる。方法１０及び２０は、例えば、それぞれプロセッサ３２−１、３４−１で作動するソフトウェアであり得る。前記方法は、必要に応じて、ファームウェア又はＡＳＩＣでも可能である。

図１は、圧縮処理の実施形態を例示し、その圧縮処置は上述の利点を実現し、且つ低帯域幅シナリオにおいて満足な画像品質を維持しつつ所与の知覚品質に対して超低ビットレートを使用することを含む効果的な映像送信又は記憶システムという重要な目標を達成する圧縮処理の実施形態を例示する。このシステムは、好ましくない又は邪魔なアーチファクトを最小限にした、ハイモーション、定まらない動き、又は無秩序な映像等の「難しい」シーンをロバストに扱いながら、圧縮されたビデオストリームのビットレートの正確なシングルパス制御を支援する能力を有する。圧縮／エンコード処理の出力は、一対のビデオストリーム１０２及び１０３であり、それぞれ「キャリアＣ」及び「ディテールＤ」ストリームと表記する。これらのストリームは、本明細書に記載のような概念に従って映像フレームをデコードするための方法の一実施形態を示す図２におけるデコーダ／デコンプレッサ処理２０に伝達される。以下に記載されるように、処理２０は、図１の圧縮処理に対して補完的な解凍処理を例示し、この解凍処理は高度に圧縮されたエンコードされた映像の特性に関連する歪み又はアーチファクトの知覚可能な出現を同時に最小限にしながら映像をデコード及び再構成する。

図１を参照すると、処理１１は、「キャリアストリームＣ」１０２を生成するために、入力ビデオストリームの低周波数空間成分を抽出、圧縮及びエンコードする。この伝送ストリームの低空間帯域幅は、この伝送ストリームが限られた情報内容を有し、故に高度に圧縮可能であることを示唆している。維持された空間帯域幅は、キャリアストリームが、解凍された時に、ブロックアーチファクトを確実に防ぐよう十分に低くなければならない。維持された空間帯域幅は、キャリアストリームが、解凍された時に、元のビデオストリームの視覚的に満足できる低ディテール表示を確実に提供するよう十分に高くなければならない。

上述の低周波数成分の抽出及びその後の圧縮／エンコードは、数々の周知の方法のいずれにおいても達成可能である。方法の一例は、周波数ドメインダウンサンプリングを行い、効率的圧縮／エンコードのための低ディテールストリームを生じることである。適切な周波数ドメインダウンサンプリング処理の一例は、ソース映像の８×８ブロックにＤＣＴ（離散コサイン変換）を行い、その結果生じる係数の左上の２×２ブロック以外を捨て、この２×２部分集合の右、下、及び右下の係数をダウンスケーリングして高周波数情報を僅かに減少させ、結果として生じる２×２ブロックに逆ＤＣＴを行って従来のＤＣＴベースのエンコード処理による効率的な圧縮が可能な周波数特性を有する空間的にダウンサンプルされた画像を生成することである。

処理１０の残りは、「ディテールＤ」出力ストリーム１０３を生成ために向けられる。概念的には、ディテールストリームは、キャリアＣ及びディテールＤストリームの合計が、もしロスレスにエンコードされていれば、元映像を再生する映像の残余（ｒｅｍａｉｎｄｅｒ）と考えられてもよい。実際には、ディテールストリームを生成して処理する方法が、この圧縮方法の多くの利点を創出する。

処理１２は、処理２０（図２）でデコードされるのと同じ方法で、処理１１からのエンコードされたキャリアストリームをデコードする。このデコードにより、元映像の近似値を生成する。処理１３は、「近似の」ビデオストリームＣ_ｄｅｃから元のストリームＶを減算する。この減算により、ロス無しにデコーダに送信されれば、デコード側での元映像の正確な復元を可能にする生ディテール映像データを生成する。

注目すべき重要な点は、生ディテールデータが、キャリアエンコード処理で取り込まれている可能性のあるあらゆるアーチファクトの「補正」を組み込むことである。これは、アーチファクトが、デコーダ上でなされるのと全く同じ方法でキャリアから導かれるためである。これは、エンコーダ上で、デコーダによって再生された映像の品質を実質的に高めることができるフィードバックループを構成する。

処理１３からの生ディテール映像データは、ゼロを中心にした符号付きの値になっており、典型的には各成分の色チャンネルに関して符号付きの８ビット表現を使用するが、その他の表示も同様に有効である。ディテールデータは、また、特に空間的に平滑化された元映像の領域では概して小さいため、キャリアストリームによってよく近似される。

処理１４、１５及び１６は、認識できない又は重要でないディテールを取り除いて「トリミングされた」ディテールストリームを作成するためにディテール映像データに適用される選択的ディテール抑制に関連する。ディテール抑制処理は、抑制又は保持されるディテールストリームエリアに対応する抑制係数を生成する。

一例であるディテール抑制方法は処理１６で表され、この処理１６では、従来の動き推定技術によりソース映像を分析して、元映像における動きの位置及び大きさを発見し、動きの大きさがＨＶＳの反応速度の限界に近付き始めるエリアを決定する。ほとんど又は全く動きが検出されないエリアでは、対応するディテールストリームエリアを保存する（抑制しない）ように抑制係数が設定される。動きの速度がＨＶＳ反応速度の限界を超過するエリアでは、対応するディテールストリームエリアを取り除く（完全に抑制する）ように抑制係数が設定される。それら限界間の動きの大きさでは、大きさに従って抑制無しから完全抑制までの、対応するディテールストリームエリアの部分的抑制を伝える係数を生じる。

上記の処理に必要な動き推定は、様々な方法から得られてよいことに留意すべきである。例えば、もしエンコーダが内部で動き推定を使用するブロックベースのエンコーダであれば、動き推定はキャリアエンコーダから得られてもよい。これには、動き推定に費やすエンコード時間の量を減少するという実際の効果があるが、厳密には要求されない。

顔認識１５、周囲エリアのディテールの非強調、その他の既知のＨＶＳ感受性／非感受性の領域又はその他の比較的関心のある／関心のない領域の強調／非強調等のその他のディテール管理／抑制方法を、単独又は組み合わせて使用することもでき、処理１７によってディテールストリームに適用されるべき抑制係数をそれぞれ提供する。

処理１７は、ディテールエリアを保存又は取り除く抑制係数を適用するための多くの周知の処理のいずれかであってよい。そのような処理の一つは、０．０〜１．０に空間的に変化するスカラー値として表される抑制係数による、ディテール値の単純乗算を含む。ディテールが完全に抑制されるエリアでは、対応する抑制係数値は０．０であるが、ディテールが完全に保存されるエリアでは、対応する抑制係数は１．０である。部分抑制は、０．０よりも大きく１．０未満である係数値によって達成される。ディテールデータの性質（一般的に小さい規模のゼロを中心にした値）は、この種の単純な抑制を可能にするのに非常に適している。別の抑制方法は、ディテールストリームデータの量子化を行い、抑制レベルに従って、完全に保存されるエリアを非常に細かく量子化でき（即ち、輝度及びクロミナンス精度を完全に保存する）一方、抑制されるエリアをより粗く量子化できる。この場合、最も粗く量子化されるディテール値はゼロに設定される。

場合によっては（帯域幅が制限されたチャネルのシングルパスビデオエンコード等）、エンコードされたディテールストリームのビットレートを制限することが望ましい。一実施形態において、ディテールビデオストリームがエンコード前に処理１４によって「トリミングされた」後、処理１８が、処理されているフレーム毎に、圧縮された／エンコードされた出力サイズがどのようであるかを推定する。これは、ほとんどのエンコード方法に関して、かなりの精度（〜１５％）で推定される。この推定を前提として、本システムは、目標ビットレートがよりよく達成されるように、エンコードされるデータ量を遡及的に調整できる。ディテールデータのゼロを中心にした形式は、ディテール抑制方法を容易に適用可能にするものである。これらの方法は、ディテールの優先順位の低い部分を取り除く（あるいは更に圧縮可能にする）上記と同じディテール抑制方法であり得る。

処理１８は、様々な方法でディテールのエリアの優先順位を決定することができる。その一例は、ディテールエリアの平均エネルギー（即ち標準偏差）等の単純なメトリックである。低標準偏差の領域を取り除くことは、デコードされた映像上ではほとんど知覚効果が無いが、この処理は、目標帯域幅を下回るまで、エンコードされるデータ量を素早く減少させることができる。焦点分析や周囲領域の非強調等の更に高度な優先順位化メトリックを使用してもよい。

処理１９は、ディテールビデオストリームの実際のエンコード化を含む。エンコード方法は、理想的には、高空間周波数のビデオデータをエンコードするのによく適しているべきであり、処理１１で使用されるエンコード方法と同じである必要はない。各フレームをエンコードした後、達成されたビットレートは、目標ビットレートと比較でき、処理１８に任意のビットレートエラーをフィードバックして次回の圧縮評価を向上させる。このフィードバック及び保持されるディテールデータ量を任意に調整する能力によって、必ずしも多数のエンコードパスへ再区分することなく、出力ビットレートに対する微細な制御が可能となる。達成可能な目標ビットレートは、１ピクセル当り１／１００ビット（ｂｐｐ）である。

ＤＣＴベースのエンコーダの場合に、上記のフィードバックループを補完又は取り除いて、帯域幅制約が満たされるまで、発生した出力ストリームにおけるマクロブロックを直接修正する処理１９０を、後処理として使用することに留意すべきである。また、ディテールストリームのゼロを中心とする性質によって、帯域幅目標が達成されるまで、優先順位の低いマクロブロックの内容を効果的にゼロにすることによって帯域幅を節約できる。このような内容のゼロ化は、ＤＣ内容が高いため、従来のＤＣＴベースのエンコードされたストリームでは無効である。この調整後のディテールトリミングによって、費用の掛かるマルチプルエンコードパスを必要とすることなく高精度に目標帯域幅制限を達成することができる。エンコードされたビットストリームは、マクロブロック情報を開示するよう解析／分解され、優先順位の低いマクロブロックを無効にするよう修正した後に再構成されるため、この後処理は、前処理である処理１８よりも難しいが、フレーム当たりの精度を向上させる。

ディテールエンコード処理の重要な特徴は、（通常、所与の解像度でのフレーム表現が求められるビットレートに対して）比較的低ビットレートにもかかわらず、たとえ使用されるエンコーダがブロックベース（ＤＣＴベース）であってもブロック化効果に対して免疫があるということである。ブロック化は、デコードされた画像における隣接したマクロブロックが、内部にほとんど又は全くディテールを有さないが、異なるＤＣレベルを有する場合に起きる。ディテールストリームでは、各エンコードされたマクロブロックがゼロを中心とし、実質的にはＤＣ情報が存在しないので、ブロック化を生じるＤＣオフセットは存在し得ない。

実際問題として、ほとんどの従来のビデオエンコーダは、符号付き入力データを直接扱うことができないことに留意すべきである。このような場合、圧縮に適した符号なし値を作成するために、オフセット値（典型的には８ビット深度の画像データに対して１２８）を符号付きデータに加算しなければならない。これは、各マイクロブロックがゼロを中心とするのではなく１２８を中心とするようになるので、上記の「ブロック免疫」という利点に影響を及ぼさない。本質的には、ブロック化効果をもたらすＤＣ／低周波数オフセットのソースはまだ存在しない。

ディテールストリームは非常に強く圧縮されるので、圧縮アーチファクトが取り込まれると予想されることに留意すべきである。それは事実であるが、それらのアーチファクトは、実際、ＤＣＴベースの技術を使用して高度に圧縮された映像に特有の非常に目立つブロック化アーチファクトに比べて捉えにくい傾向がある。ディテールストリームに関して、最も一般的なアーチファクトは、１マクロブロックに対して新しいディテールデータを送信する帯域幅が不十分であり、代わりにデコーダが前のフレームに存在したものと同じマクロブロック内容を単純に複製する際に起きる。これらの複製されたマクロブロック内容は、一般的にはほとんど画像エネルギーがないが、基礎にあるキャリア画像、及びディテール画像のその他の部分が変化しても静止したままである「ヘイズ（ｈａｚｅ）」の印象を創出する。本発明の重大な利益は、通常、この種のアーチファクトをデコード側でほぼ検出して矯正でき、くっきりとした非常に目立つアーチファクト生じるのではなくディテールをより巧妙に消失できることである。この種のアーチファクトを検出して処理するための処理は、以下のデコード処理の記述において記載される。

図２は、方法１０に従って事前に圧縮された映像データのデコードの方法の一実施形態２０を示す。処理２１は（図１からの）キャリアストリームＣ１０２を解凍して、処理２２は（図１からの）ディテールストリームＤ１０３を解凍する。

デコーダの実施形態は、デコードされたキャリア及びディテールストリームを単に加算し（及びエンコード化に適用された可能性がある（例えば）１２８オフセットを減算し）、表示可能なビデオストリームを生じることができる。これは、（前述したように）著しい「ヘイズ」のアーチファクトを示さない比較的高ビットレートのエンコードに対して実行可能なアプローチである。しかし、知覚可能な「ヘイズ」効果が高圧縮により引き起こされている状況では、処理２３等の更なるクリーンアップ処理が適用されてよい。

処理２３は、ヘイズ効果を生じる複製ディテールマイクロブロックを発見するために、デコードされたディテールＤ_ｄｅｃフレーム及びデコードされたキャリアＣ_ｄｅｃフレームの両方を検査する。このような処理の様々な実施形態が可能であるが、中心思想は、信頼できる高忠実性のキャリアストリームからの情報を使用して、低忠実性のディテールストリーム情報の不正又は信頼できない部分を決定することである。処理２３の好適な実施形態は、下記の一連のテストによって構成される。これらのテストは、ディテール映像フレームにおけるピクセルのブロック及びキャリア映像フレームの対応するピクセルに対して適用される。テストが、ブロックは「ヘイズ」であると決定した場合、その内容は無効にされる（即ち、ディテールが存在せず、キャリアのみが対応する位置で保持される）。これらのテストが適用されるブロックが、ディテールストリームに使用されたＤＣＴベースのエンコード／デコード方法に従って選択されるべきであることに留意すべきである。もしこの方法が単にマクロブロック全体に対して複製であるとマークすれば、ここでテストされたブロックはこれらのマクロブロックに直接対応するはずである。この方法が、マクロブロックが複製であると個々にマーク可能なサブブロックに分割できる場合、ここでテストされたブロックはサブブロックに対応するはずである。

更に、ブロックテストの結果を不確定にすることもできる。この状況に対処するため、「ヘイズテスト」の結果はフレーム毎に保持される。あるブロックが「ヘイズ」であると前のフレームで評価され、現在のフレームのテストが不確定であれば、前の評価を保持し、このブロックは現在のフレームでもヘイズであると考える。同様に、前のフレームでブロックがヘイズではなかった場合、現在のフレームのテストが不確定であれば、同じ評価が保持される。映像シーケンスの最初のフレームでは、全ディテールが有効であると考えられる（及び各ブロックの「ヘイズ状態」を「ヘイズではない」にデフォルトする）。

テストは、現在のキャリア及びディテールの両映像フレーム、及び直前のキャリア及びディテールフレームに対するアクセスを要求する（変化検出のため）。テストは以下の通りである（ブロック毎に実行する）。
１）ディテールブロック内容が前のフレームから複製されていない場合、ブロックはヘイズではない（テスト終了）。内容が複製されたか否かの決定は、明示的でも黙示的でもよいことに留意すべきである。即ち、デコーダから直接「複製フラグ」を取得でき、あるいは、フレーム間のディテールブロック内容を、正確な一致はディテールブロックが複製されたことを示すという仮定の下に比較してもよい。
２）ディテールブロック内容の標準偏差が高過ぎる場合（即ち、強いテクスチャであれば）、ブロックは恐らくヘイズではない（テスト終了）。ほとんどの「ヘイズ」ブロックは完全に平坦（即ち、標準偏差ゼロ）である。つまり、ブロックにおける高エネルギーは、それがアーチファクトではないことを示す傾向がある。加えて、真の「ヘイズ」は、画像が多くの自然なテクスチャを有するエリアではより目立たなくなるので、この規則によっていくつかのヘイズを見逃しても、このヘイズは不鮮明である可能性がある。この「高」閾値は、デコーダ制御パラメータとして指定される。実際に有効だと判明している典型的な「高」閾値は、利用可能な総明度範囲の約１％である。
３）ディテールブロック内容の平均値がゼロから「あまりに遠い」場合、ブロックはエネルギーが多過ぎるため、ヘイズと見なされない（テスト終了）。この「あまりに遠い」閾値は、デコーダ制御パラメータとして指定される。実際に有効だと判明している典型的な平均値は、利用可能な総明度範囲の約４％である。
４ａ）現在のブロックに対応するキャリアピクセルが、直前のフレームから「著しく」変化している場合、そのブロックは「ヘイズ」である可能性が高く、無効にされるべきである（テスト終了）。その「著しく」の閾値は、デコーダ制御パラメータとして指定される。実際に有効だと判明している典型的な「著しく」の閾値は、利用可能な総明度範囲の約０．５％である。
４ｂ）キャリアに対する動き推定が、現在のブロック付近の画像が動いていることを示す場合、そのブロックは「ヘイズ」である可能性が高く、ゼロにリセットされるべきである（テスト終了）。このテストは、安価なデコーダハードウェアにとっては高価であるかもしれず、従って任意と見なしてもよいことに留意すべきである。
５）テストが曖昧であった。即ち、キャリアもディテールも変化しておらず、エネルギーが非常に低い。前のフレームからの評価結果を再使用する。

処理２４は、最終再構築映像Ｖ２０１を作成するためにキャリアストリームＣ_ｄｅｃと「ヘイズ除去された」（即ちクリーニングされた）ディテールストリームを合計する。

図３は、本明細書に記載の概念の使用の一実施形態３０を示す。システム３０では、映像（及び音声）は入力３１として提供される。これは、図示しないローカルストレージから発するか、別の場所からの映像データストリームから受信できる。この映像は、ライブブロードキャストストリームや映像ファイル等の様々な形式で到着することができ、エンコーダ３２によって受信される前に圧縮されていてもよい。エンコーダ３２は、本明細書に記載の処理を使用して、プロセッサ３２−１の制御下で映像フレームを処理する。エンコーダ３２の出力は、ファイルストレージデバイス（図示せず）に接続しているか、ビデオストリームとして、恐らくネットワーク３３を介して、デコーダ３４等のデコーダに伝送できる。一実施形態において、処理１０はエンコーダ３２によって実行され、処理２０はデコーダ３４によって実行されるであろう。デコーダからエンコーダへの送信は、送信媒体上の帯域幅を保存しながら、有線又は無線送信を使用するあらゆる周知の方法によって実行できる。

２個以上のビデオストリームがデコーダ３４に伝送される場合、デジタルストリームの様々なチャネルは、本明細書に記載の処理に従ったデコードのためのチューナ３４−２によって選択可能である。様々な映像チャンネルが、エンコーダ３２等の単一の場所から、又は図示しない様々な場所から送信可能であることに留意すべきである。デコードされた出力ビデオストリームは、ストレージ３５に記憶するか、１個以上のディスプレイ３６によって表示されるか、所望であれば別の場所（図示せず）に配信可能である。再結合の前にキャリアストリームとディテールストリームが適切に協調されていれば、この２つのストリームは同時又は同一の送信媒体上で送信される必要はないことにも留意すべきである。

本発明およびその利点を詳細に記述したが、本明細書では、添付の特許請求項によって定義されるような本発明の趣旨および範囲から逸脱することなく、様々な変更、置換および改変が可能であることは理解されるはずである。更に、本出願の範囲を、本明細書に記述されたプロセス、機械、製造物、組成物、手段、方法およびステップの具体的な実施形態に制限する意図はない。当業者は、本明細書に記述された対応する実施形態と実質的に同じ機能を実行する、または実質的に同じ結果を達成する、現在存在するまたは後に開発されるプロセス、機械、製造物、組成物、手段、方法及またはステップを、本発明に従って利用してもよいことを、本発明の開示から容易に理解するだろう。従って、添付の特許請求項は、そのようなプロセス、機械、製造物、組成物、手段、方法またはステップを、それら請求項の範囲内に含むことを意図している。

Claims (26)

1. デジタルビデオストリームを伝送するための方法であって、前記方法は、
   ＡＣのみのビデオストリーム及び低周波数データストリームを生成するために前記デジタルビデオストリームから同定された低周波数成分を減算する工程、
   前記ＡＣのみのビデオストリームをエンコードする工程、
   ブロックアーチファクトを防ぐのに十分なビットレートで前記低周波数ビデオストリームをエンコードする工程、及び
   前記エンコードする場所から遠隔地に前記エンコードされたビデオストリームの両方を伝送する工程
   を含む方法。
2. 前記デジタル映像信号を再現するために前記遠隔地で前記エンコードされた低周波数及びＡＣのみのビデオストリームをデコードする工程を更に含む、請求項１に記載の方法。
3. 前記再現された映像信号から望ましくないアーチファクトをアルゴリズム的に取り除くことを更に含む、請求項２に記載の方法。
4. 前記ビデオストリームのフレームを跨いでマクロブロックが複製されることによって、前記望ましくないアーチファクトが少なくとも部分的に生成され、且つ前記複製されたマクロブロックが、
   前記デコードされた低周波数及びＡＣのみのビデオストリームの両方を検査すること、及び
   前記低ＡＣのみのストリームに含まれる情報が信頼できない時に、決定のために前記低周波数ビデオストリームからの情報を使用すること
   によって決定される、請求項３に記載の方法。
5. 前記ビットレートが、１ピクセル当り１／１００ビット（ｂｐｐ）の低さであってもよい、請求項３に記載の方法。
6. 前記ＡＣのみのビデオストリームの前記エンコードの前に前記ＡＣのみのビデオストリームから、人間の視覚系（ＨＶＳ）に対する効果が小さいディテールを除去する工程を更に含む、請求項２に記載の方法。
7. 前記除去されたディテールが、動き推定、顔検出、周囲エリア検出のリストからの基準を使用して選択される、請求項６に記載の方法。
8. 特定の送信ビットレートに基づいて前記ディテールの除去を優先順位化する工程を更に含む、請求項６に記載の方法。
9. 前記特定のビットレートが１／１００ｂｐｐの範囲内である、請求項６に記載の方法。
10. ある時点でビデオストリームに対する圧縮出力サイズを予測する工程、及び
    前記ビデオストリームから除去されるディテールの量を制御するために前記予測された出力サイズを使用する工程を更に含む、請求項６に記載の方法。
11. 前記減算工程が、前記エンコードされた低周波数ビデオストリームをデコードして、前記デジタル入力ビデオストリームから前記デコードした低周波数ビデオストリームを減算することを含む、請求項１に記載の方法。
12. ディスプレイを見るＨＶＳが前記ＡＣのみのビデオストリームの前記エンコード化によって前記入力ビデオストリームから除去されたデータによってあまり混乱させられないように、前記ディスプレイに前記再現されたビデオストリームを伝送することを更に含む、請求項２に記載の方法。
13. ビデオストリーム圧縮のためのシステムであって、前記システムは、
    利用可能なビデオストリームを、前記利用可能なビデオストリームから得られた低周波数データのみを含む第１のビデオストリームと、前記利用可能なビデオストリームから得られた残りの全データを含む第２のビデオストリームとに分離するためのプロセッサ、
    情報量を減少させた第３のビデオストリームを生成するために、前記第２のビデオストリームからのあるディテールを抑制するために更に動作する前記プロセッサ、及び
    前記第１及び前記第３のビデオストリームの両方を圧縮フォーマットで遠隔地に送信するためのトランスミッタ、を備えるシステム。
14. 前記第１及び第３のエンコードされたビデオストリームの両方を個別に解凍するためのデコーダ、及び
    前記解凍された第１及び第３のビデオデータストリームを結合するための加算器を更に備える、請求項１３に記載のシステム。
15. 前記結合されたビデオストリームがあるディテールを表現するデータを欠落していても、視聴者が元のビデオストリームによって提供されるのと同様の視覚的経験を受けるように、前記視聴者に前記結合した解凍されたビデオストリームを表示するためのディスプレイを更に備える、請求項１４に記載のシステム。
16. 前記ある欠落しているディテールが、高速移動ディテール、周囲ディテール、顔以外のディテールのうちの少なくとも一つに関する、請求項１５に記載のシステム。
17. 前記第１及び第３のビデオストリームを記憶するためのストレージデバイスを更に備える、請求項１４に記載のシステム。
18. 入力デジタルビデオストリームを圧縮するための方法であって、前記方法は、
    エンコードされたキャリアストリームを生成するために、前記入力ビデオストリームから低周波数成分を空間的にフィルタリングする工程、
    前記キャリアストリームをデコードする工程、
    前記ビデオストリームから前記デコードされたキャリアストリームを減算することによって生ディテールビデオストリームを生成する工程、
    前記生ディテールビデオストリームにおけるあるディテールに対して抑制を行うことによって、トリミングされたディテールビデオストリームを生成する工程、及び
    前記トリミングされたディテールビデオストリームをエンコードする工程
    を含む方法。
19. 前記エンコードされトリミングされたディテールビデオストリーム及び前記エンコードされたキャリアストリームの両方を記憶することを更に含む、請求項１８に記載の方法。
20. 所望のビットレートに一致するように前記トリミングされたディテールビデオストリームを切り詰めることを更に含む、請求項１８に記載の方法。
21. 前記抑制が、顔ディテール、動き推定、周囲ディテールからなるリストから選択されたビデオストリームの少なくとも１つの属性に関するビデオストリームのあるアスペクトに対する係数を生成することを含む、請求項１８に記載の方法。
22. 前記エンコードされトリミングされたディテールビデオストリーム及び前記エンコードされた伝送ストリームの両方をデコーダに送信することを更に含む、請求項１８に記載の方法。
23. 前記デコーダが、
    前記送信されたビデオストリームの各々をデコードする工程、及び
    前記デコードされたビデオストリームを結合して出力ストリームにする工程
    を含む方法を実行する、請求項２２に記載の方法。
24. 前記結合された出力ビデオストリームが前記抑制されたディテールを表現するデータを欠落していても、表示された前記出力ビデオストリームの視聴者が前記入力ビデオストリームによって提供されるのと同様の視覚的経験を受けるように、ディスプレイに前記出力ストリームを提示することを更に含む、請求項２３に記載の方法。
25. 前記結合前に前記デコードされトリミングされたディテールビデオストリームをクリーニングすることを更に含む、請求項２４に記載の方法。
26. 前記クリーニングが前記出力ビデオストリームからヘイズ効果を除去する、請求項２５に記載の方法。

Images