JP2011528873A - ブロックアーチファクトを平滑化することによって圧縮映像信号の品質を向上させるシステム及び方法 - Google Patents

Abstract

本発明は、圧縮映像信号の表示に必要な所与のデータ量に関して、典型的な人間の視聴者に知覚される際の、解凍され表示されたリアルタイム映像の品質を向上するシステム及び方法に関する。本明細書におけるシステム及び方法は、ブロック位置のアプリオリな知識を必ずしも有さず、ブロックの出現を減衰することによって、この向上を達成する。本明細書に記述される方法は、ＨＶＳによって知覚される際の、結果として得られるリアルタイム映像の品質が向上するように、それらのブロックの出現を減衰する。

Description

本開示は、デジタル映像信号に関し、特に、圧縮デジタル映像信号を非ブロック領域とディテール領域に分離することによって、また非ブロック領域を平滑化することによって、圧縮デジタル映像信号の品質を向上させるシステムおよび方法に関する。

映像信号が、テキスト情報または音声信号の表現に必要なデジタルデータの量と比べて、大量のデジタルデータによって表されることは周知である。それ故、デジタル映像信号は、高ビットレートで送信される場合および特にこれらのビットレートが映像表示デバイスで求められるリアルタイムデジタル映像信号に対応しなければならない場合に、相対的に広帯域を占める。

特に、ケーブルやファイバ等の通信チャネルを介する、大量の個別映像信号の同時送受信は、様々な通信チャネルにおける利用可能な帯域を共有する方法でこれらの映像信号を周波数分割多重化または時分割多重化することによって行われることが多い。

デジタル映像データは、通常、音声およびその他のデータと共に、国際的に合意されたフォーマット規格（例えば、ＭＰＥＧ２，ＭＰＥＧ４，Ｈ２６４）に従ってフォーマットされたメディアファイルに埋め込まれる。そのようなファイルは、通常、インターネットを通じて配信または多重化され、コンピュータ、携帯電話、デジタルビデオレコーダのデジタルメモリ内およびコンパクトディスク（ＣＤ）およびデジタルビデオディスク（ＤＶＤ）上に夫々記憶される。これらのデバイスの多くは、物理的に且つ識別不能に併合して単一のデバイスになっている。

フォーマットされたメディアファイルを作成する過程では、ファイルデータは、それらの表示に必要なデジタルデータ量を減少させるために、様々なレベルおよび方式のデジタル圧縮を受け、それによって、多数のその他の映像ファイルと共に多重化される場合にそれらの正確な同時送信に必要な帯域だけでなく、必要なメモリストレージを減少させる。

インターネットは、映像データの配信の特に複雑な例を提供するが、そこでは、中央サーバからエンドユーザへのダウンロード送信中に、多様な方法および多様なチャネル（即ち、経路）を介して映像ファイルが多重化される。しかし、ほぼ全ての場合に、所与の元のデジタル映像ソースおよびエンドユーザが受信して表示する映像の所与の品質にとって、結果得られる映像ファイルが最小限のサイズに圧縮されることが望ましい。

フォーマットされた映像ファイルは、完全にデジタル化された映画を表示することができる。映画ファイルは、即時に表示してリアルタイムで視聴するため、またはデジタルビデオレコーダ等のエンドユーザ記録デバイスに記憶し、後にリアルタイムで視聴するための「オンデマンド」でダウンロードされてもよい。

従って、これらの映像ファイルの映像コンポーネントの圧縮は、送信上、帯域を節約するだけでなく、そのような映画ファイルを記憶するのに必要なメモリ全体を減少させる。

上記の通信チャネルの受信機端では、通常、単一ユーザ計算記憶デバイスが採用される。そのような単一ユーザデバイスの現在典型的な例は、パーソナルコンピュータおよびデジタルセットトップボックスであり、それらのいずれかまたは両方は、通常、エンドユーザの映像表示デバイス（例えば、テレビ）に出力接続され、且つ、直接的または間接的に、通信回線に接続された銅配線ケーブル線（即ち、ケーブルテレビ）に入力接続される。通常、このケーブルは、何百個もの多重化されたデジタル映像信号を同時に伝達し、ローカルの映像プログラム配信事業者からの地上波映像信号を伝達する光ファイバーケーブルに入力接続されることが多い。エンドユーザの衛星放送受信アンテナも放送映像信号の受信に使用される。エンドユーザが地上波ケーブルを介して配信される映像信号を採用しようと衛星を介して配信される映像信号を採用しようと、通常、エンドユーザデジタルセットトップボックスまたはそれらに相当するものを使用して、デジタル映像信号を受信し、視聴すべき特定の映像信号（即ち、いわゆるテレビチャンネルまたはテレビプログラム）を選択する。これらの送信されたデジタル映像信号は、圧縮されたデジタルフォーマットであることが多く、従ってエンドユーザによって受信後にリアルタイムで解凍されるはずである。

映像圧縮の多くの方法は、元の非圧縮映像信号のデジタル近似値のみを保持することによってデジタル映像データ量を減少させる。その結果、圧縮前の元の映像信号と解凍された映像信号の間には測定可能な差が存在する。この差は映像歪として定義される。映像圧縮の所与の方法では、圧縮された映像データのデータ量がこれらの方法に対して異なるパラメータを選択することによって減少するにつれて、映像歪の程度は大抵大きくなる。即ち、映像歪は、圧縮のレベルが増加するにつれて増加する傾向がある。

映像圧縮のレベルが増加するにつれて、映像歪は最終的に人間の視覚系（ＨＶＳ）に視認可能になり、最終的にこの歪みは選ばれた表示デバイス上でリアルタイム映像の典型的な視聴者にとって視覚上不快になる。映像歪は、いわゆる映像アーチファクトとして観察される。アーチファクトは、元の非圧縮映像のシーンに属さないものとしてＨＶＳによって解釈される、観察された映像コンテンツである。

圧縮中または圧縮後に、圧縮された映像から視覚上不快なアーチファクトを大幅に減衰する方法が存在する。これらの方法のほとんどは、ブロックベースの二次元（２Ｄ）離散コサイン変換（ＤＣＴ）を採用する圧縮方法またはそれに近似するものにのみ適用する。以下において、本発明者らはこれらの方法をＤＣＴベースと呼ぶ。このような場合、とりわけ視覚上不快なアーチファクトは、表示された映像のシーンにおけるアーチファクトブロックの出現である。

通常、これらのブロックを検索することによってまたはこれらのブロックが映像の各フレームの何処に位置しているかというアプリオリな知識を要求することによって、アーチファクトブロックを減衰する方法が存在する。

視覚上不快なアーチファクトの出現を減衰するという問題は、映像データが恐らく２回以上事前に圧縮および解凍されている、または映像データが事前にサイズ変更、再フォーマットまたは再混色されているというよくある場合に、特に難しい。例えば、映像データは、ＮＴＳＣからＰＡＬフォーマットに再フォーマットされていたり、ＲＧＢからＹＣｒＣｂフォーマットに変換されていたりする可能性がある。そのような場合、アーチファクトブロックの位置のアプリオリ知識はほぼ確実に不明であるため、この知識に依存する方法は機能しない。

映像アーチファクトの出現を減衰する方法は、圧縮された映像データの表示に必要な全データ量を大きく増加させてはならない。この制約が主要な設計課題である。例えば、表示された映像の各フレームにおける各ピクセルの三原色の各々は通常８ビットで表され、従って１カラーピクセルあたり２４ビットになる。例えば、視覚上不快なアーチファクトが明確に認識できる圧縮の限界にまで達したとすると、Ｈ２６４（ＤＣＴベース）映像圧縮規格では、最低で１ピクセルあたり約１／４０ビットに相当する映像データの圧縮が可能である。従って、これは４０×２４＝９６０よりも優れた平均圧縮比に相当する。そのため、この圧縮比において、映像アーチファクトを減衰するいずれの方法も、１ピクセルあたり１／４０ビットに対して僅かなビット数を追加しなければならない。圧縮比が高過ぎて１ピクセルあたりの平均ビット数が概して１／４０ビット未満である場合にはブロックアーチファクトの出現を減衰する方法が必要である。

ＤＣＴベースおよびその他のブロックベース圧縮方法に関して、最も重大な視覚上不快なアーチファクトは、典型的には時間、サイズおよび方位によって映像シーンの局所的な時空間特性に依存する方法により変化する小さな矩形ブロックの形状である。特に、アーチファクトブロックの性質は、映像シーンにおけるオブジェクトの局所運動に依存し、これらのオブジェクトが含む空間的ディテール量に依存する。特定の映像に関して圧縮率が増加するにつれて、ＭＰＥＧベースＤＣＴベースビデオエンコーダは、各ブロック内のピクセルの輝度を表す、いわゆる量子化された基底関数に徐々に少ないビットを割当てる。各ブロックに割当てられるビット数は、ＨＶＳに関する幅広い心理視覚知識に基づいて決まる。例えば、ビデオオブジェクトの形状およびエッジならびにそれらの運動の平滑な時間軌跡は、心理視覚的に重要であり、従ってビットは、全てのＭＰＥＧ ＤＣＴベースの方法と同様に、それらの忠実度を確保するように割当てられなければならない。

圧縮のレベルが増加するにつれ、上記忠実度を保持するという目的において、圧縮方法（いわゆるエンコーダにおける）は、最終的に、各ブロックに一定の（またはほぼ一定の）輝度を割当てるが、通常、最も視覚上不快なのがこのブロックアーチファクトである。ブロックアーチファクトの相対的均一輝度が、それらの直近のブロックの相対的均一輝度より３％超大きい場合、これらのブロックを含む空間領域は視覚上不快であると推測される。ブロックベースＤＣＴ型方法を使用して大きく圧縮されている映像シーンにおいては、多くのフレームの大領域がそのようなブロックアーチファクトを含む。

本発明は、圧縮映像信号の表現に必要な所与のデータ量に関して、典型的な人間の視聴者に知覚される際の、解凍され表示されたリアルタイム映像の品質を向上するシステム及び方法に関する。本明細書におけるシステム及び方法は、ブロック位置のアプリオリな知識を必ずしも有することなくブロックの出現を減衰することによって、この向上を達成する。幾つかの実施形態では、本明細書に記述された方法は、ＨＶＳによって知覚される際の、結果として得られるリアルタイム映像の品質が向上するように、それらのブロックの出現を減衰する。

圧縮映像と解凍映像との間の輝度の差の点では、ブロック状領域が、映像歪全体の数学的メトリックの最大の寄与因子ではない可能性がある。典型的には、映像の細かな領域には大幅な数学的歪が存在するが、ＨＶＳがブロックアーチファクトによる歪を知覚するほど即座にはその歪を知覚しないという事実の利点がある。

本明細書に記載の実施形態では、本方法の第１のステップが、各フレームのデジタル表現を、非ブロック領域とディテール領域と呼ばれる２つの部分に分離する。本方法の第２のステップは、ブロックアーチファクトが減衰するように非ブロック領域を処理して、平滑化された非ブロック領域を生じる。本方法の第３のステップが、平滑化された非ブロック領域とディテール領域を再結合する。

一実施形態において、非ブロック領域の同定は、候補領域の選択から始まり、
ａ．輝度の平滑性基準（Ｆ）、
ｂ．不連続性基準（Ｄ）及び
ｃ．先読み／後読み基準（Ｌ）
等の、一連の基準を使用して周囲の隣接領域に対して各候補領域を比較する。

上記では、以下の本発明の詳細な記述がより良く理解されるように、本発明の特徴および技術的利点をやや広範に概説している。本発明の更なる特徴および利点が以下に記述され、本発明の特許請求の主題を形成する。開示される概念および具体的な実施形態が、本発明と同一の目的を遂行するその他の構造を改良または設計する基礎として容易に利用可能であることは、当業者には理解されるはずである。また、そのような等価の構造物は、添付の特許請求の範囲に明記された発明の趣旨および範囲から逸脱するものでないことも、当業者には理解されるべきである。本発明の特徴と考えられる新規の特徴は、その構成および動作方法の両者について、更なる目的および利点と共に、添付の図面と関連して考察される以下の記述からより良く理解されるだろう。しかしながら、各図面は、図示および説明のみの目的で提供されており、本発明の限界を定義するものとしては意図されないことが明示的に理解される。

本発明のより完全な理解のために、添付の図面とともに以下の記述を参照する。
典型的なブロック状の画像フレームを示す図である。 図１に対応する非ブロック領域（黒色で表示）とディテール領域（白色で表示）を示す図である。 フレームにおける孤立したピクセルを選択する一例を示す図である。 互いにｘピクセル離れ、非ブロック基準を満たさないためディテール領域ＤＥＴに属する候補ピクセルＣ_ｉの拡大図を例示する図である。 ９ピクセルによる十字マスクを使用することによってブロックを非ブロック領域に指定する方法の一実施形態を例示する図である。 画像フレーム内の特定の位置に使用された９ピクセルによる十字マスクの例を示す図である。 ビデオ画像品質を向上させる方法の一実施形態を示す図である。 本明細書に記載の概念の使用の一実施形態を示す図である。

開示される実施形態の一態様は、平滑性基準および不連続性基準を使用して映像信号の各フレームにおいて非ブロック化するための領域を同定することによってリアルタイムの映像信号におけるブロックアーチファクトの出現を減衰することである。ロバスト性を更に向上させるために、更に勾配基準を組み合わせることも出来る。これらの概念の使用により、映像ファイルのサイズ（または映像信号の送信に必要なビット数）を縮小することが出来、縮小したファイルサイズに関連するアーチファクトの視覚効果を減少することが出来る。

これらの概念を実行する方法の一実施形態は、映像信号の画像フレームに対する以下の３つの部分から構成される。
１．いわゆるディテール領域（ＤＥＴ）から非ブロック領域を識別する、非ブロック領域（ＤＥＢ）を同定する処理
２．非ブロック領域ＤＥＢに適用される、非ブロック領域におけるブロックアーチファクトの出現を空間的平滑化により減衰する目的の演算
３．部分２において得られた平滑化非ブロック領域を、ディテール領域と結合する処理。

この実施形態の方法では、空間的平滑化演算は非ブロック領域外では動作しない。同様に、空間的平滑化演算はディテール領域内では動作しない。本明細書に記載のように、平滑化が非ブロック領域の外で起こらないように、空間的平滑化演算が非ブロック領域ＤＥＢの境界線に到達したことを判断する方法が採用される。

事前にブロックベース型の映像圧縮（例えば、ＤＣＴベースの圧縮）および解凍を受け、サイズ変更および／または再フォーマットおよび／または再混色を受けている可能性のある映像信号は、典型的には、事前の圧縮演算中に最初に発生したブロックアーチファクトの視覚上不快な残存物を含む。従って、ブロック起因性アーチファクトの除去は、最後または現行の圧縮演算において創出されたブロックの出現のみの減衰では、完全には達成されない。

多くの場合、事前に創出されたブロックの位置に関するアプリオリな情報は得られず、位置が不明のブロックは、不快なアーチファクトの一因となる場合が多い。この方法の実施形態は、ブロックの位置のアプリオリな知識を必要としない基準によって、非ブロック化されるべき領域を同定する。

一実施形態において、輝度の平滑性基準方法を採用し、且つ輝度不連続性基準および／または輝度勾配基準を使用して、個々のブロックの位置を明確に見つけるまたは同定することなく、非ブロック化されるべき各映像フレームの非ブロック領域を同定する。非ブロック領域は、典型的には、各フレームにおいて、様々なサイズおよび形状の多数の小領域で構成されている。この方法は、画像フレーム内の情報のみに依存し、その画像フレームにおける非ブロック領域を同定する。同定後、画像フレームの残りの領域はディテール領域として定義される。

映像シーンはビデオオブジェクトで構成される。これらのオブジェクトは、典型的には、輝度エッジの位置および運動、およびそれらの内部のテクスチャに関して、（ＨＶＳおよび関連する神経反応によって）識別および認識される。例えば、図１は、リアルタイムで表示された際に対応する映像クリップにおいて同様に出現する視覚上不快なブロックアーチファクトを含む典型的な画像フレーム１０を示す。典型的には、瞬時に、ＨＶＳは対応する映像クリップにおける元のオブジェクトを知覚および認識する。例えば、顔オブジェクト１０１およびその目１４や鼻１５等のサブオブジェクトは、同様にリボン１３やつば１２等のサブオブジェクトを含む帽子とともに、ＨＶＳによって素早く同定される。ＨＶＳは、顔の広大なエリアを、ほぼディテールが無く、その色と滑らかな陰影によって特徴付けられる肌のテクスチャとして認識する。

図１の画像フレームでは明確には視認できないが、対応する電子表示されたリアルタイムの映像信号では明確に視認することが出来るブロックアーチファクトは、様々なサイズを有しており、その位置は、最後の圧縮演算中に創出されたブロックの位置に限定されない。最後の圧縮動作中に創出されたブロックのみの減衰では不十分であることが多い。

この方法は、ＨＶＳが、元の画像における略一定の輝度または滑らかに変化する画像輝度である画像の比較的広大なオープンエリアに位置するブロックアーチファクト（および関連するエッジ輝度不連続部）を特に認識し、且つそれに対して敏感であるという心理視覚性質を利用する。例えば、図１において、ＨＶＳは、帽子の縞模様の間に位置するブロックアーチファクトには比較的気付かないが、顔上の肌の広大な滑らかな陰影のある領域に出現するブロックアーチファクトは特に認識し、且つそれに対して敏感であり、また帽子のつば（の底部）左側の広大なオープンエリアにおけるブロックアーチファクトに対しても敏感である。

ブロックアーチファクトに対するＨＶＳの感受性の他の例として、ＨＶＳが、光を照らされた壁等のむらなく着色された平坦な陰影のある表面を知覚した場合、約３％超のブロックエッジ輝度不連続部が視覚上不快である一方、高度なテクスチャの草原等の、高度なテクスチャのオブジェクトの映像イメージにおける同様なブロックエッジ輝度不連続部は、典型的には視認不可能である。高度な空間的ディテールの領域におけるブロックよりも広大でオープンな滑らかな輝度の領域におけるブロックを減衰する方がより重要である。この方法は、ＨＶＳのこの特性を利用する。

しかしながら、上記の壁が小さな孤立された領域を除く視野から遮蔽される場合、ＨＶＳはブロックアーチファクトに対して再び相対的に非認識になる。即ち、ＨＶＳはこれらのブロックにはあまり敏感ではない、というのも、これらの領域は滑らかな輝度の領域に位置しているが、十分に大きくはないからである。この方法は、ＨＶＳのこの特性を利用する。

画像フレームに対してこの方法を適用すると、結果として画像は少なくとも２つの領域、即ち非ブロック領域および残りのディテール領域に分離される。この方法は、階層においても適用出来るため、次に、上記の最初に同定されたディテール領域それ自体が第２の非ブロック領域と第２のディテール領域に分離する等、再帰的に実施される。

図２は、非ブロック領域（黒色で表示）とディテール領域（白色で表示）を同定した結果２０を示す。目１４、鼻１５および口は、縞模様のきめ細かいテクスチャを有する帽子の右側領域のほとんどがそうであるように、顔オブジェクトのディテール領域（白色）に属している。しかしながら、帽子の左側のほとんどは、輝度が略一定の領域であるので、非ブロック領域に属しており、また、つば１２のエッジは、明確な不連続部の領域であり、ディテール領域の細い線部に対応する。

以下に記述されるように、非ブロック領域は、ＨＶＳがブロックアーチファクトを最も感知し、またそれに対して敏感である領域であり、従って、非ブロック化されるべき領域であるということを確認する基準が採用される。ディテール領域は、従って、ＨＶＳがブロックアーチファクトに対してあまり敏感ではない領域である。この方法では、非ブロック領域の非ブロック化を、空間的な輝度平滑化によって達成することも出来る。空間的な輝度平滑化プロセスは、ローパスフィルタリングまたは他の手段によって達成することができる。輝度平滑化によって、平滑化されるべき領域のいわゆる高い空間周波数が大幅に減衰され、それによってブロックアーチファクトのエッジに関連する輝度のエッジ不連続部が大幅に減衰される。

この方法の一実施形態は、空間的不変ローパスフィルタを採用して、同定された非ブロック領域を空間的に平滑化する。このようなフィルタは、無限インパルス応答（ＩＩＲ）フィルタまたは有限インパルス応答（ＦＩＲ）フィルタもしくはこのようなフィルタの組み合わせであってよい。これらのフィルタは、典型的にはローパスフィルタであり、非ブロック領域のいわゆる高い空間周波数を減衰し、それによって輝度を平滑化してブロックアーチファクトの出現を減衰するために採用される。

非ブロック領域ＤＥＢおよびディテール領域ＤＥＴの上記定義は、いずれかまたは両方の領域の更なる信号処理を妨げることはない。特に、この方法を使用して、ＤＥＴ領域を、新たな領域ＤＥＴ１およびＤＥＢ１へ更に分離することが出来、ＤＥＢ１は、別の非ブロック化方法またはＤＥＢを非ブロック化するのに使用される他のフィルタを使用する可能性がある非ブロック化に関する第２の領域である（ＤＥＢ１∈ＤＥＴ）。ＤＥＢ１およびＤＥＴ１は、明らかにＤＥＴの小領域である。

非ブロック領域（ＤＥＴ）を同定することは、リアルタイムで映像を流す能力を有する同定アルゴリズムを必要とする場合が多い。このようなアプリケーションに関しては、ハイレベルな計算複雑性（例えば、１秒あたり多数の乗累算演算（ＭＡＣ）を採用する同定アルゴリズム）は、比較的少数のＭＡＣ、および整数で演算する単純な論理ステートメントを採用する同定アルゴリズムに比べて、あまり望ましくない傾向にある。この方法の実施形態は、比較的少数のＭＡＣを使用する。同様に、この方法の実施形態は、オフチップメモリへのおよびオフチップメモリからの大量のデータのスワッピングを確実に最小限度に抑える。この方法の一実施形態において、領域ＤＥＢ（およびそれによって領域ＤＥＴ）を決定するための同定アルゴリズムは、大幅に圧縮された映像クリップにおいて最も視覚上不快なブロックが、それらの内部全体に渡って略一定の輝度を有するという事実を利用する。

この方法の一実施形態において、非ブロック領域ＤＥＢの同定は、フレームにおける候補領域Ｃ_ｉを選択することによって開始する。一実施形態において、これらの領域Ｃ_ｉは、空間サイズにおける１ピクセルと同じくらい小さい。その他の実施形態では、サイズが１ピクセルよりも大きな候補領域Ｃ_ｉを使用することも出来る。各候補領域Ｃ_ｉは、一連の基準によって周囲の近隣領域に対して検査され、この基準を満たせば、Ｃ_ｉは画像フレームの非ブロック領域ＤＥＢに属するものとして分類される。Ｃ_ｉが非ブロック領域に属さなければ、Ｃ_ｉはディテール領域ＤＥＴに属するものとして設定される。これは、全Ｃ_ｉの集合体がＤＥＢに等しいことを意味するのではなく、単にそれらがＤＥＢの部分集合を形成することを意味していることに留意すべきである。

この方法の一実施形態において、Ｃ_ｉが非ブロック領域ＤＥＢに属するか否かを決定するために使用される一連の基準は、以下のように分類され得る。即ち、
ａ．輝度平滑性基準（Ｆ）、
ｂ．不連続性基準（Ｄ）および
ｃ．先読み／後読み基準（Ｌ）。

上記の基準（またはそれらのあらゆる有益な組み合わせ）が満たされれば、候補領域Ｃ_ｉは非ブロック領域に指定される（即ち、Ｃ_ｉ∈ＤＥＢ）。そうでなければ、候補領域Ｃ_ｉはディテール領域ＤＥＴに指定される（Ｃ_ｉ∈ＤＥＴ）。特定の映像クリップを非ブロック化する時等、特定の実行においては、全３種類の基準（Ｆ，ＤおよびＬ）が必要でない可能性もある。更に、これらの基準は、画像フレームの局所的な性質に基づいて改良してもよい。そのような局所的な性質は、統計に基づくものである可能性もあれば圧縮および解凍処理の一部として使用される量子化パラメータや運動パラメータ等の、エンコーダ／デコーダに関連する性質である可能性もある。

この方法の一実施形態において、計算の効率化のために、画像フレームにおいて候補領域Ｃ_ｉがまばらに分布するように、候補領域Ｃ_ｉが選択される。これは、各フレームにおける候補領域Ｃ_ｉの数を大幅に減少し、それによってアルゴリズムの複雑性を減少させてアルゴリズムのスループット（即ち、速度）を増加させる効果を有する。

図３は、フレームの小領域に関して、前記基準に照らして図１の画像フレームをテストするのに採用可能な、選択されたまばらに分布したピクセルを示す。図３では、ピクセル３１−１乃至３１−６は、水平および垂直両方向に互いに７ピクセル分、離れている。これらのピクセルは、元の画像におけるピクセル数の約１／６４を占め、非ブロック領域を同定するのに使用される任意のピクセルベースのアルゴリズムが、各フレームにおいてピクセル数の１／６４にのみ動作し、それによって複雑性を減少させてピクセル毎に基準をテストする方法に比べてスループットを増加させることを意味している。

この説明例では、図１に対する非ブロック化基準を図３におけるまばらに分布した候補領域に適用すると、図４に例示するように、対応するまばらに分布したＣ_ｉ∈ＤＥＢとなる。

この方法の一実施形態において、全非ブロック領域ＤＥＢは、上述のまばらに分布した候補領域Ｃ_ｉ∈ＤＥＢから周囲領域へ「成長」する。

図２における非ブロック領域の同定は、例えば、Ｎを７ピクセルに設定することによって、図４のまばらに分布したＣ_ｉから「成長させ」、それによって、候補領域ピクセルＣ_ｉのまばらな分布を、切れ目なく結合される性質を有する図２の一層大きな非ブロック領域へ「成長」させる。

上記の成長処理は、まばらに分布したＣ_ｉ∈ＤＥＢを空間的に接続し、全非ブロック領域ＤＥＢを形成する。

この方法の一実施形態において、上記の成長処理を、最も近い候補領域ピクセルＣ_ｉからのピクセルの水平または垂直距離である適切な距離メトリックに基づいて行う。例えば、垂直および水平方向に７ピクセル離れて選ばれた候補領域ピクセルＣ_ｉでは、結果として得られる非ブロック領域は図２に示す通りである。

一つの拡張として、ディテール領域ＤＥＴを、予め決定した非ブロック領域内へ拡大するために、ディテール領域ＤＥＴに成長処理を適用する。これは、空間的に不変のローパス平滑化フィルタの十字マスクが元のディテール領域内に突出することを防ぎ、それによって創出される可能性のある望ましくない「ハロー（ｈａｌｏ）」効果を回避するために使用することが出来る。そうすることで、ディテール領域は、その拡大した境界線では、ブロック、またはそれらの一部分を減衰されずに含む可能性がある。これは、このようにディテール領域に最も近接したブロックアーチファクトに対してＨＶＳが相対的に鈍感なため、現実には問題にならない。

代替の距離メトリックを採用してもよい。例えば、候補領域Ｃ_ｉを中心とする所定の半径の円内の画像フレーム全領域に対応するメトリックを採用してもよい。

上記またはその他の成長処理によって得られる非ブロック領域は、画像フレームの非ブロック化されるべき部分を包含する（即ち空間的に覆う）性質を有する。

上記の成長処理を形式化すると、全非ブロック領域ＤＥＢ（または全ディテール領域ＤＥＴ）は、周囲の成長した領域Ｇ_ｉによって各候補領域Ｃ_ｉ（基準Ｃ_ｉ∈ＤＥＢまたはＣ_ｉ∈ＤＥＴを満たす）を包囲することによって決定することが出来る。ここで、全非ブロック領域ＤＥＢ（または全ディテール領域ＤＥＴ）は、全Ｃ_ｉおよび全Ｇ_ｉの和集合である。

同様に、全非ブロック領域は論理的に、

と表すことが出来、∪は領域の和集合であり、ＤＥＴは単に画像フレームの残りの部分である。あるいは、

に従って（Ｃ_ｉはＤＥＢに属さない）を使用して候補領域を限定することから全ディテール領域ＤＥＴを決定してもよい。

成長した周囲領域Ｇ_ｉ（図３の３２−１乃至３２−Ｎ）が十分に大きければ、それらの領域は、画像フレームの拡大したエリアに接触した非ブロック領域ＤＥＢを創出するように隣同士が重複または接触するように配置されてもよい。

この方法の一実施形態は、図５に例示され、非ブロック領域にまたはディテール領域ＤＥＴに指定されるべき候補領域ピクセルＣ_ｉを同定するための９ピクセルによる十字マスクを採用する。この実施形態では、候補領域Ｃ_ｉは、１×１ピクセル（即ち、単一ピクセル）のサイズである。十字マスクの中心（ピクセル５１）はピクセルｘ（ｒ，ｃ）にあり、（ｒ，ｃ）はそのピクセルの行列位置を示し、典型的に輝度ｘがｘ∈［０，１，２，３，．．．２５５］によって与えられる。この実施形態では、十字マスクが、＋（十字）を形成する互いに垂直な２本の単一ピクセル幅の線で構成されることに留意すべきである。

図５において、８個の独立した平滑性基準をａｘ、ｂｘ、ｃｘ、ｄｘ、ａｙ、ｂｙ、ｃｙおよびｄｙとラベル付けし、その８個の対応するピクセル位置に適用する。以下では、十字マスク５２の内側および適宜十字マスク５２の外側に不連続性（即ち、輝度勾配）基準を適用する。

図６は、画像フレーム６０内の特定の位置に使用された９ピクセルによる十字マスク５２の一例を示す。十字マスク５２は、特定の位置に関して例示されるが、一般に、画像フレームにおける多数位置において、基準に照らしてテストされる。画像フレーム６０の位置６１等、特定の位置に関して、十字マスク５２の中心、および８個の輝度平滑性基準ａｘ、ｂｘ、ｃｘ、ｄｘ、ａｙ、ｂｙ、ｃｙおよびｄｙを、基準に照らして適用する。

これらの８個の平滑性基準に関して使用される特定の同定アルゴリズムは、同業者に周知のアルゴリズムの中の一つでもよい。８個の平滑性基準は、論理表記ａｘ∈Ｆ、ｂｘ∈Ｆ、．．．、ｄｙ∈Ｆを書き込むことによって満たされる。満たされる場合、対応する領域は、どのような輝度平滑性基準を採用していても「十分に平滑」である。

以下の例示の論理条件を使用して各候補ピクセルｘ（ｒ，ｃ）に関して全体的な平滑性基準が満たされるか否かを決定してもよい。即ち、
（ａｘ∈Ｆおよびｂｘ∈Ｆ）または（ｃｘ∈Ｆおよびｄｘ∈Ｆ） （１）
および、
（ａｙ∈Ｆおよびｂｙ∈Ｆ）または（ｃｙ∈Ｆおよびｄｙ∈Ｆ） （２）
ならば、
Ｃ_ｉ∈平滑である。

同様に、上記のブールステートメントは、以下の３つの条件のうち少なくとも一つの条件下で、Ｃ_ｉ∈平滑というステートメントが真であるという結果をもたらす。即ち、
ａ）十字マスク５２が、全体が十分に平滑な輝度である９ピクセル領域上に存在し、従って、十字マスク５２が、完全にブロックの内側に存在する十分に平滑な領域を含む、
または、
ｂ）十字マスク５２が、（ｒ＋１，ｃ）または（ｒ＋２，ｃ）または（ｒ−１，ｃ）または（ｒ−２，ｃ）の４か所のうち１か所で不連続部上に存在するが、残りの３か所では平滑性を満たす、
または、
ｃ）十字マスク５２が（ｒ，ｃ＋１）または（ｒ，ｃ＋２）または（ｒ，ｃ−１）または（ｒ，ｃ−２）の４か所のうち１か所で不連続部上に存在するが、残りの３か所では平滑性を満たす。

候補ピクセルを同定するために必要とされる、上記の処理では、十字マスク５２は、Ｃ_Ｚ∈平滑というステートメントが真であることを維持しながら、ブロックの位置に関わらず、ブロックの不連続な境界線、またはブロックの一部を空間的に覆う。

上記の論理の更に詳細な説明は以下の通りである。（１）および（２）における全ての括弧付きステートメントが真ならば、条件ａ）は真である。ｂ）において与えられた位置のうち１か所に不連続部が存在すると仮定する。すると、括弧付きステートメントのうちの１つが真であるので、ステートメント（２）は真である。ｃ）において与えられた位置のうちの一つに不連続部が存在すると仮定する。すると、括弧付きステートメントの一つが真であるので、ステートメント（１）は真である。

上記のブール論理を使用すると、十字マスク５２が、その位置に関わらず、ブロックの境界線、またはブロックの一部を描く不連続部にまたがる場合、平滑性基準が満たされる。

（候補ピクセルＣ_ｉに適用される）平滑性基準Ｆを決定するための特定のアルゴリズムを採用することは、本方法にとって重要ではない。しかし、高スループット能力を達成するために、一例のアルゴリズムは、いわば「水平方向に隣接したピクセルと垂直方向に隣接したピクセル間の輝度の第１前方差分の大きさ」である、ａｘ、ｂｘ、ｃｘ、ｄｘ、ａｙ、ｂｙ、ｃｙおよびｄｙの単純な数学的平滑性基準を採用する。例えば、二次元シーケンスｘ（ｒ，ｃ）の垂直方向における第１前方差分は、単にｘ（ｒ＋１，ｃ）−ｘ（ｒ，ｃ）である。

上述の平滑性基準は、各映像信号に関する各フレームの各領域において領域ＤＥＢを同定するには不十分な場合もある。ここで、上記のＣ_ｉ∈平滑という平滑性条件がＣ_ｉにおける候補ピクセルに関して満たされると仮定する。すると、この方法では、圧縮前後に、ブロックの境界線アーチファクトの一部である不連続部と元の画像に存在する所望のディテールに属する非アーチファクト不連続部との間の区別を向上させるため、マグニチュード不連続性基準Ｄを採用することも出来る。

マグニチュード不連続性基準方法は、単純な閾値Ｄを設定し、その閾値を下回れば、不連続部がブロック化のアーチファクトであると仮定する。輝度ｘに関してピクセルｘ（ｒ，ｃ）（６１）をＣ_ｉに書き込むと、マグニチュード不連続性基準は、
ｄｘ＜Ｄ
の形をとり、ｄｘは、十字マスク５２の中心（ｒ，ｃ）における輝度の不連続部のマグニチュードである。

Ｄの必要値は、圧縮アルゴリズムのイントラフレーム量子化ステップサイズから推察可能であり、同様に、デコーダおよびエンコーダから取得したり、既知の圧縮ファイルサイズから推定したりすることも出来る。このようにして、Ｄに等しいまたはＤよりも大きい元の画像の変遷は、ブロック化アーチファクトの境界線と誤解され、誤って非ブロック化されることが無い。この条件を平滑性条件と組み合わせることで、より厳しい基準となる。

ｘ（ｒ，ｃ）の輝度範囲の１０％から２０％に渡るＤの値が、様々な異なる種類の映像シーンのブロックアーチファクトを十分に減衰することが分かっている。

Ｃ_ｉ∈平滑およびｄｘ＜Ｄ
非アーチファクト不連続部（従って非ブロック化されるべきではない）は、元の圧縮されていない画像フレームに含まれたものなので、ほぼ確実に存在する。このような非アーチファクト不連続部は、上記の基準に従うと、ｄｘ＜Ｄを満たすことができ、周囲領域がＣ_ｉ∈平滑をもたらす個所に存在することができ、従って、このような不連続部が上記の基準を満たし、それによって誤って非ブロック化に分類され、誤って平滑化されることに繋がる。しかしながら、このような非アーチファクト不連続部は、高度に局在した画像ディテールに相当する。実験によって、そのような誤った非ブロック化は、概して、ＨＶＳには不快ではないことが確認されている。しかしながら、そのような誤った非ブロック化という稀な例の可能性を大幅に減少させるために、本方法の以下の先読み（ＬＡ）および後読み（ＬＢ）の実施形態を採用してもよい。

特定のビデオ画像フレームにおいては、特別な数値的条件群が存在し、その条件下では、元の映像フレームにおいて必要な元のディテールが、上記の局所的平滑性および局所的不連続性の両方の条件を満たし、従って不正に同定される（即ち、不正な非ブロック化および不正な平滑化を受ける）ことが実験から判明している。同様に、ごく一部のＣ_ｉが、ＤＥＴではなくＤＥＢに誤って指定される可能性がある。この一例として、（圧縮されていない元の画像フレームにおける）オブジェクトのエッジの輝度の垂直配向の遷移は、非ブロック化の平滑性条件および不連続性条件の両方を満たす。これは、表示された対応するリアルタイムの映像信号における視覚上不快なアーチファクトに繋がる場合がある。

以下のＬＡおよびＬＢ基準は任意であり、上記の特別な数値的条件を検討する。十字マスク５２から十字マスク５２の外側に適切に配置された位置までの画像の輝度変化を測定することによって検討を行う。

上記の基準Ｃ_ｉ∈平滑およびｄｘ＜Ｄを満たし、また「先読みＬＡ」閾値基準または「後読みＬＢ」閾値基準Ｌを超えれば、候補Ｃ_ｉピクセルは非ブロック領域に指定されない。導関数のマグニチュードに関して、ＬＡおよびＬＢの一実施形態は、
（ｄｘＡ≧Ｌ）または（ｄｘＢ≧Ｌ）または（ｄｘＣ≧Ｌ）または（ｄｘＤ≧Ｌ）
ならば、
Ｃ_ｉはＤＥＢに属さない。

上記において、（ｄｘＡ≧Ｌ）等の項は、単に、この場合、位置（ｒ，ｃ）から外側にピクセルＡの位置までに測定されたＬＡマグニチュード勾配または変化基準ｄｘのマグニチュードが閾値数Ｌ以上であることを意味する。他の３つの項は、位置Ｂ、ＣおよびＤに関して同様の意味を有する。

上記のＬＡおよびＬＢ基準の効果として、輝度マグニチュード変化の特定の距離Ｌ以内またはそれ以上の範囲内では非ブロック化され得ないことが保証される。

これらのＬＡおよびＬＢの制約は、不正な非ブロック化の可能性を減少するという所望の効果を有する。また、ＬＡおよびＬＢの制約は、平滑性および不連続性基準に関わらず、輝度勾配のマグニチュードが高い個所に近い領域において望ましくない非ブロック化を防止するにも十分である。

Ｃ_ｉのピクセルを非ブロック領域ＤＥＢに指定するために、上記３組の基準を組み合わせることによって得られる、組み合わせた基準の実施形態は、以下に一例の基準として表される。即ち、
Ｃ_ｉ∈平滑またはｘ＜Ｄおよび（（ｄｘＡ＜ＬおよびｄｘＢ＜ＬおよびｄｘＣ＜ＬおよびｄｘＤ＜Ｌ））
ならば、
Ｃ_ｉ∈ＤＥＢである。

この方法の実施形態として、上記が真であることは、短整数で高速論理演算を使用するハードウェアで決定してもよい。異なる種類の多くの映像に対する上記基準の評価は、非ブロック領域ＤＥＢ（およびそれによって補完的なディテール領域ＤＥＴ）を正確に同定する際のロバスト性を検証している。

多くの事前処理された映像は、「拡散した」ブロックエッジ不連続部を有する。視覚上不快でありながら、拡散したブロックエッジ不連続部は、垂直および／または水平方向の２個以上のピクセルにまたがる。これは、以下に例を用いて記述するように、非ブロック領域へのブロックエッジ不連続部の誤分類を招き得る。

例えば、基準不連続性閾値Ｄ＝３０で例えばｘ（ｒ，ｃ）＝１００からｘ（ｒ，ｃ＋１）＝１４０まで発生している、Ｃ_ｉ∈平滑を満たす平滑な輝度領域を分離するマグニチュード４０の水平な１ピクセル幅の不連続部を考える。この不連続部はマグニチュード４０で、Ｄを超過し、ピクセルｘ（ｒ，ｃ）が非ブロック領域ＤＥＢに属さないことを意味している。マグニチュード４０のこの同じ不連続部が、例えばｘ（ｒ，ｃ）＝１００からｘ（ｒ，ｃ＋１）＝１２０を経由してｘ（ｒ，ｃ＋２）＝１４０に至る拡散した不連続部の場合にどのように分類されるかを考える。この場合、（ｒ，ｃ）およびｘ（ｒ，ｃ＋１）での不連続部は夫々マグニチュード２０であり、値Ｄを超過しないので、誤った非ブロック化を発生させる。即ち、ｘ（ｒ，ｃ）およびｘ（ｒ，ｃ＋１）の両方が非ブロック領域ＤＥＢに誤って指定される。

同様の拡散したエッジ不連続部が垂直方向に存在する可能性がある。

最も一般的には、このような拡散した不連続部は２個のピクセルにまたがるが、大幅に圧縮された映像信号においては、３個のピクセルにまたがることが見られることもある。

拡散したエッジ不連続部を正確に分類するためのこの方法の一実施形態は、拡散した不連続部の境界線を同定し、それによって非ブロック化するのに使用可能な上記の９ピクセルによる十字マスク５２の拡張型を採用することである。例えば、図５の９ピクセルによる十字マスク５２において同定された全候補領域は１ピクセルのサイズであるが、同様の論理を採用して、十字マスクの全体が空間的に拡張される（即ち引き延ばされる）ことが出来ない理由はない。そのため、ａｘ、ｂｘ、．．．等は、ピクセル２個分の間隔をあけ、２×２ピクセルの中心領域を包囲する。上記の組み合わせたピクセルレベルの非ブロック条件は有効なままであり、以下の３つの条件のうち少なくとも１つの条件下でＣ_ｉ∈平滑であるように設計される。
ｄ）十字マスク５２（Ｍ）は、全体が十分に平滑な輝度である２０個のピクセルによる領域上に存在し、従って、Ｍが完全にブロックの内側に存在する十分に平滑な領域を含む、
または、
ｅ）十字マスク５２は、（ｒ＋２：ｒ＋３，ｃ）または（ｒ＋４：ｒ＋５，ｃ）または（ｒ−２：ｒ＋−１，ｃ）または（ｒ−４：ｒ−３，ｃ）の４か所の１×２ピクセル位置のうちの１か所で２ピクセル幅の不連続部上に存在し、残りの３か所では平滑性基準を満たす、
または、
ｆ）十字マスク５２は、（ｒ，ｃ＋２：ｃ＋３）または（ｒ，ｃ＋４：ｃ＋５）または（ｒ，ｃ−２：ｃ−１）または（ｒ，ｃ−４：ｃ−３）の４か所の１×２ピクセル位置のうちの１か所で２ピクセル幅の不連続部上に存在し、残りの３か所では平滑性基準を満たす。

このように、必要に応じて、十字マスクＭは、それらの位置に関わらず、Ｃ_ｉ∈平滑というステートメントが真であることを維持しつつ、ブロックの拡散した１ピクセル幅の境界線だけでなく２ピクセル幅の境界線も覆うことが出来る。２０ピクセルによる十字マスクに必要な最低演算数は、９ピクセルの場合に必要な数と同じである。

上記の平滑性および不連続性基準を決定できる詳細事項には多くのバリエーションがある。例えば、「平滑性」の基準は、典型的には、追加的な計算コストおよびより遅いスループットの下では、分散、平均、標準偏差等の統計的尺度に加え、異常値の排除を含むことが出来る。同様に、不連続部の特定は、輝度の完全な変化よりも僅かな変化を伴うことが出来、十字マスクＭは、不連続部が両方向にいくつかのピクセル上に拡散出来る様に拡張可能である。

上記基準の特定のバリエーションは、輝度の完全な変化よりも僅かな変化に関する。これは、ＨＶＳが輝度の僅かな変化に対してほぼ線形に応答するということが周知であるため重要である。僅かな変化に適応する上記の方法には、数多くの改良方法があり、それによって、特に画像フレームの暗領域において、非ブロック化に対する認識を向上させる。それらの方法は、
ｉ．画像輝度ｘ（ｒ，ｃ）を、候補ピクセルＣ_ｉとして平滑性および不連続性基準の直接の対象とせずに、輝度の対数Ｃ_ｉ＝ｌｏｇｂ（ｘ（ｒ，ｃ））が一貫して使用され、底ｂは１０または自然指数ｅ＝２．７１８．．．でもよい。
または
ｉｉ．輝度の差の大きさを直接採用せずに、僅かな差を、平滑性、不連続性、先読みおよび後読みの基準の全部または一部として直接使用する。例えば、平滑性基準は、

における絶対輝度閾値ｅから、

という式の相対閾値ｅ_Ｒ等の、相対的輝度の項を含む閾値に修正してもよく、添付における例では、本発明者らは、ｅ＝３および、ｘ（ｒ，ｃ）によって仮定出来る最大輝度であるＩ_ＭＡＸ＝２５５を使用した。

候補領域Ｃ_ｉは、アンダーサンプリングによってブロックアーチファクトのほとんどの境界線が見逃されないように、十分に密に画像フレームの二次元空間をサンプリングしなければならない。ブロックベースの圧縮アルゴリズムが、ほとんどのブロックのほとんどの境界線が両方向に少なくとも４ピクセルによって分離されることを保証すると仮定すると、この方法によって、ほぼ全てのブロック境界線の不連続部を見逃すことなく、各方向に４ピクセル置きに画像空間をサブサンプリングすることが可能である。各方向に８ピクセルまで実際に効果があることも分かっている。これは計算オーバーヘッドを大幅に減少させる。例えば、各方向に４ピクセル単位でのサブサンプリングは、非ブロック領域に属する不連続セットをもたらす。この方法の一実施形態は、このようなサブサンプリングを採用する。

候補ピクセル同士が両方向にＬピクセル離れていると仮定する。すると、非ブロック領域は、まばらに分布した候補ピクセルから、Ｌ×Ｌの正方形ブロックで全候補ピクセルを包囲することによって得られる領域として定義してもよい。これは、効率的アルゴリズムによって容易に実行される。

一旦非ブロック領域が同定されると、視覚上不快なブロックノイズ（ｂｌｏｃｋｉｎｅｓｓ）の知覚を減衰するために非ブロック領域に適用可能な様々な非ブロック化方法が存在する。ある方法では、例えば、空間的不変ローパスＩＩＲフィルタまたは空間的不変ローパスＦＩＲフィルタまたはＦＦＴに基づくローパスフィルタを使用することによって非ブロック領域に平滑化演算を適用する。

この方法の一実施形態は、平滑化演算の前に元の画像フレームをダウンサンプリングし、平滑化後に元の解像度にアップサンプリングする。この実施形態は、平滑化演算がより少数のピクセルに対して行われるので、より速い全体的平滑化を達成する。

再帰移動平均（即ち、ボックス）二次元フィルタ等の特定のフィルタを除いて、二次元ＦＩＲフィルタは、それらが実行しなければならない平滑化のレベルとともに増加する計算複雑性を有する。このようなＦＩＲ平滑化フィルタは、平滑化のレベルに略比例する多数のＭＡＣを必要とする。

（例えば量子化パラメータｑ＞４０を有する）高度に圧縮された映像は、典型的には、十分な平滑化効果を達成するために、１１を超える次数のＦＩＲフィルタを必要とし、これは１ピクセルにつき少なくとも１１回の加算および最大１０回の乗算に相当する。同レベルの平滑化は、はるかに小さい次数のＩＩＲフィルタ、典型的には次数２のフィルタによって達成可能である。このような方法の一実施形態は、非ブロック領域を平滑化するためにＩＩＲフィルタを採用する。

平滑化の他の方法は、空間的位置の関数として、フィルタの十字マスクを、ディテール領域に重複しないように変化させるように、平滑化フィルタを空間的に変化（即ち、空間的に適応）させることを除いて上記の方法と類似する。この方法では、フィルタの次数（ひいては十字マスクのサイズ）を、ディテール領域の境界に近づくにつれて適応するように減少させる。

計算コストは増加するが、必要なレベルの平滑化を達成するために、局所統計量に基づいて十字マスクのサイズも適応出来る。この方法は、フィルタの応答が、ディテール領域を上書きすること（それによって歪めること）、あるいは小さなディテール領域を貫通してディテール領域のエッジ周りに望ましくない「ハロー」効果を引き起こすことが出来ないように、空間的に異なるレベルの平滑化を採用する。

この方法の更なる改良形は、ＤＥＴが境界線に沿って拡大するように、全キーフレームに関して上記のａ）におけるディテール領域ＤＥＴに「成長」処理を適用する。本文に記述された方法等、境界線を拡大するために成長に使用される方法、あるいは当業者に既知の別の方法を使用してもよい。この更なる改良形では、隣り合う画像フレーム同士に関するディテール領域として、結果として得られる拡大ディテール領域ＥＸＰＤＥＴを使用し、このディテール領域がこれらフレームのキャンバス画像ＣＡＮを上書きする。これは、キーフレームにおけるディテール領域ＤＥＴ（およびその拡大領域ＥＸＰＤＥＴ）を同定するだけでよいので、スループットを増加し、計算複雑性を減少させる。ＤＥＴの代わりにＥＸＰＤＥＴを使用する利点は、ＥＸＰＤＥＴが、ＤＥＴによって覆うことが出来るものよりも高速移動するオブジェクトを効果的に覆うことである。これによって、所与の映像信号に関して、キーフレーム同士の間隔を更にあけることが出来、それによってスループットを向上して複雑性を減少させる。

この方法では、ディテール領域ＤＥＴをその境界線で拡大し、非ブロック領域の非ブロック化に使用される平滑化演算によって引き起こされるあらゆる「ハロー」効果を空間的に覆い、それによって不可視にすることも出来る。

この方法の一実施形態において、二次元Ｚ変換伝達関数

を有する、空間的に異なる二次元の再帰移動平均フィルタ（即ちいわゆる二次元ボックスフィルタ）を採用し、二次元次数（Ｌ１，Ｌ２）の高速の再帰二次元ＦＩＲフィルタリングを促進する。対応する二次元再帰ＦＩＲ入出力差分方程式は、

であり、式中、ｙは出力、ｘは入力である。この実施形態は、演算複雑性が低く、平滑化のレベルとは無関係であるという利点を有する。

本方法の具体的な例では、次数パラメータ（Ｌ_１，Ｌ_２）は、空間的に変化する、即ち、上記の二次元ＦＩＲ移動平均フィルタの空間性を、ディテール領域ＤＥＴとの平滑化フィルタの応答の重複を回避するように適応させる。

図７は、本明細書に記載の概念を使用して向上したビデオ画像品質を達成するための、方法７０等の方法の一実施形態を示す。この方法を実施するための一システムは、恐らく、プロセッサ８２−１および／または８４−１の制御下で、例えば、図８に示すシステム８０で作動するソフトウェア、ファームウェア、またはＡＳＩＣが可能である。処理７０１は非ブロック領域を決定する。処理７０２によって決定されるように、全非ブロック領域を発見すると、次に、処理７０３が、全非ブロック領域、また暗に全ディテール領域を同定することが出来る。

次に、処理７０４は、平滑化を開始することが出来、処理７０５は、いつＮ番目の非ブロック領域の境界線に到達したか否かを決定し、処理７０６は、Ｎ番目の領域の平滑化がいつ完了したか否かを決定する。処理７０８は、値Ｎに１を加算することによってこの領域をインデックスし、全非ブロック領域が平滑化されたと処理７０７が決定するまで、処理７０４〜７０７を続ける。次に、処理７０９は、平滑化非ブロック領域を各ディテール領域に結合させ、向上した画像フレームに到達する。全非ブロック領域が平滑化するまで結合処理を始めるのを待つ必要はないことに留意すべきである。なぜならこれらの処理は、必要に応じて、並行して実行可能なためである。

図８は、本明細書に記載の概念の使用の一実施形態８０を示す。システム８０では、映像（および音声は、入力８１として提供される。この映像は、図示しないローカルストレージからからでもよいし、または他の場所からの１つまたは複数の映像データストリームから受信される。この映像は、ライブビデオストリームや映像ファイル等の多くの形式で受信可能であり、エンコーダ８２によって受信される前に事前圧縮されてもよい。エンコーダ８２は、本明細書に記載の処理を使用して、プロセッサ８２−１の制御下で映像フレームを処理する。エンコーダ８２の出力は、ファイルストレージデバイス（図示せず）に対して接続されているか、デコーダ８４等のデコーダに対して、恐らくネットワーク８３を介して、ビデオストリームとして配信されてもよい。

２つ以上のビデオストリームがデコーダ８４に配信される場合、デジタルストリームの様々なチャンネルは、本明細書に記載の処理に従ってデコーディングするためのチューナ８４−２によって選択することが出来る。プロセッサ８４−１は、このデコーディングを制御し、デコーディングされた出力ビデオストリームは、ストレージ８５に格納する、または一つ以上のディスプレイ８６によって表示する、あるいは、所望であれば、その他の場所に配信（図示せず）することが出来る。様々な映像チャンネルが、エンコーダ８２等の一つの場所から、または図示しない異なる複数の場所から送信されることが出来る。デコーダからエンコーダへの送信は、送信媒体の帯域を節約しながら、有線送信または無線送信を使用するあらゆる周知の方法で実行可能である。

本発明およびその利点を詳細に記述したが、本明細書では、添付の特許請求項によって定義されるような本発明の趣旨および範囲から逸脱することなく、様々な変更、置換および改変が可能であることは理解されるはずである。更に、本出願の範囲を、本明細書に記述されたプロセス、機械、製造物、組成物、手段、方法およびステップの具体的な実施形態に制限する意図はない。当業者は、本明細書に記述された対応する実施形態と実質的に同じ機能を実行する、または実質的に同じ結果を達成する、現在存在するまたは後に開発されるプロセス、機械、製造物、組成物、手段、方法及またはステップを、本発明に従って利用してもよいことを、本発明の開示から容易に理解するだろう。従って、添付の特許請求項は、そのようなプロセス、機械、製造物、組成物、手段、方法またはステップを、それら請求項の範囲内に含むことを意図している。

Claims (51)

1. ＨＶＳに対して視覚上の混乱を引き起こすアーチファクトを画像フレームから除去する方法であって、前記方法は、
   各画像フレームのデジタル表現を、非ブロック化されるべき非ブロック領域と、本質的に非ブロック化されないままであるべきディテール領域とに分離する工程を含む方法。
2. 更に、
   各前記画像フレームの前記非ブロック領域を平滑化する工程、及び
   事前に分離された画像フレームと比較してＨＶＳに対する視覚上の混乱が小さい新たな画像フレームを形成するために、前記平滑化された非ブロック領域と前記ブロック化していないディテール領域を結合する工程
   を含む、請求項１に記載の方法。
3. 前記分離工程が、前記非ブロック領域を決定するために、輝度平滑性、不連続性、先読み、後読みのうちの少なくとも１つの基準を含む、請求項２に記載の方法。
4. アーチファクトブロックの位置がアプリオリに未知である圧縮画像フレームに減衰が生じるように、前記基準のパラメータを選択する、請求項３に記載の方法。
5. 前記アーチファクトブロックが、一度以上、事前に圧縮された、再フォーマットされた画像フレーム、混色された画像フレーム、サイズ変更された画像フレームのうち一つ以上に起因して前記圧縮映像フレームに生じる、請求項４に記載の方法。
6. 前記輝度平滑性基準が、輝度の局所的分散および局所的平均からなる統計的尺度を採用する、請求項３に記載の方法。
7. 輝度変化基準が輝度の僅かな変化に基づく、請求項３に記載の方法。
8. 前記平滑化工程が、前記非ブロック領域を減衰するための空間的平滑化工程を含む、請求項２に記載の方法。
9. 前記平滑化工程が、ブロックおよび前記非ブロック領域におけるその他のアーチファクトを減衰する工程を含む、請求項２に記載の方法。
10. 前記分離工程が、ＤＣＴベースのエンコーダ内で生じる、請求項１に記載の方法。
11. 前記平滑化工程が、ＦＩＲフィルタ、ＩＩＲフィルタの少なくとも一つを備える、請求項２に記載の方法。
12. 前記フィルタが、空間的に可変または空間的に不変であるかのいずれかである、請求項１１に記載の方法。
13. 前記平滑化工程が、少なくとも１つの移動平均ＦＩＲ二次元ボックスフィルタを備える、請求項１１に記載の方法。
14. 前記平滑化工程が、前記非ブロック領域の境界線の外側で平滑化が生じないことを確実にする手段を備える、請求項２に記載の方法。
15. 前記分離工程が、前記画像フレームを非ブロック領域とディテール領域とに再帰的に分離する、請求項１に記載の方法。
16. 前記分離工程が、
    候補領域を選択する工程、及び
    選択された候補領域毎に、選択された候補に関して、特定の基準に従って、選択された候補領域が前記非ブロック領域に属するか否かを決定する工程を含む、請求項１に記載の方法。
17. 前記候補領域が各画像フレームにおいてまばらに位置する、請求項１６に記載の方法。
18. 前記ディテール領域周りにハロー効果を生じることなく前記非ブロック領域の空間的不変フィルタリングを可能にするように、分離されたディテール領域が拡大される、請求項１７に記載の方法。
19. 前記拡大が、各候補ピクセルを周囲矩形のピクセルに成長させることを含む、請求項１８の方法。
20. 前記ディテール領域周りにハロー効果を生じることなく前記非ブロック領域の空間的不変フィルタリングを可能にするように、分離されたディテール領域が拡大される、請求項１に記載の方法。
21. 前記平滑化工程が、Ｎピクセルによる十字マスクの使用を含む、請求項２に記載の方法。
22. Ｎが９に等しい、請求項２１に記載の方法。
23. 前記平滑化工程が、分散したエッジ不連続部を有する映像信号を非ブロック化するための膨張した十字マスクを使用することを含む、請求項２に記載の方法。
24. 映像を表示するためのシステムであって、前記システムが、
    １ピクセルあたりの特定数のビットを有する第１の映像フレームを取得する入力を備え；前記特定数は、前記映像フレームがディスプレイに表示されると、前記ディスプレイが人間の視覚系（ＨＶＳ）に知覚可能なアーチファクトを生じるような数であり、及び
    前記第１の映像フレームから第２の映像フレームを作成する回路を備え、前記第２の映像フレームが前記ディスプレイに表示されると前記ＨＶＳにあまり知覚可能でないアーチファクトを生じる、システム。
25. 前記特定数が、最低０．１ビット／ピクセルにまで及ぶ、請求項２４に記載のシステム。
26. 前記特定数が、Ｈ．２６４エンコーダを使用して前記第１の映像フレームの圧縮によって提供されるビット数／ピクセルである、請求項２４に記載のシステム。
27. 前記特定数が、Ｈ．２６４エンコーダによって達成されるビット数の少なくとも１／２である、請求項２５に記載のシステム。
28. 前記作成する回路が、
    前記映像フレームをディテール領域と非ブロック領域とに分離する手段、及び
    前記第２の映像フレームを形成するために前記領域の結合前に前記非ブロック領域を平滑化する手段を備える、請求項２４に記載のシステム。
29. ユーザが、複数のデジタル映像フレームを含む複数のデジタルビデオストリームのうち一つを選択することを可能にするチューナを更に備える、請求項２８に記載のシステム。
30. 前記平滑化工程が、
    ある十字マスクサイズを有する空間的不変ＦＩＲフィルタ、及び
    前記空間的不変フィルタが前記ディテール領域を平滑化することを防止するプロセッサ
    を備える、請求項２８に記載のシステム。
31. 前記プロセッサが、前記十字マスクサイズの１／２にほぼ等しい距離だけ前記ディテール領域を拡大するように動作する、請求項３０に記載のシステム。
32. 前記平滑化手段が、空間的可変ＦＩＲフィルタを備える、請求項２８に記載のシステム。
33. 前記分離手段が、前記非ブロック領域を決定するために、輝度平滑性、不連続性、先読み、後読みのうち少なくとも一つの基準を使用する処理を含む、請求項２８のシステム。
34. アーチファクトブロックの位置がアプリオリに未知である圧縮画像フレームにアーチファクトの減衰が生じるように、前記基準のパラメータを選択する、請求項３３に記載のシステム。
35. 前記アーチファクトブロックが、一度以上、事前に圧縮された、再フォーマットされた画像フレーム、混色された画像フレーム、サイズ変更された画像フレームのうちの一つ以上に起因して前記圧縮映像フレームに生じる、請求項３４に記載のシステム。
36. 前記輝度平滑性基準が、輝度の局所的分散および局所的平均からなる統計的尺度を採用する、請求項３３に記載のシステム。
37. 輝度変化基準が輝度の僅かな変化に基づく、請求項３３に記載のシステム。
38. 前記平滑化手段が、前記非ブロック領域を減衰するために空間的に平滑化するように動作するプロセッサを備える、請求項２８に記載のシステム。
39. 前記平滑化手段が、前記非ブロック領域におけるブロック及びその他のアーチファクトを減衰するプロセッサを備える、請求項２８に記載のシステム。
40. 前記分離手段が、ＤＣＴベースのエンコーダの一部である、請求項２８に記載のシステム。
41. 前記平滑化手段が、ＦＩＲフィルタ、ＩＩＲフィルタのうち少なくとも１つを備える、請求項２８に記載のシステム。
42. 前記フィルタが、空間的可変又は空間的不変のいずれかであることが出来る、請求項４１に記載のシステム。
43. 前記平滑化手段が、少なくとも１個の移動平均ＦＩＲ二次元ボックスフィルタを備える、請求項２８に記載のシステム。
44. 前記分離手段が、前記画像フレームを非ブロック領域とディテール領域とに再帰的に分離する、請求項２８に記載のシステム。
45. 前記分離手段が、
    候補領域を選択する手段、および
    選択された候補領域毎に、特定の基準に従って、選択された候補領域が前記非ブロック領域に属するか否かを決定する手段
    を備える、請求項２８に記載のシステム。
46. 前記候補領域が各画像フレームにおいてまばらに位置する、請求項４５に記載のシステム。
47. 映像の表示方法であって、前記方法は、
    １ピクセルあたり特定数のビット数を有する第１の映像フレームを取得する工程を含み、前記特定数は、前記映像フレームがディスプレイに表示されると、前記ディスプレイが人間の視覚系（ＨＶＳ）に知覚可能なアーチファクトを生じるような数であり、
    前記第１の映像フレームから第２の映像フレームを作成する工程を含み、前記第２の映像フレームが前記ディスプレイに表示されると前記ＨＶＳにあまり知覚可能でないアーチファクトを生じる、方法。
48. 前記特定数が、最低０．１ビット／ピクセルにまで及ぶ、請求項４７に記載の方法。
49. 前記作成工程が、
    各前記フレーム内のディテール領域と非ブロック領域を分離する工程、及び
    前記非ブロック領域を平滑化する工程、及び
    前記平滑化された非ブロック領域を前記分離されたディテール領域と結合する工程
    を含む、請求項４７に記載の方法。
50. 前記平滑化工程が、
    ある十字マスクサイズを有する空間的不変ＦＩＲフィルタを使用する工程、及び
    前記非ブロック領域とディテール領域との間の境界領域でのハロー効果を回避するように、少なくとも前記十字マスクサイズの１／２に等しい距離だけ前記ディテール領域を拡大する工程
    を含む、請求項４９に記載の方法。
51. 複数の前記デジタル映像フレームを有する複数のデジタルビデオストリームをデバイスで受信する工程を更に含む方法であって、
    前記取得工程が、前記デバイスで前記受信したデジタルビデオストリームのうちの一つを選択することを含む、請求項５０に記載の方法。

Images