JP2010505342A - 空間アクティビティメトリックとその評価方法 - Google Patents

Abstract

画像を特徴付ける空間アクティビティメトリックが、典型的には、画像の分散、勾配又はＤＣＴ係数の１つに基づき決定される。その後、空間アクティビティメトリックは、画像における推定されたノイズの大きさだけ低減され、これにより、空間マスク処理に関する空間アクティビティメトリックにより、フィルムグレインなどのノイズの存在により引き起こされるマスク処理されていない歪みの可能性が低減される。このような空間アクティビティメトリックの有効性は、画像における類似したテクスチャの各領域の空間アクティビティメトリックにより生成される各指標の類似性を判断し、画像における異なるテクスチャの各領域の空間アクティビティメトリックにより生成される各指標の相違を判断することによって決定できる。

Description

本出願は、その教示がここに援用される、２００６年９月２９日に出願された米国仮特許出願第６０／８４８，２９６号に対する３５Ｕ．Ｓ．Ｃ．１１９（ｅ）による優先権を主張する。

本発明は、空間アクティブティメトリックによる画像の特徴付けに関する。

画像処理の分野において、空間アクティビティメトリックは、画像の規定された領域内のテクスチャの指標を提供する。このテクスチャの指標を利用することにより、多くの通常の画像処理アプリケーションが人間の視覚系の空間マスキング効果を利用することが可能となる。人間の視覚系機構は画像のスムース領域よりもテクスチャ化領域に取り込まれるより大きな歪みを許容しうるため、空間マスキングが行われる。圧縮されたビデオ画像の場合、画像に取り込まれる歪みは量子化により生じるアーチファクトに対応する。ビデオ画像の透かし処理の場合、取り込まれた歪みは埋め込みデータに対応する。

多くの画像処理アプリケーションは、この空間アクティビティメトリックを用いて、取り込まれた歪みが肉眼により顕著に現れるフラット又は低詳細領域と、取り込まれた歪みがあまり顕著に表れないビジー又はテクスチャ化された領域とを区別する。既存の空間アクティビティメトリックはアニメーションに係る画像や低フィルムグレイン強度（ｆｉｌｍ ｇｒａｉｎ ｓｔｒｅｎｇｔｈ）などの低解像度ノイズを有する画像などのグレインフリー画像に対する良好な指標を提供するが、そのような指標は、ノイズが存在する場合に空間アクティビティを特徴化しない。このため、ノイズを含む画像について、空間マスキングはマスク処理されていない取り込まれた歪みを有する画像の部分に従ってしまう可能性がある。

既存の空間アクティビティメトリックは、（１）分散ベース、（２）勾配ベース及び（３）ＤＣＴベースの３つのカテゴリに分類することができる。それぞれの説明が以下に与えられるが、それらはすべて１６×１６のブロックに基づく。
［分散ベースメトリック］
このメトリックは、輝度の分散を用いた空間アクティビティを評価する。このカテゴリの代表的なメトリックは、ＭＰＥＧ−２リファレンスソフトウェアのレート制御アルゴリズムに用いられるメトリックである。

ただし、ｖａｒ_ｉはｉ番目の８×８のサブブロックの分散である。このメトリックを用いて、ＭＰＥＧ−２リファレンスソフトウェアは、テクスチャ化された領域におけるより大きな歪みと、スムース領域におけるより小さな歪みとを許容し、これにより、同じビットレートによるピクチャ全体のより高い視覚的なクオリティが獲得される。
［勾配ベースメトリック］
このカテゴリには２つのメトリックが存在する。第１のメトリックＡＣＴ^１ _ｇｒｄは、水平方向と垂直方向の勾配を考慮している。

ただし、Ｉ_ｉ，ｊはピクセル（ｉ，ｊ）における輝度値である。第２のメトリックＡＣＴ^２ _ｇｒｄは、対角線方向を考慮している。

ただし、ｇｒａｄ_{ｉ，ｊ，ｎ}は、ピクセル（ｉ，ｊ）における以下の４つの５×５の方向ハイパスフィルタの１つにより計算されるローカルな勾配である［３］。

［ＤＣＴベースメトリック］
このメトリックは、輝度値のＤＣＴ係数のＡＣ成分を利用する。第１のメトリックは、ＡＣ係数の絶対値を考慮する。

ただし、Ｆ（ｉ，ｊ）は周波数（ｉ，ｊ）のＤＣＴ係数である。もう１つは、ＤＣ係数によるＡＣ係数の正規化である［３］。

上記メトリックは、フィルムグレイン強度などの低ノイズを有する粒度フリー又は低解像度画像に対する良好な指標を提供する。しかしながら、これらのメトリックは、テクスチャなどのフィルムグレインなどのノイズを処理し、フィルムグレインなどの強いノイズを主に構成するスムース領域に相対的に大きな値を割り当てる。このため、これらのメトリックは、強いノイズを有するスムース領域をテクスチャ化された領域として誤ってみなしてしまう。このため、このようなメトリックは、スムース領域マスクすることが可能である歪みより大きな歪みを取り込む可能性がある。

従って、フィルムグレインなどのノイズが存在する領域の空間アクティビティを効果的に評価する新たな空間アクティビティメトリックが必要とされる。

表示される画像のクオリティを向上させるため、空間マスキングと共に空間アクティビティメトリック指標を適用する際、画像の視覚的クオリティはメトリックの有効性の指標として役立つ。ビデオ圧縮の場合、復号化されたピクチャは表示されるピクチャとして機能する。透かし処理アプリケーションの場合、表示されるピクチャは埋め込みデータを有する。空間アクティビティメトリックの有効性は、全体的な主観的評価を伴う。

評価時間を短縮するため、空間アクティビティメトリックのパフォーマンスを評価する客観的な方法が必要とされる。

概略的には、本原理の好適な実施例によると、画像を特徴付ける空間アクティビティメトリックを決定する方法が提供される。本方法は、まず空間アクティビティメトリックを決定することにより開始される。その後、画像内のノイズ（フィルムグレインを含みうる）が推定される。その後、空間アクティビティメトリックが推定されたノイズの大きさだけ低減され、これにより、空間マスク処理に関して空間アクティビティメトリックを利用することによって、フィルムグレインなどのノイズの存在により引き起こされるマスク処理されていない歪みの可能性が低下する。

本発明の他の特徴によると、画像におけるテクスチャの指標を提供するのに利用されるタイプの空間アクティビティメトリックの有効性を特徴付ける方法が提供される。本方法は、画像における類似したテクスチャの各領域の空間アクティビティメトリックにより生成される指標の類似性を判断することにより開始される。また、画像における異なるテクスチャの各領域の空間アクティビティメトリックにより生成される指標の相違が判断される。空間アクティビティメトリックが、類似したテクスチャ領域について類似した指標と、異なるテクスチャの各領域の指標間で大きなスプレッドとを提供する程度が、当該メトリックの高いパフォーマンスを反映する。

図１は、本原理の第１実施例により確立された空間アクティビティメトリックを画像に適用する処理の各ステップをフローチャートにより示す。 図２は、本原理の第２実施例により確立された空間アクティビティメトリックを画像に適用する処理の各ステップをフローチャートにより示す。 図３は、本原理の第３実施例により確立された空間アクティビティメトリックを画像に適用する処理の各ステップをフローチャートにより示す。 図４は、本原理の他の特徴による空間アクティビティメトリックの有効性を特徴付ける処理の各ステップをフローチャートにより示す。 図５は、エンコーダにより利用されるレート制御アルゴリズムに関して空間アクティビティメトリックがどのように適用可能であるか示す一例となるビデオエンコーダのブロック図を示す。 図６は、図５のエンコーダにおいてレート制御を実現するための本原理の他の特徴による処理の各ステップをフローチャートにより示す。 図７は、ビデオクオリティを評価するため空間アクティビティメトリックを適用する視覚的クオリティ解析手段のブロック図を示す。

既存の空間アクティビティメトリックは、フィルムグレイン強度が低いグレインフリー又は低解像度画像に対する良好な指標を提供するが、このようなメトリックは、フィルムグレインが存在する場合において空間アクティビティだけでなく輝度へもまた強い依存性を示す。説明のため、フィルムグレインは、一般にフィルム現像中に生成されるランダムテクスチャとして画像内に出現する。フィルムグレインは、フィルムストック、照明状態及び現像処理に依存してサイズ、形状及び強さの異なる加法性信号依存ノイズとして一般にみなされる。フィルムグレインの強さは、ピクセルの強さと高い相関を示し、このことは、既存の空間アクティビティメトリックが輝度に強く依存する理由を説明する。

本原理によると、輝度への依存性を大きく低減した空間アクティビティメトリックを確立する方法が提供される。本原理の方法は、（１）典型的にはモデリングを通じてフィルムグレインを推定し、（２）空間アクティビティメトリックからフィルムグレイン強度を排除することによって、輝度への依存性を低減させる。
［フィルムグレイン推定］
フィルムグレインは、以下の関係

に従って、典型的にはモデリングによって推定可能である。ただし、ｇ（ｉ，ｊ）及びｆ（ｉ，ｊ）はそれぞれ位置（ｉ，ｊ）における観察された及びノイズフリーピクセル値を構成し、γはフィルムストック及びシューティング条件に与えられた定数であり、ｎ（ｉ，ｊ）はゼロの平均の正規分布ノイズである。ｆ（ｉ，ｊ）^γ＊ｎ（ｉ，ｊ）の積は、フィルムグレインを特徴付ける。通常、γは０．３〜０．７の範囲であり、ほとんどのケースにおいて、約０．５の値を有する。近い値のｆ（ｉ，ｊ）があるスムース領域では、式（８）は、

により近似可能である。ただし、

である。ｎ（ｉ，ｊ）がｆ（ｉ，ｊ）から独立していると仮定すると、分散の関係式は以下のように取得できる。

ただし、σ^２ _ｇ，σ^２ _ｆ及びσ^２ _ｎはそれぞれｇ（ｉ，ｊ），ｆ（ｉ，ｊ）及びｎ（ｉ，ｊ）の分散であり、σ^２ _{ｇｒａｉｎ}はフィルムグレインの分散である。

まずフィルムに記録され、その後に高解像度ビデオに変換された画像について、通常は多くの領域はフラット又はほぼフラットに見え、すなわち、それらはテクスチャを欠いている。これらの領域の分散は、フィルムグレインにほとんど依存し、すなわち、

となる。同様の輝度を有するフラットな領域について、グレインの特性は同質であり、テクスチャ化された領域の分散より小さく極めて近いσ^２ _ｇをもたらす。この結果、分散のヒストグラムは通常は小さなピークを有する。従って、グレインの強さを推定するヒストグラムベースの方法は、良好な結果をもたらす。

ヒストグラムベースの方法を利用するため、画像内の各領域はまず個別の輝度範囲に従って複数のグループに分類される。各グループについて、分散のヒストグラムの計算は、第１ピークσ^２ _{ｐｅａｋ，ｉ}の特定を可能にするため行われる。すべての輝度範囲からのσ^２ _{ｐｅａｋ，ｉ}を使用して、σ^２ _{ｇｒａｉｎ}が線形回帰を利用して輝度の線形関数として求めることができる。

フィルムグレインの効果を排除するため、フィルムグレイン項が、

の関係式に従って既存の分散ベースメトリックＡＣＴ_ｖａｒから導かれる。ただし、ｍ（σ^２ _{ｇｒａｉｎ}）はσ^２ _{ｇｒａｉｎ}の関数である。特定の実施例では、フィルムグレインの効果は、フィルムグレインの分散としてみなすことができ、すなわち、

である。フィルムグレイン以外のノイズを考慮するとき、同様のモデルがノイズをモデル化し、空間アクティビティメトリックに対するそれの効果を排除するのに利用可能である。他の既存の空間アクティビティメトリックからフィルムグレインなどのノイズの効果を排除するアプローチの拡張は、ノイズを有するピクチャのパフォーマンスを向上させる。

図１は、本原理の第１実施例により確立された空間アクティビティメトリックを画像に適用する処理の各ステップをフローチャートにより示す。図１の処理はステップ１００において開始され、各種変数が初期化される。ステップ１００に続いて、Ｌｏｏｐ（１）として示される第１の繰り返しループを開始するためステップ１１０が実行される。ループインデックス値ｉは初期的には１に等しい。このループの各実行中、ループインデックス値ｉが１ずつ増加される。Ｌｏｏｐ（１）は、ステップ１２０〜１７０を含む。ステップ１２０は、画像から第ｉデータセットの読み込みを開始する。その後、ステップ１３０が実行され、典型的には、上述したモデリング処理によって、フィルムグレイン推定が行われる。

ステップ１３０の後にステップ１４０では、Ｌｏｏｐ（２）として示される第２の繰り返しループが開始される。ループインデックス値ｊは初期的には１に等しい。このループの各実行中、ループインデックス値ｊが１だけ増加される。Ｌｏｏｐ（２）は、ステップ１５０〜１６０を含む。ステップ１５０が行われ、第ｊ領域の空間アクティビティメトリックが計算される。ステップ１５０の繰り返しの実行によって、第ｉデータセットのすべての領域について空間アクティビティメトリックの計算が可能となる。ＭＰＥＧ−４ ＡＶＣなどのブロックベースのビデオ圧縮アプリケーションについて、１つの領域は１６×１６のマクロブロックを表す。

ステップ１５０における空間アクティビティメトリックの計算は、典型的には、上述された既知の手法の１つを利用して、まずメトリックを確定することによって開始される。初期的に確定された空間アクティビティメトリックは、分散ベース、勾配ベース又はＤＣＴベースメトリックを構成しうる。メトリックの初期的な確定に続いて、典型的にはモデリングから得られるフィルムグレインなどの推定されたノイズが、当該ノイズの効果を排除するためメトリックから差し引かれる。ステップ１５０において計算される空間アクティビティメトリックが、その後にステップ１６０において画像に適用される。画像に適用されると、空間アクティビティメトリックは、取り込まれた歪みが肉眼でより顕著となるフラット領域において目立たなくなるように歪みを取り込むことによって、空間マスキングを可能にするテクスチャの指標を提供する。第２ループ（Ｌｏｏｐ（２））は、ステップ１７０において終了する。すなわち、Ｌｏｏｐ（２）内の各ステップは、ループ変数ｊが合計領域数に対応するそれの最大値に到達する時点まで、再実行される。第１ループ（Ｌｏｏｐ（１））は、ステップ１８０において終了する。すなわち、Ｌｏｏｐ（１）内の各ステップは、ループ変数ｉが読み込まれるべきデータセットの総数に対応するそれの最大値に到達する時点まで、再実行される。すべてのデータセットのすべての領域が処理された後、処理全体がステップ１９０において終了する。

図２は、本原理の第２実施例により確立された空間アクティビティメトリックを画像に適用する処理の各ステップをフローチャートにより示す。以降においてより良好に理解されるように、図２の処理は図１と同じステップの多くを含む。しかしながら、図２の処理は、モデルが機能するデータセットと異なるデータセットを用いてフィルムグレインをモデル化する点で異なる。特定の実施例では、あるシーケンスの最初のｎ個のピクチャがフィルムグレインをモデル化するのに利用される一方、モデルはシーケンスのすべてのピクチャに適用される。

図２を参照するに、空間アクティビティメトリック適用処理は、初期化が行われる開始ステップ（ステップ２００）を実行することにより開始される。その後、ステップ２１０は、フィルムグレインのモデル化に使用されるデータセットが読み込まれる処理が実行され、その後ステップ２２０において、ノイズを推定するためモデルパラメータ（グレインのモデル化など）が抽出される。

その後、ステップ２３０において、Ｌｏｏｐ（１）として示される第１の繰り返しループが開始される。ループインデックス値ｉは初期的には１に等しい。このループは、ステップ２４０〜２８０を含む。ステップ２４０は、画像から第ｉデータセットの読み込みを開始する。ステップ２５０は、Ｌｏｏｐ（２）として示される第２の繰り返しループを開始する。ループインデックス値ｊは、初期的には１に等しい。このループの各実行中、ループインデックス値ｊは１ずつ増加される。Ｌｏｏｐ（２）は、ステップ２６０〜２７０を含む。ステップ２６０は、第ｊ領域の空間アクティビティメトリックを計算する。ステップ２６０の繰り返しの実行は、当該データセットのすべての領域の空間アクティビティメトリックの計算を保証する。

ステップ２６０における空間アクティビティメトリックの計算は、典型的には上述された既知の手法の１つを利用して、初期的にメトリックを確定することによって開始される。初期的には、空間アクティビティメトリックは、分散ベース、勾配ベース又はＤＣＴベースメトリックを構成しうる。メトリックの初期的な確定の後、典型的にはモデリングから得られるフィルムグレインなどの推定されたノイズが、当該ノイズのメトリックに対する効果を排除するためメトリックから差し引かれる。ステップ２６０において計算される空間アクティビティメトリックが、その後にステップ２７０において画像に適用される。空間アクティビティメトリックは、取り込まれた歪みが肉眼でより顕著となるフラット領域において目立たなくなるように歪みを取り込むことによって、空間マスキングを可能にするテクスチャの指標を提供する。第２ループ（Ｌｏｏｐ（２））は、ステップ２８０において終了する。すなわち、Ｌｏｏｐ（２）内の各ステップは、ループ変数ｊが合計領域数に対応するそれの最大値に到達する時点まで、再実行される。第１ループ（Ｌｏｏｐ（１））は、ステップ２９０において終了する。すなわち、Ｌｏｏｐ（１）内の各ステップは、ループ変数ｉが読み込まれるべきデータセットの総数に対応するそれの最大値に到達する時点まで、再実行される。すべてのデータセットのすべての領域が処理された後、処理全体がステップ２９５において終了する。

図１の処理と比較した図２の処理の効果は、図２のフィルムグレインのモデル化が当該モデルが適用されるデータとおそらく異なるデータセットを用いて実行されると言うことである。モデルの精度は、モデル化のためのサンプリング数を増やすことによって向上する。モデル化のためすべてのデータセットの一部しか使用しないことは、処理のスピードを増大させることとなる。

図３は、本原理の第３実施例により確立された空間アクティビティメトリックを画像に適用する処理の各ステップをフローチャートにより示す。図３の処理は、メタデータとして提供されるフィルムグレインモデルを利用することによって、図１の処理の変形を構成する。

図３の処理は、各種変数が初期化されるステップ３００において開始される。ステップ３００の後、ステップ３１０は、メタデータからフィルムグレインモデルを取得する。その後、ステップ３２０において、Ｌｏｏｐ（１）として示される第１の繰り返しループが開始される。ループインデックス値ｉは初期的には１に等しい。当該ループの各実行中、ループインデックス値ｉが１ずつ増加される。このループは、ステップ３３０〜３７０を含む。ステップ３３０は、画像から第ｉデータセットの読み込みを開始する。ステップ３３０の後のステップ３４０は、Ｌｏｏｐ（２）として示される第２の繰り返しループを開始する。ループインデックス値ｊは、初期的には１に等しい。Ｌｏｏｐ（２）の各実行中、ループインデックス値ｊは１ずつ増加される。Ｌｏｏｐ（２）は、ステップ３５０〜３６０を含む。ステップ３５０は、第ｊ領域の空間アクティビティメトリックを計算する。ステップ３５０の繰り返しの実行は、当該データセットのすべての領域の空間アクティビティメトリックの計算を保証する。

ステップ３５０における空間アクティビティメトリックの計算は、典型的には上述された既知の手法の１つを利用して、初期的にメトリックを確定することによって開始される。初期的には、空間アクティビティメトリックは、分散ベース、勾配ベース又はＤＣＴベースメトリックを構成しうる。メトリックの初期的な確定の後、典型的にはモデリングから得られるフィルムグレインなどの推定されたノイズが、当該ノイズのメトリックに対する効果を排除するためメトリックから差し引かれる。ステップ３５０において計算される空間アクティビティメトリックが、その後にステップ３６０において画像に適用される。空間アクティビティメトリックは、取り込まれた歪みが肉眼でより顕著となるフラット領域において目立たなくなるように歪みを取り込むことによって、空間マスキングを可能にするテクスチャの指標を提供する。

第２ループ（Ｌｏｏｐ（２））は、ステップ３７０において終了する。すなわち、Ｌｏｏｐ（２）内の各ステップは、ループ変数ｊが合計領域数に対応するそれの最大値に到達する時点まで、再実行される。第１ループ（Ｌｏｏｐ（１））は、ステップ３８０において終了する。すなわち、Ｌｏｏｐ（１）内の各ステップは、ループ変数ｉが読み込まれるべきデータセットの総数に対応するそれの最大値に到達する時点まで、再実行される。すべてのデータセットのすべての領域が処理された後、処理全体がステップ３９０において終了する。
［空間アクティビティメトリックのパフォーマンス評価方法］
一般に、空間アクティビティメトリックは、空間マスキング効果を利用することに役立つ。例えば、ビデオ圧縮アプリケーションにおいて同質な高い視覚的クオリティを得るため、より小さな空間アクティビティメトリックに係る領域が、より小さな量子化ステップサイズにより圧縮される。他方、より大きな空間アクティビティメトリックに係る領域は、より大きな量子化ステップサイズにより圧縮される。従って、空間アクティビティメトリックのパフォーマンスは、表示されるピクチャの視覚的クオリティに強い影響を与えることとなる。表示されるピクチャの視覚的クオリティを評価することによって、空間アクティビティメトリックのパフォーマンスを判断することが一般的である。このような処理は、全体的な主観的評価を伴う。

本原理の他の特徴によると、空間アクティビティメトリックのパフォーマンスを評価する方法が提供される。後述されるように、当該方法は、スムースな領域とテクスチャ領域の両方についてメトリックのパフォーマンスを客観的に評価することによってこのような評価を行う。
［スムース領域集約］
好ましくは、効果的な空間アクティビティメトリックは、同様の視覚的なスムースさを有する領域に同様の評価を割り当てるべきである。すなわち、空間アクティビティメトリックは、すべてのスムース領域についてほぼ１つのレベルに集約されるべきである。
［スムース領域とビジー領域との間のスプレッド］
マスキング効果を利用し、ビデオ圧縮などの所与の画像処理アプリケーションがテクスチャ領域においてより大きな歪みを許容するため、空間アクティビティメトリック指標は、スムースとテクスチャ（ビジー領域など）の間のスプレッドを設けるべきである。

上記２つの規準から、“Ｓｍｏｏｔｈ Ｂｕｓｙ Ａｒｅａ Ｓｐｒｅａｄ（ＳＢＡＳ）”と以降で呼ばれる評価は、空間アクティビティメトリックが、（１）同様の視覚的スムースさを有する領域にどのように評価を割り当てるか、（２）ビジー領域とスムース領域をどのように区別するかを定量化するよう定義することができる。

数学的には、ＳＢＡＳは、

により表すことができる。ただし、ａｖｇ_ｐｉｃはピクチャ全体の平均メトリックであり、ａｖｇ_ｆｌａｔ及びσ_ｆｌａｔはそれぞれ、スムース領域におけるメトリックの平均と標準偏差である。スムース領域は手作業により選択され、本方法の視覚的ヒントして役立つことに留意されたい。空間アクティビティメトリックが、同様の視覚的スムースさを有する領域に同様の指標を割り当てるとき、σ_ｆｌａｔは小さくなるであろう。他方、空間アクティビティメトリックがスムース領域とテクスチャ領域とを区別するとき、｜ａｖｇ_ｐｉｃ−ａｖｇ_ｆｌａｔ｜は大きくなる。このため、ＳＢＡＳの値が大きくなるほど、空間アクティビティメトリックは効果的なものとなる。

図４は、本原理の例示的な実施例による空間アクティビティメトリックの有効性を評価する方法を示す。この評価方法は、初期化が行われるステップ４００の実行により開始される。その後、ステップ４１０において、画像データセットの読み込みが行われる。ステップ４２０において、画像内のスムース領域の手作業による選択が実行される。次にステップ４３０において、第１のループが開始される。ループインデックス値ｉは初期的には１に等しい。ループはステップ４４０を有し、ループの各実行により、空間アクティビティメトリックのすべてのうちの最後のものが後述されるように解析されるまで、インデックス値ｉが増やされる。

ステップ４４０の各実行中、式（１１）に関して説明されるようなＳＢＡＳの値が、各空間アクティビティメトリックｉについて計算される。ループはステップ４５０において終了する。すなわち、当該ループ内の各ステップは、ループ変数ｉが評価が行われる空間アクティビティメトリックの個数に対応するそれの最大値に到達する時点まで再実行される。ステップ４６０において、空間アクティビティメトリックの全体評価が行われる。最大のＳＢＡＳを有する空間アクティビティメトリックが、“ベスト”なメトリックとなる。

図５は、エンコーダにより利用されるレート制御アルゴリズムに関して空間アクティビティメトリックがどのように適用可能であるか示す一例となるビデオエンコーダのブロック図を示す。図５のエンコーダは、入力ビデオ信号をバッファするフレームオーダリングバッファ５００を有する。フレームオーダリングバッファ５００は、和ブロック５０２の第１入力に接続される出力を有し、和ブロック５０２の出力は変換及び量子化ブロック５０５に接続され、変換及び量子化ブロック５０５は、エントロピー符号化ブロック５１０により実行されるエントロピー符号化の前に、和ブロックからの入力ビデオ信号に変換及び量子化を実行する。エントロピー符号化ブロック５１０は、和ブロック５１５の第１入力に接続されるそれの出力を有し、和ブロック５１５の出力は、エンコーダによる出力前に符号化されたビデオを格納する出力バッファ５２０を接続される。和ブロックの第２入力は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージを、入力メタデータから当該メッセージを生成するＳＥＩ挿入手段５１８から受け付ける。

エントロピー符号化ブロック５１０により実行される符号化は、リファレンスピクチャストア５２７に格納されているリファレンスピクチャに対して動き推定ブロック５２５により実行される動き推定に依存する。動き補償ブロック５３０は、動き推定ブロック５２５により決定される動き推定に必要な動き補償量を決定する。動き推定は、インター予測モードによるエンコーダの処理中に、和ブロック５０２の第２入力にスイッチ５３５を介し適用される。マクロブロック（ＭＢ）判定ブロック５４０は、何れのモードが現在のマクロブロックについてベストな符号化を与えるかに基づき、インター予測符号化とイントラ予測符号化の間で選択するようスイッチ５３５を制御する。

イントラ予測モードにより動作するとき、スイッチ５３５は、和ブロック５５５により与えられるような、逆変換及び量子化ブロック５５０とマクロブロック判定ブロック５４０との出力信号の和に基づき、同一ピクチャ予測を提供するイントラ予測ブロック５４５の出力に接続される。逆変換及び量子化ブロック５５０は、変換及び量子化ブロック５０５により生成される出力信号に対して逆変換及び量子化処理を実行する。和ブロック５５５の出力は、リファレンスピクチャバッファ５２７への以降の格納のため、ピクチャに対して実行されるデブロックキングフィルタ５６０に接続される。

図５のエンコーダは、変換及び量子化ブロック５０５の量子化レベルを制御するレート制御ブロック５７０を有する。さらに、レート制御ブロック５７０はまた、符号化がなされるピクチャのタイプを制御するため、ピクチャタイプ判定ブロック５８０を制御するピクチャタイプ判定ブロックを制御する。さらに、レート制御ブロック５７０はまた、符号化ビデオへの挿入のため、和ブロックにシーケンスセットを供給するＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）及びＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）挿入手段５９０を制御する。

図５に示されるように、レート制御ブロック５７０は、空間アクティビティメトリックに応じて動作する。図６は、図５のエンコーダのレート制御ブロック５７０内の空間アクティビティメトリックを適用する処理の各ステップをフローチャートにより示す。当該処理は、初期化が行われるステップ６００から開始される。その後、ステップ６１０において、典型的にはオペレータによってエンコーダのセットアップが行われる。エンコーダのセットアップは、ターゲットビットレートのセットアップと共に、符号化処理に係る１以上のパラメータの特定を伴いうる。ステップ６１０の後のステップ６２０においてループが開始される。ループインデックス値ｉは、マクロブロック（ＭＢ）の個数に対応する。初期的には、インデックス値ｉは１に等しい。ループはステップ６３０〜６５０を含む。ステップ６３０の各実行中、第ｉマクロブロック（ＭＢ_ｉ）の空間アクティビティメトリックＡＣＴ_ｎｅｗの値が計算される。ステップ６４０の各実行中、関係式

に従って、第ｉマクロブロックの量子化オフセットが計算される。このようにして、空間アクティビティメトリックは、量子化ステップサイズ又はＱＰパラメータオフセットにマッピングされる。ステップ６５０において、エンコーダは、典型的には、ＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ又はＶＣ−１などの既存の圧縮規格を利用して、第ｉマクロブロック（ＭＢ_ｉ）を符号化する。ループはステップ６６０において終了する。すなわち、ループ変数ｉがマクロブロックの個数に対応するそれの最大値に到達する時点まで、上記ステップが再実行される。その後、当該処理はステップ６７０において終了する。

図７は、ビデオクオリティの評価において空間アクティビティメトリックを適用する視覚的クオリティ解析手段のブロック図を示す。ビデオクオリティ解析手段は、入力ピクチャに適用する空間アクティビティメトリック７００を有する。空間アクティビティメトリック７００により与えられるテクスチャの指標は、ブロック７０５により実行される空間ノイズマスキングを制御する。

入力ピクチャは、第１クオリティ解析手段７１０によるリファレンスピクチャに関する客観的なクオリティ解析が行われる。第２クオリティ解析手段７２０は、リファレンスピクチャセットに対する比較のため、ブロック７０５からの空間マスク処理されたピクチャと共に、第１解析手段の出力を受け付ける。第２解析手段７２０の出力は、クオリティ評価結果を提供する。

上記は、画像ノイズを考慮した空間アクティビティメトリックを利用して画像を特徴付ける技術について記載した。

Claims (12)

1. 画像を特徴付けるための空間アクティビティメトリックを決定するステップと、
   前記画像内のノイズを推定するステップと、
   前記推定されたノイズに従って前記決定された空間アクティビティメトリックを変更するステップと、
   を有する方法。
2. 前記空間アクティビティメトリックは、前記画像内の分散に従って決定される、請求項１記載の方法。
3. 前記空間アクティビティメトリックは、画像の勾配に従って決定される、請求項１記載の方法。
4. 前記空間アクティビティメトリックは、離散コサイン変換係数に従って決定される、請求項１記載の方法。
5. 共通の画像データセットから、前記空間アクティビティメトリックは決定され、前記ノイズは推定される、請求項１記載の方法。
6. 異なるデータセットから、前記空間アクティビティメトリックは決定され、前記ノイズは推定される、請求項１記載の方法。
7. 前記ノイズは、メタデータを介し取得されるモデルを利用して推定される、請求項１記載の方法。
8. 画像テクスチャの指標を提供するため、前記空間アクティビティメトリックを前記画像に適用するステップと、
   低いテクチャを有する領域における取り込まれた歪みの発生を低下させるため、前記空間アクティビティメトリックに従って歪みを取り込むことによって前記画像を空間マスク処理するステップと、
   をさらに有する、請求項１記載の方法。
9. レート制御を変更するため、前記決定された空間アクティビティメトリックを低下させながらエンコーダに適用するステップをさらに有する、請求項１記載の方法。
10. 量子化オフセットを制御するため、前記決定された空間アクティビティメトリックを低下させながらエンコーダに適用するステップをさらに有する、請求項１記載の方法。
11. 画像におけるテクスチャを特徴付ける空間アクティビティメトリックの有効性を特徴付ける方法であって、
    前記画像における類似したテクスチャの各領域について前記空間アクティビティメトリックにより生成される指標の類似性を判断するステップと、
    前記画像における異なるテクスチャの各領域について前記空間アクティビティメトリックにより生成される前記指標の相違を判断するステップと、
    を有する方法。
12. 前記第１の判断するステップはさらに、低いテクスチャを有する少なくとも２つの領域を手作業により選択するステップを有する、請求項１１記載の方法。

Images