JP2013507799A - ビデオ画像のブラーを計算する方法及び装置 - Google Patents

Abstract

ブラーは、画質に関する最も重要な特徴の１つである。画像のブラーレベルを正確に推定することは、それの品質を正確に推定するための大きな助けとなる。ビデオ画像のブラーを計算する方法は、水平方向のブラー値を計算し、少なくともプログレッシブ／インタレース及び空間解像度レベルを含むビデオ画像の特徴パラメータを決定することを含む。ビデオ画像がプログレッシブである場合、さらに垂直方向のブラー値が計算され、水平方向のブラー値と合成される。次のステップは、所定の最小値及び最大値に従って、水平方向のブラー値又は合成された水平方向と垂直方向とのブラー値を正規化することである。最小値と最大値とは、空間解像度レベルに調整される。

Description

本発明は、ビデオ画像におけるブラー（ｂｌｕｒ）又はぼかしを決定及び計算する方法及び装置に関する。

ブラーは、画質に関する最も重要な特徴の１つである、画像のブラーレベルを正確に推定することは、それの品質を正確に評価するための大きな助けとなる。例えば、Ｄｅｂｉｎｇ Ｌｉｕ，Ｚｈｉｂｏ Ｃｈｅｎ，Ｈｕａｄｏｎｇ Ｍａ，Ｆｅｎｇ Ｘｕ及びＸｉａｏｄｏｎｇ Ｇｕによる“Ｎｏ−Ｒｅｆｅｒｅｎｃｅ Ｂｌｏｃｋ Ｂａｓｅｄ Ｂｌｕｒ Ｄｅｔｅｃｔｉｏｎ”（Ｐｒｏｃ．２００９ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ｑｕａｌｉｔｙ ｏｆ Ｍｕｌｔｉｍｅｄｉａ Ｅｘｐｅｒｉｅｎｃｅ，ｐｐ．７５−８０）、Ｐ．Ｍａｒｚｉｌｉａｎｏ，Ｆ．Ｄｕｆａｕｘ，Ｓ．Ｗｉｎｋｌｅｒ及びＴ．Ｅｂｒａｈｉｍｉによる“Ａ ｎｏ−ｒｅｆｅｒｅｎｃｅ ｐｅｒｃｅｐｔｕａｌ ｂｌｕｒ ｍｅｔｒｉｃ”（Ｐｒｏｃ．ｏｆ ＩＥＥＥ Ｉｎｔ．Ｃｏｎｆ．ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．３，Ｓｅｐｔ．２００２，ｐｐ．５７−６０）、又は同様の特許出願ＷＯ０３／０９２３０６など、上記問題を解決するための各種方法が提案された。

現在知られているすべてのブラー検出方式は、画像自体の情報から画像のブラーレベルを推定する。しかしながら、すべてのタイプのブラーに対して高いパフォーマンスを有する全体的なブラー検出方式を設計することは困難である。ブラー検出は、画質決定又は推定のため、又はブラーキャンセリング前に利用される。双方について、ブラーのソースが何であるか知ることが望ましい。画像のみからでは、これは困難であるか、又は不可能でさえある。従って、全体的なブラー検出方式が現在利用されている。このような全体的な手段は異なるケースにおいて特定のブラータイプを考慮することができないため、それの精度は良好でない。

Ｈ．２６４符号化又はＭＰＥＧ−２符号化により生成されたブラーなどの多数のタイプのブラーがあり、異なるタイプのブラーは異なる特徴を有していることが認識されてきた。ブラー検出及び計算は、画像解像度、符号化コンフィギュレーション、コーデックタイプ、ブラータイプなどの多数のファクタによる影響を受ける可能性がある。これらのファクタの情報の欠落は、ブラー検出のパフォーマンスに確かに影響を与えるであろう。これらのファクタの一部は取得可能でなく、又は画像自体のみからは正確には推定できない。

本発明では、改良された設定可能なブラー検出及び／又は計算方式を提案する。一態様では、ブラー検出及び／又は計算は、水平方向のブラー値を計算し、ビデオ画像の特徴パラメータを決定し、ブラー値を正規化することに基づく。ビデオ画像がプログレッシブである場合、垂直方向のブラー値がまた計算され、正規化前に水平方向のブラー値と合成される。改良されたブラー値は、画質決定又は推定のために利用可能であるか、又はブラーキャンセリングアルゴリズムのための制御パラメータとして利用可能である。

一実施例では、ユーザはまず、特徴ファクタのあるコンフィギュレーション又は設定を与え、ユーザコンフィギュレーションに基づき、適切なブラー検出方式が適用される。他の実施例では、特徴ファクタはビデオデコーダから直接取得される。追加的な情報は、ブラー検出のパフォーマンスを大きく向上させる。

例えば、ビデオは、インタレース又はプログレッシブであると識別可能である。これらの間には大きな相違があり、それは、これらの相違を考慮してブラー決定及びブラー計算を向上させる。本発明の一態様は、インタレースビデオ画像に固有のブラー検出方式を利用することであり、プログレッシブビデオ画像について、異なる固有のブラー検出方式が利用される。

本発明の一態様によると、ビデオ画像のブラーを決定及び／又は計算する方法は、水平方向のブラー値を計算するステップと、少なくともプログレッシブ／インタレース及び空間解像度レベルを含む前記ビデオ画像の特徴パラメータを決定するステップと、前記ビデオ画像がプログレッシブである場合、さらに垂直方向のブラー値を計算し、それを前記水平方向のブラー値とを合成するステップと、所定の最小値（ｍｉｎ）及び最大値（ｍａｘ）に従って、前記水平方向のブラー値又は前記合成された水平方向と垂直方向とのブラー値を正規化するステップとを有し、前記最小値と前記最大値とは、前記空間解像度レベルに調整される。

一実施例では、前記水平方向のブラー値を計算するステップは、垂直方向のＭＢエッジの中心の周囲の画像エリアに対して少なくとも／のみ実行される。一実施例では、前記垂直方向のブラー値を計算するステップはまた、水平方向のＭＢエッジの中心の周囲の画像エリアに対して実行される。

一実施例では、前記ブラー値の計算は、現在のピクセルの周囲のローカル分散を計算することを含む。

一実施例では、前記水平方向のブラー値のローカル分散は、垂直方向のライン上のピクセルと水平方向のライン上のピクセルとから計算され、前記垂直方向のラインからより前記水平方向のラインからより多くのピクセルが利用され、水平方向のＭＢエッジの前記中心は、両方のラインのメンバーである。一実施例では、前記ローカル分散が最大閾値を超えるか、又は最小閾値を下回る場合、前記現在のピクセルはブラー計算から排除される。

一実施例では、前記ビデオ画像の特徴パラメータの１以上が、ユーザインタフェースから、又はユーザインタフェースを介し入力後のメモリから取得される。一実施例では、前記ビデオ画像の特徴パラメータの１以上が、ビデオデコーダからマシーンインタフェースを介し取得される。一実施例では、前記ビデオ画像の特徴パラメータの１以上が、前記ビデオ画像に関するメタデータを介し取得される。異なる特徴パラメータがまた、これらのソースと異なるものから取得されてもよい。

本発明の他の態様によると、コンピュータプログラムプロダクトは、上述した方法をコンピュータに実行させるためのコードを有する。

本発明の他の態様によると、ビデオ画像のブラーを計算する装置は、水平方向のブラー値を計算する手段と、少なくともプログレッシブ／インタレース及び空間解像度レベルを含む前記ビデオ画像の特徴パラメータを決定する手段と、前記ビデオ画像がプログレッシブである場合、さらに垂直方向のブラー値を計算し、それを前記水平方向のブラー値とを合成する手段と、所定の最小値（ｍｉｎ）及び最大値（ｍａｘ）に従って、前記水平方向のブラー値又は前記合成された水平方向と垂直方向とのブラー値を正規化する手段とを有し、前記最小値と前記最大値とは、前記空間解像度レベルに調整される。

本発明の効果的な実施例が、従属クレーム、以下の説明及び図面に開示される。

図１は、設定可能なブラー検出方式の処理を示す。 図２は、プログレッシブ又はインタレース画像のブラー計算を示す。 図３は、水平方向ブラー計算の一例となるフローチャートである。 図４は、ローカルブラー計算のための位置とローカル分散計算のための領域とを示す。 図５は、ローカルブラー計算の一例を示す。

本発明は、フレキシブルで設定可能なブラー検出及び／又はブラー計算方式を開示する。図１は、以下の３つのステップを含む設定可能なブラー検出処理を全体表示する。

第１に、コンフィギュレーションデータが取得される。これらはユーザにより入力可能である。評価対象の画像について、ユーザは、シナリオを指摘するため、コンフィギュレーションの特徴パラメータを与えるようにしてもよい。ユーザのコンフィギュレーションは、解像度、プログレッシブ又はインタレース、コーデックタイプ、符号化コンフィギュレーション、ブラータイプ（圧縮ブラー、動きブラー、焦点外れブラー、ローパスフィルタブラー、アップサンプリングブラーなど）など、ブラー検出方式に影響を与えるものであってもよい。これらの特徴パラメータは、単独で又は何れかの組み合わせにより利用可能である。

特徴パラメータはまた、ユーザインタフェースを介して入力された後のメモリから、ビデオデコーダからのマシーンインタフェースを介し、及び／又はビデオ画像に関するメタデータを介し取得可能であることに留意されたい。後者の場合、ビデオデコーダは、ビデオ信号からメタデータを抽出する手段と、本発明によるブラー検出手段又は計算手段にメタデータを提供する手段とを有する。

第２に、適切なブラー検出方式は、コンフィギュレーションに従って自動的に選択される。ブラー検出方式は、上述されたコンフィギュレーションデータに従って変更される。この変更は、完全なフレームワーク変更であってもよいし、又は一部のパラメータの調整のみであってもよい。コンフィギュレーションが規定されていない場合、デフォルトブラー検出方式が選択可能である。

第３に、均一化（又は統一化）されたブラー値が出力される。ブラー検出方式は、異なるコンフィギュレーションに従って異なって機能し、これにより、計算されたブラー値の意義に影響を与えることになる。すなわち、異なるブラー検出及び／又はブラー計算方式から取得されるブラー値は、直接的には比較可能でない。従って、本発明によると、それらは統一されたフォーマットに統一又は標準化される。一実施例では、これはスケーリングにより取得可能である。例えば、リニアスケーリングが利用される。他のより高度なスケーリングタイプもまた可能である。

本発明の一実施例では、計算されたブラー値は（０〜１００）の範囲にスケーリングされる。ここで、０は最小のブラーを意味し、１００は最大のブラーを意味する。あるいは、スケーリングは、（０〜１）、（０％〜１００％）又は同様の範囲に対するものとすることが可能である。スケーリングルールは、異なるコンフィギュレーションについて異なるものであってもよい。

以下は、設定可能なブラー検出／計算方式の一例となる実施例である。それは、ビデオフォーマット（２つのオプションを有する）と解像度（２つのオプションを有する）との特徴パラメータに対応する２つのコンフィギュレーションアイテムを有する。

ビデオフォーマットは“プログレッシブ”であってもよく、評価対象の画像はプログレッシブビデオからのものであるか、又は“その他／非プログレッシブ”であってもよく、評価対象の画像はインタレースビデオからのものであってもよく、あるいは、ビデオがプログレッシブかインタレースか不明である。

解像度は、１２８０×７２０ピクセル以上などの“高解像度”であってもよいし、又は“その他”であってもよい（すなわち、ＳＤ、ＣＩＦ、ＱＣＩＦなどの１２８０×７２０ピクセル以下）。

一実施例では、本発明は、ユーザコンフィギュレーションを利用してブラー検出を支援する、すなわち、シナリオを理解することを有する。本実施例では、ユーザコンフィギュレーションは、ビデオ解像度（高解像度など）とビデオフォーマット（プログレッシブなど）の２つのアイテムを含む。コーデックタイプ（ＭＰＥＧ−２、Ｈ．２６４、ＪＰＥＧなど）、符号化コンフィギュレーション、ブラータイプ（動きブラー、焦点外れブラー、圧縮ブラー、アップサンプリングブラー、ローパスフィルタブラーなど）などの他のコンフィギュレーションもまたあってもよい。ユーザコンフィギュレーションは、テキストインタフェース、音声インタフェース、メモリインタフェース、スイッチコンフィギュレーションなどを介し入力されてもよい。

一実施例では、ブラー検出／計算方式は、以下のように要約できる。すなわち、コンフィギュレーションデータ（プログレッシブなど、高解像度、又は他の解像度タイプ）に従って、適切な方式が自動選択され、関連するパラメータが自動設定される。また、コンフィギュレーションデータによると、異なるスケーリングルールが均一化されたブラー値を取得するため利用される。

本発明の効果は、追加的なコンフィギュレーション情報によって、特定のシナリオにおけるブラー検出の精度が大きく向上可能であり、従って、当該方式がより多くのシナリオにおいて利用可能である。

図２は、ユーザコンフィギュレーションに基づくブラー検出方式のフローチャートを一例として示す。それは、以下の３つのステップを含む。

１．水平方向のブラー（ｂｌｕｒ＿ｈ）を計算する。これは、以下に示されるであろう（図３を参照）。

２．ユーザコンフィギュレーションに従って、複数の所定の異なる方式から適切な方式を選択する。プログレッシブ画像について、垂直方向のブラーが計算され、その後に最終的なブラーを取得するため水平方向のブラーと組み合わされる。これは、水平方向及び垂直方向のブラー計算が同様のパフォーマンスを有し、これらの組み合わせがより安定的な結果を取得するのに利用可能であるためである。垂直方向のブラーの計算は、水平方向のブラーのものと同じようにして実行され、以下においてより詳細に説明される。

他について（インタフェース画像又は未定義画像）、垂直方向のブラーは計算されない。その代わりに、水平方向のブラーのみが最終的なブラーとして利用される。これは、インタレース画像では、トップフィールドとボトムフィールドとは整列されていない可能性があり、垂直方向のブラーの計算に大きな影響を与える。最終的なブラーとして水平方向のブローのみを利用することがより良い。デインタレース処理は依然として、特に低品質の画像についてこの問題を解決することができない。

３．均一化されたブラー値を出力する。ユーザコンフィギュレーションによると、ｈｉｇｈ−ｒｅｓ．／ｐ、ｎｏｎ−ｈｉｇｈ−ｒｅｓ．／ｐ、ｈｉｇｈ−ｒｅｓ／ｉ及びｎｏｎ−ｈｉｇｈ−ｒｅｓ／ｉの４つのタイプの画像がある。下限と上限とが、これら４つのタイプの画像の多数に対する統計解析を介し、又は他のソースから取得可能である。統計解析後、数式（１）がスケーリングルール、

を提供する。ここで、ｘは計算されたブラー値であり、ｃ_ｍｉｎは計算されたブラー値の下限であり、ｃ_ｍａｘは計算されたブラー値の上限である。ｃ_ｍｉｎ及びｃ_ｍａｘは、表１などのように予め規定される。

異なる解像度の画像についてブラー検出方式は異なっているため、ｃ_ｍｉｎ及びｃ_ｍａｘの異なるペアが異なる解像度コンフィギュレーションによる画像のためのものであり、関連する計算されたブラー値は異なる範囲内にある（図３を参照）。一実施例では、それらは、異なる解像度の多数の画像の解析に基づき経験的に設定される。

上記実施例は、特徴パラメータの一部又はすべては、ユーザインタフェースを介した入力後のメモリから、ビデオデコーダからのマシーンインタフェースを介し、又はビデオ画像に関するメタデータから取得されるように修正されてもよいことに留意すべきである。

図３は、水平方向のブラー計算のフローチャートを示す。原理的に、垂直方向のブラーは、同じようにして計算できる。それは、以下のステップを含む。

ステップ１：ローカルブラーを計算するためのポジションを選択する。本発明では、ローカルブラー計算のためのポジションは、マクロブロック（ＭＢ）の境界の中心に設定される。図４に示されるように、Ｐ＿ｖ１及びＰ＿ｖ２は、垂直方向のブラーを計算するためのポジションであり、ＭＢの水平方向のエッジの中心上にある。Ｐ＿ｈ１及びＰ＿ｈ２は、ＭＢの垂直方向のエッジの中心上にあり、水平方向のブラーを計算するためのポジションである。ＭＢエッジ毎との奇数個のポイントと離散的なラスタのポイントとにより、エッジの“中心”上のポジションは、エッジの“実際の中心の隣”として実現できる。例えば、１６×１６ＭＢでは、垂直方向のエッジの８番目又は９番目のビットが中心として利用されてもよい。図４ａ）に示される例では、９番目のビット（先頭から数えて）が利用される。同じカウント及び同じピクセルがすべてのＭＢにおいて利用される。

ステップ２：ローカル分散（Ｖａｒ＿ｌ）を計算する。図４ａ）に示されるように、ポジションｐ＿ｈ１の周囲の水平方向の１６個のピクセルと、垂直方向の８個のピクセルとによる黒色のクロスは、ローカル分散計算のための領域である。垂直方向のローカルブラー計算のため、ローカル分散が、図４ｂ）に概略的に示されるように、垂直方向に１６個のピクセルと水平方向に８個のピクセルとを有するクロスエリアにおいて計算される。ローカル分散計算の数式は、

であり、ここで、Ｎは使用されるピクセルの個数であり（本例では、８＋１６＝２４）、ｘ_ｉは図４ａ）のｐ＿ｈ１の周辺の黒色のクロス領域のピクセルであり、

はすべてのｘ_ｉの平均値である。

ステップ３：Ｖａｒ＿ｌが所定の範囲内にあるか判断する。ローカルブラー計算は、複雑すぎる又は簡単すぎるテクスチャの領域ではかなり不正確なものとなりうることがわかっている。Ｖａｒ＿ｌの範囲の制限は、これらの領域を排除するのに役立ちうる。この範囲は、解像度に従って経験的に決定可能である。表２に一例が示される。例えば、上述した高解像度画像のあるＭＢエッジにおいて用いられる２４個のピクセルの分散計算が２０の値をもたらす場合、それは当該範囲内であり、ＭＢエッジが利用される。上述された高解像度画像の他のＭＢエッジにおいて使用される２４個のピクセルの分散計算が３４の値をもたらす場合、それは当該範囲外であり、ＭＢエッジは、ブラー決定／計算に利用されない。一実施例では、高解像度画像の範囲は、表２と同様に他の（又は未知の）解像度タイプの範囲より低い下限と低い上限とを有する。

ステップ４：ローカルブラーを計算する。一実施例では、ローカルブラーの異なる計算方法が、解像度に応じて利用される。図５において一例が示される。
ａ）高解像度
アルゴリズムは、水平方向に沿ってローカル最小又は最大輝度を有する２つのピクセルを検出する。これら２つのピクセルの間の距離は、ローカルブラーである。検出処理では、同じ輝度を有するピクセルが含まれる。図５において、Ｐ０はローカルブラー計算のためのポジションであり、Ｐ１はローカル最小輝度のピクセルであり、Ｐ２はローカル最大輝度のピクセルであり、ローカルブラー値はＰ１とＰ２との間の空間距離である（すなわち、６つのピクセル）。
ｂ）他の解像度タイプ
高解像度のための方式と異なって、同じ輝度を有するピクセルが検出処理において排除される。

図５において、Ｐ０はローカルブラー計算のためのポジションであり、Ｐ１はローカル最小輝度のピクセルである。

高解像度のための方式と異なって、検出処理はＰ３において停止される。これは、Ｐ０はローカル最大輝度のピクセルであり、Ｐ３はＰ０に等しいためである。ローカルブラー値は、Ｐ１とＰ０との間の空間距離である（すなわち、２つのピクセルの）。

他の実施例では、“高解像度”計算方法のみが利用される。さらなる他の実施例では、“他の解像度”の計算方法のみが利用される。

ステップ５：最終的な水平方向のブラー値を計算する。本ステップでは、関連するＶａｒ＿ｌが所定の範囲内にあるすべての水平方向のローカルブラー値が、最終的な水平方向のブラーを取得するため平均化される。一実施例は、関連するＶａｒ＿ｌが当該範囲内にあるすべての水平方向のローカルブラー値の算術平均を計算することによって平均化することを含む。

好適な実施例に適用されるような本発明の基本的な新規な特徴が図示、説明及び指摘されたが、開示された装置及び方法における、開示された装置の形式及び詳細における、及びそれらの動作における各種省略、置換及び変更は、本発明の趣旨から逸脱することなく当業者に可能であることが理解されるであろう。本発明はビデオ画像に関して開示されたが、当業者は、ここに開示された方法及び装置が何れかのデジタル画像に適用可能であることを認識するであろう。同一の結果を実現するため実質的に同じ方法で実質的に同一の機能を実行する要素のすべての組み合わせが本発明の範囲内にあることが明示的に意図される。開示されたある実施例から他の実施例への要素の置換がまた十分に意図及び想定される。

さらに、“均一化”及び“統一化”はここでは同義的に利用されることに留意すべきである。

本発明は純粋に例示的に説明され、詳細の変更は本発明の範囲から逸脱することなく可能であることが理解されるであろう。

明細書、請求項及び図面に開示される各特徴は、（必要に応じて）独立して又は何れか適切な組み合わせにより提供されてもよい。請求項における参照番号は、単なる説明のためのものであり、請求項の範囲に対する限定的な効果を有するものでない。

Claims (10)

1. ビデオ画像のブラーを計算する方法であって、
   水平方向のブラー値を計算するステップと、
   少なくともプログレッシブ／インタレース及び空間解像度レベルを含む前記ビデオ画像の特徴パラメータを決定するステップと、
   前記ビデオ画像がプログレッシブである場合、さらに垂直方向のブラー値を計算し、それを前記水平方向のブラー値とを合成するステップと、
   所定の最小値及び最大値に従って、前記水平方向のブラー値又は前記合成された水平方向と垂直方向とのブラー値を正規化するステップと、
   を有し、
   前記最小値と前記最大値とは、前記空間解像度レベルに調整される方法。
2. 前記水平方向のブラー値の計算は、垂直方向のＭＢエッジの中心の周囲の画像エリアに対して実行される、請求項１記載の方法。
3. 前記垂直方向のブラー値の計算は、水平方向のＭＢエッジの中心の周囲の画像エリアに対して実行される、請求項１又は２記載の方法。
4. 前記ブラー値の計算は、現在のピクセルの周囲のローカル分散を計算することを含む、請求項１乃至３何れか一項記載の方法。
5. 前記水平方向のブラー値のローカル分散は、垂直方向のライン上のピクセルと水平方向のライン上のピクセルとから計算され、
   前記垂直方向のラインからより前記水平方向のラインからより多くのピクセルが利用され、
   水平方向のＭＢエッジの前記中心は、両方のラインのメンバーである、請求項２を引用する請求項４記載の方法。
6. 前記ローカル分散が最大閾値を超えるか、又は最小閾値を下回る場合、前記現在のピクセルはブラー計算から排除される、請求項４又は５記載の方法。
7. 前記ビデオ画像の特徴パラメータの１以上が、ユーザインタフェースから、又はユーザインタフェースを介し入力後のメモリから取得される、請求項１乃至６何れか一項記載の方法。
8. 前記ビデオ画像の特徴パラメータの１以上が、ビデオデコーダからマシーンインタフェースを介し取得される、請求項１乃至７何れか一項記載の方法。
9. 前記ビデオ画像の特徴パラメータの１以上が、前記ビデオ画像に関するメタデータを介し取得される、請求項１乃至８何れか一項記載の方法。
10. 請求項１乃至９何れか一項記載の方法を利用してビデオ画像のブラーを計算する装置。

Images