JP2008263604A - ビデオ位置予測方法 - Google Patents

Abstract

【課題】散乱による注視点フォーカス確率軌跡のビデオ位置を予測する。
【解決手段】テスト・ビデオ入力に基づいて公称測定マップを作成し、テスト・ビデオ入力に基づいて注視点確率マップを作成する。公称測定マップ及び注視点確率マップに基づいて周辺感度確率マップを作成する。公称測定マップ、注視点確率マップ、周辺感度マップ及び散乱制御に基づいて散乱を有する注視点確率マップのフォーカスを作成する。散乱を有する注視点確率マップのフォーカス及び公称測定マップに基づいて注視点重み付け測定マップを供給する。
【選択図】図６

Description

本発明は、一般に、ビデオの試験及び測定に関し、特に、因果視聴者（causal viewer）用の主観的ビデオ品質予測の如きコア・ビデオ画像品質（ＰＱ）測定を改良するビデオ位置予測方法に関する。

ＭＰＥＧ−２及びＨ．２６４プロセス・ビデオの如きビデオ圧縮方法は、損失のある圧縮方法を用い、観念的には人間の目が見えないエラーを導入する。圧縮方法の損失により生じる任意の見えるエラーは、それ自体が、一般的に観察者に散乱できる欠陥アーティファクトとして、明瞭になる。さらに、ビデオ・イメージの他の外観は、観察者の注意を引く。これら他の非散乱注視点（attention）の引きつけにより空間及び時間にわたって注視点のフォーカスの確率密度を予測するのに用いるアルゴリズムが開発され、しばしば「注視点モデル」と呼ばれている。用語「散乱(distraction)」は、ここでは、ビデオ欠陥のことを言い、より一般的には、ビデオ内の意図した内容ではなくビデオ基準からの偏差を言う。この偏差は、「散乱」の独特な形式を有する。

知覚差予測モデルなどの他のビデオ測定に関係して用いる際に、注視点モデルが今まで開発されてきた。散乱を有するビデオを測定する際、注視点モデルを削除する場合以上の主観的評価の知覚を一般的には改善しない。多くの研究は、散乱が存在しないときに、注視点のフォーカスの確率の予測は非常に良い。また、ビデオ表示がどの程度の視野を占めるかに応じて、人間の周辺視野は、「中心窩」即ち、中心視覚よりも、空間的散乱に対して実質的に敏感ではないことが知られている。よって、視覚ビデオがどの程度劣化しているかを示す知覚できない基本的な断片は、人々が上述の散乱を何時何処で見ているかに応じて決まる。

特開２００３−１９９１２７号公報

そこで、従来技術でのように注視点の観察者のフォーカスを予想するが、散乱による注視点を新たに追加した自動化方法が望まれている。

本発明は、散乱による注視点フォーカス確率軌跡のビデオ位置を予測する方法であって；テスト・ビデオ入力に基づいて公称測定マップを作成するステップと；テスト・ビデオ入力に基づいて注視点確率マップを作成するステップと；公称測定マップ及び注視点確率マップに基づいて周辺感度確率マップを作成するステップと；公称測定マップ、注視点確率マップ、周辺感度マップ及び散乱制御に基づいて散乱を有する注視点確率マップのフォーカスを作成するステップと；散乱を有する注視点確率マップのフォーカス及び公称測定マップに基づいて注視点重み付け測定マップを供給するステップとを具えている。

本発明の方法は、既存のビデオ測定、特に、品質測定及び主観的品質評価予測に組み込まれる手段、例えば、これらの測定のオーバーモールドも付け手段を具える必要がある。また、散乱性の制御は、人口統計などに反映する特定のアプリケーションにとって重要である。最後に、散乱に応答した注視点の行動を含む方法には、コンピュータにより効率化でき、所定精度の処理が比較的低レベルであることがましい。

よって、本発明の種々の実施例は、ビデオ品質評価用の注視点モデルにて散乱を表現するものを発生するメカニズムを含む。このメカニズムを含むことにより、周辺視野にて（ある大きさ以上の対象物の動きのような場合を除く）、低減した知覚感度（しきい値及びしきい値以上の両方）をシミュレーションする。よって、観察すべき散乱の可能性を良好に予測する。散乱として観察されるだろう適度な程度のビデオ・アーティファクトを認識するメカニズムを含んでおり、注視点の散乱の確率の予測において、各アーティファクトの程度を選択的に重み付けできるようにする。別の実施例では、所望のメカニズムに対応する主観的類似物を含んでいる。

本発明の実施例を図６に示す。テスト・ビデオ入力６２０と、テスト・ビデオ６２０に対応するがテスト・ビデオ入力内に欠陥が存在しないオプションとしての基準ビデオ入力６３０とに基づいて、ブロック６１０に示すように、公称ビデオ測定を行い、散乱ソース・マップを作成する。テスト・ビデオ・フレームの例は、図１に示す対応基準ビデオ・フレームと共に、テスト・ビデオ・フレームの例を図２に示す。本発明の一実施例において、テスト・ビデオ入力６２０と共に基準ビデオ入力６３０を用いて、完全（フル）基準測定として、公称ビデオ測定を行い、散乱ソース・マップを作成する。別の実施例においては、基準ビデオ入力６３０を使用しないことを意味する非基準測定として、公称ビデオ測定を行うと共に、散乱ソース・マップを作成する。完全基準又は非基準のいずれかを用いて、本発明の実施例は、主観的、客観的、又は客観的な重み付け主観的な測定のいずれでもよい。主観的測定に適用する実施例においては、２００５年１２月１３日に発行されたケビン・ファーガソンによる米国特許第６９７５７７６号「ヒューマン・ビジョン知覚及び知覚差」に開示された手段及び方法論を用いている。客観的測定に適用する実施例においては、ＰＳＮＲ測定を実行する。客観的測定に適用する他の実施例においては、２００８年３月２８日出願のケビン・ファーガソンによる米国特許出願第１２／０５８４７４号「ビデオ・コーデック・ブロックにおける細部の損失を測定するシステム及び方法」に記載のように、アーティファクトの検出を行う。さらに他の実施例においては、２００６年９月５日に発行されたケビン・ファーガソンによる米国特許第７１０２６６７号「知覚できる欠陥の明らかな原因に対するピクチャ品質分析」に開示された客観的重み付け主観的な測定を提供する。注視点で重み付けされておらず、「公称マップ」と呼ぶ公称ビデオ測定マップの例を図３に示す。図４は、「注視点マップ」という注視点確率マップのフォーカスの例を示す。これらは、６１０に示すように、公称ビデオ測定により提供される出力の例である。

テスト・ビデオ入力６２０を用いて、注視点確率マップのフォーカス６４０を作成する。非基準測定の場合、テスト・ビデオは、それ自体による入力である。完全基準実施例において、基準ビデオ入力６３０も提供する。公称ビデオ測定ブロック及び注視点モデルの間の点線は、直接ビデオ入力の代わりの注視点モデルへの入力として用いる中間知覚モデル出力（知覚コントラスト）を含むオプションとしての実施例を示すことに留意されたい。本発明の実施例において、２００３年１２月３０日に発行したウィルフレイド・オスバーガーによる米国特許第６６７０９６３号「仮想注視点モデル」に記載のように、注視点確率マップのフォーカスを提供する。

散乱ソース・マップ及び公称ビデオ測定６１０と注視点確率マップのフォーカス６４０の出力を、散乱性制御（distractibility control）６５２と共に、散乱を含む注視点予測６５０に供給する。散乱性制御は、例えば、０及び１００％の間の値を出力する。散乱を含む注視点予測６５０の出力は、公称マップと共に、散乱重み付け測定マップ６６０を含む注視点への入力として供給される。マップ６６０は、散乱６５０を有する注視点予測からの入力マップにより、公称マップをマスクする。この結果は、夫々１００％、５０％及び１０％の散乱性制御設定に対応した図７〜９の例に示すようになる。

散乱を含み、測定マップを重み付けした注視点の出力をマップ・フォーマット及びプール・ブロック６７０に供給する。これは、測定マップと共に、エンド・ユーザに表示するための測定概要データを提供する。ブロック６７０からの結果出力は、散乱、重み付けした測定マップを含む注視点の表示である。いくつかの実施例では、散乱、重み付けした測定を含む注視点も表示してもよい。

散乱を含む注視点予測ブロック６５０は、ある操作を実行するために２つの他のブロックを提供する。公称マップ及び注視点確率マップに基づいて、周辺感度確率マップ６５４を作成する。第２ブロック６５８は、公称マップ、注視点確率マップ、周辺感度マップ、散乱性制御からの入力に基づいて、散乱マップを有する注視点散乱のフォーカスを生成する。散乱ブロックを含む注視点確率内のこれら２つのブロックの動作は、以下に詳述する。

本発明の実施例において、返信マップに対する感度を注視点感度マップにより畳み込むことにより、周辺感度確率マップを作成する。返信を有する周辺感度の変化が、マーク・キャノンの研究などに示された実験的データ結果により、視覚科学に示されている。次のように、所定周波数に対して、コントラスト感度しきい値の上昇を図１０に示すように近似してもよい（この場合、最大感度に略対応する）。
perifSensRawModel(Eccentricity)=1.165^Eccentricity

極座標において、２次元に渡るこの感度を表すヒューマン・ビジョン・ポイント・スプレッド関数（ＰＳＦ）は、偏心を代用するｒを伴う円掃引として近似できる。
perifSensModelPSFpolar(Θ,r)=perifSensModel(-r)
ポイント・スプレッド（点広がり）関数は感度上昇の逆数なので、―ｒをｒの代わりに用いる点に留意されたい。最後に、直交座標では次のようになる。
perifSensModelPSF(x,y)=perifSensModel(-√(x²+y²))

注視点マップによりポイント・スプレッド関数を畳み込んで、ＰＳＦＦマップを作成する。このＰＳＦＦマップは、注視点マップ確率に応じてイメージ内の注視点誘引（attention attracters）を探す際に、周辺視野によるしきい値上昇の確率の逆数を表す。ＳＰＦＦマップの各サンプルを０．１％知覚コントラスト（キャノン当たり）の公称（中心窩）しきい値に分割して、上昇しきい値を発生する。

この方法は、高レベルの確度を達成する。しかし、これは、幾分計算的には効果である。特定の見える距離において、ポイント・スプレッド関数がどの程度変化するかを評価することにより、より簡単な別の方法により良好な近似ができる。ここでは、平均イメージ偏心による平均周辺感度上昇を用いる。例えば、次のように、見える距離（viewingDist:スクリーンの高さを単位とする）の関数として、最大偏心（MaxEccentricity）レンジを考慮する。
MaxEccentricity(viewingDist, aspecRatio)=tan^-1(1/(2*viewingDist*aspectRatio))*180/π

図１１において、１６／９の高分解能テレビジョン表示のアスペクト比（aspectRatio）用に、この関数を見える距離（viewingDist）に対してプロットする。このプロットは、多くの実際のビデオ視聴の場合にＰＳＦのダイナミック・レンジが非常に低いことを示す。平均偏心に対応する一定の上昇を用いると、結果がほぼ最小の全体エラー（ＲＭＳなど）となる。所定最大偏心及び表示アスペクトの平均偏心は、次のようになる。

なお、totalViewingAngle=2*MaxEccentricity(viewingDist, aspectRatio)となる。

見える距離及び表示アスペクト比から得たperifSensModelPSFpolar(0, MeanEccentricity)を計算することにより、近似平均コントラスト感度しきい値上昇を計算できる。一般的に、注視点マップは、スクリーンの中央に向かって分布する高い確率を有するので、平均において、イメージを横切る上昇したしきい値に大きな変動がない。３スクリーン分の高さに対する略２からの上昇係数レンジの値は、１０スクリーン分の高さに対して約１．２５に落ちる。これら値を、図６のブロック６５４からの全周辺感度マップ出力として用いる。

この方法は、ほとんどのアプリケーション用に良好な近似の速度（計算的には低い費用）を生じる。

同様に、しきい値を超えた（suprathreshold）応答は、周辺視野で変化するが、一層少ない。しきい値の上昇が一定で表される場合には、しきい値を超えた感度も一定で表される。

図６において、６５８で示す散乱マップによる注視点確率のフォーカスを作成する方法を提供する。通常低い注視点の領域を充分な散乱により上昇させる。この方法は、多くのアプリケーションに対して良好な近似の速度（計算的には低い費用）を生じる。次のピクセル様式の動作を用いて、周辺感度（上昇したしきい値、即ちＥＴ）確率マップ（オプションとしては上述の如き一定値と置換する）を注視点マップ及び散乱性制御と組合せる。
attentionProb(pcDiff, att, ET, EG, maxAttn, wt) = if(pcDiff > ET((maxAttn-attn)/maxAttn), EG, 0) (maxAttn-attn)*wt + attn
なお、pcDiffは、公称マップの行ｙ及び列ｘにおけるピクセルを表す。attnは、注視点マップの対応ピクセルである。ETは、周辺感度（上昇したしきい値又はＥＴ）確率マップのピクセルである。EGは、しきい値を超えた感度確率マップである。maxAttnは、注視点マップ内の最大値である。wtは、散乱性制御である。if(boolean, x, y)は、booleanが真ならばｘ、偽ならばｙである。この例では、便宜上、maxAttnは１に正規化されており、一般的には、この値は確率分布に応じて決まる点に留意されたい。

図１２〜１５は、種々のレベルの公称マップ、注視点マップ及び散乱性制御によるattentionProbの動きを示す。

実際には、注視点の低い確率を有するイメージ領域は、同様に、公称マップ（例えば、知覚コントラスト）用の上昇したしきい値を有し、低い値が全体にマスクされる。一方、高い注視点確率の領域は、散乱により影響されない。ここでは、注視点確率が変化せずに残り、最終注視点重み付け出力も同様に変化しない。注視点マップ値におけるこれら２つの極端な間では、応答が連続的であり、散乱性制御により総てが略重み付けされる。

完全な基準測定に用いる基準ビデオ・シーケンスの無欠陥の基準ビデオ・フレームの例を示す図である。 完全な基準又は非基準測定のいずれかにより用いるテスト・ビデオ・シーケンスの欠陥テスト・ビデオ・フレームの例を示す図である。 図１の基準ビデオ・フレーム及び図２のテスト・ビデオ・フレーム用に計算した予測知覚コントラスト差マップの例を示す図である。 図１に示すビデオ用に計算した注視点確率マップの予測フォーカスの例を示す図である。 図３の注視点マップ及び図４の知覚差を用いて、図１に示すビデオ用に 本発明の実施例のブロック図である。 １００％に設定された散乱性制御を伴う散乱を有する注視点確率マップのフォーカスの例を示す図である。 ５０％に設定された散乱性制御を伴う散乱を有する注視点確率マップのフォーカスの例を示す図である。 １０％に設定された散乱性制御を伴う散乱を有する注視点確率マップのフォーカスの例を示す図である。 簡単なモデルperifSensModel（角度）に対する偏心データに関する周辺しきい値評価のグラフを示す図である。 １６：９の表示アスペクト比の例用の見える距離に応じたイメージ内の最大しきい値評価係数のグラフを示す図である。 本発明の実施例による動きを示すのに用いる合成公称マップ・ラインを示す図である。 本発明の実施例による動きを示すのに用いる合成注視点マップ・ラインを示す図である。 夫々０％、２５％、５０％、７５％及び１００％の散乱制御にて設定された散乱を有する復号注視点マップ及び高めたしきい値（ＥＴ）マップにおける縮尺及び重ね合わさった図１２及び図１３の入力を示す図である。 夫々０％、２５％、５０％、７５％及び１００％の散乱制御にて設定された散乱を有する復号注視点マップに対応するＥＴマップ上で重ね合わさった重み付け測定、散乱を含む結果としての注視点を示す図である。

符号の説明

６１０ 散乱ソース・マップ及び公称ビデオ測定
６２０ テスト・ビデオ入力
６３０ 基準ビデオ入力
６４０ 注視点確率マップのフォーカス
６５０ 散乱を含む注視点予測
６５２ 散乱性制御
６５４ 周辺感度確率マップ
６５８ 散乱マップによる注視点確率のフォーカス
６６０ 散乱重み付け測定マップ
６７０ マップ・フォーマット及びプール

Claims (8)

1. 散乱による注視点フォーカス確率軌跡のビデオ位置を予測する方法であって、
   テスト・ビデオ入力に基づいて公称測定マップを作成するステップと、
   テスト・ビデオ入力に基づいて注視点確率マップを作成するステップと、
   上記公称測定マップ及び上記注視点確率マップに基づいて周辺感度確率マップを作成するステップと、
   上記公称測定マップ、上記注視点確率マップ、上記周辺感度マップ及び散乱制御に基づいて散乱を有する注視点確率マップのフォーカスを作成するステップと、
   上記散乱を有する注視点確率マップのフォーカス及び上記公称測定マップに基づいて注視点重み付け測定マップを供給するステップと
   を具えたビデオ位置予測方法。
2. 上記注視点重み付けマップをフォーマットすると共に上記注視点重み付け測定マップを表示するステップを更に具えた請求項１のビデオ位置予測方法。
3. 注視点重み付け測定をプールし、散乱、重み付けされた測定を含んで注視点を表示するステップを更に具えた請求項１のビデオ位置予測方法。
4. 上記公称測定マップを作成するステップは、上記テスト・ビデオ入力及び基準ビデオ入力に基づくことを特徴とする請求項１のビデオ位置予測方法。
5. 上記注視点確率マップは、上記テスト・ビデオ入力及び基準ビデオ入力に基づくことを特徴とする請求項１のビデオ位置予測方法。
6. 上記周辺感度確率マップを作成するステップは、上記注視点確率マップと一緒に上記公称測定マップに基づいて偏心マップに対する感度マップを畳み込むことを特徴とする請求項１のビデオ位置予測方法。
7. 散乱マップを有する注視点確率のフォーカスを作成するステップは、散乱のレベルに基づいて公称的に低い注視点の領域を持ち上げることを特徴とする請求項１のビデオ位置予測方法。
8. 上記注視点重み付け測定マップを提供するステップは、上記公称測定マップのマスクとして、上記注視点に関連したマップを用いることを特徴とする請求項１のビデオ位置予測方法。