JP2003501850A - 基準映像を用いることなくデジタル映像の品質を推定する方法と装置 - Google Patents

Abstract

(57)【要約】 基準画像を用いる必要がない、もしくは、その利用可能性がない画像品質評価を実行する方法と装置。装置（１００）は、ビジョンプリプロセッサ（３００）と仮想基準生成部（３０４）と仮想歪み生成部（３０６）と画像品質測定基準生成部（３０８）を備える。ビジョンプリプロセッサ（３００）は、ビジョンに適した変換を入力画像シーケンスに施してビジョンエネルギーマップを生成する。仮想基準生成部（３０４）は、ビジョンエネルギーマップに関する処理を行って仮想基準を生成し、仮想歪み生成部（３０６）は、仮想基準生成部によって利用される歪み推定値を生成して仮想基準を生成する。画像品質測定基準生成部（３０８）によって仮想歪みと仮想基準が用いられて、基準映像シーケンスを用いることなく入力映像シーケンスに対する画像品質測定基準が生成される。

Description

【発明の詳細な説明】

【０００１】 本出願は、１９９９年４月１３日に出願された米国仮出願６０／１２９，１３
２の利益を主張することを請求するものであり、その出願の内容は本明細書に援
用されている。

【０００２】 本発明は映像処理システムに関し、特に、本発明はデジタル映像の品質を推定
する方法と装置に関する。

【０００３】 開示の背景 デジタル映像業界では、知覚できる映像信号の生成とエンコーディングと転送
と記憶と表示を行う様々な場面でその信号の品質を確実に維持することが強く要
求されている。映像品質を維持することによって、この品質を確実に素早く繰返
し測定する必要がある。エンドユーザに対する品質を確実に維持し、エラー源を
識別するための品質推定が必要であって、現実には人間の観察者が表示される映
像の品質を評価しているが、人間が映像処理や転送を行うために利用する複雑な
ネットワークの中心を調査することは現実的ではない。従って、映像処理／転送
システムのどの場面でも映像品質を自動的に推定する必要がある。

【０００４】 １９９８年４月３日に出願された米国特許出願０９／０５５，０７６は、オー
トメーション化された映像品質推定の１つのアプローチを開示している。このア
プローチでは、検査中の信号（映像シーケンス）が同じ信号の基準と比較されて
、顕著な差（Ｊｕｓｔ Ｎｏｔｉｃｅａｂｌｅ Ｄｉｆｆｅｒｅｎｃｅｓ（ＪＮ
Ｄｓ））の心理物理学的単位でこれらの２つの信号を区別する可能性が求められ
る。

【０００５】 広範囲の種類の歪みと意図する信号に対する人間の主観的な映像品質の格付け
を予測する際に映像品質を評価するための基準に基づくアプローチは正確でロバ
ストであることがわかっている。しかしながら、直接放送衛星（ＤＢＳ）とケー
ブルとインターネット伝送等のアプリケーション用デジタル映像ネットワークで
は、処理／送信された信号と比較するために意図される信号（「基準」）は決し
て利用されないか、もしくは、ほとんど利用されない。そのため、これらのアプ
リケーションで本技術を使用することは実践的でない。

【０００６】 従って、基準信号が得られない状況でデジタル映像ピクチャ品質値を信頼して
アクセスできる技術が必要である。

【０００７】 発明の概要 映像信号の品質を評価する本技術のデメリットは、基準映像信号の利用、もし
くは、その利用可能性のない画像品質評価方法と装置によって克服される。本装
置は、ビジョンプリプロセッサと仮想基準生成部と仮想歪み生成部と画像品質測
定基準生成部を備える。ビジョンプリプロセッサは、入力映像シーケンスに対し
てビジョンに適した変換を施して、ビジョンエネルギーマップを生成する。仮想
基準生成部はビジョンエネルギーマップに関する処理を行って仮想基準を生成す
るが、仮想歪み生成部は、仮想基準を生成する仮想基準生成部で用いられる歪み
推定値を生成する。画像品質測定基準生成部では仮想歪みと仮想基準を用いて、
基準画像シーケンスを用いることなく入力映像シーケンスに対する画像品質測定
基準を生成する。

【０００８】 添付の図面と共に以下の詳細な説明を検討することによって、本発明の教唆す
るところを理解することができる。

【０００９】 理解を容易にするために、できる限り複数の図面で共通の同要素を示すために
同じ参照番号を用いている。

【００１０】 詳細な説明 本発明は、以下の３つの対話的処理を必要とするロバストなアプローチを基準
無映像品質推定部に提供する。

【００１１】 １．（映像ストリームとも呼ばれる）映像シーケンス内のもっともらしい
(likely)信号成分の特徴づけ ２．もっともらしい歪みの位置と物理的大きさの推定 ３．各信号に対する歪みの主観的な大きさの予測 一般的に、基準を用いないシステムはシングルエンドと呼ばれる。即ち、画像品
質監視システムは、シングルエンド画像品質監視システムである。対照的に、基
準を用いるシステムは、ダブルエンドシステムと一般的に呼ばれる。

【００１２】 図１は、前述の３つのプロセスを備える基準無映像品質推定プロセス１００（
即ち、シングルエンドプロセス）を示す高レベルのフロー図を示す。工程１０２
では、もっともらしい信号を特徴づけることによって、画像が乱れているかどう
かを人間が確認する支援を行う「内部基準」と同様の仮想基準が提供される。工
程１０４では、入力映像データに関して処理する歪み推定部は、「ノイズ」、即
ち、エンコードや転送やその他の原因で発生する映像ストリーム歪みの物理的な
大きさとその位置の量的な推定値を提供する。加算器１０８によって仮想歪み（
ノイズ）は仮想基準に追加され、「信号＋ノイズ」が生成される。次に、その信
号単独（仮想基準）と信号＋ノイズの推定値は、既知のＪＮＤビジョンモデルの
オペレーションを一般化して、信号単独のシーケンスと信号＋ノイズシーケンス
間で画素に基づく比較を行うのではなく、領域に基づく比較ができる工程１０６
の顕著な差（ＪＮＤ）プロセスに与えられる。既知のＪＮＤビジョンモデルは１
９９８年４月３日に出願された米国特許出願０９／０５５，０７６に開示されて
いる。「局所領域ＪＮＤモデル」によって、信号やノイズの正確な知識が不要で
視覚的歪みの主観的な大きさを推定することができる。

【００１３】 仮想基準の特徴付けプロセスの１つの特徴は、特定の信号成分を示すために求
められる映像特徴（例えば、移動エッジ）を複数の映像フレームに渡って追跡す
る光フロー計算にある。映像シーケンスで同じ特徴をもつノイズを含む多数のサ
ンプルを追跡することによって、それらのサンプルからもっともらしい一定の信
号を統計的に抽出することができる。次に、この仮想基準の１つを同じ映像領域
内で検出された歪み（例えば、ＤＣＴ量子化によるアーチファクト（ａｒｔｉｆ
ａｃｔｓ）とエッジリンギング）と比較することができる。

【００１４】 また、局所領域ＪＮＤモデルは、現在のやり方から著しく進歩したものである
。信号単独と信号＋ノイズを画素毎に比較する代りに、局所領域ＪＮＤモデルで
は、映像ストリームのマルチフレーム領域とマルチ画素領域に蓄積された信号と
ノイズの領域に基づくローカルエリア統計量が用いられる。ここでは局所領域Ｊ
ＮＤモデルが必要である。何故ならば、基準無しのアプリケーションでは、基準
の画素解像度情報を確実に利用できないからである。しかしながら、以下で議論
されるが、局所領域ＪＮＤアーキテクチャでは、映像ストリームの重いテクスチ
ャ領域の歪みの可視性を正確に予測する等の際に一般的に複数の重要なメリット
がある。

【００１５】 また、基準／歪み推定プロセスの確実性を改善するために、本発明は、（矢印
１１０で示される）歪み推定部のオペレーションと仮想基準生成部のオペレーシ
ョン間の緩和的相互作用と、注入された既知の歪みを含む既知の基準シーケンス
を用いて、検査済みの基準に基づくモデルに関して基準無推定部のパラメータを
調整する校正手続を提供する。

【００１６】 図２に示されるように、図１の推定部１００は、一般的に、汎用コンピュータ
２０２で実行されるソフトウエアルーチン、即ち、ルーチン２００で実現される
。汎用コンピュータ２０２は、中央処理装置（ＣＰＵ）２０４とメモリ２０６と
入力／出力回路２０８と、各種の周知の支援回路２１０、例えば、クロックとキ
ャッシュと電源等を備える。汎用コンピュータ２０２は、複数のルーチンを実行
するまで、それらのルーチンをメモリ２０６、例えば、ランダムアクセスメモリ
とリードオンリーメモリとディスクドライブ等に記憶させる。ルーチン２００の
実行によって、汎用コンピュータ２０２は、基準無品質推定部１００として動作
する特定用途向コンピュータに変わる。推定部１００の機能は、ハードウエアや
ソフトウエアやハードウエアとソフトウエアの組み合わせで実現可能である。そ
の上、推定部の機能は、特定用途向集積回路（ＡＳＩＣ）で実現可能である。

【００１７】 図３は、推定部１００の機能ブロック図を示す。推定部１００は、ビジョンプ
リプロセッサ３００と仮想基準生成部３０２と映像品質測定基準生成部３０８を
備える。推定部１００の各要素については以下で議論される。

【００１８】 入力映像ストリームは、画素毎にビジョンと同様な変換を映像に対して施すビ
ジョンプリプロセッサ３００（ＶＰＰ）に入力される。この変換によって、様々
な時空間周波数と時空間の方向に対してヒューマンビジュアルシステムの基礎感
度が得られる。特に、この変換によって、固定エッジとフリッカーフィールドに
対する応答だけでなく移動エッジに対する応答も得られる。また、それはこれら
の画素のビジョンチャネル形式への一から多への変換である。

【００１９】 ＶＰＰは、１９９８年４月３日に出願された米国特許出願０９／０５５，０７
６の既存の基準に基づくＪＮＤモデルに基づくものであるが、（動きに対して敏
感なフィルタを含む）一般化された時空間チャネルを用いている。公開された既
知の心理物理学的検出データを用いてＶＰＰの校正が実行される。そのモデルの
出力、即ち、局所的／心理物理学的に重み付けられた空間−時間コントラストは
、基準に基づくモデルと同じＪＮＤ単位をもつ。特定の時点でのＶＰＰの出力は
ビジョンエネルギーマップ（ＶＥＭ）であって、これらのマップの時間シーケン
スによってＶＥＭストリームが形成される。マップの個々の値は、ビジョンエネ
ルギー（ＶＥ）、即ち、一つの空間位置で方向付けられた応答を示す。この値の
マップ内の位置（チャネルと空間的位置）はビジョンマップロケーション（ＶＭ
Ｌ）である。

【００２０】 各ＶＥＭは、仮想基準生成部３０２内の信号推定生成部３０４と歪み推定生成
部３０６に同時に与えられる。これらの生成部の各々によって実行されたプロセ
スは、ＶＥＭ内の様々な信号の特徴をもつ態様と歪みの特徴をもつ態様を独立に
探索するための少数（〜１０）のオペレータからなる。この各オペレータの出力
は、各ＶＭＬの重み値セットである。各重み値（０と１の間の数）は、その位置
での一部エネルギーのオペレータによる推定値を示し、それはオペレータが検出
するように設計された信号源や歪み源に基づくものである。各オペレータでは重
み値のほとんどがゼロであり、ＶＥＭストリームの比較的小さな時空間領域では
非ゼロの重み値が与えられる。従って、全てのＶＭＬ上のオペレータの出力は、
自然なセグメンテーション、即ち、入力されたＶＥＭストリームがそのオペレー
タの特徴を含みそうな領域にクラスタリングされると考えられる。「信号セグメ
ントｋ」（ＳＳ_k）は、信号オペレータｋがＶＥＭストリームに割り当てる複数
の値のアレイである。同様に、「歪みセグメントｋ」（ＤＳ_k）は、歪みオペレ
ータｋがＶＥＭストリームに割り当てる複数の値のアレイである。

【００２１】 （仮想基準に寄与する）信号推定プロセス３１０では、オペレータの出力は、
ビジュアルシーンの同じ種類のオブジェクト、即ち、特徴に起因すると予測され
る低レベル特徴のクラスタを示す。これらのオペレータのうちの幾つかには、光
フロー分析と固定エッジ検出とテクスチャ検出と平滑領域検出が含まれる。例え
ば、光フロー分析によって時間に対するクラスタが生成される。尚、各クラスタ
は、連続するＶＥＭの個々の画像特徴の予測時空間パスに対応する。他方、テク
スチャセグメンテーションから得られるクラスタの比較的広い空間領域内には多
数のＶＭＬが含まれる。尚、この各クラスタは、知覚的に密集した局所テクスチ
ャに対応する。これらの例が示すように、移動エッジと重いテクスチャ領域と、
広く均一に、即ち、ゆっくり変化する背景等の様々な種類の知覚的に目立つ特徴
からおそらく得られた複数の部分に映像ストリームをセグメント化するように信
号推定プロセス３１０が設計される。この計算の重要な面は、セグメンテーショ
ンが必ずしも完璧ではないことである。即ち、信号の種類が確実に推定されない
ＶＭＬを考慮に入れると、分類を決定する試みはなされない。このことは、信号
と歪み特性を確実に推定できる映像ストリーム領域内だけで知覚できる歪みの大
きさを以下で説明されるＪＮＤ処理で推定できることを確実にする。

【００２２】 信号推定プロセス３１０は、現実の世界でもっともらしい信号の知識を当てに
している。例えば、複数のオブジェクトが密集して、時間と空間中を滑らかに動
く傾向があるという事実は、光フロー、即ち、時間の点間の対応の計算に対して
かなりの拘束条件となる。周知のピラミッドベース（マルチ解像度）の光フロー
計算を行って、時間と空間上のＶＭＬをクラスタリングすることができる。この
クラスタリングによって、クラスタ内の複数のＶＭＬの平均を取ることによって
、もっともらしい信号を抽出することができる。この平均化プロセスを使って仮
想基準を抽出することができ、それに対する様々な歪みの知覚可能性をアクセス
することができる。

【００２３】 信号推定プロセスと共に、複数のＶＥＭに歪み推定プロセス３１８の処理を施
す。この中で、オペレータは様々なエンコーダと転送システムから予想される歪
み（例えば、ＭＰＥＧ−２の濃淡ムラやウェーブレットのエッジリンギング）と
一般的な種類の歪み（例えば、ノイズとぼけ）に対応する。もっともらしい信号
特性（例えば、光フロー分析を行う際での、密集したオブジェクトに関する滑ら
かな動きに対する拘束条件）を考慮に入れて信号オペレータを設計でき、また、
設計すべきである一方で、歪みオペレータは既知の歪み態様にフィルタを合わせ
る単純な標準画像処理技術に基づくと期待できることに注目されたい。また、信
号オペレータと同じように、ＶＥＭストリームを完全にカバーするためには歪み
オペレータは必要ない。例えば、非常に高品質の映像では、非ゼロの歪みオペレ
ータの重み値がないＶＭＬがたくさんあるはずである。

【００２４】 歪み推定プロセス３０６には、もっともらしい歪みに一致するフィルタに適し
たオペレータが含まれる。特定の技術には以下のものが含まれる。

【００２５】 ・（追加されたＪＰＥＧ準拠の濃淡ムラをもつ広く均一な領域があるかど
うかを決定するために役立つ）コードブロックの周期性のあるアマダール変換で
の低振幅ピークの抽出 ・移動エッジの近傍にありそうなアーチファクトを決定するために役立つ
シンチレーション検出 ・マクロブロックのアーチファクト（ＭＰＥＧ−２）とウェーブレットの
リンギング（ＭＰＥＧ−４）を明らかにするための信号のピラミッド／フーリエ
分析

【００２６】 信号と歪み推定生成部３０４、３０６では、様々なオペレータの出力が互いに
独立に得られ、信号分類部３１２と歪み分類部３２０に与えられる。歪み分類部
３２０と信号分類部３１０では、独立な推定値には緩和プロセスの処理が施され
て、強い信号の重み値によって歪みの重み値が変調され、また、互いに変調され
、同様に、強い歪みの重み値によって信号の重み値が変調され、また、互いに変
調される。もし信号オペレータによってシンチレーティング領域が移動エッジと
して識別されると、例えば、画像のシンチレーションには、大きな歪みオペレー
タの重み値が与えられる。歪み分類部３２０の出力は、（修正された歪みセグメ
ントｋ、即ち、ＲＤＳ_Kを備える）歪みオペレータ出力上で修正された重み値の
セットである。同様に、初期歪みの重み値ＤＳ_Kによって、信号オペレータ出力
を修正する（修正された信号セグメントＲＳＳ_Kを生成する）信号分類部３１２
を制御するための信号オペレータの重み値ＳＳ_Kが変調される。例えば、（信号
オペレータによって決定される）均一な映像領域で検出された濃淡ムラには追加
の重み値が与えられる。そして、修正された信号とノイズの重み値には再重み付
けプロセスの処理が再び施される。この緩和プロセスは、信号と歪みに対する不
変の重み値のセットが得られるまで、即ち、別の停止基準に達するまで続く（パ
ス３１３、３２１によって表される）。計算速度を保障するために、一般的に２
，３回以下の緩和処理が可能である。

【００２７】 また、この段階では、得られた信号や歪み領域内のＶＥＭストリームの個別の
種類、即ち、チャネル（例えば、特定の時空間周波数で方向づけられたエッジ）
に対する重み値を各チャネルに対する領域平均値と取りかえることができる。特
に、テクスチャ領域では、特定の時空間位置の特定エネルギーによるのではなく
、その領域内のチャネルのエネルギーの全統計値によって知覚対象の大部分が決
定される。従って、領域の平均値によって、各領域内で知覚可能な歪みの推定値
が確実に生成される。

【００２８】 各ＶＭＬでは、分類部の出力ＲＳＳ_K、ＲＤＳ_Kはそれぞれ、信号重み値正規化
部３１４と歪み重み値正規化部３２２に与えられる。（信号や歪みが確実に検出
されない所を除いて）これらの重み値の合計が単位元となるように分類部の出力
が正規化されて、全ての信号と歪みオペレータに対する一連の重み値が構成され
る。これらの重み値には、信号／歪みプロセス３１０、３１８が敏感に反応する
信号と歪みの各々が原因である各ＶＥＭ内のエネルギーの一部の推定値が含まれ
る。

【００２９】 次に、各ＶＥＭに対して信号重み値ＲＳＳ_Kの全てがｋに関して合計されて、
信号重み値アレイＲＳＳが生成され、推定された各ＶＭＬのエネルギーの一部は
ある種の信号によるものであることが示される。同様に、全歪み重み値ＲＤＳ_K
がｋに関して合計されて、歪みによる各ＶＭＬのエネルギーの一部のアレイＲＤ
Ｓが生成される。次に、（マルチプライヤ３１６を用いて）重み値ＲＳＳに、全
ＶＭＬ_S上の成分に関するＶＥＭが乗算されて、信号（信号エネルギー、即ち、
ＳＥ）によるＶＥＭのエネルギーを表すアレイが生成される。このアレイは仮想
基準と呼ばれる。仮想基準は、実際の基準画像シーケンスを置き換えるものであ
る。同様に、マルチプライヤ３２４でＲＤＳとＶＥＭを乗算することによって、
歪みエネルギーＤＥを表す個別アレイが計算される。加算器３２６で２つのアレ
イ５Ｅ、ＤＥを単純に加算することによって、信号＋歪みによるＶＥＭエネルギ
ーの推定値が生成される。この信号は仮想テスト値と呼ばれる。多くの場合（即
ち、信号も歪みも確実に推定されなかった領域を除いて）、どのＶＭＬでのＳＥ
＋ＤＥの値もＶＭＬの総エネルギーに等しいことに注意されたい。

【００３０】 図４は、特有な信号と歪みの推定部では入力映像ストリームから仮想基準と仮
想テスト値を抽出するプロセスの一例を模式的に示す。この例では、信号推定プ
ロセスでの光フロー分析では、映像４００の３つのフレームから移動する立方体
を追跡し、源映像４００の３フレームから意図する信号４０２を抽出する。同時
に、濃淡ムラ歪み推定部は、１フレームの映像（フレームｔ）内のブロック状歪
み４０４を識別する。次に、図の乗算ポイント４０６で示されるように、信号推
定部と歪み推定部では独立に、ビジョンプリプロセッサ３００によって生成され
るＶＥＭストリームから個々のＶＭＬ_Sのエネルギーに重み付けし、加算器４０
０で仮想基準に加算される歪み成分と仮想基準を生成して仮想テスト値を生成す
る。

【００３１】 この図では１つの信号推定部と１つの歪み推定部だけのオペレーションが示さ
れていることに注意されたい。実際に実行するには、多数の信号／歪み推定部が
同時に動作し、それらの推定値は図３に示され上述された信号／歪み分類部によ
って改善される。また、図４のダッシュ線は映像ストリームを直接処理する信号
／歪み推定部を示すが、これは図示する目的だけのものであって、実際に実行す
る場合は、これらのオペレータは映像から直接ではなく、ＶＥＭストリームから
入力することに注意されたい。

【００３２】 図３に戻って、映像ストリームの各領域から信号と歪みエネルギーを抽出した
後で、推定部１００は、映像品質測定基準生成部３０８を利用して信号エネルギ
ーと信号＋歪みエネルギーを比較することによって、視覚的品質の測定基準を計
算する。前ビジョンのモデリング後にその比較自体での測定基準がパターン化さ
れ、ビジョンプリプロセッサ３００は人間の時空間周波数の感度等の低レベルの
視覚的拘束条件を獲得する。実際には、２つのビジョンモデル要素、即ち、その
アルゴリズムを単純な心理物理学的実験と一貫性のあるものにする低レベルビジ
ョン（例えば、ＶＥＭの計算）と、特徴ベクトル要素を合成して信号品質の判定
を行うための高レベルの視覚的な比較との間に、信号／歪み推定計算がサンドイ
ッチされる。

【００３３】 その処理でのこの観点から、１９９８年４月３日に出願された米国特許出願０
９／０５５，０７６で開示されたＪＮＤアーキテクチャを利用することができる
。各ＶＭＬに対する信号単独と信号＋歪みエネルギーの個々の値は、基準ベース
のＪＮＤモデルの各フロントエンド部で計算された基準と基準＋テストの個々の
値に対応する。基準に基づくモデルでは、これらの２つのエネルギーには成分毎
にインチャネルマスキング３２８Ａ、３２８Ｂと呼ばれる非線形変換が施される
。このマスキングによって、エネルギーの中程度の変化量を強調し、エネルギー
値が非常に大きいときにはエネルギーの変化をあまり強調しないように各エネル
ギーに測定基準が課される。この変換では、信号（もしくは、ノイズ）成分の変
化が特定の強度に達したときにはあまり強調しない。

【００３４】 インチャネルマスキングの次にはクロスマスキング３３０Ａ、３３３Ｂがある
ので、異なるＶＭＬからのエネルギーは互いに打ち消される。本オペレーション
の１つの目的は、にぎやかな背景中での変化はほとんど知覚できないという知覚
現象をシミュレートすることである。

【００３５】 最後に、変換されたＶＥＭ_Sは知覚の歪み測定基準３３２と比較されて、その
結果は品質格付けの推定値となる。抽出された信号と信号＋歪みを比較すること
は、入力映像ストリームと仮想基準を比較することと等価である。しかしながら
、それは厳密にはノイズ消去プロセスではない。何故ならば、信号推定プロセス
と分類プロセスから得られる不完全な信号の統計量からノイズが消去された映像
を検索できないからである。

【００３６】 実験データの代わりに基準ベースのビジョンモデルを用いることで、基準無モ
デル（実映像の基礎的で心理物理学的な格付けと主観的な格付けの両方）を校正
するために必要とされる実験の多くをなくすことができる。この努力を合理的に
することは可能である。何故ならば、実データの信頼できる代わりとなるもので
基準ベースのモデルが検査されているからである。このモデルベースの校正を行
うことによって、歪みのある一連の映像を選択し、基準ベースのモデルを用いて
歪みのない対応物と比較し、歪みのある映像だけを基準無モデルに対する入力情
報として用い、そのモデルのパラメータを設定して基準無の出力と基準ベースの
出力の間で最高の相関関係を作ることができる。この校正によって、基準無モデ
ルは基準ベースのモデルの基礎的ビジョン属性を継承したものになる。従って、
基準無モデルのロバスト性が改善される。

【００３７】 ４つのポイントで、推定部ｌ００は、現実の格付けデータと比較して、もしく
は、信頼できる基準ベースのビジョンモデルを用いてその代わりとなるものと比
較することによって検査される。 １．）基準ベースのビジョンモデルで対応する要素と比較することによって、ビ
ジョンプリプロセッサ３００が検査されて、基準モデルが校正されたことが確か
められる。また、正確さについてさらに保証するために、心理物理学的検出デー
タと比較してＶＰＰを校正する。 ２．）テスト映像の信号と歪みへの分離（信号と歪み）については以下のように
検査される。 （ａ）歪みの大きい映像を基準ベースのビジョンモデルに与えて、歪みの特徴
成分が大きくて信号成分が小さいことを検査し、 （ｂ）歪みのない映像をモデルに与え、歪み成分が小さく信号成分が大きいこ
とを検査する。また、そのモデルを用いて、特定の信号と歪みを割り当てる映像
の複数の場所を検査することによってきめ細かい評価が行われる。 ３．）２つの測定基準を比較することによって、信号と歪みの特徴が計算された
後に行われるマスキングが検査される。即ち、歪みのある映像単独から出力され
た基準無モデルと、歪みのある映像とそれに対応する歪みのない映像の両方から
出力された基準ベースのモデルである。同じ映像のシングルスティミュラス格付
けとダブルスティミュラス継続的品質スケール（ＤＳＣＱＳ）を比較することに
よって、十分な一致が得られるための評価基準が指示される。 ４．）モデル全体の出力と新しい基準無し格付けデータを比較することによって
、基準の無いアルゴリズムの最終検査が行われる。選ばれた歪みモードと代表的
な種類の画像を含む歪みのある映像のデータベースを利用して格付けデータが得
られる。その映像には、草とカーペットと、移動エッジと固定エッジと、幅広く
均一な領域等の一般的なテクスチャが含まれる。歪みには、点のようなノイズを
追加したり、ＭＰＥＧ−２やＭＰＥＧ−４を用いて映像を圧縮したり、かすみや
フリッカーを起こすものがある。格付けスケールは、ＩＴＵ資料５００−Ｂで記
録されているＤＳＣＱＳのシングルスティミュラスと同等のものである。シング
ル歪みのある映像（評価実験で用いられるものと同じもの）は推定部を経て、ま
た、推定された品質格付けは報告された主観的な格付けと比較される。

【００３８】 一旦校正されると、基準無推定部１００を用いて基準映像が利用できないアプ
リケーションでの画像品質を推定することができる。そのため、映像転送システ
ムやデジタル映像スタジオの内部映像処理要素が映像品質に与える影響を検査す
ることができる。

【００３９】 本発明の教唆を取り入れた様々な実施形態を示してその詳細を説明してきたが
、当業者であれば、それらの教唆を取り入れたその他の多くの変更された実施形
態を簡単に考案することができる。

【図面の簡単な説明】

【図１】 図１は、本発明の基準無視覚的品質推定部の処理を示す高レベルのフロー図を
示す。

【図２】 図２は、本発明を実施するために利用できる汎用コンピュータのブロック図で
ある。

【図３】 図３は、本発明の基準無視覚的品質推定部の詳細な機能ブロック図である。

【図４】 図４は、図１の推定部で用いられる仮想的基準を生成する処理のフロー図を示
す。

【符号の説明】

３００ ビジョンプリプロセッサ ３１０ 信号推定プロセス ３１２ 信号分類部 ３１４ 信号重み値正規化部 ３０４ 仮想基準 ３１８ 歪み推定プロセス ３２０ 歪み分類部 ３２２ 歪み重み値正規化部 ３０６ 仮想歪み ３２８Ａ インチャネルマスキング ３３０Ａ クロスチャネルマスキング ３２８Ｂ インチャネルマスキング ３３０Ｂ クロスチャネルマスキング ３３２ 歪み測定基準

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＢＲ，ＣＡ，Ｊ Ｐ，ＫＲ (72)発明者 パイカ， アルバート， ピー． アメリカ合衆国， ニュージャージー州， イースト ウィンザー， ポプラ− ラ ン ２ Ｆターム(参考） 5C061 BB07 BB13

Claims (10)

【特許請求の範囲】
1. 【請求項１】 画像のピクチャ品質の人間の主観的評価値を推定する装置で
   あって、シングルエンドの画像品質監視システム（１００）を備える装置。
2. 【請求項２】 前記シングルエンド画像品質監視システムは、 ビジョンプリプロセッサ（３００）と、 前記ビジョンプリプロセッサに接続された仮想基準生成部（３０４）と、 前記仮想基準生成部に接続された画像品質測定基準生成部（３０８）を備える
   請求項１記載の装置。
3. 【請求項３】 前記ビジョンプリプロセッサ（３００）は、画像に対してビ
   ジョンに適した変換を行ってビジョンエネルギーマップを生成する請求項２記載
   の装置。
4. 【請求項４】 前記仮想基準生成部は、 信号推定プロセッサ（３１０）と、 信号分類部（３１２）と、 信号重み値正規化部（３１４）を備える請求項２記載の装置。
5. 【請求項５】 仮想歪み生成部（３０６）をさらに備える請求項２記載の装
   置。
6. 【請求項６】 前記歪み生成部は、 歪み推定プロセッサ（３１８）と、 歪み分類部（３２０）と、 歪み重み値正規化部（３２２）を備える請求項５記載の装置。
7. 【請求項７】 画像シーケンスの画像品質を推定する方法であって、 ビジョンに適した変換を用いて前記画像シーケンスを前処理してビジョンエネ
   ルギーマップを生成する工程と、 前記ビジョンエネルギーマップから仮想基準を生成する工程と、 前記仮想基準から画像品質測定基準を生成する工程を備える方法。
8. 【請求項８】 前記仮想基準生成工程は、 信号推定工程と、 信号分類工程と、 信号重み値正規化工程をさらに備える請求項７記載の方法。
9. 【請求項９】 仮想歪みを生成する工程をさらに備える請求項７記載の方法
   。
10. 【請求項１０】 前記歪み生成工程は、 歪み推定工程と、 歪み分類工程と、 歪み重み値正規化工程を備える請求項９記載の方法。