JP2004516566A - 自動ビデオ質評価のためのスケーラブル・ダイナミックな客観的メトリックを供給するシステム及び方法 - Google Patents
自動ビデオ質評価のためのスケーラブル・ダイナミックな客観的メトリックを供給するシステム及び方法 Download PDFInfo
- Publication number
- JP2004516566A JP2004516566A JP2002550732A JP2002550732A JP2004516566A JP 2004516566 A JP2004516566 A JP 2004516566A JP 2002550732 A JP2002550732 A JP 2002550732A JP 2002550732 A JP2002550732 A JP 2002550732A JP 2004516566 A JP2004516566 A JP 2004516566A
- Authority
- JP
- Japan
- Prior art keywords
- objective
- objective metric
- metric
- merit
- video image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
本発明は、ビデオ画像のビデオの質を自動的に評価するスケーラブル・ダイナミックな客観的メトリックを供給する改善されたシステム(100)及び方法を開示する。システム(100)は、複数の客観的メトリックモデルユニット(120,130,140)を受信することができる客観的メトリックコントローラ(150)を有する。システムは、複数の客観的メトリックの性能指数の重み付けされた平均からスケーラブル・ダイナミックな客観的メトリックを決定する。スケーラブル・ダイナミックな客観的メトリックは、ビデオ画像の主観的測定とビデオ画像の客観的メトリック測定の最適な相関関係を表わす。個々の客観的メトリックの性能指数の重み値が、評価されているビデオ画像の種類に依存して増加又は減少されてもよい。個々の客観的メトリックの性能指数は、システム(100)に追加又はシステム(100)から削除されてもよい。システムは、複数の客観的メトリックモデルユニットが新しいビデオ画像を受信するとスケーラブル・ダイナミックな客観的メトリックの新しい値を連続的に決定することができる。
Description
【0001】
本発明は、ビデオの質を評価するシステム及び方法に係わり、特に、ビデオ画像のビデオの質を自動的に評価する、スケーラブル・ダイナミックな客観的メトリックを提供する改善されたシステム及び方法に関わる。
【0002】
ビデオ専門家は、ビデオ画像の質を改善するために常に新しいアルゴリズム及び方法を模索している。主な目標は、可能な限り最も知覚的に好ましいビデオ画像を得ることである。最終基準は、「結果となるピクチャをどれだけ観察者が好むか」といった質問である。この問題を答える一つの方法は、あるビデオシーケンスを観察者のパネルに見せ、結果となる画像の質に関わる観察者の意見を記録することである。しかしながら、結果は、観察パネルの間の変わりやすさによってパネルとパネルとの間で異なる。この問題は、主観的な人間の意見に頼るとき一般的に直面する問題である。観察パネルが専門家でない人によって構成されるとき、問題の厳しさが増す。
【0003】
人間の直観及び主観的意見にだけ頼る結果は、主観的結果の非決定論的性質から生ずる不明確さを除去するために、後に統計分析を通常受ける。これらのタイプの主観的結果を正規化し、ビデオの質の良さ(又は悪さ)を表わすある性能指数を得るために線形の及び非線形の発見的統計モデルが提案された。このようにしてビデオの質を測定する処理は、「主観的ビデオ質評価」と呼ぶ。
【0004】
主観的ビデオ質評価は、可視のビデオアーチファクトの確かな表示を与える。しかし主観的ビデオ質評価は、全体的に問題があり、複雑であり、時間がかかり、時として適用することが困難である。更に、適当な観察者を観察パネルに選択することに関して問題がある。訓練されていない観察者は、新しいビデオ処理方法の適切さに関して審判として劣っている。しかし訓練されていない観察者は、市場における一般の消費者の正確な代表者となる可能性が高い。他方で、訓練された専門の観察者は、一般の消費者が気付くことがない些細な欠陥を検出することに対して過度に意見が偏るであろう。
【0005】
ビデオの質を評価する主観的方法に伴う不都合な点を回避するために、ビデオの質を評価する自動客観方法を使用することが望ましい。自動客観方法は、ビデオの質の良さ(又は悪さ)を定量化するために客観的な性能指数を得ることを試みる。ビデオの質の一つ以上の客観的測定値を得る処理は、ビデオストリーム中にビデオアルゴリズムが順次に表わされると異なるタイプのビデオアルゴリズムを迅速に分析することができるよう自動化されなくてはならない。
【0006】
ビデオの質の客観的測定値は完全に決定論的である。つまり、(同じ設定が保存されていると仮定して)テストを繰り返すと結果は必ず同じになる。
【0007】
最終目標が最も好ましいピクチャを観察者に見せることであるため、ビデオの質の客観的測定値の最終判断は、客観的測定と主観的結果との相関度である。統計分析は、(人間の意見から)主観的に得られた結果と(自動的に生成される)客観的に得られた結果とを相互に関係付けるために通常使用される。
【0008】
技術において、ビデオの質を自動的に測定する改善されたシステム及び方法が必要である。ビデオの質を自動的に測定する処理は、「客観的ビデオ質評価」と呼ぶ。
【0009】
客観的ビデオ質評価を提供することができる幾つかの異なるタイプのアルゴリズムが提案される。アルゴリズムは、一般的に「客観的ビデオ質モデル」と呼ばれる。ビデオ質専門家グループ(VQEG)からの報告は、十(10)の客観的ビデオ質モデルで実施された評価の結果を説明し、記述する。この報告書は、1999年12月に書かれ「Final Report from the Video Quality Experts Group on the validation of Objective Models of Video Quality Assessment」なる名称を有する。報告書は、http://www.crc.ca/VQEGにおいてワールド・ワイド・ウェブで現在入手可能である。
【0010】
各異なる客観的ビデオ質モデルは、「客観的メトリック」と呼ばれるビデオの質の独自の特有の測定を提供する。「ダブルエンド」客観的メトリックは、第1の元のビデオ画像と第2の処理されたビデオ画像を用いてビデオの質を評価するものである。「ダブルエンド」客観的メトリックは、第1の元のビデオ画像と第2の処理されたビデオ画像を比較し、元のビデオ画像における変化を決定することでビデオの質を評価する。「シングルエンド」客観的メトリックは、元のビデオ画像を参照することなくビデオの質を評価するものである。「シングルエンド」客観的メトリックは、ビデオ画像にアルゴリズムを適用し、その質を評価する。
【0011】
全ての情況下で、全てのビデオアーチファクトに対して、ある一つの客観的メトリックが全ての他の客観的メトリックよりも勝ることはない。客観的メトリック夫々は、利点及び不都合な点を有する。客観的メトリックは、性能(即ち、どれだけその結果が主観的質評価結果と相互に関係付けられるか)、安定性(即ち、どれだけ異なるタイプのビデオアーチファクトを取り扱うことができるか)、及び、複雑性(即ち、アルゴリズム計算を実施するのにどれだけ計算力が必要か)において幅広く異なる。
【0012】
客観的メトリックが適用され得る幅広い範囲の用途がある。例えば、放送ビデオ信号の質を判断するために高速の実時間での客観的メトリックが必要である。他方で、実時間でないビデオシミュレーションの質を判断するためには、より複雑で信頼ある客観的メトリックが好ましい。
【0013】
1つの客観的メトリック(及び1つの客観的ビデオ質モデル)だけを使用することは、使用される客観的メトリックから得られる評価レベルにビデオ信号の質の評価を制限させる。技術において、ビデオ質評価のために一つ以上の客観的メトリックを用いる改善されたシステム及び方法が必要である。
【0014】
本発明は、ビデオ画像のビデオの質を自動的に評価するスケーラブル・ダイナミックな客観的メトリックを提供する改善されたシステム及び方法を一般的に有する。
【0015】
本発明の有利な実施例では、本発明の改善されたシステムは、複数の客観的メトリックモデルユニットから複数の客観的メトリックの性能指数を受信することができる客観的メトリックコントローラを有する。客観的メトリックコントローラは、複数の客観的な性能指数からスケーラブル・ダイナミックな客観的メトリックを決定することができる。
【0016】
本発明の有利な実施例では、本発明の改善された方法は、1)複数の客観的メトリックモデルユニットから複数の客観的メトリックの性能指数を客観的メトリックコントローラで受信する段階と、2)複数の上記客観的メトリックの性能指数からスケーラブル・ダイナミックな客観的メトリックを決定する段階とを有する。
【0017】
本発明は、ビデオ画像のビデオの質を自動的に評価するスケーラブル・ダイナミックな客観的メトリックを提供する改善されたシステム及び方法を提供することを主な目的とする。
【0018】
本発明は、複数の客観的メトリックの性能指数の重み付けされた平均を得ることでスケーラブル・ダイナミックな客観的メトリックを提供することを別の目的とする。
【0019】
本発明は、客観的メトリックの性能指数がどれだけビデオ画像特徴を評価するかを表示する相関係数を用いて複数の客観的メトリックの性能指数の重み付けされた平均を得ることでスケーラブル・ダイナミックな客観的メトリックを提供することを更なる目的とする。
【0020】
本発明は、新しいビデオ画像を連続的に受信すると、複数の客観的メトリックの性能指数の新しい値からスケーラブル・ダイナミックな客観的メトリックの新しい値を連続的に決定することを別の目的とする。
【0021】
上述の説明は、以下の本発明の詳細な説明を当業者がより良く理解できるよう本発明の特徴及び技術的な利点を幅広く要約したものである。本発明の特許請求の範囲の技術的内容を形成する本発明の追加的な特徴及び利点は以下に説明する。当業者は、開示する概念及び特定の実施例を本発明と同じ目的を実行する上で他の構造を変更又は設計する基礎として容易に使用し得ることを認識すべきである。当業者は、このような同等の構成は、最も広い形態において本発明の精神及び範囲から逸脱しないことを認識すべきである。
【0022】
本発明の詳細な説明に入る前に、本特許文書を通して使用される決まった用語及び表現を先に定義することが有利となり得、「含む」及び「有する」といった用語、並びに、それから派生する語は制限無しに包有することを意味し、「又は」の用語は「及び/又は」の意味も含み、「関連する」及び「関連付けられる」といった表現、並びに、それから派生する表現は、含む、含まれる、相互接続される、収容する、収容される、接続する、接続される、結合する、結合される、通信可能である、協動する、インタリーブする、並置する、近似する、密接に関係する、密接に関係される、有する、〜の特性を有する又は同等のものとして意味し得、「コントローラ」、「プロセッサ」、又は「装置」といった用語は全ての装置、システム又は少なくとも一つの動作を制御する一部を意味し得、このような装置はハードウェア、ファームウェア、又は、ソフトウェア、若しくは、少なくともこれらのうちの2つを組み合わせたもので実施され得る。全ての特定のコントローラと関連する機能性は、局部的又は遠隔的であっても中央に集中するか分配してもよいことに注意すべきである。ある用語及び表現の定義が本特許文書を通じて与えられる。当業者は、このような定義が殆どでなければ多くの場合、このような定義は、このように定義された用語及び表現の従来、並びに、将来的な使用に適用されることを理解すべきである。
【0023】
本発明のより完全な理解、及び、その利点のために、同様の参照記号が同様の構成要素を示す添付の図面と共に以下の説明を参照する。
【0024】
以下に説明する図1及び図2、並びに、本発明の改善されたシステム及び方法の原理を説明するために本特許文書に説明する様々な実施例は、例示的に過ぎず、本発明の範囲を如何なる方法でも制限するものとして解釈されてはならない。当業者は、本発明の原理がビデオの質を評価する任意のタイプの装置に上手く適用され得ることを容易に理解するであろう。
【0025】
図1は、自動ビデオ質評価のためのスケーラブル・ダイナミックな客観的メトリックを提供するシステム100を示す。システム100は、ビデオストリーム110を受信する。複数の客観的メトリックモデルユニット(120,130,・・・,140)夫々は、ビデオストリーム110のビデオ信号のコピー物を受信する。客観的メトリックモデルユニット120は、第1の客観的メトリックモデル(「メトリック1」と呼ぶ)を適用し、第1の客観的メトリックモデルに基づくビデオ信号の質を表示する第1の性能指数f(1)を得る。第1の性能指数f(1)は、コントローラ150に供給される。
【0026】
同様にして、客観的メトリックモデルユニット130は、第2の客観的メトリックモデル(「メトリック2」と呼ぶ)を適用し、第2の客観的メトリックモデルに基づくビデオ信号の質を表示する第2の性能指数f(2)を得る。第2の性能指数f(2)は、コントローラ150に供給される。このようにして繰り返すことで、最後の客観的メトリックモデル140が追加されるまで他の客観的メトリックモデルユニットが追加される。客観的メトリックモデルユニット140は、最後の客観的メトリックモデル(「メトリックN」と呼ぶ)を適用する。客観的メトリックモデルユニット(120,130,・・・,140)は、複数の性能指数f(1)、f(2)、・・・、f(N)を得、それらをコントローラ150に供給する。
【0027】
性能指数f(1)、f(2)、・・・、f(N)は、Nの異なる客観的メトリックによるビデオストリームの質の一連のNの評価を表示する。性能指数f(1)、f(2)、・・・、f(N)は、f(i)として指定されてもよく、このときiの値は1からNである。
【0028】
より詳細に説明するように、本発明のシステム100は、スケーラブル・ダイナミックな客観的メトリックを計算するために性能指数f(i)を用いるシステム及び方法を提供する。「F」といった文字(図1参照)は、本発明のスケーラブル・ダイナミックな客観的メトリックを示す。
【0029】
本発明のシステム100は、コントローラ150とメモリ160とを有する。コントローラ150は、従来のマイクロプロセッサチップを有する。コントローラ150は、信号通信線(図1に示す)を介して複数の客観的メトリックモデルユニット(120,130,・・・,140)に接続されている。コントローラ150は、データを処理し、データを記憶し、データを引出し、データを出力するためにメモリ160内にあるオペレーティングシステム(図示せず)と共に動作する。コントローラ150は、メモリ160に記憶されるコンピュータ命令を実行することでスケーラブル・ダイナミックな客観的メトリック「F」を計算する。
【0030】
メモリ160は、随時書き込み読み出しメモリ(RAM)、読み出し専用メモリ(ROM)、又は、随時書き込み読み出しメモリ(RAM)と読み出し専用メモリ(ROM)の組み合わせを有してもよい。本発明の有利な実施例では、メモリ160は、フラッシュメモリのような不揮発性随時書き込み読み出しメモリ(RAM)を有し得る。メモリ160は、ハードディスクドライブ(図1に示さず)のような大容量記憶データ装置、又は、コンパクトディスク読み出し専用メモリ(CD−ROM)(図1に示さず)を有してもよい。
【0031】
本発明のシステム及び方法は、制限的でなくハードディスクドライブベースのテレビジョンセット及びハードディスクベースのビデオレコーダ例えば、商標Replay TVビデオレコーダ又は商標TiVoビデオレコーダを含む幅広い種類のビデオ処理システムで使用されてもよい。
【0032】
コントローラ150及びメトリック計算アルゴリズム170は、本発明を実行することができる客観的メトリックコントローラを一緒に有する。メモリ160内に記憶されているメトリック計算アルゴリズム170のコンピュータ命令の指示の下でコントローラ150は、性能指数f(i)を用いてスケーラブル・ダイナミックな客観的メトリック「F」を計算する。
【0033】
コントローラ150内の重み付けユニット190は、ビデオシーケンスの現在生じている特徴を動的に検出する。現在生じている特徴は、鮮明度、色、彩度、動き、及び同様のタイプの特徴を含んでもよい。重み付けユニット190は、各客観的メトリック(メトリック1、メトリック2、・・・、メトリックN)に値(又は「重み」)w(i)を割り当てる。例えば、メトリック1がある第1のタイプのビデオ信号に対して使用されることが特に好ましい場合、w(1)の値はw(i)の他の値よりも大きい値が与えられる。反対に、メトリック2がその同じ第1のタイプのビデオ信号に対して使用されることは好ましくなく、w(i)の他の値よりも低い値がw(2)に与えられる。第2のタイプのビデオ信号が存在するとき、メトリック1は第2のタイプのビデオ信号に対して使用されることがメトリック2ほど好ましくない。この場合、w(2)にはより高い値が与えられ、w(1)はw(i)の他の値よりも低い値が与えられる。
【0034】
一般的に、重み付けユニット190が選択するw(i)の値は、重み付けユニット190が動的に検出するビデオ信号のタイプに依存して異なる。コントローラ150は、各w(i)とf(i)の積の和Sを計算するためにメトリック計算アルゴリズム170を使用する。つまり、
【0035】
【数5】
であり、このときiの値は1乃至Nである。
【0036】
相関係数r(i)が各性能指数と関連付けられる。相関係数r(i)は、式
【0037】
【数6】
から得られ、このとき、
【0038】
【数7】
であり、jの値は1乃至nである。
【0039】
X(i,j)の値は、ビデオ画像に対するnの客観的データ値の組の値である。Y(i,j)の値は、同じビデオ画像に対するnの主観的データ値の組の値である。つまり、Xデータ点(n)の数は、Yデータ点(n)の数と同じである。
【0040】
r(i)の値は、「スピアマンの順位」相関係数と呼ばれている。r(i)の値は、客観的X値がどれだけよく主観的Y値と適合するかの尺度である。統計分析によって予め決定されているため、各性能指数f(i)に対する相関係数r(i)の値は既知である。相関係数r(i)の値は、メモリ150中のメトリックパラメータルックアップテーブル180に記憶されている。
【0041】
スケーラブル・ダイナミックな客観的メトリック「F」に対する「最適」値が望ましい。「F」の「最適」値は、ビデオ質の(自動的に生成される)客観的メトリック測定と、ビデオ質の(人間の意見からの)の主観的測定との最高レベルの相関関係を表示する。「F」の「最適」値は、ビデオ質の客観的測定によるビデオ質の主観的測定の最も近い近似を表示する。ビデオストリーム中のビデオ画像が常に変化しているため、「最適」は定期的な自動更新を必要とする。「動的又はダイナミック」といった用語は、ビデオストリーム中のビデオ画像の連続的な変化を考慮するために、本発明の客観的メトリックがその値を連続的に変化させる能力のことを意味している。
【0042】
前記のとおり、重み付けユニット190は、発生する度にビデオシーケンスの特徴を連続的に(即ち、ダイナミックに)検出する。各相関係数r(i)に関して、重み付けユニット190は、各性能指数f(i)にw(i)の値を連続的に割り当てる。「F」の「最適」値を動的に得るためには、メトリック計算アルゴリズム170は、r(i)の各値に対してSの値を最大にさせるようw(i)の値を決定する。これら最大の値(即ち、最大値)は、スケーラブル・ダイナミックな客観的メトリック「F」となるよう選択される。つまり、
【0043】
【数8】
スケーラブル・ダイナミックな客観的メトリック「F」は、(夫々の相関係数r(i)が定義されている限り)新しい客観的メトリックモデルユニットが簡単に追加され得る点で「拡張可能又はスケーラブル」である。更に、もはや望まれない客観的メトリックモデルユニットは、簡単に除去され得る。
【0044】
本発明のスケーラブル・ダイナミックな客観的メトリック「F」は、多くの適応性を提供する。例えば、高速(実時間)ビデオ信号に関して、メトリック計算処理で性能指数が考慮されないよう任意の複雑な測定客観的メトリックがオフにされ得る。より多くの時間がメトリック計算を実施するために使用され得るシミュレーション及びビデオチェインの最適化適用法に関して、メトリック計算処理で性能指数が考慮され得るようより多くの複雑な測定客観的メトリックがオンにされ得る。
【0045】
本発明のスケーラブル・ダイナミックな客観的メトリックは、任意の単一の客観的メトリックの欠点を回避する。これは、あるアーチファクトの組が存在すると乏しく機能する任意の客観的メトリックに対して重み付けユニット190が低い値のw(i)を割り当てるためである。本発明のスケーラブル・ダイナミックな客観的メトリックは、任意の単一の客観的メトリックと比較して主観的試験の結果と最高の相関関係を実現する。本発明のスケーラブル・ダイナミックな客観的メトリックは、全ての情況下で少なくとも最適な単一の客観的メトリックほどに良い。スケーラブル・ダイナミックな客観的メトリックが任意の客観的メトリックを含むことを許可するため、本発明のシステム及び方法は、特定のタイプの客観的メトリック(例えば、「シングルエンド」客観的メトリック又は「ダブルエンド」客観的メトリック)との使用に制限されない。
【0046】
ソフトウェアで実行された本発明の要素(例えば、重み付けユニット190)は、望む場合にハードウェアで実行されてもよい。
【0047】
図2は、本発明の動作の方法を例示するフローチャートである。この方法の段階は、一般的に参照番号200で示されている。ビデオストリーム110からのビデオ画像は、Nの客観的メトリックモデルユニット(120,130,・・・,140)に供給される。Nの客観的メトリックモデルユニット(120,130,・・・,140)は、ビデオ画像を評価し、Nの性能指数f(i)を夫々得る(段階205)。
【0048】
客観的メトリックコントローラ150中の重み付けユニット190は、ビデオ画像のビデオ特性を動的に検出し、Nの性能指数f(i)に対してNの重みw(i)を割り当てる(段階210)。各相関係数r(i)に関して、客観的メトリックコントローラ150は、重みw(i)と性能指数f(i)の各積の和に等しい和S(r(i))を計算する(段階215)。
【0049】
客観的メトリックコントローラ150は、ビデオの質の主観的測定とビデオの質の客観的測定の最適な相関関係に対応する和S(r(i))の最大値を選択する(段階220)。客観的メトリックコントローラ150は、その値をスケーラブル・ダイナミックな客観的メトリック「F」の値となるよう割り当てる(段階225)。客観的メトリックコントローラ150は、「F」の値を出力する(段階230)。
【0050】
「F」の値が出力された後、客観的メトリックコントローラ150がまだビデオ画像を受信しているか否かの判断が付けられる(判断段階235)。ビデオが終了している場合、処理が終了する。ビデオが終了してなく、より多くのビデオ画像を受信している場合、制御は段階205に戻り、客観的コントローラ150は上記に説明した方法で動作し続ける。
【0051】
本発明は、ビデオ画像のビデオの質を評価するスケーラブル・ダイナミックな客観的メトリックを提供するシステムとして説明した。本発明の「スケーラブル・ダイナミックな客観的メトリック」は、「スタティックな(static)客観的メトリック」を提供するといったより特定の場合をサブセットとして含む、一般的な場合である。「スタティックな客観的メトリック」を提供するために本発明は、1)複数の客観的メトリックモデルユニットから複数の客観的メトリックの性能指数を受信し、2)複数の客観的メトリックの性能指数夫々に対して重み値w(i)を決定し、3)その後ビデオストリーム110に対する客観的メトリック「F」を計算する処理中に重み値w(i)を一定(即ち、不変)に保つ。
【0052】
本発明は、詳細に説明したが、当業者は、最も広い形態において本発明の精神及び範囲から逸脱することなく本願に関して様々な変化、置換、及び、変更を成し得ることを理解すべきである。
【図面の簡単な説明】
【図1】
1)ビデオストリームから複数の客観的メトリックの性能指数を得る複数の客観的メトリックモデルユニット、及び、2)スケーラブル・ダイナミックな客観的メトリックを決定するために複数の客観的メトリックの性能指数を用いることができる客観的メトリックコントローラを例示するブロック図である。
【図2】
本発明の改善されたシステムの動作の有利な方法を示すフローチャートである。
本発明は、ビデオの質を評価するシステム及び方法に係わり、特に、ビデオ画像のビデオの質を自動的に評価する、スケーラブル・ダイナミックな客観的メトリックを提供する改善されたシステム及び方法に関わる。
【0002】
ビデオ専門家は、ビデオ画像の質を改善するために常に新しいアルゴリズム及び方法を模索している。主な目標は、可能な限り最も知覚的に好ましいビデオ画像を得ることである。最終基準は、「結果となるピクチャをどれだけ観察者が好むか」といった質問である。この問題を答える一つの方法は、あるビデオシーケンスを観察者のパネルに見せ、結果となる画像の質に関わる観察者の意見を記録することである。しかしながら、結果は、観察パネルの間の変わりやすさによってパネルとパネルとの間で異なる。この問題は、主観的な人間の意見に頼るとき一般的に直面する問題である。観察パネルが専門家でない人によって構成されるとき、問題の厳しさが増す。
【0003】
人間の直観及び主観的意見にだけ頼る結果は、主観的結果の非決定論的性質から生ずる不明確さを除去するために、後に統計分析を通常受ける。これらのタイプの主観的結果を正規化し、ビデオの質の良さ(又は悪さ)を表わすある性能指数を得るために線形の及び非線形の発見的統計モデルが提案された。このようにしてビデオの質を測定する処理は、「主観的ビデオ質評価」と呼ぶ。
【0004】
主観的ビデオ質評価は、可視のビデオアーチファクトの確かな表示を与える。しかし主観的ビデオ質評価は、全体的に問題があり、複雑であり、時間がかかり、時として適用することが困難である。更に、適当な観察者を観察パネルに選択することに関して問題がある。訓練されていない観察者は、新しいビデオ処理方法の適切さに関して審判として劣っている。しかし訓練されていない観察者は、市場における一般の消費者の正確な代表者となる可能性が高い。他方で、訓練された専門の観察者は、一般の消費者が気付くことがない些細な欠陥を検出することに対して過度に意見が偏るであろう。
【0005】
ビデオの質を評価する主観的方法に伴う不都合な点を回避するために、ビデオの質を評価する自動客観方法を使用することが望ましい。自動客観方法は、ビデオの質の良さ(又は悪さ)を定量化するために客観的な性能指数を得ることを試みる。ビデオの質の一つ以上の客観的測定値を得る処理は、ビデオストリーム中にビデオアルゴリズムが順次に表わされると異なるタイプのビデオアルゴリズムを迅速に分析することができるよう自動化されなくてはならない。
【0006】
ビデオの質の客観的測定値は完全に決定論的である。つまり、(同じ設定が保存されていると仮定して)テストを繰り返すと結果は必ず同じになる。
【0007】
最終目標が最も好ましいピクチャを観察者に見せることであるため、ビデオの質の客観的測定値の最終判断は、客観的測定と主観的結果との相関度である。統計分析は、(人間の意見から)主観的に得られた結果と(自動的に生成される)客観的に得られた結果とを相互に関係付けるために通常使用される。
【0008】
技術において、ビデオの質を自動的に測定する改善されたシステム及び方法が必要である。ビデオの質を自動的に測定する処理は、「客観的ビデオ質評価」と呼ぶ。
【0009】
客観的ビデオ質評価を提供することができる幾つかの異なるタイプのアルゴリズムが提案される。アルゴリズムは、一般的に「客観的ビデオ質モデル」と呼ばれる。ビデオ質専門家グループ(VQEG)からの報告は、十(10)の客観的ビデオ質モデルで実施された評価の結果を説明し、記述する。この報告書は、1999年12月に書かれ「Final Report from the Video Quality Experts Group on the validation of Objective Models of Video Quality Assessment」なる名称を有する。報告書は、http://www.crc.ca/VQEGにおいてワールド・ワイド・ウェブで現在入手可能である。
【0010】
各異なる客観的ビデオ質モデルは、「客観的メトリック」と呼ばれるビデオの質の独自の特有の測定を提供する。「ダブルエンド」客観的メトリックは、第1の元のビデオ画像と第2の処理されたビデオ画像を用いてビデオの質を評価するものである。「ダブルエンド」客観的メトリックは、第1の元のビデオ画像と第2の処理されたビデオ画像を比較し、元のビデオ画像における変化を決定することでビデオの質を評価する。「シングルエンド」客観的メトリックは、元のビデオ画像を参照することなくビデオの質を評価するものである。「シングルエンド」客観的メトリックは、ビデオ画像にアルゴリズムを適用し、その質を評価する。
【0011】
全ての情況下で、全てのビデオアーチファクトに対して、ある一つの客観的メトリックが全ての他の客観的メトリックよりも勝ることはない。客観的メトリック夫々は、利点及び不都合な点を有する。客観的メトリックは、性能(即ち、どれだけその結果が主観的質評価結果と相互に関係付けられるか)、安定性(即ち、どれだけ異なるタイプのビデオアーチファクトを取り扱うことができるか)、及び、複雑性(即ち、アルゴリズム計算を実施するのにどれだけ計算力が必要か)において幅広く異なる。
【0012】
客観的メトリックが適用され得る幅広い範囲の用途がある。例えば、放送ビデオ信号の質を判断するために高速の実時間での客観的メトリックが必要である。他方で、実時間でないビデオシミュレーションの質を判断するためには、より複雑で信頼ある客観的メトリックが好ましい。
【0013】
1つの客観的メトリック(及び1つの客観的ビデオ質モデル)だけを使用することは、使用される客観的メトリックから得られる評価レベルにビデオ信号の質の評価を制限させる。技術において、ビデオ質評価のために一つ以上の客観的メトリックを用いる改善されたシステム及び方法が必要である。
【0014】
本発明は、ビデオ画像のビデオの質を自動的に評価するスケーラブル・ダイナミックな客観的メトリックを提供する改善されたシステム及び方法を一般的に有する。
【0015】
本発明の有利な実施例では、本発明の改善されたシステムは、複数の客観的メトリックモデルユニットから複数の客観的メトリックの性能指数を受信することができる客観的メトリックコントローラを有する。客観的メトリックコントローラは、複数の客観的な性能指数からスケーラブル・ダイナミックな客観的メトリックを決定することができる。
【0016】
本発明の有利な実施例では、本発明の改善された方法は、1)複数の客観的メトリックモデルユニットから複数の客観的メトリックの性能指数を客観的メトリックコントローラで受信する段階と、2)複数の上記客観的メトリックの性能指数からスケーラブル・ダイナミックな客観的メトリックを決定する段階とを有する。
【0017】
本発明は、ビデオ画像のビデオの質を自動的に評価するスケーラブル・ダイナミックな客観的メトリックを提供する改善されたシステム及び方法を提供することを主な目的とする。
【0018】
本発明は、複数の客観的メトリックの性能指数の重み付けされた平均を得ることでスケーラブル・ダイナミックな客観的メトリックを提供することを別の目的とする。
【0019】
本発明は、客観的メトリックの性能指数がどれだけビデオ画像特徴を評価するかを表示する相関係数を用いて複数の客観的メトリックの性能指数の重み付けされた平均を得ることでスケーラブル・ダイナミックな客観的メトリックを提供することを更なる目的とする。
【0020】
本発明は、新しいビデオ画像を連続的に受信すると、複数の客観的メトリックの性能指数の新しい値からスケーラブル・ダイナミックな客観的メトリックの新しい値を連続的に決定することを別の目的とする。
【0021】
上述の説明は、以下の本発明の詳細な説明を当業者がより良く理解できるよう本発明の特徴及び技術的な利点を幅広く要約したものである。本発明の特許請求の範囲の技術的内容を形成する本発明の追加的な特徴及び利点は以下に説明する。当業者は、開示する概念及び特定の実施例を本発明と同じ目的を実行する上で他の構造を変更又は設計する基礎として容易に使用し得ることを認識すべきである。当業者は、このような同等の構成は、最も広い形態において本発明の精神及び範囲から逸脱しないことを認識すべきである。
【0022】
本発明の詳細な説明に入る前に、本特許文書を通して使用される決まった用語及び表現を先に定義することが有利となり得、「含む」及び「有する」といった用語、並びに、それから派生する語は制限無しに包有することを意味し、「又は」の用語は「及び/又は」の意味も含み、「関連する」及び「関連付けられる」といった表現、並びに、それから派生する表現は、含む、含まれる、相互接続される、収容する、収容される、接続する、接続される、結合する、結合される、通信可能である、協動する、インタリーブする、並置する、近似する、密接に関係する、密接に関係される、有する、〜の特性を有する又は同等のものとして意味し得、「コントローラ」、「プロセッサ」、又は「装置」といった用語は全ての装置、システム又は少なくとも一つの動作を制御する一部を意味し得、このような装置はハードウェア、ファームウェア、又は、ソフトウェア、若しくは、少なくともこれらのうちの2つを組み合わせたもので実施され得る。全ての特定のコントローラと関連する機能性は、局部的又は遠隔的であっても中央に集中するか分配してもよいことに注意すべきである。ある用語及び表現の定義が本特許文書を通じて与えられる。当業者は、このような定義が殆どでなければ多くの場合、このような定義は、このように定義された用語及び表現の従来、並びに、将来的な使用に適用されることを理解すべきである。
【0023】
本発明のより完全な理解、及び、その利点のために、同様の参照記号が同様の構成要素を示す添付の図面と共に以下の説明を参照する。
【0024】
以下に説明する図1及び図2、並びに、本発明の改善されたシステム及び方法の原理を説明するために本特許文書に説明する様々な実施例は、例示的に過ぎず、本発明の範囲を如何なる方法でも制限するものとして解釈されてはならない。当業者は、本発明の原理がビデオの質を評価する任意のタイプの装置に上手く適用され得ることを容易に理解するであろう。
【0025】
図1は、自動ビデオ質評価のためのスケーラブル・ダイナミックな客観的メトリックを提供するシステム100を示す。システム100は、ビデオストリーム110を受信する。複数の客観的メトリックモデルユニット(120,130,・・・,140)夫々は、ビデオストリーム110のビデオ信号のコピー物を受信する。客観的メトリックモデルユニット120は、第1の客観的メトリックモデル(「メトリック1」と呼ぶ)を適用し、第1の客観的メトリックモデルに基づくビデオ信号の質を表示する第1の性能指数f(1)を得る。第1の性能指数f(1)は、コントローラ150に供給される。
【0026】
同様にして、客観的メトリックモデルユニット130は、第2の客観的メトリックモデル(「メトリック2」と呼ぶ)を適用し、第2の客観的メトリックモデルに基づくビデオ信号の質を表示する第2の性能指数f(2)を得る。第2の性能指数f(2)は、コントローラ150に供給される。このようにして繰り返すことで、最後の客観的メトリックモデル140が追加されるまで他の客観的メトリックモデルユニットが追加される。客観的メトリックモデルユニット140は、最後の客観的メトリックモデル(「メトリックN」と呼ぶ)を適用する。客観的メトリックモデルユニット(120,130,・・・,140)は、複数の性能指数f(1)、f(2)、・・・、f(N)を得、それらをコントローラ150に供給する。
【0027】
性能指数f(1)、f(2)、・・・、f(N)は、Nの異なる客観的メトリックによるビデオストリームの質の一連のNの評価を表示する。性能指数f(1)、f(2)、・・・、f(N)は、f(i)として指定されてもよく、このときiの値は1からNである。
【0028】
より詳細に説明するように、本発明のシステム100は、スケーラブル・ダイナミックな客観的メトリックを計算するために性能指数f(i)を用いるシステム及び方法を提供する。「F」といった文字(図1参照)は、本発明のスケーラブル・ダイナミックな客観的メトリックを示す。
【0029】
本発明のシステム100は、コントローラ150とメモリ160とを有する。コントローラ150は、従来のマイクロプロセッサチップを有する。コントローラ150は、信号通信線(図1に示す)を介して複数の客観的メトリックモデルユニット(120,130,・・・,140)に接続されている。コントローラ150は、データを処理し、データを記憶し、データを引出し、データを出力するためにメモリ160内にあるオペレーティングシステム(図示せず)と共に動作する。コントローラ150は、メモリ160に記憶されるコンピュータ命令を実行することでスケーラブル・ダイナミックな客観的メトリック「F」を計算する。
【0030】
メモリ160は、随時書き込み読み出しメモリ(RAM)、読み出し専用メモリ(ROM)、又は、随時書き込み読み出しメモリ(RAM)と読み出し専用メモリ(ROM)の組み合わせを有してもよい。本発明の有利な実施例では、メモリ160は、フラッシュメモリのような不揮発性随時書き込み読み出しメモリ(RAM)を有し得る。メモリ160は、ハードディスクドライブ(図1に示さず)のような大容量記憶データ装置、又は、コンパクトディスク読み出し専用メモリ(CD−ROM)(図1に示さず)を有してもよい。
【0031】
本発明のシステム及び方法は、制限的でなくハードディスクドライブベースのテレビジョンセット及びハードディスクベースのビデオレコーダ例えば、商標Replay TVビデオレコーダ又は商標TiVoビデオレコーダを含む幅広い種類のビデオ処理システムで使用されてもよい。
【0032】
コントローラ150及びメトリック計算アルゴリズム170は、本発明を実行することができる客観的メトリックコントローラを一緒に有する。メモリ160内に記憶されているメトリック計算アルゴリズム170のコンピュータ命令の指示の下でコントローラ150は、性能指数f(i)を用いてスケーラブル・ダイナミックな客観的メトリック「F」を計算する。
【0033】
コントローラ150内の重み付けユニット190は、ビデオシーケンスの現在生じている特徴を動的に検出する。現在生じている特徴は、鮮明度、色、彩度、動き、及び同様のタイプの特徴を含んでもよい。重み付けユニット190は、各客観的メトリック(メトリック1、メトリック2、・・・、メトリックN)に値(又は「重み」)w(i)を割り当てる。例えば、メトリック1がある第1のタイプのビデオ信号に対して使用されることが特に好ましい場合、w(1)の値はw(i)の他の値よりも大きい値が与えられる。反対に、メトリック2がその同じ第1のタイプのビデオ信号に対して使用されることは好ましくなく、w(i)の他の値よりも低い値がw(2)に与えられる。第2のタイプのビデオ信号が存在するとき、メトリック1は第2のタイプのビデオ信号に対して使用されることがメトリック2ほど好ましくない。この場合、w(2)にはより高い値が与えられ、w(1)はw(i)の他の値よりも低い値が与えられる。
【0034】
一般的に、重み付けユニット190が選択するw(i)の値は、重み付けユニット190が動的に検出するビデオ信号のタイプに依存して異なる。コントローラ150は、各w(i)とf(i)の積の和Sを計算するためにメトリック計算アルゴリズム170を使用する。つまり、
【0035】
【数5】
であり、このときiの値は1乃至Nである。
【0036】
相関係数r(i)が各性能指数と関連付けられる。相関係数r(i)は、式
【0037】
【数6】
から得られ、このとき、
【0038】
【数7】
であり、jの値は1乃至nである。
【0039】
X(i,j)の値は、ビデオ画像に対するnの客観的データ値の組の値である。Y(i,j)の値は、同じビデオ画像に対するnの主観的データ値の組の値である。つまり、Xデータ点(n)の数は、Yデータ点(n)の数と同じである。
【0040】
r(i)の値は、「スピアマンの順位」相関係数と呼ばれている。r(i)の値は、客観的X値がどれだけよく主観的Y値と適合するかの尺度である。統計分析によって予め決定されているため、各性能指数f(i)に対する相関係数r(i)の値は既知である。相関係数r(i)の値は、メモリ150中のメトリックパラメータルックアップテーブル180に記憶されている。
【0041】
スケーラブル・ダイナミックな客観的メトリック「F」に対する「最適」値が望ましい。「F」の「最適」値は、ビデオ質の(自動的に生成される)客観的メトリック測定と、ビデオ質の(人間の意見からの)の主観的測定との最高レベルの相関関係を表示する。「F」の「最適」値は、ビデオ質の客観的測定によるビデオ質の主観的測定の最も近い近似を表示する。ビデオストリーム中のビデオ画像が常に変化しているため、「最適」は定期的な自動更新を必要とする。「動的又はダイナミック」といった用語は、ビデオストリーム中のビデオ画像の連続的な変化を考慮するために、本発明の客観的メトリックがその値を連続的に変化させる能力のことを意味している。
【0042】
前記のとおり、重み付けユニット190は、発生する度にビデオシーケンスの特徴を連続的に(即ち、ダイナミックに)検出する。各相関係数r(i)に関して、重み付けユニット190は、各性能指数f(i)にw(i)の値を連続的に割り当てる。「F」の「最適」値を動的に得るためには、メトリック計算アルゴリズム170は、r(i)の各値に対してSの値を最大にさせるようw(i)の値を決定する。これら最大の値(即ち、最大値)は、スケーラブル・ダイナミックな客観的メトリック「F」となるよう選択される。つまり、
【0043】
【数8】
スケーラブル・ダイナミックな客観的メトリック「F」は、(夫々の相関係数r(i)が定義されている限り)新しい客観的メトリックモデルユニットが簡単に追加され得る点で「拡張可能又はスケーラブル」である。更に、もはや望まれない客観的メトリックモデルユニットは、簡単に除去され得る。
【0044】
本発明のスケーラブル・ダイナミックな客観的メトリック「F」は、多くの適応性を提供する。例えば、高速(実時間)ビデオ信号に関して、メトリック計算処理で性能指数が考慮されないよう任意の複雑な測定客観的メトリックがオフにされ得る。より多くの時間がメトリック計算を実施するために使用され得るシミュレーション及びビデオチェインの最適化適用法に関して、メトリック計算処理で性能指数が考慮され得るようより多くの複雑な測定客観的メトリックがオンにされ得る。
【0045】
本発明のスケーラブル・ダイナミックな客観的メトリックは、任意の単一の客観的メトリックの欠点を回避する。これは、あるアーチファクトの組が存在すると乏しく機能する任意の客観的メトリックに対して重み付けユニット190が低い値のw(i)を割り当てるためである。本発明のスケーラブル・ダイナミックな客観的メトリックは、任意の単一の客観的メトリックと比較して主観的試験の結果と最高の相関関係を実現する。本発明のスケーラブル・ダイナミックな客観的メトリックは、全ての情況下で少なくとも最適な単一の客観的メトリックほどに良い。スケーラブル・ダイナミックな客観的メトリックが任意の客観的メトリックを含むことを許可するため、本発明のシステム及び方法は、特定のタイプの客観的メトリック(例えば、「シングルエンド」客観的メトリック又は「ダブルエンド」客観的メトリック)との使用に制限されない。
【0046】
ソフトウェアで実行された本発明の要素(例えば、重み付けユニット190)は、望む場合にハードウェアで実行されてもよい。
【0047】
図2は、本発明の動作の方法を例示するフローチャートである。この方法の段階は、一般的に参照番号200で示されている。ビデオストリーム110からのビデオ画像は、Nの客観的メトリックモデルユニット(120,130,・・・,140)に供給される。Nの客観的メトリックモデルユニット(120,130,・・・,140)は、ビデオ画像を評価し、Nの性能指数f(i)を夫々得る(段階205)。
【0048】
客観的メトリックコントローラ150中の重み付けユニット190は、ビデオ画像のビデオ特性を動的に検出し、Nの性能指数f(i)に対してNの重みw(i)を割り当てる(段階210)。各相関係数r(i)に関して、客観的メトリックコントローラ150は、重みw(i)と性能指数f(i)の各積の和に等しい和S(r(i))を計算する(段階215)。
【0049】
客観的メトリックコントローラ150は、ビデオの質の主観的測定とビデオの質の客観的測定の最適な相関関係に対応する和S(r(i))の最大値を選択する(段階220)。客観的メトリックコントローラ150は、その値をスケーラブル・ダイナミックな客観的メトリック「F」の値となるよう割り当てる(段階225)。客観的メトリックコントローラ150は、「F」の値を出力する(段階230)。
【0050】
「F」の値が出力された後、客観的メトリックコントローラ150がまだビデオ画像を受信しているか否かの判断が付けられる(判断段階235)。ビデオが終了している場合、処理が終了する。ビデオが終了してなく、より多くのビデオ画像を受信している場合、制御は段階205に戻り、客観的コントローラ150は上記に説明した方法で動作し続ける。
【0051】
本発明は、ビデオ画像のビデオの質を評価するスケーラブル・ダイナミックな客観的メトリックを提供するシステムとして説明した。本発明の「スケーラブル・ダイナミックな客観的メトリック」は、「スタティックな(static)客観的メトリック」を提供するといったより特定の場合をサブセットとして含む、一般的な場合である。「スタティックな客観的メトリック」を提供するために本発明は、1)複数の客観的メトリックモデルユニットから複数の客観的メトリックの性能指数を受信し、2)複数の客観的メトリックの性能指数夫々に対して重み値w(i)を決定し、3)その後ビデオストリーム110に対する客観的メトリック「F」を計算する処理中に重み値w(i)を一定(即ち、不変)に保つ。
【0052】
本発明は、詳細に説明したが、当業者は、最も広い形態において本発明の精神及び範囲から逸脱することなく本願に関して様々な変化、置換、及び、変更を成し得ることを理解すべきである。
【図面の簡単な説明】
【図1】
1)ビデオストリームから複数の客観的メトリックの性能指数を得る複数の客観的メトリックモデルユニット、及び、2)スケーラブル・ダイナミックな客観的メトリックを決定するために複数の客観的メトリックの性能指数を用いることができる客観的メトリックコントローラを例示するブロック図である。
【図2】
本発明の改善されたシステムの動作の有利な方法を示すフローチャートである。
Claims (22)
- ビデオ画像のビデオの質を評価するスケーラブル・ダイナミックな客観的メトリックを供給するシステムであって、
複数の客観的メトリックモデルユニットから複数の客観的メトリックの性能指数を受信することができ、且つ、上記複数の客観的メトリックの性能指数から上記スケーラブル・ダイナミックな客観的メトリックを決定することができる客観的メトリックコントローラを有するシステム。 - 上記複数の客観的メトリックの性能指数は、2からNと様々であり、このときNは整数である、請求項1記載のビデオ画像のビデオの質を評価するスケーラブル・ダイナミックな客観的メトリックを供給するシステム。
- 上記客観的メトリックコントローラは、上記複数の客観的メトリックの性能指数の重み付けされた平均から上記スケーラブル・ダイナミックな客観的メトリックを決定することができる、請求項1記載のビデオ画像のビデオの質を評価するスケーラブル・ダイナミックな客観的メトリックを供給するシステム。
- 上記客観的メトリックコントローラは、上記複数の客観的メトリックの性能指数夫々に重み値を割り当てることができる重み付けユニットを有する、請求項3記載のビデオ画像のビデオの質を評価するスケーラブル・ダイナミックな客観的メトリックを供給するシステム。
- 上記重み付けユニットは、上記各客観的メトリックの性能指数に対する相関係数を用いて上記複数の客観的メトリックの性能指数夫々に対して重み値を割り当て、このとき客観的メトリックの性能指数に対する相関係数は上記客観的メトリックの性能指数がどれだけよくビデオ画像特徴を評価するかを表わす、請求項4記載のビデオ画像のビデオの質を評価するスケーラブル・ダイナミックな客観的メトリックを供給するシステム。
- 上記重み付けユニットは、上記客観的メトリックコントローラに結合されたメトリックパラメータルックアップテーブルから上記各相関係数を得、このとき上記ルックアップテーブルは、上記相関係数の前に記録された値を有する、請求項5記載のビデオ画像のビデオの質を評価するスケーラブル・ダイナミックな客観的メトリックを供給するシステム。
- 上記客観的メトリックコントローラは、上記各相関係数に対する性能指数と重み値の各積の和に夫々等しい複数の和を計算することができる、請求項5記載のビデオ画像のビデオの質を評価するスケーラブル・ダイナミックな客観的メトリックを供給するシステム。
- 上記客観的メトリックコントローラは、上記複数の和の最大値となるよう上記スケーラブル・ダイナミックな客観的メトリックを選択することで上記スケーラブル・ダイナミックな客観的メトリックを得ることができ、このとき上記最大値は、上記ビデオ画像の客観的メトリック測定と上記ビデオ画像の主観的測定との最適な相関関係を表わす、請求項8記載のビデオ画像のビデオの質を評価するスケーラブル・ダイナミックな客観的メトリックを供給するシステム。
- 上記客観的メトリックコントローラは、上記複数の客観的メトリックモデルユニットが新しいビデオ画像を連続的に受信すると、上記複数の客観的な性能指数の新しい値から上記スケーラブルな客観的メトリックの新しい値を連続的に決定することができる、請求項1記載のビデオ画像のビデオの質を評価するスケーラブル・ダイナミックな客観的メトリックを供給するシステム。
- 上記客観的メトリックコントローラは、少なくとも一つの客観的メトリックを上記複数の客観的な性能指数に追加することができ、上記客観的メトリックコントローラは、上記複数の客観的な性能指数から少なくとも一つの客観的メトリックを削除することができる、請求項1記載のビデオ画像のビデオの質を評価するスケーラブル・ダイナミックな客観的メトリックを供給するシステム。
- 上記客観的メトリックコントローラは、
複数の客観的メトリックモデルユニットから複数の客観的メトリックの性能指数を受信することができるコントローラと、
上記コントローラに結合されるメモリに含まれ、上記複数の客観的メトリックの性能指数の重み付けされた平均から上記スケーラブル・ダイナミックな客観的メトリックに対する値を決定するために上記コントローラによって実行されることができる命令を含むメトリック計算アルゴリズムとを有する、請求項1記載のビデオ画像のビデオの質を評価するスケーラブル・ダイナミックな客観的メトリックを供給するシステム。 - 複数の客観的メトリックモデルユニットと、
上記複数の客観的メトリックモデルユニットから複数の客観的メトリックの性能指数を受信することができ、且つ、ビデオ質の客観的メトリック測定とビデオ質の主観的測定との最大レベルの相関関係を表わす値を上記複数の客観的メトリックの性能指数の重み付けされた平均から上記スケーラブル・ダイナミックな客観的メトリックに対して決定することができる客観的メトリックコントローラとを有する、請求項1記載のビデオ画像のビデオの質を評価するスケーラブル・ダイナミックな客観的メトリックを供給するシステム。 - ビデオ画像のビデオの質を評価するスタティックな客観的メトリックを供給するシステムであって、
複数の客観的メトリックモデルユニットから複数の客観的メトリックの性能指数を受信することができ、且つ、上記複数の客観的メトリックの性能指数から上記スタティックな客観的メトリックを決定することができる客観的メトリックコントローラを有するシステム。 - ビデオ画像のビデオの質を評価するスケーラブル・ダイナミックな客観的メトリックを供給する方法であって、
複数の客観的メトリックモデルユニットから複数の客観的メトリックの性能指数を客観的メトリックコントローラで受信する段階と、
上記複数の客観的メトリックの性能指数から上記スケーラブル・ダイナミックな客観的メトリックを決定する段階とを有する方法。 - 上記複数の客観的メトリックの性能指数から上記スケーラブル・ダイナミックな客観的メトリックを決定する段階は、上記複数の客観的メトリックの性能指数の重み付けされた平均から上記スケーラブル・ダイナミックな客観的メトリックを決定する段階を含む、請求項15記載のビデオ画像のビデオの質を評価するスケーラブル・ダイナミックな客観的メトリックを供給する方法。
- 上記複数の客観的メトリックの性能指数の重み付けされた平均から上記スケーラブル・ダイナミックな客観的メトリックを決定する段階は、
客観的メトリックの性能指数がビデオ画像特徴をどれだけよく評価するかを表わす上記複数の客観的メトリックの性能指数夫々に対する相関係数を得る段階と、
上記相関係数を用いて上記複数の客観的メトリックの性能指数夫々に対して重み値を割り当てる段階を含む、請求項17記載のビデオ画像のビデオの質を評価するスケーラブル・ダイナミックな客観的メトリックを供給する方法。 - 上記各相関係数に対して、重み値と性能指数の各積の和に夫々等しい複数の和を計算する段階と、
上記ビデオ画像の客観的メトリック測定と上記ビデオ画像の主観的測定との最適な相関関係を表わす、複数の和の最大値となるよう上記スケーラブル・ダイナミックな客観的メトリックを選択する段階とを更に有する、請求項18記載のビデオ画像のビデオの質を評価するスケーラブル・ダイナミックな客観的メトリックを供給する方法。 - 上記複数の客観的メトリックモデルユニットが新しいビデオ画像を受信すると、上記複数の客観的メトリックモデルユニットから上記複数の客観的メトリックの性能指数の新しい値を上記客観的メトリックコントローラで受信する段階と、
上記複数の客観的メトリックの性能指数の上記新しい値から上記スケーラブル・ダイナミックな客観的メトリックの新しい値を連続的に決定する段階とを更に有する、請求項16記載のビデオ画像のビデオの質を評価するスケーラブル・ダイナミックな客観的メトリックを供給する方法。 - 望ましくない客観的メトリックの性能指数を生成する客観的メトリックに対して低い重み値を割り当てる段階と、
望ましい客観的メトリックの性能指数を生成する客観的メトリックに対して高い重み値を割り当てる段階とを更に有する、請求項18記載のビデオ画像のビデオの質を評価するスケーラブル・ダイナミックな客観的メトリックを供給する方法。 - ビデオ画像のビデオの質を評価するスタティックな客観的メトリックを供給する方法であって、
複数の客観的メトリックモデルユニットから複数の客観的メトリックの性能指数を客観的メトリックコントローラで受信する段階と、
上記複数の客観的メトリックの性能指数夫々に対して重み値を決定する段階と、
上記重み値を一定に保つ段階と、
上記一定の重み値を用いてスタティックな客観的メトリックを計算する段階とを有する方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/734,823 US6798919B2 (en) | 2000-12-12 | 2000-12-12 | System and method for providing a scalable dynamic objective metric for automatic video quality evaluation |
PCT/EP2001/013817 WO2002049369A2 (en) | 2000-12-12 | 2001-11-26 | System and method for providing a scalable dynamic objective metric for automatic video quality evaluation |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004516566A true JP2004516566A (ja) | 2004-06-03 |
Family
ID=24953207
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002550732A Withdrawn JP2004516566A (ja) | 2000-12-12 | 2001-11-26 | 自動ビデオ質評価のためのスケーラブル・ダイナミックな客観的メトリックを供給するシステム及び方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US6798919B2 (ja) |
EP (1) | EP1342380A2 (ja) |
JP (1) | JP2004516566A (ja) |
KR (1) | KR20020076303A (ja) |
CN (1) | CN1422498A (ja) |
WO (1) | WO2002049369A2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008503120A (ja) * | 2004-06-18 | 2008-01-31 | ローデ ウント シュワルツ ゲーエムベーハー ウント コー カーゲー | 信号の品質を評価する方法および装置 |
JP2008165740A (ja) * | 2006-11-29 | 2008-07-17 | Mitsubishi Electric Research Laboratories Inc | 監視システムの性能を測定するためのコンピュータ実施される方法 |
JP2015502097A (ja) * | 2011-11-28 | 2015-01-19 | トムソン ライセンシングThomson Licensing | 処理方法、処理装置及び記憶媒体 |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6876381B2 (en) * | 2001-01-10 | 2005-04-05 | Koninklijke Philips Electronics N.V. | System and method for providing a scalable objective metric for automatic video quality evaluation employing interdependent objective metrics |
US6943827B2 (en) * | 2001-04-16 | 2005-09-13 | Kddi Corporation | Apparatus for monitoring quality of picture in transmission |
US7010159B2 (en) * | 2001-04-25 | 2006-03-07 | Koninklijke Philips Electronics N.V. | Apparatus and method for combining random set of video features in a non-linear scheme to best describe perceptual quality of video sequences using heuristic search methodology |
US7139017B2 (en) * | 2002-01-29 | 2006-11-21 | Koninklijke Philips Electronics N.V. | Method and system for obtaining the best picture quality in a scarce-power device |
US20030161399A1 (en) * | 2002-02-22 | 2003-08-28 | Koninklijke Philips Electronics N.V. | Multi-layer composite objective image quality metric |
US6992697B2 (en) * | 2002-06-19 | 2006-01-31 | Koninklijke Philips Electronics N.V. | Method and apparatus to measure video quality on any display device with any image size starting from a know display type and size |
CN1720717A (zh) * | 2002-12-05 | 2006-01-11 | 皇家飞利浦电子股份有限公司 | 用于在视频系统的二进制表示中使用概率向量以获得具有最小计算需求的更快速收敛的方法和设备 |
GB0314161D0 (en) * | 2003-06-18 | 2003-07-23 | British Telecomm | Edge analysis in video quality assessment |
US7512286B2 (en) * | 2003-10-27 | 2009-03-31 | Hewlett-Packard Development Company, L.P. | Assessing image quality |
WO2005060272A1 (en) * | 2003-12-16 | 2005-06-30 | Agency For Science, Technology And Research | Image and video quality measurement |
US7405747B2 (en) * | 2004-04-14 | 2008-07-29 | Tektronix, Inc. | Extended K2T measurement of video |
WO2007066066A2 (en) * | 2005-12-05 | 2007-06-14 | British Telecommunications Public Limited Company | Non-intrusive video quality measurement |
EP1860885B1 (en) * | 2006-05-23 | 2011-11-02 | Tektronix International Sales GmbH | Video transport stream analyser |
JP4817246B2 (ja) * | 2006-07-31 | 2011-11-16 | Kddi株式会社 | 映像品質の客観評価装置 |
EP2097834B8 (en) * | 2006-11-30 | 2020-06-17 | No More Noise AB | Correlation between sets of data |
JP4254873B2 (ja) * | 2007-02-16 | 2009-04-15 | ソニー株式会社 | 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム |
US8457193B2 (en) * | 2007-09-28 | 2013-06-04 | Intel Corporation | No-reference video quality model |
EP2114080A1 (en) * | 2008-04-30 | 2009-11-04 | Thomson Licensing | Method for assessing the quality of a distorted version of a frame sequence |
CN101715146B (zh) * | 2008-10-08 | 2011-09-07 | 中国移动通信集团公司 | 压缩视频质量评价方法及评价系统 |
EP2396768B1 (en) | 2009-02-12 | 2013-04-17 | Dolby Laboratories Licensing Corporation | Quality evaluation of sequences of images |
ES2388413B1 (es) * | 2010-07-01 | 2013-08-22 | Telefónica, S.A. | Método para la clasificación de videos. |
WO2012000137A1 (en) * | 2010-07-02 | 2012-01-05 | Thomson Broadband R&D (Beijing) Co., Ltd. | Method for measuring quality of a video with at least two different views, and corresponding device |
FR2982449A1 (fr) * | 2011-11-07 | 2013-05-10 | France Telecom | Procede d'evaluation d'au moins un defaut de qualite dans un signal de donnees, dispositif et programme d'ordinateurs associes |
US10860931B1 (en) * | 2012-12-31 | 2020-12-08 | DataInfoCom USA, Inc. | Method and system for performing analysis using unstructured data |
WO2014113915A1 (en) | 2013-01-22 | 2014-07-31 | Silicon Image, Inc. | Mechanism for facilitating dynamic phase detection with high jitter tolerance for images of media streams |
GB2529446A (en) * | 2014-07-17 | 2016-02-24 | British Academy Of Film And Television Arts The | Measurement of video quality |
CN105163106B (zh) * | 2015-07-22 | 2017-04-12 | 天津科技大学 | 一种多重数据处理的视频质量评价系统 |
CN106341683A (zh) * | 2016-08-24 | 2017-01-18 | 乐视控股(北京)有限公司 | 全景视频质量判断方法及系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5446492A (en) * | 1993-01-19 | 1995-08-29 | Wolf; Stephen | Perception-based video quality measurement system |
DE19521408C1 (de) * | 1995-06-13 | 1996-12-12 | Inst Rundfunktechnik Gmbh | Verfahren zum objektiven Bewerten der Bildqualität zwei- oder dreidimensionaler Bilder |
US6239834B1 (en) * | 1996-01-11 | 2001-05-29 | Kokusai Denshin Denwa Co., Ltd. | Apparatus for evaluating digital picture quality |
US6493023B1 (en) * | 1999-03-12 | 2002-12-10 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Method and apparatus for evaluating the visual quality of processed digital video sequences |
US6285797B1 (en) * | 1999-04-13 | 2001-09-04 | Sarnoff Corporation | Method and apparatus for estimating digital video quality without using a reference video |
US6577764B2 (en) * | 2001-08-01 | 2003-06-10 | Teranex, Inc. | Method for measuring and analyzing digital video quality |
-
2000
- 2000-12-12 US US09/734,823 patent/US6798919B2/en not_active Expired - Fee Related
-
2001
- 2001-11-26 EP EP01271017A patent/EP1342380A2/en not_active Withdrawn
- 2001-11-26 KR KR1020027010426A patent/KR20020076303A/ko not_active Application Discontinuation
- 2001-11-26 WO PCT/EP2001/013817 patent/WO2002049369A2/en not_active Application Discontinuation
- 2001-11-26 CN CN01807935A patent/CN1422498A/zh active Pending
- 2001-11-26 JP JP2002550732A patent/JP2004516566A/ja not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008503120A (ja) * | 2004-06-18 | 2008-01-31 | ローデ ウント シュワルツ ゲーエムベーハー ウント コー カーゲー | 信号の品質を評価する方法および装置 |
JP2008165740A (ja) * | 2006-11-29 | 2008-07-17 | Mitsubishi Electric Research Laboratories Inc | 監視システムの性能を測定するためのコンピュータ実施される方法 |
JP2015502097A (ja) * | 2011-11-28 | 2015-01-19 | トムソン ライセンシングThomson Licensing | 処理方法、処理装置及び記憶媒体 |
US9924167B2 (en) | 2011-11-28 | 2018-03-20 | Thomson Licensing | Video quality measurement considering multiple artifacts |
Also Published As
Publication number | Publication date |
---|---|
WO2002049369A3 (en) | 2002-09-26 |
WO2002049369A2 (en) | 2002-06-20 |
US6798919B2 (en) | 2004-09-28 |
EP1342380A2 (en) | 2003-09-10 |
KR20020076303A (ko) | 2002-10-09 |
CN1422498A (zh) | 2003-06-04 |
US20020071614A1 (en) | 2002-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004516566A (ja) | 自動ビデオ質評価のためのスケーラブル・ダイナミックな客観的メトリックを供給するシステム及び方法 | |
US6876381B2 (en) | System and method for providing a scalable objective metric for automatic video quality evaluation employing interdependent objective metrics | |
KR100731358B1 (ko) | 화질 평가 방법 및 시스템 | |
JP2005533424A (ja) | ビデオデータの品質を測定するための方法及び装置 | |
JPH10262157A (ja) | 色伝達特性予測方法 | |
KR20030013465A (ko) | 발견적 검색 방법론을 이용하여 비디오 시퀀스의 지각적인품질을 최상으로 기술하기 위해서 비선형법에서 랜덤한비디오 특성의 세트를 조합하기 위한 장치 및 방법 | |
US20210021757A1 (en) | Arithmetic device, arithmetic method, and program | |
CN105635727A (zh) | 基于成对比较的图像主观质量的评价方法和装置 | |
KR20210081077A (ko) | 제품의 양불을 판정하는 방법 및 장치 | |
JP2005530442A (ja) | 既知のディスプレイタイプ及びサイズから始めて任意の画像サイズを有する任意のディスプレイ装置上でのビデオ品質を測定する方法及び機器 | |
JP2014130427A (ja) | 画質推定装置、画質推定方法および画質推定プログラム | |
CN113222902B (zh) | 一种无参考图像质量评价方法及系统 | |
CN110688409A (zh) | 学习状态的挖掘方法、推荐方法及电子设备 | |
CN101743741A (zh) | 用于对显示器的伽马特性进行预测的方法和系统 | |
JP2007304948A (ja) | 映像品質客観評価装置、及び映像品質客観評価方法 | |
Gaata et al. | No-reference quality metric based on fuzzy neural network for subjective image watermarking evaluation | |
Sheikh et al. | Blind quality assessment of JPEG2000 compressed images using natural scene statistics | |
JP3764394B2 (ja) | 品質推定方法および装置 | |
JP2004527172A (ja) | 画像品質についてのアルゴリズムのランダムシステムを最適化するための拡張可能なシステム及び方法 | |
Liu et al. | Saliency inspired modeling of packet-loss visibility in decoded videos | |
Głowacz et al. | Automated qualitative assessment of multi-modal distortions in digital images based on GLZ | |
Barańczuk et al. | Image quality measures for evaluating gamut mapping | |
JP4379603B2 (ja) | 色処理装置、色処理プログラム、記憶媒体 | |
CN118247715B (zh) | 一种基于实时视频监控的流媒体磁盘存储方法 | |
CN117408580B (zh) | 一种课程质量的评估方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041124 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20070111 |