JP2014504471A - フレーム損失パターンに基づいてビデオの品質を測定する方法および装置 - Google Patents

フレーム損失パターンに基づいてビデオの品質を測定する方法および装置 Download PDF

Info

Publication number
JP2014504471A
JP2014504471A JP2013541165A JP2013541165A JP2014504471A JP 2014504471 A JP2014504471 A JP 2014504471A JP 2013541165 A JP2013541165 A JP 2013541165A JP 2013541165 A JP2013541165 A JP 2013541165A JP 2014504471 A JP2014504471 A JP 2014504471A
Authority
JP
Japan
Prior art keywords
frame loss
video
section
frame
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013541165A
Other languages
English (en)
Other versions
JP2014504471A5 (ja
Inventor
シアオドン グー
ドービン リウ
ジーボー チェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=46171140&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2014504471(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2014504471A publication Critical patent/JP2014504471A/ja
Publication of JP2014504471A5 publication Critical patent/JP2014504471A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/02Diagnosis, testing or measuring for television systems or their details for colour television signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/04Diagnosis, testing or measuring for television systems or their details for receivers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/04Diagnosis, testing or measuring for television systems or their details for receivers
    • H04N17/045Self-contained testing apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/06Diagnosis, testing or measuring for television systems or their details for recorders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ビデオの品質を測定する方法および装置を提供する。その方法は、ビデオの各フレームが損失または上手く送信されたかどうかを示すことによってビデオのフレーム損失パターンを生成することと、そのビデオの品質を生成されたフレーム損失パターンの関数として評価することを備える。

Description

本発明は、フレーム損失パターンに基づいてビデオの品質を測定する方法および装置に関する。
この節は、以下に説明および/または特許請求される本発明のさまざまな態様と関連させることができる、技術のさまざまな態様を読み手に紹介することを意図する。この論考は、本発明のさまざまな態様をより理解し易くするための背景情報を読み手に提供するのに役立つものとされている。従って、こうした記述は、この観点から読まれるべきであり、先行技術の承認として読まれるべきではないことを理解されたい。
デジタル圧縮されたビデオの送信において、かなり重大な障害の源は、エラーを起こしやすいチャネルを介してビデオストリームを配信することによる。情報の一部損失および一部破損は、フレーム内の局所的歪みがフレームを介して空間的および時間的に伝搬するため、ユーザの知覚品質に劇的なインパクトを与えることがある。このようなフレーム損失の視覚的インパクトは、破損したストリームに対処するビデオデコーダの能力によって異なる。一部の例において、デコーダは、自発的にいくつかのフレームを落とす(drop)ことを判断できる。例えば、デコーダは、破損または欠損した情報を有するフレームをすべて落とすまたは廃棄して、次に有効な復号されたフレームが使用可能になるまで、代わりに前のビデオフレームを繰り返すことができる。エンコーダも、ターゲットとなる符号化ビットレートが低すぎる場合において、コンテンツの動きが急増する時にフレームを落とすことができる。上記のすべての例において、フレーム損失は、ビデオ内で発生すると言えよう。
多くの既存のビデオ品質モニタリング製品において、メディア全体のビデオ品質は、主な3つのコーディングアーチファクト、即ち、ジャーキネス(jerkiness)、ブロックノイズ(blockiness)およびぼけ(blurring)に基づいて分析される。ブロックノイズとぼけは、主な2種類の空間コーディングアーチファクトであり、それぞれ、ブロック境界の不連続として、および高周波数損失としてふるまう。一方、ジャーキネスは、最も重大な時間アーチファクトである。
グループフレーム損失のセットによって生じるビデオ品質の時間劣化は、ジャーキネスと呼ばれ、グループフレーム損失とは、ビデオシーケンスの1または複数の連続したフレームがまとまって損失したという事実を意味する。
知覚されるビデオ品質に対する(周期的な(periodic:一定間隔の)または周期的でない)ビデオフレーム損失の知覚的インパクトの評価についていくつかの研究がある。
非特許文献1において、人間は通常、一貫したフレーム損失に対してかなり寛容であり、その負のインパクトは、フレーム損失の一貫性と大いに関係することが指摘され、ひいてはジャーキネスの大きさとして使用されるようになった。
非特許文献2において、ジャーキネスの知覚的インパクトとグループフレーム損失の長さおよび発生頻度との関係が述べられている。
K. C. Yang, C. C. Guest , K. EI-Maleh and P. K. Das, "Perceptual Temporal Quality Metric for Compressed Video", IEEE Transaction on Multimedia, vol.9, no.7, Nov. 2007, pp.1528-1535. R. R. Pastrama-Vidal and J. C. Gicquel, "Automatic Quality Assessment of Video Fluidity Impairments Using a No-Reference Metric", the 2nd International Workshop on Video Processing and Quality Metric for Consumer Electronics, Scottsdale, USA 22-24, Jan. 2006. L. Y. Duan, J. Q. Wamg et al, "Shot-Level Camera Motion Estimation based on a Parametric Model"
本発明の発明者は、ビデオのフレーム損失パターンがジャーキネスの知覚的インパクトに大きな影響を与え、やがてビデオ品質全体にインパクトを与えることを発見した。「フレーム損失パターン」については、ビデオシーケンスの各フレームが、異なる表現を用いて送信される時に上手く送信されたか、または損失したかに関する状態を順次記録することによって生成されるパターンという意味である。
従って、本発明は、ビデオおよび対応する装置の品質を測定する方法を提供することによって、この発見を活用する。
一実施形態において、ビデオの品質を測定する方法を提供する。その方法は、ビデオの各フレームが損失したかまたは上手く送信されたかどうかを示すことによって、ビデオのフレーム損失パターンを生成することと、ビデオの品質を、生成されたフレーム損失パターンの関数として評価することを備える。
一実施形態において、ビデオの品質を測定する装置を提供する。その装置は、入力ビデオを受信し、そして受信されたビデオのフレーム損失パターンを生成する手段と、ビデオの品質を、生成されたフレーム損失パターンの関数として評価する手段とを備える。
発明の有利な実施形態は、従属する特許請求の範囲、以下の説明および図面において開示される。
発明の模範的実施形態を、添付図面を参照して説明する。
ビデオのフレーム損失パターンのうちのいくつかの例を示す模範的な図である。 本発明の実施形態に従った、フレーム損失パターンに基づいてビデオの品質を測定する方法を示す流れ図である。 フレーム損失パターンが2つのサブセクションに分割されることを示す模範的な図である。 ビデオの品質を測定する方法のフレームワークを示す模範的な図である。 本発明の実施形態に従った、フレーム損失パターンに基づいてビデオの品質を測定する装置を示すブロック図である。 ビデオ品質の主観テストを行うように設計されたソフトウェアツールのインタフェースを示す図である。
以下の説明において、本発明の実施形態のさまざまな態様を説明する。説明を目的として、特定の構成および詳細は、完全な理解を与えるために記載されている。しかしながら、本発明は、本明細書に提示した特定の詳細を用いずに実施されてもよいことが当業者には明らかであろう。
図1は、ビデオのフレーム損失パターンのうちのいくつかの例を示す模範的な図である。上記のように、フレーム損失パターンは、異なる表現を用いてビデオの各フレームの状態を順次記録することによって生成される。例えば、フレーム損失パターンを、「1、1、1、1、0、0、1、1、1、0、1」などの、0−1の連続によって表すことができ、「0」は、対応するフレームが送信中に損失したことを表し、「1」は、フレームの送信が上手くいったことを表す。フレーム損失パターンを、高/低レベルを用いた図の形にすることもでき、それぞれ、上手くいったフレーム送信とフレーム損失とを表す。図1(a)は、そのようなビデオのフレーム損失パターンを示し、図のそれぞれの低いレベル(谷部)が、1または複数の連続したフレーム損失を包含するグループフレーム損失を意味し、上手く送信されたフレームが、図の高いレベル(最上部)によって表されている。図1(b)は、2つの異なるフレーム損失パターンである「パターン1」および「パターン2」を示し、両方とも、各グループフレーム損失が同じ長さを有する、10個のグループフレーム損失から構成されている。フレーム損失パターンをビデオの知覚的ジャーキネスに影響を与える1つの要因と見なしていない、非特許文献1および2の研究結果によれば、上記の2つの「パターン1」および「パターン2」によって生じるビデオ品質の劣化は、非常に似ているはずである。しかしながら、本発明の発明者の研究は、上記の場合とは全く異なる結論に達する。
発明者の発見によれば、ジャーキネスの知覚的インパクトは、フレーム損失パターンによって大いに影響を受ける。同じフレーム損失率である、以下の事例(1)から事例(3)までを例にとる。
事例(1):1つのフレームが2フレームおきに損失する。
事例(2):4つの連続したフレームが8フレームおきに損失する。
事例(3):ビデオシーケンスの後半が完全に損失する。
上記の3つの事例すべてにおける全体のフレーム損失率は、50パーセントである。しかしながら、それらの知覚的インパクトは、全く異なる。事例1において、閲覧者は、はっきりとしたディザリングを知覚しても、長時間にわたる閲覧の後で気分が悪くなるであろう。事例3において、閲覧者は、そのような種類の現象を知覚しないが、長時間にわたるフリージング(freezing)に直面するであろう。つまり、同じフレーム損失率を有する異なるフレーム損失パターンによって、完全に異なる知覚が生じる。
本発明の実施形態に従って、上記の発見に基づいてビデオの品質を測定する方法を提供する。
図2は、本発明の実施形態に従った、フレーム損失パターンに基づいてビデオの品質を測定する方法を示す流れ図である。
図2に示すように、方法は、以下のステップを備える。
ステップ201:フレーム損失パターンは、ビデオシーケンスの各フレームの(損失または上手く送信された)状態を示すことによって生成される。
ステップ202:1番目の(the first)損失フレームからの、ビデオシーケンスの1または複数の連続した損失フレームをグループフレーム損失にグループ化する。
ステップ203:最初の(the first)グループフレーム損失からの、フレーム損失パターンを、1または複数の連続したグループフレーム損失を有する複数のセクションに分割して、セクションの各グループフレーム損失が、そのグループフレーム損失とその前のグループフレーム損失との間で同じ数の上手く送信されたフレームおよび同じ数の損失フレームを有するようにする。
ステップ204:グループフレーム損失の各セクションによって生成された品質劣化の値を計算する。
ステップ205:すべてのセクションの値を合わせることによってビデオシーケンスの品質を評価する。
次に、添付図面を参照して詳細な説明を与える。
発明の実施形態に従った方法において、まず第一に、ビデオシーケンスのフレーム損失パターンが生成される。この生成を、適切なやり方によってビデオシーケンスのすべてのフレームの状態を示すことによって実現することができる。フレーム損失を、周知の方法によって検出することができることを当業者は認識するであろう。この点についての詳細はこれ以上説明しない。
次に、ビデオシーケンスのすべての損失フレームのうちの1番目から開始して、1または複数の連続した損失フレームは、グループフレーム損失と呼ばれる1つのグループにグループ化される。
考えられるフレーム損失パターンを示す。
Figure 2014504471
このパターンは、タイムスタンプによって与えられ、ここでgdは、i番目のグループフレーム損失を表す。次に、フレーム損失パターンは、第1のグループフレーム損失から複数のサブセクションに分割(またはセグメント化)される。各サブセクションは、1または複数の連続したグループフレーム損失を備え、それぞれのグループフレーム損失は、ビデオシーケンスの品質劣化に同様の知覚的インパクトを与える。
連続したグループフレーム損失を同様の知覚的インパクトに分割して上記の目的のために、この方法において、ビデオシーケンスの各グループフレーム損失を2つのパラメータgd=(gapgd,lengd)によって特定することができる。第1のパラメータgapgdは、現在のグループフレーム損失と前のグループフレーム損失との間で上手く送信されたフレームの数である。第2のパラメータlengdは、現在のグループフレーム損失の損失フレームの数である。gapgdとlengdの両方の値は、1から10までの整数に限定される。セグメント化されたサブセクションのすべてのグループフレーム損失が、同じパラメータgapgdおよびlengdを有する場合、それらのパラメータは、ビデオシーケンスの品質劣化に同様の知覚的インパクトを与える。
距離関数
Figure 2014504471
をサブセクションの2つのグループフレーム損失間の知覚的インパクトの差の大きさとして使用することができる。上記の距離関数において、関数f(x,y)は、ビデオの知覚品質評価に使用され、それについて後で説明する。
フレーム損失パターンは、その後、距離関数の定義に基づいてサブセクションにセグメント化される。
以下は、距離関数の擬似コードである。
セグメント化手順。
1、nCount=0, pool={}; //数字として定義される/サブセクションのセット
2、(i=0, i<=n, i++){ に対し
2、1 もし各gd∈poolが(d(gd,gd)<c)であれば、
プールにgdを挿入する
さもなくば{SubSectionnCount=pool;pool={ };nCount++};

を挿入する
上記の擬似コードcは、定数である。この手順は、フレーム損失パターンFLPをサブセクションのセット
Figure 2014504471
に分割する。
図3は、上記のフレーム損失パターンが2つのサブセクションに分割される例を示す。図3に示すように、1つのサブセクション内のグループフレーム損失は、同様の知覚的インパクトから成ると見なされ、そして隣接する2つのサブセクションは、上手く送信されたいくつかのフレームにリンクされている。
次に、各サブセクションの知覚評価が実行される。
同じサブセクション内のグループフレーム損失が、同様の知覚的インパクトから成ると見なされるので、そのサブセクションを、典型的には、一定間隔のフレーム損失として扱うことができることを認識するであろう。
従って、各サブセクションも、2つのパラメータSubSection=(gapSS,lenSS)によって特定される。第1のパラメータgapSSは、隣接する2つのグループフレーム損失間で上手く送信されたフレームの平均数であり、そして第2のパラメータlenSSは、サブセクションのすべてのグループフレーム損失の損失フレームの平均数である。
平たく言えば、gapSSおよびlenSSのサブセクションの特徴量(feature values)はまさに、そのサブセクション内のすべてのグループフレーム損失に対するgapSSおよびlenSSの平均値である。
そこでサブセクションの知覚品質の劣化は、gapSSおよびlenSSの特徴量によって決定されることが考えられる。以下のように定義される。
Figure 2014504471
主観検査によって、(gapSS,lenSS)のある離散値に対し、知覚品質評価を手動でマークすることができる。このため、我々は、離散関数f(x,y)をx,y∈{1,2,...,10}で定義する。
例として、離散関数f(x,y)を以下のように定義することができる。
Figure 2014504471
ここで、cstillは、閾値とする定数であり、CameraMotionは、サブセクションのカメラモーションのレベルの大きさである。そしてf(x,y)f(x,y)は、以下の表に与えられる。
Figure 2014504471
Figure 2014504471
カメラモーションは、知覚品質に影響を与えるもう一つの重要な要因になるので、カメラモーションのレベルも推定する必要がある。
カメラモーションを周知の方法で推定することができる。その最も重要なグローバル動き推定モデルは、非特許文献3に記載された、8パラメータ透視動きモデルである。
非特許文献3は、以下の式で明らかになる。
Figure 2014504471
ここで、(a,..,a)は、グローバル動きパラメータであり、(x,y)は、現在のフレームのi番目のピクセルの空間座標を示し、そして(x’,y’)は、前のフレームの対応するピクセルの空間座標を示す。動きモデルパラメータとシンボルレベルの解釈との関係が確立される。
Figure 2014504471
非特許文献3で紹介されたアルゴリズムは、本発明の実施形態の方法における8パラメータGMEモデルを抽出するのに適用される。カメラモーションのレベルは、最終的に以下のように定義される。
Figure 2014504471
そこでf(x,y)=f(x,y)は、x,y∈{1,2,..,10}として定義される。関数f(x,y)を整数でない変数を有する関数に一般化する方法についても問題であり、典型的な学習(training)が問題である。従って学習マシン(例えば、当業者には周知である、人工ニューラルネットワーク(ANN))を使用して、そのマシンがf(x,y)で学習する間に
Figure 2014504471
を割り当てることができる。
これまでのところ、フレーム損失パターンの各サブセクションによって生成される知覚品質劣化の値Jが得られた。
最終的に、ビデオシーケンスの品質は、フレーム損失パターンのすべてのセクションの値を合わせることによって評価される。
この方法において、プーリング戦略を使用して、それらの値をビデオシーケンス全体の品質評価に統合することができる。このような時間品質のプーリング戦略は、ブロックノイズ、ぼけなどの、空間アーチファクトを考慮する場合のプーリング戦略とはまったく異なることを指摘すべきである。人間視覚システム(HVS)の特性のため、人々は、「悪く感じやすく、許し難い」。より高い時間品質から成る2つのサブセクション間の上手く送信されたフレームは通常、全体の時間品質を考慮する場合に無視される。
上記のセグメント化ステップにおいて、ビデオシーケンスは、一定間隔のフレーム損失
Figure 2014504471
のサブセクションのセットにセグメント化され、そして隣接する各2つのサブセクションは、SubsectionとSubsectioni+1との間の上手く送信されたフレーム、NoLossを示す、いくつかの上手く送信されたフレームによって区切られる。分かり易くするために、NoLossは、最も少ない品質劣化値1を有する特別な種類の一定間隔のフレーム損失として扱われる。つまり、我々は、
Figure 2014504471
と設定する。その後、これらすべてのNoLossは、設定したFLPに挿入された。
従って、全体の品質劣化は、以下のように定義される。
Figure 2014504471
ここで、w(flp)は、FLPの要素の重み関数であり、以下のように定義される。
Figure 2014504471
この式において、length(flp)は、flpのフレーム数である。dist(flp)は、flpの中央から最後のフレームまでの距離である。J(flp)は、上記で定義されたように、flpによって導出された知覚的時間劣化である。
は、人間の「記憶および忘却」プロパティを記述した関数である。閲覧者は、彼/彼女が最後のフレームを閲覧し終わった時に、彼の/彼女の全体の評価を行うと考えられている。最後のフレームから遠く離れたサブセクションは、閲覧者によって忘れられる可能性がある。遠く離れているほど、忘れる可能性が高くなる。
は、「悪く感じやすく、許し難い」視覚プロパティを記述する関数である。人間は、かなり歪みのあるサブセクションに強いインパクトを受ける一方、歪みのないサブセクションをほとんど無視する。
図4は、ビデオの品質を測定する方法のフレームワークを示す模範的な図である。フレームワークの入力は、受信されたビデオシーケンスであり、フレーム損失パターン(またはタイムスタンプ)と併せて、各フレームの損失した/上手くいった受信を示す。フレームワークの出力は、入力ビデオシーケンスに対するビデオ量(ジャーキネス)のレベルを示す値Jである。
図4に示すように、フレームワークの主部は、(1)入力ビデオのフレーム損失パターンのセグメント化、(2)一定間隔のフレーム損失と見なされている各セクションの知覚評価、および(3)プーリング、の3つの動作から構成される。
セグメント化ステップにおいて、入力ビデオシーケンスのフレーム損失パターンは、上記のように、セクションのセットに分割される。これらのセクションを2種類に分類することができる。その1つ(SubSection)は、同様のグループフレーム損失から構成され、そしてセグメント内の一定間隔のフレーム損失と見なされる。もう1つの種類(NoLoss)は、フレーム損失をまったく包含しない。
知覚評価ステップにおいて、NoLossの知覚評価は、定数1に設定される。SubSectionの知覚評価は、上記のように、式(1)に基づいて推定される。
プーリングステップにおいて、全体のジャーキネス評価は、上記のように、式(3)に従ったすべてのセクションの知覚評価に基づいて推定される。
本発明の別の実施形態は、フレーム損失パターンに基づいてビデオの品質を測定する装置を提供する。
図5は、本発明の実施形態に従ったフレーム損失パターンに基づいてビデオの品質を測定する装置を示すブロック図である。
図5に示すように、装置500は、入力ビデオシーケンスを受信し、且つ受信されたビデオシーケンスのフレーム損失パターンを生成するためのフレーム損失パターン生成ユニット501と、フレーム損失パターン生成ユニット501からフレーム損失パターンを受信し、且つ第1の損失フレームからの、フレーム損失パターンの1または複数の連続した損失フレームをグループフレーム損失にグループ化するためのグループ化ユニット502と、グループ化ユニット502からグループ化されたフレーム損失パターンを受信し、且つ第1のグループフレーム損失からの、フレーム損失パターンを、1または複数の連続したグループフレーム損失を有する複数のセクションに分割して、セクションの各グループフレーム損失が、そのグループフレーム損失とその前のグループフレーム損失との間で同じ数の上手く送信されたフレームおよび同じ数の損失フレームを有するようにするための分割ユニット503と、分割ユニット503によって出力されたグループフレーム損失の各セクションによって生成された品質劣化の値を計算するための計算ユニット504と、計算ユニット504によって出力されたすべてのセクションの値を合わせてビデオシーケンスの品質を評価し、且つその値を出力するための評価ユニット505とを備える。
本発明の評価精度を非特許文献1および2と比較して推定する実験が行われた。このため、ビデオ品質の主観テストを行うためのソフトウェアツールが設計された。図6は、その主観テストを行うために設計されたソフトウェアツールのインタフェースを示す図である。入力ビデオシーケンスを右側の「YUVシーケンス」グループボックス内で選択することができ、フレーム損失パターンを右側中央の「フレーム損失パターン」グループボックス内で選択することができる。フレーム損失パターンの影響を受けたビデオシーケンスはその後、左側の小ウィンドウで表示される。
閲覧者はその後、以下のようなジャーキネスの知覚をマークするように要求される。
1−品質劣化をまったく知覚しない
2−注意して調べて見ると時間軸に不自然なものがあるのに気付くが、ビデオを楽しむのに影響を及ぼさない
3−はっきりとした品質劣化であり、通常、邪魔に感じる
4−品質劣化をかなり不快に思う
5−劣化がひどく、ビデオにまったく耐えられない
その主観テストにおいて、10CIF(352×288ピクセルのビデオ解像度)シーケンスが選択され、20個のフレーム損失パターンが選ばれた。3人の閲覧者は採点するように依頼されて、彼らの平均値は、Jとして示した、主観スコアに考慮される。マークされたスコアを有するすべてのシーケンスは、データセットDSに組まれる。
パラメータ設定
実装において、経験に基づいて定数が決定される。定数は、β=β=1,β=2、
c=1.5、cstill=0.23である。
簡易にするために、300フレームのウィンドウは、閲覧者がこのウィンドウの前のフレームの品質について忘れるであろうと思われる間の記憶容量とされた。そしてウィンドウ内で、f=1に設定され、f(d)=6−dに設定される。f(x,y)およびf(x,y)は、上記の表1および表2によって決定される。
実験結果
本発明の評価精度は、本発明に従って得られた主観評価結果Jと主観スコアJとを比較することによって推定される。ピアソンの相関が予測精度測定に使用される。
以下の表は、本発明のピアソンの相関(予測精度)および非特許文献1および2で提案されたアルゴリズムを示す。
Figure 2014504471
本発明の好適な実施形態に適用される基礎的な新規の特徴を示し、説明し、そして指摘したが、説明された装置および方法、開示されたデバイスの形態および詳細、およびそれらの動作のさまざまな省略および置換および変更は、本発明の精神から逸脱することなく当業者によって行われてよいことが理解されよう。同じ結果を実現するために実質的に同じやり方で実質的に同じ機能を実行する要素のすべての組み合わせは、発明の範囲内であることを明確に意図する。説明したある実施形態から別の実施形態に要素を置き換えることも、すべて意図および企図する。
本発明は、単に例として説明され、そして発明の範囲から逸脱せずに詳細の変更を行うことができることが理解されよう。説明で開示された各特徴および(それに適した)特許請求の範囲および図面は、単独または適した任意の組み合わせにおいて提供されてよい。適した特徴は、ハードウェア、ソフトウェア、またはその2つを組み合わせて実装されてよい。

Claims (10)

  1. ビデオの品質を測定する方法であって、
    前記ビデオの各フレームが損失したかまたは上手く送信されたかどうかを示すことによって前記ビデオのフレーム損失パターンを生成するステップと、
    前記ビデオの前記品質を前記生成されたフレーム損失パターンの関数として評価するステップと、
    を備える、前記方法。
  2. 前記評価は、
    1番目の損失フレームからの、前記ビデオの1または複数の連続した損失フレームをグループフレーム損失にグループ化するステップと、
    最初のグループフレーム損失からの、前記フレーム損失パターンを、1または複数の連続したグループフレーム損失を有する複数のセクションに分割して、セクションの各グループフレーム損失が、前記グループフレーム損失とその前のグループフレーム損失との間で同じ数の上手く送信されたフレームおよび同じ数の損失フレームを有するようにするステップと、
    グループフレーム損失の各セクションによって生成された品質劣化の値を計算するステップと、
    すべてのセクションの前記値を合わせることによって前記ビデオの前記品質を評価するステップと、
    を備える、請求項1に記載の方法。
  3. グループフレーム損失のセクションによって生成された前記品質劣化の前記値を、前記セクションの隣接する2つのグループフレーム損失間で上手く送信されたフレームの平均数と前記セクションのすべての前記グループフレーム損失の損失フレームの平均数との関数として計算することをさらに備える、請求項2に記載の方法。
  4. 前記評価は、すべてのセクションの前記値を重み付けプーリングによって合わせることを備える、請求項2または3に記載の方法。
  5. 前記重み付けプーリングの1つのセクションの重み付け係数は、前記セクションの前記フレーム数、前記セクションの真ん中から最後のフレームまでの距離、および前記セクションによって導かれた知覚的時間劣化によって異なる、請求項4に記載の方法。
  6. ビデオの品質を測定する装置であって、入力ビデオを受信し、および前記受信されたビデオのフレーム損失パターンを生成する手段と、
    前記ビデオの前記品質を、前記生成されたフレーム損失パターンの関数として評価する手段と、
    を備える、前記装置。
  7. 前記ビデオの前記品質を評価する前記手段は、
    フレーム損失パターン生成ユニットから前記フレーム損失パターンを受信し、および前記第1の損失フレームからの、前記フレーム損失パターンの1または複数の連続した損失フレームをグループフレーム損失にグループ化するためのグループ化ユニットと、
    前記グループ化ユニットから前記グループ化されたフレーム損失パターンを受信し、および最初のグループフレーム損失からの、前記フレーム損失パターンを、1または複数の連続したグループフレーム損失を有する複数のセクションに分割して、セクションの各グループフレーム損失が、前記グループフレーム損失とその前のグループフレーム損失との間で前記同じ数の上手く送信されたフレームおよび前前記同じ数の損失フレームを有するようにするための分割ユニットと、
    前記分割ユニットによって出力されたグループフレーム損失の各セクションによって生成された品質劣化の値を計算するための計算ユニットと、
    前記計算ユニットによって出力されたすべてのセクションの前記値を合わせて前記ビデオの前記品質を評価し、および前記値を出力するための評価ユニットと
    を備える、請求項6に記載の装置。
  8. 前記計算ユニットは、グループフレーム損失のセクションによって生成された前記品質劣化の前記値を、前記セクションの隣接する2つのグループフレーム損失間で上手く送信されたフレームの平均数と前記セクションのすべての前記グループフレーム損失の損失フレームの平均数との関数として計算する、請求項7に記載の装置。
  9. 前記評価ユニットは、重み付けプーリングによってすべてのセクションの前記値を合わせる、請求項7または8に記載の装置。
  10. 前記重み付けプーリングの1つのセクションの重み付け係数は、前記セクションの前記フレーム数、前記セクションの真ん中から最後のフレームまでの距離、および前記セクションによって導かれた前記知覚的時間劣化によって異なる、請求項9に記載の装置。
JP2013541165A 2010-11-30 2010-11-30 フレーム損失パターンに基づいてビデオの品質を測定する方法および装置 Pending JP2014504471A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2010/001922 WO2012071680A1 (en) 2010-11-30 2010-11-30 Method and apparatus for measuring quality of video based on frame loss pattern

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016067071A Division JP2016178641A (ja) 2016-03-30 2016-03-30 フレーム損失パターンに基づいてビデオの品質を測定する方法および装置

Publications (2)

Publication Number Publication Date
JP2014504471A true JP2014504471A (ja) 2014-02-20
JP2014504471A5 JP2014504471A5 (ja) 2014-04-03

Family

ID=46171140

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013541165A Pending JP2014504471A (ja) 2010-11-30 2010-11-30 フレーム損失パターンに基づいてビデオの品質を測定する方法および装置

Country Status (6)

Country Link
US (1) US8970710B2 (ja)
EP (1) EP2647199B1 (ja)
JP (1) JP2014504471A (ja)
KR (1) KR101687182B1 (ja)
CN (1) CN103339951B (ja)
WO (1) WO2012071680A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3706411A1 (en) * 2019-03-05 2020-09-09 Carrier Corporation Early video equipment failure detection system
CN110782660B (zh) * 2019-09-12 2021-09-10 腾讯科技(深圳)有限公司 车联网信息的检测方法、装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010524318A (ja) * 2007-04-03 2010-07-15 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー 映像品質評価方法およびシステム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0012992D0 (en) * 2000-05-26 2000-07-19 British Telecomm Test method
US7607016B2 (en) * 2001-04-20 2009-10-20 Digimarc Corporation Including a metric in a digital watermark for media authentication
JP2003199128A (ja) * 2001-12-25 2003-07-11 Ando Electric Co Ltd 動画配信試験装置
US7933329B2 (en) * 2005-08-24 2011-04-26 Exfo Service Assurance Inc. System and method for monitoring video packets for quantifying video quality
US7661161B2 (en) 2006-01-27 2010-02-16 Amo Manufacturing Usa, Llc. Chair stabilizer for refractive surgery
US9025673B2 (en) * 2006-04-05 2015-05-05 Qualcomm Incorporated Temporal quality metric for video coding
JP4730183B2 (ja) * 2006-04-17 2011-07-20 株式会社日立製作所 映像表示装置
US8296813B2 (en) 2006-06-22 2012-10-23 Sony Computer Entertainment Inc. Predictive frame dropping to enhance quality of service in streaming data
KR100853184B1 (ko) * 2006-10-24 2008-08-20 한국전자통신연구원 멀티캐스트 서비스 트래픽의 프레임 손실 측정 장치 및 그방법
US8839325B2 (en) * 2007-02-14 2014-09-16 At&T Intellectual Property I, L.P. System and method of managing video content quality
KR100787314B1 (ko) * 2007-02-22 2007-12-21 광주과학기술원 미디어내 동기화를 위한 적응형 미디어 재생 방법 및 장치
US8605779B2 (en) * 2007-06-20 2013-12-10 Microsoft Corporation Mechanisms to conceal real time video artifacts caused by frame loss
WO2009025357A1 (ja) 2007-08-22 2009-02-26 Nippon Telegraph And Telephone Corporation 映像品質推定装置、映像品質推定方法、フレーム種別判定方法、および記録媒体
US8660175B2 (en) * 2007-12-10 2014-02-25 Qualcomm Incorporated Selective display of interpolated or extrapolated video units
JP5172440B2 (ja) * 2008-01-08 2013-03-27 日本電信電話株式会社 映像品質推定装置、方法およびプログラム
JP5076932B2 (ja) * 2008-02-01 2012-11-21 富士通株式会社 フレームカウンタ補正装置及び対向装置
TWI374672B (en) * 2008-07-04 2012-10-11 Univ Nat Taiwan Seamless wireless video transmission for multimedia applications
EP2296379A4 (en) 2008-07-21 2011-07-20 Huawei Tech Co Ltd METHOD, SYSTEM AND DEVICE FOR EVALUATING A VIDEO QUALITY
WO2010042650A2 (en) * 2008-10-07 2010-04-15 Motorola, Inc. System and method of optimized bit extraction for scalable video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010524318A (ja) * 2007-04-03 2010-07-15 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー 映像品質評価方法およびシステム

Also Published As

Publication number Publication date
US20130235214A1 (en) 2013-09-12
KR101687182B1 (ko) 2016-12-16
CN103339951A (zh) 2013-10-02
CN103339951B (zh) 2016-01-20
US8970710B2 (en) 2015-03-03
EP2647199B1 (en) 2017-01-11
KR20130121913A (ko) 2013-11-06
WO2012071680A1 (en) 2012-06-07
EP2647199A4 (en) 2014-05-07
EP2647199A1 (en) 2013-10-09

Similar Documents

Publication Publication Date Title
US10475172B2 (en) Techniques for predicting perceptual video quality
Narvekar et al. A no-reference image blur metric based on the cumulative probability of blur detection (CPBD)
Wu et al. Perceptual quality metric with internal generative mechanism
Wu et al. Reduced-reference image quality assessment with visual information fidelity
Gu et al. Hybrid no-reference quality metric for singly and multiply distorted images
Gu et al. A new reduced-reference image quality assessment using structural degradation model
Ma et al. Reduced-reference video quality assessment of compressed video sequences
Feng et al. Saliency based objective quality assessment of decoded video affected by packet losses
JP2014504471A (ja) フレーム損失パターンに基づいてビデオの品質を測定する方法および装置
JP2016178641A (ja) フレーム損失パターンに基づいてビデオの品質を測定する方法および装置
CN106412567A (zh) 用于确定视频清晰度的方法及系统
CN110838120A (zh) 一种基于时空信息的非对称失真三维视频的加权质量评价方法
Mitra et al. Multiview contrastive learning for completely blind video quality assessment of user generated content
US11557025B2 (en) Techniques for training a perceptual quality model to account for brightness and color distortions in reconstructed videos
CN114915777A (zh) 一种基于深度强化学习的无参考超高清视频质量客观评价方法
Wang et al. A very low complexity reduced reference video quality metric based on spatio-temporal information selection
Malekmohamadi et al. Subjective quality estimation based on neural networks for stereoscopic videos
Akamine et al. A framework for computationally efficient video quality assessment
Elwardy et al. Objective perceptual video quality prediction using spatial and temporal information differences
Wang et al. A JND-based video quality assessment model and its application
Keimel et al. Extending video quality metrics to the temporal dimension with 2D-PCR
US20220051383A1 (en) Techniques for computing perceptual video quality based on brightness and color components
Motamednia et al. Quality Assessment of Screen Content Videos
CN108462870A (zh) 超高清视频的无参考质量评价方法
Bagade et al. No reference image quality assessment using block based features and artificial neural network

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150630

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20151208