JP2014500677A - ビデオ信号の符号化及び伝送の間のビデオ信号の品質を評価するための方法及び装置 - Google Patents

ビデオ信号の符号化及び伝送の間のビデオ信号の品質を評価するための方法及び装置 Download PDF

Info

Publication number
JP2014500677A
JP2014500677A JP2013542418A JP2013542418A JP2014500677A JP 2014500677 A JP2014500677 A JP 2014500677A JP 2013542418 A JP2013542418 A JP 2013542418A JP 2013542418 A JP2013542418 A JP 2013542418A JP 2014500677 A JP2014500677 A JP 2014500677A
Authority
JP
Japan
Prior art keywords
frame
loss
video
affected
packets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013542418A
Other languages
English (en)
Other versions
JP5964852B2 (ja
Inventor
サヴァス・アルジロポウロス
ベルンハルト・ファイテン
マリー−ネージュ・ガルシア
ペーター・リスト
アレクサンダー・ラーケ
Original Assignee
ドイッチェ テレコム アーゲー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドイッチェ テレコム アーゲー filed Critical ドイッチェ テレコム アーゲー
Publication of JP2014500677A publication Critical patent/JP2014500677A/ja
Application granted granted Critical
Publication of JP5964852B2 publication Critical patent/JP5964852B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/04Diagnosis, testing or measuring for television systems or their details for receivers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425Monitoring of client processing errors or hardware failure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0001Diagnosis, testing or measuring; Detecting, analysis or monitoring not otherwise provided for
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0001Diagnosis, testing or measuring; Detecting, analysis or monitoring not otherwise provided for
    • H04N2201/0003Method used

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

送信ビデオ信号シーケンスの品質を受信機側で評価する方法と装置を提供する。方法は、a)受信された入力ビデオビットストリームを復号化する前に獲得してビデオビットストリームアナライザに供給する段階、b)測定時間窓の間に、獲得された入力ビデオビットストリームのパケットヘッダから、ビットストリームアナライザによって1つまたは複数の特徴を抽出する段階、c)1つまたは複数の特徴から、及び任意にスライシングの構成のようなメディアストリームに関して知られているメタ情報から、パケット損失に起因する信号劣化の大きさを表す単一パラメータを判定する段階、d)判定されたパラメータを品質評価モジュールに供給する段階、e)パケット損失に起因する信号劣化の大きさを表す単一パラメータに基づいて及びビデオ解像度情報と使用されたビデオコーデックに基づいて、品質評価モジュールによってパケット損失に起因する品質尺度を計算する段階を含む。

Description

本発明は、ビデオ信号の符号化、伝送、及び復号化の後で生じるビデオ信号の品質を評価するための方法及び装置に関係する。本発明は、特に、ビデオ信号が伝送の間にパケット損失によって損なわれる場合の、ビデオ信号の知覚品質(perceived quality)の評価及びモデル化に焦点を合わせる。
多数のビデオ配給サービスの間では、IPベースの(IP-based)ビデオは、それが、例えば、IPTV(インターネットプロトコルテレビ:Internet protocol TV)のために使用されるので、ますます重要になっており、そして、アナログ伝送方式または非IPベースの伝送方式にますます取って代わっている。そのサービスの高いレベルの品質を維持することは、コンテンツプロバイダと顧客の両方に対する放送プロバイダの重要な責務である。大規模なビデオ配給網では、それらが、例えば、IPTVサービスに関連しているので、十分に自動化された品質監視プローブ(quality monitoring probe)だけがこの要求を満たすことができる。
非インタラクティブストリーミングビデオ(non-interactive streaming video:非対話形式ストリーミングビデオ)(IPTV、VoD)または静的なビデオ(DVD)のようなビデオサービスのユーザの高い満足度合い(high degree of satisfaction)を達成するために、そのような監視プローブは、技術的性能インジケータの他に、更に、サービスのユーザがある監視期間の間に認識するビデオ品質の推定値を提供する必要がある。
この目的に対して、ユーザによって認識されるビデオ品質の有益な推定値を提供すると共に、従って、ユーザの技術的なモデルである技術的なビデオ品質モデルが開発されている。例えば、それらのモデルは、ユーザ側で受け取られたビデオと、品質が劣化していないオリジナルのビデオとの間の類似度(degree of similarity)を出力することができる。更に、より洗練された解決策を表している、人間視覚システム(Human Visual System)が、技術システムを用いてモデル化され得る。最後に、そのようなモデルは、ユーザによって与えられた評定(rating)に対応する品質の推定値を提供するであろうと共に、それは、多数の主観的品質検査の結果に関して技術的モデルを調整する(train)ことによって達成される。
ビデオ品質モデル、及び、従って測定システムは、一般的に下記のように分類される。
「品質モデルタイプ」
・“Full Reference”法(FR法):基準信号が必要とされる。
・“Reduced-Reference”法(RR法):ソース信号(source signal:源信号)から抽出された部分的な情報が必要とされる。
・“No-Reference”法(NR法):基準信号が必要とされない。
「入力パラメータタイプ」
・信号/媒体ベース(signal/media-based):復号化された画像(ピクセル情報)が必要とされる。
・パラメータベース(parameter-based):ビットストリームレベル情報が必要とされる。情報は、パケットヘッダのみの構文解析(parsing)を必要とするパケットヘッダ情報から、一部分を越えて、ビットストリームの完全な復号化まで、分類することができる。
「アプリケーションのタイプ」
・ネットワーク計画(Network Planning):最も良い可能な実装を確認するために、モデルまたは測定システムが、計画段階におけるサービスの実装の前に使用される。
・サービス監視(Service Monitoring):そのモデルが、サービス動作の間に使用される。
ビデオ品質モデルのタイプの関連情報は、参考文献[1]、[2]、または[3](非特許文献1、2、または3)において発見され得る。
IPTVの状況(context:事情)では、主要な歪みは、画像圧縮(video compression)及びビデオパケット損失(video packet loss)によって引き起こされる。ビデオパケット損失の場合には、認識されるビデオ品質(perceived video quality:知覚ビデオ品質)に影響を与える要素は、下記のようになる。
a)失われたパケットの量
b)パケット損失の分布(distribution)であって、それは、例えば、ある損失バーストにおける失われたパケットの平均数と、そのようなバーストの分布の観点から示され得る。
c)GOP構造(GOP-structure)であって、GOP構造は、下記のi)からiii)を含む。
i)GOP長さ、すなわち、復号化されるべき以前のフレーム及び更なるフレームを必要としないフレーム、いわゆる“キーフレーム(key-frame)”または“I−フレーム(I-frame)”の間の距離。1つのグループオブピクチャー(GOP)は、1つのI−フレーム、及びビデオシーケンスの次のI−フレームまでの全てのフレームをカバーする。
ii)予測された(P−)フレーム、及び双方向性の(B−)フレームである、各GOPにおけるB−フレーム及びP−フレームの数、及び再区分(repartition)。
iii)GOP“タイプ”:open−GOP(開いたGOP)またはclosed−GOP(閉じたGOP);GOPが開いているとき、1つのGOPに属するフレームが、次のGOPもしくは前のGOPからの基準フレームを用いて符号化され得る。;GOPが閉じているとき、現在のGOPが提供する基準フレームのみが、現在のGOPのフレームを符号化するための基準として使用され得る。
d)パケット損失によって損なわれたフレームのフレームタイプ。もし損失がI−フレームまたはP−フレームにおいて発生するならば、その損失は、通常は次の(基準の)I−フレームまで、障害のある(impaired:損なわれた)フレームを参照する全てのフレームに伝搬され、一方、もし損失がB−フレームにおいて発生するならば、階層B−フレームの符号化の場合を除いて、その損失は、伝搬されない。階層符号化の場合には、B−フレームのいくらかは、更に、他のB−フレームのための基準フレームとして使用される。基準B−フレームにおける損失は、従って、従属するB−フレームに伝搬される。
e)フレーム当たりのパケットの数。この数は、ビデオのビットレート及び時空間的な複雑さによって決まる。ビットレートが高くなるほど、フレームを送信するために、更に多くのパケットが必要とされる。ビデオの時空間的な複雑さは、フレームの間でのパケットの分布に影響を与え、基本的に、ビデオの時空間的な複雑さが高くなるほど、(もし、空間的に予測された/イントラ予測されたマクロブロックが情報を獲得するのに必要とされるならば)更に多くのパケットがI−フレーム、またはP‐フレーム及びB−フレームのために必要とされると共に、ビデオの時空間的な複雑さが高くなるほど、更に多くのパケットがP−フレーム及びB−フレームを送信するのに必要とされる。言い換えると、フレーム当たりのパケットの数が多くなるほど、パケットに含まれるピクセルの対応する量が少なくなる。ある損失の確率を考慮すると、フレームがより多くのパケットを含むほど、このフレームにおいてパケット損失を受ける確率は更に高くなるであろうと共に、このフレームが基準フレームであるならば、その損失が伝搬される確率は更に高くなるであろう。
f)パケット損失の隠蔽(packet-loss-concealment)、すなわち損失を隠蔽するために復号器(decoder:デコーダ)において実施される戦略。パケット損失の隠蔽は、スライシング(slicing)もしくはフリージング(freezing)の観点から、おおざっぱに分類され得る。スライスは、独立して復号化され得るビデオフレームの領域として定義される。従って、もしそれがパケット損失によって影響を受けるならば、その復号器は、この領域を、(空間的に、もしくは時間的に)隣接した正しく受信された領域のデータで満たす。スライシングは、復号器が同期化点(synchronization-point)として使用するであろうスライス−ヘッダ(slice-header)を導入する符号器によって実施される必要がある。パケット損失及びフリージングタイプの損失隠蔽の場合には、最後の正しく受信されたビデオフレームが、通常は、次の完全な(intact:無傷の)I−フレームまたは別の完全な基準フレームが到着するまで繰り返され、それから影響を受けたフレームが予測される。放送サービスにおいて、フリージングは、誤ったフレームを読み飛ばすことを含む。非放送サービスにおいて、失われたパケットは再送され得ると共に、遅れた受信の後でさえも、最後まで再生(play out)され得る。これは、再バッファリング(re-buffering)と考えられ得ると共に、欠けている情報は、読み飛ばされない。後者の場合がこの発明によって考察されない点に注意が必要である。
g)もしスライシングがパケット損失の隠蔽として使用されるならば、フレーム当たりのスライスの数は、符号化ステージで選択される(図2を参照)。パケット損失の場合、及びスライシングがパケット損失の隠蔽として使用されるならば、この数は、損失の空間的な範囲に影響を与える。実際には、パケット損失がスライスにおいて発生するならば、その損失は、次のスライスまで、すなわち復号器が次の利用可能なスライスヘッダに基づいて再同期化できるまで、伝搬される。その結果、フレーム当たりのスライスの数を増やすことは、損失の空間的な範囲を減少させる。しかしながら、同じくこれは、スライスヘッダの数を増大させ、従って、任意の全体のビットレートにおける符号化効率を減少させる。これは、符号化効率とパケット損失に対するロバスト性(robustness)との間にトレードオフが存在することを反映する。
h)符号器によって使用されるレート制御タイプ、すなわち固定ビットレート符号化対可変ビットレート符号化。具体的には、コンテンツの時空間的な複雑さと共に符号器によって使用されるレート制御のタイプ(固定ビットレート符号化または可変ビットレート符号化)は、バイトへの時空間的な情報のマッピング(mapping)、別の表現では、任意の時空間的領域のために必要とされるパケットの数に強く影響を及ぼす。本発明は、固定ビットレート符号化及び可変ビットレート符号化の両方の場合を対象とするが、しかし、強固な可変ビットレート符号化の場合においてヘッダ情報に基づいて損失事象の時空間的な範囲を推定することの減少した有効性に起因して、この発明において説明された技術的なユーザモデルによって提供される品質予測は、実際の知覚に近くないであろう。
品質推定方法は、ビデオ信号の符号化(圧縮)に関連する品質(Qcod)と、伝送の間のパケット損失による品質(Qtrans)の個別の推定を一般的にサポートする。品質推定方法は、圧縮の品質及び伝送品質に関係する推定値を結合するための2つのアプローチの内の1つを一般的に使用する。等式(1)及び(2)は、2つの異なるアプローチを例証すると共に、それぞれの値の範囲は、代表的な実施を表す。
Figure 2014500677
ここで、“Q0”は、基本の品質、または基本の品質の関数を表す。ここで、基本の品質は、符号化、伝送、及び復号化の前のビデオの知覚品質(perceived quality)のことを指す。
参考文献[4](非特許文献4)に記載されるように、文献では、パケット損失による品質(Qtrans)は、一般的に、ビットレート及びパケット損失レート(packet-loss-rate)から推定される。パケット損失の分布(packet-loss-distribution)を考慮するために、参考文献[5](非特許文献5)に記載されるような、バーストの密度(burst density)及びバーストの継続期間(burst duration)のようなビデオシーケンスの中の損失の再区分(repartition)、または参考文献[6](非特許文献6)に記載されるような、連続的に(in a row)失われたパケットの数が、更に考察される。代りに、参考文献[7](非特許文献7)に記載されるようなパケット損失周波数(すなわち、任意の時間期間内のパケット損失事象の数)を記述するパラメータが提案された。それらのパラメータは、ネットワークの計画(network planning)の場合には役に立つが、しかし、サービスの監視(service monitoring)の場合には不十分であるかもしれない。例えば、それらが、パケットの総数、及び損失によって影響を受けたフレームにおける損失パケットの数を考慮しないので、それらは、影響を受けたフレームが損なわれる割合を記録しない。それらは、従って、損失の実際の空間的な範囲が分からない。更に、それらは、損失によって影響を受けたフレームのタイプを考慮しないと共に、従って、時間的な伝搬、そして従って損失の継続期間が分からない。
損失の時間的な継続期間を記述するパラメータは、参考文献[8](特許文献1)において提案されたが、しかし、このパラメータは、パケット損失の隠蔽として、フリージングのみをカバーする。スライシングが適用される場合の損失によって影響を受けるフレームにおける領域を推定するために、興味深い提案が参考文献[10](非特許文献8)において行われている。ここで、提案されたアプローチは、本発明において提案されるような品質予測には適用されないと共に、単に本発明が扱ういくらかのサブケースの内の1つをカバーする。参考文献[9](特許文献2)では、方法が、参考文献[10](非特許文献8)と同様ではあるが、しかし幾分異なる文脈におけるアプローチを用いて提案される。それは、フレーム当たりの損失の空間的な範囲、及びフレームタイプを記述するパラメータを使用すると共に、それらのパラメータに基づいてフレームの品質を計算する。フレームタイミング、及び損失の伝搬は、しかしながら、損失によって誘発された歪みを記述するための1つの単一のパラメータの観点からは、明示的に考察されない。
欧州特許出願公開第2112835号 国際公開第2009/012302号(米国特許出願公開第2009/0041114号)
"A. Takahashi"、"D. Hands"、及び"V. Barriac"、"Standardization Activities in the ITU for a QoE Assessment of IPTV"、IEEE Communication Magazine, 2008年 "S. Winkler"及び"P. Mohandas"、"The Evolution of Video Quality Measurement: From PSNR to Hybrid Metrics"、IEEE Trans. Broadcasting、2008年 "A. Raake"、"M.N. Garcia"、"S. Moeller"、"J. Berger"、"F. Kling"、"P. List"、"J. Johann"、及び"C. Heidemann"、"T-V-MODEL: Parameter-based prediction of IPTV quality"、"ICASSP"の講演録、2008年 "O. Verscheure"、"P. Frossard"、及び"M. Hamdi"、"User-Oriented QoS Analysis in MPEG-2 Video Delivery"、Real-Time Imaging 5, 305〜314頁、(1999年) "F. You","W. Zhang"、"J. Xiao"、"Packet Loss Pattern and Parametric Video Quality Model for IPTV"、"Eighth EEEE/ACIS International Conference on Computer and Information Science"の講演録、824〜828頁、2009年 "M.-N. Garcia"及び"A. Raake"、"Parametric Packet-Layer Video Quality Model For IPTV"、"Tenth International Conference on Information Science, Signal Processing and their Applications (ISSPA)"の講演録、2010年 "K. Yamagishi"及び"T. Hayashi"、"Parametric Packet-Layer Model for Monitoring Video Quality of IPTV Services"、IEEE ICC 2008, CQ04-3、110〜114頁、北京市、中国、2008年 "P. Frossard"、"O. Verscheure"、"Joint Sourc/FEC Rate Selection for Quality-optimal MPEG-2 Video Delivery"、IEEE Trans. Image Proc.、Vol. 10、No. 12、2001年12月
それでもなお、知覚的に適正なユーザモデルは、損失の記述(description of the loss)と、知覚の劣化の量の観点からの質的影響(quality impact)との間の量的なマッピングを使用する必要がある。本発明のモデルでは、損失の空間的な範囲及び損失の継続期間の組み合わせが知覚品質(perceived quality)に影響を与えると仮定されている。その結果、本発明は、正確にそして明確に損失の空間的な範囲及び損失の継続期間を記述するパラメータ、そして、任意の測定窓から構成されるビデオシーケンスの品質に、このパラメータを割り当てるモデルを定義する。
本発明の方法は、スライシングまたはフリージングがパケット損失の隠蔽として使用される場合に、伝達効率の特性を示す項(term)の品質“Qtrans”の推定に焦点を合わせる。本発明の方法は、ビデオストリームにおける圧縮に関連する品質“Qcod”の推定のための異なる方法と結合され得る。スライシングの場合に“Qtrans”を決定する方法を適用するときに包含されるステップが図8において示されたフローチャートを用いて例証される。
本発明の方法は、軽量(light-weight)のパラメータを有するパラメータベースのビデオ品質モデルであり、従って、例えばセットトップボックスまたはホームゲートウェイのようなエンドユーザ装置で実施され得るサービス監視に適当な技術的解決法を提供する。図1において示されたように、入力として、そのモデルは、ビットストリームから抽出されたパラメータを受け取る。原理上は、本発明の方法が組み込まれる測定システムは、ネットワークにおけるさまざまな位置に配置され得る。しかしながら、ユーザ装置のより近くにプローブが配置されるほど、よりユーザサイドにおける実際の品質を代表するのは、予測された品質である。パラメータは、ペイロードに対するアクセスを必要とせず、従って、ビットストリームの部分的復号化または完全復号化のいずれも必要としない。その結果、その方法は、暗号化されたストリームのための品質予測のために使用され得ると共に、ここで、ペイロードに対するアクセスは、ネットワークにおける測定位置では可能でない。パケットヘッダの軽量のパージング(light-weight parsing)は、モデルに送られるべきパラメータにアクセスすることに対して十分である。暗号化されないデータのように、もし更に深いパージング(parsing)が許されるならば、そのパラメータは、更に、部分的復号化または完全復号化に基づいてビットストリームから抽出された追加のパラメータと独立して、または追加のパラメータと一緒に、使用され得る点に注意が必要である。
本発明の方法は、伝送処理のパラメータを詳細に考察する。本発明の「背景技術」の項において、要素のリストが列挙されると共に、そのような要素は、パケット損失の場合には、認識されるビデオ品質(perceived video quality:知覚ビデオ品質)に影響を与える。それらの要素は、更に、パケット損失に起因する質的影響を示すことに適当であり、従って、パラメータベースのビデオ品質モデルの入力パラメータの観点から使用され得る。しかしながら、パラメータの対応するリストは長く、そのようなモデルの柔軟性を減少させ、そして、符号器を設定するたびにそれらのパラメータが調整されなければならないので、パケット損失の分布またはGOP構造が変更され、それは、誤った品質予測を生成することの危険を増大させる。
本発明に関して、代替パラメータが導入され、それは、品質モデルに使用されるべき入力パラメータの数を著しく減少させる。この単一のパラメータは、通常使用されるそれぞれのパラメータに基づいて起こり得る損失の空間的な範囲及び継続期間のより一般的な記述を実施する。
パケット損失をもたらすと共に、スライシングまたはフリージングがパケット損失の隠蔽として適用される場合のリンクを通して送信されたビデオ信号シーケンスの品質(等式(1)または(2)における“Qtrans”)を受信機側で評価するための方法及び装置を提供することが、本発明の目的である。本発明は、品質に割り当てられる劣化の大きさを記録する1つの単一のパラメータを使用する。本発明の目的は、請求項の特徴によって達成される。
第1の特徴によれば、本発明は、送信されたビデオ信号シーケンスの品質を受信機側で評価するための方法であって、a)受信された入力ビデオビットストリームを復号化する前に獲得し、それをビデオビットストリームアナライザに供給する段階と、b)測定時間窓の間に、獲得された前記入力ビデオビットストリームのパケットヘッダから、前記ビットストリームアナライザによって、1つまたは複数の特徴を抽出する段階と、c)前記1つまたは複数の特徴から、及び任意に、スライシングの構成のようなメディアストリームに関して知られているメタ情報から、パケット損失に起因する信号劣化の大きさを表す単一のパラメータ“xwpSEQ”を判定する段階と、d)判定された前記パラメータを品質評価モジュールに供給する段階と、e)パケット損失に起因する信号劣化の大きさを表す前記単一のパラメータ“xwpSEQ”に基づいて、及びビデオ解像度情報と使用されたビデオコーデックに基づいて、前記品質評価モジュールによって、パケット損失に起因する品質尺度“Qtrans”を計算する段階とを含む方法を提供する。
前記段階c)において判定された前記単一のパラメータ“xwpSEQ”は、損失の空間的な範囲及び継続期間を表す。好ましくは、前記単一のパラメータ“xwpSEQ”は、測定窓内のグループオブピクチャー(GOP)の数“N”、及び影響されたグループオブピクチャー(GOP)“k”で発生する損失の時空間的な範囲“xl_k”に基づいている。
グループオブピクチャー(GOP)“k”で発生する前記損失の前記時空間的な範囲“xl_k”は、損失事象に起因する、影響を受けたフレーム内の障害のある(impaired:損なわれた)ピクセルの割合“xl_i”、前記GOPの始まりと比較した損失の位置“t_i”、及び前記GOPの長さ“T_k”に基づいて計算され得る。
前記影響を受けたフレーム内の前記障害のあるピクセルの割合“xl_i”は、好ましくは、現在の影響を受けたフレーム内の失われたパケット及び正しく受信されたパケットの数によって除算された、現在の影響を受けたフレーム内のパケット損失事象“i”のために失われたビデオパケットの数に基づいて計算される。
前記影響を受けたフレーム内の前記障害のあるピクセルの割合“xl_i”は、同様に、現在の影響を受けたフレーム内の失われたバイト及び正しく受信されたバイトの数によって除算された、現在の影響を受けたフレーム内のパケット損失事象“i”に起因して失われたビデオのバイトの数に基づいて計算され得る。
別の実施例によれば、前記影響を受けたフレーム内の前記障害のあるピクセルの割合“xl_i”は、現在のフレームを含むパケットの数、損失事象“i”において失われる現在の影響を受けたフレーム内の失われたビデオパケットの数、フレーム当たりのスライスの数、及び、スライス当たりのパケットの推測の数に基づいて計算される。
同様に、好ましくは、前記影響を受けたフレーム内の前記障害のあるピクセルの割合“xl_i”は、現在のフレームを含むパケットのバイトにおける全体のサイズ、現在の影響を受けたフレーム内の損失事象“i”に起因して失われたビデオのバイトの数、及び、スライス当たりのパケットまたはバイトの推測の数に基づいて計算される。
その代わりに、前記影響を受けたフレーム内の前記障害のあるピクセルの割合“xl_i”は、現在のフレームを含むパケットの数、2つ以上の損失事象がそのフレームにおいて発生する場合には、結合された損失事象“ij”に属するビデオパケットの数、損失事象“ij”の間に発見される現在の影響を受けたフレーム内のビデオパケットの数、フレーム当たりのスライスの数、及び、スライス当たりのパケットの推測の数に基づいて計算される。
方法は、更に、代替案を含み、前記影響を受けたフレーム内の前記障害のあるピクセルの割合“xl_i”は、連続的に失われたビデオトランスポートストリームのパケットの数、フレーム当たりのスライスの数、及び、損失によって影響を受けたフレームにおける損失伝播を反映する修正項に基づいて計算される。
また更なる実施例において、前記影響を受けたフレーム内の前記障害のあるピクセルの割合“xl_i”は、連続的に失われたトランスポートストリームのパケットにおけるビデオのバイトの数、及び、現在の影響を受けたフレームに含まれるビデオのバイトの総数に基づいて計算される。
その代わりに、前記影響を受けたフレーム内の前記障害のあるピクセルの割合“xl_i”は、結合された損失事象“ij”に属するビデオトランスポートストリームのパケットの数、結合された損失事象“ij”の損失部分の間で発見されるビデオトランスポートストリームのパケットの数、フレーム当たりのスライスの数、及び、損失によって影響を受けたフレームにおける損失伝播を反映する修正項に基づいて計算される。
代替実施例は、フレーム当たりに1つのスライスが使用される場合に対処する。ここで、損失事象“i”の寄与度(contribution)“xl_i”は、好ましくは、最初に失われたパケットと前記フレームの終わりとの間の空間領域として計算される。
前記方法は、前記段階c)において、前記ビデオシーケンスの時空間的な複雑さを表す補正係数を更に考慮し、前記補正係数により、全体のパラメータに対するそれぞれの損失事象“i”の寄与度“xl_i”が補正される。前記補正係数は、好ましくは、グループオブピクチャーごとに計算されたビデオの時間的な複雑さによって決まる。その代わりに、前記補正係数は、損失事象“i”によって影響を受けたグループオブピクチャーにおけるフレームの時間的な位置によって決まる。更に、前記補正係数は、損失事象“i”によって影響を受けたグループオブピクチャーにおけるフレームの時間的な位置、及びグループオブピクチャーごとに計算されたビデオの時間的な複雑さによって決まり得る。
本発明において、前記段階e)は、損失事象を有するグループオブピクチャーの数を更に考慮し得る。
更に、好ましくは、変数が、それぞれのフレームにおける影響された領域の推測の位置を獲得する損失事象ごとに保存されると共に、損失事象“i”の寄与度“xl_i”を補正するために、または、前記段階c)による前記全体のパラメータに対する前記シーケンスの所定の時間的な部分の寄与度を補正するために使用される。
好ましい実施例によれば、フリージングがパケット損失隠蔽タイプとして使用される場合には、前記段階c)による前記パラメータは、本発明の方法のいずれかにより計算された、前記シーケンスにおける前記フリージングの全体の重み付けされた時間的な継続期間のことを指す。
第2の特徴によれば、本発明は、送信されたビデオ信号シーケンスの品質を受信機側で評価するための装置であって、受信された入力ビデオビットストリームを復号化する前に獲得すると共に、測定時間窓の間に、獲得された前記入力ビデオビットストリームのパケットヘッダから、1つまたは複数の特徴を抽出するように構成されるビデオビットストリームアナライザと、前記1つまたは複数の特徴から、及び任意に、スライシングの構成のようなメディアストリームに関して知られているメタ情報から、パケット損失に起因する信号劣化の大きさを表す単一のパラメータ“xwpSEQ”を判定するための手段と、判定された前記パラメータを受信するように構成されると共に、パケット損失に起因する信号劣化の大きさを表す前記単一のパラメータ“xwpSEQ”に基づいて、及びビデオ解像度情報と使用されたビデオコーデックに基づいて、パケット損失に起因する品質尺度“Qtrans”を計算するように構成される品質評価モジュールとを備える装置を提供する。
本発明の第1の特徴の上記の好ましい実施例は、同様に、本発明の第2の特徴の好ましい実施例である。
図1は、圧縮及び伝送歪みに関連した品質の推定の一般的なフレームワークのブロック図を示す。特に、それは、サービス監視の際の、圧縮による劣化(Qcod)及び伝送による劣化(Qtrans)の場合に認識されるビデオ品質を推定するための一般的なフレームワークを示す。失われたパケットの数及びフレームタイプなどのようなパラメータは、ビットストリームから抽出されると共に、“xwpSEQ”パラメータを計算し、そしてパケット損失に起因する質的影響“Qtrans”を予測するために使用される。 図2は、パケット損失及びパケット損失の隠蔽としてのスライシングの場合のフレーム当たりのスライスの数の影響を示す。特に、それは、フレーム当たりに3つのスライスの場合(中央の図)及びマクロブロックの行当たりに1つのスライスの場合(右側の図)に、任意のフレームにおいてどのように損失が次のスライスまで伝搬するかを示す。マクロブロックは、16×16のピクセルブロックである。フレームがどのくらいのパケットから成るかに応じて、そしてどのくらいのスライスがフレームのために使用されるかに応じて、異なる領域がもたらされる。 図3は、ビデオストリームの符号化される順序と表示の順序とを比較する。 図4は、“xwpSEQ”パラメータの計算を例証する。それは、測定窓の中のビデオフレーム、及びGOP“k”における損失を示す。 図5は、パケット損失によって影響を受けた任意のGOPにおける動きのタイプに応じた損失伝搬のさまざまな変種を示す。それは、(a)損失の減衰または損失の拡大を考慮しない場合、(b)損失の減衰を考慮する場合、(c)損失の拡大を考慮する場合のエラー伝搬の例を示す。 図6は、連続的に失われた“nlp_i=2”個のパケット、及び1つのスライスを送るために必要とされる4個のパケットの例に関するスライス断片化(slice fragmentation)の場合に、どのように損失事象“i”の時空間的な範囲“xl_k”が計算され得るかを示す。上側の図面に関して、フレームに対する全てのスライスが、それらが構成されるパケットの観点から、1つのスライスが他のスライスと離れて描写される点に注意が必要である。更に、図示するために、理想化された状況が全体のフレームに対するスライス当たりのパケットの等しい数で仮定される点に注意が必要である。 図7は、TSの場合に関する損失事象“i”の時空間的な範囲“xl_k”の計算を詳述する。失われた領域は、フレーム上の任意の位置にあり得る。ここで、失われた領域は、全体のフレームサイズに対する割合として表される。損失の位置は、損失の始まりの位置の観点から表される。 図8は、フローチャートを用いて本発明の主要なステップを要約する。フローチャートは、スライシングがパケット損失の隠蔽として使用される場合の“Qtrans”を判定する例に関する方法を例証する。灰色の中身を一緒に有するブロックは、特許の基礎的なモードを形成する点に注意が必要である。白いブロックは、任意の追加のステップを反映する。
「1. スライシング」
「1.1 損失の時空間的な範囲“xl_k”−GOP“k”あたりの、そしてシーケンス(xwpSEQ)あたりの劣化」
本発明は、スライシングに関して最初に記述される。フリージングのための方法は、スライシングのためのサブケース(sub-case)として、後で示される。
損失の空間的な範囲及び継続期間は、影響を受けたフレームにおける連続的に失われたパケットの数、影響を受けたフレームにおけるパケットの数、フレーム当たりのスライスの数、及び、影響を受けたフレームのフレームタイプから計算される。
従って、“Qtrans”は、等式(3)のように書かれ得る。
下記において全ての計算が復号器の入力レベルにおけるビットストリームに関して行われ、従って、それらのフレームは、表示の順序ではなく符号化される順序に従う点に注意が必要である(図3を参照)。
Figure 2014500677
ここで、“f”は、例えば対数関数であり、そして“xwpSEQ”は下記式(4)のようである。
Figure 2014500677
ここで、
・“N”は、測定窓内のグループオブピクチャー(GOP)の数である。
・“xl_k”は、グループオブピクチャー(GOP)“k”で発生する損失の時空間的な範囲であり、下記式(5)のようである。
Figure 2014500677
ここで、
・“i”は、新しい損失事象(すなわち、損失伝搬に起因しない)のインデックスである。もし(階層型符号化の場合の基準B−フレームでない)B−フレームにおいて損失事象が発生するならば、その損失は伝搬せず、従って、損失事象は、“xl_k”の計算において無視される。
・“t_i”は、新しい損失事象が発生するフレームの(GOPの始まりと比較した)インデックスである。
・“T_k”は、一般的にフレームの数の観点から表されたGOP“k”の継続期間または長さである。
・“xl_i”は、損失事象“i”に起因する、影響を受けたフレーム内の障害のある(impaired:損なわれた)ピクセルの割合である。
“xl_i”を損失事象“i”からの個別の寄与度(contribution)とし、“xl_i”を“w<i”であるあらゆる以前の損失事象“w”からの個別の寄与度とする。原則として、1つのGOP“k”におけるいくらかの損失事象に関する
Figure 2014500677
が、“1”より大きくなり得るので、等式(5)における合計値は、段階的な(step-wise)方法で、下記式(5a)によって計算され得る。
Figure 2014500677
ここで、“xl_k”は、GOP“k”における現在の損失事象“i”までに累積された関連する空間領域である。
代替実施例において、そしてGOPの長さがとても異なっている場合に、各GOPの継続期間は、等式(4)において明白に考察され得ると共に、下記式(5a2)をもたらす。
Figure 2014500677
ここで、“T”は、シーケンスの全体の継続期間であり、それは、フレームの数によって表され得る。
本発明の別の実施例は、階層B−フレーム(hierarchical B-frame)が使用される場合に有効である。この場合、基準B−フレームにおける損失事象は、次の完全なP−フレームが到着するまで伝搬すると仮定されることができ、一方その損失は、それぞれのB−フレームの後に続くBフレーム、またはそれぞれのB−フレームに先行するB−フレームの両方に影響を及ぼす。その結果、各損失事象“i”からの個々の寄与度“xl_i”は、下記式(5b)のように、各項目(entry:エントリ)が各損失事象の空間的な範囲の特性を示すベクトル“xl_k”に集められ、そしてそれぞれの継続期間は、下記式(5b2)のように、ベクトル“t_k”に集められる。
Figure 2014500677
ここで、“Tp_i”は、損失によって影響を受けた基準B−フレームに続くPフレームの、GOP“k”におけるフレームの位置である。また、伝送の順序におけるフレーム−インデックスが仮定される。
その場合に、等式(5)または(5a)に基づいた“xl_k”の計算は、下記式(5c)のように、ベクトル“xl_k”と“t_k”のスカラー積(skalar product)を必要とするか、
Figure 2014500677
または、上記で提供された同じ論議に従って、例えば等式(5a)を参照すると、損失によって既に影響を受けたフレームにおける新しい損失事象に起因する新しく取り入れられた空間的なエラー、あるいはその伝搬を、最大でも全フレームが影響を受けるような方法で制限する。
「1.1.1 損失事象“i”の時空間的な範囲への寄与度“xl_i”の判定」
「1.1.1.1 パケット当たりに1つのスライス」
用いられたパケット化(packetization)スキームに応じて、障害のあるピクセルの推測の割合“xl_i”を判定するためのさまざまな方法が存在する。
例えば、パラメータ“xl_i”は、下記式(6)のように計算され得る。
Figure 2014500677
ここで、
・“nlp_i”は、現在の影響を受けたフレームにおけるパケット損失事象“i”のために失われたビデオパケットの数である。
・“np”は、現在の影響を受けたフレームにおける(失われたパケット+正しく受け取られたパケット)の数である。
・“xl_i”は、損失事象において失われたパケットに対応する、現在の影響を受けたフレームにおける障害のあるピクセルの推測の割合である。
この実施例は、パケット化が、1つのIP−パケットが正確に1つのスライスを含むような方法で行われる場合(すなわち、H.264ビデオコーデックの場合の1つのネットワーク概要レイヤユニット(NALU:Network Abstraction Layer Unit))を表す。この場合、それらのスライスは、一般的に、バイトにおけるネットワークのMTUサイズに対応するように選択される。従って、パケット損失は、スライス損失に対応すると共に、“nlp”個のパケットの損失は、“nlp”個のスライスの損失に対応する。この場合、損失によって影響を受けた領域は、そのフレームが構成されるパケットの数によって除算された(割られた)、失われたパケットの数として計算される。そのフレームが構成されるパケットの数が、失われたパケットの数に受け取られたパケットの数を加えたものに対応することは、明らかである。
代替実施例によれば、参考文献[10](非特許文献8)に示されたように、基準フレームにおける失われた領域が、任意のフレームに関して必要とされるバイトの推測の数によって除算された(割られた)、失われたバイトの推測の数として、下記式(6a)のように推定され得る。
Figure 2014500677
ここで、
・“blp_i”は、現在の影響を受けたフレームにおける損失事象“i”に起因して失われたビデオのバイトの数である。
・“bp”は、現在の影響を受けたフレームにおける(失われたバイト+正しく受け取られたバイト)の数である。
・“xl_i”は、損失事象“i”によって失われたバイトに対応する、現在の影響を受けたフレームにおける障害のあるピクセルの推測の割合である。
「1.1.1.2 トランスポートストリームのないフレーム当たりのスライスの固定数」
次に、スライスが固定量のピクセルを含むような方法で、パケット化が行われる場合が考察される。例えば、これは、MTUサイズに割り当てるように強要されないスライスを有するIP/UDP/RTPベースの伝送の場合である。現在のフレームに影響を与える任意の損失事象において、“nlp_i”個のパケットが連続的に失われると仮定されている。パケット化が他の場合は“サイズ(パケット)=min(MTU,スライス)”のパケットを生じると予測されるので、2つの場合、すなわち、a)パケットサイズがスライスサイズより大きい場合、b)パケットサイズがスライスサイズに等しいか、もしくはスライスサイズより小さい場合、が識別され得る。場合a)では、整数のスライスが各パケット含まれると共に、スライスの断片化が行われないことになると仮定され得る。この場合a)は、概念的に(conceptually)、パケット当たりに1つのスライスが存在した前の説明に非常に類似している。同様に、等式(6)及び(6a)を参照すると、1つのパケットに整数のスライスが含まれるこの場合a)では、損失事象“i”によって失われたピクセルの相対量は、全体のフレームが構成されるパケットの数によって除算された、失われたパケットの相対数“nlp”に対応する。
場合b)では、スライスの断片化を有し、等式(6)は、下記式(6b)のように書き直される必要がある。
Figure 2014500677
ここで、
・“np”は、現在のフレームを含むパケットの数である。
・“nlp_i”は、以前と同様に、損失事象“i”において失われる現在の影響を受けたフレームにおける失われたビデオパケットの数である。
・“nsc”は、フレーム当たりのスライスの数である。
・“np/nsc”は、スライス当たりのパケットの推測の数である。
この場合は、図6において例証される。概略図は、一例のスライスの構造と比較した損失の位置に応じた、“nlp_i”個の連続的に失われたパケットを有する損失事象によって影響を受ける空間領域の割合を示す。等式(6b)、及びこの特許における同様に他の等式は、平均動作(average behavior)を計算することによって得ることができる。
等式(6)及び(6a)を参照すると、この場合の代替実施例では、前の場合と同様に、パケット数を利用する代りに、これらのパケットに含まれるそれぞれのバイトの数が使用され得る。その場合には、下記式(6c)のようになる。
Figure 2014500677
ここで、
・“bp”は、現在のフレームを含むパケットのバイトにおける全体のサイズである。
・“blp_i”は、現在の影響を受けたフレームにおける損失事象“i”に起因して失われたビデオのバイトの数である。
・“np/nsc”は、スライス当たりのパケットの推測の数である。
1つのスライスだけがフレーム当たりに使用されているならば、そのフレームにおける損失事象の正確な位置は知られ得る。この場合、“xl_i”は、最初に失われたパケットとフレームの終わりとの間の空間領域に対応する。
Figure 2014500677
ここで、“sap_i”は、損失によって影響を受けた表面(surface)であり、“sf”は、全体のフレームの表面(surface)である。
本願明細書において以前に説明されたように、パケットサイズ及び/またはペイロードサイズに基づいて“sap_i”及び“sf”を計算することは、当業者には明白である。
2つの続いて起こる損失事象“i”及び“j”の最初の失われたパケット“p_i”及び“p_j”が、スライスのために必要とされるパケットの推測の数以上のパケットの数であるすき間(gap:空隙)“gap_l_ij≧np/nsc”によって分割される場合にだけ、2つの損失事象は続いて起こると考えられることに注意しなければならない。他の場合は、2つの損失事象は、2つの損失事象の間で発見された“nfp_ij”個のパケットによって特徴付けられる1つの単一の結合された損失事象“ij”の一部として、ここでは扱われる。この場合において、式(6b)は、下記式(6e)のようになる。
Figure 2014500677
ここで、
・“np”は、現在のフレームを含むパケットの数である。
・“nlp_ij”は、(現在の影響を受けたフレームの)2つのパケット損失事象“i”と“j”との間に含まれるすき間(gap:空隙)における発見されたパケットに加えて、更に全ての失われたパケットである、結合された損失事象“ij”に属するビデオパケットの数である。
・“nfp_ij”は、損失事象“ij”の間に発見された、現在の影響を受けたフレームにおけるビデオパケットの数である。ここで、結合された損失事象は、“1”が失われたパケットに対応し、“0”が発見されたパケットに対応する場合に、“1...0.0..1”の形式の損失事象である。従って、損失事象は、損失を有して(損失によって)始まって、次に発見された“nfp_ij”個のパケットがあり、そして損失を有して(損失によって)終わる。
・“nsc”は、フレーム当たりのスライスの数である。
・“np/nsc”は、スライス当たりのパケットの推測の数である。
式(6e)が、更に、ビデオフレームの各々失われた部分及び発見された部分のバイトにおけるサイズの観点から表され得ることは明白である。
「1.1.1.3 トランスポートストリームを有するフレーム当たりのスライスの固定数」
パケット化がトランスポートストリーム(TS)パケットを包含する場合、ビデオパケットは、ビデオペイロードを有するTS−パケットに対応する。この場合、以前の場合と同様に、各スライスは、一般的に、それぞれのビデオフレームにおける固定の空間領域に対応する。ここでは、同様に、1つからいくつかのパケットが、任意のフレームに関するビデオの空間的な、または時間的な複雑さに応じて、それぞれのスライスを送信することを要求され得る。
上記の「背景技術」欄の要素g)において言及されたように、スライスにおいて損失事象が存在するならば、失われたパケットに対応するピクセル領域から次のスライスまでの全ピクセル領域が損なわれる。
この場合、連続的に失われた“nlp_i”個のパケットの損失事象“i”があるとき、平均して、半分のスライスが、影響を受けたフレームにおける事象“i”で失われたパケットの数に対応する障害のあるピクセルの割合に加えて失われる。これは、等式(6)を等式(7)に修正することによって、反映することができる。
Figure 2014500677
ここで、
・“nlp_i”は、連続的に失われたビデオTS−パケットの数である。
・“nsc”は、フレーム当たりのスライスの数である。
・“1/(2*nsc)”は、従って、損失によって影響を受けたスライスにおける損失伝播を反映する修正項である。
状況は、どのように損失事象がフレームに対して、そしてスライスの一例のセットと比較して配置されるかに応じて、失われた“nlp_i”個のパケットの任意の損失事象によって影響を受けた空間領域が示される、図7において例証される。ここでは、空間的な割合が、全体のフレームが“1”の割合に対応するように、フレームが構成されるパケットの全体の数と比較して表される。等式(7)は、フレームの始まりと比較した損失事象の始まりの位置に関して示されたカーブを統合して、平均して影響を受ける領域を計算する場合に従う。任意の例が、失われたパケットに含まれる空間領域が1つのスライスより小さい場合に関して選択されるが、しかし、それが1つのスライスより大きい場合に同じ関係が同様に適用されるということが容易に示され得る。
代替実施例では、パケットの数よりむしろバイトにおけるパケットサイズが使用され得る。
Figure 2014500677
ここで、
・“blp_i”は、連続的に失われたTS−パケットにおけるビデオのバイトの数である。
・“bp”は、現在の影響を受けたフレームに含まれるビデオのバイトの総数である。
他のパケット化の場合と同様に、2つの損失事象“i”及び“j”の開始点は、バイトにおける1つのスライス、またはTS−パケットの数より小さく、相互に離れているかもしれない。この場合、本発明は、2つの損失事象を、2つの連続する失われたパケット“nlp_i”及び“nlp_j”(またはそれぞれ“blp_i”及び“blp_j”)の間で発見された“nfp”個のパケットまたはサイズ“bfp”のパケットを有する1つの単一の損失事象として考察することを示唆する。この場合、以前に示された類似の実施例のように、2つの損失実行(loss run)の間で発見された“nfp_i”個のパケットが、それぞれのフレームにおける障害のあるピクセルの割合を減少させることになり、それは、下記式(7b)によって説明され得る。
Figure 2014500677
ここで、以前の定義に加えて、下記のように定義される。
・“nlp_ij”は、2つの損失事象の間(ここでは、2つの損失事象“i”、“j”の間の1つのすき間(gap:空隙)だけを仮定する)で発見されたパケットを含む結合された損失事象“ij”に属するビデオTS−パケットの数である。
・“nfp_ij”は、結合された損失事象“ij”の損失部分の間で発見されたビデオTS−パケットの数である。
・“nsc”は、フレーム当たりのスライスの数である。
・“1/(2*nsc)”は、従って、損失によって影響を受けたスライスにおける損失伝播を反映する修正項である。
特定の場合では、ほんの少しの、すなわち例えば、1つ、2つ、または3つのスライスが、フレーム当たりに使用され、フレームに属する一連のパケットに関する損失事象の位置が考慮される場合には、“xl_i”の計算は、更に厳密であり得る。これは、そのフレームにおける失われたパケットのあとに続く全てのピクセル情報が品質劣化したと考察され得る、フレーム当たりに1つのスライスの場合に、特に有意義である。そのような場合、等式(7)は、等式(7c)になる。
Figure 2014500677
ここで、“ndp_i”は、フレームにおける最初の失われたパケットからフレームの終わりまでのパケットの数である。
一般的に、トランスポートストリームの場合、もし損失事象“i”によって失われたビデオパケットの数がフレームに属するパケットの仮定した数を越えるならば、あるいは、もし(例えば失われたバイトの推測の数から仮定された)影響を受けた領域がフレームの領域を越え、そして従って損失事象が次のフレームにまで及ぶならば、次のフレームに関する影響を受けた損失領域のそれぞれの検討が行われる必要がある。例えば、そのような計算は、等式(7)、(7a)、(7b)、または(7c)を用いて、影響を受けた(その後の)フレームに対して行われ得る。
フレームにおける損失の位置を明白に考慮することの他の特徴は、第1.3.2欄で説明される。
「1.2 品質モデル」
ここで、前述の場合の全てに関して、本発明に従うと、下記式(8)を得る。
Figure 2014500677
等式(8)において、係数“a”及び“b”の値は、ビデオ解像度及び採用されたビデオコーデックによって決まる。任意の解像度及びビデオコーデックに関して、係数の1つのセットだけで、そのモデルは、様々なビットレート、(時空間的な複雑さの点から見た)ビデオコンテンツのタイプ、GOP構造の選択、パケット損失レート及び分布(packet loss rate and distribution)、及びフレーム当たりのスライスの数をカバーする。
好ましくは、係数が、目標値として知覚テストの格付けを使用して、最小2乗誤差曲線フィッティング手順において獲得されることに注意が必要である。例えばx264符号器の実装に対応するH.264ビデオコーデックによるHD解像度(1920×1080ピクセル)に対して、“a=7.79”及び“b=0.002”を得る。
「1.3 モデルの改良」
「1.3.1 エラー伝搬の間に損失の影響を受けた領域の振る舞い」
もし1つのパケット損失がGOP“k”の時刻“t_i”において基準P−フレームまたはIフレームに発生するならば、そのエラーは、次のI−フレームまで伝搬される。時刻“t_i”で最初に影響を受けたフレームにおける障害のあるピクセルの数、及び次のI−フレームまでの従属するフレームにおける障害のあるピクセルの数は、一定であると考えられる。言い換えると、損失の空間的な範囲は、伝搬している間一定であると考えられる(図5(a)を参照)。この仮定は、厳密ではないが、大部分の場合に存在する。実際には、ビデオには動きがあるので、そして、符号化処理の性質に起因して、損失の空間的な範囲は、1つの従属のフレームから別の従属のフレームでは、変化している(図5(b)を参照)。この空間的な範囲の拡大(図5(c))または減衰(図5(b))は、動きの量及び時間的な複雑さによって決まる。もしその動きが混沌としているならば、例えばもし画像のさまざまな部分がさまざまな方向に移動するならば、その損失は、全フレームを横断して伝搬し得る(図5(c))が、しかしもし障害のあるオブジェクトの動きが首尾一貫していると共に速いならば、障害のあるオブジェクトは、次のI−フレームより前にピクチャから姿を消すであろう(図5(b))。この特徴は、等式(9a)、(9a2)、及び(9b)において示されるように、等式(4)及び全ての関連する等式における“xl_k”に補正係数“α1,k”を挿入することによって、及び/または、等式(5)及び全ての関連する等式における“xl_i”に補正係数“α2,i”を挿入することによって、調整され得る。
Figure 2014500677
もしくは、等式(5a)に関連すると下記式(9a2)のようになる。
Figure 2014500677
補正係数“α1,k”は、ビデオの時間的な複雑さ“tcomp”によって決まる。時間的な複雑さは、GOP“k”ごとに計算される。
補正係数“α2,i”は、損失事象“xl_i”ごとに適用されると共に、損失事象“i”によって影響を受けたフレームの時間的な位置によって、すなわち“t_i”によって、及びビデオの時間的な複雑さ“tcomp”によって決まる。補正係数は、従って、等式(10a)及び(10b)のように書かれ得る。
Figure 2014500677
ここで、
・“tcomp”は、GOPの時間的な複雑さであり、例えばI−フレーム、P−フレーム、及びB−フレームのフレームサイズの関数になる。
・“t_i”は、新しい損失事象が発生する、GOPにおけるフレームの位置である。
従って、
・“α”は、“tcomp”の関数になる。
・“α”は、“t_i”と“T”との間のフレームの位置、及び“tcomp”の関数になる。
補正係数“α1,k”及び“α2,i”は、各損失事象に関して、及び広い範囲のビデオコンテンツに関して、等式(6)(または、上記で提供された“xl_i”を計算できる他の等式のいずれか)を使用して計算された“xl_i”の値と、障害のあるピクセルの実際の数とを比較することによって、以前のステージ(オフライン)において統計的に獲得され得る。障害のあるピクセルの実際の数は、パケット損失を有する符号化されたビデオとパケット損失がない符号化されたビデオとを、フレームごとに比較することによって、例えば計算される。この数は、“t_i”、“tcomp”、及び“xl_i”の値と共に、各損失事象に関して保存される。従って、障害のあるピクセルの実際の数と、様々な“tcomp”及び“t_i”の値に対する“xl_i”との間のマッピングを有し、それは、当業者に知られている発見的解決法(heuristic approach)を用いて得られる必要がある。従って、各“t_i”と“tcomp”の値に関して、どれだけ“xl_i”が減衰されるべきか、あるいは拡大されるべきかがわかる。
エラーの可視性が、コンテンツの時空間的な複雑さによって決まる点に注意が必要である。例えば、低い時間的複雑さのコンテンツに関して、そしてスライシングがパケット損失の隠蔽の一部分として使用される場合に、この損失の隠蔽は、非常によく機能し得ると共に、損失によって誘発されたエラーは可視的ではない可能性がある。そのエラーは、高い量の細部を有する空間領域で発生する場合に、同様に可視的ではない可能性がある。結果として、代替実施例では、補正係数“α1,k”及び“α2,i”は、エラーの可視性が、ビデオシーケンスの時間的な、そして空間的な複雑さに基づいて計算されるべきであることを、更に、示すであろう。この場合、等式(9a)及び(9a2)が使用され得ると共に、補正係数“α1,k”は、ビデオの時空間的な複雑さ“stcomp”によって決まる。時空間的な複雑さは、GOP“k”ごとに計算されると共に、等式(10a)は、下記式(10a2)のようになる。
Figure 2014500677
ここで、“stcomp”は、GOPの時空間的な複雑さであり、例えばI−フレーム、P−フレーム、及びB−フレームのフレームサイズの関数になる。
例えば、等式(5b2)及び(5c)を参照すると、当業者は、階層B−フレーム符号化が使用される場合に、等式(9a)から(10a2)によって表された特徴を、損失のわずかに異なる時間積分と容易に結合することができるであろう。
「1.3.2 損失事象によって影響を受けた空間領域」
上記で導入された同じ重み係数を使用して、損失事象“i”によって引き起こされたフレーム内の劣化の位置が、明白に考慮されることができる。これは、さまざまな理由において意味があり得る。
I)見る人(viewer)の注意は、主としてフレームの中央に集中すると予測される。この効果は、見る人の注意を引き付けそうである可視的なエラーの発生によって減少する。しかしながら、フレームのあるエラーにおいて発生する可視的なエラーは、フレームの他の領域におけるエラーより、品質に対する更に強い影響をもたらす可能性がある。この特徴は、良く知られており、この特許において行われた発明は、下記で概説されるような空間的な位置の表現を使用する適切な方法で上記において導入された係数“α”または“α”を使用して、どのようにこの影響が“xl_k”及び“xwpSEQ”の計算に含まれ得るかにある。
II)いくらかの損失事象が1つのGOPにおいて類似した空間的な位置で発生する場合に、影響を受けた空間領域がこれらの損失事象からの個々の寄与度の累算に対応しないことが有り得る。その代りに、その影響が結合され、従ってGOP“k”に関してその結果生じる“xl_k”が、全ての損失事象が異なる空間領域に影響を及ぼす場合より低いことが有り得る。この影響が場面における時間的な複雑さと相互に作用するので、劣化の位置が場面における動きによって動き回るとき、それはあまり表されないであろうと共に、追加のコンテンツの従属関係(content-dependency)が存在する。全てのこれらの特徴は、上記で導入された重み係数“α”を適切に選択することによって処理され得る。
III)例えば(統計の結果、より弱い部分が常により影響を受けることになる)フレーム当たりに1つのスライスを有するビデオ送信に関する場合のように、いくらかのGOPが同じような空間位置において劣化を示す場合に、その結果生じる劣化はさまざまな空間領域でさまざまなGOPが劣化する場合と異なるであろう、ということが仮定され得る。例えば、視覚的注意(visual attention)は、損失を有し、従ってこの場合に質的影響がより顕著である可能性が非常に高い再発した(re-occuring)領域に集中するであろう。例えば、この影響は、重み係数“α”の適切な選択によってモデル化され得る。
これらの場合(I)〜(III)の全てに関して、フレーム“j”における損失事象“i”によって引き起こされた劣化の空間位置、及び異なるGOP“k”に関して累積された空間領域を記録することが必要とされる。本願明細書の先の部分において概説された同じ考察に基づいて、フレームにおける垂直方向の位置、フレームの全体サイズ(または空間的な範囲)と比較した損失領域の全体サイズ、及び、従って、損失によって影響を受けない、フレームの終わりにおける領域のサイズの点から、その位置が、フレーム“j”の始まりからの損失事象“i”の距離を使用することによって追跡され得ることは明白である。
本発明の一実施例では、フレーム及びGOPにおける損失に起因する劣化の位置を記録するために、下記のアプローチが行われる。
上記と同様に、“xl_k”は、損失事象“i”によって影響を受けた領域の空間的な範囲とする。ここで、上記と同様にパケットサイズまたはパケット数の情報から抽出される下記の割合を更に導入する。
・“xfoundB_i”は、損失事象“i”によって影響を受けていない、フレーム“j”の始まりにおける相対的な空間領域である。“xfoundB_i”が0に等しくなり得る点に注意が必要である。
・“xfoundE_i”は、損失事象“i”によって影響を受けていない、フレーム“j”の終わりにおける相対的な空間領域である。“xfoundE_i”が0に等しくなり得る点に注意が必要である。
・“sll_i”は、各走査線(line)に、フレームのそれぞれの部分が損失事象“i”の一部を含むかどうか、そして、必要に応じて、フレームのそれぞれの部分のどの範囲が損失事象“i”の一部を含むか、に関する情報を含む列ベクトルである。この目的のために、フレーム“j”は、“M”がベクトル“sll_i”の次元の数に対応する、M個の等しい大きさの水平走査線に分割される。
ここで、本発明の一実施例において、ベクトル“sll_i”の項目(entry:エントリ)は、下記のように計算され得る。
・“sB_i”は、M個の走査線へのラインサンプリングの観点からの、損失によって影響を受けていない、フレームの始まりにおける割合であると共に、全体のフレームサイズと比較して表される。
・“sE_i”は、M個の走査線へのラインサンプリングの観点からの、損失によって影響を受けていない、フレームの終わりにおける割合であると共に、全体のフレームサイズと比較して表される。
更に、下記式(10c)及び(10d)のように表される。
Figure 2014500677
その場合に、“sll_i”は、下記式(10e)のように表される。
Figure 2014500677
式(10e)の更に簡単な表現は、下記式(10f)のように表される。
Figure 2014500677
ここで、係数“α”及び“α”は、下記式(10g)及び(10h)のように、これらのベクトル“sll_i”の関数として計算され得る。
Figure 2014500677
ここで、等式(10h)は、任意のGOP“k”に関する、全ての“sll_i”の総和を包含し得る。その場合に、“sll_i”によって示された“M”個のビン(bin)における値の分布は、任意のGOPに影響する異なる損失事象“i”が類似の(similar)領域もしくは異なる(dissimilar)領域に影響を与えたかどうかの指標であり得る。その結果、値の広がりが小さいほど、それらの損失は、ある領域により集中すると共に、個々の事象のより低い重み付け(weighting)をもたらす。
等式(10f)に関して、任意のGOP“k”について合計された“sll_i”は、GOPを越えて累積され得ると共に、異なる領域もしくは類似の領域がさまざまな影響を受けたGOPに関して影響を受けるかどうかの指標を提供する。従って、GOPの寄与度は、より高く、もしくは、より低く、重み付けされ得る。
当業者は、上述のように、容易にこれらの方法を、場面に含まれる動きの観点からの追加の重み付け(weighting)の寄与度、または適切な重み付けによって処理され得る特徴のあらゆる他のものと結合することができるであろう。
「1.3.3 影響を受けたGOPの数に起因する影響」
モデルの予測を向上させる追加の方法は、損失事象を有するGOPの数を入力パラメータとして挿入することである。実際には、等式(4)において見られ得るように、そのモデルは、今までのところ、大きな空間領域を有する単一の長い損失事象の質的影響(quality impact)と、(空間領域の観点からの)いくらかのより短くより小さな損失事象の質的影響を区別しない。ここで、いくらかの小さな損失事象が単一のより大きな損失事象より更に品質を劣化させると仮定するが、しかし、この差異は、損失事象それ自身の空間的な範囲によって決まる。その結果、等式(11)において示されたように、補正係数“β”を等式(4)に挿入する。
Figure 2014500677
ここで、
・“Ngl”は、測定窓内に損失事象を有するGOPの数である。
・“xl_k”は、GOP“k”において発生する損失の時空間的な範囲である(等式(5)及び(9)、そして全ての関連する等式を参照)。
それは、更に、式(5a)において与えられるような、異なる長さのGOPを含む(4)の形式と結合され得ると共に、下記式(11a)をもたらす。
Figure 2014500677
“α”と同様に、“β_k”は、以前のステージにおいて、同じ知覚品質を獲得したビデオシーケンスのセットの“xwpSEQ”の値を比較することによって、そして、各“xwpSEQ”及び知覚品質の値に関して、“Ngl”パラメータ及び“xl_k”パラメータを保存することによって、統計的に獲得され得る。本発明は人間の被験者の知覚プロセスの技術的なモデルと考えられ得るので、知覚品質が主観テストを行なうことによって以前に獲得される点に注意が必要である。“β”の値は、等式(11)を使用して計算された“xwpSEQ”と知覚品質との間の最も良いマッピング(mapping:関数)を獲得するために調整される。
「2. フリージング」
今までのところ、方法は、スライシングがパケット損失隠蔽タイプとして使用されたと仮定して説明された。しかしながら、もし測定窓のGOPが同じ長さを持っているならば、“xwpSEQ”パラメータは、フリージングがパケット損失隠蔽タイプとして使用される場合に、同様に有効である。実際には、上記の「背景技術」欄の要素f)において言及されたように、フリージングの場合には、もしフレームがパケット損失によって影響を受けるならば、最後の損なわれていない(unimpaired)フレームが次のI−フレームまでフリーズ(freeze)する。“xwpSEQ”において示された損失の空間的な範囲は、このパラメータによってカバーされた損失の時間的な特徴に反して、持続しない。
これは、“Σ(xl_i)”を“1”に強制する(と共に、等式(5a)を反映する)ことによって、等式(5)において反映され得ると共に、等式(12)をもたらす。
Figure 2014500677
等式(12)において、“xl_k”は、GOP“k”の継続期間と比較したGOPにおける損失の継続期間を表す。
式(4)または式(5a)または関連する等式の他のいずれかと共に式(12)を使用する場合に、等しい長さのGOPと異なる長さのGOPの両方の場合が考察され得る。更に、前の項において概説されるように、コンテンツの時空間的な複雑さの観点からのフリージング関連のパラメータの修正は、劣化をスライスする場合のように実施され得る。
本発明が詳細に図及び前述の記述において例証されて説明された一方、そのような例証及び記述は、実例であるか、または代表的であり、限定的でないと考えられるべきである。変更及び修正が、当業者によって、特許請求の範囲内で行われ得るということが理解されることになる。特に、本発明は、上記及び下記で説明された異なる実施例が提供する特徴のあらゆる組み合わせを有する更なる実施例をカバーする。
更に、請求項において、単語“含む”は、他の要素及びステップを排除しないと共に、単数で記載されたものは複数の場合を除外しない。単一のユニットが、請求項において暗唱されたいくらかの特徴の機能を遂行し得る。特性(attribute)または値に関連して、用語“本質的に”、“約”、“おおよそ”等は、特に、それぞれ、正確に特性を、または正確に値を、更に定義する。請求項における引用符号(reference sign)は、範囲を限定すると全く解釈されるべきでない。
「参考文献のリスト」
[1]“A. Takahashi”、“D. Hands”、及び“V. Barriac”、“Standardization Activities in the ITU for a QoE Assessment of IPTV”、IEEE Communication Magazine, 2008年
[2]“S. Winkler”及び“P. Mohandas”、“The Evolution of Video Quality Measurement: From PSNR to Hybrid Metrics”、IEEE Trans. Broadcasting、2008年
[3]“A. Raake”、“M.N. Garcia”、“S. Moeller”、“J. Berger”、“F. Kling”、“P. List”、“J. Johann”、及び“C. Heidemann”、“T-V-MODEL: Parameter-based prediction of IPTV quality”、“ICASSP”の講演録、2008年
[4]“O. Verscheure”、“P. Frossard”、及び“M. Hamdi”、“User-Oriented QoS Analysis in MPEG-2 Video Delivery”、Real-Time Imaging 5, 305〜314頁、(1999年)
[5]“F. You”,“W. Zhang”、“J. Xiao”、“Packet Loss Pattern and Parametric Video Quality Model for IPTV”、“Eighth EEEE/ACIS International Conference on Computer and Information Science”の講演録、824〜828頁、2009年
[6]“M.-N. Garcia”及び“A. Raake”、“Parametric Packet-Layer Video Quality Model For IPTV”、“Tenth International Conference on Information Science, Signal Processing and their Applications (ISSPA)”の講演録、2010年
[7]“K. Yamagishi”及び“T. Hayashi”、“Parametric Packet-Layer Model for Monitoring Video Quality of IPTV Services”、IEEE ICC 2008, CQ04-3、110〜114頁、北京市、中国、2008年
[8]“Q. Huynh-Thu”、“Quan”、及び“B. Pernot”、“Method and apparatus for generation of a video quality parameter”、欧州特許出願公開第2112835号
[9]“A. Clark”、“Method and system for viewer quality estimation of packet video streams”、米国特許出願公開第2009/0041114号、国際公開第2009/012302号
[10]“P. Frossard”、“O. Verscheure”、“Joint Sourc/FEC Rate Selection for Quality-optimal MPEG-2 Video Delivery”、IEEE Trans. Image Proc.、Vol. 10、No. 12、2001年12月

Claims (21)

  1. 送信されたビデオ信号シーケンスの品質を受信機側で評価するための方法であって、
    a)受信された入力ビデオビットストリームを復号化する前に獲得し、それをビデオビットストリームアナライザに供給する段階と、
    b)測定時間窓の間に、獲得された前記入力ビデオビットストリームのパケットヘッダから、前記ビットストリームアナライザによって、1つまたは複数の特徴を抽出する段階と、
    c)前記1つまたは複数の特徴から、及び任意に、スライシングの構成のようなメディアストリームに関して知られているメタ情報から、パケット損失に起因する信号劣化の大きさを表す単一のパラメータ“xwpSEQ”を判定する段階と、
    d)判定された前記パラメータを品質評価モジュールに供給する段階と、
    e)パケット損失に起因する信号劣化の大きさを表す前記単一のパラメータ“xwpSEQ”に基づいて、及びビデオ解像度情報と使用されたビデオコーデックに基づいて、前記品質評価モジュールによって、パケット損失に起因する品質尺度“Qtrans”を計算する段階と
    を含むことを特徴とする方法。
  2. 前記段階c)において判定された前記単一のパラメータ“xwpSEQ”が、損失の空間的な範囲及び継続期間を表す
    ことを特徴とする請求項1に記載の方法。
  3. 前記段階c)において、前記単一のパラメータ“xwpSEQ”が、測定窓内のグループオブピクチャー(GOP)の数“N”、及び影響されたグループオブピクチャー“k”で発生する損失の時空間的な範囲“xl_k”に基づいている
    ことを特徴とする請求項2に記載の方法。
  4. グループオブピクチャー(GOP)“k”で発生する前記損失の前記時空間的な範囲“xl_k”が、損失事象に起因する、影響を受けたフレーム内の障害のあるピクセルの割合“xl_i”、前記GOPの始まりと比較した損失の位置“t_i”、及び前記GOPの長さ“T_k”に基づいて計算される
    ことを特徴とする請求項1から請求項3のいずれか一項に記載の方法。
  5. 前記影響を受けたフレーム内の前記障害のあるピクセルの割合“xl_i”が、現在の影響を受けたフレーム内の失われたパケット及び正しく受信されたパケットの数によって除算された、現在の影響を受けたフレーム内のパケット損失事象“i”のために失われたビデオパケットの数に基づいて計算される
    ことを特徴とする請求項1から請求項4のいずれか一項に記載の方法。
  6. 前記影響を受けたフレーム内の前記障害のあるピクセルの割合“xl_i”が、現在の影響を受けたフレーム内の失われたバイト及び正しく受信されたバイトの数によって除算された、現在の影響を受けたフレーム内のパケット損失事象“i”に起因して失われたビデオのバイトの数に基づいて計算される
    ことを特徴とする請求項1から請求項5のいずれか一項に記載の方法。
  7. 前記影響を受けたフレーム内の前記障害のあるピクセルの割合“xl_i”が、現在のフレームを含むパケットの数、損失事象“i”において失われる現在の影響を受けたフレーム内の失われたビデオパケットの数、フレーム当たりのスライスの数、及び、スライス当たりのパケットの推測の数に基づいて計算される
    ことを特徴とする請求項1から請求項5のいずれか一項に記載の方法。
  8. 前記影響を受けたフレーム内の前記障害のあるピクセルの割合“xl_i”が、現在のフレームを含むパケットのバイトにおける全体のサイズ、現在の影響を受けたフレーム内の損失事象“i”に起因して失われたビデオのバイトの数、及び、スライス当たりのパケットまたはバイトの推測の数に基づいて計算される
    ことを特徴とする請求項1から請求項5のいずれか一項に記載の方法。
  9. 前記影響を受けたフレーム内の前記障害のあるピクセルの割合“xl_i”が、現在のフレームを含むパケットの数、結合された損失事象“ij”に属するビデオパケットの数、損失事象“ij”の間に発見される現在の影響を受けたフレーム内のビデオパケットの数、フレーム当たりのスライスの数、及び、スライス当たりのパケットの推測の数に基づいて計算される
    ことを特徴とする請求項1から請求項5のいずれか一項に記載の方法。
  10. 前記影響を受けたフレーム内の前記障害のあるピクセルの割合“xl_i”が、連続的に失われたビデオトランスポートストリームのパケットの数、フレーム当たりのスライスの数、及び、損失によって影響を受けたフレームにおける損失伝播を反映する修正項に基づいて計算される
    ことを特徴とする請求項1から請求項5のいずれか一項に記載の方法。
  11. 前記影響を受けたフレーム内の前記障害のあるピクセルの割合“xl_i”が、連続的に失われたトランスポートストリームのパケットにおけるビデオのバイトの数、及び、現在の影響を受けたフレームに含まれるビデオのバイトの総数に基づいて計算される
    ことを特徴とする請求項1から請求項5のいずれか一項に記載の方法。
  12. 前記影響を受けたフレーム内の前記障害のあるピクセルの割合“xl_i”が、結合された損失事象“ij”に属するビデオトランスポートストリームのパケットの数、結合された損失事象“ij”の損失部分の間で発見されるビデオトランスポートストリームのパケットの数、フレーム当たりのスライスの数、及び、損失によって影響を受けたフレームにおける損失伝播を反映する修正項に基づいて計算される
    ことを特徴とする請求項1から請求項5のいずれか一項に記載の方法。
  13. フレーム当たりに1つのスライスが使用される場合に、損失事象“i”の寄与度“xl_i”が、最初に失われたパケットと前記フレームの終わりとの間の空間領域として計算される
    ことを特徴とする請求項1から請求項12のいずれか一項に記載の方法。
  14. 前記段階c)が、前記ビデオシーケンスの時空間的な複雑さを表す補正係数を更に考慮し、前記補正係数により、全体のパラメータに対するそれぞれの損失事象“i”の寄与度“xl_i”が補正される
    ことを特徴とする請求項1から請求項13のいずれか一項に記載の方法。
  15. 前記補正係数が、グループオブピクチャーごとに計算されたビデオの時間的な複雑さによって決まる
    ことを特徴とする請求項14に記載の方法。
  16. 前記補正係数が、損失事象“i”によって影響を受けたグループオブピクチャーにおけるフレームの時間的な位置によって決まる
    ことを特徴とする請求項14に記載の方法。
  17. 前記補正係数が、損失事象“i”によって影響を受けたグループオブピクチャーにおけるフレームの時間的な位置、及びグループオブピクチャーごとに計算されたビデオの時間的な複雑さによって決まる
    ことを特徴とする請求項14に記載の方法。
  18. 前記段階e)が、損失事象を有するグループオブピクチャーの数を更に考慮する
    ことを特徴とする請求項1から請求項17のいずれか一項に記載の方法。
  19. 変数が、それぞれのフレームにおける影響された領域の推測の位置を獲得する損失事象ごとに保存されると共に、損失事象“i”の寄与度“xl_i”を補正するために、または、前記段階c)による前記全体のパラメータに対する前記シーケンスの所定の時間的な部分の寄与度を補正するために使用される
    ことを特徴とする請求項1から請求項18のいずれか一項に記載の方法。
  20. フリージングがパケット損失隠蔽タイプとして使用されると共に、前記段階c)による前記パラメータが、請求項1から請求項17のいずれか一項に記載の方法により計算された、前記シーケンスにおける前記フリージング事象の全体の重み付けされた時間的な継続期間のことを指す
    ことを特徴とする請求項1から請求項18のいずれか一項に記載の方法。
  21. 送信されたビデオ信号シーケンスの品質を受信機側で評価するための装置であって、
    受信された入力ビデオビットストリームを復号化する前に獲得すると共に、測定時間窓の間に、獲得された前記入力ビデオビットストリームのパケットヘッダから、1つまたは複数の特徴を抽出するように構成されるビデオビットストリームアナライザと、
    前記1つまたは複数の特徴から、及び任意に、スライシングの構成のようなメディアストリームに関して知られているメタ情報から、パケット損失に起因する信号劣化の大きさを表す単一のパラメータ“xwpSEQ”を判定するための手段と、
    判定された前記パラメータを受信するように構成されると共に、パケット損失に起因する信号劣化の大きさを表す前記単一のパラメータ“xwpSEQ”に基づいて、及びビデオ解像度情報と使用されたビデオコーデックに基づいて、パケット損失に起因する品質尺度“Qtrans”を計算するように構成される品質評価モジュールと
    を備えることを特徴とする装置。
JP2013542418A 2010-12-10 2011-09-02 ビデオ信号の符号化及び伝送の間のビデオ信号の品質を評価するための方法及び装置 Active JP5964852B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP10194578.0 2010-12-10
EP10194578 2010-12-10
PCT/EP2011/065188 WO2012076202A1 (en) 2010-12-10 2011-09-02 Method and apparatus for assessing the quality of a video signal during encoding and transmission of the video signal

Publications (2)

Publication Number Publication Date
JP2014500677A true JP2014500677A (ja) 2014-01-09
JP5964852B2 JP5964852B2 (ja) 2016-08-03

Family

ID=44719873

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013542418A Active JP5964852B2 (ja) 2010-12-10 2011-09-02 ビデオ信号の符号化及び伝送の間のビデオ信号の品質を評価するための方法及び装置

Country Status (12)

Country Link
US (1) US9232216B2 (ja)
EP (1) EP2649807B1 (ja)
JP (1) JP5964852B2 (ja)
KR (1) KR101834031B1 (ja)
CN (1) CN103270765B (ja)
BR (1) BR112013014366B1 (ja)
DK (1) DK2649807T3 (ja)
ES (1) ES2675806T3 (ja)
HR (1) HRP20181099T1 (ja)
HU (1) HUE039252T2 (ja)
PL (1) PL2649807T3 (ja)
WO (1) WO2012076202A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019528635A (ja) * 2016-08-23 2019-10-10 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ビデオ品質評価を実行するための方法、装置およびシステム
JP2020191681A (ja) * 2016-10-08 2020-11-26 華為技術有限公司Huawei Technologies Co.,Ltd. 映像品質評価方法および装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9203708B2 (en) * 2011-09-26 2015-12-01 Telefonaktiebolaget L M Ericsson (Publ) Estimating user-perceived quality of an encoded stream
US9172952B2 (en) * 2012-06-25 2015-10-27 Cisco Technology, Inc. Method and system for analyzing video stream accuracy in a network environment
EP2701397B1 (en) * 2012-08-20 2014-10-08 Deutsche Telekom AG Content-dependent video quality model for video streaming services
CN103634594B (zh) * 2012-08-21 2015-04-29 华为技术有限公司 一种获得视频编码压缩质量的方法及装置
US11159804B1 (en) * 2012-09-13 2021-10-26 Arris Enterprises Llc QoE feedback based intelligent video transport stream tuning
US9137505B2 (en) * 2013-02-06 2015-09-15 C&C Technic Taiwan Co., Ltd. Long-range VGA image transmission system providing automatic image adjustment
KR101563923B1 (ko) 2014-02-12 2015-10-28 연세대학교 산학협력단 온라인 비디오 컨텐츠의 화질 열화율 예측 방법 및 그 장치
US10541933B2 (en) * 2016-11-10 2020-01-21 Disney Enterprises, Inc. Systems and methods for aligning frames of a digital video content in IP domain
CN107318014B (zh) * 2017-07-25 2018-11-16 西安电子科技大学 基于视觉显著区域和时空特性的视频质量评估方法
CN109561300B (zh) * 2018-12-27 2021-03-12 中国联合网络通信集团有限公司 业务质量检测方法及装置
KR102211556B1 (ko) 2019-10-22 2021-02-03 전남대학교산학협력단 네트워크 서비스를 위한 이미지 품질 평가 시스템 및 그 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008301026A (ja) * 2007-05-30 2008-12-11 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定方法、装置、およびプログラム
JP2009273010A (ja) * 2008-05-09 2009-11-19 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定方法、装置およびプログラム
JP2010011112A (ja) * 2008-06-27 2010-01-14 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定装置、方法、およびプログラム
WO2010051834A1 (en) * 2008-11-04 2010-05-14 Telefonaktiebolaget L M Ericsson (Publ) Method and system for determining a quality value of a video stream

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1306516C (zh) * 2001-11-09 2007-03-21 株式会社东芝 信息记录/还原系统和记录校正方法
JP4327674B2 (ja) * 2004-07-21 2009-09-09 日本電信電話株式会社 映像品質管理方法および映像品質管理システム
EP1727375A1 (en) 2005-05-27 2006-11-29 Psytechnics Limited Assessment of perceived quality of a packetized video stream
US7933329B2 (en) * 2005-08-24 2011-04-26 Exfo Service Assurance Inc. System and method for monitoring video packets for quantifying video quality
US9544602B2 (en) * 2005-12-30 2017-01-10 Sharp Laboratories Of America, Inc. Wireless video transmission system
US20070201388A1 (en) * 2006-01-31 2007-08-30 Qualcomm Incorporated Methods and systems for resizing multimedia content based on quality and rate information
US9025673B2 (en) * 2006-04-05 2015-05-05 Qualcomm Incorporated Temporal quality metric for video coding
US7965650B2 (en) * 2006-05-18 2011-06-21 Cisco Technology, Inc. Method and system for quality monitoring of media over internet protocol (MOIP)
EP2213000B1 (en) 2007-07-16 2014-04-02 Telchemy, Incorporated Method and system for content estimation of packet video streams
WO2009025357A1 (ja) * 2007-08-22 2009-02-26 Nippon Telegraph And Telephone Corporation 映像品質推定装置、映像品質推定方法、フレーム種別判定方法、および記録媒体
JP5172440B2 (ja) 2008-01-08 2013-03-27 日本電信電話株式会社 映像品質推定装置、方法およびプログラム
CN101911716A (zh) * 2008-01-18 2010-12-08 汤姆森许可贸易公司 评估感知质量的方法
EP2106154A1 (en) * 2008-03-28 2009-09-30 Deutsche Telekom AG Audio-visual quality estimation
EP2112835A1 (en) 2008-04-24 2009-10-28 Psytechnics Ltd Method and apparatus for generation of a video quality parameter
US20100110199A1 (en) * 2008-11-03 2010-05-06 Stefan Winkler Measuring Video Quality Using Partial Decoding
US8537699B2 (en) * 2009-06-16 2013-09-17 Qualcomm Incorporated Managing video adaptation algorithms
EP2493205B1 (en) * 2009-10-22 2015-05-06 Nippon Telegraph And Telephone Corporation Video quality estimation device, video quality estimation method, and video quality estimation program
US20110249127A1 (en) * 2010-04-07 2011-10-13 Cisco Technology, Inc. Estimating Video Quality Corruption in Lossy Networks
EP2413535B1 (en) 2010-07-30 2012-09-19 Deutsche Telekom AG Method for estimating the type of the group of picture structure of a plurality of video frames in a video stream
PL2413612T3 (pl) * 2010-07-30 2015-07-31 Deutsche Telekom Ag Sposoby i urządzenia do czasowej synchronizacji między strumieniem bitów wideo i wyjściową sekwencją wideo

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008301026A (ja) * 2007-05-30 2008-12-11 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定方法、装置、およびプログラム
JP2009273010A (ja) * 2008-05-09 2009-11-19 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定方法、装置およびプログラム
JP2010011112A (ja) * 2008-06-27 2010-01-14 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定装置、方法、およびプログラム
WO2010051834A1 (en) * 2008-11-04 2010-05-14 Telefonaktiebolaget L M Ericsson (Publ) Method and system for determining a quality value of a video stream

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019528635A (ja) * 2016-08-23 2019-10-10 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ビデオ品質評価を実行するための方法、装置およびシステム
JP2020191681A (ja) * 2016-10-08 2020-11-26 華為技術有限公司Huawei Technologies Co.,Ltd. 映像品質評価方法および装置
JP7105838B2 (ja) 2016-10-08 2022-07-25 華為技術有限公司 映像品質評価方法および装置

Also Published As

Publication number Publication date
US20130265445A1 (en) 2013-10-10
HUE039252T2 (hu) 2018-12-28
JP5964852B2 (ja) 2016-08-03
DK2649807T3 (en) 2018-06-18
CN103270765A (zh) 2013-08-28
ES2675806T3 (es) 2018-07-12
EP2649807A1 (en) 2013-10-16
BR112013014366A2 (pt) 2017-08-01
CN103270765B (zh) 2016-08-10
BR112013014366B1 (pt) 2022-07-12
US9232216B2 (en) 2016-01-05
PL2649807T3 (pl) 2018-09-28
WO2012076202A1 (en) 2012-06-14
HRP20181099T1 (hr) 2018-09-07
KR101834031B1 (ko) 2018-03-02
EP2649807B1 (en) 2018-04-25
KR20140027080A (ko) 2014-03-06

Similar Documents

Publication Publication Date Title
JP5964852B2 (ja) ビデオ信号の符号化及び伝送の間のビデオ信号の品質を評価するための方法及び装置
KR101414435B1 (ko) 비디오 스트림 품질 평가 방법 및 장치
Yang et al. No-reference quality assessment for networked video via primary analysis of bit stream
US8531531B2 (en) Audio-visual quality estimation
EP2649801B1 (en) Method and apparatus for objective video quality assessment based on continuous estimates of packet loss visibility
EP2413604B1 (en) Assessing the quality of a video signal during encoding or compressing of the video signal
KR102059222B1 (ko) 비디오 스트리밍 서비스를 위한 컨텐트-의존 비디오 품질 모델
Garcia et al. Parametric packet-layer video quality model for IPTV
US20150296224A1 (en) Perceptually driven error correction for video transmission
JP5911563B2 (ja) ビットストリームレベルで動画品質を推定する方法及び装置
Feitor et al. Objective quality prediction model for lost frames in 3D video over TS
Yamada et al. Accurate video-quality estimation without video decoding
Wang et al. No-reference hybrid video quality assessment based on partial least squares regression
Liao et al. A packet-layer video quality assessment model with spatiotemporal complexity estimation
Garcia et al. Video streaming
KR101083063B1 (ko) 비디오 체감 품질을 측정하는 방법 및 장치
Song et al. No-reference video quality assessment model for distortion caused by packet loss in the real-time mobile video services
Chin Video Quality Evaluation in IP Networks
Gillani Investigation of End User IPTV Quality for Content Delivered in MPEG-2 Transport Stream
Hlavacs et al. Evaluating the Quality of Service for a Satellite Based Content Delivery Network

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20130624

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160630

R150 Certificate of patent or registration of utility model

Ref document number: 5964852

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250