JP2014502113A - パケット損失可視性の連続的な推定値に基づく客観的映像品質評価のための方法および装置 - Google Patents

パケット損失可視性の連続的な推定値に基づく客観的映像品質評価のための方法および装置 Download PDF

Info

Publication number
JP2014502113A
JP2014502113A JP2013542419A JP2013542419A JP2014502113A JP 2014502113 A JP2014502113 A JP 2014502113A JP 2013542419 A JP2013542419 A JP 2013542419A JP 2013542419 A JP2013542419 A JP 2013542419A JP 2014502113 A JP2014502113 A JP 2014502113A
Authority
JP
Japan
Prior art keywords
packet loss
visibility
feature
video
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013542419A
Other languages
English (en)
Other versions
JP6022473B2 (ja
Inventor
サヴァス・アルジロポウロス
ベルンハルト・フェイテン
マリー−ネージュ・ガルシア
ペーター・リスト
アレクサンダー・ラーケ
Original Assignee
ドイッチェ テレコム アーゲー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドイッチェ テレコム アーゲー filed Critical ドイッチェ テレコム アーゲー
Publication of JP2014502113A publication Critical patent/JP2014502113A/ja
Application granted granted Critical
Publication of JP6022473B2 publication Critical patent/JP6022473B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本発明は、受信器側での伝送された映像信号シーケンスの品質を評価するための方法および装置を提供し、方法は、a)入力映像ビットストリームを捕捉し、その入力映像ビットストリームを映像ビットストリーム分析器に供給するステップ、b)ビットストリーム分析器により、捕捉された入力映像ビットストリームから少なくとも1つの特徴または特徴の集合を抽出するステップ、c)抽出された特徴または特徴の集合をパケット損失可視性推定モジュールに供給するステップ、d)パケット損失可視性推定モジュールにより、特定の時間間隔内で発生した各々のパケット損失イベントに対して連続的な推定値を割り当てることにより、映像信号の伝送中に発生したパケット損失の可視性を決定するステップ、e)推定モジュールにより決定されたパケット損失可視性推定値を、伝送された映像信号シーケンスの全体的な品質Qを評価するために、抽出された少なくとも1つの特徴または特徴の集合と組み合わせるステップを含む。

Description

本発明は、エラーが起こりやすいネットワークを通した映像シーケンスの伝送中に発生し得るパケット損失の可視性の分析に基づく映像品質評価のための方法および装置に関する。
ここ数年の間に映像コンテンツの配信が急増したことにより、客観的映像品質評価方法の開発が必要とされてきた。サービス品質(QoS)を定義するネットワークパラメータが、典型的にはユーザ体感品質(QoE)と呼ぶユーザにより知覚されるサービス品質を推定するのに十分ではないことが明らかになっている。品質推定方法は一般に、映像信号の符号化(圧縮)に関係する品質(Qcod)、および伝送中のパケット損失に起因する品質(Qtrans)の区別された推定をサポートする。(ほとんどの場合ネットワーク内のある点での一時的な過負荷に起因して)IPパケットが失われる可能性があることは、IPネットワークの固有の性質である。これらの損失の一部は顧客にはほとんど不可視であり得る一方で、他の損失が映像品質の重度の悪化を引き起こす場合がある。これらの損失に備えた対策がIPTV配信システムの一部分になっている場合でも、これらの手段は絶対的な救済を決して保証し得ない。例えば再送要求が非常に長い時間がかかる場合があり、または再送されるパケット自体が失われる可能性がある。したがって、断片的なビットストリームがエンドユーザのデバイスに伝送される、0ではない確率が常に存在する。その結果これらのことが、再構築された映像において可視または可聴の悪化を引き起こす場合がある。したがって測定カテゴリは、損失に対する確率を表現するための値をさらに含み得る。そのような値は、「パケット損失レート」および「損失イベントのバースト性」の表現を含み得る。
この目的で、圧縮およびエラーを含む伝送の両方に起因するひずみを説明する、IPTVの用途に対するパラメトリック映像品質モデルが開発されてきた(例えば、K. YamagishiおよびT. Hayashi、「Parametric Packet-Layer Model for Monitoring Video Quality of IPTV Services」、Proc. of IEEE Int. Conf. on Communications、2008年 [1]、またはM. N. GarciaおよびA. Raake、「Parametric packet-layer video quality model for IPTV」、Int. Conf. on Information Science, Signal Processing and their Applications (ISSPA)、Kuala-Lumpur、2010年5月 [2]を参照)。
しかしながら純粋にヘッダベースのモデルは、映像シーケンスの時空間特性およびパケット損失の統計的性質に関して、視覚的品質へのネットワークの劣化の影響力を正確に扱うことができない。したがって客観的映像品質評価モデルは、パケット損失と視覚的悪化との間の関係を分析し、パケット損失が等量の知覚される悪化を生み出さないという事実を計算に入れるべきである。
パケット損失可視性を予測する問題は、文献において、バイナリ様式、すなわち可視または不可視でのパケット損失の分類に関してのみで対処されてきた。S. Kanumuri、P. C. Cosman、A. R. Reibman、V. A. Vaishampayan、「Modeling packet-loss visibility in MPEG-2 video」、IEEE Trans. On Multimedia、第8巻、第2号、2004年4月、341〜355頁では、特徴の集合がMPEG-2ビットストリームから抽出され、2つのモデリング手法、すなわち、エラーを検出した観視者の相対的な数を推定するための一般化線形モデル(GLM)、およびパケット損失が結果として可視の悪化となるかどうかを決定するための木分類器が使用された。前者の分類は、二重のパケット損失の影響が検査された、S. Kanumuri、S. B. Subramanian、P. C. Cosman、A. R. Reibman、「Predicting H.264 packet loss visibility using a generalized linear model」、Proc. of IEEE Int. Conf. on Image Processing (ICIP)、Atlanta、Georgia、2006年10月において、ならびに、提案されたフレームワークがネットワークの中間ルータでのパケット優先順位付けのために使用された、T.L. Lin、S. Kanumuri、Y. Zhi、D. Poole、P.C. Cosman、およびA.R Reibman、「A versatile model for packet loss visibility and its application to packet prioritization」、IEEE Trans. on Image Processing、第19巻、第3号、722〜735頁、2010年3月において、H.264/AVC映像に対して拡張された。
加えて、CIFシーケンスに対するノーリファレンス(no-reference)のビットストリームベースの決定木分類器が、N. Staelensら、「Viqid: A no-reference bit stream-based visual quality impairment detector」、IEEE Workshop on Quality of Multimedia Experience、Trondheim、Norway、2010年6月により開発された。ここでは、主観的品質へのパケット損失のパターンおよび長さの影響は依然として未解決の問題のままである。Y. J. Liang、J. G. Apostolopoulos、およびB. Girod、「Analysis of packet loss for compressed video: effect of burst losses and correlation between error frames」、IEEE Trans. on Circuits and Systems for Video Technology、第18巻、第7号、861〜874頁、2008年7月では、再構築された映像品質へのバースト損失の影響が分析され、特定の損失パターンが、等しい数の分離した損失よりも大きな悪化を生み出すことが示された。さらにエラーフレーム間の相関が、誘導されるひずみのモデリングにおいて考慮された。しかしながらアルゴリズムは、QCIFシーケンスに関して、したがって個々のフレームが1つのパケットに包含されるパケット化スキームによって試験されたのみである。さらに、主観的評点への影響力は試験されなかった。
K. YamagishiおよびT. Hayashi、「Parametric Packet-Layer Model for Monitoring Video Quality of IPTV Services」、Proc. of IEEE Int. Conf. on Communications、2008年 [1] M. N. GarciaおよびA. Raake、「Parametric packet-layer video quality model for IPTV」、Int. Conf. on Information Science, Signal Processing and their Applications (ISSPA)、Kuala-Lumpur、2010年5月 [2] S. Kanumuri、P. C. Cosman、A. R. Reibman、V. A. Vaishampayan、「Modeling packet-loss visibility in MPEG-2 video」、IEEE Trans. On Multimedia、第8巻、第2号、2004年4月、341〜355頁 S. Kanumuri、S. B. Subramanian、P. C. Cosman、A. R. Reibman、「Predicting H.264 packet loss visibility using a generalized linear model」、Proc. of IEEE Int. Conf. on Image Processing (ICIP)、Atlanta、Georgia、2006年10月 T.L. Lin、S. Kanumuri、Y. Zhi、D. Poole、P.C. Cosman、およびA.R Reibman、「A versatile model for packet loss visibility and its application to packet prioritization」、IEEE Trans. on Image Processing、第19巻、第3号、722〜735頁、2010年3月 N. Staelensら、「Viqid: A no-reference bit stream-based visual quality impairment detector」、IEEE Workshop on Quality of Multimedia Experience、Trondheim、Norway、2010年6月 Y. J. Liang、J. G. Apostolopoulos、およびB. Girod、「Analysis of packet loss for compressed video: effect of burst losses and correlation between error frames」、IEEE Trans. on Circuits and Systems for Video Technology、第18巻、第7号、861〜874頁、2008年7月 T. Wiegand、G. J. Sullivan、G. Bjontegaard、およびA. Luthra、「Overview of the H.264/AVC video coding standard」、IEEE Trans. on Circuits and Systems for Video Technology、第13巻、第7号、2003年7月 M. Naccari、M. Tagliasacchi、およびS. Tubaro、「No-reference video quality monitoring for H.264/AVC coded video」、IEEE Trans. on Multimedia、第11巻、第5号、932〜946頁、2009年8月
本発明の目的は、映像シーケンスの客観的品質評価のための方法および装置を提供することである。この目的は、特許請求の範囲の特徴によって実現される。
本発明の方法および装置は、映像ビットストリームから抽出される少なくとも1つまたは集合の特徴、およびエラーが起こりやすいネットワークを介した映像シーケンスの伝送に起因して発生し得るパケット損失の可視性に対する連続的な確率的推定値の予測に基づく、映像シーケンスの客観的品質評価を規定するものである。本発明の方法は、明確な参照シーケンスを必要とすることなく、受信されたビットストリームのみから情報を抽出するので、ノーリファレンスのビットストリームベースの映像品質評価方法であることは明白である。
本発明の第1の態様によれば、本発明は、受信器側での伝送された映像信号シーケンスの品質を評価するための方法を提供し、本方法は、
a)入力映像ビットストリームを捕捉し、その入力映像ビットストリームを映像ビットストリーム分析器に供給するステップ、
b)ビットストリーム分析器により、捕捉された入力映像ビットストリームから少なくとも1つの特徴または特徴の集合を抽出するステップ、
c)抽出された特徴または特徴の集合をパケット損失可視性推定モジュールに供給するステップ、
d)パケット損失可視性推定モジュールにより、特定の時間間隔内で発生した各々のパケット損失イベントに対して連続的な推定値を割り当てることにより、映像信号の伝送中に発生したパケット損失の可視性を決定するステップ、
e)推定モジュールにより決定されたパケット損失可視性推定値を、伝送された映像信号シーケンスの全体的な品質Qを評価するために、抽出された少なくとも1つの特徴または特徴の集合と組み合わせるステップ
を含む。
本発明によれば、ステップ(b)による特徴抽出は、映像ビットストリームを部分的に復号化することにより直接遂行され得る。あるいはステップ(b)による特徴抽出は、映像ビットストリームの完全な復号化により、および映像信号の再構築された画素からの情報を組み合わせることにより遂行される。
本発明の好ましい実施形態によれば、ステップ(e)は、各々のパケット損失が、伝送された映像信号シーケンスに対して等しくなく知覚される悪化を生み出すことを反映するために、抽出された特徴を追加的に重み付けする。
少なくとも1つの特徴または特徴の集合は、フレームタイプ、動きベクトルの平均の大きさ(AvgMv)、平均動きベクトル差分(AvgMvDiff)、残差のエネルギー(ResEnergy)、パーティションの最大数(MaxPartNr)、復号化不可能マクロブロックの数(LostMbs)、動きベクトル情報(mv)、およびマクロブロックのタイプ(mb type)を含む群から選択される。さらなる好ましい実施形態によれば、すべてのこれらの特徴の組合せが使用される。
好ましい実施形態では、抽出された特徴「フレームタイプ」に基づいて、パケット損失により悪化されるフレームの数(ErrDur)が決定される。
本方法は、バイナリエラー伝播マップが、動きベクトル情報およびマクロブロックのタイプに基づいて、映像信号シーケンスの各々のピクチャに対して生成されることをさらに包含する。
さらにエラー伝播マップおよびフレームタイプ情報に基づいて、パケット損失により悪化されるフレームの数(ErrDur)が決定され得る。
さらなる好ましい実施形態によれば、バイナリエラー伝播マップに基づいて、パケット損失に起因する劣化される画素の総数(ErrProp)が計算される。
パケット損失およびエラー伝播に起因して誘導されるひずみの大きさ(EstErr)が、動きベクトル、マクロブロックタイプ、および残差に基づいて決定されることがさらに好ましい。
ステップ(d)は、非線形マッピング関数を使用して高次元特徴空間に入力特徴ベクトルをマッピングし、特徴空間に線形モデルを構築することにより、サポートベクトル回帰技法を使用して遂行され得る。
さらにステップ(e)は、パケット損失可視性推定値(V)を、決定されたひずみの大きさ(EstErr)、および計算されたパケット損失に起因する劣化される画素の総数(ErrProp)と組み合わせることができる。
方法は、ステップd)とe)との間に、映像信号シーケンス内で発生するすべてのパケット損失の一時的な貯留により生成される全体的な可視のひずみを推定するステップをさらに含み得る。
本発明の第2の態様によれば、本発明は、受信器側での伝送された映像信号シーケンスの品質を評価するための装置を提供し、本装置は、
捕捉された入力映像ビットストリームを受信し、捕捉された入力映像ビットストリームから少なくとも1つの特徴または特徴の集合を抽出するように構成されている映像ビットストリーム分析器、
抽出された特徴または特徴の集合を受信し、特定の時間間隔内で発生した各々のパケット損失イベントに対して連続的な推定値を割り当てることにより、映像信号の伝送中に発生したパケット損失の可視性を決定するように構成されているパケット損失可視性推定モジュール、
推定モジュールにより決定されたパケット損失可視性推定値を、伝送された映像信号シーケンスの全体的な品質Qを評価するために、抽出された少なくとも1つの特徴または特徴の集合と組み合わせるための組合せ器
を備える。
本発明によれば、映像ビットストリーム分析器は、映像ビットストリームを部分的に復号化することにより直接特徴抽出を遂行するように構成されている。あるいは映像ビットストリーム分析器は、映像ビットストリームの完全な復号化により、および映像信号の再構築された画素からの情報を組み合わせることにより特徴抽出を遂行するように構成されている。
本発明の好ましい実施形態によれば、組合せ器は、各々のパケット損失が、伝送された映像信号シーケンスに対して等しくなく知覚される悪化を生み出すことを反映するために、抽出された特徴を追加的に重み付けするように構成されている。
本発明の第2の態様によれば、少なくとも1つの特徴または特徴の集合は、フレームタイプ、動きベクトルの平均の大きさ(AvgMv)、平均動きベクトル差分(AvgMvDiff)、残差のエネルギー(ResEnergy)、パーティションの最大数(MaxPartNr)、復号化不可能マクロブロックの数(LostMbs)、動きベクトル情報(mv)、およびマクロブロックのタイプ(mb type)を含む群から選択される。さらなる好ましい実施形態によれば、すべてのこれらの特徴の組合せが使用される。
好ましい実施形態では、装置は、抽出された特徴「フレームタイプ」に基づいて、パケット損失により悪化されるフレームの数(ErrDur)を決定するように構成されている手段をさらに備える。
好ましい実施形態によれば、装置は、バイナリエラー伝播マップを、動きベクトル情報およびマクロブロックのタイプに基づいて、映像信号シーケンスの各々のピクチャに対して生成するように構成されているエラー伝播推定器を備える。
さらにエラー伝播マップおよびフレームタイプ情報に基づいて、パケット損失により悪化されるフレームの数(ErrDur)が決定され得る。
さらなる好ましい実施形態によれば、エラー伝播推定器は、バイナリエラー伝播マップに基づいて、パケット損失に起因する劣化される画素の総数(ErrProp)を計算するようにさらに構成されている。
パケット損失およびエラー伝播に起因して誘導されるひずみの大きさ(EstErr)を、抽出された動きベクトル、抽出されたマクロブロックタイプ、および抽出された残差に基づいて決定するように構成されているひずみ推定器を装置が備えることがさらに好ましい。
パケット損失可視性推定モジュールは、非線形マッピング関数を使用して高次元特徴空間に入力特徴ベクトルをマッピングし、特徴空間に線形モデルを構築することにより、サポートベクトル回帰技法を使用して、パケット損失の可視性を決定するようにさらに構成され得る。
さらに組合せ器は、パケット損失可視性推定値(V)を、決定されたひずみの大きさ(EstErr)、および計算されたパケット損失に起因する劣化される画素の総数(ErrProp)と組み合わせるようにさらに構成され得る。
装置は、推定モジュールにより決定されたパケット損失可視性推定値を、抽出された少なくとも1つの特徴または特徴の集合と組み合わせる前に、映像信号シーケンス内で発生するすべてのパケット損失の一時的な貯留により生成される全体的な可視のひずみを推定するようにさらに構成され得る。
本発明による方法および装置は、3つの主な点で諸文献において提案された手法と区別される。第1に、本方法は、客観的映像品質を決定するためにビットストリームからの情報を活用し、パケットヘッダ情報のみに基づかないので、パラメトリックモデル([1、2])とは異なる。ビットストリームからの抽出された特徴は、コンテンツ依存性を考慮すること、映像シーケンスの時空間特性に映像品質尺度を適合させることを可能にし、パラメトリックモデルでは軽視される人間視覚システム(HVS)の特性を利用する。
第2に、各々のパケット損失のパケット損失可視性は、バイナリ方式(可視または不可視)で推定されるのではなく、むしろ調査中のパケット損失が映像シーケンスの知覚可能かつ検出可能な悪化をもたらすことがどの程度可能性が高いかを示す連続的な値によって推定される。提案される方法の粒度は、ネットワークの劣化に起因するパケット損失の可視性のより精密な予測を可能にする。対照的に、すべての以前に提示された文献での方法は、パケット損失可視性推定のためのバイナリ出力を提供する。
第3に、すべての上述の方法は、知覚される映像品質へのパケット損失可視性の影響を考慮せず、受信されたビットストリームから抽出された特徴に基づいてパケット損失の可視性を検査するだけである。これに対して本発明では、パケット損失可視性分類器モジュールの出力は、ビットストリームの品質を評価するために客観的映像品質評価モデルに組み込まれる。発明者の知る限りではこれが、客観的映像品質評価のために連続的な推定値を用いるパケット損失可視性推定を明確に活用する、映像品質評価のための最初の方法である。
他の態様、特徴、および利点が、上記の概要から、ならびに図および特許請求の範囲を含む後に続く説明から明らかになろう。
提案される映像品質評価モデルのアーキテクチャを示す図である。 どのようにフレームが映像符号化のために「ピクチャグループ(group-of-pictures)」(GOP)に編成されるかを示す図である。 H.264/AVC規格によるマクロブロックのパーティション化、および4×4の整数変換の適用後の変換係数の導出を示す図である。 映像シーケンス内の4つの連続するフレームに対するエラー伝播マップを示す図である。 映像品質の評価のための本発明の第2の実施形態のブロック図である。 映像シーケンスのフレーム内のパケット損失に起因する誘導される可視のひずみの推定に関する例を示す図である。
本発明の好ましい実施形態による映像品質評価モデルのアーキテクチャが、図1に示される。図1は、パケット損失イベントの可視性の推定に基づく客観的映像品質評価のための好ましい方法および装置のブロック図を示す。詳細にはそれが、あらゆるパケット損失の知覚的な影響力を査定するために、受信されたビットストリームから8つの特徴を抽出または計算する、ノーリファレンスのビットストリームベースの方法であることが示される。その後、抽出された特徴およびパケット損失の可視性に対する予測された値が、映像ビットストリームの全体的な品質を評価するために使用される。
受信器ではプローブデバイスが、ビットストリームを捕捉し、映像品質評価のために利用されるいくつかの特徴を抽出または計算する。特徴は、ビットストリームを部分的に復号化することにより直接、または再構築された画素(ビットストリームの完全な復号化)からの情報を組み合わせてのいずれかで抽出される。次いで抽出された特徴は、各々のパケット損失イベントの可視性の決定に責任を負うモジュールに給送される。このモジュールは、特定の時間期間内で発生する各々のパケット損失イベント(分離したパケット損失またはイベントの組合せ)に対して可視性の連続的な推定値を割り当てる。その後、パケット損失可視性モジュールの確率推定値が、シーケンスの全体的な品質を評価するために、前に抽出された特徴と組み合わされる。具体的には各々のパケット損失の可視性の確率推定値に基づいて、抽出された特徴は、あらゆるパケット損失が、映像シーケンスに対して等しくなく知覚される悪化を生み出すことを反映するために、最終的なアルゴリズムで重み付けされる。最終的にプローブデバイスは、映像品質の予測された値Qを出力する。
ビットストリームからの特徴抽出および計算のための方法
以下では、好ましくはパケット損失の可視性および映像シーケンスの客観的品質を決定するためにビットストリームから抽出される特徴を説明する。本例では分析は、H.264/AVC映像符号化規格(T. Wiegand、G. J. Sullivan、G. Bjontegaard、およびA. Luthra、「Overview of the H.264/AVC video coding standard」、IEEE Trans. on Circuits and Systems for Video Technology、第13巻、第7号、2003年7月)によって符号化されたストリームに基づくが、本方法は、対応する特徴の計算のために重大ではない修正によって任意の映像符号化規格に適用され得ることに留意されたい。
パケット損失により引き起こされる知覚的な悪化の推定のために計算される必要がある特性の1つは、すべてのフレーム、およびとりわけ損失により影響を受けるフレームの「フレームタイプ」である。「フレームタイプ」特性に対する可能な値には、(下記でIフレームと呼ぶ)「イントラフレーム」もしくは「キーフレーム」、(下記でPフレームと呼ぶ)「予測フレーム」、ならびに(下記でBフレームと呼ぶ)「双方向フレーム」がある。Iフレームのみが、いかなる前のフレームの参照情報がなくとも復号化され得る。反対にPフレームは、「参照フレーム」と呼ぶ1つまたは複数の先行するフレームに依存する、その理由は、Pフレームのために伝送される情報は主に、Pフレームが描出する映像フレームとその参照との間の差分からなるというものである。したがってIフレームまたはその連続するPフレーム内のパケット損失は、後に続くフレームに、これらの後に続くフレーム自体が失われたパケットを少しも包含しない場合でも伝播する。この機構に起因して、単一のパケット損失エラーが、次のエラーのないIフレームが発生するまで、映像シーケンスの長い部分の間じゅう残り続ける場合がある。したがってPフレームでの、およびとりわけIフレームでのエラーは高い可視性を有し得る。同じ参照フレーム機構はBフレームにも当てはまるが、Bフレームは一般に、それら自体は参照として働かないので、Bフレームでのエラーは、この単一のフレームで悪化を引き起こすのみとなる。
2つの連続しているIフレーム間の映像フレームの連鎖を、「ピクチャグループ」(GOP)と呼ぶ。大部分の場合ではGOPでのPフレームおよびBフレームは、典型的なGOPパターン「I、B、B、P、B、B、P…」のような、程度の差はあれ厳格なパターンにしたがう。NがGOPの長さ、すなわち2つの連続しているIフレーム間の距離を示すとする。次いで、第1のパケット損失が特定のGOPの第1のIフレームのt個のフレームの後に発生する場合、抽出される第1の特徴は、ErrDurと呼ぶ、パケット損失に起因して悪化されるフレームの数である。この特性は、次式のように計算される(図2を参照)。
したがってパケット損失が(Iフレームである)第1のフレームで発生するならば、t=1であり、パケット損失により劣化されるフレームの数は、Nである、すなわちGOP内のフレームの数に等しい。
その後好ましくは、動きベクトルの平均の大きさAvgMvが計算され、AvgMvは、損失により影響を受けるすべてのマクロブロック(mb)の水平および垂直の方向での平均動きベクトルを反映する。vn=[vn,x, vn,y]が、パケット損失が発生したフレーム内の第nのマクロブロックの動きベクトルを示すとする。次いで、項AvgMvが次式のように計算される。
ただしLは、パケット損失に起因してフレームnで失われているマクロブロックの集合の基数である。明らかに、失われたマクロブロックに関する動きベクトル情報は復元され得ないので、この情報は、それらのマクロブロックの時間近傍から推定される。すなわちあらゆる欠損したマクロブロックに対して、動きベクトル情報が、前の正しく受信されたフレーム内の同じ場所に位置するマクロブロックから復元される。
加えて平均動きベクトル差分AvgMvDiffが、ビットストリームから計算され得る。H.264/AVCでは動きベクトル間の冗長性を活用するために、ブロックの動きベクトルと、そのブロックの近傍マクロブロックからの予測された動きベクトルとの間の差分のみがビットストリームに含まれる。この特徴は、平均的な動きは大きくなり得るが、ビットストリームで符号化される動きベクトル差分は小さい、予測可能な移動(例えばパンニング)を伴うシーケンスにおいてきわめて意味のあるものである。vdn=[vdn,x, vdn,y]が、パケット損失が発生したフレーム内の第nのマクロブロックの動きベクトル差分を示すとする。次いで、項AvgMvDiffが次式のように計算される。
ただしLは、パケット損失に起因してフレームnで失われているマクロブロックの集合の基数である。上記の場合と同様に、失われたマクロブロックに関する動きベクトル情報は復元され得ないので、この情報は、それらのマクロブロックの時間近傍から推定される。すなわちあらゆる欠損したマクロブロックに対して、動きベクトル情報が、前の正しく受信されたフレーム内の同じ場所に位置するマクロブロックから復元される。
好ましくは受信された映像ビットストリームから抽出される別の特徴は、残差のエネルギーResEnergyであり、ResEnergyは、欠損したマクロブロックに含まれ、予測エラーの変換係数から計算される。b=0、…、3、i=0、…、3、およびj=0、…、3であるcb,i,jが、マクロブロックの第bの4×4のブロックの第iの行および第jの列での変換係数を示すとする(図3を参照)。次いで、残差エネルギーが次式のように計算される。
ただしlおよびLは、上記のように定義される。
抽出され得る別の特徴は、損失が発生するフレーム内の、MaxPartNrと呼ぶパーティションの最大数である。H.264/AVCでは各々の16×16のマクロブロックを、動き推定処理のためのより小さなブロック、すなわちサイズ16×8、8×16、または8×8のブロックにさらに分けることができる。8×8のパーティションサイズが選定されるならば、各々の8×8のパーティションは、サイズ8×8、8×4、4×8、または4×4の輝度サンプルのサブパーティションにさらに分割され得る。したがってパラメータMaxPartNrは、損失が発生するフレーム内の正しく受信されたマクロブロックのパーティションの最大数に等しい。すべてのマクロブロックが消去されているならば(すなわちフレーム全体が失われているならば)、パラメータは前の受信されたフレームから導出される。
受信されたビットストリームから抽出される第6の特徴は、下記でLostMbsと呼ぶ、パケット損失に起因して復号化不可能であり、隠蔽される必要があるマクロブロックの数である。
加えて動きベクトル情報およびマクロブロックのタイプに基づいて、バイナリエラー伝播マップを各々のピクチャに対して生成することができ、バイナリエラー伝播マップは、新たに起こるエラーに起因して、または予測符号化に起因する同じGOPの後続のフレームに対するエラーの伝播に起因してのいずれかで、パケット損失により劣化される各々のピクチャ内の画素を示す。I(x,y,k)が、第kのフレームの場所(x,y)でのバイナリエラーマップの値を示し、ただし、x=1、2、…、H、およびy=1、2、…、Wであり、H、Wはそれぞれ、映像シーケンスの各々のフレームの高さおよび幅であるとする。さらにk=1、…、Kであり、Kは、パケット損失に起因する劣化される画素を包含するフレームの数である。パケット損失に起因して劣化され、そうでなければそれらの領域を参照し、エラーを含む可能性がある画素に対する値は1に設定され、そうでない場合は、値は0に設定される。したがって、次式のようになる。
換言すれば伝播マップ配列内の値は、パケット損失およびその伝播により引き起こされるエラーに起因して、元の映像シーケンスとプローブ内部のデコーダの再構築された画像との間で同一でないすべての画素に対して1に設定される。エラー伝播マップの導出の例を図4に示す。
図4は、それらの予測のために最初のフレームを参照する後に続くフレームに、パケット損失により引き起こされる最初のエラーがどのように拡散するかを明示するための、映像シーケンス内の4つの連続するフレームに対するエラー伝播マップを示す。詳細には図4aにおいて暗い部位は、消去されたパケットに領域の画素に対する情報が包含されていたので復号化することができない領域に対応する。その結果デコーダは、欠損した画素を置換するためにこの領域を(通常は時間または空間の近傍を使用して)隠蔽する必要がある。隠蔽は元の情報を正確に復元することはできないので、何らかの悪化がそのフレームに導入される。図4b、4c、および4dは、このエラーが後に続くフレームにどのように伝播するかを示す。暗い領域は、最初に失われた(かつ隠蔽された)部位からの情報を参照し、したがってさらにエラーを含む傾向にある画素に対応する。
パケット損失は、第1のフレームで発生し(図内の暗い領域は、パケット損失に起因して消去されていたマクロブロックを示す)、予測処理のために第1のフレームの影響を受けた領域を参照する後続のフレームに伝播する。代替実施形態ではエラー伝播マップはマクロブロックレベルで推定される場合があり、このことは伝播が画素ごとにではなくマクロブロックごとに追跡されることを意味するということに留意されたい。
エラー伝播マップに基づいて、ErrPropと呼ぶ、パケット損失に起因する劣化される画素の総数が次式のように計算される。
最後に、EstErrと称する別の特徴が、パケット損失に起因して、およびエラー伝播に起因して誘導されるひずみの大きさを定量化するために、動きベクトル、マクロブロックタイプ、および残差に基づいて抽出され得るものであり、このひずみの大きさによって、ノーリファレンス様式において誘導される平均二乗誤差(MSE)の推定が可能になる。誘導されるひずみを推定するための方法は本発明の範囲外であり、したがって当業者に知られている任意の方法、例えばM. Naccari、M. Tagliasacchi、およびS. Tubaro、「No-reference video quality monitoring for H.264/AVC coded video」、IEEE Trans. on Multimedia、第11巻、第5号、932〜946頁、2009年8月において提案された方法を使用することができる。
示した例では上述の8つの特徴は、GOPで発生するあらゆるパケット損失に対して抽出される。2つ以上のパケット損失が同じGOPに出現するとき、好ましい実施形態では、最大値がErrDurおよびMaxPartNrに対して選択され、一方で他の特徴に対しては、それらの合計が最終的な特徴とみなされる。これに対して他の実施形態では、GOP内のあらゆるパケット損失から抽出される特徴を、例えば平均、中央値、または任意の他の関数を計算することにより異なって組み合わせることができる。このようにあらゆるGOP内で、パケット損失イベントの可視性の推定のために使用される、以下の特徴ベクトルが抽出される。
f=[ErrDur, AvgMV, AvgMvDiff, ResEnergy, MaxPartNr, LostMbs, ErrProp, EstErr] 式(7)
本発明の他の実施形態では、任意の数および組合せの上述の特徴を使用することができることに留意されたい。このことは主に、(例えば複雑度の理由またはコストの導入に起因して)一部の特徴を計算しないことが望まれる場合に意味のあることである。
サポートベクトル回帰を使用するパケット損失可視性の連続的な推定値
各々のパケット損失イベントの抽出された特徴に基づくパケット損失可視性の分類のために、サポートベクトル回帰(SVR)に基づく技法が用いられる。この方法によって入力特徴ベクトルは、非線形マッピング関数を使用して高次元特徴空間にマッピングされ、次いで線形モデルがこの特徴空間に構築される。アルゴリズムは2つの段階、すなわち、モデルのパラメータをチューニングするために訓練データが使用される訓練段階、およびモデルが入力特徴ベクトルに対して予測される値を出力する査定段階で動作する。これらの2つの段階を、以下で詳細に説明する。
訓練段階では、{(f1, y1), (f2, y2),…, (fn, yn),}により示され、ただし
であり、fiが式(7)で説明した特徴ベクトルであり、yiが目標出力値であるn個の訓練データの集合が、その予測精度を最大にするモデルパラメータを推定するために使用される。SVRアルゴリズムを訓練するための方法は本発明の範囲外であり、したがって当業者に知られている任意の方法を使用することができる。入力訓練データを用いてアルゴリズムを訓練することの成果が、査定段階中に使用されるパラメータの集合、すなわちi=1、…、nであるαi、i=1、…、nであるβi、および
の計算結果をもたらす。本発明では、bの値は1.27に等しいように選択される。しかしながら、任意の他の値を使用することができる。
査定段階ではアルゴリズムは、(式(7)で説明したような)入力特徴ベクトルfを受信し、各々の損失の可視性の予測される値Vは次式により与えられる。
ただしK(.,.)はカーネル関数であり、i=1、…、nであるfiは、訓練データとして使用される特徴ベクトルである。本発明では、動径基底関数(RBF)としても知られている以下の関数をカーネル関数として選択している。
本発明では、γの値は2に等しいように選択される。さらに任意の他のカーネル関数を、他の実施形態で使用することができる。さらにパケット損失の可視性に対する予測される値Vは、パケット損失を以下の2つの場合、すなわち可視または不可視のうちの1つに分類することが望ましいならば、バイナリ値に変換される場合がある。その場合、VBと示す、パケット損失のバイナリの予測される値を次式のように計算することができる。
ただしTは、パケット損失可視性の連続的な推定値をバイナリ値に分類するためのしきい値である。本発明の範囲では提唱される値は0.7であるが、任意の他の値を使用することができる。
アルゴリズムが査定段階のみで動作し、新しいデータに関して訓練する必要がないときは、記憶されたパラメータが使用され、各々のパケット損失イベントの可視性Vは、式(8)で定義したように予測される。上記で述べた抽出される特徴は、以下の節で分析するように、それらの特徴が各々のパケット損失の可視性の予測される値を反映するように精密化され、そのことに応じて重み付けされる。
映像品質評価方法
提案されるビットストリームベースの映像品質評価モデルは、映像シーケンスの圧縮により引き起こされる悪化Qcod、および伝送中のパケット損失に起因する品質悪化(Qtrans)の組合せである。したがって、全体的な品質は次式により与えられる。
Q=Q0-Qcod-Qtrans 式(11)
ただしQはシーケンスの全体的な品質を示し、Q0は、伝送連鎖に挿入される映像の発生源での品質を示す。Qcodの項は次式により計算される。
ただしBは映像シーケンスのビットレートであり、a1、a2、およびa3は定数である。本例ではa1、a2、およびa3の値は、89.33、-1.21、および11.47に等しく選択される。
チャネル誘導の視覚的悪化の項は、パケット損失により引き起こされるひずみ、その伝播の広がり、および人間の視知覚での強度を反映する。この理由で、以下の式がQtransに対して使用される。
Qtrans=f(Vi, EstErri, ErrPropi) 式(13)
ここでインデックスiは、シーケンスの間に発生する個別の単一のパケット損失イベントを示すために使用され、f(.,.)は任意の適した関数を表す。換言すれば伝送エラーに起因する全体的な悪化は、あらゆるパケット損失の可視性、パケット損失が発生するフレームに誘導されるエラー、および後続のフレームへのエラーの伝播の関数である。
以下では本発明の2つの実施形態を、特定の式によって上記で述べた関数f(.,.)を表すために提示する。
第1の実施形態では、式(13)は次式のように書き換えられる。
ただしa4、a5、およびa6は回帰により決定される定数であり、iはあらゆる個々のパケット損失を指すインデックスであり、EstErriおよびErrPropiは、各々のパケット損失に関連する上記で述べたような抽出される特徴である。したがってモデルは、視覚的悪化の決定のために各々のパケット損失の重要度を考慮に入れ、あらゆるパケット損失の誘導されるひずみを重み付けするために可視性推定の出力を利用する。本実施形態ではa4、a5、およびa6の値は、0.023、0.000176、および0.0000465に等しく選択される。
図5に示す第2の実施形態では、別の実装形態が式(14)の関数f(.,.)に対して用いられる。iが、GOP内で発生する個々のパケット損失のインデックスを示すとする。さらにEstErriが、上記の特徴抽出の節で説明したように推定される、第iのパケット損失が発生したフレームでの誘導されるひずみであるとする。次いで、このパケット損失に関連する可視の悪化が次式により与えられる。
さらに、
が、第iのパケット損失により引き起こされるフレームk内の劣化される画素の数を示すとする、すなわち同じことが次式により表される。
ただしI(x,y,k)は、第kのフレームの場所(x,y)でのバイナリエラーマップの値を示し、ただし、x=1、2、…、H、およびy=1、2、…、Wであり、H、Wはそれぞれ、映像シーケンスの各々のフレームの高さおよび幅である。次いで、第iのパケット損失のエラー伝播に起因する、k>0である後続のフレームkでの知覚される悪化が次式により与えられる。
ここで
は、相対フレームインデックスk=0が与えられる、パケット損失イベントiに起因する新たに起こるエラー(考慮中のパケット損失により影響を受けた第1のフレームでのエラー)により引き起こされる劣化される画素の数である。インデックスkを伴う後続のフレームに対する項
の計算の例を図6に示す。この図ではインデックスtを伴うフレームでの暗い領域が、項
に対応し、一方で後続のフレーム(インデックスt+1、…、t+m)での暗い領域が、k=1、…、mである項
に対応する。
次いで、VisEstErriと称する、第iのパケット損失により引き起こされる全体的な視覚的悪化を、このパケット損失に起因して劣化されたすべてのフレームKiに対して引き起こされる悪化の総和と考えることができ、したがって次式となる。
総和は、式(15)で説明したような最初のひずみを計算に入れるためにインデックス0から開始することに留意されたい。特定のGOP内の全体のひずみは、このGOP内で発生するすべてのパケット損失により生成されるひずみの総和として計算され、したがって次式となる。
最後に、Gがシーケンス内のGOPの総数を示し、Tがシーケンスの全体の期間を示すとする。次いで、伝送エラーに起因する全体的なひずみが次式により与えられる。
Qtrans=f(VisErrSEQ) 式(21)
この第2のタイプの好ましい実施形態では、次式のように設定する。
ただし
およびξは、例えば目標値として品質評点を使用する回帰処理手順において決定される定数である。
本発明を図面および前述の説明において詳細に例示し説明したが、そのような例示および説明は、例示的または一例としてのものであり、制限的ではないとみなすべきである。変更および修正が、以下の特許請求の範囲の範囲内で当業者により行われ得ることが理解されよう。特に本発明は、上記および下記で説明する異なる実施形態からの特徴の任意の組合せを用いたさらなる実施形態を網羅する。
さらに特許請求の範囲では、単語「備える、含む(comprising)」は他の要素またはステップを排除せず、不定冠詞「a」または「an」は複数を排除しない。単一のユニットが、特許請求の範囲に記載されるいくつかの特徴の機能を充足する場合がある。特に属性または値に関連する用語「本質的に(essentially)」、「約(about)」、「近似的に(approximately)」などがそれぞれ、属性を正確に、または値を正確に、さらに定義する。特許請求の範囲でのいかなる参照符号も、範囲を限定すると解釈すべきではない。
AvgMv 動きベクトルの平均の大きさ
AvgMvDiff 平均動きベクトル差分
ErrDur パケット損失により悪化されるフレームの数
ErrProp パケット損失に起因する劣化される画素の総数
EstErr ひずみの大きさ
LostMbs 復号化不可能マクロブロックの数
MaxPartNr パーティションの最大数
mb マクロブロック
mb type マクロブロックのタイプ
mv 動きベクトル情報
N GOPの長さ
Q 伝送された映像信号シーケンスの全体的な品質
ResEnergy 残差のエネルギー
V パケット損失可視性推定値
ここ数年の間に映像コンテンツの配信が急増したことにより、客観的映像品質評価方法の開発が必要とされてきた。サービス品質(QoS)を定義するネットワークパラメータが、典型的にはユーザ体感品質(QoE)と呼ぶユーザにより知覚されるサービス品質を推定するのに十分ではないことが明らかになっている。品質推定方法は一般に、映像信号の符号化(圧縮)に関係する品質(Qcod)、および伝送中のパケット損失に起因する品質(Qtrans)の区別された推定をサポートする。(ほとんどの場合ネットワーク内のある点での一時的な過負荷に起因して)IPパケットが失われる可能性があることは、IPネットワークの固有の性質である。これらの損失の一部は顧客にはほとんど不可視であり得る一方で、他の損失が映像品質の重度の悪化を引き起こす場合がある。これらの損失に備えた対策がIPTV配信システムの一部分になっている場合でも、これらの手段は絶対的な救済を決して保証し得ない。例えば再送要求が非常に長い時間がかかる場合があり、または再送されるパケット自体が失われる可能性がある。したがって、断片的なビットストリームがエンドユーザのデバイスに伝送される、0ではない確率が常に存在する。その結果これらのことが、再構築された映像において可視または可聴の悪化を引き起こす場合がある。したがって測定カテゴリは、損失に対する確率を表現するための値をさらに含み得る。そのような値は、「パケット損失レート」および「損失イベントのバースト性」の表現を含み得る。Y. Liangら、「Analysis of Packet Loss for Compressed Video: Effect of Burst Losses and Correlation between Error Frames」、IEEE Trans. on Circuits and Systems for Video Technology、第18巻、第7号、2008年7月では、映像品質へのバースト損失の影響力が調査された。損失パターンが全体的なひずみに著しい影響を与えること、およびバースト損失が個々の損失より重度の影響力を及ぼすことが示された。しかしながらこの論考は、ユーザの観点からの知覚されるひずみを考慮せず、実際のパケット損失が未知であるエンコーダ側でのひずみの推定のために主に提案されている。
IPTVの用途に対するパラメトリック映像品質モデルが、圧縮およびエラーを含む伝送の両方に起因するひずみを説明する(例えば、K. YamagishiおよびT. Hayashi、「Parametric Packet-Layer Model for Monitoring Video Quality of IPTV Services」、Proc. of IEEE Int. Conf. on Communications、2008年、またはM. N. GarciaおよびA. Raake、「Parametric packet-layer video quality model for IPTV」、Int. Conf. on Information Science, Signal Processing and their Applications (ISSPA)、Kuala-Lumpur、2010年5月を参照)。
しかしながら純粋にヘッダベースのモデルは、映像シーケンスの時空間特性およびパケット損失の統計的性質に関して、視覚的品質へのネットワークの劣化の影響力を正確に扱うことができない。したがって客観的映像品質評価モデルは、パケット損失と視覚的悪化との間の関係を分析し、パケット損失が等量の知覚される悪化を生み出さないという事実を計算に入れるべきである。異なるタイプの客観的なパケットベースの、ビットストリームベースの、もしくはハイブリッドベースのモデル、ならびにそれらの各々に対して利用可能である異なる量の情報の概観が、S. WinklerおよびP. Mohandas、「The Evolution of Video Quality Measurement: From PSNR to Hybrid Metrics」、IEEE Trans. on Broadcasting、第54巻、第3号、2008年9月において提示されている。ノーリファレンスの映像品質監視アルゴリズムに対する情報の異なる層のより詳細な概観が、A. Takahashiら、「Standardisation activities in ITU for a QoE assessment of IPTV」、IEEE Communications Magazine、第46巻、第2号、2008年2月において提示されている。
パケット損失可視性を予測する問題は、文献において、バイナリ様式、すなわち可視または不可視でのパケット損失の分類に関してのみで対処されてきた。S. Kanumuri、P. C. Cosman、A. R. Reibman、V. A. Vaishampayan、「Modeling packet-loss visibility in MPEG-2 video」、IEEE Trans. On Multimedia、第8巻、第2号、2004年4月、341〜355頁では、特徴の集合がMPEG-2ビットストリームから抽出され、2つのモデリング手法、すなわち、エラーを検出した観視者の相対的な数を推定するための一般化線形モデル(GLM)、およびパケット損失が結果として可視の悪化となるかどうかを決定するための木分類器が使用された。そのアルゴリズムは、S. Kanumuriら、「Predicting H.264 Packet Loss Visibility using a Generalized Linear Model」、Proc. of ICIP、2006年10月において、H.264/AVC映像に対して拡張された。前者の分類は、二重のパケット損失の影響が検査された、S. Kanumuri、S. B. Subramanian、P. C. Cosman、A. R. Reibman、「Predicting H.264 packet loss visibility using a generalized linear model」、Proc. of IEEE Int. Conf. on Image Processing (ICIP)、Atlanta、Georgia、2006年10月において、ならびに、提案されたフレームワークがネットワークの中間ルータでのパケット優先順位付けのために使用された、T.L. Lin、S. Kanumuri、Y. Zhi、D. Poole、P.C. Cosman、およびA.R Reibman、「A versatile model for packet loss visibility and its application to packet prioritization」、IEEE Trans. on Image Processing、第19巻、第3号、722〜735頁、2010年3月において、H.264/AVC映像に対して拡張された。
加えて、CIFシーケンスに対するノーリファレンス(no-reference)のビットストリームベースの決定木分類器が、N. Staelensら、「Viqid: A no-reference bit stream-based visual quality impairment detector」、IEEE Workshop on Quality of Multimedia Experience、Trondheim、Norway、2010年6月により開発された。ここでは、主観的品質へのパケット損失のパターンおよび長さの影響は依然として未解決の問題のままである。Y. J. Liang、J. G. Apostolopoulos、およびB. Girod、「Analysis of packet loss for compressed video: effect of burst losses and correlation between error frames」、IEEE Trans. on Circuits and Systems for Video Technology、第18巻、第7号、861〜874頁、2008年7月では、再構築された映像品質へのバースト損失の影響が分析され、特定の損失パターンが、等しい数の分離した損失よりも大きな悪化を生み出すことが示された。さらにエラーフレーム間の相関が、誘導されるひずみのモデリングにおいて考慮された。しかしながらアルゴリズムは、QCIFシーケンスに関して、したがって個々のフレームが1つのパケットに包含されるパケット化スキームによって試験されたのみである。さらに、主観的評点への影響力は試験されなかった。
さらにF. Yangら、「No-reference quality assessment for Networked Video via Primary Analysis of the Bit-Stream」、IEEE Circuits and Systems for Video Technology、第20巻、第11号、1544〜1554頁、2010年11月では、量子化および伝送のエラーに起因する悪化を説明するための映像品質監視アルゴリズムが提示されている。知覚される品質へのパケット損失の影響力は、損失が発生するフレームの時間的複雑度により重み付けされる。
ネットワークの劣化に起因する映像悪化の凝集に基づく、映像品質監視のためのさらに別の方法が、M. Muら、「A discrete perceptual impact evaluation quality assessment framework for IPTV services」、Proc. of ICME、2010年において提示されている。
本発明の主な違いは、各々のパケット損失イベントの可視性に類のない「可視性値」が割り当てられ、この「可視性値」が、知覚される品質へのパケット損失の影響力を考慮に入れるために映像品質評価式でさらに活用されるということである。さらに、映像ビットストリームから抽出かつ計算される用いられる特徴、および各々の損失の可視性推定値の計算のためのこれらの特徴の連合体のためのアルゴリズムは、従来型の方法に対して新規性がある。
Y. Liangら、「Analysis of Packet Loss for Compressed Video: Effect of Burst Losses and Correlation between Error Frames」、IEEE Trans. on Circuits and Systems for Video Technology、第18巻、第7号、2008年7月 K. YamagishiおよびT. Hayashi、「Parametric Packet-Layer Model for Monitoring Video Quality of IPTV Services」、Proc. of IEEE Int. Conf. on Communications、2008年 M. N. GarciaおよびA. Raake、「Parametric packet-layer video quality model for IPTV」、Int. Conf. on Information Science, Signal Processing and their Applications (ISSPA)、Kuala-Lumpur、2010年5月 S. WinklerおよびP. Mohandas、「The Evolution of Video Quality Measurement: From PSNR to Hybrid Metrics」、IEEE Trans. on Broadcasting、第54巻、第3号、2008年9月 A. Takahashiら、「Standardisation activities in ITU for a QoE assessment of IPTV」、IEEE Communications Magazine、第46巻、第2号、2008年2月 S. Kanumuri、P. C. Cosman、A. R. Reibman、V. A. Vaishampayan、「Modeling packet-loss visibility in MPEG-2 video」、IEEE Trans. On Multimedia、第8巻、第2号、2004年4月、341〜355頁 S. Kanumuri、S. B. Subramanian、P. C. Cosman、A. R. Reibman、「Predicting H.264 packet loss visibility using a generalized linear model」、Proc. of IEEE Int. Conf. on Image Processing (ICIP)、Atlanta、Georgia、2006年10月 T.L. Lin、S. Kanumuri、Y. Zhi、D. Poole、P.C. Cosman、およびA.R Reibman、「A versatile model for packet loss visibility and its application to packet prioritization」、IEEE Trans. on Image Processing、第19巻、第3号、722〜735頁、2010年3月 N. Staelensら、「Viqid: A no-reference bit stream-based visual quality impairment detector」、IEEE Workshop on Quality of Multimedia Experience、Trondheim、Norway、2010年6月 Y. J. Liang、J. G. Apostolopoulos、およびB. Girod、「Analysis of packet loss for compressed video: effect of burst losses and correlation between error frames」、IEEE Trans. on Circuits and Systems for Video Technology、第18巻、第7号、861〜874頁、2008年7月 F. Yangら、「No-reference quality assessment for Networked Video via Primary Analysis of the Bit-Stream」、IEEE Circuits and Systems for Video Technology、第20巻、第11号、1544〜1554頁、2010年11月 M. Muら、「A discrete perceptual impact evaluation quality assessment framework for IPTV services」、Proc. of ICME、2010年 T. Wiegand、G. J. Sullivan、G. Bjontegaard、およびA. Luthra、「Overview of the H.264/AVC video coding standard」、IEEE Trans. on Circuits and Systems for Video Technology、第13巻、第7号、2003年7月 M. Naccari、M. Tagliasacchi、およびS. Tubaro、「No-reference video quality monitoring for H.264/AVC coded video」、IEEE Trans. on Multimedia、第11巻、第5号、932〜946頁、2009年8月
本発明の好ましい実施形態による映像品質評価モデルのアーキテクチャが、図1に示される。図1は、パケット損失イベントの可視性の推定に基づく客観的映像品質評価のための好ましい方法および装置のブロック図を示す。詳細にはそれが、あらゆるパケット損失の知覚的な影響力を査定するために、受信されたビットストリームから8つの特徴を抽出または計算する、ノーリファレンスのビットストリームベースの方法であることが示される。その後、抽出された特徴およびパケット損失の可視性に対する予測された値が、映像ビットストリームの全体的な品質を評価するために使用される。

Claims (15)

  1. 受信器側での伝送された映像信号シーケンスの品質を評価するための方法であって、
    a)入力映像ビットストリームを捕捉し、前記入力映像ビットストリームを映像ビットストリーム分析器に供給するステップ、
    b)前記ビットストリーム分析器により、前記捕捉された入力映像ビットストリームから少なくとも1つの特徴または特徴の集合を抽出するステップ、
    c)前記抽出された特徴または特徴の集合をパケット損失可視性推定モジュールに供給するステップ、
    d)前記パケット損失可視性推定モジュールにより、特定の時間間隔内で発生した各々のパケット損失イベントに対して連続的な推定値を割り当てることにより、前記映像信号の伝送中に発生したパケット損失の可視性を決定するステップ、
    e)前記推定モジュールにより決定された前記パケット損失可視性推定値を、前記伝送された映像信号シーケンスの全体的な品質Qを評価するために、前記抽出された少なくとも1つの特徴または特徴の集合と組み合わせるステップ
    を含む方法。
  2. ステップ(b)による特徴抽出が、前記映像ビットストリームを部分的に復号化することにより直接遂行される、請求項1に記載の方法。
  3. ステップ(b)による特徴抽出が、前記映像ビットストリームの完全な復号化により、および前記映像信号の再構築された画素からの情報を組み合わせることにより遂行される、請求項1に記載の方法。
  4. ステップ(e)が、各々のパケット損失が、前記伝送された映像信号シーケンスに対して等しくなく知覚される悪化を生み出すことを反映するために、前記抽出された特徴を追加的に重み付けする、請求項1から3のいずれか一項に記載の方法。
  5. 少なくとも1つの特徴が、フレームタイプ、動きベクトルの平均の大きさ(AvgMv)、平均動きベクトル差分(AvgMvDiff)、残差のエネルギー(ResEnergy)、パーティションの最大数(MaxPartNr)、復号化不可能マクロブロックの数(LostMbs)、動きベクトル情報(mv)、マクロブロックのタイプ(mb type)を含む群から選択される、請求項1から4のいずれか一項に記載の方法。
  6. すべての考慮される特徴の組合せが使用される、請求項5に記載の方法。
  7. 前記抽出された特徴「フレームタイプ」に基づいて、パケット損失により悪化されるフレームの数(ErrDur)が決定される、請求項5または6に記載の方法。
  8. バイナリエラー伝播マップが、前記動きベクトル情報および前記マクロブロックのタイプに基づいて、前記映像信号シーケンスの各々のピクチャに対して生成される、請求項5、6、または7に記載の方法。
  9. 前記エラー伝播マップおよびフレームタイプ情報に基づいて、前記パケット損失により悪化されるフレームの数(ErrDur)が決定される、請求項5、6、7、または8に記載の方法。
  10. 前記バイナリエラー伝播マップに基づいて、パケット損失に起因する劣化される画素の総数(ErrProp)が計算される、請求項8または9に記載の方法。
  11. パケット損失およびエラー伝播に起因して誘導されるひずみの大きさ(EstErr)が、前記動きベクトル、前記マクロブロックタイプ、および前記残差に基づいて決定される、請求項5から9のいずれか一項に記載の方法。
  12. ステップ(d)が、非線形マッピング関数を使用して高次元特徴空間に、前記特徴から構成される入力特徴ベクトルをマッピングし、前記特徴空間に線形モデルを構築することにより、サポートベクトル回帰技法を使用して遂行される、請求項1から11のいずれか一項に記載の方法。
  13. ステップ(e)が、前記パケット損失可視性推定値(V)を、前記決定されたひずみの大きさ(EstErr)、および前記計算されたパケット損失に起因する劣化される画素の総数(ErrProp)と組み合わせる、請求項11または12に記載の方法。
  14. ステップd)とe)との間に、前記映像信号シーケンス内で発生するすべてのパケット損失の一時的な貯留により生成される全体的な可視のひずみを推定するステップをさらに含む、請求項1から13のいずれか一項に記載の方法。
  15. 受信器側での伝送された映像信号シーケンスの品質を評価するための装置であって、
    捕捉された入力映像ビットストリームを受信し、前記捕捉された入力映像ビットストリームから少なくとも1つの特徴または特徴の集合を抽出するように構成されている映像ビットストリーム分析器、
    前記抽出された特徴または特徴の集合を受信し、特定の時間間隔内で発生した各々のパケット損失イベントに対して連続的な推定値を割り当てることにより、前記映像信号の伝送中に発生したパケット損失の可視性を決定するように構成されているパケット損失可視性推定モジュール、
    前記推定モジュールにより決定された前記パケット損失可視性推定値を、前記伝送された映像信号シーケンスの全体的な品質Qを評価するために、前記抽出された少なくとも1つの特徴または特徴の集合と組み合わせるための組合せ器
    を備える装置。
JP2013542419A 2010-12-10 2011-09-02 パケット損失可視性の連続的な推定値に基づく客観的映像品質評価のための方法および装置 Active JP6022473B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP10194580 2010-12-10
EP10194580.6 2010-12-10
PCT/EP2011/065192 WO2012076203A1 (en) 2010-12-10 2011-09-02 Method and apparatus for objective video quality assessment based on continuous estimates of packet loss visibility

Publications (2)

Publication Number Publication Date
JP2014502113A true JP2014502113A (ja) 2014-01-23
JP6022473B2 JP6022473B2 (ja) 2016-11-09

Family

ID=44719874

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013542419A Active JP6022473B2 (ja) 2010-12-10 2011-09-02 パケット損失可視性の連続的な推定値に基づく客観的映像品質評価のための方法および装置

Country Status (11)

Country Link
US (1) US9232217B2 (ja)
EP (1) EP2649801B1 (ja)
JP (1) JP6022473B2 (ja)
KR (1) KR101857842B1 (ja)
CN (1) CN103283239B (ja)
BR (1) BR112013014367B1 (ja)
ES (1) ES2541282T3 (ja)
HR (1) HRP20150481T1 (ja)
HU (1) HUE026522T2 (ja)
PL (1) PL2649801T3 (ja)
WO (1) WO2012076203A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2468878B (en) * 2009-03-24 2014-11-19 Strategy & Technology Ltd A device comprising at least one receiver for a testing device
US8804815B2 (en) * 2011-07-29 2014-08-12 Dialogic (Us) Inc. Support vector regression based video quality prediction
GB2497915B (en) 2011-10-25 2015-09-09 Skype Estimating quality of a video signal
US9661348B2 (en) * 2012-03-29 2017-05-23 Intel Corporation Method and system for generating side information at a video encoder to differentiate packet data
BR112014031122A2 (pt) * 2012-07-17 2017-06-27 Thomson Licensing avaliação de qualidade de vídeo em um nível de fluxos de bits
KR20150052049A (ko) * 2012-08-27 2015-05-13 톰슨 라이센싱 비디오 품질 평가를 위해 모션 균일성을 추정하기 위한 방법 및 장치
EP2936804A4 (en) * 2012-12-21 2016-06-01 Thomson Licensing VIDEO QUALITY MODEL, METHOD FOR DEVELOPING A VIDEO QUALITY MODEL AND METHOD FOR DETERMINING THE VIDEO QUALITY USING A VIDEO QUALITY MODEL
GB2513090B (en) 2013-01-28 2019-12-11 Microsoft Technology Licensing Llc Conditional concealment of lost video data
JP2016510568A (ja) * 2013-02-07 2016-04-07 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ コンテキストベースのビデオ品質評価のための方法および装置
AU2013377642A1 (en) * 2013-02-07 2015-07-23 Thomson Licensing Method and apparatus for context-based video quality assessment
CN103108210B (zh) * 2013-03-07 2015-04-15 福州大学 基于空域复杂度的无参考视频质量评价方法
US9674515B2 (en) * 2013-07-11 2017-06-06 Cisco Technology, Inc. Endpoint information for network VQM
CN104092960B (zh) * 2014-07-26 2017-06-06 福州大学 一种基于视觉主观感受的视频源切换方法
JP6499993B2 (ja) * 2016-05-18 2019-04-10 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
CN111372071B (zh) * 2018-12-25 2022-07-19 浙江宇视科技有限公司 一种搜集视频图像异常信息的方法及装置
EP3935581A4 (en) 2019-03-04 2022-11-30 Iocurrents, Inc. DATA COMPRESSION AND COMMUNICATION USING MACHINE LEARNING

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033722A (ja) * 2004-07-21 2006-02-02 Nippon Telegr & Teleph Corp <Ntt> 映像品質管理方法および映像品質管理システム
JP2008301026A (ja) * 2007-05-30 2008-12-11 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定方法、装置、およびプログラム
US20100110199A1 (en) * 2008-11-03 2010-05-06 Stefan Winkler Measuring Video Quality Using Partial Decoding

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2582531C (en) * 2004-10-18 2013-03-12 Nippon Telegraph And Telephone Corporation Video quality objective evaluation device, evaluation method, and program
EP2106154A1 (en) * 2008-03-28 2009-09-30 Deutsche Telekom AG Audio-visual quality estimation
US9288071B2 (en) * 2010-04-30 2016-03-15 Thomson Licensing Method and apparatus for assessing quality of video stream

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033722A (ja) * 2004-07-21 2006-02-02 Nippon Telegr & Teleph Corp <Ntt> 映像品質管理方法および映像品質管理システム
JP2008301026A (ja) * 2007-05-30 2008-12-11 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定方法、装置、およびプログラム
US20100110199A1 (en) * 2008-11-03 2010-05-06 Stefan Winkler Measuring Video Quality Using Partial Decoding

Also Published As

Publication number Publication date
BR112013014367B1 (pt) 2022-07-12
CN103283239A (zh) 2013-09-04
KR101857842B1 (ko) 2018-05-14
EP2649801A1 (en) 2013-10-16
US9232217B2 (en) 2016-01-05
WO2012076203A1 (en) 2012-06-14
ES2541282T3 (es) 2015-07-17
JP6022473B2 (ja) 2016-11-09
PL2649801T3 (pl) 2015-08-31
HUE026522T2 (en) 2016-06-28
KR20140008508A (ko) 2014-01-21
EP2649801B1 (en) 2015-04-15
BR112013014367A2 (pt) 2021-07-27
CN103283239B (zh) 2016-10-05
HRP20150481T1 (hr) 2015-06-05
US20130271668A1 (en) 2013-10-17

Similar Documents

Publication Publication Date Title
JP6022473B2 (ja) パケット損失可視性の連続的な推定値に基づく客観的映像品質評価のための方法および装置
KR101188833B1 (ko) 비디오 품질을 객관적으로 평가하기 위한 방법, 장치, 및 프로그램
JP5964852B2 (ja) ビデオ信号の符号化及び伝送の間のビデオ信号の品質を評価するための方法及び装置
Keimel et al. No-reference video quality metric for HDTV based on H. 264/AVC bitstream features
EP2413604B1 (en) Assessing the quality of a video signal during encoding or compressing of the video signal
JP2011199380A (ja) 映像品質の客観画質評価装置および自動監視装置
EP2713616A1 (en) Perceptually driven error correction for video transmission
WO2008047865A1 (fr) Procédé, système et programme d&#39;évaluation de qualité d&#39;image
Chen et al. Hybrid distortion ranking tuned bitstream-layer video quality assessment
Amirpour et al. Between two and six? towards correct estimation of jnd step sizes for vmaf-based bitrate laddering
JP2015530807A (ja) ビデオ品質評価のためにコンテンツ複雑性を推定する方法および装置
Huang No-reference video quality assessment by HEVC codec analysis
US9723266B1 (en) Lightweight content aware bit stream video quality monitoring service
KR100601846B1 (ko) 동영상 압축 부호화기의 왜곡 최적화 장치 및 방법
Wu Introduction: State of the play and challenges of visual quality assessment
Su et al. Content-adaptive bitstream-layer model for coding distortion assessment of H. 264/AVC networked video
Liu et al. Perceptual quality measurement of video frames affected by both packet losses and coding artifacts
Singam Computational Complexity of Human Visualization Characteristics based on Well Known Metric
Rahman et al. No-reference spatio-temporal activity difference PSNR estimation
Hameed et al. Predicting the perceptual quality of networked video through light-weight bitstream analysis
Xu et al. Video quality metric for consistent visual quality control in video coding
Hassan et al. Skip length and inter-starvation distance as a combined metric to assess the quality of transmitted video
EP2798846B1 (en) Assessing packet loss visibility in video
Wang et al. Ssim-based end-to-end distortion modeling for h. 264 video coding
Song et al. Objective quality assessment of HD video based on compressed domain

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150918

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20151217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161005

R150 Certificate of patent or registration of utility model

Ref document number: 6022473

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250