JP2015505196A - ビデオ品質測定のための方法及び装置 - Google Patents

ビデオ品質測定のための方法及び装置 Download PDF

Info

Publication number
JP2015505196A
JP2015505196A JP2014546260A JP2014546260A JP2015505196A JP 2015505196 A JP2015505196 A JP 2015505196A JP 2014546260 A JP2014546260 A JP 2014546260A JP 2014546260 A JP2014546260 A JP 2014546260A JP 2015505196 A JP2015505196 A JP 2015505196A
Authority
JP
Japan
Prior art keywords
video
quantization parameter
value
macroblock
average
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2014546260A
Other languages
English (en)
Inventor
チャン,ファン
リャオ,ニン
シエ,カイ
チェン,ジボ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2015505196A publication Critical patent/JP2015505196A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

ビデオ品質測定の精度及び効率は、解決されるべき主たる課題である。本発明に従って、ビデオ品質を正確に予測する方法(506)は、コンテンツ予測不可能性CUに依存する補正関数によって補正される量子化パラメータQPの有理関数を使用する。例として、補正関数はCUのべき関数である。QP及びCUはいずれも、ビデオを完全に復号することなくビデオエレメンタリストリームから計算され得る(511)。これは高い効率を確かにする。

Description

本発明は、特に、原の非圧縮ビデオのコピーの参照を伴わない圧縮ビデオの評価によるビデオ品質測定に関する。
IPTV(Internet protocol television;インターネット・プロトコル・テレビジョン)において、ビデオプログラムは、それらのライフサークルの間に異なるフォーマット段階を有する。ビデオエンコーダは、ビデオプログラムを、エレメンタリストリーム(ES;elementary stream)とも呼ばれるビットストリームへ圧縮する。ESは、トランスポートストリーム(TS;transport stream)に更にパケット化され、最終的にIPチャネルにおいて送信される。ビデオ品質は、トランスポートストリーム、エレメンタリストリーム又は復号されたビデオにアクセスすることによって得られるデータを用いて測定され得る。3種類の測定の中でも、トランスポートストリームを用いることは、それが最小量の利用可能なビデオデータを有するために、一般的に最速であるが最も正確でない。復号されたビデオを用いることは、ビデオを復号することが計算コストが高いために、しばしば正確であるが最も遅い。エレメンタリストリームを用いることは、精度と計算複雑性との間のトレードオフを達成することができる。現在、特に、エレメンタリストリームに基づくビデオ品質測定が研究されている。
ビデオ圧縮は、一般的に量子化技術を用いる。量子化は、信号値の正確さを制限することによる不可逆圧縮技術である。量子化は、アーティファクト視認性に対する有意な要因であることがよく知られており、量子化パラメータ(QP;quality parameter)は、ビデオ品質に対する強力な予測子である。QPに対するビデオ品質の様々な関数が、一次関数(特許文献1,非特許文献1)及び指数関数(非特許文献2)のように、文献において与えられている。しかし、それらは、比較的大きい及び/又は比較的小さいQPレベルに関して十分に正確でなく、よって、それらの結果は、低バンド幅又は高フィデリティの用途にとって満足でない。
コンテンツ複雑性は、ビデオ品質測定(VQM;video quality measurement)にとって他の重要な要素である。複雑なビデオにおける視覚アーティファクトは、人間の目によって許容される可能性がより高く、よって、より良い品質を示す。従って、QPとコンテンツ複雑性とを組み合わせると、QPのみを用いるのに比べて、品質測定の精度が改善され得る。
従来、非特許文献3において、コンテンツ複雑性は、ピクセル値の分散、傾き、若しくはエッジフィルタ応答、又はそれらの組み合わせとして定量化されてよい。従来の方法は少なくとも、以下の欠点を伴う。
第1に、そのような特性は、密接に人間の視覚認知と相関しない。大きなコンテンツ複雑性を有するビデオは、豊かなテクスチャ及び不規則な動きのみならず、多くのエッジ及び/又は規則的な動きも有することがある。人間の目にとって、視覚アーティファクトは、テクスチャ及び不規則に(すなわち、確率的に)動く領域では許容される可能性がより高いが、通常エッジ又は規則的に(すなわち、定期的に続いて)動き領域ではより人目を引き且つ可視的である。第2に、そのような特性は、ピクセルが完全な復号化の後に回復されるまでほとんど計算不可能である。よって、従来の複雑性測定は、それがビデオの完全な復号化を必要とするために、計算コストが高い。
米国特許公開第2008/031711(A1)号明細書
F. Yang,S. Wan,Q. Xie et. al.,"No-reference quality assessment for networked video via primary analysis of bit stream." IEEE Trans. Circuits Syst. Video Technol. vol.20,no.11,pp.1544-1554,2010年11月 M. N. Garcia,R. Schleicher,A. Raake,"Towards a content-based parametric video quality model for IPTV",VPQM,2010年 K. Yamagishi,T. Kawano,T. Hayashi,"Hybrid video-quality-estimation model for IPTV services.",GLOBECOM,2009年 ITU TD 469-GEN,"P.NAMS Test Plan",http://www.itu.int/md/T09-SG12-110118-TD-GEN-0469/en,2011年1月
本発明は少なくとも、ビデオ品質測定の精度及び/又は効率を改善するという課題を解決する。
本発明に従って、ビデオ品質を正確に予測する方法は、コンテンツ予測不可能性(CU;content unpredictability)に依存する補正関数によって補正されるQPの有理関数を使用する。様々な実施形態において、補正関数はCUのべき関数である。QP及びCUはいずれも、ビデオを完全に復号することなくビデオエレメンタリストリームから計算され得る。有利に、これは高い効率を確かにする。
本発明の第1の利点は、ビデオ品質予測の高い精度である。これは、ITU−T SG12(非特許文献4)に従う主観的実験及び統計的検証によって確認される。精度は、少なくとも2つの特徴によって確保される。1つは、平均QPを計算し、該平均QPの有理関数を用いて量子化に起因する基本的欠陥を予測することである。この関数は、比較的大きいQPレベル及び比較的小さいQPレベルの両方での品質飽和の効果を捕らえることができ、よって、十分に正確な結果を提供する。他の特徴は、CUのべき関数を用いて、QPに基づく予測を補正することであり、これにより予測精度は更に改善される。
具体的に、ビデオ特性としてのCUは、不規則な変化と、規則的な変化及びビデオ信号における不変化とを区別することができる。結果として、CUは、認知される品質に対するコンテンツ特徴の影響を捕らえるのにより強力である。本発明はまた、ビデオエレメンタリストリームからCUを推定するための高速なアルゴリズムを提供し、これは第2の利点をもたらす。
第2の利点は、方法が、完全に復号されたビデオの代わりにビデオのエレメンタリストリームしか必要とせず、よって、既知の方法よりも計算コストが低いことである。
正確さ及び低い計算コストにより、VQMは、ビデオ品質をモニタして、サービスプランニングのためのフィードバックを提供するように、例えば、ユーザ端末、セットトップボックス、ホームゲートウェイ、ルータ、又はビデオストリーミングサーバにおいて、展開される。
本発明は、一態様において、マクロブロック予測残余を含む符号化されたビデオストリームのビデオ品質を推定する方法であって、
複数のフレームを含むビデオシーケンスについて、補正係数Qcを乗じられた基本品質スコアQbから全体の品質スコアQを計算するステップ
を有し、
前記基本品質スコアQbは、前記ビデオシーケンスの前記フレームの平均量子化パラメータ
<外1>
Figure 2015505196
から得られ、前記補正係数Qcは、前記ビデオシーケンスにおけるマクロブロックの予測残余内の平均ピクセル分散から得られる、
方法に関する。
一態様において、本発明は、マクロブロック予測残余を含む符号化されたビデオストリームのビデオ品質を推定する装置であって、
複数のフレームを含むビデオシーケンスについて、補正係数Qcを乗じられた基本品質スコアQbから全体の品質スコアQを計算するプロセッシング要素
を有し、
前記基本品質スコアQbは、前記ビデオシーケンスの前記フレームにわたる平均量子化パラメータ値から得られ、前記補正係数Qcは、前記ビデオシーケンスにおけるマクロブロックの予測残余内の平均ピクセル分散から得られる、
装置に関する。
様々な実施形態において、当該装置は、
前記マクロブロックの量子化パラメータを検出し平均する量子化パラメータパーサであって、前記マクロブロックの前記量子化パラメータ及び前記平均量子化パラメータ値を供給する前記量子化パラメータパーサ、
前記マクロブロックのDCT係数を検出し取り出すDCT係数パーサ、
前記マクロブロックの量子化パラメータ及び前記マクロブロックのDCT係数に従って、局所的なコンテンツ予測不可能性を表す第1の値CUと、大域的なコンテンツ予測不可能性を表す、前記第1の値を平均することで計算される第2の値CUとを計算するコンテンツ予測不可能性計算部、
トランスポートストリームをデパケット化(又は解凍)するデパケッタイザであって、エレメンタリストリームが得られる前記デパケッタイザ、及び
前記エレメンタリストリームの少なくとも部分を復号する選択的エントロピデコーダ
のうちの1又はそれ以上を有する。
一態様において、本発明は、コンピュータに、複数のフレームを含むビデオシーケンスについて、補正係数Qcを乗じられた基本品質スコアQbから全体の品質スコアQを計算するステップを実行させる実行可能命令を記憶するコンピュータ可読媒体であって、前記基本品質スコアQbは、前記ビデオシーケンスの前記フレームの平均量子化パラメータ
<外2>
Figure 2015505196
から得られ、前記補正係数Qcは、前記ビデオシーケンスにおけるマクロブロックの予測残余内の平均ピクセル分散から得られる、
コンピュータ可読媒体に関する。
本発明の有利な実施形態は、従属請求項、以下の記載及び図において開示される。
ビデオ品質測定ツールの構造 主観的品質を測定関数に適応させるビュー 主観的品質を測定関数に適応させるビュー 主観的品質を測定関数に適応させるビュー QPの種々の関数への基本的欠陥の適応 特に、大きいQPレベルでの、本発明に従う改善された品質予測 ビデオ品質測定のフローチャート
本発明の実施例は、添付の図面を参照して記載される。
本発明の一実施形態において、図1は、ビデオ送信システム100内のビデオ品質測定(VQM)ツール106の構造を示す。ビデオプログラムの典型的なフォーマット段階101、102、103は次のとおりである:ビデオエンコーダ104は、エレメンタリストリーム(ES)(図1では、例として、ビデオエンコーダ104内のみ。従って、図示せず。)とも呼ばれるビットストリームへビデオプログラム101を圧縮する。ESは、トランスポートストリーム(TS)103に更にパケット化され、次いで送信チャネル、例えば、IPチャネルにおいて送信される。VQMツール106は、原理上、ビデオTS103をデパケット化してビデオESを取得し、次いでQPをパースし平均し且つ取得されたビデオESからコンテンツ予測不可能性CU値を取得し、最終的にQP及びCU値からビデオ品質Qを予測する。更なる詳細は以下で与えられる。有利に、このプロセスは高速であり、ビデオを完全に復号する必要がない。
ビデオ品質は、2つのサブ関数の乗算である関数によって予測される。第1のサブ関数の値は、量子化による基本的欠陥、すなわち、基本品質スコアを決定する。一実施形態において、第1のサブ関数はQPの有理関数である。具体的に、その分母は、ビデオの平均QPに関する多項式であり、一方、その分子は、定数(例えば、1)によって小さくされた分母である。第2のサブ関数は補正係数であり、その値は、認知される品質に対するコンテンツ予測不可能性(CU)の影響を定量化する。望ましくは、第2のサブ関数は、以下で更に特定されるように、ビデオのCUに関するべき関数である。
CUはビデオに関連する値であり、有利に、以下で記載されるようビデオESから、具体的に、ビデオの量子化されたDCT係数を用いることによって、計算され得る。ビデオのCUは、コンテンツの固有の特徴を反映し、すなわち、コンテンツを特徴付ける値を提供する。よって、それは、認知されるビデオ品質に対するコンテンツの影響を決定するために使用され得る。
一実施形態において、QP及び量子化されたDCT係数は、選択的エントロピ復号モジュール108における選択的エントロピ復号化の後に再生される。全ランレングス復号化、逆量子化、逆離散コサイン変換(IDCT;inverse discrete cosine transform)及び残余補償を含むビデオの完全な復号化は、概して必要とされない。
本発明のビデオ品質予測は、“非参照(no-reference)”NR(すなわち、non-intrusive;非侵入型)タイプである。すなわち、それは、原の圧縮されていないビデオのコピーにアクセスする必要がない。更に、本発明の品質予測がビデオを完全に復号する必要性は存在しない。一実施形態において、予測は、ビデオエレメンタリストリームから直接取り出され得るデータを使用する。
以下で、図1に示されているビデオ品質測定(VQM)ツール106のワークフローは詳細に記載される。
VQMツール106の入力は、ビデオプログラム101からビデオエンコーダ及びパケッタイザ104によって生成され得るトランスポートストリーム103であってよい。ビデオエンコーダ及びパケッタイザ104は、しかし、本発明の部分である必要はない。他の実施形態では、復号されたビデオプログラム101を有するビデオES102が直接VQMツール106へ入力される。VQMツール106の出力115は、入力ビデオに関連する予測された品質スコアQである。
ツール106内で、トランスポートストリームを処理することができる実施形態において、最初に、デパケッタイザ107は、ビデオエレメンタリストリーム102を得るよう、受信されたトランスポートストリーム103をパースする。第2に、平均QP112及び大域的CU113を含むビデオ特性が、選択的エントロピデコーダ108において選択的エントロピ復号化を行い、QPパーサ109及びDCT係数パーサ110において選択的にエントロピ復号されたデータをパースしてQPパーサ109が平均QP112を供給し、CU計算部111において大域的CU113を計算することによって、求められる。最後に、品質予測器モジュール114は、所定の測定関数を介してビデオ特性に従って品質スコアQを決定する。
具体的に、ビデオ特性は、2つの同時実行する関数ブロック又はスレッドによって、選択的エントロピデコーダ108の出力から求められる。1つのスレッドにおいて、QPパーサ109は、各マクロブロック(MB;macroblock)のQPを獲得し(すなわち、取り出し)、QPをCU計算部111へ供給する。更に、QPパーサ109は、複数のMBにわたってQPを平均し、結果として得られた平均値112を出力する。他のスレッドにおいて、最初に、DCT係数パーサ110は、各MBのDCT係数を獲得し(すなわち、取り出し)、次いで、CU計算部111は、DCT係数パーサ110からのDCT係数及びQPパーサ109からの対応するQPに従って局所的CUを計算する。最後に、CU計算部111は、局所的CUを平均し、全ての局所的CUを平均することで求められた大域的CU113を出力する。
以下で、測定関数の全体論的ビューが記載される。
測定関数は、平均QP112及び大域的CU113を含む少なくとも2つのビデオ特性に対してビデオ品質を表す数学的モデルに従って品質推定器モジュール114において働く。一実施形態において、測定関数は:

Q=Qb×Qc (1)

と定義される。上記式で、Qbは、量子化に起因する基本品質レベルであり、Qcは、ビデオのコンテンツ予測不可能性に従ってQbを補正するための項であり、Qは、最終的な予測される品質である。
実施形態において、量子化に起因する基本品質レベルQb、及びCUに従って基本品質レベルQbを補正する補正係数Qcは、次の式に従って計算される:
Figure 2015505196
<外3>
Figure 2015505196
は平均QP値であり、CUは、大域的CU値であり、a,a,a,b,b及びbは所定のパラメータである。
望ましくは、所定のパラメータは正の有理数であり、次の範囲から選択される:
2≦a≦6;特に有利な値はa=4である。
10−5≦a≦10−4;特に有利な値はa=0.00005(5・10−5)である。
30≦a≦75;特に有利な値はa=49である。
0.1≦b≦0.3;特に有利な値はb=0.2である。
0.1≦b≦0.3;特に有利な値はb=0.18である。
1≦b≦2;特に有利な値はb=1.65である。
測定関数の高い精度は、図2乃至4に示される実験結果によって確認される。それらは、例となるビデオシーケンスに関して、主観的品質を測定関数に適応させる種々のビューを示す。図2は、全体論的ビューを示す。特に、図2乃至4は、平均QP及び大域的CUに対して主観的品質スコアを適応させることを表す。各点は、主観的データベースからの64のビデオのうちの1つに対応する。64(=8×8)のビデオは、8つの異なる圧縮率で8つの異なる原ビデオを圧縮することによって生成される。異なる原ビデオからの圧縮されたビデオは、図3における凡例によって表されるように、異なるマーカによって印を付される。主観的品質は、ITU−T SG12(非特許文献4)に従う主観的実験の間に、24人の信頼できる被験者によって格付けされる。対応するビデオの平均QP及び大域的CUが格付けされる。
図2は、予測される品質スコアが如何にして式(1)乃至(3)に従う測定関数を介して主観的品質スコアと整合するのかを示す。これは、このビューにおいて面を形成する。図3は、その面の左側のビュー(断面図)を示し、図4は、その面の右側のビュー(断面図)を示す。予測される品質スコアと主観的スコアとの間の相関の実験結果は、測定関数が正確にビデオ品質を予測することができることを裏付ける。
平均QP
H.264に関し、また他の圧縮標準に関し、各マクロブロック(MB)はQPを有する。QPは、現在のMB内でDC係数を量子化するために使用される線形量子化器である量子化ステップQSTEPの所定のテーブルにインデックスを付す。平均QP112は、全てのMBの間の中間又は平均QPである。
量子化による基本的欠陥
本発明のQPに基づく関数と既存の解決法との間の違いが図5で表されている。図5は、基本的欠陥(すなわち、図3で見られる左側ビュー)を平均QPの種々の関数に適合させることを示す。図5は、平均QPのみに対する主観的品質を示す点に留意されたい。図5a)では、基本的欠陥を一次関数と適合させることが表されている。図5b)では、基本的欠陥を指数関数と適合させることが表されている。図5c)では、基本的欠陥を有理関数と適合させることが表されている。各々の圧縮されたビデオは、点として表されている。図5は、本発明に従って、特許文献1及び非特許文献1において見られるように図5a)における点(QPに対する品質)を一次関数と適合させ、非特許文献2において見られるように図5b)における点を指数関数と適合させ、式(2)において見られるように図5c)における点を有理関数と適合させることを示す。回帰分析は、有理関数が点の位置に最も近いことを示す。つまり、本発明に従って品質を有理関数へマッピングすることは、それが、第1に、小さなQPレベルで及び大きなQPレベルでの品質飽和傾向に整合し、且つ、第2に、小さなQPレベルでの緩やかな飽和(大旋回)及び大きなQPレベルでの急な飽和(急旋回)を捕捉することができるので、指数関数又は一次関数へマッピングすることよりも優れた解決法である。
コンテンツ予測不可能性
コンテンツ複雑性に基づく既存の解決法とは異なり、本発明は、不規則な変化を規則的な変化又はビデオ信号における不変化と区別するためにコンテンツ予測不可能性(CU)を用いる。従来のコンテンツ複雑性は、ビデオのピクセル情報により計算され、一方、CUは、ビデオの残余情報により計算される。本発明に関し、局所的CUは、マクロブロックの(イントラ又はインター)予測残余のピクセル分散として定義され、大域的CUは、ビデオにおける幾つか又は全てのマクロブロックの局所的CUの平均として定義される。インター予測(H.264,H.263,H.261,MPEG−4,MPEG−2等における)及びイントラ予測(H.264,MPEG−4等における)は、残余を生じるビデオ予測可能性において利用する圧縮技術である。予測残余は、通常、不規則性情報を保つ。これは、時空間的な近傍からほとんど予測不可能である。従って、本発明では、残余の分散がコンテンツ予測不可能性の適切なインジケータである。
既知の解決法は、たとえそれらが非特許文献1のようにCUの重要性に気付いているとしても、未だビデオのビットレートに従ってCUを推定する。しかし、ビットレートは、多くの要因(例えば、DCT係数分布、運動ベクトル、等)によって影響を及ぼされる。よって、ビットレートによりCUを推定することは、CUとは関係がない多くの要因の干渉を受ける。従って、CUがビットレートに従うのではなく上記のように予測される点は、本発明の利点である。更に、コンテンツ複雑性が完全な復号化の後に計算されるのとは異なり、CUは、完全なビデオ復号化によらずに、ES内のデータから高速に計算され得る。
一実施形態において、残余MBの分散は、MBのブロックの中間値(平均)及び分散によって近似される。ブロック分散は理論上、全ての逆量子化されたAC係数のユークリッド・ノルムに等しい。局所的CUは、DC係数の重み付き分散を加えられた量子化されたAC係数のユークリッド・ノルムに比例する。重みは、4×4及び8×8整数離散コサイン変換(IDCT;integer discrete cosine transform)における異なるスケールファクタの平衡を保たせるべきである。局所的CUを更に近似するよう、量子化は、本発明においてQPに従って補償される。
4×4変換ブロックを有する残余マクロブロックに関し、局所的CUは:
Figure 2015505196
として定義される。8×8変換ブロックを有する残余マクロブロックに関し、局所的CUは:
Figure 2015505196
として定義される。上記の式で、QPは、現在のマクロブロックのQP値であり、ACijは、現在のマクロブロック内のj番目のブロックのi番目のAC係数値であり、DCは、現在のマクロブロック内のj番目のブロックのDC係数値であり、定数cは、QSTEPスケーリングに関連し、2QP/C1は、量子化を補償すべきである。定数c及びcは夫々、4×4及び8×8変換におけるスケールファクタの平衡を保たせるためである。最後に、大域的CUは、全てのMBの間の平均の局所的CUである。CUを計算するためのパラメータの例は、c=3,c=15,c=3である。
CUによって補正される予測された品質
VQMにおいてCUを導入する利点は、QPのみによって予測された品質が補正され、従って改善され、これによりVQMの精度が高められることである。これは、図3及び図5c)に示される実験結果によって確かめられる。図3における、同じ原ビデオに対応する全ての8つの圧縮されたビデオを異なる有理関数曲線と適合させることは、図5c)における、全部で64の圧縮されたビデオを一意の有理関数曲線と適合させることよりも、正確である。更に、8つの有理関数曲線は互いに類似しており、それらの振幅においてのみ相違する。振幅は、図3(すなわち、図2の右側ビュー)に示されるように、大域的CUのべき関数によって予測され得る。べき関数は式(3)によって定義される。
VQMツール106及び式(1)乃至(3)の正確な測定関数は最大の精度を確かにするが、本発明は、一実施形態において、QPに基づく予測しか含まず、まずまず良い精度と、既知の解決法よりも低い計算コストとを提供する。
実施形態は、QPパーサ109及び品質予測モジュール114を少なくとも有し、すなわち、DCT係数パーサ110及びCU計算部111を伴わなくてよい。上述されたように、VQMツールは、一実施形態において、デパケッタイザ107及び選択的エントロピデコーダ108を更に有してよい。選択的エントロピデコーダ108は、ビデオのIフレームにおけるQPしか扱わず、P及びBフレームにおけるQPを無視してよい。品質予測モジュール114は、最終的なビデオ品質を決定するために式(2)のみを実行する。
図6は、特に、大きなQPレベルでの、本発明に従う改善された品質予測を表すダイアグラムを示す。本発明に従う方法は、通常のビデオに関し正確にビデオ品質を予測することができるが、それは、特定の特別な入力に関し一意の結果を出力してよい。例えば、45の一定のQPを有する圧縮されたビデオを前提として、QPが51以上に設定される場合に、より良い品質スコアが達成される。この効果は、より高いQPがより高い圧縮を意味することから有利であり、それは、次の2つの理由のために達成される。第1に、従来のQPに基づく方法はしばしばQPに対して単調関数を使用し、より大きなQPは常により悪い品質スコアをもたらす。すなわち、51のQPは、通常、45のQPよりも劣っているべきである。第2に、有理関数式(2)は、QPが46よりも小さい場合にQPとともに単調に減少するが、QPが46よりも大きい場合にQPとともに増大する。これは、図6に示されている。すなわち、例えば51のQPは、例えば45のQPよりも良い。
更に、次の効果が達成される。圧縮されたビデオを前提として、各変換ブロックにおける最大AC係数が1だけ大きくされる場合に、より良い品質が達成される。これは、第1に、そのような加減がビデオ・ウォータマークのような役割を果たすためである。すなわち、それは、AC係数のユークリッド・ノルム、ひいてはCUを増大させる点を除いて、エレメンタリストリーム及び復号されたビデオにおけるよく使われる特性(例えば、QP、ビットレート)をほとんど変化させない。第2に、本発明の方法は、それがAC係数の高次モーメント(分散を含む。)を使用するので、品質の変化を検出することができる。第3に、本発明の方法は、CU(ひいてはQc)が増大するので、より良い品質を予測する。
図7は、ビデオ品質測定方法706のフローチャートを示す。それは、MB予測残余を含む符号化されたビデオストリームのビデオ品質を推定する方法であって、1又はそれ以上のフレームを含むビデオシーケンスVSについて、補正係数Qcを乗じられた基本品質スコアQbから全体の品質スコアQを計算するステップ714を少なくとも有し、基本品質スコアQbは、ビデオシーケンスのフレームの平均量子化パラメータ
<外4>
Figure 2015505196
から得られ、補正係数Qcは、ビデオシーケンスにおけるマクロブロックの予測残余内の平均ピクセル分散CUから得られる、方法である。一実施形態において、方法は、デパケット化ステップ707、選択的エントロピ復号化ステップ708、QPパーシングステップ709、DCT係数パーシングステップ710、局所的CU及び大域的CUの計算ステップ711、並びにビデオ品質予測ステップ714のうちの1又はそれ以上を有する。
一実施形態において、方法は、QPパーシングステップ709において、
<外5>
Figure 2015505196
として表される平均QPを決定するようMB内のQPを平均するステップを更に有する。
一実施形態において、方法は、各MBの量子化パラメータ及びDCT係数に従って、局所的なコンテンツ予測不可能性を表す第1の値CUと、大域的なコンテンツ予測不可能性を表す第2の値CUとを計算するステップを更に有し、第2の値は、前記第1の値を平均Avgすることで計算される。第1の値は、予測残差のピクセル分散である。
本発明は、ビデオ品質評価、知覚的ビデオ符号化、ビデオストリームに関するプランニング、等に使用され得る。原理上、ビデオ品質予測は、DCT及び量子化によって圧縮されているビデオに適用可能である。一実施形態は、H.264標準に従って圧縮されたビデオに関し設計される。他の実施形態では、本発明は、H.261,H.263,MPEG−2,MPEG−4等のような他のコーデックに関する。
実施形態において、本発明は、非参照のESに基づくビデオ品質測定ツールに関する。ツール、又は対応する方法は、QP及び量子化されたDCT(離散コサイン変換)係数を用いて、ユーザ端末、セットトップボックス、ホームゲートウェイ、ルータ、又はビデオストリーミングサーバにおいて動作することができる。CUは、DCT係数及びQPに従って計算される。次いで、ビデオ品質は、QP及びCUに関する関数から計算される。一実施形態において、その関数のパラメータは、ITU−T SG12に従って特別に構築される主観的データベースの重回帰分析によって予め決定される。
本発明の好適実施形態に適用される本発明の基礎的な新規の特徴が図示、記載、及び指摘されてきたが、記載される装置及び方法における、開示される装置の形態及び詳細における、並びにそれらの動作における様々な削除及び置換及び変更は、本発明の技術的範囲から外れることなしに当業者によってなされ得ることが理解されるであろう。同じ結果を達成するよう実質的に同じように実質的に同じ機能を実行する要素の全組み合わせは、本発明の技術的範囲内にある。1つの記載される実施形態から他への要素の置換はまた、十分に意図され考えられている。本発明は、単に一例として記載されており、細部の変更は、本発明の技術的範囲から外れることなしになされ得ることが理解されるであろう。
明細書並びに(必要に応じて)特許請求の範囲及び図面において開示される各々の特徴は、独立して、又は何らかの適切な組み合わせにおいて、提供されてよい。特徴は、必要に応じて、ハードウェア、ソフトウェア、又はそれらの組み合わせにおいて実施されてよい。特許請求の範囲において現れる参照符号は、単なる例示であり、特許請求の範囲の適用範囲に対する限定効果を有すべきではない。

Claims (15)

  1. マクロブロック予測残余を含む符号化されたビデオストリームのビデオ品質を推定する方法であって、
    複数のフレームを含むビデオシーケンスについて、補正係数Qcを乗じられた基本品質スコアQbから全体の品質スコアQを計算するステップ
    を有し、
    前記基本品質スコアQbは、前記ビデオシーケンスの前記フレームの平均量子化パラメータ
    <外1>
    Figure 2015505196
    から得られ、前記補正係数Qcは、前記ビデオシーケンスにおけるマクロブロックの予測残余内の平均ピクセル分散から得られる、
    方法。
  2. 平均量子化パラメータを決定するよう、量子化パラメータQPのパーシングを行い、該量子化パラメータQPを平均するステップ
    を更に有する請求項1に記載の方法。
  3. 前記マクロブロックの量子化パラメータ及びDCT係数に従って、局所的なコンテンツ予測不可能性を表す、前記予測残余のピクセル分散である第1の値CUと、大域的なコンテンツ予測不可能性を表す第2の値CUとを計算するステップを更に有し、
    前記第2の値は、前記第1の値を平均することで計算される、
    請求項1又は2に記載の方法。
  4. 前記平均量子化パラメータ
    <外2>
    Figure 2015505196
    に依存するxにより、式x/(1+x)の一次関数に従って前記基本品質スコアQbを決定するステップと、
    定数であるb、bと、前記予測残余内の前記平均ピクセル分散のべき関数であるxとにより、式b・x+bの有理関数に従って前記補正係数Qcを決定するステップと
    を更に有する請求項1乃至3のうちいずれか一項に記載の方法。
  5. 、a、aは正の有理数パラメータであるとして、前記基本品質スコアQbに関してx=a・(QP−aa1を用いる、
    請求項4に記載の方法。
  6. 前記正の有理数パラメータは、次の範囲
    2≦a≦6
    10−5≦a≦10−4
    30≦a≦75
    の中にある、請求項5に記載の方法。
  7. 、b、bは正のパラメータであるとして、前記補正係数Qcに関してxc=(CUb1を用いる、
    請求項4乃至6のうちいずれか一項に記載の方法。
  8. 前記パラメータは、次の範囲
    0.1≦b≦0.3
    0.1≦b≦0.3及び
    1≦b≦2
    の中にある、請求項4又は7に記載の方法。
  9. 当該方法はトランスポートストリームレベルで作用し、
    前記トランスポートストリームをパースしデパケット化するステップであって、エレメンタリストリームが取得されるステップと、
    前記量子化パラメータ及びピクセル値を得るよう選択的エントロピデコーダによって前記エレメンタリストリームの少なくとも部分を復号するステップと
    を更に有する、請求項1乃至8のうちいずれか一項に記載の方法。
  10. マクロブロック予測残余を含む符号化されたビデオストリームのビデオ品質を推定する装置であって、
    複数のフレームを含むビデオシーケンスについて、補正係数Qcを乗じられた基本品質スコアQbから全体の品質スコアQを計算するプロセッシング要素
    を有し、
    前記基本品質スコアQbは、前記ビデオシーケンスの前記フレームにわたる平均量子化パラメータ値から得られ、前記補正係数Qcは、前記ビデオシーケンスにおけるマクロブロックの予測残余内の平均ピクセル分散から得られる、
    装置。
  11. 前記マクロブロックの量子化パラメータを検出し平均する量子化パラメータパーサを更に有し、
    前記量子化パラメータパーサは、前記マクロブロックの前記量子化パラメータ及び前記平均量子化パラメータ値を供給する、
    請求項10に記載の装置。
  12. 前記マクロブロックのDCT係数を検出し取り出すDCT係数パーサ
    を更に有する請求項10又は11に記載の装置。
  13. 前記マクロブロックの量子化パラメータ及び前記マクロブロックのDCT係数に従って、局所的なコンテンツ予測不可能性を表す第1の値CUと、大域的なコンテンツ予測不可能性を表す第2の値CUとを計算するコンテンツ予測不可能性計算部を更に有し、
    前記第2の値は、前記第1の値を平均することで計算される、
    請求項10乃至12のうちいずれか一項に記載の装置。
  14. 当該装置はトランスポートストリームレベルで動作し、
    前記トランスポートストリームをデパケット化するデパケッタイザであって、エレメンタリストリームが得られる前記デパケッタイザと、
    前記エレメンタリストリームの少なくとも部分を復号する選択的エントロピデコーダと
    を更に有する請求項10乃至13のうちいずれか一項に記載の装置。
  15. 前記基本品質スコアQbは、前記平均量子化パラメータ
    <外3>
    Figure 2015505196
    に依存するxにより、式x/(1+x)の一次関数に従って決定され、
    前記補正係数Qcは、定数であるb、bと、が前記予測残余内の前記平均ピクセル分散のべき関数であるxとにより、式b・x+bの有理関数に従って決定される、
    請求項10乃至14のうちいずれか一項に記載の装置。
JP2014546260A 2011-12-15 2011-12-15 ビデオ品質測定のための方法及び装置 Ceased JP2015505196A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/002096 WO2013086654A1 (en) 2011-12-15 2011-12-15 Method and apparatus for video quality measurement

Publications (1)

Publication Number Publication Date
JP2015505196A true JP2015505196A (ja) 2015-02-16

Family

ID=48611776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014546260A Ceased JP2015505196A (ja) 2011-12-15 2011-12-15 ビデオ品質測定のための方法及び装置

Country Status (13)

Country Link
US (1) US9961340B2 (ja)
EP (1) EP2792144B1 (ja)
JP (1) JP2015505196A (ja)
KR (1) KR20140102215A (ja)
CN (1) CN103999461A (ja)
AU (1) AU2011383036B2 (ja)
BR (1) BR112014014349A2 (ja)
CA (1) CA2857367A1 (ja)
HK (1) HK1203722A1 (ja)
MX (1) MX2014007041A (ja)
RU (1) RU2595917C2 (ja)
WO (1) WO2013086654A1 (ja)
ZA (1) ZA201403615B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014523660A (ja) * 2011-05-26 2014-09-11 トムソン ライセンシング スケール非依存マップ
US10791314B2 (en) 2010-03-31 2020-09-29 Interdigital Ce Patent Holdings, Sas 3D disparity maps

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106713901B (zh) * 2015-11-18 2018-10-19 华为技术有限公司 一种视频质量评价方法及装置
CN109089115B (zh) * 2018-05-28 2022-07-01 北方工业大学 在hevc用于对360度视频进行编码的方法
US10924741B2 (en) * 2019-04-15 2021-02-16 Novatek Microelectronics Corp. Method of determining quantization parameters

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2144449A1 (en) * 2008-07-07 2010-01-13 BRITISH TELECOMMUNICATIONS public limited company Video quality measurement
US20100316131A1 (en) * 2009-06-12 2010-12-16 Motorola, Inc. Macroblock level no-reference objective quality estimation of video

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7092448B2 (en) 2002-05-24 2006-08-15 Koninklijke Philips Electronics N.V. Method and system for estimating no-reference objective quality of video data
GB0228556D0 (en) * 2002-12-06 2003-01-15 British Telecomm Video quality measurement
US7170933B2 (en) 2002-12-13 2007-01-30 International Business Machines Corporation Method and system for objective quality assessment of image and video streams
US8311113B2 (en) * 2004-11-12 2012-11-13 Broadcom Corporation Method and system for using motion prediction to equalize video quality across intra-coded frames
CN101356827B (zh) 2005-12-05 2011-02-02 英国电讯有限公司 非介入式视频质量测量
US20080019669A1 (en) * 2006-07-18 2008-01-24 Sahra Reza Girshick Automatically editing video data
EP2074827A4 (en) 2006-10-19 2011-06-22 Ericsson Telefon Ab L M METHOD FOR DETERMINING VIDEO QUALITY
RU2420022C2 (ru) 2006-10-19 2011-05-27 Телефонактиеболагет Лм Эрикссон (Пабл) Способ определения качества видео
EP1937002B1 (en) 2006-12-21 2017-11-01 Rohde & Schwarz GmbH & Co. KG Method and device for estimating the image quality of compressed images and/or video sequences
JP4635016B2 (ja) 2007-02-16 2011-02-16 株式会社東芝 情報処理装置およびインター予測モード判定方法
CN101682794B (zh) 2007-05-11 2012-05-02 皇家飞利浦电子股份有限公司 用于处理深度相关信息的方法、装置和系统
JP2009260940A (ja) * 2008-03-21 2009-11-05 Nippon Telegr & Teleph Corp <Ntt> 映像品質客観評価方法、映像品質客観評価装置、およびプログラム
JP4861371B2 (ja) 2008-06-27 2012-01-25 日本電信電話株式会社 映像品質推定装置、方法、およびプログラム
US20100110199A1 (en) 2008-11-03 2010-05-06 Stefan Winkler Measuring Video Quality Using Partial Decoding
JP5806219B2 (ja) * 2009-10-05 2015-11-10 トムソン ライセンシングThomson Licensing ビデオ符号化及び復号化における埋め込み量子化パラメータ調整方法及び装置
JP5484140B2 (ja) * 2010-03-17 2014-05-07 Kddi株式会社 映像品質の客観画質評価装置
EP2373049A1 (en) * 2010-03-31 2011-10-05 British Telecommunications Public Limited Company Video quality measurement
CN101895752B (zh) 2010-07-07 2012-12-19 清华大学 基于图像视觉质量的视频传输方法、系统及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2144449A1 (en) * 2008-07-07 2010-01-13 BRITISH TELECOMMUNICATIONS public limited company Video quality measurement
US20100316131A1 (en) * 2009-06-12 2010-12-16 Motorola, Inc. Macroblock level no-reference objective quality estimation of video

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN6016000317; LI S, et al.: 'Image Quality Assessment by Separately Evaluating Detail Losses and Additive Impairments' IEEE TRANSACTIONS ON MULTIMEDIA Vol. 13, No. 5, 201110, pp.935 - 949, IEEE *
JPN6016000318; YANG F, et al.: 'No-Reference Quality Assessment for Networked Video via Primary Analysis of Bit Stream' IEEE TRANSACTIONS ON CIRCUITS AND SYSTEM FOR VIDEO TECHNOLOGY VOL. 20, NO. 11, 201011, pp.1544 - 1554, IEEE *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10791314B2 (en) 2010-03-31 2020-09-29 Interdigital Ce Patent Holdings, Sas 3D disparity maps
JP2014523660A (ja) * 2011-05-26 2014-09-11 トムソン ライセンシング スケール非依存マップ
US9600923B2 (en) 2011-05-26 2017-03-21 Thomson Licensing Scale-independent maps

Also Published As

Publication number Publication date
RU2595917C2 (ru) 2016-08-27
AU2011383036A1 (en) 2014-06-26
KR20140102215A (ko) 2014-08-21
RU2014128824A (ru) 2016-02-10
CN103999461A (zh) 2014-08-20
CA2857367A1 (en) 2013-06-20
US20140334555A1 (en) 2014-11-13
US9961340B2 (en) 2018-05-01
AU2011383036B2 (en) 2017-03-16
EP2792144A1 (en) 2014-10-22
HK1203722A1 (en) 2015-10-30
ZA201403615B (en) 2016-02-24
EP2792144A4 (en) 2015-08-05
WO2013086654A1 (en) 2013-06-20
MX2014007041A (es) 2014-09-16
EP2792144B1 (en) 2017-02-01
BR112014014349A2 (pt) 2017-06-13

Similar Documents

Publication Publication Date Title
US9143776B2 (en) No-reference video/image quality measurement with compressed domain features
Yang et al. No-reference quality assessment for networked video via primary analysis of bit stream
US9037743B2 (en) Methods and apparatus for providing a presentation quality signal
AU2011381970B2 (en) Video quality measurement
EP2123047A2 (en) Video signal encoding
JP2005510098A (ja) 圧縮されたビデオデータの客観的質を見積もるための方法及び装置
US9077972B2 (en) Method and apparatus for assessing the quality of a video signal during encoding or compressing of the video signal
JP2005527159A (ja) 圧縮された映像データの客観的な品質を見積もる方法およびシステム
JP2015505196A (ja) ビデオ品質測定のための方法及び装置
JP4861371B2 (ja) 映像品質推定装置、方法、およびプログラム
JP4309703B2 (ja) 符号化誤差推定装置
RU2587412C2 (ru) Управление скоростью передачи видео на основе гистограммы коэффициентов преобразования
WO2018041892A1 (en) Method and apparatus for determining the perceptual video quality of a chunk of multimedia content
CN114762345B (zh) 用于在基于变换的视频编码中估计块效应的系统和方法
JP4384629B2 (ja) 符号化誤差測定装置および符号化誤差測定プログラム
CN104488265B (zh) 用于视频流服务的内容相关的视频质量模型
JP2005184260A (ja) 符号化誤差推定方法および符号化誤差推定装置
KR20160002659A (ko) 비디오 품질 평가를 위해 콘텐츠 복잡성을 추정하기 위한 방법 및 장치
CN104488265A (zh) 用于视频流服务的内容相关的视频质量模型

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141212

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170110

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20170530