JP2004521580A - デジタルビデオの品質を測定する方法 - Google Patents

Abstract

本発明はビデオの品質を測定する方法に関するものである。該方法は、超えた場合に一群の主体にとって視覚的アーチファクトが目立つようになる少なくとも１つの基準レベル（ＪＮＤ）を、対応する所定のアーチファクトメトリック（Ｍ）を用いて、対応するアーチファクトのみを有するデジタル画像の一連の基準系列（ＲＳ）から決定するステップ（２１）を有している。また、ビデオ品質を測定する該方法は、入力系列（ＩＳ）の少なくとも１つのアーチファクトレベル（Ｌ）を、上記の対応する所定のアーチファクトメトリック（Ｍ）を用いて測定するステップ（２２）も有している。該方法は、更に、上記入力系列のビデオ品質メトリック（ＯＱＭ）を、同一の所定のアーチファクトメトリックに対応する基準レベル（ＪＮＤ）に対する上記アーチファクトレベル（Ｌ）の少なくとも１つの比から計算するステップ（２３）を有している。ビデオ品質を測定する斯様な方法は、客観的な品質メトリックを提供する。

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル画像の入力系列のビデオ品質を測定する方法に関する。また、本発明はビデオ品質を測定する斯様な方法を実施するための対応する装置にも関する。
【０００２】
本発明は、デジタルビデオの悪化の測定尺度を生成するために、例えば、デジタルテレビジョンにおいて使用することができる。斯かる適用の結果として、後処理の方法を画像の系列に対して、当該画像系列の測定尺度に従って適用することができる。該後処理方法は、ブロック化アーチファクト、リンギングアーチファクト及び角部の外郭（ｃｏｒｎｅｒ ｏｕｔｌｉｅｒｓ）のような視覚的悪化の視認性を低減する。
【０００３】
【従来の技術】
ビデオ品質の評価は、通常、素朴な人間の主体による評価に基づく主観的テストを用いて行われる。これらの方法は、基準としての画像の元の系列に対する画像の符号化された系列の比較に基づくものであるので、費用が掛かり、時間が掛かり、主観的であり、且つ、稼働中テストには適用することができない。
【０００４】
ビデオ品質を評価するための他の方法も開発されている。これらの方法は、悪化の尺度値（メトリック）、特にブロック化アーチファクトのメトリックに基づくものである。例えば、このような方法は国際特許出願公開第ＷＯ０１／２０９１２号に記載されている。該方法は、デジタルビデオ画像におけるブロック化アーチファクトを検出する方法に関するものである。該検出方法は、デジタル入力信号を勾配フィルタを使用してフィルタ処理することにより少なくとも１つのフィルタされた信号を得るステップと、該フィルタされた信号（又は複数の信号）を処理してブロック化アーチファクトを格子内の位置の関数として識別及びカウントするためのブロックレベルメトリックを計算するステップとを有している。該ブロックレベルメトリックが閾より低い場合、当該画像はブロックに基づく処理を用いて符号化されていないか、又は継ぎ目無し方法により符号化されている。反対の場合には、当該画像はブロックに基づく処理を用いて非繋ぎ目無し的に符号化されており、後処理のような補正作業を行うことができる。
【０００５】
しかしながら、このような方法は適切な後処理を適用するために相対的ブロック化アーチファクトレベルを測定することができるのみで、結果として、ビデオ品質の真に客観的な測定を行うこともできず、他の視覚的悪化に対して感知的でもない。
【０００６】
【発明が解決しようとする課題】
本発明の目的は、画像の入力系列に関するデジタルビデオ品質を測定する方法であって、一層客観的な品質メトリック（尺度値）を提供するような方法を提供することにある。
【０００７】
【課題を解決するための手段】
この目的のため、本発明によるデジタルビデオ品質を測定する方法は、該方法が、
− 対応するアーチファクトのみを有する一連のデジタル画像の基準系列から、対応する所定のアーチファクトメトリックを用いて、超えた場合に一群の主体にとって視覚的アーチファクトが目立つようになるような少なくとも１つの基準レベルを決定するステップと、
− 入力系列の少なくとも１つのアーチファクトレベルを、前記対応する所定のアーチファクトメトリックを用いて測定するステップと、
− 前記入力系列のビデオ品質メトリックを、同一の所定のアーチファクトメトリックに対応する前記基準レベルに対する前記アーチファクトレベルの少なくとも１つの比から計算するステップと、
を有していることを特徴とする。
【０００８】
ビデオ品質を測定する斯様な方法は、少なくとも１つの基準レベルの決定に基づくものである。このように、少なくとも１つの所定の視覚的アーチファクトの量は、上記の少なくとも１つの基準レベルに従い重み付けされる。該基準レベルは知覚的係数と見ることができ、該基準レベルを決定する上記ステップは知覚的校正と見ることができる。結果として、当該ビデオ品質を測定する方法は、少なくとも１つの知覚的レベル対してビデオ品質メトリックを計算することになり、より客観的品質メトリックに繋がる。
【０００９】
更に、上記測定方法は好ましい実施例においては、悪化メトリックの組合せに基づくものであるので、多次元的となる。これらの悪化メトリックは、ブロック化、リンギング及び角部外郭（ｃｏｒｎｅｒ ｏｕｔｌｉｅｒ）アーチファクトであって、独立して定量化されるような、デジタル圧縮の結果の３つの主たる視覚的アーチファクトから決定される。
【００１０】
このように、ビデオ品質を測定する該方法は、従来技術と較べて一層完全であり、更に一層客観的な品質メトリックに繋がる。
【００１１】
【発明の実施の形態】
以下、本発明を例示により添付図面を参照して詳細に説明する。
【００１２】
本発明は、デジタル画像の入力系列に関するビデオ品質を測定する改善された方法に関するものである。該方法は、もっと特定的には、ＭＰＥＧ符号化された系列に関するものであるが、当業者にとっては、該方法が、例えばＭＰＥＧ−１、ＭＰＥＧ−４、Ｈ−２６１又はＨ−２６３規格のようなブロック型技術を用いて符号化された如何なる型式のビデオ系列に対しても適用可能であることは明らかであろう。
【００１３】
ビデオ品質を測定する該方法は、図１に示され、超えた場合に一群の主体にとって視覚的アーチファクトが目立つようになる少なくとも１つの基準レベル（ＪＮＤ）を、対応する所定のアーチファクトメトリック（Ｍ）を用いて、対応するアーチファクトのみを有するような一連のデジタル画像の基準系列（ＲＳ）から決定するステップ（２１）を有している。また、ビデオ品質を測定する該方法は、入力系列（ＩＳ）の少なくとも１つのアーチファクトレベル（Ｌ）を、対応する所定のアーチファクトメトリック（Ｍ）を用いて測定するステップ（２２）も有している。該方法は、更に、上記入力系列のビデオ品質メトリック（ＯＱＭ）を、上記アーチファクトレベル（Ｌ）の同一の所定アーチファクトメトリックに対応する基準レベル（ＪＮＤ）に対する少なくとも１つの比から計算するステップ（２３）を有している。
【００１４】
ビデオ品質を測定する本方法は、それを超えると視覚的悪化が一群の主体にとって目立つようになるような少なくとも１つの基準レベルを、少なくとも１つの視覚的アーチファクトメトリックに関して決定することに基づいている。上記基準レベルを決定するために、図２ａに示すテスト手順が、所定の悪化メトリックに関して、一度且つ全てに対して実行される。この目的のため、元の系列（ＲＳ０）及び例えば毎秒１から１０メガビットのような異なるビットレートで符号化された系列（ＲＳ１ないしＲＳｎ）を含むような一連の基準系列（ＲＳ０ないしＲＳｎ）が使用される。アーチファクトレベルは、ビットレートと共に増加するような単調関数である。上記元の系列（ＲＳ０）に対しては、アーチファクトレベルは０である。符号化系列ＲＳ１に対しては、アーチファクトレベルはＬ１であり、符号化系列ＲＳｎに対しては、アーチファクトレベルはＬｎである。
【００１５】
上記一連の系列は、一度に１つの悪化のみにより、例えば当該悪化メトリックがブロック化アーチファクトメトリックである場合は、ブロック化アーチファクトレベルを決定するためにブロック化アーチファクト、により影響されなければならない。結果として、不所望な視覚的アーチファクトを除去するために、後処理アルゴリズムが上記符号化系列に適用される。ブロック化アーチファクトのみを維持したい場合は、第１の解決策は、リンギングアーチファクトメトリック及び角部外郭メトリックを各々用いてリンギングアーチファクト及び角部外輪を検出し、次いで、これらリンギングアーチファクト及び角部外郭をフィルタすることである。第２の解決策は、符号化された画像系列のブロック境界を維持すると共に、これらを元の画像系列の内容を用いて完成させることである。リンギングアーチファクトのみを維持したい場合は、解決策は、ブロック化アーチファクトメトリック及び角部外郭メトリックを各々用いてブロック化アーチファクト及び角部外郭を検出し、次いで、例えばＤＦＤアルゴリズムにより上記ブロック化アーチファクトを、及び上記角部外郭をフィルタすることである。角部外郭のみを維持したい場合、解決策は、角部外郭メトリックを用いて角部外郭を検出すると共に、元の画像系列における上記の検出された角部外郭に対応する元のピクセルを上記の検出された角部外郭により置換することである。
【００１６】
当該テスト手順は、
− 元の系列から１単位（丁度目立つ程度の差のため、ＪＮＤと呼ばれる）離れて位置する系列（ＲＳｉ）を見付けるために、各々が１つの悪化のみにより影響されているような系列のスコアを設定するステップ、及び
− 上記１−ＪＮＤ系列から１ＪＮＤ離れた次の基準系列（ＲＳｊ）を見付けるために、上記ステップを繰り返すステップ、等々、
を有する。
【００１７】
これらのステップは、１−ＪＮＤテストと呼ばれ、主観的な品質尺度により独立に悪化メトリックを校正することを狙っている。該１−ＪＮＤテストは、１つの悪化（Ｂ、Ｒ又はＣ）が増加される間に他のものは略一定に留まるような系列を主観的にスコア付けることにある。テスト下の悪化は、主体が差に気付く点まで増加される。主体が差に気付くようなレベルは、知覚係数（ＪＮＤＢ、ＪＮＤＲ、ＪＮＤＣ）と呼ばれる。このテストは、主観的品質評価に多次元性を導入し、臨界的な１−ＪＮＤロス包絡線上にアンカ・ポイントを確立し、当該校正を全体の品質メトリックまで広げるための方法である。
【００１８】
幾つかの基準レベルが決定されたら、当該テスト手順は、更に、悪化の間での如何なる知覚的不平衡をも識別するために、１−ＪＮＤ半径群上にある系列（ＢＲＳ_ｋ、ＲＲＳ_ｌ、ＣＲＳ_ｍ）の順位を見付けるステップを有する。このステップは、１−ＪＮＤ群ランク付けテストとも呼ばれ、図２ｂに図示されている。１−ＪＮＤ群ランク付けテストは、元のものから１−ＪＮＤ系列離れた群内での全ての可能性のある対の２者択一強制的選択方法にある。ランク付けテストはランク付けが不可能な場合に満足される。
【００１９】
ビデオ品質を測定する本方法は、１つの悪化メトリックのみを用いて実施化することができる。この場合、ブロック化アーチファクトが、より大きな妨害的な視覚的アーチファクトであるので、該悪化メトリックはブロック化アーチファクトメトリックとする。しかしながら、ビデオ品質を測定する多次元的な方法の方が好ましく、より正確なビデオ品質メトリックを提供する。本発明による方法においては、幾つかの悪化を考慮に入れることができる。斯かる悪化の候補の群は、ブロック化アーチファクト、リンギングアーチファクト、角部外郭、一時的なノイズであるモスキートノイズ、空間的ノイズ、ぼやけ、クリッピング、ラインのちらつき又は伝送エラーを含む。多次元的方法は、鮮鋭さ、コントラスト又は解像度を含むような属性候補を考慮に入れることもできる。不所望なフィーチャである悪化候補と比較すると、属性候補は望ましいフィーチャである。
【００２０】
異なる悪化メトリックは下記の評価規準に従って選択される。
− 線形な独立性、
− 各悪化の知覚的なインパクト、
− 最小の誤り結果を伴うような高い精度、
− 最も関連のある悪化を考慮するのに充分な程度の完全な一連のメトリックの選択、
− 更に、悪化メトリックは単調で且つ増加する関数でなければならず、悪化を伴わない系列に対しては０に等しくなければならない。
【００２１】
好ましい実施例においては、ビデオ品質を測定する該方法は、ブロック化アーチファクト、リンギングアーチファクト及び角部外郭であるような３つの主要な視覚的アーチファクトに関連する悪化メトリックの合成に基づくものである。
【００２２】
これらの測定を実行するために、幾つかの方法を使用することができ、これら方法は基準メトリック（即ち、測定が元の画像に対してなされる）であるか、又は非基準メトリックであるかの何れかである。非基準メトリックに対応する上記３つの主要なアーチファクトメトリックの各々に関する例を以下に説明する。
【００２３】
ブロック化アーチファクトメトリック
ブロック化アーチファクトは、ＭＰＥＧのようなブロックに基づく技術により符号化されたビデオ信号において最もよく知られたアーチファクトである。これらアーチファクトは、変換係数のブロックの強い独立した量子化から生じる８ｘ８ブロックの境界における不連続性である。
【００２４】
当該ブロック化アーチファクトメトリックは、ブロックエッジにおける可視不連続性を最小のエラーで検出することができる能力に基づいて選択されている。該メトリックは、アーチファクトの量と、斯かるアーチファクトの視認性とを表している。
【００２５】
該ブロック化アーチファクトメトリックは、現画像における自然なエッジの領域を検出し、かくして誤った検出を防止するために、ピクセルの輝度値Ｙの勾配フィルタ処理ステップを有している。確かに、テクスチャ及び輪郭がブロックエッジとして検出される場合がある。使用されるフィルタは、強力なエッジ検出に対する効率性故に選択されるソーベルフィルタである。ソーベルフィルタは、
【数１】

により与えられる。水平及び垂直の勾配フィルタ処理後のフィルタされた輝度値Ｇ_Ｈ及びＧ_Ｖは、各々、Ｇ_Ｈ＝Ｙ＊Ｓ_Ｈ及びＧ_Ｖ＝Ｙ＊Ｓ_Ｖとなる。これらのフィルタされた輝度値は、２つの閾と比較される。これら閾の値は、滑らかなテクスチャを逃さないように低いが、ブロック境界の不連続性を抽出しない程は低過ぎない。０〜２５５から符号化された輝度値に対しては、水平及び垂直閾値ＴＨＲ_Ｈ及びＴＨＲ_Ｖは例えば各々３５及び５０となる。
【００２６】
該ブロック化アーチファクトメトリックは、第２導関数の無効をテストするステップも有している。直感的に、これは、１つのサンプルが２つの隣接サンプルを知っている予測可能性に対応する。第２導関数は、
垂直方向において、２・Ｙ（ｉ，ｊ）＝Ｙ（ｉ−１，ｊ）＋Ｙ（ｉ＋１，ｊ）、
水平方向において、２・Ｙ（ｉ，ｊ）＝Ｙ（ｉ，ｊ−１）＋Ｙ（ｉ，ｊ＋１）
の場合に無効となり、ここで、Ｙ（ｉ，ｊ）は当該画像内の位置（ｉ，ｊ）のピクセルの輝度値である。垂直及び水平の不連続性値ｃ_ｖ（ｉ，ｊ）及びｃ_ｈ（ｉ，ｊ）は上記式から導出される。好ましい実施例においては、
【数２】

となる。
【００２７】
次に、当該ブロック化アーチファクトメトリックは、上記不連続性値から水平及び垂直のアーチファクト値Ａｈ及びＡｖを決定するステップを有する。図３ａ及び図３ｂは、種々のピクセル構成に関する上記ブロック化アーチファクトの決定を示している。零に等しい不連続性値、即ち連続性の中断に対応する、は黒の正方形により表されており、１に等しい不連続性値はグレイの正方形により表されている。白の正方形は考慮されない。
【００２８】
水平アーチファクトＡｈは、Ａｈ＝１の場合に検出され、Ａｈは
【数３】

に等しく、ここでｃ及びｃ（バー）は補数値である。第１のタイプのブロック化アーチファクトＡｖ１は、図３ａに示すように、
【数４】

の場合に検出される。第２のタイプのブロック化アーチファクトＡｖ２は、図３ｂに示すように、
【数５】

の場合に検出される。垂直アーチファクトＡｖは、Ａｖ１又はＡｖ２が１に等しい場合に検出される。
【００２９】
全ての３つのテストは同じ観念を有し、当該ピクセルに中心とする不連続性をテストし、該ピクセルの近隣における連続性をテストする。水平の検出は、非序に簡単、簡単過ぎさえする。これは、画像における正確さを期待することができないようなインターレースされたフィールドの場合に対応する、垂直サブサンプリングによるものである。垂直の方向における処理は、メモリの点で非常に高価となり得るので、複雑さは最小の許容程度まで低減されねばならない。例えば、非常に暗い領域では何らかの自然的分断が生じ得、当該アルゴリズムは斯かる領域を検出窓から除去する。このようにして、アーチファクトＡｈ及びＡｖはピクセルレベルで識別されている。
【００３０】
最後に、当該ブロック化アーチファクトメトリックは、水平及び垂直ブロック化アーチファクトを識別するステップを有する。水平又は垂直ブロック化アーチファクトは、アーチファクトＡｈ及びＡｖがブロックの全境界上に存在する場合に識別される。ブロックは４つの境界、即ち、上、下、左及び右の境界を有する。Ｈがブロックの高さで、Ｗがブロックの幅である場合、ブロック化アーチファクトは、Ｈの連続した水平アーチファクト又はＷの連続した垂直アーチファクトが見付かる場合に識別される。次いで、水平及び垂直ブロック化アーチファクトがカウントされ、結果として、画像に関するブロック化アーチファクトのレベル（Ｂ）が得られる。
【００３１】
上記メトリックの精度をテストするために、検出されたブロックのエッジが現画像上で強調され、次いで該原画像の鮮鋭度が向上されたものと比較されて、検出されなかったアーチファクトを明らかにした。全てのテストにおいて、検出されなかったアーチファクトの量は殆ど無視することができる程度であった。エラー率を評価するために、垂直及び水平の自然なエッジがアーチファクトとして誤って検出されていないかを視覚的に調査すると共に、種々の群の非符号化画像系列に対するブロック化アーチファクトメトリックを、該メトリックにより与えられるブロック化レベルが零であるかを見るためにテストする。
【００３２】
主観的品質尺度に関して、初期の１−ＪＮＤテストは、或る系列の全解像度画像に関して、該系列がブロック化アーチファクトにより主に影響されるものであれば、ブロック化アーチファクトは該メトリックではＪＮＤＢ＝６０なるブロック化メトリックレベルにおいて目立った差を生ずることを示している。１０００なるブロック化メトリックレベルより上では、当該画像は余りに激しく悪化され、品質評価は該点からは最低レベルとなる。ブロック化は最もよく処される悪化である。ブロック化は圧縮に伴い殆ど単調に増加するが、その一貫した振る舞いの良好な例を見付けることができる。
【００３３】
リンギングアーチファクトメトリック
ＡＣ係数の粗い量子化に起因して、画像の低活動領域に属する鋭いエッジの近傍にリンギングアーチファクトがしばしば出現する。エッジの向きに依存して、該アーチファクトはエッジに沿う揺らぎ（ｓｈｉｍｍｅｒｉｎｇ）又は多重エコーとして現れる可能性があり、これらは基本エッジ周波数の高調波である。リンギングアーチファクトメトリックの原理は、強い自然のエッジの近傍における低下された強度のエッジを見付けることに基づくものである。リンギングアーチファクトメトリックは、画像内の偽エッジに属するピクセルの数に比例する。
【００３４】
該リンギングアーチファクトメトリックは、一旦符号化又は符号化されると、殆ど空間的活動が存在せず且つ自然の画像では殆ど発生しない領域であるような、以下において“非自然的一様領域”と呼ばれるものとなる非常に低い活動領域を扱う。
【００３５】
リンギングアーチファクトメトリックは、現ピクセルの空間的活動の値を該現ピクセルに隣接するピクセルから計算するような第１ステップを有する。好ましい実施例においては、画像内の位置（ｉ，ｊ）の現ピクセルの空間的活動σ（ｉ，ｊ）の値は、現及び隣接するピクセルの輝度値（Ｙ）から下記のように計算される。
【数６】

ここで、ａｂｓ（ｘ）はｘの絶対値を戻す。
【００３６】
リンギングアーチファクトメトリックは、非自然的一様領域を検出するステップを有する。非自然的一様領域は、少なくとも５つの連続するピクセルの空間的活動値σが、例えば３に等しいような所定の閾ＴＨＲ１より低い場合に検出される。垂直方向を扱うのは面白いが、結果は追加の高価な複雑さを考慮しないのに充分な程良好である。
【００３７】
当該リンギングアーチファクトメトリックは、強いエッジを検出するためのピクセルの輝度値Ｙの勾配フィルタ処理ステップも有する。前記ブロック化アーチファクトメトリックにおけるのと同一のソーベルフィルタが再度使用される。水平及び垂直勾配フィルタ処理後のフィルタされた輝度値Ｇ’_Ｈ及びＧ’_Ｖは、各々、Ｇ’_Ｈ＝Ｙ＊Ｇ_Ｈ及びＧ’_Ｖ＝Ｙ＊Ｓ_Ｖとなる。これらのフィルタされた輝度値は２つの閾と比較される。強いエッジは、水平及び垂直閾値ＴＨＲ’_Ｈ及びＴＨＲ’_Ｖが０〜２５５から符号化された輝度値に対して、例えば、共に１５０に等しいような場合に検出される。
【００３８】
当該リンギングアーチファクトメトリックは、更に、潜在的にリンギングによるアーチファクトを決定するステップも有している。斯様な潜在的なアーチファクトは、
【数７】

の場合に検出される。自然のテクスチャは、広い領域の脈絡なしで解析されると、容易にリンギングと見なされ得るので、リンギングアーチファクトの決定は充分なものではない。それにも拘わらず、当該画像内の、リンギングが現れやすい領域、即ち非自然的一様領域と強い輝度のエッジとの間を解析することにより、誤った検出の確率を少なくとも低減することができる。
【００３９】
これが、潜在的アーチファクトが先に検出された非自然的一様領域と強いエッジとの間に位置する場合にリンギングアーチファクトを検出するようなステップを、当該リンギングアーチファクトメトリックが有する理由である。図４は、リンギングアーチファクト検出ステップ（ＲＤ）を示している。アイドル状態（ＩＤＳ）においては、該検出ステップは何もしない。非自然的一様領域が検出され（ＮＮ）、当該検出ステップがアイドル状態にあると、非自然的領域検出の状態（ＮＮＳ）がイネーブルされ、Ｍピクセルの期間の間にリンギングアーチファクトがカウントされる。このＭ期間が経過すると、当該検出ステップはアイドル状態（ＩＤＳ）に戻る（ＮＮバー）。強いエッジが検出され（ＳＥ）、当該検出ステップがアイドル状態にあるとすると、強エッジ状態（ＳＥＳ）がイネーブルされ、Ｐピクセルの期間の間にリンギングアーチファクトがカウントされる。このＰ期間が経過すると、当該検出ステップはアイドル状態（ＩＤＳ）に戻る（ＳＥバー）。非自然的一様領域（ＮＮ）が検出され、当該検出ステップが強エッジ状態（ＳＥＳ）にあると、更新状態（ＵＰＳ）がイネーブルされる。強いエッジが検出され（ＳＥ）、当該検出ステップが非自然的領域検出状態（ＮＮＳ）にあるとすると、同様になる。該更新状態において、全体リングカウンタが入力状態からのローカルカウンタを用いて更新され、当該検出ステップは、非自然的一様領域が検出された場合（ＮＮ）は非自然的領域検出の状態（ＮＮＳ）に戻り、強いエッジが検出された場合（ＳＥ）は強エッジ状態（ＳＥＳ）に戻る。当該メトリックは水平方向及び垂直方向に適用され、結果として画像に関するリンギングアーチファクトレベル（Ｒ）が得られる。
【００４０】
リンギングアーチファクトメトリックの精度及び誤り検出率の検証は、先に説明したブロック化アーチファクトメトリックの検証と類似の方法で実行することができる。リンギングアーチファクトメトリックは低圧縮率に関しては少なくとも１つの場合においては単調ではない。主観的知覚に対する初期テストは、先に述べたようにリンギングアーチファクトのみにより影響される系列を人工的に作成することにより実施された。その結果は、リンギングアーチファクトは、このメトリックでは約ＪＮＤＲ＝２７０のリンギング基準レベルにおいて目立つようになることを示している。
【００４１】
角部外郭メトリック
角部外郭は、強いコントラストの自然エッジに属する喪失ピクセルである。即ち、角部外郭は、それらの周囲に較べて顕著に明るすぎるか又は暗すぎるように見える。これらの喪失ピクセルは８ｘ８ＭＰＥＧブロックの角に位置する。
【００４２】
角部外郭は、
− 候補角部ピクセルと、該ピクセルが属する４つの隣接する角部ピクセルの群の平均との間の絶対輝度差、
− ローカルな平均輝度が与えられたとして、上記差の知覚的視認可能性、
− 候補ピクセルが格子に単に整列された自然ピクセルである確率、
を考慮することにより検出される。
【００４３】
より正確には、Ａ、Ｂ、Ｃ及びＤが互いに隣接する４つのピクセルであると共に、４つのＤＣＴブロックの４つの角であるとし、ＡＶＧが上記４つのピクセルの輝度値Ｙの平均値であるとすると、当該角部外郭メトリックは、下記の３つの評価規準が満たされた場合に角部外郭を検出する。
ａｂｓ［Ｙ（Ａ）−Ｙ（Ｃ）］ ＞ ａｂｓ［Ｙ（Ｂ）−Ｙ（Ｄ）］，
ａｂｓ［Ｙ（Ａ）−Ｙ（Ｂ）］ ＞ ａｂｓ［Ｙ（Ｃ）−Ｙ（Ｄ）］，
ａｂｓ［Ｙ（Ａ）−Ｙ（Ｂ）］ ＞ ＴＨＲ２ 及び ａｂｓ［Ｙ（Ａ）−Ｙ（Ｃ）］ ＞ ＴＨＲ２ 及び ａｂｓ［Ｙ（Ａ）−Ｙ（Ｄ）］ ＞ ＴＨＲ２，
ここで、ＴＨＲ２は例えば３０に等しいような所定の閾である。該角部外郭メトリックは、結果として、画像に関する角部外郭レベル（Ｒ）となる。
【００４４】
角部外郭メトリックの性能の検証は、角部外郭が通常は少なく且つ高度に可視的であるので容易である。先に説明した２つのメトリックとは対照的に、角部外郭メトリックは角部外郭レベルの確率的指示子であり、ピクセルの直接的カウントに基づくものではない。この理由は、主に、角部外郭メトリックが非基準メトリックであり、角部外郭を検出するために例えば量子化スケールのような符号化パラメータを使用しないからである。
【００４５】
それにも拘わらず、これまでに示した最初の３つの悪化メトリックの各々は、知覚的可視性を考慮するためのウェーバの法則の簡単な実施に加えて自然の画像内容をアーチファクトから分離するための経験的な閾を含んでいる。前述したように、本発明の範囲から逸脱することなしに、他の悪化を追加することもできる。例えば、上述した一群の悪化メトリックに加えて、ノイズ及びぼやけ／鮮鋭さは、該群を実用的用途に充分なほど完全にすることができる。
【００４６】
上述したブロック化アーチファクト、リンギングアーチファクト及び角部外郭メトリックを実施化するようなビデオ品質を測定する当該方法が図５に示されている。該方法は、上述したブロッキングアーチファクトメトリック（ＢＭ）を用いてブロッキングアーチファクトのみを有する一連のデジタル画像の基準系列（ＢＲＳ）からブロック化基準レベル（ＪＮＤＢ）を決定する第１ステップ（２１ａ）と、上述したリンギングアーチファクトメトリック（ＲＭ）を用いてリンギングアーチファクトのみを有する一連のデジタル画像の基準系列（ＲＲＳ）からリンギング基準レベル（ＪＮＤＲ）を決定する第２ステップ（２１ｂ）と、上述した角部外郭アーチファクトメトリック（ＣＭ）を用いて角部外郭アーチファクトのみを有する一連のデジタル画像の基準系列（ＣＲＳ）から角部外郭基準レベル（ＪＮＤＣ）を決定する第３ステップ（２１ｃ）とを有している。該方法は、ブロック化アーチファクトメトリック（ＢＭ）、リンギングアーチファクトメトリック（ＲＭ）及び角部外郭メトリック（ＣＭ）を用いて、入力系列のブロック化アーチファクトレベル（Ｂ）、リンギングアーチファクトレベル（Ｒ）及び角部外郭レベル（Ｃ）を各々測定するステップ（２２ａ、２２ｂ、２２ｃ）を更に有している。ビデオ品質を測定する該方法は、全品質メトリック（ＯＱＭ）と呼ばれるビデオ品質メトリックを計算するようになっている。該全品質メトリックは、ブロック化アーチファクトレベル（Ｂ）のブロック化基準レベル（ＪＮＤＢ）に対する比、リンギングアーチファクトレベル（Ｒ）のリンギング基準レベル（ＪＮＤＲ）に対する比、及び角部外郭アーチファクトレベル（Ｃ）の角部外郭基準レベル（ＪＮＤＣ）に対する比から計算される。ここで、ＪＮＤレベルで既に校正されている全品質メトリック（ＯＱＭ）を、
【数８】

のように提案し、ここで、α、β、γは重み係数である。これら重み係数は知覚的マスキング効果（即ち、最も大きな妨害的なアーチファクトが存在する場合に、該アーチファクトが他のアーチファクトを遮蔽する効果）が考慮されるのを可能にする。上記妨害的なアーチファクトが低減されると、他の視覚的アーチファクトは、これらアーチファクトの量が依然として同一であっても益々大きく現れる。例えば、比Ｂ／ＪＮＤＢが閾より高い場合、ブロック化アーチファクトが他のアーチファクトを遮蔽する。即ち、αは大きく、β及びγは小さい。比Ｂ／ＪＮＤＢが減少する場合、β及びγは累進的に増加されなければならない。比Ｂ／ＪＮＤＢ、Ｒ／ＪＮＤＲ及びＣ／ＪＮＤＣが１ＪＮＤＢ、１ＪＮＤＲ及び１ＪＮＤＣに各々等しい場合、ビデオ品質メトリックが１ＪＮＤに等しくなるように、α、β及びγは１／３に設定される。
【００４７】
ビデオ品質を測定する本方法は、訂正及び制御方法に有利に使用することが可能な品質メトリックを提供する。
【００４８】
第１の例として、ビデオ品質を測定する該方法は後処理方法に含めることができる。図６に示した斯様な後処理方法は、デジタル画像の入力系列（ＩＳ）を入力すると共に、超えた場合に視覚的アーチファクトが一群の主体にとり目立つようになる少なくとも１つの基準レベル（ＪＮＤ）を対応する所定のアーチファクトメトリック（Ｍ）を用いて対応するアーチファクトのみを有するデジタル画像の一連の基準系列（ＲＳ）から決定するステップ（２１）と、上記入力系列の少なくとも１つのアーチファクトレベル（Ｌ）を対応する所定のアーチファクトメトリック（Ｍ）を用いて測定するステップ（２２）と、前記入力系列のビデオ品質メトリック（ＯＱＭ）を前記アーチファクトレベル（Ｌ）の同一の所定のアーチファクトメトリックに対応する基準レベル（ＪＮＤ）に対する少なくとも１つの比から計算するステップ（２３）とを有している。
【００４９】
当該後処理方法は、更に、デジタル画像の入力系列（ＩＳ）をビデオ品質メトリック（ＯＱＭ）の関数として補正するステップ（６１）、好ましくはローパスフィルタ処理ステップ、を更に有し、結果として出力信号（ＯＳ）が得られる。該ローパスフィルタ処理ステップは、デジタル画像の入力系列におけるブロック境界の周辺のピクセルに適用される。該ローパスフィルタ処理は、ビデオ品質メトリックが高い場合、例えば１ＪＮＤより低い場合に、不能化される。該処理は、ビデオ品質メトリックが１ＪＮＤと２ＪＮＤとの間に位置する場合は、緩やかなローパスフィルタでイネーブルされる。該ローパスフィルタは、ビデオ品質メトリックが２ＪＮＤと３ＪＮＤとの間に位置する場合、等々で、一層強くなる。該ローパスフィルタ処理ステップは、有利には、自然のエッジを保存するために自然のエッジを検出するサブステップを有する。
【００５０】
第２の例として、ビデオ品質を測定する本方法は、少なくとも２つの符号化過程（７１、７２）を有するような符号化方法に含めることができる。図７に示された斯様な符号化方法は、デジタル画像の入力系列（ＩＳ）を入力するようになっている。第１の符号化過程（７１）において、デジタル画像の符号化された出力系列は発生されないが、現画像に関して例えば該画像のマクロブロックの量子化スケール又は該マクロブロックの複雑さ（ｃｏｍｐｌｅｘｉｔｙ）、即ちマクロブロックの量子化スケールと該マクロブロックを符号化するのに要するビット数との積、等の符号化パラメータが計算される。また、該符号化方法は、ビデオ品質メトリック（ＯＱＭ）を計算するための前述した別のステップ（２１、２２、２３）も有している。第２の符号化過程（７２）においては、幾つかの符号化パラメータが上記ビデオ品質メトリックの関数として修正され（ＭＥＰ）、放送者又はユーザにより選択された所与のビデオ品質に対応する符号化されたデジタル画像の系列（ＥＳ）を得る。例えば、現画像内の位置（ｋ，ｌ）のマクロブロックの上記複雑さＸは、
Ｙ［ｋ，ｌ］ ＝ Ｃ（ＯＱＭ［ｋ，ｌ］） ｘ Ｘ［ｋ，ｌ］
のようにＹに修正され、ここでＣ（ＯＱＭ［ｋ，ｌ］）は現画像内の位置［ｋ，ｌ］のマクロブロックのビデオ品質メトリックＯＱＭの関数であるような係数である。
【００５１】
図１、５、６及び７並びに以上の斯かる図に関する説明は、装置及び方法に関するもので、図の機能ブロックは斯かる装置の回路及び斯かる方法のステップに各々対応している。これらのものは、本発明を限定するというよりは、むしろ解説するものである。添付請求項の範囲内に入るような多数の代替案が存在することは明らかであろう。この点に関しては、以下のような結言がなされる。
【００５２】
ハードウェア若しくはソフトウェア又は両者の品目により機能を実施する多数の方法が存在する。この点に関して言うと、図１、５、６及び７の図面は非常に概念的なもので、各々は本発明の１つの可能性のある実施例のみを表している。このように、図面は別の機能を別のブロックとして示しているが、これは、ハードウェア又はソフトウェアの単一の品目が幾つかの機能を果たすことを決して排除するものではない。また、ハードウェア若しくはソフトウェア又は両者の品目のアセンブリが１つの機能を果たすことを除外するものでもない。
【００５３】
異なる方法を、デジタルテレビジョン又はセットトップボックスにおいて、配線された電子回路による、又は他の例として例えばプログラムメモリに記憶された一連の命令による等の幾つかの態様で実施化することができ、上記命令は上記回路の少なくとも一部を置換すると共に、該置換された回路により果たされるのと同一の機能を実施するためにデジタルプロセッサの制御の下で実行可能である。例えば、ビデオ品質を測定する本方法を、適切にプログラムされた集積回路を用いて実施化することが可能である。プログラミングメモリに格納された一連の命令は、ビデオ品質を測定する本方法の異なるステップを集積回路に実施させることができる。斯かる一連の命令は、例えばディスク等のデータ担体を読み取ることによりプログラミングメモリにロードすることができる。また、斯かる一連の命令は、サービスプロバイダにより例えばインターネット等の通信ネットワークを介して利用可能とすることができる。
【００５４】
添付請求項における如何なる符号も、当該請求項を限定するものと見なされるべきではない。また、“有する”なる動詞及び該動詞の活用の使用が、何れかの請求項に記載されたもの以外の如何なる他のステップ又は構成要素の存在を排除するものではないことは明らかであろう。また、単数形の構成要素又はステップも、複数の斯かる構成要素又はステップの存在を排除するものではない。
【図面の簡単な説明】
【図１】図１は、本発明によるビデオ品質を測定する方法に対応するブロック図である。
【図２ａ】図２ａは、本発明による主観的テストの手順を示す。
【図２ｂ】図２ｂも、本発明による主観的テストの手順を示す。
【図３ａ】図３ａは、本発明の好ましい実施例によるブロック化アーチファクトメトリックを或るピクセル構成に関して示す。
【図３ｂ】図３ｂは、本発明の好ましい実施例によるブロック化アーチファクトメトリックを他のピクセル構成に関して示す。
【図４】図４は、本発明の好ましい実施例によるリンギングアーチファクトメトリックを示す。
【図５】図５は、本発明によるビデオ品質を測定する多次元的方法に対応するブロック図である。
【図６】図６は、本発明による後処理方法に対応するブロック図である。
【図７】図７は、本発明による符号化方法に対応するブロック図である。

Claims (9)

1. デジタル画像の入力系列のビデオ品質を測定する方法において、該方法が、
   − 超えた場合に一群の主体にとって視覚的アーチファクトが目立つようになる少なくとも１つの基準レベルを、対応する所定のアーチファクトメトリックを用いて、対応するアーチファクトのみを有するデジタル画像の一連の基準系列から決定するステップと、
   − 前記入力系列の少なくとも１つのアーチファクトレベルを、前記対応する所定のアーチファクトメトリックを用いて測定するステップと、
   − 前記入力系列のビデオ品質メトリックを、同一の所定のアーチファクトメトリックに対応する前記基準レベルに対する前記アーチファクトレベルの少なくとも１つの比から計算するステップと、
   を有することを特徴とする方法。
2. 請求項１に記載のビデオ品質を測定する方法において、
   − ブロック化基準レベルを、所定のブロック化アーチファクトメトリックを用いて、ブロック化アーチファクトのみを有するデジタル画像の一連の基準系列から決定するステップと、
   − リンギング基準レベルを、所定のリンギングアーチファクトメトリックを用いて、リンギングアーチファクトのみを有するデジタル画像の一連の基準系列から決定するステップと、
   − 角部外郭基準レベルを、所定の角部外郭アーチファクトメトリックを用いて、角部外郭アーチファクトのみを有するデジタル画像の一連の基準系列から決定するステップと、
   − 前記入力系列のブロック化アーチファクトレベル、リンギングアーチファクトレベル及び角部外郭レベルを、前記ブロック化アーチファクトメトリック、前記リンギングアーチファクトメトリック及び前記角部外郭メトリックを各々用いて測定するステップと、
   − 前記デジタル画像の入力系列のビデオ品質メトリックを、前記ブロック化アーチファクトレベルの前記ブロック化基準レベルに対する比、前記リンギングアーチファクトレベルの前記リンギング基準レベルに対する比、及び前記角部外郭レベルの前記角部外郭基準レベルに対する比から計算するステップと、
   を有することを特徴とする方法。
3. デジタル画像の入力系列を後処理する方法において、該方法が、
   − 超えた場合に一群の主体にとって視覚的アーチファクトが目立つようになる少なくとも１つの基準レベルを、対応する所定のアーチファクトメトリックを用いて、対応するアーチファクトのみを有するデジタル画像の一連の基準系列から決定するステップと、
   − 前記入力系列の少なくとも１つのアーチファクトレベルを、前記対応する所定のアーチファクトメトリックを用いて測定するステップと、
   − 前記入力系列のビデオ品質メトリックを、同一の所定のアーチファクトメトリックに対応する前記基準レベルに対する前記アーチファクトレベルの少なくとも１つの比から計算するステップと、
   − 前記デジタル画像の入力系列を前記ビデオ品質メトリックの関数として補正し、デジタル画像の出力系列を得るステップと、
   を有することを特徴とする方法。
4. デジタル画像の入力系列を符号化する方法において、該方法が、
   − 前記デジタル画像の入力系列を第１符号化して、符号化パラメータを得るステップと、
   − 超えた場合に一群の主体にとって視覚的アーチファクトが目立つようになる少なくとも１つの基準レベルを、対応する所定のアーチファクトメトリックを用いて、対応するアーチファクトのみを有するデジタル画像の一連の基準系列から決定するステップと、
   − 前記入力系列の少なくとも１つのアーチファクトレベルを、前記対応する所定のアーチファクトメトリックを用いて測定するステップと、
   − 前記入力系列のビデオ品質メトリックを、同一の所定のアーチファクトメトリックに対応する前記基準レベルに対する前記アーチファクトレベルの少なくとも１つの比から計算するステップと、
   − 前記符号化パラメータを前記ビデオ品質メトリックの関数として修正するステップと、
   − 前記デジタル画像の入力系列を第２符号化して、符号化されたデジタル画像の系列を前記修正された符号化パラメータから得るステップと、
   を有していることを特徴とする方法。
5. デジタル画像の入力系列のビデオ品質を測定する装置において、
   − アーチファクトレベルを対応する所定のアーチファクトメトリックを用いて測定する少なくとも１つの手段と、
   − 前記入力系列のビデオ品質メトリックを、対応するアーチファクトのみを有するデジタル画像の系列において一群の主体により前記対応する所定のアーチファクトメトリックを用いて、超えた場合に視覚的アーチファクトが目立つようになるレベルから決定された基準レベルに対するアーチファクトレベルの少なくとも１つの比から計算する手段と、
   を有することを特徴とする装置。
6. 請求項５に記載のビデオ品質を測定する装置において、
   − 前記入力系列のブロック化アーチファクトレベルを測定する手段と、
   − 前記入力系列のリンギングアーチファクトレベルを測定する手段と、
   − 前記入力系列の角部外郭アーチファクトレベルを測定する手段と、
   − 前記デジタル画像の入力系列のビデオ品質メトリックを、前記ブロック化アーチファクトレベルの前記ブロック化基準レベルに対する比、前記リンギングアーチファクトレベルの前記リンギング基準レベルに対する比、及び前記角部外郭レベルの前記角部外郭基準レベルに対する比から計算する手段と、
   を有していることを特徴とする装置。
7. デジタル画像の入力系列を後処理する装置において、
   − 前記入力系列のアーチファクトレベルを、対応する所定のアーチファクトメトリックを用いて測定する少なくとも１つの手段と、
   − 前記入力系列のビデオ品質メトリックを、対応するアーチファクトのみを有するデジタル画像の系列において一群の主体により前記対応する所定のアーチファクトメトリックを用いて、超えた場合に視覚的アーチファクトが目立つようになるレベルから決定された基準レベルに対する前記アーチファクトレベルの少なくとも１つの比から計算する手段と、
   − 前記デジタル画像の入力系列を前記ビデオ品質メトリックの関数として補正し、デジタル画像の出力系列を得るように構成された手段と、
   を有していることを特徴とする装置。
8. デジタル画像の入力系列を符号化する装置において、
   − 前記デジタル画像の入力系列を第１符号化して、符号化パラメータを得る手段と、
   − 前記入力系列のアーチファクトレベルを、対応する所定のアーチファクトメトリックを用いて測定する少なくとも１つの手段と、
   − 前記入力系列のビデオ品質メトリックを、対応するアーチファクトのみを有するデジタル画像の系列において一群の主体により前記対応する所定のアーチファクトメトリックを用いて、超えた場合に視覚的アーチファクトが目立つようになるレベルから決定された基準レベルに対する前記アーチファクトレベルの少なくとも１つの比から計算する手段と、
   − 前記符号化パラメータを前記ビデオ品質メトリックの関数として修正する手段と、
   − 前記デジタル画像の入力系列を第２符号化して、符号化されたデジタル画像の系列を前記修正された符号化パラメータから得るように構成された手段と、
   を有していることを特徴とする装置。
9. 集積回路用のコンピュータプログラムにおいて、該プログラムは、前記集積回路にロードされた場合に該集積回路に請求項１又は請求項２に記載の方法を実行させるような一群の命令を有していることを特徴とするコンピュータプログラム。