JP2006201983A - 画質評価装置および画質評価方法 - Google Patents

Abstract

【課題】 従来技術に基づく客観的画質評価方法では、評価値を設定する際に、明るさによって人間の視覚による画質劣化の許容上限を表す弁別閾値を考慮していないため、評価値の算出結果が主観的画質評価と異なってしまい、現実的な評価とかけ離れてしまっていた。
【解決手段】 評価対象画像と基準画像との画素毎の差分値を算出する差分値算出部と、前記評価対象画像の所定の画素に対して弁別閾値を算出する閾値算出部と、前記差分値と前記弁別閾値とに基づいて画素評価値を算出する画素評価値算出部と、画素評価値に基づいて画像評価値を算出する画像評価値算出部と、を有する画質評価装置を提供する。
【選択図】 図２

Description

本発明は、客観的画質評価を行う場合における画質評価装置および画質評価方法に関する。

現在エンコーダやデコーダなどの開発が盛んに行われている。このようなコーデックの開発においてはその性能を評価すること、すなわち、復号画像の画質評価が不可欠である。従来においては人間が実際に目視にて画像を評価する主観的画質評価が行われてきた。しかし、主観的画質評価では評価条件（例えばディスプレイ、評価者のその日の体調、好み等）によって評価結果が変動するため、定量的に評価することが難しい上、多大な時間と労力が必要となる。これに対し、ＰＣ等を用いて画像データの解析を行うことによる客観的画質評価は、簡便・高速に定量化が可能である。このため、主観的画質評価結果と相関の高い客観的画質評価方法の開発研究が行われている。

「客観的画質評価方法」とは、一般的に、基準画像と評価対象画像との差分値の大きさから評価値を算出し、評価対象画像を数値的に評価する手法のことである。客観的画質評価方法において、主観的画質評価との相関を高くするためには、評価値を算出する際に得られる差分値を人間の視覚特性に応じた評価値に置き直す必要がある。人間の視覚特性の１つとして、明るさによって人間の視覚による画質劣化の見え方が変化することが知られているからである（非特許文献１）。このような人間の視覚特性を考慮し、基準画像と評価対象画像の差異の検出を行う方法が特許文献１に開示されている。
画像情報圧縮の考え方、原島 博、テレビジョン学会誌、ｖｏｌ．４３、ＮＯ．６（１９９８）、ｐｐ６０３〜６１２ 特開平１０−２８２６３３

しかしながら、従来技術に基づく客観的画質評価方法では、評価値を設定する際に、明るさによって人間の視覚による画質劣化の許容上限を表す弁別閾値を考慮していないため、評価値の算出結果が主観的画質評価と異なってしまい、現実的な評価とかけ離れてしまうという課題があった。

本発明は、上記課題に鑑みてなされたものであり、主観的画質評価との相関性の高い客観的画質評価を可能とする画質評価方法および画質評価装置を提供することを目的とするものである。

そこで本発明においては、上記課題を解決するために、評価対象画像と基準画像との画素毎の画素値の差分値を算出する差分値算出部と、前記評価対象画像の所定の画素に対して閾値を算出する閾値算出部と、前記差分値と前記閾値とに基づいて画素評価値を算出する画素評価値算出部と、画素評価値に基づいて画像評価値を算出する画像評価値算出部と、を有する画質評価装置を提供する。前記画素評価値算出部は、前記差分値から前記閾値を減算した値を所定のルールに基づいて処理した値を画素評価値として算出する減算算出手段を更に含んでいてもよい。また、前記画素評価値算出部は、前記差分値と前記閾値とに基づいて得た値に対して重み付けを行った結果を画素評価値とする重み付け手段を、更に含んでいてもよい。また、前記閾値算出部は、前記評価対象画像または基準画像のブロック単位の明るさに基づいてブロック単位閾個数を算出するブロック単位閾個数算出手段を有し、前記画素評価値算出部は、ブロック単位閾個数と、閾値を越えている画素の個数と、を比較し、閾値を超えているとしてカウントされる画素の個数がブロック単位閾個数よりも多い場合には、ブロック内の画素毎の画素評価値から、ブロック画素評価値を算出するブロック単位閾個数利用画素評価値算出手段を有し、前記画像評価値算出部は、ブロック画素評価値に基づいて画像評価値を算出するブロック単位閾個数利用画像評価値算出手段を有していてもよい。

このように本発明においては、基準画像と評価対象画像との画素毎の差分値から閾値を減算した値を利用して評価値の算出を行うことにより、主観的画質評価との相関関係の高い客観的画質評価が可能となる。

以下に、各発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。なお、以下の実施形態と請求項の関係は次の通りである。実施形態１は、主に請求項１、２、５、６などについて説明する。実施形態２は、主に請求項３、７などについて説明する。実施形態３は、主に請求項４、８などについて説明する。

<<実施形態１>>
（実施形態１の概念）
図１に示すように、符号化前の画像Ａと、符号化した後に復号した画像Ａ´とでは、画像に劣化が生じる場合がある。実施形態１は、このような復号画像の画質評価を行うものである。実施形態１は明るさに応じて変わる人間の視覚特性を利用し、評価対象画像と基準画像との画素毎の差分値と、人間が劣化を感じる閾値と、を利用して客観的画質評価を行う技術に関する。人間が劣化を感じない程度の誤差を画像の評価値として計上せず、更に、差分値と閾値とに基づいて評価値を算出することで、主観的画質評価に近い客観的画質評価を行うことが可能となっている。

（実施形態１の構成）
図２に本実施形態における機能ブロック図の一例を示す。図２に示す「画像評価装置」（０２００）は、「差分値算出部」（０２０１）と、「閾値算出部」（０２０２）と、「画素評価値算出部」（０２０３）と、「画像評価値算出部」（０２０４）と、を有する。

「差分値算出部」（０２０１）は、評価の対象の画像である評価対象画像と、前記評価の基準となる基準画像との対応する画素毎の画素値の差分値を算出する。「評価」とは、例えば、静止画像や動画像におけるコーデックの性能の評価をすることである。具体的な例としては、静止画像の規格であるＪＰＥＧ、ＪＰＥＧ２０００などや、動画像の規格であるＭｏｔｉｏｎ−ＪＰＥＧ、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６１、Ｈ．２６４などの復号画像を評価することが挙げられる。「評価対象画像」とは、前記評価の対象の画像である。評価対象画像の例としては、基準画像を符号化し当該符号化した基準画像を復号した画像や、あるいは更にノイズ除去フィルタ処理のような各種処理を施した画像などが挙げられる。ここで、「画像」とは、動画像の１フレームあるいは１フィールドのことを示している。「基準画像」とは、前記評価の基準となる画像のことであり、具体的には符号化前の画像が該当する。

「対応する画素」とは、評価対象画像と基準画像との座標位置が同一である画素のことである。例えば、画素位置（ｉ，ｊ）における基準画像の画素を、輝度Ｌ（ｉ，ｊ）、色差ｕ（ｉ，ｊ）、色差ｖ（ｉ，ｊ）とすると、評価対象画像の対応する画素は、輝度Ｌ´（ｉ，ｊ）、色差ｕ´（ｉ，ｊ）、色差ｖ’（ｉ，ｊ）と表すことが可能である。なお、以下特に断りのない限り（ｉ，ｊ）の表記を省略する。「画素値」とは、例えば上述したように一画素を構成する色空間を示す値である輝度Ｌ、色差ｕ、色差ｖのいずれかを示す値である。以下色空間のフォーマットをＬｕｖフォーマットであるものとして説明を行うが、本発明がこれに限定されないことはもちろんである。

「画素毎の画素値の差分値」とは評価対象画像と基準画像との対応する画素毎の画素値の差分を示す値のことである。具体的には以下の式で表すことが可能である。即ち、
輝度差分値 ΔＬ＝｜Ｌ−Ｌ´｜
色差差分値 Δｕ＝｜ｕ−ｕ´｜
色差差分値 Δｖ＝｜ｖ−ｖ´｜
として画素毎の差分値を算出する。なお、差分値はこれらのいずれか一又は二以上の組み合わせを差分値としてもよい。

「閾値算出部」（０２０２）は、前記評価対象画像の所定の画素に対して、前記評価対象画像または基準画像が与える明るさに基づいて閾値を算出する。この閾値のことを、以下「弁別閾値」と呼ぶこととする。「所定の画素」とは、評価対象画像における任意の画素のことである。所定の画素の一例としては、前記差分値を算出した画素と座標位置が同一である画素が挙げられる。「評価対象画像または基準画像」とは、評価対象画像または基準画像のいずれか一であってもよいし、評価対象画像と基準画像のいずれをも含んでいてもよい。「明るさ」とは、例えばＬｕｖフォーマットにおける輝度のことである。「評価対象画像または基準画像が与える明るさ」とは、例えば前記所定の画素の画素位置に対応する位置にある、評価対象画像または基準画像の画素の示す明るさのことなどである。「弁別閾値」とは、人間の視覚による画質劣化の許容上限を示す値のことである。「明るさ」に基づいて弁別閾値を算出する理由としては、人間の視覚特性として明るさによって画質劣化の見え方に変化があることが挙げられる。

以下、弁別閾値を算出する例を説明する。輝度差分値ΔＬ（ｉ，ｊ）の同座標位置（ｉ，ｊ）に対する弁別閾値を、基準画像の輝度の値に基づく弁別閾値α（ｉ，ｊ）と定義する。弁別閾値αは同座標位置の基準画像の輝度Ｂに関する関数として、α＝ｆ（Ｂ）の形で定義できる。そして、関数ｆはＢに関する１次関数として次のように表記することが可能である。
α ＝ｆ（Ｂ） ＝ Ｗ_Ｌ×Ｂ＋Ｙ_Ｌ
ここで、Ｗ_Ｌ とＹ_Ｌは弁別閾値αを調整するためのパラメータである。このように定めることにより、輝度の低い部分、つまり暗い部分においては弁別閾値を小さく、輝度の高い部分、つまり明るい部分においては弁別閾値を大きくすることが可能となる。これにより、画素毎に最適化された弁別閾値が算出できる。なお、関数ｆは２次以上の関数であっても良い。また、輝度に基づいて弁別閾値を算出する際には、評価対象画像の輝度のみを用いて弁別閾値を算出しても良いし、基準画像と評価対象画像のより低い方、または高い方の輝度を用いて弁別閾値を算出しても良い。また、両者の平均値を用いても良い。更には基準画像あるいは評価対象画像の各画像の画素の集まり（以下、「ブロック」という）毎に、輝度の平均値またはブロック内の最大の輝度の値または最小の輝度の値を算出し、その値から弁別閾値の算出を行っても良い。以上の説明は輝度の弁別閾値αの算出方法について行ったものであるが、同様に、色差差分値Δｕ、色差差分値Δｖの同座標位置の弁別閾値β、γを算出することも可能である。ｕ、ｖとは前述したとおりＬｕｖフォーマットの色差の表現を示すものである。

「画素評価値算出部」（０２０３）は、前記差分値算出部（０２０１）にて算出された画素毎の差分値と、前記閾値算出部（０２０２）にて算出された前記対応する画素毎の閾値（弁別閾値）とに基づいて画素評価値を算出する。「画素評価値」とは、画素毎の評価を示す値のことであり、後述する画像評価値を算出する際の因子となるものである。本発明は、「差分値」のみからではなく、画素毎に最適化された「弁別閾値」にも基づいて評価値を算出するという点で従来技術とは大きく異なっている。

図３および図４を用いて、差分値と弁別閾値とに基づいて画素評価値を算出する例を説明する。まず、図３を使用して画素評価値の算出の際に、「差分値」だけでなく「弁別閾値」をも考慮する必要性について説明する。なお、以下は輝度差分値ΔＬと弁別閾値αに基づいて画素評価値を算出する例を用いるものとする。図３は、各画素に対する差分値と、人間の視覚による画質劣化の許容上限を表す弁別閾値との関係を表すものである。縦軸は輝度差分値の大きさを、横軸は画素の位置を表す。図３に示す輝度差分値は、０に近づくほど基準画像と評価対象画像とのデータ的差異が少なくなることを表している。図３において画素０３０１と画素０３０２は、それぞれＩ_１、Ｉ_２の画素の位置にあり、前記差分値算出部にて算出したΔＬ_１、ΔＬ_２の輝度差分値と、前記閾値算出部にて算出したα_１、α_２の弁別閾値を持つものとする。また、図３に明示するとおり、ΔＬ_１―α_１<ΔＬ_２―α₂とする。

従来技術のように差分値をそのまま画素評価値として用いる評価値算出方法では、主観的評価と客観的評価とによって結果に差異が生じてしまっていた。例えば、ΔＬ_１、ΔＬ_２の値をそのまま画素評価値として用いる場合には、画素０３０１の画素評価値Ｆ_１と画素０３０２の画素評価値Ｆ_２は、Ｆ_１>Ｆ_２となる（ここで画素評価値Ｆの値は０に近づくほど、差異がないことを意味しており、評価は高くなることに注意する）。すなわち、従来の客観的評価値算出方法では、単純に画素毎の差分値のみを利用して評価値を算出するため、画素０３０２より画素０３０１の方が、画質が劣化していると判断されることになる。しかしながら、人間の視覚特性では、弁別閾値からの変化分の方が、劣化として目立ち易い性質がある。つまり、人間は、画素０３０２の方が画質劣化は大きいとして、Ｆ_１<Ｆ_２と評価することになる。このように、客観的評価では、画素０３０１の方が画質劣化をしていると判断されるが、主観的評価では画素０３０２の方が画質劣化をしていると判断されてしまうため、客観的画質評価と主観的画質評価とに差が生じてしまうことになる。そこで、本発明においては、輝度差分値から弁別閾値を減算した値に基づいて画素評価値の算出を行う。これにより、より主観的画質評価と相関関係が近しい客観的画質評価を行うことが可能となる。

次に、図４を用いながら本発明における画素評価値の算出例を説明する。図４は画素評価値を算出する際の概念を示す図である。縦軸は画素評価値Ｆの値を、横軸は輝度差分値ΔＬを示している。横軸には弁別閾値αの位置も示している。図４から明らかなとおり、画素評価値Ｆを算出する場合には、輝度差分値ΔＬが弁別閾値αを上回った場合にのみ、輝度差分値ΔＬから弁別閾値αを減算した値を画素評価値Ｆとして設定する。これは、弁別閾値よりも輝度差分値が下回る場合には、人が目視にて劣化を認識することができないデータであると考えられるため、差異なしと判断することができるからである。一方、輝度差分値ΔＬが弁別閾値αを上回った場合には人が目視にて劣化を認識するデータであると考えられるため、輝度差分値ΔＬと弁別閾値αとの差分値を画素評価値として算出し、画像の劣化を図る因子とする。

次に、画素評価値の具体的な算出例について説明する。まず、上記で説明したように輝度差分値ΔＬが弁別閾値αを上回った場合には、画素評価値Ｆに輝度差分値ΔＬから弁別閾値αを減算した値を設定する。即ち、
Ｆ＝ΔＬ−αとする。
一方、輝度差分値ΔＬが弁別閾値αを下回った場合には、人が目視にて劣化を認識しないと判断できるため、画素評価値Ｆに０を設定する。即ち、
Ｆ＝０とする。

以上説明した点をまとめると、画素評価値を算出する際には、まず輝度差分値ΔＬが弁別閾値αを上回っているかを判断する。これにより、人が目視にて劣化を認識しない画素については、画素評価値の算出において劣化なしとすることが可能となる。そして、輝度差分値ΔＬから弁別閾値αを減算した値を画素評価値に設定する。このような処理を行うことにより、主観的画質評価と相関関係の高い客観的画質評価が可能となる。なお、算出された画素評価値は、次に説明する画像評価値の算出に使用されることになる。以上の一連の処理を全画素に対して行うことで、画素評価値の算出が完了する。

「画像評価値算出部」（０２０４）は、前記画素評価値算出部（０２０３）にて算出された画素評価値に基づいて前記評価対象画像の評価値である画像評価値を算出する。画像評価値の算出方法には様々な方法を適用することが可能であるが、本実施形態では、ＰＳＮＲを応用して画像評価値を算出する例を説明する。「ＰＳＮＲ」とは、Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏのことであり、符号化方式等の品質を示す尺度として一般的に利用されているものである。「画素評価値に基づいて」とは、例えば、前記画素評価値Ｆを、評価を行う因子として、所定のＰＳＮＲの計算を行うことで画像評価値を算出する方法が挙げられる。即ち、２０×ｌｏｇ１０（ＭＡＸ／ＳＱＲＴ（ΣＦ^２／ＣＯＵＮＴ））
により画像評価値が算出される。ここで、ＭＡＸとは、画素値のとり得る最大値であり、８ｂｉｔ深度の画像なら２５５の値が用いられる。ＳＱＲＴとは、平方根のことであり、ＳＱＲＴ（Ａ）の表記により、値Ａの平方根を示す。ＣＯＵＮＴとは、画像の画素数のことである。なお、当該画像評価値は、その値が高いほど画像の劣化が小さいことを示している。このようにして、得られた画像評価値は、主観的評価と相関関係の高い客観的評価となる。

（実施形態１の具体的な実施例）
図５を用いて実施形態１の具体的な実施例について説明する。図５は実施形態１の具体的な構成例を示す図である。図５で示す「画質評価装置」（０５００）は、画像読み込み部（０５０１）と、画素値算出部（０５０２）と、差分値算出部（０５０３）と、閾値算出部（０５０４）と、画素評価値算出部（０５０５）と、画像評価値算出部（０５０６）と、からなる。また、画素評価値算出部（０５０５）は、「減算算出手段」（０５０７）を含む。「画像読み込み部」（０５０１）と、「画素値算出部」（０５０２）と、「減算算出手段」（０５０７）とを除いた構成は既に説明済みであるため、ここでの説明は省略する。

「減算算出手段」（０５０７）は、前記差分値から前記閾値（弁別閾値）を減算した値を所定のルールに基づいて処理した値を画素評価値として算出する。「所定のルール」とは、例えば既に説明したとおり、差分値よりも弁別閾値が小さい場合には、差分値から弁別閾値を減算した値を画素評価値として設定し、差分値よりも弁別閾値が大きい場合には、画素評価値には０を設定するというルールなどが挙げられる。

「画像読み込み部」（０５０１）は、評価対象画像および基準画像の読み込みを行う。ここで、画像読み込み部にて読み込まれる画像はデジタル画像とする。つまり、デジタル画像でない場合には、読み込みまでに何らかの処理を行って、例えばアナログの場合は、サンプリング等の所定の処理を行って、デジタルに変換処理されているものとする。読み込んだ画像は画素値算出部（０５０２）に送られる。

「画素値算出部」（０５０２）は、読み取った基準画像と評価対象画像とのそれぞれの画素値を算出する。本実施形態においては色空間のフォーマットをＬｕｖフォーマット（ CIEにより１９７６年に勧告された均等色空間の一つで、公式名称はＣＩＥ１９７６Ｌ^＊ｕ^＊ｖ^＊ 色空間である）として説明しているため、読み込んだ画像が異なる色空間のフォーマットである場合にはＬｕｖフォーマットに変換を行った上で画素値を算出する。例えば、色空間がＲＧＢフォーマットならば、Ｌｕｖフォーマットに変換することになる。具体的には、ＲＧＢフォーマットからＸＹＺフォーマットへの変換は、
Ｘ＝２．７６８９Ｒ＋１．７５１７Ｇ＋１．１３０２Ｂ
Ｙ＝Ｒ＋４．５９０７Ｇ＋０．０６０１Ｂ
Ｚ＝０．０５６５Ｇ＋５．５９４３Ｂ
となり、ＸＹＺフォーマットからＬｕｖフォーマットへの変換は、
Ｌ＝Ｙ
ｕ＝４Ｘ／（Ｘ＋１５Ｙ＋３Ｚ）
ｖ＝６Ｙ／（Ｘ＋１５Ｙ＋３Ｚ）
となる。以上の処理により画素値が算出される。算出された画素値は、図外の保持部などに保持されて、以降の評価値を算出する処理で利用される。

以上、本実施形態においてはＬｕｖフォーマットを用いて説明を行ったが、ＲＧＢフォーマット等、その他の色分解を行い、本実施例を適用しても良い。また本実施形態においては、基準画像あるいは評価対象画像の輝度に応じて弁別閾値を変化させているが、色差の値から色差の弁別閾値を算出する方法でも良い。また輝度によって弁別閾値を変化させるだけでなく、輝度と色差の両方を考慮し、弁別閾値を算出する方法でも良い。また、主観評価を行う環境を考慮し、ディスプレイの特性やディスプレイとの評価する距離等を考慮して弁別閾値を算出しても良い。

また、本実施形態においては、輝度の評価値算出方法について述べたが、色差に対して適用を行っても良い。即ち、基準画像あるいは評価対象画像の輝度に応じ、色差に対する弁別閾値を設定して画素評価値を算出し、当該画素評価値に基づいて色差に対する画像評価値を算出してもよい。更には、輝度と色差を考慮して画像評価値の算出を行っても良い。

また本実施形態においては、画素評価値Ｆには差分値から弁別閾値を減算した値を設定しているが、その他の演算で算出した値を画素評価値Ｆとして設定をしてもよいし、その他算出方法であっても良い。例えば、
Ｆ＝Ａ×ΔＬ ＋Ｂ
を画素評価値に設定しても良い。ここで、ＡとＢは定数または画素毎の変数である。このように構成することで、画素評価値には様々な設定が可能となる。

なお、本件発明の構成要素である各部は、ハードウエア、ソフトウエア、ハードウエアとソフトウエアの両者、のいずれかによって構成される。例えば、これらを実現する一例として、コンピュータを利用する場合には、ＣＰＵ、メモリ、バス、インターフェイス、周辺装置などから構成されるハードウエアと、これらのハードウエア上にて実行可能なソフトウエアを挙げることができる。具体的には、メモリ上に展開されたプログラムを順次実行することで、メモリ上のデータや、インターフェイスを介して入力されるデータの加工、蓄積、出力などにより各部の機能が実現される（本明細書の全体を通じて同様である。）。

（実施形態１の処理の流れ）
図６を用いて本実施形態の処理の流れを説明する。図６は本実施形態におけるフローチャート図の一例である。図６に示す処理の流れは輝度の差分値および弁別閾値を用いて画素評価値を算出するものである。

最初に、基準画像および評価対象画像の読み込みを行う（Ｓ０６０１）。次に、基準画像と評価対象画像の輝度Ｌを算出する（Ｓ０６０２）。ステップＳ０６０２では、例えばステップＳ０６０１で読み込んだ画像がＲＧＢフォーマットであった場合などのように、異なる色空間のフォーマットである場合には、所定の変換式を用いてＬｕｖフォーマットに変換する。次に、輝度差分値ΔＬを算出する（Ｓ０６０３）。ステップＳ０６０３では、ステップＳ０６０２と同じ座標位置の画素、即ち、評価対象画像と基準画像との対応する画素毎の差分値を算出する。次に、画素の輝度Ｌに応じた弁別閾値αを算出する（Ｓ０６０４）。ステップＳ０６０４までの処理によって、基準画像と評価対象画像の全ての画素に対して輝度差分値ΔＬと輝度の弁別閾値αが算出されることになる。

続いて、差分値が弁別閾値よりも大きいかを判断する（Ｓ０６０５）。輝度差分値ΔＬが弁別閾値αより大きいと判断した場合、即ちΔＬ>αが成立するならば当該画素は人間が劣化を認識できるものであるとして差異ありとする。この場合、輝度差分値ΔＬから弁別閾値αを減算する（Ｓ０６０６）。そして、ステップＳ０６０６にて算出した値を画素評価値Ｆとして設定する（Ｓ０６０７）。一方、輝度差分値ΔＬが弁別閾値αよりも小さいと判断した場合には、当該画素は人間が劣化を認識できないとして画素評価値にＦ＝０を設定する（Ｓ０６０８）。ステップＳ０６０５からステップＳ０６０８までの一連の処理を全画素に対して行った後、所定の計算方法により画像評価値を算出する（Ｓ０６０９）。

（実施形態１の効果）
本実施形態においては、基準画像と評価対象画像との差分値と、人間の視覚による画質劣化の許容上限を表す弁別閾値と、に基づいて評価値を算出することが可能なため、主観的評価と相関関係の高い客観的画質評価を行うことができる。

<<実施形態２>>
（実施形態２の概要）
本実施形態は、実施形態１に加えて画素評価値を算出する際に、画素評価値を調整するための重み付けを行うことを可能としていることを特徴とする。

（実施形態２の構成）
図７に本実施形態における機能ブロック図の一例を示す。図７に示す本実施形態の画像評価装置（０７００）は、「差分値算出部」（０７０１）と、「閾値算出部」（０７０２）と、「画素評価値算出部」（０７０３）と、「画像評価値算出部」（０７０４）と、を有する。画素評価値算出部（０７０３）は、「重み付け手段」（０７０５）を更に含む。「重み付け手段」（０７０５）を除いた構成については実施形態１で説明したものと同様であるため、ここでの説明は省略する。

「重み付け手段」（０７０５）は、前記差分値算出部（０７０１）にて算出された画素毎の差分値と、前記閾値算出部（０７０２）にて算出された前記対応する画素毎の閾値（弁別閾値）とに基づいて得た値に対して重み付けを行った結果を画素評価値とする。重み付けの一例としては、差分値と弁別閾値とに基づいて得られた値にパラメータθを付加し、その結果を画素評価値とすることなどが挙げられる。これにより容易に画素評価値の調整を行うことができる。また、重み付けは、輝度と色差を考慮した画像評価値を算出する場合にも有用となる。以下、図８に基づいて説明を行う。

図８は、輝度と色差に対する画素評価値を合成し、一つの画像評価値を得る処理の流れを示したフロー図である。ここでの説明において、「評価因子」とは、実施形態１で説明した画素評価値を表し、「画素評価値」とは、評価因子から新たに構成される画素評価値を表すものとする。ステップＳ０８０１までに、輝度Ｌ、色差ｕおよび色差ｖに対する画素評価値の基となる評価因子が、それぞれＥ_Ｌ、Ｅ_ｕおよびＥ_ｖで得られているものとする。Ｓ０８０１において、人の視覚感度は対数に従う（フェヒナーの法則）ことを考慮するために、評価因子Ｅ_Ｌ、Ｅ_ｕおよびＥ_ｖが正なものに対して、対数関数を適用する。即ち、ｌｏｇ（Ｅ_Ｌ）、ｌｏｇ（Ｅ_ｕ）、ｌｏｇ（Ｅ_ｖ）とする。ステップＳ０８０２において、人間の視覚は色差より輝度の変化に敏感であることを考慮するために、ステップＳ０８０１で適用した関数に所定の重み付けを行う。即ち、
Ｋ_１×ｌｏｇ（Ｅ_Ｌ）＋Ｙ_１
Ｋ_２×ｌｏｇ（Ｅ_ｕ）＋Ｙ_２
Ｋ_３×ｌｏｇ（Ｅ_ｖ）＋Ｙ_３
とする。ここで、Ｋ_１、Ｋ_２、Ｋ_３、Ｙ_１、Ｙ_２、Ｙ_３は重みを表す係数であり、定数である。
ステップＳ０８０３において、上記３つの数式の和を画素評価値Ｆとする。そして、以上の処理を全画素に対して行うことで、その総和を画像評価値として算出する。このように、重み付けを行うことで、輝度と色差に基づいた評価値の算出が可能となる。重み付けは、重みを表す係数を定数としたように同一フレーム内で同じ重みを付けてもよいし、重みを表す係数を画像の人間の注視点に関する変数とするように画素毎に異なった重みを付けてもよい。

なお、本実施形態においては、輝度Ｌ、色差ｕおよび色差ｖに応じた人間の空間的視覚特性や時間的視覚特性を考慮するために、基準画像と評価対象画像の輝度差分値ΔＬ、色差差分値Δｕ、色差差分値Δｖに対し、それぞれに適合したフィルタを乗じ、新たな輝度差分値ΔＬ、色差差分値Δｕ、色差差分値Δｖを得てから、画素評価値の算出処理などを行っても良い。これにより、人の周波数特性を利用した画像評価値の算出が行えるため、客観的評価値を主観的評価値に近づけることが可能となり、柔軟性に富んだ画質評価が可能となる。

（実施形態２の処理の流れ）
図９に実施形態２の処理の流れの一例を示す。ステップＳ０９０６までの処理は実施形態１で説明したものと同じであるため、ここでの説明は省略する。ステップＳ０９０７において、ステップＳ０９０６にて求められた値に重み付けを行う。これにより、評価値の調整を容易に行うことができるようになる。ステップＳ０９０８においては、前記ステップＳ０９０７にて重み付けを行った結果を画素評価値Ｆに設定する。以下の処理は実施形態１で説明したものと同様であるため、省略する。

（実施形態２の効果）
実施形態２においては、画素毎の差分値と弁別閾値とに基づいて得た値に対して重み付けを行った結果を画素評価値とすることが可能であるため、評価値の調整を容易に行えるようになる。また、このように重み付けを行うことで、輝度や色差を併せた評価値の算出も容易となり、人間の視覚特性などを考慮した客観的評価を行うことが可能となる。

<<実施形態３>>
（実施形態３の概要）
実施形態３はブロック単位で閾個数を有しており、差分値が弁別閾値よりも大きい画素をブロック単位でカウントし、そのカウントした値が閾個数を越えたブロックに対してのみ差分値と弁別閾値とに基づいた評価値の算出対象とすることを特徴とした画質評価装置に関する。これは、人間が画像劣化を認識するのは、ある所定のブロックに劣化が集中している場合であることを考慮したものである。

（実施形態３の構成）
図１０に本実施形態における機能ブロック図の一例を示す。図１０に示す本実施形態の画像評価装置（１０００）は、「差分値算出部」（１００１）と、「閾値算出部」（１００２）と、「画素評価値算出部」（１００３）と、「画像評価値算出部」（１００４）と、を有する。閾値算出部（１００２）は、「ブロック単位閾個数算出手段」（１００５）を有する。画素評価値算出部（１００３）は、「ブロック単位閾個数利用画素評価値算出手段」（１００６）を有する。画像評価値算出部（１００４）は、「ブロック単位閾個数利用画像評価値算出手段」（１００７）を有する。「ブロック単位閾個数算出手段」（１００５）と、「ブロック単位閾個数利用画素評価値算出手段」（１００６）と、「ブロック単位閾個数利用画像評価値算出手段」（１００７）と、を除いた構成については実施形態１で説明したものと同様であるため、ここでの説明は省略する。また、実施形態２とも「ブロック単位閾個数算出手段」（１００５）と、「ブロック単位閾個数利用画素評価値算出手段」（１００６）と、「ブロック単位閾個数利用画像評価値算出手段」（１００７）とを除いて共通の構成をとることができる。

「ブロック単位閾個数算出手段」（１００５）は、前記評価対象画像または基準画像のブロック単位の明るさに基づいてブロック単位閾個数を算出する。「ブロック」とは、既に説明したとおり、画像における画素の集まりのことである。ブロックはマクロブロック（一般にＭＰＥＧでは、１６×１６画素に分割されたブロックをマクロブロックと呼ぶ）に相当していてもよい。「ブロック単位閾個数」とは、当該ブロックを画素評価値の算出対象ブロックとするかどうかを判定する閾値に相当するものである。ブロック単位閾個数の一例としては、基準画像あるいは評価対象画像のブロック内の輝度の平均値Ｈに応じたものが挙げられる。これは、前述した弁別閾値の算出時と同様、平均値Ｈに関する関数として、ブロック単位閾個数Ｇは
Ｇ＝ｇ（Ｈ）
の形で与えられる。ここで、平均値に関する関数としてブロック単位閾個数を設定したが、ブロック内の最大の輝度の値または最小の輝度の値に関する関数としてブロック単位閾個数の算出を行ってもよいし、任意に固定した定数などでもよい。

「ブロック単位閾個数利用画素評価値算出手段」（１００６）は、前記ブロック単位閾個数算出手段（１００５）にて算出されたブロック単位閾個数と、前記差分値算出部（１００１）にて算出された差分値が前記閾値算出部（１００２）にて算出された閾値（弁別閾値）を越えている画素の個数と、を比較し、閾値（弁別閾値）を超えているとしてカウントされる画素の個数が前記ブロック単位閾個数よりも多い場合には、ブロック内の画素毎の画素評価値から、ブロック画素評価値を算出する。「ブロック画素評価値」とは、ブロック内の画素評価値の合計値をブロック単位で示すものである。以下にブロック単位閾個数を利用したブロック画素評価値の算出例を説明する。

まず、ブロック内において、差分値が弁別閾値を上回っている画素の個数を検出する。そして、その個数がブロック単位閾個数を越えている場合には当該ブロックの画素については、画素評価値Ｆ＝差分値ΔＬ−弁別閾値α、を設定する。一方、その個数がブロック単位閾個数を越えていない場合には、当該ブロック内の画素全てについては、画素評価値Ｆ＝０を設定する。このように画素評価値を設定することで、より主観的評価に近い客観的評価を行うことが可能となる。以下、なぜこのように構成するかの説明を行う。例えば一画素の大きさは、ＴＶなどのディスプレイの大きさと比較して非常に小さい。人間が目視にて基準画像と評価対象画像との差異、即ち画質の劣化を感じるのは、劣化が集中してディスプレイに表示された時である。換言すれば、ある所定のブロック単位に一画素だけ劣化があったとしても、人間は認知するのが難しく、当該劣化は認識されないのである。このように人間が認知することの困難な劣化を評価から省く構成により、客観的評価値を主観的評価値に近づけることが可能となる。「ブロック単位閾個数利用画像評価値算出手段」（１００７）は、前記ブロック単位閾個数利用画素評価値算出手段（１００６）にて算出されたブロック画素評価値に基づいて前記評価対象画像の評価値である画像評価値を算出する。これにより、ブロック画素評価値を利用した画像評価値の算出が完結する。

（実施形態３の処理の流れ）
図１１に実施形態３における処理の流れの一例を示す。ステップＳ１１０４までは実施形態１で説明したものと同様であるため、ここでの説明は省略する。ステップＳ１１０５にてブロック単位閾個数を算出する。ステップＳ１１０６において、差分値が弁別閾値よりも大きいと判断した場合には、当該個数をブロック単位でカウントする（Ｓ１１０７）。そしてステップＳ１１１１では、ステップＳ１１０７にてカウントした値がブロック単位閾個数を上回っているか判断する。ブロック単位閾個数を下回っている場合には、当該ブロック内には人間が劣化を感じる程度までの劣化画素はないと判断することができるため、当該ブロック内の各画素の画素評価値Ｆに０を設定する（Ｓ１１１２）。なお、その他の各ステップについては、実施形態１で説明したものと同様であるため、ここでの説明は省略する。

（実施形態３の効果）
実施形態３においてはブロック単位で閾個数を有しており、差分値が弁別閾値よりも大きい画素をブロック単位でカウントし、そのカウントした値が閾個数を越えたブロックに対してのみ差分値と弁別閾値とに基づいた画素評価値の算出対象とすることで、人間が目視にて画像劣化を認知することが困難な劣化を評価から省くことが可能となる。これにより、主観的評価により相関が高い客観的評価を行うことができる。

本発明の概念を説明するための図 実施形態１の機能ブロック図 従来の画素評価値設定の課題について説明するための図 画素評価値の算出例の概念を説明するための図 実施形態１の具体例を示す機能ブロック図 実施形態１の処理の流れを説明するための図 実施形態２の機能ブロック図 輝度と色差に基づいて評価値を算出する処理の流れを説明するための図 実施形態２の処理の流れを説明するための図 実施形態３の機能ブロック図 実施形態３の処理の流れを説明するための図

符号の説明

０２００ 画像評価装置
０２０１ 差分値算出部
０２０２ 閾値算出部
０２０３ 画素評価値算出部
０２０４ 画像評価値算出部

Claims (8)

1. 評価の対象の画像である評価対象画像と、前記評価の基準となる基準画像との対応する画素毎の画素値の差分値を算出する差分値算出部と、
   前記評価対象画像の所定の画素に対して、前記評価対象画像または基準画像が与える明るさに基づいて閾値を算出する閾値算出部と、
   前記差分値算出部にて算出された画素毎の差分値と、前記閾値算出部にて算出された前記対応する画素毎の閾値とに基づいて画素評価値を算出する画素評価値算出部と、
   前記画素評価値算出部にて算出された画素評価値に基づいて前記評価対象画像の評価値である画像評価値を算出する画像評価値算出部と、
   を有する画質評価装置。
2. 前記画素評価値算出部は、
   前記差分値から前記閾値を減算した値を所定のルールに基づいて処理した値を画素評価値として算出する減算算出手段を、
   更に含む請求項１に記載の画質評価装置。
3. 前記画素評価値算出部は、
   前記差分値算出部にて算出された画素毎の差分値と、前記閾値算出部にて算出された前記対応する画素毎の閾値とに基づいて得た値に対して重み付けを行った結果を画素評価値とする重み付け手段を、
   更に含む請求項１または２に記載の画質評価装置。
4. 前記閾値算出部は、
   前記評価対象画像または基準画像のブロック単位の明るさに基づいてブロック単位閾個数を算出するブロック単位閾個数算出手段を有し、
   前記画素評価値算出部は、
   前記ブロック単位閾個数算出手段にて算出されたブロック単位閾個数と、前記差分値算出部にて算出された差分値が前記閾値算出部にて算出された閾値を越えている画素の個数と、を比較し、閾値を超えているとしてカウントされる画素の個数が前記ブロック単位閾個数よりも多い場合には、ブロック内の画素毎の画素評価値から、ブロック画素評価値を算出するブロック単位閾個数利用画素評価値算出手段を有し、
   前記画像評価値算出部は、
   前記ブロック単位閾個数利用画素評価値算出手段にて算出されたブロック画素評価値に基づいて前記評価対象画像の評価値である画像評価値を算出するブロック単位閾個数利用画像評価値算出手段を有する
   請求項１から３のいずれか一に記載の画質評価装置。
5. 評価の対象の画像である評価対象画像と、前記評価の基準となる基準画像との対応する画素毎の画素値の差分値を算出する差分値算出ステップと、
   前記評価対象画像の所定の画素に対して、前記評価対象画像または基準画像が与える明るさに基づいて閾値を算出する閾値算出ステップと、
   前記差分値算出ステップにて算出された画素毎の差分値と、前記対応する画素毎の閾値とに基づいて画素評価値を算出する画素評価値算出ステップと、
   前記画素評価値算出ステップにて算出された画素評価値に基づいて前記評価対象画像の評価値である画像評価値を算出する画像評価値算出ステップと、
   を有する画質評価方法。
6. 前記画素評価値算出ステップは、
   前記差分値から前記閾値を減算した値を所定のルールに基づいて処理した値を画素評価値として算出する減算算出ステップを、
   更に含む請求項５に記載の画質評価方法。
7. 前記画素評価値算出ステップは、
   前記差分値算出ステップにて算出された画素毎の差分値と、前記閾値算出ステップにて算出された前記対応する画素毎の閾値とに基づいて得た値に対して重み付けを行った結果を画素評価値とする重み付けステップを、
   更に含む請求項５または６に記載の画質評価方法。
8. 前記閾値算出ステップは、
   前記評価対象画像または基準画像のブロック単位の明るさに基づいてブロック単位閾個数を算出するブロック単位閾個数算出ステップを有し、
   前記画素評価値算出ステップは、
   前記ブロック単位閾個数算出ステップにて算出されたブロック単位閾個数と、前記差分値算出部にて算出された差分値が前記閾値算出ステップにて算出された閾値を越えている画素の個数と、を比較し、閾値を超えているとしてカウントされる画素の個数が前記ブロック単位閾個数よりも多い場合には、ブロック内の画素毎の画素評価値から、ブロック画素評価値を算出するブロック単位閾個数利用画素評価値算出ステップを有し、
   前記画像評価値算出ステップは、
   前記ブロック単位閾個数利用画素評価値算出ステップにて算出されたブロック画素評価値に基づいて前記評価対象画像の評価値である画像評価値を算出するブロック単位閾個数利用画像評価値算出ステップを有する
   請求項５から７のいずれか一に記載の画質評価方法。

Images