JP2011134200A

JP2011134200A - 画像評価方法、画像処理方法および画像処理装置

Info

Publication number: JP2011134200A
Application number: JP2009294510A
Authority: JP
Inventors: Toshitsugu Yamamoto; 敏嗣山本
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2009-12-25
Filing date: 2009-12-25
Publication date: 2011-07-07

Abstract

【課題】マスク効果のような画像内における信号間の相互作用を反映しつつ画像の画質を高精度で評価することのできる画像評価方法およびそれを用いた画像処理方法、ならびに画像処理装置を提供する。
【解決手段】マスク効果補正１５は、類似度算出１４により算出された類似度に基づいて、差分画像を補正することで評価結果を生成する。ノイズ成分の見え方は、ノイズ成分だけではなく、元画像の複雑さの度合いと、ノイズ成分と元画像との間の類似性によって異なるので、これらを反映するように差分画像が補正される。マスク効果補正１５は、類似成分抽出によって算出された両画像間の類似度合いが大きいほどマスク効果が相対的に小さくなるように補正し、相違成分抽出によって算出された両画像間の相違度合いが大きいほどマスク効果を相対的に大きくなるように補正する。
【選択図】図５

Description

本発明は、所与の参照画像に基づいて画像を評価する画像評価方法およびそれを用いた画像処理方法ならびに画像処理装置に関する。

従来から、所与の参照画像（画質劣化がないとみなせる原画像）と比較することで、画質（画像の再現性）を評価する方法が実用化されている。典型的には、参照画像の信号と画質評価の対象となる画像（以下「被評価画像」とも称す）の信号との間にある差異を統計処理して評価する方法が広く採用されている。このような統計処理の代表例としては、画質指標ＰＳＮＲ（Peak Signal-to-Noise Ratio）などが知られている。

しかしながら、この方法では、両画像の信号間の差異がどの程度の色変化における影響を与えるのかが考慮されないので、人による見え方への影響を十分に反映しない場合がある。

この点を改善するために、均等色空間についての研究や、色空間の不均等を補正する色差式の提案などが行われてきた。この結果、均等色空間としては、Ｌ＊ａ＊ｂ＊空間が実用化され、また、色差式としては、ＣＩＥ２０００色差式が定められるなどの一定の成果を上げてきた。

ただし、差異の色自体を評価するだけでは不十分であり、変化をもたらすノイズがどのような構造をしているかも画質劣化を度合いに大きな影響を及ぼすので、これも考慮に入れて評価することが好ましい。

たとえば、ノイズの構造を考慮に入れる方法として、特定のノイズ構造（アーティファクト）が存在することを限定して評価する方法が提案されている。この方法は、予めノイズの構造が判っている場合には有効で、たとえばＪＰＥＧ（Joint Photographic Experts Group）圧縮などの主なノイズの構造が予め判っている場合には有効である。しかしながら、一般的に、特定のノイズ構造のみが存在することが判っている場合は少なく、適用範囲はおのずから限られたものとなる。

また、ノイズの構造を限定しない方法として、人の視覚の周波数応答特性を考慮して補正する技術が多数提案されている。この技術では、差異の構造が人による見え方に及ぼす影響が考慮される。すなわち、人の視覚の周波数応答特性は、反対色応答に対応して変化することが知られているので、周波数応答特性に基づく補正は、もっぱら反対色応答に変換してから行なわれる。人の視覚の周波数応答特性は、詳しく調べられており、また、個々の形状と応答の関係もわかっているので、画質の再現性をより有効に評価できる。

上述のような、画質を評価する技術としては、以下のようなものが知られている。
特開平６−１３３１７６号公報（特許文献１）には、基準画像と評価画像の２つの画像において同じ座標位置における輝度と色差の複数種類の差をそれぞれ算出し、算出された複数種類の差に輝度と色差のそれぞれの空間的視覚特性に対応したフィルタを施して複数種類の差画像を作成し、得られた複数種類の差画像を所定の重み係数によって合成して１枚の合成差画像を作成する差画像作成方法が開示されている。

特開平９−２８４４２９号公報（特許文献２）には、画像入力機器から入力した被評価画像をＥ光源下で反対色空間に変換した後、空間周波数分布を表す情報に変換し、該空間周波数分布を観察条件に応じて選択された人間の視覚系の空間周波数特性（ＭＴＦ）を表す関数でフィルタリング補正するとともに、このフィルタリング補正した画像情報を均等色空間に変換したときの統計的なばらつき量に基づいて画像品質評価値を求める方法が開示されている。

特開平１１−２０５６１６号公報（特許文献３）に開示される画像評価方法は、画像入力装置で読み取ったカラー情報を明度と色度に関する情報に変換する。明度情報は、直交変換を施し人間の視覚の空間周波数特性を掛け合わせて補正し、さらに積分して明度成分の画像評価値とされる。一方、色度情報は、人間の視覚系に対応するフィルタリング処理を行ない補正し、さらに、色度情報は彩度、及び色相を表す色彩情報に変換して画像評価量が求められる。さらに、明度成分の画像評価値、及び色彩成分の画像評価値から総合的な画像評価値を算出する。

特開平１１−２６１７４０号公報（特許文献４）には、原画像と圧縮／伸長された処理画像の画像情報に対し、色の知覚的な相違を定量的に表わした均等色空間への変換を行ない、均等色空間上で観測条件に対応した人間の視覚特性で補正し、差分値を求めることによって、安定的でより高精度な画像評価を行う技術が開示されている。

特開２０００−１８８６４７号公報（特許文献５）には、被評価画像の画像情報に対して、画像表示機器に表示したときの環境に対応した変換を行なう第１のステップと、変換された被評価画像の均等色空間成分を算出する第２のステップと、算出された被評価画像の均等色空間成分に対して人間の視覚特性に対応した重み付けを行なう第３のステップと、重み付けされた均等色空間成分の空間周波数成分毎の評価値を算出する第４のステップと、算出された空間周波数成分毎の評価値に対して、適切な空間周波数範囲で積分を行なう第５のステップと、積分された評価値に対して、所定の係数で補正を行なう第６のステップとを含む画像評価方法が開示されている。

特開２００１−２４８２１号公報（特許文献６）には、カラー画像入力装置から画像データを入力して表示または印刷する画像出力装置の特性に対応させて被評価画像の変換を行う特性対応変換手段と、特性対応変換手段で変換した被評価画像を用いて均等色空間成分を算出する均等色空間成分算出手段と、均等色空間成分算出手段で算出した均等色空間成分における各成分の統計的な偏差を算出する統計的偏差算出手段と、各成分の統計的な偏差に対する画像出力装置の特性および／または人間の視覚特性に基づいた重みを考慮して、各成分の統計的な偏差から画像品質の評価値を算出する評価値算出手段とを含む画像評価装置が開示されている。

特開２００４−５８３７７号公報（特許文献７）には、印刷品質の保証について、人手や手間あるいは作業時間を低減したり、また、精度の良い品質判定を容易に行なえるようにするプリンタおよび印刷物の品質保証方法が開示されている。

特開２００４−６４６９０号公報（特許文献８）には、プリンタで媒体上に印刷されたグラデーション画像の品質の評価を心理評価と対応した物理評価によって好適に行うことができる画像評価方法などが開示されている。

特開２００４−１９３９６８号公報（特許文献９）には、圧縮符号化されている受信画像を復号化した第１の画像データと、上記第１の画像データを、第１の符号化パラメータを適用して圧縮符号化した後、復号化を行った第２の画像データとを、上記基準画像データおよび上記比較画像データとしてそれぞれ適用し上記画像客観評価手段により評価し、評価結果が所定の水準値を下回る場合には、上記第１の符号化パラメータを、復号化画像の画質がより高画質になるよう変更する一方、評価結果が所定の水準値を上回る場合には、上記第１の符号化パラメータを復号化画像の画質がより低画質になるよう変更し、その変更後の符号化パラメータを上記受信画像の再圧縮時の符号化パラメータとして設定するするカラー画像通信装置が開示されている。

特開２００５−３０９９８５号公報（特許文献１０）には、評価対象の画像データから色空間の各軸についてトレンド成分を検出し、検出したトレンド成分および平均色度を画像データから除去し、除去後の画像データを空間周波数領域に変換し、空間周波数領域の画像データに視覚周波数特性を重み付けし、重み付け後の画像データを実空間領域に変換し、実空間領域の画像データから統計的なばらつき量を求め、ばらつき量および予め実験的に求めた結合係数により、評価対象の画像データの画質評価関数を算出する画像処理方法が開示されている。

非特許文献１には、人の視覚の周波数応答特性に基づいて補正するとともに、色の差を正しく評価することによって実際の見え方の差を評価する方法が開示されている。

特開平６−１３３１７６号公報特開平９−２８４４２９号公報特開平１１−２０５６１６号公報特開平１１−２６１７４０号公報特開２０００−１８８６４７号公報特開２００１−２４８２１号公報特開２００４−５８３７７号公報特開２００４−６４６９０号公報特開２００４−１９３９６８号公報特開２００５−３０９９８５号公報

Garrett M. Johnson, Mark D. Fairchild, "A Top Down Description of S-CIELAB and CIEDE2000", COLOR research and application, Volume 28, Number 6, December 2003

上述のいくつかの技術において採用されている周波数解析は、画像に含まれる信号間に相互作用が無く互いに独立であることを前提としており、この前提において、画像を構成する各信号（画素）の位置情報が失われる周波数空間で評価がなされる。

しかしながら、画像に含まれる信号間には有意な相互作用を生じる場合がある。このような相互作用の一つとして、後述するようなマスク効果が知られている。このマスク効果は、（１）画像全体の複雑さに起因して生じるのではなく、あくまでも人の目がある点を注視したときに見える範囲内で生じる、および、（２）対象の画像とノイズとの相関度合いによってその大きさが変化する、という特徴を有する。

そのため、マスク効果のように信号間の相互作用を考慮して、画質を評価しようとすると、単なる周波数解析を用いるだけでは不十分である。すなわち、周波数空間では、画像内の位置情報が失われてしまうので、画質を評価する際に重要なマスク効果を適切に考慮することができず、評価精度を高めることができないという課題があった。

本発明は、上記のような問題を解決するためになされたものであって、その目的は、マスク効果のような画像内における信号間の相互作用を反映しつつ画像の画質を高精度で評価することのできる画像評価方法およびそれを用いた画像処理方法、ならびに画像処理装置を提供するものである。

この発明のある局面に従えば、所与の参照画像に基づいて画質を評価する画像評価方法を提供する。本画像評価方法は、参照画像および評価の対象となる被評価画像から、注目部分および当該注目部分を中心として人の視覚特性に基づいて定められる周辺部分に含まれる部分画像をそれぞれ抽出するステップと、参照画像から抽出された第１部分画像と被評価画像から抽出された第２部分画像とを比較することで両部分画像の間の差異を示す差異画像を生成するステップと、第１部分画像と差異画像との間の類似度を算出するステップと、算出された類似度に基づいて差異画像を補正することで評価結果を生成するステップとを含む。

好ましくは、類似度を算出するステップは、第１部分画像と差異画像との間の相関値を算出するステップを含む。

さらに好ましくは、相関値を算出するステップは、周波数解析を行なうステップを含む。

好ましくは、類似度を算出するステップは、周波数領域における、第１部分画像に含まれる成分と差異画像に含まれる成分との間で、類似する成分を抽出するステップを含む。

さらに好ましくは、類似する成分を抽出するステップは、周波数領域において、周波数および位相が互いに類似する成分を抽出するとともに、抽出したそれぞれの成分を重み付けして評価するステップを含む。

好ましくは、抽出するステップは、注目部分を中心として人の視覚特性に応じた、偏心角について所定の減衰特性を有する関数を用いて重み付けするステップを含む。

さらに好ましくは、抽出するステップは、複数の関数から、参照画像に含まれる周波数成分に応じて、適用する関数を選択するステップを含む。

好ましくは、本画像評価方法は、人の視覚において色の見え方の差が実質的に均等となるように、参照画像および被評価画像を補正するステップをさらに含み、差異画像を生成するステップは、補正後の参照画像と補正後の被評価画像との間で差分を算出するステップを含む。

さらに好ましくは、補正するステップは、人の視覚の周波数応答特性に基づいて補正するステップを含む。

好ましくは、人の視覚の周波数応答特性に基づいて補正するステップは、参照画像および被評価画像に含まれる明るさ成分に対し、バンドパスフィルタを施すステップと、参照画像および被評価画像に含まれる他の成分に対して、ローパスフィルタを施すステップとを含む。

好ましくは、評価結果を生成するステップは、補正後の差異画像の内容を示す画像を表示するステップを含む。

好ましくは、評価結果を生成するステップは、補正後の差異画像に含まれる成分を統計処理した結果を出力するステップを含む。

この発明の別の局面に従えば、画像圧縮を行なうための画像処理方法を提供する。本画像処理方法は、画像圧縮の対象になる画像を参照画像に設定するとともに、当該参照画像に対して圧縮処理することで得られる画像を被評価画像に設定するステップと、参照画像および評価の対象となる被評価画像から、注目部分および当該注目部分を中心として人の視覚特性に基づいて定められる周辺部分に含まれる部分画像をそれぞれ抽出するステップと、参照画像から抽出された第１部分画像と被評価画像から抽出された第２部分画像とを比較することで両部分画像の間の差異を示す差異画像を生成するステップと、第１部分画像と差異画像との間の類似度を算出するステップと、算出された類似度に基づいて差異画像を補正することで評価結果を生成するステップと、評価結果に基づいて、圧縮処理に使用されるパラメータを決定するステップとを含む。

この発明のさらに別の局面に従えば、画像のプリントのためのパラメータを決定する画像処理方法を提供する。本画像処理方法は、画像圧縮の対象になる画像を参照画像に設定するとともに、当該参照画像をプリントして得られた画像を被評価画像に設定するステップと、参照画像および評価の対象となる被評価画像から、注目部分および当該注目部分を中心として人の視覚特性に基づいて定められる周辺部分に含まれる部分画像をそれぞれ抽出するステップと、参照画像から抽出された第１部分画像と被評価画像から抽出された第２部分画像とを比較することで両部分画像の間の差異を示す差異画像を生成するステップと、第１部分画像と差異画像との間の類似度を算出するステップと、算出された類似度に基づいて差異画像を補正することで評価結果を生成するステップと、評価結果に基づいて、プリントに使用されるパラメータを決定するステップとを含む。

この発明のさらに別の局面に従えば、所与の参照画像に基づいて画質を評価する画像処理装置を提供する。本画像処理装置は、参照画像および評価の対象となる被評価画像から、注目部分および当該注目部分を中心として人の視覚特性に基づいて定められる周辺部分に含まれる部分画像をそれぞれ抽出する手段と、参照画像から抽出された第１部分画像と被評価画像から抽出された第２部分画像とを比較することで両部分画像の間の差異を示す差異画像を生成する手段と、第１部分画像と差異画像との間の類似度を算出する手段と、算出された類似度に基づいて差異画像を補正することで評価結果を生成する手段とを含む。

本発明によれば、マスク効果のような画像内における信号間の相互作用を反映しつつ画像の画質を高精度に評価できる。

マスク効果を説明するための図である。この発明の実施の形態に従う画像評価方法における全体処理概要を示す図である。コンピュータを用いて本実施の形態に従う画像評価方法を提供する場合のハードウェア構成の一例を示す図である。この発明の関連する画質評価の処理手順を示すブロック図である。この発明の実施の形態に従う画質評価の処理手順を示すブロック図である。人の視野を説明するための概念図である。抽出される注目部分とその周辺部分とを説明するための概念図である。人の視野の中心からの偏心角と視力との関係を示す図である。３次元平面上にプロットしたガウス関数の特性を示す図である。３次元平面上にプロットしたガボール関数の特性を示す図である。２次元画像に対する周波数変換および逆周波数変換の処理を説明するための図である。周波数変換後の結果を周波数空間上に表わした場合の例を示す図である。類似成分の抽出処理を説明するための図である。抽出した類似成分を評価するための処理を説明するための図である。この発明の実施の形態に従う画像評価方法の適用例１を示すブロック図である。この発明の実施の形態に従う画像評価方法の適用例１の処理手順を示すフローチャートである。この発明の実施の形態に従う画像評価方法の適用例２を示す処理概要を示す図である。この発明の実施の形態に従う画像評価方法の適用例３−１を示す処理概要を示す図である。この発明の実施の形態に従う画像評価方法の適用例３−２を示す処理概要を示す図である。

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

＜Ａ．マスク効果＞
まず、本実施の形態に従う画像評価方法において取扱う「マスク効果」について説明する。

図１は、マスク効果を説明するための図である。なお、図１は、Zhou Wang and Alan C. Bovik, "Modern Image Quality Assessment", SYNTHESIS LECTURES ON IMAGE, VIDEO & MULTIMEDIA PROCESSING, MORGAN & CLAYPOOL PUBLISHERSのｐｐ．８−９に記載されている内容を一部手直しして引用したものである。

図１には、２つの原画像に対して、同一のノイズを加えた結果を示す。より具体的には、図１（ａ）および図１（ｃ）に示す２つの原画像に対して、図１（ｅ）に示すノイズ画像を加えたものが、それぞれ図１（ｂ）および図１（ｄ）に相当する。なお、図１（ｅ）に示すノイズ画像は、図１（ａ）に示す原画像と同一（相関度が「１」である）であるとする。

図１（ｂ）に示す画像と、図１（ｄ）に示す画像とを比較すると、図１（ｂ）に示す画像では、図１（ｅ）に示すノイズ画像の影響は目立たないが、図１（ｄ）に示す画像では、図１（ｅ）に示すノイズ画像の影響が目立っている。

このように画像中の存在物（マスカー）によって他のものの見え方が小さくなる効果を「マスク効果」と称する。

複雑さの度合いが大きな部分と、複雑さの度合いが小さな部分とが原画像に混在するような場合には、複雑さの度合いが小さな部分において、マスク効果はより大きくなる。また、上述したように、原画像とノイズ画像（原画像とノイズ加算後の画像との間の差分に相当）との間の類似度の大きさによっても変化する。すなわち、原画像とノイズ画像との間の類似度が高い（両画像が似ている）場合には、マスク効果は相対的に大きくなり、原画像とノイズ画像との間の類似度が低い（両画像が似ていない）場合には、マスク効果は相対的に小さくなる。

本実施の形態に従う画像評価方法では、このようなマスク効果の影響をも考慮して、画質を評価する。

これに対して、従来から画質の評価方法として採用されている、信号の差異統計値を用いた方法では、画像中の位置情報を無視して誤差の大きさを統計的に扱うので、このようなマスク効果を評価することができない。

たとえば、信号の差異統計値として代表的な統計値である平均二乗誤差ＭＳＥ（Mean Square Error）では、（１．１）式および（１．２）式に示すような数式に従って、画質指標ＰＳＮＲが算出される。

（１．１）式および（１．２）式に示すように、画質指標ＰＳＮＲは位置情報を無視して算出されるので、画質指標ＰＳＮＲが同じ値であっても、ノイズ画像がどのようなタイプの劣化であるかによって、劣化の度合いが全く違って見える。

これまで、このようなノイズの構造の違いによる見え方の差は、人の視覚の周波数応答特性を考慮して補正することによって評価されてきた。また、画像に含まれる信号の差異と、実際に人が見ることのできる色の差異との関係は、必ずしも一定ではない。そのため、Ｌ＊ａ＊ｂ＊表色系の色に変換した上で、ＣＩＥ２０００色差式などを用いて、評価がなされてきた。

しかしながら、上述したように、マスク効果は、画像の位置に依存して異なる効果を発揮するので、画像内の位置情報が失われる周波数空間のみでその効果の大きさを評価することはできない。

そこで、本実施の形態に従う画像評価方法は、評価の基準となる参照画像と評価対象である被評価画像との間の差異に対して、参照画像との間の類似度を評価することで、被評価画像に含まれるノイズ成分によるマスク効果を評価結果に反映する。

すなわち、参照画像と被評価画像とを比較して、被評価画像の画質を評価する場合、参照画像に含まれるそれぞれの信号と被評価画像に含まれるそれぞれの信号との差分を統計的に処理するだけではなく、以下に示す３つの視覚特性を考慮する。（１）画像信号の差異によって引き起こされる色の見えの差、（２）参照画像と評価画像との差異の構造が視覚にもたらす効果、（３）画像自身の複雑さが増すほど、画像間の差異が見出されにくくなるマスク効果。

＜Ｂ．全体処理概要＞
図２は、この発明の実施の形態に従う画像評価方法における全体処理概要を示す図である。図２を参照して、本画像評価方法では、所与の参照画像２（画質劣化がないとみなせる原画像）と、評価の対象となる被評価画像４とを画質評価ロジック１０に入力し、画質評価ロジック１０が後述するような処理手順によって生成した評価結果を出力する。この評価結果は、被評価画像の画質の程度を示すものであり、典型的には、両画像を構成する各画素についての差異を示す値を対応する画素に割当てた差分画像や、当該差分画像についての統計値などである。

＜Ｃ．ハードウェア構成＞
本実施の形態に従う画像評価方法は、典型的には、汎用的なアーキテクチャを有しているコンピュータが、予めインストールされたプログラムを実行することで提供される。このような汎用的なコンピュータを利用する場合には、本実施の形態に従う画像評価方法を提供するためのアプリケーションに加えて、コンピュータの基本的な機能を提供するためのＯＳ（Operating System）がインストールされていてもよい。この場合には、上記のプログラムは、ＯＳの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。すなわち、本実施の形態に従う画像評価方法を提供するプログラム自体は、上記のようなモジュールを含んでおらず、ＯＳと協働して処理が実行される。また、提供されるプログラムとしては、このような一部のモジュールを含まない形態であってもよい。

さらに、提供されるプログラムは、他のプログラムの一部に組み込まれたものであってもよい。その場合にも、プログラム自体には、上記のような組み合わせられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。すなわち、提供されるプログラムとしては、このような他のプログラムに組込まれた形態であってもよい。なお、プログラムの実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。

図３には、コンピュータを用いて本実施の形態に従う画像評価方法を提供する場合のハードウェア構成の一例を示す。

図３を参照して、本実施の形態に従うコンピュータＰＣは、ＣＰＵ（Central Processing Unit）３００と、メモリ３０２と、ＨＤＤ（Hard Disk Drive）３０４と、ＦＤ（Flexible Disk）ドライブ３０６と、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）ドライブ３０８と、入力装置３１０と、出力装置３１２と、通信Ｉ／Ｆ（インターフェイス：Interface）３１４とを含む。なお、これらの部位は、内部バス３１６を介して互いに接続される。

コンピュータＰＣでは、ＣＰＵ３００が、ＨＤＤ３０４などに予め格納されているプログラムをメモリ３０２などに展開して実行することで、本実施の形態に従う画像評価方法を実現する。

メモリ３０２は、典型的には、揮発性の半導体メモリであり、プログラムや各種変数などを一時記憶するためのワークメモリとして使用される。ＨＤＤ３０４は、典型的には、不揮発性の磁気記憶装置であり、参照画像や被評価画像などを記憶する。ＦＤドライブ３０６およびＣＤ−ＲＯＭドライブ３０８は、それぞれＦＤおよびＣＤ−ＲＯＭに担持されて配布されるプログラムを読み出して、ＨＤＤ３０４などへ格納する。

入力装置３１０は、典型的には、キーボード、マウス、タッチパネル、ポインタなどの、ユーザ操作を受付けるユーザインターフェイスである。出力装置３１２は、典型的には、ディスプレイやプリンタなどの、評価結果などを出力するためのデバイスである。

通信Ｉ／Ｆ３１４は、典型的にはイーサネット（登録商標）といった汎用的な通信プロトコルをサポートし、ネットワークを介して他のコンピュータや画像形成装置などから参照画像および／または被評価画像を受け取る。さらに、コンピュータＰＣで実行されるプログラムを外部に配置されたサーバ装置からネットワークを介して配信する場合には、通信Ｉ／Ｆ３１４を通じて、受信されたプログラムがＨＤＤ３０４などへ格納される。

＜Ｄ．基本処理例＞
まず、本実施の形態に従う画像評価方法の基本処理例について、関連する評価方法と対比して説明する。図４は、この発明の関連する画質評価の処理手順を示すブロック図である。図５は、この発明の実施の形態に従う画質評価の処理手順を示すブロック図である。
（ｄ１．関連技術）
まず、図４を参照して、本発明に関連する従来の画質評価方法の処理手順について説明する。図４に示す画質評価ロジック２０（図２）は、人の視覚に基づく見え方を考慮して、参照画像２および被評価画像４を補正した上で、色差式を用いて画質を評価する。

具体的には、参照画像２に対する前処理として、反対色応答変換２０１と、フーリエ変換２０２と、周波数応答補正２０３と、フーリエ逆変換２０４と、反対色応答変換２０５とを含む。同様に、被評価画像４に対する前処理として、反対色応答変換２１１と、フーリエ変換２１２と、周波数応答補正２１３と、フーリエ逆変換２１４と、反対色応答変換２１５とを含む。

反対色応答変換２０１は、参照画像２に対して、人の目の色応答特性を反映する補正を行なう。より具体的には、人の目は受光体として３つの錐体（Ｌ，Ｍ，Ｓ錐体）を有しており、各錐体で生じる３種類の色応答が網膜内の神経細胞で処理されて脳へ伝送されると考えられている。そこで、反対色応答変換２０１は、参照画像２に含まれる信号を、これらの３つの色応答（赤／緑応答、青／黄応答、輝度応答）に相当する成分にそれぞれ変換する。

フーリエ変換２０２は、反対色応答変換２０１により生成された３つの色応答を周波数領域（波長領域）の情報に変換する。

周波数応答補正２０３は、フーリエ変換２０２により得られた周波数領域における情報に対して、人の目の感度特性（周波数応答特性）を反映する補正を行なう。

フーリエ逆変換２０４は、周波数応答補正により補正された後の周波数領域における情報を２次元画像の情報に変換する。

反対色応答変換２０５は、フーリエ逆変換２０４により得られた２次元画像の情報を、元のＬ＊ａ＊ｂ＊表色系の値に変換する。そして、反対色応答変換２０５は、変換結果を色差式２０６へ出力する。

反対色応答変換２１１、フーリエ変換２１２、周波数応答補正２１３、フーリエ逆変換２１４、および、反対色応答変換２１５についても、上述の反対色応答変換２０１、フーリエ変換２０２、周波数応答補正２０３、フーリエ逆変換２０４、および、反対色応答変換２０５とそれぞれ同様の処理を行なう。

すなわち、画質評価ロジック２０では、参照画像２および被評価画像４に対して、等価な前処理が実行される。

色差式２０６は、反対色応答変換２０５および反対色応答変換２１５によりそれぞれ出力される結果を用いて、参照画像２と被評価画像４との間の色の差異を評価する。好ましくは、色差式２０６では、ＣＩＥ２０００色差式を用いて評価が行なわれる。そして、色差式２０６により算出された評価結果が出力される。
（ｄ２．ＣＩＥ２０００色差式）
ここで、ＣＩＥ２０００色差式について説明する。このＣＩＥ２０００色差式は、Ｌ＊ａ＊ｂ＊表色系において課題となっていた、測定結果と視感評価との差異を補正できる色差式である。このＣＩＥ２０００色差式では、２つの画像（色）間における明度差ΔＬ＊、彩度差ΔＣ＊、色相差△Ｈ＊を用いて、重価係数（ＳＬ，ＳＣ，ＳＨ）およびパラメトリック係数と呼ばれる定数（ＫＬ，ＫＣ，ＫＨ）などの補正を加える。より具体的には、ＣＩＥ２０００色差式は、（２）式のように表される。なお、パラメトリック係数（ＫＬ，ＫＣ，ＫＨ）は、試験条件によって異なる値に設定される。また、（２）式において、記号の上にバーが付加されている値は、２つの画像（色）間における色差対の平均値を示す。

（２）式の重価係数（ＳＬ，ＳＣ，ＳＨ）の値は、（３．１）〜（３．４）式で定義される。

また、ＲＴ（ローテーション関数）の値は、（４．１）〜（４．３）式に従って算出される。

（ｄ３．本実施の形態に従う処理手順）
次に、本実施の形態に従う画質評価の処理手順について説明する。図５に示す画質評価ロジック１０（図２）は、上述したマスク効果を評価するため、参照画像２の部分画像と被評価画像４の対応する部分画像との間の差異を示す情報（典型的には、差分画像）が参照画像２の部分画像に対してどの程度類似しているか（および、どの程度相違しているか）に応じて、評価結果を補正する。

より具体的には、画質評価ロジック１０は、注目部分抽出１１および１２と、差分画像算出１３と、類似度算出１４と、マスク効果補正１５とを含む。

注目部分抽出１１は、参照画像２から、注目部分および当該注目部分を中心として人の視覚特性に基づいて定められる周辺部分に含まれる部分画像を抽出する。同様に、注目部分抽出１２は、被評価画像４から、対応する注目部分および当該注目部分を中心として人の視覚特性に基づいて定められる周辺部分に含まれる部分画像を抽出する。

すなわち、マスク効果の大きさは、画像のある部分（注目部分）の状態のみに基づいて定まるのではなく、当該注目部分を含む、人の視野全体の状態に基づいて定まる。そのため、各注目点におけるマスク効果を評価するために、当該注目点と、その周辺画素の画像情報を、人の視覚特性を考慮して抽出する。言い換えれば、マスク効果は、主に、人が一度に見ることのできる範囲内で生じるので、これに相当する操作を行なう。

差分画像算出１３は、注目部分抽出１１によって抽出された参照画像２の部分画像と、注目部分抽出１２によって抽出された被評価画像４の部分画像とを比較することで両部分画像の間の差異を示す差異画像を生成する。この差異画像がノイズ成分に相当する。典型的には、差分画像算出１３は、両部分画像の間の差分をとることで、差分画像を算出する。なお、差分画像の算出時には、人の目の視覚特性を考慮するのが好ましい。

類似度算出１４は、差分画像算出１３により算出された差分画像と、当該差分画像の元となった参照画像２の部分画像との間の類似度を算出する。より具体的には、類似度算出１４は、両画像間の類似度合いを算出するための類似成分抽出と、両画像間の相違度合いを算出するための相違成分抽出とを含む。

マスク効果補正１５は、類似度算出１４により算出された類似度に基づいて、差分画像を補正することで評価結果を生成する。これは、ノイズ成分の見え方は、ノイズ成分だけではなく、元画像の複雑さの度合いと、ノイズ成分と元画像との間の類似性によって異なるので、これらを反映するように差分画像が補正される。すなわち、マスク効果補正１５は、類似成分抽出によって算出された両画像間の類似度合いが大きいほどマスク効果が相対的に小さくなるように補正し、相違成分抽出によって算出された両画像間の相違度合いが大きいほどマスク効果を相対的に大きくなるように補正する。そして、マスク効果の量が補正された差分画像が評価結果として出力される。

なお、上述したように、図５に示す画質評価ロジック１０では、参照画像２および被評価画像４に含まれる注目部分の単位で評価結果が算出される。そのため、典型的な実装においては、参照画像２および被評価画像４に設定される注目部分のすべてについての評価結果を算出した上で、これらの算出した評価結果をまとめて出力してもよい。また、理想的には、注目部分は１画素単位で設定することが好ましいが、ハードウェアの処理能力や処理時間の制約などに応じて、複数画素を１つの注目部分として扱ってもよい。この場合には、同一の注目部分に含まれるすべての画素については、同じ評価結果となる。

＜Ｅ．注目部分抽出＞
次に、図５に示す注目部分抽出１１および１２の処理の詳細について説明する。

図６は、人の視野を説明するための概念図である。図７は、抽出される注目部分とその周辺部分とを説明するための概念図である。図８は、人の視野の中心からの偏心角と視力との関係を示す図である。図９は、３次元平面上にプロットしたガウス関数の特性を示す図である。図１０は、３次元平面上にプロットしたガボール関数の特性を示す図である。

図６に示すような人の目から取り入れられる視覚情報は、視野の中心部で最も密度が高く、中心から離れるにつれて、すなわち偏心角が大きくなるにつれて、急速に密度が下がっていく。すなわち、人の視覚特性によれば、視野全体が均等に見えているわけではない。また、上述のマスク効果のような視覚効果は、主にこの視野範囲内で生じる。

そこで、図７に示すように、注目部分抽出１１および１２は、それぞれ参照画像２および被評価画像４に対して注目部分を順次設定するとともに、その注目部分を中心とする周辺部分を設定する。そして、注目部分抽出１１および１２は、注目部分および周辺部分に含まれる画素の画像情報を順次抽出する。当然のことながら、注目部分抽出１１および１２は、それぞれ参照画像２および被評価画像４に対して比較すべき画素同士をそれぞれ注目画素に設定する。

図７には、１画素単位で注目を設定する例を示すが、所定数の画素を１単位として注目部分を順次設定してもよい。

さらに、網膜内の光を感じる受光体である錐体の分布密度が図８に示すような特性を有しているので、この特性に沿って画像情報に対して重み付けを行なうことが好ましい。すなわち、画質を評価する際には、図８に示す錐体の分布密度に沿って、注目部分（評価を行なう点）とその周辺部分にある画像情報（画像データ）を抽出することが好ましい。

実際にソフトウェアにより実装する場合には、図８（ａ）に示すような、偏心角が大きくなるにつれてだんだん小さくなるような抽出関数を用いて補正するのが好ましい。

代替的に、２次元平面についての円錐関数を用いることで、後述する周波数解析（典型的には、フーリエ変換処理）において、現実には含まれない高周波成分（折り返し成分など）による誤差の発生といった悪影響を回避できる。このような円錐関数としては、図８（ｂ）および図９に示すような、ガウス関数を用いることができる。

さらに、図１０に示すガボール関数のような、波の分布が視覚特性に近くなるような関数を選んでウェーブレット変換を行っても同様の結果を得ることができる。

なお、周辺視野の視力は極端に低く、影響が小さいので、ハードウェアの処理能力や評価精度などによっては、無視するようにしてもよい。これにより、処理量を低減することができる。最も単純な方法として、最も良く見えるとされている「２°視野範囲」または「１０°視野範囲」に含まれる画像情報のみを抽出するようにしてもよい。このとき、画像の内容などに応じて、注目度が高い画像部分には狭い視野を設定し、注目度が低い画像部分には広い視野を設定するようにしてもよい。

より具体的には、予め視野の特性を異ならせた複数の特性関数を用意しておき、参照画像（または、被評価画像）に含まれる周波数成分に応じて、適用する特性関数を選択してもよい。具体的には、参照画像が文字画像のような細部が電要な画像については視野範囲を０．３°程度に設定し、一方で、参照画像が自然画であるような場合については視野範囲を２０°程度に設定する。このように参照画像が文字画像および自然画のいずれであるかについては、参照画像に含まれる空間周波数に基づいて判断することができる。すなわち、文字画像では、空間周波数の高い成分が相対的に多く、これに対して、自然画では、空間周波数の低い成分が相対的に多くなる（あるいは、各周波数成分が全体的に分布する）。

＜Ｆ．類似度算出およびマスク効果補正＞
次に、図５に示す類似度算出１４およびマスク効果補正１５の処理の詳細について説明する。典型的に、類似度算出１４では、差分画像と当該差分画像の元となった参照画像２の部分画像との間の類似度を、以下のいずれかの方法に従って算出する。
（ｆ１．相関値算出）
図１１は、２次元画像に対する周波数変換および逆周波数変換の処理を説明するための図である。図１２は、周波数変換後の結果を周波数空間上に表わした場合の例を示す図である。

第１の方法として、差分画像と当該差分画像の元となった参照画像２の部分画像との間の類似度として、両画像の間の相関値を用いることができる。

両画像間の相関性を算出するには、周波数解析を用いる方法が最も一般的である。すなわち、類似度算出１４は、注目部分を中心にして人の視覚特性に基づいて抽出された画像情報（２次元画像）に対して周波数変換（典型的には、フーリエ変換）を実行する。この周波数変換によって、図１１に示すように、２次元の原画像に含まれる周波数成分の分布が算出される。

図１２のように、各成分の周波数空間での位置および波動の関係は、原点からの方向が波動方向に対応し、原点からの距離が周波数に対応する。この周波数空間をさらに極座標系に変換する。この極座標系においては、その間の距離が近いほど、波の方向および周波数が互いに近似することになるので、画像に含まれる波の成分として類似することなる。一方、その間の距離が遠いほど、画像に含まれる波の成分の間は類似していないことになる。

したがって、周波数変換して得られる画像成分間の位相差が、０°または１８０°に近いほど類似しており、位相差が９０°または−９０°に近いほど類似度が低いと判断できる。言い換えると、波の進行方向、周波数、および、位相角を算出することで、比較対象の画像間に含まれる成分の類似度（相関値）を算出する。
（ｆ２．類似成分算出）
図１３は、類似成分の抽出処理を説明するための図である。図１４は、抽出した類似成分を評価するための処理を説明するための図である。

第２の方法として、周波数領域における、差分画像と当該差分画像の元となった参照画像２の部分画像に含まれる成分との間で、類似する成分（類似成分）を抽出して、差分画像と当該差分画像の元となった参照画像２の部分画像との間の類似度としてもよい。

差分画像および当該差分画像の元となった参照画像２の部分画像に含まれる周波数成分を、波の進行方向、周波数、および、位相角をそれぞれ座標とする極座標系にそれぞれに含まれる成分をプロットした例を示す。

なお、図１３には、一部の成分のみを例示的にプロットしているが、実際には、両画像は、それぞれ複数の成分を含む。そのため、周波数および進行方向が近似しており、かつ位相が同じ大きさにある成分を抽出することが好ましい。一例として、周波数が近似していると判断する範囲としては、±１０％程度から７０％程度までに設定することが好ましく、進行方向が近似していると判断する範囲としては、±４°程度から±２５°程度までに設定することが好ましい。また、位相については、対象の成分と同じ大きさの位相を有する成分と、対象の成分に対して９０°だけ異なる位相を有する成分との２成分に分類する、あるいは、対象の成分と同じ大きさの位相を有する成分と、対象の成分に対して±６０°だけ異なる位相を有する成分との２成分に分類するなどの方法を採用することができる。

さらに、この場合には、類似しないと判断された成分も、弱いながらもマスク効果を生じるので、残った成分についてもマスク効果を算出して補正するのが好ましい。このような補正の方法の一例として、偏差が大きくなるほどその重みが漸減するような重み関数を用いることができる。

すなわち、差分画像と当該差分画像の元となった参照画像２の部分画像にそれぞれ含まれる複数の成分をグルーピングして、類似する成分および類似しない成分に分離し、各成分間の偏差に基づいて、図１４に示す特性に基づいて重み係数を決定するとともに、決定した重み係数を用いて、類似度を算出することになる。
（ｆ３．前処理）
上述のような類似度を算出する前処理として、人の目の周波数応答特性に基づいて補正することが好ましい。より具体的には、それぞれの画像に対して、人の目の色応答特性を反映する補正を行ない、各成分に対応する視覚の周波数応答で重み付けを行なう。

このような前処理の詳細については、文献１「Xuemei Zhang and Brian A. Wandell "A Spatial Extension of CIELAB for Digital Color Image Reproduction", Proceedings of the SID Symposiums(1996)」、文献２「Garrett M. Johnson. Mark D. Fairchild "A Top Down Description of S-CIELAB and CIEDE2000"、および特開平９−２８４４２９号公報などを参照されたい。

＜Ｇ．評価結果＞
上述した処理によって、人の目で見たときの参照画像と評価画像と差異の分布に相当する、差分画像が出力として得られる。このように、マスク効果を反映した差分画像として得られた評価データは、画像のどの部分にどの程度の再現性劣化が見られたかを一見して評価するのに最適である。

適切な圧縮パラメータを探索するようなアプリケーションでは、差分画像を統計処理することで１次元のデータを算出してもよい。このような統計処理の一例としては、（５）式に示すような数式に従って算出されるＬｐノルムを用いることができる。なお、上述の平均二乗誤差ＭＳＥは、パラメータｐ＝２の場合に相当する。

上述のＬｐノルムにおいて、パラメータｐは、１．５〜４程度とするのが好ましい。なお、パラメータｐ＝１とすると、算出されるＬｐノルムは平均値に相当し、パラメータｐ＝∞とすると、Ｌｐノルムは最大値に相当する。

＜Ｈ．適用例１＞
次に、上述のような画質評価方法を画像評価装置として実装した場合の適用例について説明する。

なお、原画像を参照画像とするとともに、被評価画像に圧縮処理などのロスを伴う画像処理後や通信経路を通過後の画像データとすれば、本実施の形態に従う画質評価方法は、画像の再現性評価に相当する。また、参照画像および評価画像を同一の被評価物を、時間をあけて撮影して得られたそれぞれの画像データとすれば、本実施の形態に従う画質評価方法は、当該被評価物についての劣化評価法に相当する。
（ｈ１．機能ブロック）
図１５は、この発明の実施の形態に従う画像評価方法の適用例１を示すブロック図である。

図１５を参照して、適用例１に従う画像評価装置４００を構成する画質評価ロジック２０は、注目部分抽出モジュール１０１および１１１と、反対色応答変換モジュール１０２および１１２と、フーリエ変換モジュール１０３および１１３と、視感度周波数応答補正モジュール１０４および１１４と、差分抽出モジュール１０５と、類似度算出モジュール１０６と、マスク効果補正モジュール１０７と、フーリエ逆変換モジュール１０８および１１８と、Ｌ＊ａ＊ｂ＊変換モジュール１０９および１１９と、色差評価モジュール１１０と、加算モジュール１２０とを含む。

上記のモジュールのうち、注目部分抽出モジュール１０１、反対色応答変換モジュール１０２、フーリエ変換モジュール１０３、および、視感度周波数応答補正モジュール１０４は、参照画像２に対する前処理を実行する。同様に、注目部分抽出モジュール１１１、反対色応答変換モジュール１１２、フーリエ変換モジュール１１３、および、視感度周波数応答補正モジュール１１４は、被評価画像４に対する前処理を実行する。

すなわち、注目部分抽出モジュール１０１は、参照画像２から、注目部分および当該注目部分を中心として人の視覚特性に基づいて定められる周辺部分に含まれる部分画像を抽出する。このとき、注目部分抽出モジュール１０１は、図７〜図１０に示すように、注目部分を中心として人の視覚特性に応じた、偏心角について所定の減衰特性を有する関数を用いて画像情報を重み付けする。

さらに、注目部分抽出モジュール１０１は、複数の関数から、参照画像に含まれる周波数成分（典型的には、文字画像および自然画のいずれであるか）に応じて、適用する関数を選択してもよい。

同様に、注目部分抽出モジュール１１１は、被評価画像４から、注目部分抽出モジュール１０１が設定した注目部分と対応する領域を注目部分に設定し、さらに、当該注目部分および当該注目部分を中心として人の視覚特性に基づいて定められる周辺部分に含まれる部分画像を抽出する。その他の処理については、上述の注目部分抽出モジュール１０１と同様であるので、詳細な説明は繰返さない。

反対色応答変換モジュール１０２は、注目部分抽出モジュール１０１により抽出された部分画像に対して、人の目の色応答特性を反映する補正を行なう。すなわち、反対色応答変換モジュール１０２は、参照画像２から抽出された各部分画像を、人の視覚において色の見え方の差が実質的に均等となるように補正する。同様に、反対色応答変換モジュール１１２は、注目部分抽出モジュール１１１により抽出された部分画像に対して、人の目の色応答特性を反映する補正を行なう。

フーリエ変換モジュール１０３は、反対色応答変換モジュール１０２により補正された後の部分画像（３つの色応答）を周波数領域（波長領域）の情報に変換する。これは、後述する、視感度周波数応答補正モジュール１０４による補正に適した空間に情報を変換するための処理である。同様に、フーリエ変換モジュール１１３は、反対色応答変換モジュール１１２により補正された後の部分画像（３つの色応答）を周波数領域（波長領域）の情報に変換する。

視感度周波数応答補正モジュール１０４は、フーリエ変換モジュール１０３により生成された周波数領域の画像情報に対して、人の視覚の周波数応答特性に基づく補正を行なう。より具体的には、視感度周波数応答補正モジュール１０４は、反対色応答変換モジュール１０２により生成される３つの色応答（赤／緑応答、青／黄応答、輝度応答）のうち、輝度応答に対して、バンドパスフィルタを施し、残りの色応答（赤／緑応答および青／黄応答）に対して、ローパスフィルタを施す。

すなわち、視感度周波数応答補正モジュール１０４は、参照画像に含まれる明るさ成分に対しバンドパスフィルタを適用するとともに、他の成分に対して、ローパスフィルタを適用する。

同様に、視感度周波数応答補正モジュール１１４は、フーリエ変換モジュール１１３により生成された周波数領域の画像情報に対して、人の視覚の周波数応答特性に基づく補正を行なう。その他の処理については、上述の視感度周波数応答補正モジュール１０４と同様であるので、詳細な説明は繰返さない。

差分抽出モジュール１０５は、参照画像２から抽出されて各種の補正処理が行われた後の部分画像と、被評価画像４から抽出されて同様に各種の補正処理が行われた後の部分画像とを比較することで、両部分画像の間の差異を示す差異画像を生成する。より具体的には、差分抽出モジュール１０５は、補正後の参照画像２（の部分画像）と補正後の被評価画像４（の部分画像）との間で差分を算出する。

なお、差分抽出モジュール１０５において算出される差分画像は、均等色空間において定義されることが好ましく、また均等色空間を採用することで、後述の色差評価モジュール１１０において均等色差式を採用できる。なお、画像評価装置４００においては、典型的には、Ｌ＊ａ＊ｂ＊空間が均等色空間として採用される。

類似度算出モジュール１０６は、参照画像２から抽出された部分画像と差分画像との間の類似度を算出する。上述したように、類似度の算出方法としては、相関値の算出、または、類似成分の抽出を採用することができる。

そのため、前者の方法によれば、類似度算出モジュール１０６は、参照画像２から抽出された部分画像と差分画像との間の相関値を算出する。この相関値の算出は、典型的には、周波数解析を用いて実行される。

また、後者の方法によれば、類似度算出モジュール１０６は、周波数領域における、参照画像２から抽出された部分画像に含まれる成分と差分画像に含まれる成分との間で、類似する成分を抽出する。このとき、類似度算出モジュール１０６は、周波数領域において、周波数および位相が互いに類似する成分を抽出するとともに、抽出したそれぞれの成分を重み付けして評価する（上述の図１３および図１４参照）。

なお、類似度算出モジュール１０６は、上述のような類似成分を抽出するための類似成分抽出ロジック１０６ａに加えて、非類似成分を抽出するための相違成分抽出ロジック１０６ｂを含んでいてもよい。

類似度算出モジュール１０６により算出された、類似度（および、場合によっては、非類似度についても）は、マスク効果補正モジュール１０７へ与えられる。

マスク効果補正モジュール１０７は、類似度算出モジュール１０６からの類似度（および、非類似度）に基づいて各差分画像を補正する。より具体的には、マスク効果補正モジュール１０７は、類似度が相対的に大きければ、差分抽出モジュール１０５において算出される差分画像において生じるマスク効果が相対的に大きいので、当該差分画像が示す、参照画像２と被評価画像４との間の相違の度合いを低減するように補正する。さらに、マスク効果補正モジュール１０７は、非類似度が相対的に大きければ、差分抽出モジュール１０５において算出される差分画像において生じるマスク効果が相対的に小さいので、当該差分画像が示す、参照画像２と被評価画像４との間の相違の度合いを増加するように補正してもよい。

マスク効果補正モジュール１０７により補正された後の差分画像は、加算モジュール１２０へ与えられ、参照画像２から抽出された部分画像に加算される。すなわち、加算モジュール１２０からは、参照画像２から抽出された部分画像に差分画像（ノイズ）が重畳された状態の部分画像が出力される。この操作は、後述する色差式を利用するための前処理に相当する。

フーリエ逆変換モジュール１０８は、参照画像２から抽出された部分画像（周波数領域）に対して、フーリエ逆変換を行なって、２次元配置の画像情報に戻す。さらに、Ｌ＊ａ＊ｂ＊変換モジュール１０９は、フーリエ逆変換モジュール１０８からの画像情報を均等色空間であるＬ＊ａ＊ｂ＊空間上の値に変換する。これは、後述する色差式では、Ｌ＊ａ＊ｂ＊表色系の値が利用されるからである。

同様に、フーリエ逆変換モジュール１１８は、加算モジュール１２０から出力される評価対象の部分画像（参照画像２から抽出された部分画像＋差分画像）に対して、フーリエ逆変換を行なって、２次元配置の画像情報に戻す。さらに、Ｌ＊ａ＊ｂ＊変換モジュール１１９は、フーリエ逆変換モジュール１１８からの画像情報を均等色空間であるＬ＊ａ＊ｂ＊空間上の値に変換する。

色差評価モジュール１１０は、参照画像２から抽出された部分画像と、参照画像２から抽出された部分画像に評価対象のノイズ成分が加算された部分画像とを、所与の色差式を用いて評価する。具体的には、色差評価モジュール１１０は、上述のＣＩＥ２０００色差式に従って、各注目部分についての色差を算出する。

色差評価モジュール１１０は、評価結果として、各注目部分について算出した色差を配列して得られる画像を表示してもよい。すなわち、色差評価モジュール１１０は、補正後の差分画像の内容を示す画像を表示する。

あるいは、色差評価モジュール１１０は、評価結果として、各注目部分について算出した色差を、上述したＬｐノルムなどを用いて統計処理した結果を出力してもよい。すなわち、色差評価モジュール１１０は、補正後の差分画像に含まれる成分を統計処理した結果を出力する。

以上のような機能ブロックにより、参照画像２に基づく、被評価画像４の画質評価が行なわれる。
（ｈ２．処理手順）
図１６は、この発明の実施の形態に従う画像評価方法の適用例１の処理手順を示すフローチャートである。なお、以下に示す各ステップは、典型的には、コンピュータＰＣのＣＰＵ３００がプログラムを実行することで提供される。

図１６を参照して、ステップＳ２において、ＣＰＵ３００は、参照画像２の入力を受付ける。続くステップＳ４において、ＣＰＵ３００は、被評価画像４の入力を受付ける。

ステップＳ６において、ＣＰＵ３００は、注目部分を設定するためのカウンタｉを初期化する。典型的には、ＣＰＵ３００は、カウンタｉに初期値「１」をセットする。

ステップＳ１０において、ＣＰＵ３００は、参照画像２に対して、カウンタｉに対応する位置を注目部分に設定するとともに、当該注目部分を中心とする周辺部分を設定する。続くステップＳ１２において、ＣＰＵ３００は、ステップＳ１０において設定した注目部分および周辺部分に含まれる画像情報（部分画像）を抽出する。さらに続くステップＳ１４において、ステップＳ１２において抽出した部分画像に対して反対色応答変換を行なう。さらに続くステップＳ１６において、ステップＳ１４において変換された反対色応答の信号を周波数変換する。さらに続くステップＳ１８において、ステップＳ１６において周波数変換された結果に対して、視感度周波数応答に基づく補正を行なう。

ステップＳ２０において、ＣＰＵ３００は、被評価画像４に対して、カウンタｉに対応する位置を注目部分に設定するとともに、当該注目部分を中心とする周辺部分を設定する。続くステップＳ２２において、ＣＰＵ３００は、ステップＳ２０において設定した注目部分および周辺部分に含まれる画像情報（部分画像）を抽出する。さらに続くステップＳ２４において、ステップＳ２２において抽出した部分画像に対して反対色応答変換を行なう。さらに続くステップＳ２６において、ステップＳ２４において変換された反対色応答の信号を周波数変換する。さらに続くステップＳ２８において、ステップＳ２６において周波数変換された結果に対して、視感度周波数応答に基づく補正を行なう。

なお、ステップＳ１０〜Ｓ１８の各処理と、ステップＳ２０〜Ｓ２８の各処理とを並行的に実行してもよいし、その実行順序を入れ替えてもよい。

ステップＳ３０において、ＣＰＵ３００は、ステップＳ１８において補正された後の部分画像と、ステップＳ２８において補正された後の部分画像との間の差分画像を生成する。続くステップＳ３２において、ステップＳ１８において補正された後の部分画像と、ステップＳ３０において生成された差分画像との間の類似度を算出する。続くステップＳ３４において、ステップＳ３２において算出された類似度に基づいて、ステップＳ３０において生成された差分画像における相違の度合いを補正する。すなわち、ＣＰＵ３００は、差分画像に生じているマスク効果の度合いに応じて、差分画像を補正する。

ステップＳ４０において、ＣＰＵ３００は、ステップＳ１８において補正された後の部分画像に対して周波数逆変換を行なう。続くステップＳ４２において、ＣＰＵ３００は、ステップＳ４０において得られた周波数逆変換の結果を均等色空間上の値に変換する。

ステップＳ５０において、ＣＰＵ３００は、ステップＳ１８において補正された後の部分画像にステップＳ３４において補正された後の差分画像に加算して、評価対象の部分画像を生成する。続くステップＳ５２において、ＣＰＵ３００は、ステップＳ５０において生成された部分画像に対して周波数逆変換を行なう。続くステップＳ５４において、ＣＰＵ３００は、ステップＳ５２において得られた周波数逆変換の結果を均等色空間上の値に変換する。

ステップＳ６０において、ＣＰＵ３００は、ステップＳ４２において得られた均等色空間上の値（部分画像）と、ステップＳ５４において得られた均等色空間上の値（部分画像）とに対して、ＣＩＥ２０００色差式に従って、現在の注目部分についての色差を算出する。

続くステップＳ６２において、ＣＰＵ３００は、参照画像２（または、被評価画像４）に含まれるすべての部分が注目部分に設定されたか否かを判断する。注目部分に設定されていない部分が残っている場合（ステップＳ６２においてＮＯの場合）には、ＣＰＵ３００は、カウンタｉを１だけインクリメントする（ステップＳ６４）。そして、ステップＳ１０以下の処理が繰り返し実行される。

これに対して、すべての部分が注目部分に設定された場合（ステップＳ６２においてＹＥＳの場合）には、ＣＰＵ３００は、ステップＳ６０において算出された色差の結果についての出力処理を行なう（ステップＳ６６）。そして、処理は終了する。

＜Ｊ．適用例２＞
本実施の形態に従う画質評価方法を被評価物の検査法に適用することもできる。より具体的には、被評価物のあるべき姿あるいは設計値を参照画像にするとともに、当該被評価物をカメラまたはスキャナで撮影して得られた画像データを被参照画像とした上で、本実施の形態に従う画質評価方法を提供することで、当該被評価物の検査を実現できる。

あるいは、同一の被評価物を基準時点で撮影して得られた画像データを参照画像にするとともに、当該被評価物を所定のタイミングで撮影して得られた画像データを被評価画像にした上で、本実施の形態に従う画質評価方法を提供することで、当該被評価物についての経時変化による汚れや色あせなどの見た目の変化を評価できる。

さらに、ある製品の設計データに基づいて参照画像を作成するとともに、当該製品の撮影データを被評価画像とした上で、本実施の形態に従う画質評価方法を提供することで、当該製品が見た目に設計通りにできたかどうか検査することもできる。この場合、色や撮影倍率等を正確に一致させておく必要がある。そのため、照明およびカメラのセッティングなどを調整することで実現してもよいが、電子的な画像処理で補正することで実現してもよい。

図１７は、この発明の実施の形態に従う画像評価方法の適用例２を示す処理概要を示す図である。

図１７を参照して、適用例２に従う検査装置４１０では、ＣＡＤ（Computer Aided Design）データなどの設計値データ４０に対して画像合成４２が実行される。この画像合成４２により生成される画像データが参照画像２として採用される。

並行的に、検査対象の製品などを、カメラを用いて撮影、または、スキャナを用いてスキャンすることで（符号４４）、被評価画像４が生成される。

なお、予備的な処理として、カメラまたはスキャナにより生成される参照画像２中における何らかのオブジェクトが参照画像２内における対応するオブジェクトとその存在位置が一致するように、位置合わせ４６が実行されてもよい。

そして、このように各種処理が実行された後、画質評価ロジック１０（上述したものと同様）が参照画像２と被評価画像４とを比較することで、評価結果６を出力する。この評価結果は、検査対象の製品などが設計値通り作成されているかなどを評価することができる。

＜Ｋ．適用例３−１＞
本実施の形態に従う画質評価方法を画像圧縮に適用することもできる。

図１８は、この発明の実施の形態に従う画像評価方法の適用例３−１を示す処理概要を示す図である。

図１８を参照して、適用例３−１に従う画像圧縮装置４２０では、被圧縮画像８に対して圧縮処理して圧縮データ５８を生成する。まず、被圧縮画像８が参照画像２に設定される。並行して、被圧縮画像８に対して圧縮モデル化５０が実行される。この圧縮モデル化５０によって生成された画像が被評価画像４に設定される。

画質評価ロジック１０（上述したものと同様）が上述のように設定された参照画像２と被評価画像４とを比較することで、評価結果６を出力する。この評価結果６に基づいて、パラメータ設定機能５４が圧縮パラメータを設定する。間引き処理５２は、パラメータ設定機能５４により設定された圧縮パラメータ（間引きパラメータ）に基づいて、圧縮モデル化５０によって生成された画像（被評価画像４と同じ）に対してデータ間引き処理を実行する。

さらに、間引き処理５２によって間引かれた後の画像データに対して符号化５６が行なわれて、圧縮データ５８が生成される。

なお、評価結果の内容によっては、間引き処理が必要ない場合もあり、この場合には、間引き処理はスキップされる。また、一部間引きした画像を評価画像としてもよい。

このような画像圧縮処理の詳細については、特開２００７−３００６０１号公報などを参照されたい。

＜Ｌ．適用例３−２＞
上述のような画像圧縮の方法に代えて、反復的に画像圧縮のパラメータを決定してもよい。

図１９は、この発明の実施の形態に従う画像評価方法の適用例３−２を示す処理概要を示す図である。

図１９を参照して、適用例３−２に従う画像圧縮装置４３０では、被圧縮画像８に対して何らかのパラメータで圧縮処理６０を実行し、圧縮画像データを生成した後、当該圧縮画像データに対して展開処理６２が実行される。この展開処理６２の結果得られる画像データが被評価画像４に設定される。

一方、被圧縮画像８は参照画像２としても設定され、画質評価ロジック１０（上述したものと同様）が上述のように設定された参照画像２と展開処理６２により得られた被評価画像４とを比較することで、評価結果６を出力する。

この評価結果６に基づいて、パラメータ設定機能５４が適切な圧縮パラメータを決定する。このとき、パラメータ設定機能５４が画質を評価して、所定の画質が得られないと判断した場合は、圧縮パラメータを変更して、圧縮処理６０を再度実行するようにしてもよい。

そして、パラメータ設定機能５４が決定した圧縮パラメータに従って、圧縮処理６４が被圧縮画像８に対して圧縮処理を行って圧縮画像６６を得る。そして、この圧縮画像６６が圧縮データ５８として出力される。

図１９に示す構成によれば、処理時間が余分にかかる場合もあるが、画質を維持しながら、より圧縮率の高い圧縮アルゴリズムや圧縮パラメータを選択することができる。

＜Ｍ．適用例４＞
本実施の形態に従う画質評価方法をプリント時のパラメータを決定する処理に適用することもできる。

具体的には、プリント対象の画像データを参照画像に設定し、当該画像データをあるプリントパラメータに従って実際にプリントした結果を撮影などして得られた画像を被評価画像に設定する。

そして、参照画像と被評価画像とを上述の画質評価ロジック１０に従って評価することで、プリントに使用したパラメータが適切であったか否かを判断する。さらに、この処理を反復的に実行することで、ある条件でのプリントに最適なパラメータを決定することもできる。

＜Ｎ．作用効果＞
本実施の形態に従う画像評価方法によれば、参照画像と被評価画像とを比較して生成される差分画像に対して、元の参照画像との間の類似度が算出され、この算出された類似度に基づいて、マスク効果に相当する補正が当該差分画像に対してなされる。このような補正によって、マスク効果のような画像内における信号間の相互作用を反映しつつ画像の画質を高精度で評価することができる。

今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

２参照画像、４被評価画像、８被圧縮画像、１０画質評価ロジック、１０１，１１１注目部分抽出モジュール、１０２，１１２反対色応答変換モジュール、１０３，１１３フーリエ変換モジュール、１０４，１１４視感度周波数応答補正モジュール、１０５差分抽出モジュール、１０６類似度算出モジュール、１０６ａ類似成分抽出ロジック、１０６ｂ相違成分抽出ロジック、１０７マスク効果補正モジュール、１０８，１１８フーリエ逆変換モジュール、１０９，１１９変換モジュール、１１０色差評価モジュール、１２０加算モジュール、３００ＣＰＵ、３０２メモリ、３０６ＦＤドライブ、３０８ＣＤ−ＲＯＭドライブ、３１０入力装置、３１２出力装置、３１４通信Ｉ／Ｆ、３１６内部バス、４００画像評価装置、４１０検査装置、４２０，４３０画像圧縮装置、ＰＣコンピュータ。

Claims

所与の参照画像に基づいて画質を評価する画像評価方法であって、
前記参照画像および評価の対象となる被評価画像から、注目部分および当該注目部分を中心として人の視覚特性に基づいて定められる周辺部分に含まれる部分画像をそれぞれ抽出するステップと、
前記参照画像から抽出された第１部分画像と前記被評価画像から抽出された第２部分画像とを比較することで両部分画像の間の差異を示す差異画像を生成するステップと、
前記第１部分画像と前記差異画像との間の類似度を算出するステップと、
算出された前記類似度に基づいて前記差異画像を補正することで評価結果を生成するステップとを備える、画像評価方法。
前記類似度を算出するステップは、前記第１部分画像と前記差異画像との間の相関値を算出するステップを含む、請求項１に記載の画像評価方法。
前記相関値を算出するステップは、周波数解析を行なうステップを含む、請求項２に記載の画像評価方法。
前記類似度を算出するステップは、周波数領域における、前記第１部分画像に含まれる成分と前記差異画像に含まれる成分との間で、類似する成分を抽出するステップを含む、請求項１に記載の画像評価方法。
前記類似する成分を抽出するステップは、周波数領域において、周波数および位相が互いに類似する成分を抽出するとともに、抽出したそれぞれの成分を重み付けして評価するステップを含む、請求項４に記載の画像評価方法。
前記抽出するステップは、前記注目部分を中心として人の視覚特性に応じた、偏心角について所定の減衰特性を有する関数を用いて重み付けするステップを含む、請求項１〜５のいずれか１項に記載の画像評価方法。
前記抽出するステップは、複数の関数から、前記参照画像に含まれる周波数成分に応じて、適用する関数を選択するステップを含む、請求項６に記載の画像評価方法。
人の視覚において色の見え方の差が実質的に均等となるように、前記参照画像および前記被評価画像を補正するステップをさらに備え、
前記差異画像を生成するステップは、補正後の参照画像と補正後の被評価画像との間で差分を算出するステップを含む、請求項１〜７のいずれか１項に記載の画像評価方法。
前記補正するステップは、人の視覚の周波数応答特性に基づいて補正するステップを含む、請求項８に記載の画像評価方法。
前記人の視覚の周波数応答特性に基づいて補正するステップは、
前記参照画像および前記被評価画像に含まれる明るさ成分に対し、バンドパスフィルタを施すステップと、
前記参照画像および前記被評価画像に含まれる他の成分に対して、ローパスフィルタを施すステップとを含む、請求項９に記載の画像評価方法。
前記評価結果を生成するステップは、補正後の前記差異画像の内容を示す画像を表示するステップを含む、請求項１〜１０のいずれか１項に記載の画像評価方法。
前記評価結果を生成するステップは、補正後の前記差異画像に含まれる成分を統計処理した結果を出力するステップを含む、請求項１〜１１のいずれか１項に記載の画像評価方法。
画像圧縮を行なうための画像処理方法であって、
画像圧縮の対象になる画像を参照画像に設定するとともに、当該参照画像に対して圧縮処理することで得られる画像を被評価画像に設定するステップと、
前記参照画像および評価の対象となる被評価画像から、注目部分および当該注目部分を中心として人の視覚特性に基づいて定められる周辺部分に含まれる部分画像をそれぞれ抽出するステップと、
前記参照画像から抽出された第１部分画像と前記被評価画像から抽出された第２部分画像とを比較することで両部分画像の間の差異を示す差異画像を生成するステップと、
前記第１部分画像と前記差異画像との間の類似度を算出するステップと、
算出された前記類似度に基づいて前記差異画像を補正することで評価結果を生成するステップと、
前記評価結果に基づいて、前記圧縮処理に使用されるパラメータを決定するステップとを備える、画像処理方法。
画像のプリントのためのパラメータを決定する画像処理方法であって、
画像圧縮の対象になる画像を参照画像に設定するとともに、当該参照画像をプリントして得られた画像を被評価画像に設定するステップと、
前記参照画像および評価の対象となる被評価画像から、注目部分および当該注目部分を中心として人の視覚特性に基づいて定められる周辺部分に含まれる部分画像をそれぞれ抽出するステップと、
前記参照画像から抽出された第１部分画像と前記被評価画像から抽出された第２部分画像とを比較することで両部分画像の間の差異を示す差異画像を生成するステップと、
前記第１部分画像と前記差異画像との間の類似度を算出するステップと、
算出された前記類似度に基づいて前記差異画像を補正することで評価結果を生成するステップと、
前記評価結果に基づいて、前記プリントに使用されるパラメータを決定するステップとを備える、画像処理方法。
所与の参照画像に基づいて画質を評価する画像処理装置であって、
前記参照画像および評価の対象となる被評価画像から、注目部分および当該注目部分を中心として人の視覚特性に基づいて定められる周辺部分に含まれる部分画像をそれぞれ抽出する手段と、
前記参照画像から抽出された第１部分画像と前記被評価画像から抽出された第２部分画像とを比較することで両部分画像の間の差異を示す差異画像を生成する手段と、
前記第１部分画像と前記差異画像との間の類似度を算出する手段と、
算出された前記類似度に基づいて前記差異画像を補正することで評価結果を生成する手段とを備える、画像処理装置。