JP2005031769A

JP2005031769A - 画像評価装置、画像評価方法、および同方法のプログラムを記録した記録媒体

Info

Publication number: JP2005031769A
Application number: JP2003193243A
Authority: JP
Inventors: Katsumi Yamaguchi; 勝己山口; Naoko Yamagishi; 奈穂子山岸
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2003-07-07
Filing date: 2003-07-07
Publication date: 2005-02-03

Abstract

【課題】複数のフィルタリング処理の出力結果を用いて心理相関の高い画質評価値を得る。
【解決手段】直交変換手段は、２次元光学情報を２次元の空間周波数成分に変換し平滑化処理する。平滑化処理された２次元周波数成分は、２次元の空間周波数成分との差分をとられてフィルタリング処理が施され、その出力結果から画質評価値算出手段１により画質予測値１が算出される。一方、平滑化処理を施された２次元空間周波数成分もフィルタリング処理が施され、画質評価値算出手段２により画質予測値２が算出される。また、少なくとも平滑化処理の前に予め低周波ノイズ成分低減手段により低周波ノイズ成分が低減される。実空間では、テクスチャの周波数は様々であり、これらを同一処理で除去したり抽出したりすることは困難であるが、周波数空間においては周期性を持つテクスチャはいずれも鋭いピーク部を持つという特徴があるため、メディアンフィルタにより容易に除去可能となる。
【選択図】図９

Description

【０００１】
【発明の属する技術分野】
本発明は、画像評価装置、画像評価方法、および同方法のプログラムを記録した記録媒体に関し、たとえば、ハードコピー画像またはソフトコピー画像や電子画像の画像品質を評価する、画像評価装置、画像評価方法、および同方法のプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来、画像の粒状性（ざらつき、ノイズ）の評価法としては、特許文献１などに示されるように、直交変換により空間周波数成分に変換された画像情報に対して、人間の視覚の空間周波数特性（ＶＴＦ）を乗じた量を用いるという方法が一般的である。
【０００３】
印刷、電子写真、インクジェットなど分野においては、面積階調により画像の濃淡を表現するのが一般的であり、通常、網点、ロゼッタなどと呼ばれる周期的な画像構造、いわゆるテクスチャが画像に内包されている。このテクスチャの影響を除去するために、特許文献２では、粒状度とテクスチャ特徴量の線形１次結合による最終的な粒状度を算出することにより、テクスチャの影響を低減している。なお、上記の粒状度とは、粒状性を定量化した心理物理量を言う。
【０００４】
しかし、テクスチャ抽出法として、複雑で計算時間のかかる同時生起行列を用いる手法を採用しているため、短時間での評価値算出は困難である。また、特許文献３では、被評価画像の光学情報を周波数空間で１次元化したのちに視覚の空間周波数特性を乗じ、さらに平滑化処理を掛けて積分することにより、テクスチャ成分を除去した粒状度を算出するようにしている。しかし、１次元化された空間周波数成分は、元の画像の情報の多くが失われてしまうため、これを用いたテクスチャ成分等の画像特徴量の正確な抽出、及び除去は困難となる。
【０００５】
一般に、テクスチャの評価法としては、前述した同時生起行列を用いる手法の他に、（１）濃度ヒストグラム、（２）差分統計量、（３）ランレングス行列、（４）パワースペクトルを用いる方法がある（非特許文献１参照）。しかし、いずれも、評価対象画像が限定されていたり、十分な成果が得られていないなどの問題点がある。
【０００６】
人間の視覚機能においては、空間周波数選択性を有する複数のチャンネル（マルチチャンネル）が存在することが知られている。網膜神経節細胞（ｇａｎｇｌｉｏｎｃｅｌｌ）には、ほぼ円対称の受容野（ｒｅｃｅｐｔｉｖｅｆｉｅｌｄ）を持ち、受容野中心部に興奮性領域を有し、周辺部に抑制性領域を有するオン中心型細胞とその逆の特性を有するオフ中心型細胞が存在することが、神経生理学的、および解剖学的研究の結果明らかにされている。これらが、空間周波数選択性のチャンネルの視覚経路をなしていると考えられている。
【０００７】
前述したような、人間の視覚のＭＴＦ特性（ＶＴＦ）を用いる手法では、デジタル画像のテクスチャの知覚と粒状性を統合することが困難な点など、様々な限界が見えてきた。これは、画質を知覚する人間の視覚系といった非常に非線形なシステムを記述するに当たっては、空間周波数特性は近似的にしか有効ではありえないことや、ここで用いられる視覚のＭＴＦ特性は人間の正弦波状の刺激に対するコントラスト感度の閾値のデータを基に得られたものであり、上述したマルチチャンネルによる視覚現象の１側面を記述したものにすぎないこと等に起因すると考えられる。
【０００８】
また従来、被評価画像の空間的光学的情報に空間演算フィルタの畳み込み演算を行うことにより画像品質を予測する（画像評価装置／方法／記録媒体鎰谷）。
空間演算フィルタは、人間の視覚系のマルチチャンネルモデルに基づく複数の空間演算フィルタからなり、視覚の空間周波数特性に対して最適化されている。
視覚のマルチチャンネル理論を用いた方法で視覚のＭＴＦ特性（ＶＴＦ）を用いる場合より高精度な評価法である。
【０００９】
【特許文献１】
特開平７−３２５９２２号公報
【特許文献２】
特開平１１−２５２７５号公報
【特許文献３】
特開２００２−２４５４６５号公報
【非特許文献１】
画像解析ハンドブック（東京大学出版会ｐ．５１７〜）
【００１０】
【発明が解決しようとする課題】
しかしながら、上記の実施例では、テクスチャの差異（テクスチャの切り替わり）の検出についてのみ述べられており、テクスチャ自体の評価法についての具体的な例は開示されていない。また、実空間での畳込み演算によるフィルタリング処理を行うため処理に脹大な時間がかかるという問題点がある。
【００１１】
また、特に低周波なノイズ成分については、上記処理（平滑化処理前後の周波数成分の差分を取る）だけでは完全には除去しきれない。このため、電子写真をはじめとする低周波なノイズ成分を含む画像に対しては、必ずしも正確なテクスチャ評価が出来ないという問題点がある。
【００１２】
本発明は、人間の視覚系のマルチチャンネルモデルに基づく複数のフィルタリング処理の出力結果を用いて心理相関の高い画質（テクスチャ）評価値を得る。また、２次元光学的画像情報の周波数成分と平滑化処理を施し、平滑化処理前後の周波数成分の差分を取り、ノイズ成分を良好に除去することにより、精度の高いテクスチャ評価を可能とした、画像評価装置、画像評価方法、および同方法のプログラムを記録した記録媒体を提供することを目的とする。
【００１３】
さらに詳述すると、請求項１〜３の発明は、人間の視覚系の特性に基づいた心理相関の高い（主観評価値と相関の高い）、また画像のノイズ成分の影響を極力低減し高精度なテクスチャ評価が可能な画像評価装置を提供することを目的とする。
【００１４】
請求項４の発明は、上記に加えて、テクスチャが抽出された画像を可視像として確認・評価することが可能な画像評価装置を提供することを目的とする。
請求項５の発明は、任意の画像観察距離において、テクスチャ評価が可能な画像評価装置を提供することを目的とする。
請求項６の発明は、より短時間でテクスチャ評価が可能な画像評価装置を提供することを目的とする。
【００１５】
請求項７の発明は、濃淡情報だけではなく、色度情報を使用することにより、より精度の高いテクスチャが評価可能な画像評価装置を提供することを目的とする。
請求項８〜１０の発明は、人間の視覚系の特性に基づいた心理相関の高い（主観評価値と相関の高い）、またノイズ成分の影響を低減し高精度なテクスチャ評価が可能な画像評価方法を提供することを目的とする。
【００１６】
請求項１１の発明は、上記に加えて、テクスチャが抽出された画像を可視像として確認・評価することが可能な画像評価方法を提供することを目的とする。
請求項１２の発明は、任意の画像観察距離における、テクスチャを評価可能な画像評価方法を提供することを目的とする。
【００１７】
請求項１３の発明は、より短時間でテクスチャを評価可能な画像評価方法を提供することを目的とする。
請求項１４の発明は、濃淡情報だけではなく、色度情報を使用することにより、より精度の高いテクスチャ評価が可能な画像評価方法を提供することを目的とする。
【００１８】
請求項１５の発明は、人間の視覚系の特性に基いた心理相関の高い（主観評価値と相関の高い）、また極力ノイズ成分の影響を低減し高精度なテクスチャ評価が可能な可能な画像評価手順をコンピュータに実行させるためのプログラム（を格納したコンピュータ読み取り可能な記録媒体）を提供することを目的とする。
【００１９】
【課題を解決するための手段】
かかる目的を達成するため、請求項１記載の発明の画像評価装置は、被評価画像の２次元光学情報を直交変換して空間周波数成分を算出する手段と、該算出された空間周波数成分に対して平滑化処理を施す手段と、前記平滑化処理前の空間周波数成分と平滑化処理後の空間周波数成分の差分に対し周波数帯域の異なる複数のフィルタからなるフィルタ群によりフィルタリング処理を施す手段と、前記フィルタリング処理の出力結果を用いて画質評価値を算出する手段と、被評価画像の低周波ノイズ成分を低減する低減手段とを備えることを特徴としている。
【００２０】
また、上記被評価画像の２次元光学情報から相対位置の異なる複数の小サイズ２次元光学情報を抽出する手段と、該抽出された複数の小サイズ２次元光学情報をそれぞれ直交変換して空間周波数成分を算出する手段と、該算出された複数の空間周波数成分を平均化する手段と、該平均化された空間周波数成分に対して平滑化処理を施す手段と、該平滑化処理前の空間周波数成分と平滑化処理後の空間周波数成分の差分に対し周波数帯域の異なる複数のフィルタからなるフィルタ群によりフィルタリング処理を施す手段と、該フィルタリング処理の出力結果を用いて画質評価値を算出する手段とを、さらに備えたことを特徴とする。
【００２１】
上記被評価画像の２次元光学情報を直交変換して空間周波数成分を算出する手段と、該算出された空間周波数成分に対して低周波成分除去を行う手段と、該低周波成分を除去された空間周波数成分に対して平滑化処理を施す手段と、該平滑化処理前の空間周波数成分と平滑化処理後の空間周波数成分の差分に対し周波数帯域の異なる複数のフィルタからなるフィルタ群によりフィルタリング処理を施す手段と、該フィルタリング処理の出力結果を用いて画質評価値を算出する手段とを、さらに備えたことを特徴とする。
【００２２】
また、上記フィルタリング処理の出力結果を用いて画質評価値を算出する手段は、フィルタリング処理の出力結果を逆直交変換する手段と、逆直交変換手段の出力結果を用いて画質評価値を算出する手段とから構成され、該フィルタリング処理手段におけるフィルタ群を画像観察距離に応じて周波数帯域を可変とするフィルタ変更手段を、さらに具備することを特徴とする。
【００２３】
さらに、被評価画像の２次元光学情報は、２次元的な明度（濃淡）情報であり、２次元的な明度（濃淡）情報及び色度情報であることを特徴とする。
【００２４】
請求項８に記載の発明の画像評価方法のプログラムを記録した記録媒体は、被評価画像の２次元光学情報を直交変換して空間周波数成分を算出するステップと、低周波ノイズ成分を低減するステップと、前記算出された空間周波数成分に平滑化処理を施すステップと、前記平滑化処理前後の空間周波数成分の差分を算出するステップと、前記算出された空間周波数成分の差分に対して周波数帯域の異なる複数のフィルタからなるフィルタ群によりフィルタリング処理を施すステップと、前記フィルタリング処理による出力結果から画質評価値を算出するステップとからなる画像評価方法において、前記平滑化処理の前に予め前記低周波ノイズ成分を低減するステップを含むことを特徴とする。
【００２５】
請求項９に記載の発明の画像評価方法は、被評価画像の２次元光学情報から相対位置の異なる複数の小サイズ２次元光学情報を抽出するステップと、抽出された複数の小サイズ２次元光学情報をそれぞれ直交変換して空間周波数成分を算出するステップと、算出された複数の空間周波数成分を平均化するステップと、平均化された空間周波数成分に平滑化処理を施すステップと、平滑化処理前の空間周波数成分と平滑化処理後の空間周波数成分の差分を算出するステップと、算出された空間周波数成分の差分に対して周波数帯域の異なる複数のフィルタからなるフィルタ群によりフィルタリング処理を施すステップと、フィルタリング処理による出力結果から画質評価値を算出するステップとからなることを特徴とする。
【００２６】
請求項１０に記載の発明の画像評価方法は、被評価画像の２次元光学情報を直交変換し空間周波数成分を算出するステップと、算出された空間周波数成分に対して低周波成分除去を行うステップと、低周波成分を除去された算出された空間周波数成分に平滑化処理を施すステップと、平滑化処理前の空間周波数成分と平滑化処理後の空間周波数成分との差分を算出するステップと、算出された空間周波数成分の差分に対して周波数帯域の異なる複数のフィルタからなるフィルタ群によりフィルタリング処理を施すステップと、フィルタリング処理による出力結果から画質評価値を算出するステップとからなることを特徴とする。
【００２７】
上記請求項８〜１０に記載の画像評価方法において、フィルタリング処理による出力結果から画質評価値を算出するステップは、フィルタリング処理による出力結果を逆直交変換するステップと、逆直交変換の出力値から画質評価値を算出するステップとから構成される、フィルタリング処理を行うフィルタ群を、画像観察距離に応じて周波数帯域を可変とするステップを備えることを特徴とする。
【００２８】
また、請求項８〜１２に記載の画像評価方法において、被評価画像の２次元光学情報は２次元的な明度（濃淡）情報であり、また２次元的な明度（濃淡）情報及び色度情報であることを特徴とする。
【００２９】
さらに、請求項８〜１４に記載の画像評価方法を、コンピュータに実行させるためのプログラムに格納するとよい。
【００３０】
【発明の実施の形態】
次に、添付図面を参照して本発明による画像評価装置、画像評価方法、および同方法のプログラムを記録した記録媒体の実施の形態を詳細に説明する。図１を参照すると、本発明の画像評価装置、画像評価方法、および同方法のプログラムを記録した記録媒体の一実施形態が示されている。
【００３１】
請求項１および請求項８による発明の１実施例を、図１に示す。
画像入力手段は、被評価画像であるハードコピーの２次元的な光学情報を読み取り可能なスキャナ、ミクロ濃度計（マイクロデンシトメータ等）、ＣＣＤカメラ等で構成される。被評価画像はコンピュータ上で作成された電子画像や特開２０００−０２２８５８号で開示されたような画像シミュレーションの出力結果でもよく、この場合はスキャナ等の画像入力手段は必要ではない。このようにして、被評価画像の２次元的な光学情報は、直交変換手段に入力される。
【００３２】
直交変換手段は、離散フーリエ変換（ＤＦＴ）などに代表される直交変換により上記２次元光学情報を２次元の空間周波数成分に変換する。２次元の空間周波数成分は平滑化処理手段により平滑化処理される。平滑化処理された２次元周波数成分は平滑化処理前の２次元の空間周波数成分との差分をとられ、帯域の異なる複数のフィルタからなるフィルタ群によりそれぞれフィルタリング処理が施され、その出力結果から画質評価値算出手段１により画質予測値１が算出される。一方、平滑化処理を施された２次元空間周波数成分は、同じく帯域の異なる複数のフィルタからなるフィルタ群によりそれぞれフィルタリング処理が施され、画質評価値算出手段２により画質予測値２が算出される。また、少なくとも平滑化処理の前に予め低周波ノイズ成分低減手段により低周波ノイズ成分が低減される様に構成されている。
【００３３】
ここで平滑化フィルタとしては、既存の任意の平滑化フィルタを用いることが可能であるが、好ましくはメディアンフィルタが選択される。一般に周期性のあるテクスチャは、直交変換により比較的鋭いピーク部を持つ特徴がある。実空間では、テクスチャの周波数は様々であり、これらを同一処理で除去したり抽出したりすることは困難であるが、周波数空間においては周期性を持つテクスチャはいずれも鋭いピーク部を持つという特徴があるため、メディアンフィルタにより容易に除去可能となる。
【００３４】
すなわち、平均値フィルタなどでは、単にデータを平均化するだけであるため、たとえば積分値は平滑化処理前と変わらないが、周辺に比べて著しく値の異なる特異点を好適に除去可能なメディアンフィルタを用いることにより、これらのテクスチャ特徴量であるピーク部を良好に除去できるため、メディアンフィルタ処理前のデータからメディアンフィルタ処理後のデータを減算することにより、テクスチャ成分を好適に抽出することが可能となる。
【００３５】
図２に、テクスチャ構造を有する画像の一例として、４５度１０６線、４５度１４１線のＫ（Ｂｌａｃｋ）版の網点画像、及びほぼ同一線数でスクリーン角付きディザ処理を施されたＣＭＹ（Ｃ：Ｃｙａｎ，Ｍ：Ｍａｇｅｎｔａ，Ｙ：Ｙｅｌｌｏｗ）版による３次色の画像２種（いわゆる“ロゼッタパターン”を有する画像）の拡大画像を示す。これらの画像の周波数スペクトル（正確には周波数空間の振幅成分）を可視化した様子を図３に示す。これらに、メディアン処理を施した画像を図４に示す。
【００３６】
図３より、これらのテクスチャを有する画像は周波数空間においては、テクスチャを特徴づける複数のピーク部と、ノイズ成分を特徴づけるアットランダムなで比較的低レベルな成分によりなる背景部とから構成されている。
【００３７】
図４から、メディアンフィルタをかけることにより、テクスチャを特徴づけるピーク部がほぼ完全に除去されているとともに、背景部が平滑化されているがその平均値（すなわち積分値）はほぼ保存されていることがわかる。従って、平滑化処理前の周波数成分から平滑化処理後の周波数成分を減じることにより、ピーク部はほぼ完全に保存されるとともに、背景部はその平均値（すなわち積分値）がほぼ０となるように除去されていることがわかる。すなわち、周波数空間における平滑化処理と減算処理により、画像のテクスチャ成分とノイズ成分が良好に分離されたことが分かる。さらにこの前処理として、前述した低周波ノイズ除去処理を行っているため、さらにノイズ成分の影響を受けずにピーク部、すなわちテクスチャ成分が良好に抽出されることとなる。
【００３８】
ここで、フィルタ群として適用される一例として、人間の視覚系のマルチチャンネルモデルに基づく複数の空間演算フィルタについて説明する。実空間ではこれらのフィルタ群は、下式の様な関数で表わされる等方性微分演算フィルタである。ただし、σは定数で各チャンネルによって異なる。ｒはフィルタ原点からの距離である。
ＬＧ（ｒ）＝（−１／（πσ“４））・（１−ｒ“２／（２σ“２））・ｅｘｐ（−ｒ“２／（２σ“２））
【００３９】
一方、周波数空間では、これらのフィルタ群は、帯域の異なる複数の等方的な２次元バンドパスフィルタとして表現される。図５に、その断面（周波数空間の原点から距離の関数として表示）を示す。チャンネル１が最も高周波、チャンネル５が最も低周波な５チャンネルからなるバンドパスフィルタによりフィルタ群が構成されている。これらのチャンネル群により被評価画像の空間周波数成分にフィルタリング処理（乗ずる）ことにより各チャンネルによるチャンネル成分が被評価画像の特徴量として抽出される。
【００４０】
本発明では、ノイズ成分を抽出された、直交変換後に平滑化処理を施された空間周波数成分、及び、テクスチャ成分を抽出された、直交変換後に平滑化処理を施し、平滑化処理前から平滑化処理後の差分をとられた空間周波数成分が、このフィルタ群によりフィルタリング処理を施され、その出力結果を演算処理をすることによりテクスチャを定量的に算出する。フィルタリング処理結果の演算処理法としては、例えば積分処理により２次元のフィルタリング処理結果をスカラー量に変換したものを各チャンネルの抽出値とし、各チャンネルの抽出値を用いた評価式に従って画質評価値が算出される。
【００４１】
このように、視覚系のマルチチャンネルモデルを用いることで、従来の視覚のＭＴＦを乗ずる方式に比べて、より視覚特性に忠実な出力結果を得られると共に、画質評価値の定量化に用いられる説明変数がチャンネル数の数だけ増加することで自由度が増すため、従来よりも主観評価結果に忠実な画質評価値をあることができる。また、この際、従来の様に、周波数空間の処理の途中で１次元化することがなく２次元情報として処理を行っているので、画像情報の欠落がなく正確な画像評価値を算出することが可能となる。
【００４２】
なお、チャンネル数としては、視覚系のモデルとして６チャンネルとする説もあり、また、５〜６に限らず任意のチャンネル数とすることが可能である。また、このうち、実際に画質評価値算出に用いるチャンネルはすべてを用いる必要もなく、選択的に任意のチャンネルを使用することが可能である。また、上記モデルに従わない、帯域の異なる任意の複数の空間フィルタをフィルタ群として使用することも可能である。
【００４３】
請求項２（９）による発明の１実施例を図６に示す。
本実施例では、画像入力手段により入力された被評価画像の２次元的な光学情報から、相対位置の異なる複数の小サイズ画像を抽出後、それぞれの小サイズ画像（の２次元光学情報）を直交変換した後に、得られたそれぞれの周波数成分を平均化することによりノイズ成分低減が行われるように構成されている。
【００４４】
小サイズ画像の切り取りは図７に模式的に示すように、Ｄ＊Ｄのサイズで読み取られた画像（２次元光学光学情）をｄ＊ｄ（ｄ＜Ｄ）のサイズの複数の小画像に切り取る。この時、各小画像は図のように互いに重ならないように切り取っても良いし、図７（２）の様に一部重なり合うようにしてもよい。但し、重なりが大きいとノイズ成分の低減の効果が小さくなるので、半分程度以上は重ならないようにする（重なり量をｓとした時にｓ≦ｄ）ことが好ましい。また、この時抽出される小画像の数は４に限定されるものではない。
【００４５】
図８（１）は、小画像抽出前の元画像（の２次元光学情報）を直交変換して得られた空間周波数成分を模式的に１次元的に示したものである。これにメディアンフィルタ処理をかけることにより、図８（２）の太線で示すように空間周波数成分は平滑化され全体的に滑らかな周波数成分に変換されると共に、テクスチャ成分であるピーク部が良好に除去される。図８（３）は平滑化処理前後の周波数成分の差分を示すもので、テクスチャ成分は良好に保持されるとともに、テクスチャ成分以外のノイズ成分も図８（１）に比べると低減されているが、完全には除去されず、特に低周波部に若干のノイズ成分が残存してしまう。
【００４６】
一方、図９は本発明を説明する模式図である。図９（１）は、抽出された小サイズ画像（の２次元光学情報）を直交変換して得られた複数の空間周波数成分である。これらを平均化処理することにより、図９（２）に示されるようにアットランダムなノイズ成分は比較的滑らかなで振幅が小さな分布になる。
【００４７】
一方、テクスチャ成分はいずれも同一周波数にピークを持つためほとんど平均化処理による影響を受けない。これにメディアンフィルタ処理をかけることにより、図９（３）の太線で示すようにノイズ成分は更に平滑化されて滑らかな分布になると共に、テクスチャ成分であるピーク部が良好に除去される。そして、図９（４）に示すように平滑化処理前後の周波数成分の差分を取ることで、テクスチャ成分は良好に保持されるとともに、テクスチャ成分以外のノイズ成分は良好に低減される。
【００４８】
この時平滑化処理の前処理として平均化処理を行っているため、平滑処理前のノイズ成分の振幅が小さくなっているため、平滑化処理前後の周波数成分の差異を取ったときに平均化処理を行わない場合に比べてノイズ成分がより低減するが、テクスチャ成分はほとんどその（平均化処理）の影響を受けることがない。従って、本発明においては、テクスチャに無関係なノイズ成分のみを良好に低減することにより、高精度にテクスチャ成分を抽出することが可能となる。また、この平均化を実空間ではなく周波数空間において行うことにより、各画像パターンの位置ずれによる影響を受けずに被評価画像の２次元光学情報の平均化を行うことが可能となる。
【００４９】
この例では、複数の小サイズ画像を１つの被評価画像（パッチ）から抽出するようにしたが、例えば、複数の同一評価パターンを有する１枚の出力画像の各評価パターンをそれぞれスキャナで読み取り、これらを直交変換後に平均化したり、また、同一評価パターンを有する複数の出力画像の各評価パターンをスキャナで読み取り、これらを直交変換後に平均化するなどとしても良い。
【００５０】
請求項３および請求項１０による発明の１実施例を図１０に示す。
本実施例においては、画像入力手段により入力された被評価画像の２次元的な光学情報に直交変換を施し、空間周波数成分に変換後、低周波成分の除去を行ったのち、平滑化処理が行われ、平滑化処理前後の空間周波数成分の差分を算出する（以下同様）。図１１を用いて説明する。図１１（１）は被評価画像の２次元的な光学情報を直交変化して得られた空間周波数分布を模式的に１次元的に示したものである。
【００５１】
図１１（２）に破線で示した低周波除去手段としてのハイパス（ローカット）フィルタにより、カットオフ周波数ｆｃより低周波な空間周波数成分はカットされ実線で示すようにその振幅は０となる。これに、メディアンフィルタ処理を行うと図１１（３）の太線で示すように空間周波数成分は平滑化されるが、この時同様にカットオフ周波数ｆｃより低周波な空間周波数成分はその振幅は同様に０となる。
【００５２】
従って、図１１（４）に示すようにメディアンフィルタ処理前後の差分をとると、カットオフ周波数ｆｃより低周波な空間周波数成分はその振幅は０となり、特に低周波部に顕著に現れていたノイズ成分がほぼ完全に除去されていることが分かる。一方、ノイズ成分の少ないｆｃより高周波部においては、ハイパスフィルタの影響を受けずに前述したようにテクスチャ成分がほぼ完全に保存されるとともに、ノイズ成分はメディアン処理前後の差分を取ったことにより良好に低減していることが分かる。この時、カットオフ周波数ｆｃは被評価画像のテクスチャ成分が現れる領域よりも低周波な所定の値に設定すればよい。
【００５３】
例えば、印刷物で最も線数の低いとされる新聞の各版の線数が７０〜９０線（ｌｐｉ：ｌｉｎｅｓｐｅｒｉｎｃｈ）とすると、版の重ね合わせにより発生するモアレ（ロゼッタパターン）はその約１／２の周波数、すなわち、３５〜４５線（ｌｐｉ：ｌｉｎｅｓｐｅｒｉｎｃｈ）＝１．３８〜１．７７ｃ／ｍｍと考えられるので、ｆｃをそれ以下の所定値、例えば１．２５ｃ／ｍｍとすれば、通常のテクスチャは抽出することが可能となる。また、より高周波のテクスチャのみを評価する場合は、カットオフ周波数ｆｃはより高い所定値に設定すればよい。
【００５４】
本発明によれば、テクスチャに無関係な低周波なノイズ成分を良好に除去することが出来るので、精度の高いテクスチャ評価を行うことが可能となる。
【００５５】
請求項４（および請求項１１）による発明の１実施例を図１２に示す。
本実施例においてはフィルタ群によるフィルタリング処理を行った後に、逆直交変換を施し、実空間での画像情報（２次元光学情報）に変換した後に、画質評価値を算出するように構成している。このように構成することで、可視像として各チャンネルの抽出した画像特徴量を確認、把握したり、評価することが可能となる（図では、フィルタリング処理の前工程若しくは手段は、前述した通りであるので説明は省略する）。
【００５６】
逆直交変換により実空間に変換された各フィルタリング処理画像は、画質評価算出部によって、標準偏差を求めたり、絶対値の平均値を求めたりすることにより、各チャンネルの抽出値を例えばスカラー量として算出し、これらの各チャンネルの抽出値を用いた評価式に従って画質評価値が算出される。
【００５７】
図１３は、画像観察距離を３５０ｍｍとした時に、上述したようにしてテクスチャ抽出画像の明度成分について可視化された各チャンネルの画像を示す。図より、この画像では、テクスチャに寄与しているのは主にチャンネル１〜２であり、チャンネル３以降ではテクスチャ成分よりもノイズ成分の方が次第に優位になっていくことが分かる。なお、図中で画像の周辺部で画像のコントラストが低下しているのは、直交変換としてのＤＦＴ処理を施す際にデータの打ち切り誤差による影響を低減するために、ＤＦＴ処理の前処理としてＷｉｎｄｏｗ（ＨａｎｎｉｎｇＷｉｎｄｏｗ）処理を施したためである。必須ではないが、このようにすることで、ＤＦＴの所謂“打ち切り誤差”による空間周波数成分データのボケや滲みが低減され、より精度良くテクスチャ成分を抽出することが可能となる。
【００５８】
請求項５および１２による発明の１実施例を図１４に示す。
本実施例においては、フィルタ変更手段は、画像観察距離に応じてフィルタ群を空間周波数に対して縮小、拡大演算等を行なうことにより、演算に用いるフィルタ群を任意の帯域に変更することを可能とする。図１５に、一例として、画像観察距離が、２５０，３５０，４５０ｍｍの時のそれぞれの適用すべきフイルタ群を示す。このような構成にすることにより、画像観察距離などの画質評価条件が標準条件と異なる場合にも、あるいは、異なる条件での評価が必要になった場合でも、画質評価値を迅速に正確に算出することが可能となる。また、当然のことながら画像観察距離によるテクスチャの目立ちやすさを評価することも可能となる。
【００５９】
なお、被評価画像の光学情報としては、明度、濃度、反射率等の任意の濃淡情報が使用される（請求項６，１３）。例えば、ＣＩＥ１９７６Ｌ＊ａ＊ｂ＊均等色空間における明度Ｌ＊が使用される。このように、色度情報を用いずに明度等の画像の濃淡情報のみを用いることで、処理の高速化が可能となる。また、一般に画像におけるａ＊，ｂ＊などの色度情報はＬ＊等の濃淡情報と強い相関があるため、色度情報を使わずに濃淡情報のみを用いて画質評価値を算出してもその信頼度が大きく低下することはない。
【００６０】
また、被評価画像の光学情報としては、任意の濃淡情報、及び色度情報を用いることもできる（請求項７、１４）。例えば、ＣＩＥ１９７６Ｌ＊ａ＊ｂ＊均等色空間における明度Ｌ＊及び色度ａ＊，ｂ＊が使用される。このように、濃淡情報と色度情報の両方を用いることで、濃淡情報のみで画質評価値を算出した場合よりも、より正確な画質評価値を算出することができる。
【００６１】
（具体例１）
発明者らが行った、実験結果を以下に示す。
図１６はテクスチャ評価値算出の具体例を示す。
スキャナで被評価画像を読み取りＲＧＢの２次元光学情報をある。これをＬ＊ａ＊ｂ＊成分に変換し各成分を分離抽出する。抽出されたＬ＊ａ＊ｂ＊成分に対しそれぞれ以下の処理を行う。すなわち、２次元光学情報から小サイズ画像を抽出（図７（２）の重なり量ｄ＝０とした）し、平均値を減算してＤＣ成分を除去後、ＨａｎｎｉｎｇＷｉｎｄｏｗ処理をかけ、直交変換としてのＦＦＴ（高速フーリエ変換）処理を用い、周波数空間に変換後に、振幅／位相成分に変換し、得られた各小サイズ画像に対する振幅成分に平均化処理を行い、さらにメディアンフィルタ処理を施して平滑化する。そして、メディアンフィルタ処理前後の減算処理を行った後、負数を０に変換し、フィルタ群によるフィルタリング処理を行い、逆ＦＦＴにより実空間に戻した後、絶対値の加算平均により各フィルタの抽出値を算出した。
【００６２】
被評価画像は約１００線から２００線のスクリーン角つきの網点及び万線パターンのディザ処理画像の１〜４次色のカラーパッチを、カラープルファーおよびカラーレーザプリンタから出力した出力画像を用いた。ここで、主観評価はパネラ１０人でマグニチュード推定法等を上記出力画像から選択した１３６サンプルについて、テクスチャの目立ちやすさを評価し、点数付けをした。
【００６３】
テクスチャ評価値を算出する評価式は、明度情報のみを用いた下式とした。
テクスチャ評価値＝（ａ・Ｌ＊＿ｃｈ１＋ｂ・Ｌ＊＿ｃｈ２）“ｃ＋ｄ
ここで、ａ，ｂ＞０，ｃ＝０．３３３，ｄ＝−０．３１４、Ｌ＊＿ｃｈ１はＬ＊のチャンネル１による抽出値、Ｌ＊＿ｃｈ２は同じくチャンネル２による抽出値である。
この評価式によるテクスチャ評価値と、主観評価値の相関係数は０．８３３、寄与率は０．６９１と良好な結果を得た。
この結果を図１７に示す。ｙ軸が主観評価値、ｘ軸が算出されたテクスチャ評価値である。
【００６４】
（具体例２）
発明者らが行った、別の実験結果を以下に示す。
図１８はテクスチャ評価値算出の具体例を示す。
【００６５】
スキャナで被評価画像を読み取りＲＧＢの２次元光学情報をある。これをＬ＊ａ＊ｂ＊成分に変換し各成分を分離抽出する。抽出されたＬ＊ａ＊ｂ＊成分に対しそれぞれ以下の処理を行う。すなわち、抽出されたＬ＊ａ＊ｂ＊成分からその平均値を減算してＤＣ成分を除去後、ＨａｎｎｉｎｇＷｉｎｄｏｗ処理をかけ、直交変換としてのＦＦＴ（高速フーリエ変換）処理を用い、周波数空間に変換後に、振幅／位相成分に変換し、ハイパスフィルタ処理を行った。カットオフ周波数はｆｃ＝７．６４［ｃ／ｄｅｇ］（画像観察距離が３５０ｍｍの時１．２５［ｃ／ｍｍ］）とした。その後メディアンフィルタ処理を施して平滑化し、メディアンフィルタ処理前後の減算処理を行った後、負数を０に変換し、フィルタ群によるフィルタリング処理を行い、逆ＦＦＴにより実空間に戻した後、絶対値の加算平均により各フィルタの抽出値を算出した。
【００６６】
被評価画像は、約１００線から２００線のスクリーン角つきの網点及び万線パターンのディザ処理画像の１〜４次色のカラーパッチを、カラープルファーおよびカラーレーザプリンタから出力した出力画像を用いた。ここで、主観評価はパネラ１０人でマグニチュード推定法等を上記出力画像から選択した１３６サンプルについて、テクスチャの目立ちやすさを評価し、点数付けをした。
【００６７】
テクスチャ評価値を算出する評価式は、明度情報のみを用いた下式とした。
テクスチャ評価値＝（ａ・Ｌ＊＿ｃｈ１＋ｂ・Ｌ＊＿ｃｈ２＋ｃ・Ｌ＊＿ｃｈ３）“ｄ＋ｅ
ここで、ａ，ｂ，ｃ＞０，ｄ＝０．３３３，ｅ＝−０．３８６、Ｌ＊＿ｃｈ１はＬ＊のチャンネル１による抽出値、Ｌ＊＿ｃｈ２は同じくチャンネル２，Ｌ＊＿ｃｈ３は同じくチャンネル３による抽出値である。
この評価式によるテクスチャ評価値と、主観評価値の相関係数は０．８１３、寄与率は０．６６２と良好な結果を得た。
この結果を図１９に示す。ｙ軸が主観評価値、ｘ軸が算出されたテクスチャ評価値である。
【００６８】
以上の説明より明らかなように、本実施形態の画像評価装置は、人間の視覚系のマルチチャンネルモデルに基づく複数のフィルタリング処理の出力結果を用いて画質評価値を定量化しているので心理相関の高い画質評価値が算出可能となる。また、周波数空間での２次元光学情報に平滑化フィルタを施す前後の差分を取ることにより、テクスチャとは無関係なノイズ成分を低減し周波数成分のピーク部を良好に抽出するとともに、予め除去が難しい低周波ノイズ成分を別途低減する様に構成したので、高精度なテクスチャ抽出が可能となる。従って、高精度で心理相関の高いテクスチャ評価が可能な画像評価装置を提供することができる。また、フィルタリング処理を周波数空間で行うため迅速な処理が可能となる。さらに、請求項４に記載の発明に比べて、逆直交変換が不要のため、より高速な評価が可能となる。
【００６９】
被評価画像の２次元光学情報から相対位置の異なる複数の小サイズ２次元光学情報を抽出し、これらを直交変換後に平均化することにより、テクスチャによる空間周波数成分は保存したまま、低周波ノイズ成分を好適に低減させることが出来るため、より精度の高いテクスチャ評価が可能となる。
【００７０】
算出された空間周波数成分に対してハイパス（ローカット）フィルタ等により低周波成分除去を行うことにより、テクスチャには寄与しない低周波成分を良好に除去することが出来るため、より精度の高いテクスチャ評価が可能となる。
【００７１】
逆直交変換を施すことにより、各チャンネルで検出されたテクスチャや粒状度が抽出された画像を可視像として確認・評価することが可能な画像評価装置を提供することができる。
【００７２】
画像観察距離に応じて各フィルタの周波数帯域を可変としたので、任意の画像観察距離における、テクスチャ及び（テクスチャを除去した）粒状度が評価可能な画像評価装置を提供することが可能となる。
【００７３】
被評価画像の濃淡情報のみを用いて画像評価値を算出するので、より短時間での評価が可能となる。
【００７４】
濃淡情報だけではなく、色度情報を含めて画質評価値を算出するのでより心理相関の高い画質評価値が算出可能となる。
【００７５】
人間の視覚系のマルチチャンネルモデルに基づく複数のフィルタリング処理の出力結果を用いて画質評価値を定量化しているので心理相関の高い画質評価値が算出可能となる。また、周波数空間での２次元光学情報に平滑化フィルタを施す前後の差分を取ることにより、テクスチャとは無関係なノイズ成分を低減し周波数成分のピーク部を良好に抽出するとともに、予め除去が難しい低周波ノイズ成分を別途低減する様に構成したので、高精度なテクスチャ抽出が可能となる。従って、高精度で心理相関の高いテクスチャ評価が可能な画像評価方法を提供することができる。また、フィルタリング処理を周波数空間で行うため迅速な処理が可能となる（さらに、請求項１１に比べて、逆直交変換が不要のため、より高速な評価が可能となる）。
【００７６】
被評価画像の２次元光学情報から相対位置の異なる複数の小サイズ２次元光学情報を抽出し、これらを直交変換後に平均化することにより、テクスチャによる空間周波数成分は保存したまま、低周波ノイズ成分を好適に低減させることが出来るため、より精度の高いテクスチャ評価が可能となる。
【００７７】
算出された空間周波数成分に対してハイパス（ローカット）フィルタ等により低周波成分除去を行うことにより、テクスチャには寄与しない低周波成分を良好に除去することが出来るため、より精度の高いテクスチャ評価が可能となる。
【００７８】
逆直交変換を施すことにより、各チャンネルで検出されたテクスチャの抽出された画像を可視像として確認・評価することが可能な画像評価方法を提供することが可能となる。
【００７９】
画像観察距離に応じて各フィルタの周波数帯域を可変としたので、任意の画像観察距離における、テクスチャ及び（テクスチャを除去した）粒状度が評価可能な画像評価方法を提供することが可能となる。
【００８０】
被評価画像の濃淡情報のみを用いて画像評価値を算出するので、より短時間での評価が可能可能な画像評価方法を提供することが可能となる。
【００８１】
濃淡情報だけではなく、色度情報を含めて画質評価値を算出するのでより心理相関の高い画質評価値が算出可能な画像評価方法を提供することが可能となる。
【００８２】
高精度で心理相関の高いテクスチャ評価値を得られる画像評価手順をコンピュータで実行可能なプログラム（を記録したコンピュータ読み取り可能な記録媒体）を提供することが可能となる。
【００８３】
【発明の効果】
以上の説明より明らかなように、本発明の画像評価装置は、人間の視覚系のマルチチャンネルモデルに基づく複数のフィルタリング処理の出力結果を用いて画質評価値を定量化しているので心理相関の高い画質評価値が算出可能となる。また、周波数空間での２次元光学情報に平滑化フィルタを施す前後の差分を取ることにより、テクスチャとは無関係なノイズ成分を低減し周波数成分のピーク部を良好に抽出するとともに、予め除去が難しい低周波ノイズ成分を別途低減する様に構成したので、高精度なテクスチャ抽出が可能となる。従って、高精度で心理相関の高いテクスチャ評価が可能な画像評価装置を提供することができる。また、フィルタリング処理を周波数空間で行うため迅速な処理が可能となる。さらに、請求項４に記載の発明に比べて、逆直交変換が不要のため、より高速な評価が可能となる。
【図面の簡単な説明】
【図１】本発明の画像評価装置、画像評価方法、および同方法のプログラムを記録した記録媒体の実施形態の処理手順例を示している。
【図２】テクスチャ構造を有する画像例を示した図である。
【図３】図２の画像の周波数スペクトル（正確には周波数空間の振幅成分）を可視化した様子を示した図である。
【図４】図３に、メディアン処理を施した画像を示す。
【図５】マルチチャネルモデルによるフィルタ郡の特性例を示した図である。
【図６】発明の１実施例を示す処理手順図である。
【図７】小サイズ画像の切り取り例を模式的に示した図である。
【図８】小画像抽出前の元画像（の２次元光学情報）を直交変換して得られた空間周波数成分を模式的・１次元的に示した図である。
【図９】本発明を説明するための模式図である。
【図１０】発明の１実施例を示した図である。
【図１１】被評価画像の２次元的な光学情報を直交変化して空間周波数分布を模式的に１次元的に示した図である。
【図１２】発明の１実施例を示した図である。
【図１３】テクスチャ抽出画像の明度成分について可視化された各チャンネルの画像を示す
【図１４】発明の１実施例を示した処理手順図である。
【図１５】画像観察距離が、２５０，３５０，４５０ｍｍの時のそれぞれの適用すべきフイルタ群を示す。
【図１６】テクスチャ評価値算出の具体例を示した処理フローである。
【図１７】評価式によるテクスチャ評価値と主観評価値の相関を示した図である。
【図１８】テクスチャ評価値算出の手順例を示した図である。
【図１９】評価式によるテクスチャ評価値と主観評価値の相関を示した図である。
【符号の説明】
Ｄ大画像サイズ
ｄ小画像サイズ
ｓ重なり量

Claims

被評価画像の２次元光学情報を直交変換して空間周波数成分を算出する手段と、
該算出された空間周波数成分に対して平滑化処理を施す手段と、
前記平滑化処理前の空間周波数成分と平滑化処理後の空間周波数成分の差分に対し周波数帯域の異なる複数のフィルタからなるフィルタ群によりフィルタリング処理を施す手段と、
前記フィルタリング処理の出力結果を用いて画質評価値を算出する手段と、
被評価画像の低周波ノイズ成分を低減する低減手段とを備えることを特徴とする画像評価装置。
前記被評価画像の２次元光学情報から相対位置の異なる複数の小サイズ２次元光学情報を抽出する手段と、該抽出された複数の小サイズ２次元光学情報をそれぞれ直交変換して空間周波数成分を算出する手段と、該算出された複数の空間周波数成分を平均化する手段と、該平均化された空間周波数成分に対して平滑化処理を施す手段と、該平滑化処理前の空間周波数成分と平滑化処理後の空間周波数成分の差分に対し周波数帯域の異なる複数のフィルタからなるフィルタ群によりフィルタリング処理を施す手段と、該フィルタリング処理の出力結果を用いて画質評価値を算出する手段とを、さらに備えたことを特徴とする請求項１に記載の画像評価装置。
前記被評価画像の２次元光学情報を直交変換して空間周波数成分を算出する手段と、該算出された空間周波数成分に対して低周波成分除去を行う手段と、該低周波成分を除去された空間周波数成分に対して平滑化処理を施す手段と、該平滑化処理前の空間周波数成分と平滑化処理後の空間周波数成分の差分に対し周波数帯域の異なる複数のフィルタからなるフィルタ群によりフィルタリング処理を施す手段と、該フィルタリング処理の出力結果を用いて画質評価値を算出する手段とを、さらに備えたことを特徴とする請求項１に記載の画像評価装置。
前記フィルタリング処理の出力結果を用いて画質評価値を算出する手段は、フィルタリング処理の出力結果を逆直交変換する手段と、逆直交変換手段の出力結果を用いて画質評価値を算出する手段とから構成されていることを特徴とする請求項１または２に記載の画像評価装置。
前記フィルタリング処理手段におけるフィルタ群を画像観察距離に応じて周波数帯域を可変とするフィルタ変更手段を、さらに具備することを特徴とする請求項１から４の何れかに記載の画像評価装置。
前記被評価画像の２次元光学情報は、２次元的な明度（濃淡）情報であることを特徴とする請求項１から５の何れかに記載の画像評価装置。
前記被評価画像の２次元光学情報は、２次元的な明度（濃淡）情報及び色度情報であることを特徴とする請求項１から５の何れかに記載の画像評価装置。
被評価画像の２次元光学情報を直交変換して空間周波数成分を算出するステップと、
低周波ノイズ成分を低減するステップと、
前記算出された空間周波数成分に平滑化処理を施すステップと、
前記平滑化処理前後の空間周波数成分の差分を算出するステップと、
前記算出された空間周波数成分の差分に対して周波数帯域の異なる複数のフィルタからなるフィルタ群によりフィルタリング処理を施すステップと、
前記フィルタリング処理による出力結果から画質評価値を算出するステップとからなる画像評価方法において、
前記平滑化処理の前に予め前記低周波ノイズ成分を低減するステップを含むことを特徴とする画像評価方法。
被評価画像の２次元光学情報から相対位置の異なる複数の小サイズ２次元光学情報を抽出するステップと、抽出された複数の小サイズ２次元光学情報をそれぞれ直交変換して空間周波数成分を算出するステップと、算出された複数の空間周波数成分を平均化するステップと、平均化された空間周波数成分に平滑化処理を施すステップと、平滑化処理前の空間周波数成分と平滑化処理後の空間周波数成分の差分を算出するステップと、算出された空間周波数成分の差分に対して周波数帯域の異なる複数のフィルタからなるフィルタ群によりフィルタリング処理を施すステップと、フィルタリング処理による出力結果から画質評価値を算出するステップとからなることを特徴とする画像評価方法。
被評価画像の２次元光学情報を直交変換し空間周波数成分を算出するステップと、算出された空間周波数成分に対して低周波成分除去を行うステップと、低周波成分を除去された算出された空間周波数成分に平滑化処理を施すステップと、平滑化処理前の空間周波数成分と平滑化処理後の空間周波数成分との差分を算出するステップと、算出された空間周波数成分の差分に対して周波数帯域の異なる複数のフィルタからなるフィルタ群によりフィルタリング処理を施すステップと、フィルタリング処理による出力結果から画質評価値を算出するステップとからなることを特徴とする画像評価方法。
前記フィルタリング処理による出力結果から画質評価値を算出するステップは、フィルタリング処理による出力結果を逆直交変換するステップと、逆直交変換の出力値から画質評価値を算出するステップとから構成されることを特徴とする請求項８から１０の何れかに記載の画像評価方法。
前記フィルタリング処理を行うフィルタ群を、画像観察距離に応じて周波数帯域を可変とするステップを備えることを特徴とする請求項８から１１に記載の画像評価方法。
前記被評価画像の２次元光学情報は、２次元的な明度（濃淡）情報であることを特徴とする請求項８から１２の何れかに記載の画像評価方法。
前記被評価画像の２次元光学情報は、２次元的な明度（濃淡）情報及び色度情報であることを特徴とする請求項８から１２の何れかに記載の画像評価方法。
請求項８から１４の何れかに記載の画像評価方法を、コンピュータに実行させるためのプログラムに格納したことを特徴とする画像評価方法のプログラムを記録した記録媒体。