JP2013097463A - 画像評価装置、画像評価方法、およびプログラム - Google Patents

画像評価装置、画像評価方法、およびプログラム Download PDF

Info

Publication number
JP2013097463A
JP2013097463A JP2011237851A JP2011237851A JP2013097463A JP 2013097463 A JP2013097463 A JP 2013097463A JP 2011237851 A JP2011237851 A JP 2011237851A JP 2011237851 A JP2011237851 A JP 2011237851A JP 2013097463 A JP2013097463 A JP 2013097463A
Authority
JP
Japan
Prior art keywords
image
function
image feature
visual
frequency characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011237851A
Other languages
English (en)
Inventor
Takeyuki Fujii
建行 藤井
Masakazu Kawada
昌和 川田
Masakazu Suzuki
将一 鈴木
Masaaki Sato
正章 佐藤
Shinichiro Saito
新一郎 齊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011237851A priority Critical patent/JP2013097463A/ja
Priority to US13/657,437 priority patent/US20130108163A1/en
Publication of JP2013097463A publication Critical patent/JP2013097463A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】最適な視覚特性での評価を行うことができ、人の視覚による主観評価と整合のとれた正確で信頼性の高い画像品質評価を行うことが可能な画像評価装置、画像評価方法、およびプログラムを提供する。
【解決手段】視覚特性の関数をあらかじめ複数保持する保持部と、被評価画像の画像特徴量を抽出する画像特徴量抽出部と、被評価画像の周波数特性を抽出する周波数特性抽出部と、保持部の複数の視覚特性の関数から画像特徴量抽出部で抽出された画像特徴量に応じた視覚特性の関数を選択し、選択した視覚特性の関数により周波数特性抽出部で抽出された周波数特性を補正する補正部と、補正部で補正された周波数特性情報に基づいて画像評価値を得る画像評価値取得部とを有する。
【選択図】図4

Description

本発明は、デジタルカメラ等の画像入力機器から得られる画像の評価を行う画像評価装置、画像評価方法、およびプログラムに関するものである。
画像入力機器から得られる画像の画質評価では、空間周波数成分が見た目に大きく影響することが知られており、先行技術ではCSF(Contrast Sensitivity Function、VTF)と呼ばれる視覚特性にかかわる関数を用いている(特許文献1参照)。
特許文献1に開示された画像評価装置は、画像入力機器から入力した被評価画像を用いて画像表示機器に表示したときの画像情報を空間周波数分布情報に変換する。
画象評価装置は、変換して得られた空間周波数分布情報を観察パラメータに応じた人間の視覚系の空間周波数特性を表す関数によってフィルタリング処理した後、逆変換することにより得られた画像情報から画像評価値を算出する。
観察パラメータとは、観察距離、画面平均輝度、画面周辺部の輝度に関するパラメータである。
特開平9−284429号公報
「画像と視覚情報科学」(映像メディア学会)P.74
ところで、人間の視覚系の空間周波数特性は画像のコントラスト(画像特徴量)によって大きく変わるが、上記した画像評価装置では、その点を考慮していない。従来技術で考慮されているのは「観察パラメータ」のみである。
したがって、上記した画像評価装置は、最適な視覚特性での評価を行うことは困難で、人の視覚による主観評価と整合のとれた正確で信頼性の高い画像品質評価を行うことが困難である。
なお、視覚特性がコントラスト依存性を持つということは、非特許文献1に次のように記載されている:
「低コントラストの弁別限界(閾値)状態でのMTFは全般的に特定周波数域で感度極大を持つバンドパス型の特性を示し、高コントラストでの見かけのコントラストを求める閾上値状態ではローパス型に変化する。」
本発明は、最適な視覚特性での評価を行うことができ、人の視覚による主観評価と整合のとれた正確で信頼性の高い画像品質評価を行うことが可能な画像評価装置、画像評価方法、およびプログラムを提供することにある。
本発明の第1の観点の画像評価装置は、視覚特性の関数をあらかじめ複数保持する保持部と、被評価画像の画像特徴量を抽出する画像特徴量抽出部と、被評価画像の周波数特性を抽出する周波数特性抽出部と、上記保持部の複数の視覚特性の関数から上記画像特徴量抽出部で抽出された画像特徴量に応じた視覚特性の関数を選択する選択部と、上記選択部で選択した視覚特性の関数により上記周波数特性抽出部で抽出された周波数特性を補正する補正部と、上記補正部で補正された周波数特性情報に基づいて画像評価値を得る画像評価値取得部とを有する。
本発明の第2の観点の画像評価方法は、被評価画像の画像特徴量を抽出する画像特徴量抽出ステップと、被評価画像の周波数特性を抽出する周波数特性抽出ステップと、あらかじめ与えられた複数の視覚特性の感動関数から上記画像特徴量抽出ステップで抽出された画像特徴量に応じた視覚特性の関数を選択する選択ステップと、上記選択ステップで選択した視覚特性の関数により上記周波数特性抽出部で抽出された周波数特性を補正する補正ステップと、上記補正ステップで補正された周波数特性情報に基づいて画像評価値を得る画像評価値取得ステップとを有する。
本発明の第3の観点は、被評価画像の画像特徴量を抽出する画像特徴量抽出処理と、被評価画像の周波数特性を抽出する周波数特性抽出処理と、あらかじめ与えられた複数の視覚特性の関数から上記画像特徴量抽出処理で抽出された画像特徴量に応じた視覚特性の関数を選択する選択処理と、上記選択処理で選択した視覚特性の関数により上記周波数特性抽出部で抽出された周波数特性を補正する補正処理と、上記補正処理で補正された周波数特性情報に基づいて画像評価値を得る画像評価値取得処理とを有する画像評価処理をコンピュータに実行させるプログラムである。
本発明によれば、最適な視覚特性での評価を行うことができ、人の視覚による主観評価と整合のとれた正確で信頼性の高い画像品質評価を行うことができる。
本実施形態に係る画像評価装置が採用される画像評価システムの全体構成の概要を示すブロック図である。 視覚系の空間周波数特性を示す図である。 本実施形態に係る画像評価装置に適用される視覚特性について説明するための図である。 本実施形態に係る画像評価装置の画質評価値処理部の構成例を示すブロック図である。 コントラストに対する視覚の空間周波数特性を示す図である。 周波数変換したパワースペクトルから最適な視覚特性を決定する方法を説明するための図である。 本実施形態に係る画像評価装置の一連の動作を示すフローチャートである。 ノイズ評価を行う場合の本実施形態に係る画像評価システムを模式的に示す図である。 解像度評価を行う場合の本実施形態に係る画像評価システムを模式的に示す第1図である。 解像度評価を行う場合の本実施形態に係る画像評価システムを模式的に示す第2図である。 図5に示す視覚特性の関数を閾値と画像特徴量との比較で選択する例を示す図である。 図5に示す視覚特性の関数を閾値と画像特徴量との比較で選択する第1の選択方法を説明するための図である。 視覚特性の関数生成のための比率算出グラフを示す図である。 図6で示した周波数成分毎に最適な関数を生成する方法を具体的に説明するための図である。 図10のチャートを用いた解像度評価における視覚特性の関数を閾値と画像特徴量との比較で選択する例を示す図である。 図15の被評価画像のヒストグラムから画像特徴量の範囲を決定する第1の方法を示す図である。 図15の被評価画像のヒストグラムから画像特徴量の範囲を決定する第2の方法を示す図である。
以下、本発明の実施形態を図面に関連付けて説明する。
なお、説明は以下の順序で行う。
1.画像評価システムの全体構成の概要
2.画像評価装置の構成
3.閾値による視覚特性の関数の選択方法
<1.画像評価システムの全体構成の概要>
図1は、本実施形態に係る画像評価装置が採用される画像評価システムの全体構成の概要を示すブロック図である。
本画像評価システム10は、画像入力機器20、画像表示部30、観察パラメータ入力部40、および画像評価装置50を含んで構成されている。
画像評価システム10において、デジタルカメラ等の画像入力機器20で撮像されたデジタル画像やチャート画像等である被評価画像S20が画像評価装置50に入力され、液晶表示装置(LCD)等の画像表示部30に表示される。
画像評価装置50には、画像表示部30に表示される画像入力機器20で得られた被評価画像S20および観察パラメータ入力部40から入力される観察条件を含む観察パラメータS40が入力される。
画像評価装置50は、与えられる観察条件から被評価画像の画質評価値を算出する。
ここで、観察パラメータには、観察距離(視距離)、画面平均輝度、画面周辺部の輝度に関するパラメータが含まれる。たとえば、観察パラメータには、観察者から画像表示部までの距離、画像表示部での解像度(例.96dpi)など観察条件が含まれる。
<2.画像評価装置の構成>
画像評価装置50は、画質(画像)評価値処理部51および出力部52を有する。
画質評価値処理部51は、後で詳述するように、観察画像の画像特徴量(たとえばコントラスト)、並びに被評価画像の周波数特性を抽出する。
画質(画像)評価値処理部51は、あらかじめ与えられる複数の視覚特性(空間周波数と感度)の関数から抽出した画像特徴量に応じた視覚特性の関数を選択する。画質評価値処理部51は、選択した視覚特性の関数により抽出した周波数特性を補正し、補正した周波数特性情報に基づいて画像評価値を得る。
画像特徴量には、被評価画像のコントラスト、背景画像の輝度情報たとえば背景画像の平均輝度、あるいは、被評価画像の周波数解析結果(パワースペクトル)等が含まれる。
本実施形態の画像評価装置50は、複数の視覚特性の関数の中から抽出した被評価画像の画像特徴量に応じた視覚特性の関数を選択し、選択した視覚特性で周波数特性の補正を行うことを特徴としている。
図2(A)、(B)および(C)は、視覚系の空間周波数特性を示す図である。
図2(A)は一般的な視覚系の空間周波数の求め方を説明するための図である。
図2(B)は本実施形態に係る視覚系の空間周波数の求め方を説明するための図である。
図2(C)は図2(A)のコントラストの検知限度(限界値)CLMから求めたCSF(=VTF)をグラフ化して示す図である。
図3は、本実施形態に係る画像評価装置に適用される視覚特性について説明するための図である。
既存の画像評価装置では、図2(A)に示すように、CSFは黒白縞が見える限界であるコントラストの検知限度CLMより求めた関数のみを用いて周波数特性の補正を行っている。すなわち、既存の画像評価装置では、コントラストの限界値CLMを感度として視覚系の空間周波数特性を求めている。
しかし、実際には、ノイズ画像でのノイズのコントラストは検知限度におけるコントラストよりもっと高いにもかかわらず、条件の異なるコントラストの検知限度CLMから求めた視覚特性曲線(関数)を適用している。
さらに、既存の画像評価装置では、図2(B)に示すように視覚特性はコントラスト依存性を持ち、複数存在するにもかかわらず、図2(C)に示すように、一つの視覚特性曲線(関数)のみを適用している。
したがって、既存の画像評価装置では、最適な視覚特性での評価を行うことは困難で、人の視覚による主観評価と整合のとれた正確で信頼性の高い画像品質評価を行うことが困難である。
これに対して、本画像評価装置50では、ノイズ画像は検知限度レベルのコントラストではないことを考慮して、コントラストの検知限度CLMの感度に応じた関数(CSF)ではなく、ある程度コントラストがある場合の感度関数も所持し、適用している。
すなわち、本画像評価装置50では、図2(B)に示すように、コントラストの縞の見える強度を感度として視覚系の空間周波数特性を求めている。
これに対応して、本画像評価装置50では、図3に示すように、複数(図3の例では2)の視覚特性曲線を適用している。
これにより、本実施形態に画像評価装置50は、最適な視覚特性での評価を行うことができ、人の視覚による主観評価と整合のとれた正確で信頼性の高い画像品質評価を行うことが可能となっている。
なお、図3において、αで示す視覚特性曲線(関数)はコントラストが低いと判断した場合に選択され、βで示す視覚特性曲線(関数)はコントラストが高いと判断した場合に選択される。
図3の例では2つの視覚特性のみを用いる場合を示しているが、3あるいはそれ以上の視覚特性曲線を適用することも可能である。
図4は、本実施形態に係る画像評価装置の画質評価値処理部の構成例を示すブロック図である。
図4の画質評価値処理部51は、画像特徴量抽出部511、色空間変換部512、周波数特性抽出部513、保持部としてのVTF記憶部514、並びに、選択および補正部としてのフィルタリング部515を有する。
画質評価値処理部51は、逆周波数変換部516、色空間変換部517、および画質評価値取得部518を有する。
画像特徴量抽出部511は、画像入力機器20から供給される被評価画像S20の画像特徴量、たとえばコントラストを抽出する。
画像特徴量抽出部511は、被評価画像S20から画像特徴量を自動算出する。
画像特徴量は標準偏差、DR(最大値−最小値)、ヒストグラムから算出したDR、周波数変換したパワースペクトルなどとして求められる。
色空間変換部512は、画像入力機器20から供給される被評価画像S20に対して、通常の色空間変換処理を行い、色空間変換処理後の画像情報S512を周波数特性抽出部513に出力する。
周波数特性抽出部513は、たとえば画像情報S512に対してFFT(Fast Fourie Transform:(高速フーリエ変換)を行って被評価画像の周波数特性である空間周波数分布情を抽出し、抽出した周波数特性情報S513をフィルタリング部515に出力する。
周波数特性抽出部513は、たとえば被評価画像S20がISO12233チャートや、スタートチャート(Start Chart)、デッドリーブスチャート(Dead Leaves Chart)等である場合は、空間周波数特性MTF(Modulation Transfer Function)を抽出する。
VTF記憶部514は、視覚特性の関数をあらかじめ複数記憶している。
この複数の視覚特性の関数は、空間周波数特性と感度に関する関数としてあらかじめ与えられる。
図5は、コントラストに対する視覚の空間周波数特性を示す図である。
図5において、横軸が空間周波数を、縦軸が相対的な感度を、それぞれ示している。
図3と同様に、図5中に、αで示す視覚特性曲線(関数)はコントラストが低いと判断した場合に選択され、βで示す視覚特性曲線(関数)はコントラストが高いと判断した場合に選択される。
本実施形態においては、画像特徴量抽出部511で抽出されたこの画像特徴量によって、利用する最適な視覚特性の関数を決定する。
たとえば、標準偏差の大小、DRの大小の値などによる振幅によって、図5示したようなあらかじめ記憶部514に記憶されている複数の視覚特性の関数から最適なものを選択する。
図5および図3に示す関数は以下の数式1で示される。
[数1]
CSF(λ)=a×Exp(−bλ)×(c−Exp(−dλ)・・・(1)
たとえば、低コントラストの関数(α)の場合、a=5.05、b=0.138、c=1.00、d=0.10である。
高コントラストの関数(β)場合、4.4<a<5.2、0.1<b<0.2、1.2<c<1.3、0.3<d<0.06である。
ここでλは網膜上の空間周波数で、単位はcycle/degreeである。
本実施形態においては、振幅値と関数の関係は事前に固定値として定めている。
また、関数は画像特徴量より近い2つの関数から補間することで求めることも可能である。
さらに別の方法としては、被評価画像S20を周波数解析した結果のパワーの値で周波数成分毎に使用する最適な関数を選択することも可能である。
図6は、周波数変換したパワースペクトルから最適な視覚特性を決定する方法を説明するための図である。
この場合、図6に示すように、パワーが大きい場合には、高コントラストの場合の関数βを選択する。
パワーが小さい場合には、低コントラストの場合の関数αを選択する。
最適な視覚特性の関数の選択は、たとえば画像特徴量と閾値Xとの比較により行われる。この最適な視覚特性の関数の選択方法については、後でさらに詳述する。
フィルタリング部515は、画像特徴量抽出部511で抽出された画像特徴量S511に応じた視覚特性の関数を選択する選択部として機能する。
そして、フィルタリング部515は、選択した視覚特性の関数を記憶部514から読み出し、この選択した視覚特性の関数で周波数特性抽出部513において抽出された周波数特性を補正する補正部として機能する。
フィルタリング部515は、たとえば選択した視覚特性の関数を周波数特性抽出部513において抽出された周波数特性に乗算することにより補正を行う。
逆周波数変換部516は、フィルタリング部515で補正された出力信号に対して逆FFT(Inverse FFT)を行い、たとえば被評価画像がノイズ画像である場合にノイズの見えを数値に反映したノイズ画像を生成し、このノイズ画像を色空間変換部517に出力する。
色空間変換部517は、逆周波数変換部516によるノイズ画像S517に対して通常の均等色変換(L*,u*,v*)を行い、その結果を画質評価値算出部518に出力する。
画質評価値取得部518は、色空間変換部517により供給される画像情報またはフィルタリング部515から直接供給される画像周波数特性情報に基づいて画質(画像)評価値を算出する。
たとえば、色空間変換部517による情報に基づき、(σL*+0.85σu**0.3σv*)のような演算を行ってノイズ評価値を算出する。
画質評価値取得部518で算出された画質評価値は出力部52から出力される。
図7は、本実施形態に係る画像評価装置の一連の動作を示すフローチャートである。
画像評価装置50では、ステップST1おいて、画像入力機器20により、被評価画像が入力される。
ステップST2において、画像特徴量抽出部511により、画像入力機器20から供給される被評価画像S20の画像特徴量、たとえばコントラストが抽出され、その画像特徴量がフィルタリング部515に出力される。その他の画像特徴量としては背景色などがある。
また、ステップST3において、色空間変換部512により、画像入力機器20から供給される被評価画像S20に対して、通常の色空間変換処理が行われ、色空間変換処理後の画像情報S512が周波数特性抽出部513に出力される。
そして、ステップST4において、周波数特性抽出部513によりは、たとえば画像情報S512に対するFFTが行われて、被評価画像の周波数特性である空間周波数分布情が抽出され、抽出されたた周波数特性情報S513がフィルタリング部515に出力される。
ステップST5において、フィルタリング部515により、画像特徴量抽出部511で抽出された画像特徴量S511に応じた視覚特性の関数が選択される。
そして、フィルタリング部515では、選択した視覚特性の関数が記憶部514から読み出され、この選択した視覚特性の関数で周波数特性抽出部513において抽出された周波数特性が補正(フィルタリング)される。
次いで、ステップST6において、逆周波数変換部516により、フィルタリング部515で補正された出力信号に対して逆FFTが行われ、たとえば被評価画像がノイズ画像である場合にノイズの見えを数値に反映したノイズ画像が生成される。このノイズ画像は色空間変換部517に出力される。
ステップST7において、色空間変換部517により、逆周波数変換部516によるノイズ画像S517に対して通常の均等色変換(L*,u*,v*)が行われ、その結果が画質評価値算出部518に出力される。
そして、ステップST8において、画質評価値取得部518により、色空間変換部517により供給される画像情報またはフィルタリング部515から直接供給される画像周波数特性情報に基づいて画質(画像)評価値が算出される。
画質評価値取得部518で算出された画質評価値は出力部52から出力される。
このような構成を有する本実施形態に係る画像評価システム10は、画像評価として、ノイズ評価(Visual Noise)、解像度評価、色再現性評価(S−CIELAB)などに適用可能である。
すなわち、本実施形態に係る画像評価システム10は、ノイズ評価以外では解像度評価、色再現性評価など、視覚特性(空間周波数と感度の関係)を利用したものには適用可能である。
図7のステップST1〜ST8の処理はノイズ評価を行う場合にすべての処理が行われる。ただし、たとえば解像度評価の場合には、補正後の周数特性から解像度指標値を取得することができることから、ステップST6の逆周波数変換とステップST7の色空間処理は不要となる。
図8は、ノイズ評価を行う場合の本実施形態に係る画像評価システムを模式的に示す図である。
図9は、解像度評価を行う場合の本実施形態に係る画像評価システムを模式的に示す第1図である。
図10は、解像度評価を行う場合の本実施形態に係る画像評価システムを模式的に示す第2図である。
図8のノイズ評価を行う画像評価システムは、上記したと同様の処理が行われる、
図9の解像度評価では、図8のノイズ評価の場合と同様に、被評価画像に対するFFTを行っている。
図10の解像度評価では、被評価画像S20といして、ISO12233チャートや、スタートチャート(Start Chart)等を用いる場合であり、空間周波数特性MTFを抽出している。
図9および図10の解像度評価の場合、コントラスト算出は、ヒストグラムから得る例を示しており、単純に、画像の最大および最小の差をコントラストとしても良い。
また、解像度指標算出に際し、面積分等の処理を行い、単一数値を算出するようにしても良い。
<3.閾値による視覚特性の関数の選択方法>
[3.1 視覚特性の関数(実験値)の数式化]
重複する説明となるが、図5に示す関数は以下の数式1で示される。
[数1]
VTF(λ)=a×Exp(−bλ)×(c−Exp(−dλ)・・・(1)
たとえば、低コントラストの関数(α)の場合、a=5.05、b=0.138、c=1.00、d=0.10である。
高コントラストの関数(β)の場合、4.4<a<5.2、0.1<b<0.2、1.2<c<1.3、0.3<d<0.06である。
ここでλは網膜上の空間周波数で、単位はcycle/degreeである。
[3.2 閾値による視覚特性の関数の第1の選択方法]
本実施形態では、簡単のために2つの関数で行っているが、2つ以上の関数を持つ場合も対応可能である。
図11(A)および(B)は、図5に示す視覚特性の関数を閾値と画像特徴量との比較で選択する例を示す図である。
図12は、図5に示す視覚特性の関数を閾値と画像特徴量との比較で選択する第1の選択方法を説明するための図である。
図13は、視覚特性の関数生成のための比率算出グラフを示す図である。
図11(A)および(B)に示すように、選択する視覚特性の関数は被評価画像から算出される画像特徴量aと予め定められた閾値Xによって決まる。
視覚特性の関数の選択は、図12に示すように、まず入力画像より画像特徴量aが算出される。
次に使用する視覚特性の関数を選択するために、画像特徴量aと閾値Xの比較を行う。a<Xならば、関数αを選択し、X<βを選択する。
また別の方法として、視覚特性の関数をあらかじめ持っている関数のグラフから作成する方法がある。
作成方法は2つの関数に重みを掛けて足し込む方法がある。重みは、図13に示すような形で入力画像の画像特徴量aから求めることができる。
作成は以下の数式で行われる。
[数2]
=(1−R)×f+R×f・・・(2)
ここで、fは生成した視覚特性関数を、fは視覚特性関数αを、fは視覚特性関数βを、それぞれ示している。
[3.2 閾値による視覚特性の関数の第2の選択方法]
図14(A)〜(D)は、図6で示した周波数成分毎に最適な関数を生成する方法を具体的に説明するための図である。
次に、図6で示した周波数成分毎に最適な関数を生成する第2の選択方法を具体的に説明する。
まず、被評価画像に対して、周波数解析を行う。
それによって得られる周波数成分a1のパワースペクトルP1と閾値Xの比較を行う。 ここではX<P1となり、周波数成分a1時の感度を関数βより求める。
続いて、同様に周波数成分a2のパワースペクトルP2と閾値Xの比較を行い、a2時の感度を求める。
これをすべての周波数成分で行うことで最適な関数を生成する。
ここではどちらかの関数より求める方法で説明したが、図13の画像特徴量の代わりにパワースペクトルとすることで2つの関数の比率から感度を求めることもできる。
[3.3 閾値による視覚特性の関数の第3の選択方法]
図15は、図10のチャートを用いた解像度評価における視覚特性の関数を閾値と画像特徴量との比較で選択する例を示す図である。
図16は、図15の被評価画像のヒストグラムから画像特徴量の範囲を決定する第1の方法を示す図である。
図17は、図15の被評価画像のヒストグラムから画像特徴量の範囲を決定する第2の方法を示す図である。
この場合も、第1の選択方法と同様に、簡単のために2つの関数で行っているが、2つ以上の関数を持つ場合も対応可能である。
そして、図11(A)および(B)に示すように、選択する視覚特性の関数は被評価画像から算出される画像特徴量と予め定められた閾値Xによって決まる。
視覚特性の関数の選択は、図15に示すように、まず入力画像より画像特徴量aが算出される。
画像特徴量aは、たとえば、図16に示すように、画像Aから算出されたヒストグラムにおいて、最大信号値および最小信号値から全頻度(100%)の内のe%を取り除いた範囲をaと定める。
または、画像特徴量aは、図17に示すように、最大信号値および最小信号値から最も近い極大値における信号値の差をaと定めても良い。
あるいは、単純に画像内の最大信号値と最小信号値の差をaとしても良い。
次に、使用する視覚特性の関数を選択するために、画像特徴量aと閾値Xの比較を行う。a<Xならば、関数αを選択し、X<βを選択する。
また別の方法として、視覚特性の関数をあらかじめ持っている関数のグラフから作成する方法がある。作成方法は2つの関数に重みを掛けて足し込む方法がある。重みは図13に示すような形で入力画像の画像特徴量から求めることができる。
作成は上記した数式2で行われる。
以上説明したように、本実施形態によれば、画像評価装置50は、あらかじめ与えられる複数の視覚特性の関数から抽出した画像特徴量に応じた視覚特性の関数を選択する。そして、画像評価装置50は、選択した視覚特性の関数により抽出した周波数特性を補正し、補正した周波数特性情報に基づいて画像評価値を得る。
したがって、最適な視覚特性での評価を行うことができ、人の視覚による主観評価と整合のとれた正確で信頼性の高い画像品質評価を行うことが主観的評価と整合性のとれた信頼性の高い画質評価を行うことが可能になる
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、CPU等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー(登録商標)ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
なお、本技術は以下のような構成をとることができる。
(1)視覚特性の関数をあらかじめ複数保持する保持部と、
被評価画像の画像特徴量を抽出する画像特徴量抽出部と、
被評価画像の周波数特性を抽出する周波数特性抽出部と、
上記保持部の複数の視覚特性の関数から上記画像特徴量抽出部で抽出された画像特徴量に応じた視覚特性の関数を選択する選択部と、
上記選択部で選択した視覚特性の関数により上記周波数特性抽出部で抽出された周波数特性を補正する補正部と、
上記補正部で補正された周波数特性情報に基づいて画像評価値を得る画像評価値取得部と
を有する画像評価装置。
(2)上記画像特徴量抽出部は、
上記被評価画像のコントラストを上記画像特徴量として抽出し、
上記保持部に保持される複数の視覚特性の関数は、
視覚系の空間周波数特性においてコントラストの限界値に対応する関数以外のコントラストがある場合の関数を含む
上記(1)記載の画像評価装置。
(3)上記選択部は、
抽出された上記画像特徴量とあらかじめ設定された閾値とを比較し、
画像特徴量が閾値より小さい場合には、コントラストが小さい側の視覚特性の関数を選択し、
画像特徴量が閾値より大きい場合には、コントラストが大きい側の視覚特性の関数を選択する
上記(2)記載の画像評価装置。
(4)上記画像特徴量抽出部は、
上記被評価画像の周波数解析によるパワースペクトルを上記画像特徴量として抽出し、
上記保持部に保持される複数の視覚特性の関数は、
視覚系の空間周波数特性においてコントラストの限界値に対応する関数以外のコントラストがある場合の関数を含む
上記(1)記載の画像評価装置。
(5)上記選択部は、
周波数成分ごとに抽出された上記画像特徴量とあらかじめ設定された閾値とを比較し、
画像特徴量が閾値より小さい場合には、コントラストが小さい側の視覚特性の関数を選択し、
画像特徴量が閾値より大きい場合には、コントラストが大きい側の視覚特性の関数を選択する
上記(4)記載の画像評価装置。
(6)上記視覚特性の関数は、画像特徴量よい近い2つの関数から補間することにより求められる
上記(1)から(5)のいずれか一に記載の画像評価装置。
(7)上記被評価画像は、ノイズ評価を行うためのノイズを含むノイズ画像であり、
上記補正部の出力情報に対して周波数変換を行う周波数変換部を含み、
上記周波数特性抽出部は、
上記被評価画像の周波数変換を行って当該被評価画像の周波数特性である空間周波数分布情報を抽出し、
上記周波数変換部は、
ノイズの見えを数値に反映したノイズ画像を生成し、生成したノイズ画像に関する情報を上記画像評価値取得部に出力する
上記(1)から(6)のいずれか一に記載の画像評価装置。
(8)上記被評価画像は、解像度評価を行うための画像であり、
上記周波数特性抽出部は、
上記被評価画像の周波数変換を行って当該被評価画像の周波数特性である空間周波数分布情報を抽出する
上記(1)から(6)のいずれか一に記載の画像評価装置。
(9)上記被評価画像は、解像度評価を行うためのチャート画像であり、
上記周波数特性抽出部は、
上記被評価画像の空間周波数特性(MTF)を抽出する
上記(1)から(6)のいずれか一に記載の画像評価装置。
(10)被評価画像の画像特徴量を抽出する画像特徴量抽出ステップと、
被評価画像の周波数特性を抽出する周波数特性抽出ステップと、
あらかじめ与えられた複数の視覚特性の感動関数から上記画像特徴量抽出ステップで抽出された画像特徴量に応じた視覚特性の関数を選択する選択ステップと、
上記選択ステップで選択した視覚特性の関数により上記周波数特性抽出部で抽出された周波数特性を補正する補正ステップと、
上記補正ステップで補正された周波数特性情報に基づいて画像評価値を得る画像評価値取得ステップと
を有する画像評価方法。
(11)上記画像特徴量抽出ステップで、
上記被評価画像のコントラストを上記画像特徴量として抽出し、
上記保持部に保持される複数の視覚特性の関数は、
視覚系の空間周波数特性においてコントラストの限界値に対応する関数以外のコントラストがある場合の関数を含む
上記(10)記載の画像評価方法。
(12)上記選択ステップでは、
抽出された上記画像特徴量とあらかじめ設定された閾値とを比較し、
画像特徴量が閾値より小さい場合には、コントラストが小さい側の視覚特性の関数を選択し、
画像特徴量が閾値より大きい場合には、コントラストが大きい側の視覚特性の関数を選択する
上記(11)記載の画像評価方法。
(13)上記画像特徴量抽出ステップでは、
上記被評価画像の周波数解析によるパワースペクトルを上記画像特徴量として抽出し、
上記保持部に保持される複数の視覚特性の関数は、
視覚系の空間周波数特性においてコントラストの限界値に対応する関数以外のコントラストがある場合の関数を含む
上記(10)記載の画像評価方法。
(14)上記選択ステップでは、
周波数成分ごとに抽出された上記画像特徴量とあらかじめ設定された閾値とを比較し、
画像特徴量が閾値より小さい場合には、コントラストが小さい側の視覚特性の関数を選択し、
画像特徴量が閾値より大きい場合には、コントラストが大きい側の視覚特性の関数を選択する
上記(13)記載の画像評価方法。
(15)上記視覚特性の関数は、画像特徴量よい近い2つの関数から補間することにより求められる
上記(10)から(14)のいずれか一に記載の画像評価方法。
(16)被評価画像の画像特徴量を抽出する画像特徴量抽出処理と、
被評価画像の周波数特性を抽出する周波数特性抽出処理と、
あらかじめ与えられた複数の視覚特性の関数から上記画像特徴量抽出処理で抽出された画像特徴量に応じた視覚特性の関数を選択する選択処理と、
上記選択処理で選択した視覚特性の関数により上記周波数特性抽出部で抽出された周波数特性を補正する補正処理と、
上記補正処理で補正された周波数特性情報に基づいて画像評価値を得る画像評価値取得処理と
を有する画像評価処理をコンピュータに実行させるプログラム。
10・・・画像評価システム、20・・・画像入力機器、30・・・画像表示部、40・・・観察パラメータ入力部、50・・・画像評価装置、51・・・画質評価値処理部、511・・・画像特徴抽出部、512・・・色空間処理部、513・・・周波数特性抽出部、514・・・・VTF記憶部(保持部)、515・・・フィルタリング部(補正部)、516・・・逆周波数変換部、517・・・色空間変換部、518・・・画質評価値取得部,52・・・出力部。

Claims (16)

  1. 視覚特性の関数をあらかじめ複数保持する保持部と、
    被評価画像の画像特徴量を抽出する画像特徴量抽出部と、
    被評価画像の周波数特性を抽出する周波数特性抽出部と、
    上記保持部の複数の視覚特性の関数から上記画像特徴量抽出部で抽出された画像特徴量に応じた視覚特性の関数を選択する選択部と、
    上記選択部で選択した視覚特性の関数により上記周波数特性抽出部で抽出された周波数特性を補正する補正部と、
    上記補正部で補正された周波数特性情報に基づいて画像評価値を得る画像評価値取得部と
    を有する画像評価装置。
  2. 上記画像特徴量抽出部は、
    上記被評価画像のコントラストを上記画像特徴量として抽出し、
    上記保持部に保持される複数の視覚特性の関数は、
    視覚系の空間周波数特性においてコントラストの限界値に対応する関数以外のコントラストがある場合の関数を含む
    請求項1記載の画像評価装置。
  3. 上記選択部は、
    抽出された上記画像特徴量とあらかじめ設定された閾値とを比較し、
    画像特徴量が閾値より小さい場合には、コントラストが小さい側の視覚特性の関数を選択し、
    画像特徴量が閾値より大きい場合には、コントラストが大きい側の視覚特性の関数を選択する
    請求項2記載の画像評価装置。
  4. 上記画像特徴量抽出部は、
    上記被評価画像の周波数解析によるパワースペクトルを上記画像特徴量として抽出し、
    上記保持部に保持される複数の視覚特性の関数は、
    視覚系の空間周波数特性においてコントラストの限界値に対応する関数以外のコントラストがある場合の関数を含む
    請求項1記載の画像評価装置。
  5. 上記選択部は、
    周波数成分ごとに抽出された上記画像特徴量とあらかじめ設定された閾値とを比較し、
    画像特徴量が閾値より小さい場合には、コントラストが小さい側の視覚特性の関数を選択し、
    画像特徴量が閾値より大きい場合には、コントラストが大きい側の視覚特性の関数を選択する
    請求項4記載の画像評価装置。
  6. 上記視覚特性の関数は、画像特徴量よい近い2つの関数から補間することにより求められる
    請求項1記載の画像評価装置。
  7. 上記被評価画像は、ノイズ評価を行うためのノイズを含むノイズ画像であり、
    上記補正部の出力情報に対して周波数変換を行う周波数変換部を含み、
    上記周波数特性抽出部は、
    上記被評価画像の周波数変換を行って当該被評価画像の周波数特性である空間周波数分布情報を抽出し、
    上記周波数変換部は、
    ノイズの見えを数値に反映したノイズ画像を生成し、生成したノイズ画像に関する情報を上記画像評価値取得部に出力する
    請求項1記載の画像評価装置。
  8. 上記被評価画像は、解像度評価を行うための画像であり、
    上記周波数特性抽出部は、
    上記被評価画像の周波数変換を行って当該被評価画像の周波数特性である空間周波数分布情報を抽出する
    請求項1記載の画像評価装置。
  9. 上記被評価画像は、解像度評価を行うためのチャート画像であり、
    上記周波数特性抽出部は、
    上記被評価画像の空間周波数特性(MTF)を抽出する
    請求項1記載の画像評価装置。
  10. 被評価画像の画像特徴量を抽出する画像特徴量抽出ステップと、
    被評価画像の周波数特性を抽出する周波数特性抽出ステップと、
    あらかじめ与えられた複数の視覚特性の感動関数から上記画像特徴量抽出ステップで抽出された画像特徴量に応じた視覚特性の関数を選択する選択ステップと、
    上記選択ステップで選択した視覚特性の関数により上記周波数特性抽出部で抽出された周波数特性を補正する補正ステップと、
    上記補正ステップで補正された周波数特性情報に基づいて画像評価値を得る画像評価値取得ステップと
    を有する画像評価方法。
  11. 上記画像特徴量抽出ステップで、
    上記被評価画像のコントラストを上記画像特徴量として抽出し、
    上記保持部に保持される複数の視覚特性の関数は、
    視覚系の空間周波数特性においてコントラストの限界値に対応する関数以外のコントラストがある場合の関数を含む
    請求項10記載の画像評価方法。
  12. 上記選択ステップでは、
    抽出された上記画像特徴量とあらかじめ設定された閾値とを比較し、
    画像特徴量が閾値より小さい場合には、コントラストが小さい側の視覚特性の関数を選択し、
    画像特徴量が閾値より大きい場合には、コントラストが大きい側の視覚特性の関数を選択する
    請求項11記載の画像評価方法。
  13. 上記画像特徴量抽出ステップでは、
    上記被評価画像の周波数解析によるパワースペクトルを上記画像特徴量として抽出し、
    上記保持部に保持される複数の視覚特性の関数は、
    視覚系の空間周波数特性においてコントラストの限界値に対応する関数以外のコントラストがある場合の関数を含む
    請求項10記載の画像評価方法。
  14. 上記選択ステップでは、
    周波数成分ごとに抽出された上記画像特徴量とあらかじめ設定された閾値とを比較し、
    画像特徴量が閾値より小さい場合には、コントラストが小さい側の視覚特性の関数を選択し、
    画像特徴量が閾値より大きい場合には、コントラストが大きい側の視覚特性の関数を選択する
    請求項13記載の画像評価方法。
  15. 上記視覚特性の関数は、画像特徴量よい近い2つの関数から補間することにより求められる
    請求項10から14のいずれか一に記載の画像評価方法。
  16. 被評価画像の画像特徴量を抽出する画像特徴量抽出処理と、
    被評価画像の周波数特性を抽出する周波数特性抽出処理と、
    あらかじめ与えられた複数の視覚特性の関数から上記画像特徴量抽出処理で抽出された画像特徴量に応じた視覚特性の関数を選択する選択処理と、
    上記選択処理で選択した視覚特性の関数により上記周波数特性抽出部で抽出された周波数特性を補正する補正処理と、
    上記補正処理で補正された周波数特性情報に基づいて画像評価値を得る画像評価値取得処理と
    を有する画像評価処理をコンピュータに実行させるプログラム。
JP2011237851A 2011-10-28 2011-10-28 画像評価装置、画像評価方法、およびプログラム Pending JP2013097463A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011237851A JP2013097463A (ja) 2011-10-28 2011-10-28 画像評価装置、画像評価方法、およびプログラム
US13/657,437 US20130108163A1 (en) 2011-10-28 2012-10-22 Image evaluation apparatus, image evaluation method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011237851A JP2013097463A (ja) 2011-10-28 2011-10-28 画像評価装置、画像評価方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2013097463A true JP2013097463A (ja) 2013-05-20

Family

ID=48172511

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011237851A Pending JP2013097463A (ja) 2011-10-28 2011-10-28 画像評価装置、画像評価方法、およびプログラム

Country Status (2)

Country Link
US (1) US20130108163A1 (ja)
JP (1) JP2013097463A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015015860A1 (ja) * 2013-07-31 2015-02-05 富士フイルム株式会社 代表色決定装置、代表色決定方法、プログラムおよび記録媒体
JP2015114864A (ja) * 2013-12-12 2015-06-22 セイコーエプソン株式会社 画像評価装置および画像評価プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7363770B2 (ja) * 2018-03-28 2023-10-18 ソニーグループ株式会社 演算装置、演算方法およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005055618A1 (en) * 2003-12-02 2005-06-16 Agency For Science, Technology And Research Method and system for video quality measurements
US8958639B2 (en) * 2013-01-12 2015-02-17 Shenzhen China Star Optoelectronics Technology Co., Ltd. Method for establishing evaluation standard parameters and method for evaluating the quality of a display image

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015015860A1 (ja) * 2013-07-31 2015-02-05 富士フイルム株式会社 代表色決定装置、代表色決定方法、プログラムおよび記録媒体
JP2015032881A (ja) * 2013-07-31 2015-02-16 富士フイルム株式会社 代表色決定装置、代表色決定方法、プログラムおよび記録媒体
JP2015114864A (ja) * 2013-12-12 2015-06-22 セイコーエプソン株式会社 画像評価装置および画像評価プログラム

Also Published As

Publication number Publication date
US20130108163A1 (en) 2013-05-02

Similar Documents

Publication Publication Date Title
CN110310237B (zh) 去除图像摩尔纹、显示面板子像素点亮度测量、Mura缺陷修复的方法及系统
Vu et al. ${\bf S} _ {3} $: a spectral and spatial measure of local perceived sharpness in natural images
JP2009180583A (ja) ディスプレイの輝度ムラ評価方法および装置
JP2011134200A (ja) 画像評価方法、画像処理方法および画像処理装置
KR20100085306A (ko) 고해상도 영상 획득 장치 및 그 방법
WO2019102966A1 (ja) 脈波検出装置、脈波検出方法、及び記憶媒体
WO2021036662A1 (zh) 信号处理方法、装置及相关产品
US10217193B2 (en) Image processing apparatus, image capturing apparatus, and storage medium that stores image processing program
JP2007172512A (ja) 画像品質定量評価方法及びその装置並びに画像品質定量評価値を計算するプログラム
JP7032913B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
WO2018090450A1 (zh) 显示屏均匀性测试方法及显示屏均匀性测试系统
KR101405435B1 (ko) 고해상도 영상 융합 방법 및 그 장치
US8693803B2 (en) High linear dynamic range imaging
US20200118250A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP2013097463A (ja) 画像評価装置、画像評価方法、およびプログラム
US20130155193A1 (en) Image quality evaluation apparatus and method of controlling the same
US11348205B2 (en) Image processing apparatus, image processing method, and storage medium
KR20100013856A (ko) 이미지 처리장치, 이미지 처리방법 및 처리방법을실행시키기 위한 프로그램을 저장한 기록매체
Fry et al. Validation of modulation transfer functions and noise power spectra from natural scenes
JP6564158B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2013219643A (ja) 画像処理装置および方法、並びに、プログラム
WO2021210334A1 (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
US11120579B2 (en) Image processing apparatus, image processing method, and storage medium
JP7372072B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および画像検査システム
CN110140150B (zh) 一种图像处理方法、装置以及终端设备