JP2009128078A - 画質検査装置および画質検査方法 - Google Patents

Abstract

【課題】二次元画像の画質を適切に検査できる画質検査装置を提供する。
【解決手段】 ＣＣＤカメラ１から出力される画像データは、画質検査装置２に入力される。画質検査装置２は、検査対象となる二次元画像の検査領域に対して、窓関数を用いて検査領域の境界における不連続性の影響を抑制するような補正を行う補正手段２１と、補正手段２１により補正された後の画像について、視覚の感度の周波数特性と、検査対象となる二次元画像の周波数成分とを積算することで欠陥強度を算出する欠陥強度算出手段２２と、欠陥強度算出手段２２により算出された欠陥強度に基づいて上記二次元画像の画質を判定する判定手段２３と、を備える。
【選択図】図１

Description

本発明は、二次元画像の画質を検査する画質検査装置および画質検査方法に関する。

表示デバイスの製造工程では、組立工程に移行する前にパネル単体で欠陥検査が行われている。これはパネル製造工程で発生する画素欠陥を検査し、組立て前に欠陥箇所のリペアを行い、あるいはリペア不可能なパネルは次工程に送らず処分するためである。

従来のような検査員による目視検査では、個体差、バラツキが多く、高精度に検査することが困難であり、また、近年の表示デバイスの大型化、高精細化に伴い、広範囲を短時間で検査することも困難になっているため、ムラ欠陥の検査においても自動検査装置への代替が望まれている。

検査対象は、表示デバイス、撮像デバイス、投影デバイス上に生じるムラ欠陥である。ムラは、製造工程におけるガラス基板の膜厚の変化や、カラーフィルタの膜厚の変化、液晶の配向異常など様々な要因によって生じる。塊状のムラや帯状のムラなど、形状、向き、発生位置、サイズ（周波数）は様々である。

表示デバイスを検査対象とした従来の自動検査装置としては、検査対象デバイスに正対する位置に高画素のモノクロＣＣＤカメラに撮影レンズを組合せ、検査対象デバイスを撮像するものが知られている。カメラは被検査パネルに対して精度よく上下、左右とも傾き調整をした状態で設置される。

撮像された画像は、画像データのノイズ補正を行う「画像補正処理」、欠陥候補を抽出する「欠陥候補抽出処理」、抽出された欠陥候補の面積、体積、コントラスト等の特徴量を計算する「特徴量計算処理」、計算された特徴量と予め設定された閾値とを比較して欠陥であるか否かを判断する「判定処理」を経て、検査結果データとして出力される。

図１７は、輝度に対するＭＴＦ特性を利用した画質検査装置による検査手順を示すフローチャートである。

この手法は、欠陥の強度を、その欠陥のコントラストとその欠陥形状に対する認識限界（JND）コントラストとの比で表現し、”Ｓｅｍｕ”という単位で、客観的な計量値として表現しようとするものであり、検査対象の多様な変化（背景輝度や欠陥形状など）を考慮している。

尚、計量単位”Ｓｅｍｕ”は、２００２年にＳＥＭＩスタンダードにおいて提案されているものである。

まず、ＭＴＦ特性とは、図１８（ａ）に示すような明暗の正弦波状の縞パターンにおいて、人間が認識感知することのできる限界のコントラスト変化の逆数で表される感度特性であり、空間周波数に対する人間の視覚感度特性は図１８（ｂ）に示すような或る周波数でピークを有する特性曲線となる。すなわち、人間の視覚は或る細かさに敏感であることが示される。

具体的には、図１８（ｃ）に示すように、或る視角の範囲にある波数の正弦波を表示させたとき、空間周波数は、

空間周波数(cpd)＝波数／視角（度） ・・・式（１）
で表され、また、認識限界（Ｃ_JND、ＪＮＤ：just noticeable difference）コントラストは、感知できる最小輝度変化を”ΔＬ”、背景輝度を”Ｌ_BG”とした場合、

Ｃ_JND＝ΔＬ／Ｌ_BG×１００ ・・・式（２）
で表される。そして、式（１）と式（２）の逆数の関係がＭＴＦ特性”Ｓ_MTF”となる。

但し、画質検査に用いるためには、２次元のＭＴＦ特性への拡張が必要になる。なお、２次元のＭＴＦ特性に関しては、角度による感度の違いも報告されている。

図１７の「画像補正処理」では、ステップＳ００１において、入力された画像データに対して、光学特性の補正、シェーディング補正、欠陥サイズへの対応及び高周波ノイズ除去等のため、縮小処理及び平滑化処理等の前処理を行う。

「欠陥候補抽出処理」では、ステップＳ００２において、ラプラシアン型、ソーベル型、射影等の強調フィルタにより欠陥候補の輝度差を強調する。次に、ステップＳ００３において、輝度差が強調された画像を閾値で２値化し、当該閾値を超過した部分（あるいは満たない部分）を欠陥候補として抽出して出力する。

特徴量計算処理では、ステップＳ００４において、「欠陥候補抽出処理」で抽出された欠陥候補を正規化した欠陥形状を生成する。正規化は、例えば、欠陥候補内部の最大輝度と欠陥候補周辺の輝度から行う。

次に、ステップＳ００５では、正規化された欠陥形状に対して２次元フーリエ変換等の処理を行い、欠陥形状を形成する周波数成分”Ｐｏｗｅｒ（ｕ（ｈ，ｖ））”を抽出する。ここで、ｕ（ｈ，ｖ）は空間周波数である。

一方、ステップＳ００６では、空間周波数”（ｕ（ｈ，ｖ））”、背景輝度”Ｌ_BG”、欠陥の大きさ”（Ｘ，Ｙ）”及び角度方向”φ”等をそれぞれパラメータとして、２次元に拡張されたＭＴＦ特性
“Ｓ_MTF（ｕ（ｈ，ｖ），Ｌ_BG，Ｘ，Ｙ，φ）”
を計算する。

また、ステップＳ００７では、欠陥領域の輝度値と欠陥周辺の輝度値から、式（２）より、欠陥のコントラスト”Ｃ_X”を算出しておく。

次に、ステップＳ００８では、得られた周波数成分”Ｐｏｗｅｒ（ｕ（ｈ，ｖ））”と２次元ＭＴＦ特性
“Ｓ_MTF（ｕ（ｈ，ｖ），Ｌ_BG，Ｘ，Ｙ，φ）”
とから、次式により欠陥形状に対する認識限界コントラスト”Ｃ_JND”を計算する。

最後に、ステップＳ００９では、欠陥のコントラスト”Ｃ_X”と欠陥形状に対する認識限界コントラスト”Ｃ_JND”から、次式により欠陥強度（Ｓｅｍｕ）を計算する。
Ｓｅｍｕ＝Ｃ_X／Ｃ_JND ・・・式（４）

「判定処理」では、ステップＳ０１０において、「特徴量計算手順」で計算された欠陥強度（Ｓｅｍｕ）と予め設定された閾値とを比較して欠陥であるか否かを判断し、もし、欠陥であると判断された場合には、ステップＳ０１１において、検出された欠陥の情報を出力データにまとめる。

「特徴量計算処理」および「判定処理」は、「欠陥候補抽出処理」で抽出された全ての候補領域に対して実行される。
特開２００５−３２６３２３号公報 情学誌Vol.60, No.2, p129-136, 2006 視覚系空間周波数特性に基づく輝度ムラ強度定量化手法，岸卓人 SEMI D31-1102 FPD画質検査における輝度ムラの計量単位（Semu）の定義 日本写真学会誌Vol.65, No.2, p121-127, 2002 視覚系空間周波数応答の方向依存性（１），石原徹弥 日本写真学会誌Vol.65, No.2, p128-133, 2002 視覚系空間周波数応答の方向依存性（２），石原徹弥

しかし、上記の検査方法には、以下の問題点がある。
（１）例えば中央に白欠陥が存在し、全面に黒い縦縞状欠陥が存在する画像を考える。このように塊状の欠陥と周期性の欠陥が混在するような場合に、何をもって欠陥の輝度、周辺の輝度とすべきか判断がつかず、適切な欠陥のコントラストが算出できないため、結果的に適切なSEMU値算出ができない。
（２）ある周期、あるコントラストをもつほぼ均一な縦縞欠陥の画像の場合、本来強度計算を行う候補領域サイズが同一であれば、同一のＳｅｍｕ値が算出されるべきであるが、強度計算を行う候補領域サイズが同じでも切り出し領域によって算出されるＳｅｍｕ値が異なる。
（３）実際の検査対象物に対し検査を行う場合、撮像系を含んでいるため、カメラノイズや対象物自体のちらつきやバラツキによりザラ状のノイズが含まれる。このような場合、ザラ状のノイズの影響をうけ、Ｓｅｍｕ値が正確に算出できないという問題がある。

本発明の目的は、二次元画像の画質を適切に検査できる画質検査装置を提供することにある。

本発明の画質検査装置は、二次元画像の画質を検査する画質検査装置において、検査対象となる二次元画像の検査領域に対して、窓関数を用いて検査領域の境界における不連続性の影響を抑制するような補正を行う補正手段と、前記補正手段により補正された後の画像に基づいて前記二次元画像の画質を判定する判定手段と、を備えることを特徴とする。
この画質検査装置によれば、窓関数を用いて検査領域の境界における不連続性の影響を抑制するので、検査領域に影響されることなく、適切に画質を評価できる。

本発明の画質検査装置は、二次元画像の画質を検査する画質検査装置において、視覚の感度の周波数特性と、検査対象となる二次元画像の周波数成分とを積算することで欠陥強度を算出する欠陥強度算出手段と、前記欠陥強度算出手段により算出された前記欠陥強度に基づいて前記二次元画像の画質を判定する判定手段と、を備えることを特徴とする画質検査装置。
この画質検査装置によれば、視覚の感度の周波数特性と、検査対象となる二次元画像の周波数成分とを積算することで欠陥強度を算出するので、直感的に理解しやすい客観的な計量値として欠陥強度を得ることができる。

前記欠陥強度算出手段は、視覚の感度の周波数特性と、検査対象となる第１の二次元画像の周波数成分とを積算することで第１の欠陥強度を算出するとともに、視覚の感度の周波数特性と、検査対象となる第２の二次元画像の周波数成分とを積算することで第２の欠陥強度を算出し、前記判定手段は、前記欠陥強度算出手段で算出された前記第１の欠陥強度および前記第２の欠陥強度を比較することで前記第１の二次元画像および前記第２の二次元画像の画像差分を評価してもよい。

前記欠陥強度算出手段は、検査領域の二次元周波数領域における支配的な周波数成分のみについて欠陥強度を算出してもよい。

前記支配的な周波数成分は、前記検査領域のフーリエ変換画像と、当該フーリエ変換画像の２値化画像とを掛け合わせることにより抽出されてもよい。

前記二次元画像は輝度画像であってもよい。

前記二次元画像は反対色画像であってもよい。

本発明の画質検査装置によれば、窓関数を用いて検査領域の境界における不連続性の影響を抑制するので、検査領域に影響されることなく、適切に画質を評価できる。

本発明の画質検査装置によれば、視覚の感度の周波数特性と、検査対象となる二次元画像の周波数成分とを積算することで欠陥強度を算出するので、直感的に理解しやすい客観的な計量値として欠陥強度を得ることができる。

以下、図１〜図１６を参照して、本発明による画質検査装置の実施形態について説明する。

図１は、一実施形態の画質検査装置の構成を示すブロック図である。

検査対象デバイス３に正対する位置には、撮影レンズを組合せた高画素のモノクロＣＣＤカメラ１が配置され、これにより検査対象デバイスを撮像する。ＣＣＤカメラ１は被検査パネルに対して、精度よく上下、左右とも傾き調整をした状態で設置される。

ＣＣＤカメラ１から出力される画像データは、画質検査装置２に入力される。

画質検査装置２は、検査対象となる二次元画像の検査領域に対して、窓関数を用いて検査領域の境界における不連続性の影響を抑制するような補正を行う補正手段２１と、補正手段２１により補正された後の画像について、視覚の感度の周波数特性と、検査対象となる二次元画像の周波数成分とを積算することで欠陥強度を算出する欠陥強度算出手段２２と、欠陥強度算出手段２２により算出された欠陥強度に基づいて上記二次元画像の画質を判定する判定手段２３と、を備える。

補正手段２１の機能は後述するステップＳ１０４〜ステップＳ１０５の処理に、欠陥強度算出手段２２の機能は後述するステップＳ１０６〜ステップＳ１１０の処理に、判定手段２３の機能は後述する「判定処理」に、それぞれ対応する。

図２は、輝度に対するＭＴＦ特性を利用した画質検査装置による検査手順を示すフローチャートである。

「画像補正処理」では、ステップＳ１０１において、入力された画像データに対して、光学特性の補正、シェーディング補正、等の前処理を行う。

なお、「画像補正処理」において、カメラ出力値／輝度変換パラメータを用いて、画像を補正してもよい。例えば、記憶装置に記憶されたカメラ出力値／輝度変換パラメータを用いて、カメラ出力値を実際の輝度に変換することができる。この場合、実際の輝度値の情報を用いて「画像補正処理」、「特徴量計算処理」および「判定処理」の全てあるいは一部を実行することにより、精度の高い画質検査が可能になる。

次に、「欠陥候補抽出処理」では、ステップＳ１０２において、ラプラシアン型、ソーベル型、射影等の強調フィルタにより欠陥候補の輝度差を強調する。次に、ステップＳ１０３において、輝度差が強調された画像を閾値で２値化し、当該閾値を超過した部分（あるいは満たない部分）を欠陥候補として抽出して出力する。

本発明の画質検査装置は、以下に述べる「特徴量計算処理」に特徴を有する。

「特徴量計算処理」では、ステップＳ１０４において、式（５）に従って、欠陥候補周辺を含めた計算領域に対し、計算領域の平均輝度によるコントラスト画像を生成する。

ここで、ｉｍｇＬｕｍｉ（ｘ，ｙ）は、ｃｄ／ｍ²単位に換算した計算領域の輝度変換画像、ａｖｅＬｕｍｉは計算領域の平均輝度である。

次に、ステップＳ１０５において、ＦＦＴ（高速フーリエ変換）時の信号の不連続性に対応するため、窓関数によりコントラスト画像を補正する。例えば、計算領域に合わせて２次元の赤池（Akaike）窓画像を生成し、コントラスト画像と掛け合わすことにより行う。

ｉｍｇＣｏｒｒ（ｘ，ｙ）
＝ｉｍｇＣｏｎｔ（ｘ，ｙ）・ｉｍｇＷｉｎ（ｘ，ｙ） ・・・式（６）

ここで、ｉｍｇＷｉｎ（ｘ，ｙ）が２次元の赤池窓画像である。

図３に窓関数補正の挙動を示す。図３（ａ）は、元画像を、図３（ｂ）は、窓関数による補正画像を、それぞれ示している。図３（ａ）に示すように、元画像２５Ａでは、計算領域２４の外周端での輝度の不連続性が見られるのに対し、窓関数による補正画像２５Ｂでは、計算領域２４の外周端での不連続性の影響が低下する。これにより、切り出し領域により欠陥強度の算出結果が変動することが抑制される。

次に、ステップＳ１０６において、補正コントラスト画像に対して２次元フーリエ変換等の処理を行い、コントラスト画像を形成する周波数成分”Ｐｏｗｅｒ（ｕ_h，ｕ_v）”を抽出する。ここで、”（ｕ_h，ｕ_v）”は空間周波数である。

次に、ステップＳ１０７において、計算領域内の支配的な周波数成分を抽出するため、ＦＦＴ画像”Ｐｏｗｅｒ（ｕ_h，ｕ_v））”に対し２値化処理を行う。例えば、ＦＦＴ画像の平均値と標準偏差を用いて、以下のように２値化を行う。
ｉｍｇＢｉｎＦＥＴ（ｕ_h，ｕ_v）
＝Ｐｏｗｅｒ（ｕ_h，ｕ_v）≧ＡｖｅＦＦＴ＋ＳｔｄｅｖＦＦＴ×α ・・・式（７）

ここで、ＡｖｅＦＦＴ：ＦＦＴ画像の平均値、ＳｔｄｅｖＦＦＴ：ＦＦＴ画像の標準偏差である。

次に、ステップＳ１０８において、ＦＦＴ２値画像とＦＦＴ画像を掛け合わせることにより、計算領域内の支配的な周波数成分を抽出する。欠陥形状を形成するのに必要な強い高調波成分は残しつつザラ状ノイズ等に起因する過度の高周波成分を除去することが目的である。

Ｐｏｗｅｒ（ｕ_h，ｕ_v）
＝Ｐｏｗｅｒ（ｕ_h，ｕ_v）・ｉｍｇＢｉｎＦＦＴ（ｕ_h，ｕ_v） ・・・式（８）

一方、ステップＳ１０９において、空間周波数ｕ_h、ｕ_v、背景輝度Ｌ_BG、欠陥の大きさＸ，Ｙ及び角度方向φ等をそれぞれパラメータとして、２次元に拡張されたＭＴＦ特性
“Ｓ_MTF（ｕ_h，ｕ_V，Ｌ_BG，Ｘ，Ｙ，φ）”
を計算する。

従来法におけるＭＴＦの位置づけが、正規化された振幅が１の欠陥形状に対し、振幅がＪＮＤコントラストになるように変換する振幅変換関数(MTF: Modulation Transfer Function)であると言えるのに対し、本発明におけるＭＴＦの位置づけは、周波数成分に対する人間のコントラスト感度（ＪＮＤコントラストの逆数）そのものとなり、ＦＦＴ画像における各周波数成分のコントラスト振幅をＪＮＤの何倍という数値に変換する振幅変換関数であると言える。

次に、ステップＳ１１０において、得られた２次元ＭＴＦ特性Ｓ_MTF（Ｕ_h，Ｕ_V，Ｌ_BG，Ｘ，Ｙ，φ）と周波数成分Ｐｏｗｅｒ（ｕ_h，ｕ_v）から、次式により欠陥強度（Ｓｅｍｕ）を計算する。

次に、「判定処理」では、ステップＳ１１１において、「特徴量計算処理」で計算された欠陥強度（Ｓｅｍｕ）と予め設定された閾値とを比較して欠陥であるか否かを判断し、もし、欠陥であると判断された場合には、ステップＳ１１２において、検出された欠陥の情報を出力データにまとめる。

「特徴量計算処理」および「判定処理」は、「欠陥候補抽出処理」で抽出された全ての候補領域に対して実行される。

以上のように、本実施形態の画質検査装置によれば、欠陥コントラストを算出する必要がなく、欠陥領域と周辺領域を厳密に識別する必要がないため、様々の欠陥が混在する実際の検査対象において、ユーザーが直感的に理解しやすい客観的な計量値として欠陥強度を数値化する高精度な画質検査装置を実現することが可能となる。

また、窓関数による補正を行うことで、切り出し領域を変更した際にも、同一強度の欠陥に対し、安定した欠陥強度を算出できる画質検査装置を提供することが可能になる。

さらに、周波数成分の補正を行うことにより、欠陥形状を形成するのに必要な強い高調波成分は残しつつザラ状ノイズ等に起因する過度の高周波成分が除去されるため、撮像した画像において、カメラノイズ等の影響を低減し、同一強度の欠陥に対し、安定した欠陥強度を算出できる画質検査装置を提供することが可能となる。

次に、図４は、欠陥を抽出する検査領域を順次、重なり合うようにずらしながら検査を行う画質検査方法を示す図、図５は、この検査手順を示すフローチャートである。図５において、図２と同様の処理には同一ステップ番号を付している。

図５に示す検査手順では、図２の「欠陥候補抽出処理」に代えて「領域設定処理」が採用されている。

「領域設定処理」では、ステップＳ２０２において、「特徴量計算処理」「判定処理」の対象となる分割領域のサイズ、移動幅などを設定する。ここでは、図４（ａ）に示すように、互いに重なり合う複数の計算領域３ａ，３ａ，・・・に分割し、図４（ｂ）に示すように、全パネル領域について対象の計算領域を移動しながら、繰り返し動作を行う。例えば、図４（ａ）および図４（ｂ）に示すように、計算領域３ａを半ブロックずつずらして設定することにより、計算領域３ａ，３ａ，・・・をまたがって欠陥が存在する場合にも対応する。このとき計算領域３ａのサイズを大きくすれば、サイズの大きな欠陥あるいは低周波の欠陥に対応可能となり、小さくしていけば、サイズの小さな欠陥あるいは高周波な欠陥に対応可能となる。

このように、検査領域３ａ，３ａ，・・・を重なり合うように設定することで、欠陥形状・サイズに捉われることなく、人間が目立つと感じる領域を欠陥領域として抽出し、且つユーザーが直感的に理解しやすい客観的な計量値として欠陥強度を数値化することが可能となる。また、分割領域全体の周波数成分を利用して欠陥強度を判断するので、特定の周波数成分をもたない単体の欠陥だけでなく、周期的な欠陥についても、周波数、向きに捉われることなく、検出が可能となる。

さらに、欠陥形状を意識せず、各分割領域の目立ち具合で欠陥か否かの判断が行われるので、新規の欠陥の検出を可能とし、新規の検査アルゴリズムの開発コストの削減、検査アルゴリズム開発期間の短縮を実現できる。また、欠陥形状・サイズに依存する抽出処理を持たないので、欠陥領域抽出に関するチューニング工数の大幅な削減を実現できる。

図１に示すように、認識限界感度モデルパラメータを外部ファイル２９として記憶し、外部ファイル２９から欠陥強度算出手段２２および判定手段２３に認識限界感度モデルパラメータを入力する。ここで、認識限界感度モデルパラメータは、欠陥候補抽出処理、特徴量計算処理および判定処理の一部あるいは全部に渡される。

このように、認識限界感度モデルパラメータを外部から入力することにより、メンテナンス性を向上し、精度の高い感度計算が可能になる。例えば、検査対象デバイスの特性をリアルタイムに測定し、そのデータから認識限界感度モデルパラメータを生成し使用することで、デバイス間の特性のばらつきや経時変化にも対応した欠陥強度算出を可能にする。

図６は、図４および図５に示す手順に、多段階平滑縮小機能を付加した場合の検査手順を示すフローチャートである。図６において、図５のステップに対応する処理には同一ステップ番号を付している。

「画像補正機能」では、ステップＳ３０１において、前処理として、「画像取込手段」から入力された画像データに対して、光学特性の補正、シェーディング補正を行った後、ステップＳ３０２において、欠陥サイズ・周波数への対応及び高周波ノイズ除去等のため、縮小処理及び平滑化処理等を行う。

その後の処理（ステップＳ１０４〜ステップＳ１１２）を平滑縮小処理の実行数に応じて、繰り返し実行する。

このように多段階平滑縮小を順次実行し、各縮小画像に対し、それ以降の「領域設定処理」「特徴量計算処理」「判定処理」を繰り返し実行することで、広範囲のサイズ・周波数の欠陥への対応が可能となる。

図７は、色ムラを検査する画質検査装置の構成を示すブロック図である。図１と同様の構成要素には同一符号を付している。

モノクロＣＣＤカメラ１の撮影レンズと検査対象デバイス３の間には、ＲＧＢカラーフィルタ１１Ｒ，１１Ｇ，１１Ｂを有するターレット１１が挿入され、ターレット１１はステッピングモータやサーボモータなどの回転駆動部に支持されて高速に回転、位置決めが可能な構造となっている。ターレットは撮影シーケンスと連動してプログラマブルに回転し、高速に任意のフィルタ選択が可能である。

図７に示すようなターレットとモノクロカメラを組み合わせた構成に代えて、ターレットを用いずにカラーフィルタを内蔵した３ＣＣＤカメラによる構成も可能である。

また、ＲＧＢカラーフィルタの代わりに、モノクロカメラの分光特性も考慮したうえで、ＸＹＺ三刺激値の画像を直接撮像できるように設計したＸ，Ｙ，Ｚフィルタを用いる、あるいは2次元色彩計を使用するなどして、ＸＹＺ三刺激値の画像を直接入力する構成も可能である。

図７に示すように、ＲＧＢカラー画像が入力される画質検査装置２Ａには、入力された各画像データに対し、レンズの収差などを補正した画像を生成する画像補正手段２１と、補正された画像を反対色成分画像に変換する反対色画像生成手段２６と、特徴量算出領域を設定するとともに、各分割領域に対し、各反対色成分の認識限界コントラストに対するコントラスト比として反対色成分に対する欠陥の強度を算出する欠陥強度算出手段２２と、計算された反対色欠陥強度から色ムラとしての総合的な欠陥強度を算出し、予め設定された閾値と比較して欠陥であるか否かを判断する判定手段２３と、が設けられている。

このように、画質検査装置２Ａには、反対色画像生成手段２６が付加され、入力される３枚の画像を３枚の反対色成分画像に変換し、それぞれの画像に対して欠陥強度算出手段２２を動作させていることに特徴がある。

ここで反対色成分とは、Heringの反対色説（網膜には、白−黒、赤−緑、青−黄に応答する３種の受光器が存在し、すべての色の特性は、これらの受光器の応答量の割合で示される）に基づくものであり、黄色味の赤色はあるが、緑色味の赤色はないという経験的事実を良く説明し、人間の色覚特性を良く表すものである。w/kは輝度成分であり、r/gは赤−緑、b/yは青−黄に対する色度成分である。

三刺激値（Ｘ，Ｙ，Ｚ）から反対色成分(w/k, r/g, b/y)の各値(wk, rg, by)への変換は、次式（式（１０））に示す行列演算により行われる。図８に三刺激値と反対色成分の分光特性を示す。

図９および図１０は、画質検査装置２Ａ（図７）の動作手順を示すフローチャートである。

まず、「画像補正処理」では、ステップＳ５０１において、前処理として、入力された各ＲＧＢ画像に対して、光学特性の補正、欠陥サイズへの対応及び高周波ノイズ除去等のため、シェーディング補正、縮小処理及び平滑化処理等を行う。

次に、「反対色画像生成処理」では、ステップＳ５０２において、ＲＧＢ画像を３枚の三刺激値画像（Ｘ，Ｙ，Ｚ）に変換し出力する。ここで、ＸＹＺ画像が直接入力される場合には、ステップＳ５０２の処理は行わない。次に、ステップＳ５０３において、入力された３枚の三刺激値画像を３枚の反対色成分画像(w/k, r/g, b/y)に変換し、出力する。

「領域設定処理」では、ステップＳ５０４において、「特徴量計算処理」および「判定処理」の対象となる計算領域のサイズ、移動幅などを設定する。

「特徴量計算処理」では、各反対色成分画像における計算分割領域に対して処理を行う。「特徴量計算処理」では、ステップＳ５０５において、「領域設定処理」で設定された各反対色成分での計算領域のコントラスト画像を生成する。

次に、ステップＳ５０６において、ＦＦＴ時の信号の不連続性に対応するため、窓関数によりコントラスト画像を補正する。

ステップＳ５０７では、補正コントラスト画像に対して２次元フーリエ変換等の処理を行い、各反対色成分におけるコントラスト画像を形成する周波数成分Ｐｏｗｅｒ_wk（ｕ_h，ｕ_v）、Ｐｏｗｅｒ_rg（ｕ_h，ｕ_v）、Ｐｏｗｅｒ_by（ｕ_h，ｕ_v）を抽出する。

次に、ステップＳ５０８において、計算領域内の支配的な周波数成分を抽出するため、各反対色成分におけるＦＦＴ画像Ｐｏｗｅｒ_wk（ｕ_h，ｕ_v）、Ｐｏｗｅｒ_rg（ｕ_h，ｕ_v）、Ｐｏｗｅｒ_by（ｕ_h，ｕ_v）に対し、それぞれ２値化処理を行う。

次に、ステップＳ５０９において、各反対色成分におけるＦＦＴ２値画像とＦＦＴ画像を掛け合わせることにより、計算領域内の支配的な周波数成分を抽出する。

一方、ステップＳ５１０では、空間周波数ｕ_h，ｕ_v、反対色成分の背景値ｗｋ_BG、ｒｇ_BG、ｂｙ_BG、欠陥候補領域の大きさＸ，Ｙ及び角度方向φ等をそれぞれパラメータとして各反対色成分(w/k, r/g, b/y)における２次元ＭＴＦ特性Ｓ_wk（ｕ_h，ｕ_v，ｗｋ_BG，Ｘ，Ｙ，φ）、Ｓ_rg（ｕ_h，ｕ_v，ｒｇ_BG，Ｘ，Ｙ，φ）、Ｓ_by（ｕ_h，ｕ_v，ｂｙ_BG，Ｘ，Ｙ，φ）を計算する。

次に、ステップＳ５１１において、得られた２次元ＭＴＦ特性Ｓ_wk（ｕ_h，ｕ_v，ｗｋ_BG，Ｘ，Ｙ，φ）、Ｓ_rg（ｕ_h，ｕ_v，ｒｇ_BG，Ｘ，Ｙ，φ）、Ｓ_by（ｕ_h，ｕ_v，ｂｙ_BG，Ｘ，Ｙ，φ）と周波数成分Ｐｏｗｅｒ_wk（ｕ_h，ｕ_v）、Ｐｏｗｅｒ_rg（ｕ_h，ｕ_v）、Ｐｏｗｅｒ_by（ｕ_h，ｕ_v）から、各反対色成分(w/k, r/g, b/y)における欠陥強度（Ｓｅｍｕ）を計算する。

「判定処理」では、ステップＳ５１２において、「特徴量計算処理」により算出された各反対色成分(w/k, r/g, b/y)における欠陥強度”Ｓｅｍｕ_wk”、”Ｓｅｍｕ_rg”、”Ｓｅｍｕ_by”を統合して、色ムラとしての総合的な欠陥強度（Ｓｅｍｕ）を算出する。

ステップＳ５１３では、計算された総合的な欠陥強度（Ｓｅｍｕ）と予め設定された閾値とを比較して欠陥であるか否かを判断し、もし、欠陥であると判断された場合には、ステップＳ５１４において、検出された欠陥の情報を出力データにまとめる。

このように、反対色成分における欠陥強度を算出することにより、色ムラに対しても、欠陥形状・サイズに捉われることなく、人間が目立つと感じる領域を欠陥領域として抽出し、且つユーザーが直感的に理解しやすい客観的な計量値として欠陥強度を数値化することが可能となる。

また、分割領域全体の周波数成分を利用して、欠陥強度を判断するので、特定の周波数成分をもたない単体の欠陥だけでなく、周期的な欠陥についても、周波数、向きに捉われることなく、検出が可能となる。

さらに、欠陥形状を意識せず、各分割領域の目立ち具合で欠陥か否かの判断が行われるので、新規の欠陥の検出を可能とし、新規の検査アルゴリズムの開発コストの削減、検査アルゴリズム開発期間の短縮を実現できる。また、欠陥形状・サイズに依存する抽出処理を持たないので、欠陥領域抽出に関するチューニング工数の大幅な削減を実現できる。

図１１に示すように、記憶装置２７に格納されたカメラ出力値／三刺激値変換パラメータを使用してカメラ出力値を補償するようにしてもよい。ここで、カメラ出力値／三刺激値変換パラメータは、反対色画像生成手段２６に渡される。このように、カメラ出力値／三刺激値変換パラメータを使用してカメラ出力値を補償し、実際の三刺激値の情報を入力することにより、精度の高い色ムラ検査が可能になる。

図１２は、認識限界感度モデルパラメータを用いて欠陥強度を算出する構成を示すブロック図である。この例では、図１２に示すように、認識限界感度モデルパラメータを外部ファイル２８として記憶し、外部ファイル２８から欠陥強度算出手段２２および判定手段２３に認識限界感度モデルパラメータを入力する。ここで、認識限界感度モデルパラメータは、各反対成分に対応する欠陥候補抽出処理、特徴量計算処理および判定処理の一部あるいは全部に渡される。

このように、認識限界感度モデルパラメータを外部から入力することにより、メンテナンス性を向上し、精度の高い感度計算が可能になる。例えば、検査対象デバイスの特性をリアルタイムに測定し、そのデータから認識限界感度モデルパラメータを生成し使用することで、デバイス間の特性のばらつきや経時変化にも対応した欠陥強度算出を可能にする。

図１３は、本発明の画質検査方法を、撮像デバイスの画質検査に適用した例を示すブロック図である。図１３に示すように、この場合、検査対象の撮像デバイスである３ＣＣＤカメラ１０により参照光源３０を撮像した画像を、画像検査装置２に入力する。図１３の例では、カラーを対象とし、３枚のＲＧＢカラー画像を入力しているが、検査対象がモノクロの場合、１枚のモノクロ画像を入力する。

この検査方法は、ＣＣＤ、ＣＭＯＳ、その他の撮像デバイスに適用可能である。またモノクロ、カラーいずれの撮像デバイスにも適用可能である

図１４は、本発明の画質検査方法を投影デバイス４０の画質検査に適用した例を示すブロック図である。この例では、検査対象となる投影デバイス４０から投影された像４１を、ターレット１１と組み合わされたＣＣＤカメラ１によりＲＧＢに分解して撮像する。撮像された画像は、画質検査装置２Ａに入力される。

図１４の例では、カラーを対象とし、３枚のＲＧＢカラー画像を入力しているが、検査対象がモノクロの場合、１枚のモノクロ画像を入力する。この画質検査方法は、プロジェクタ用液晶、その他の投影デバイスに適用可能である。またモノクロ、カラーいずれの投影デバイスにも適用可能である。

図１５および図１６は、本発明の画質検査方法を画像差分評価装置に適用した構成例を示すブロック図である。

図１５に示すように、画像データＡと比較する画像データＢ（例えば画像データＡを圧縮した画像や画像データＡを伝送した画像）を画像差分評価装置４に入力し、画像データＡに対し、補正手段４１ａ、欠陥強度算出手段４２ａおよび判定手段４３ａにより、画像データＢに対し、補正手段４１ｂ、欠陥強度算出手段４２ｂおよび判定手段４３ｂにより、それぞれの欠陥強度を定量化する。さらに、両者の欠陥強度を比較判定部４５で比較し、画像の変化を検査する。

図１６に示す構成は、ＲＧＢカラー画像に対応するものであり、画像データＡと比較する画像データＢを画像差分評価装置５に入力し、画像データＡに対し、補正手段５１ａ、反対色生成手段５２ａ、欠陥強度算出手段５３ａおよび判定手段５４ａにより、画像データＢに対し、補正手段５１ｂ、反対色生成手段５２ｂ、欠陥強度算出手段５３ｂおよび判定手段５４ｂにより、それぞれの欠陥強度を定量化する。さらに、両者の欠陥強度を比較判定部５５で比較し、画像の変化を検査する。

このように、本発明の画質検査方法を画像差分評価装置に適用することで、画像の差分・劣化を視覚の認識限界感度に基づいた定量的な値で評価でき、客観的に理解しやすい評価値を算出できる。また、個々の形状に対する劣化を評価することができる。例えば以下のような対象に利用できる。
（１）画像圧縮性能評価
圧縮前後の画像を画像データＡ，Ｂに設定することにより行う。
（２）画像伝送性能評価
伝送前後の画像を画像データＡ，Ｂに設定することにより行う。
（３）印刷物変化の検査
マスタの印刷物を撮像した画像を画像データＡに、その後印刷したものを撮像した画像を画像Ｂに設定することにより行う。
（４）塗装物変化の検査
照明条件、対象物位置精度を安定させ、あるいは、画像処理による照明条件補正機能、対象物位置補正機能を付加し、マスタとなる塗装物を撮像した画像を画像データＡに、その後塗装したものを撮像した画像を画像Ｂに設定することにより行う。

以上説明したように、本発明の画質検査装置によれば、窓関数を用いて検査領域の境界における不連続性の影響を抑制するので、検査領域に影響されることなく、適切に画質を評価できる。また、本発明の画質検査装置によれば、視覚の感度の周波数特性と、検査対象となる二次元画像の周波数成分とを積算することで欠陥強度を算出するので、直感的に理解しやすい客観的な計量値として欠陥強度を得ることができる。

本発明の適用範囲は上記実施形態に限定されることはない。本発明は、二次元画像の画質を検査する画質検査装置および画質検査方法に対し、広く適用することができる。

一実施形態の画質検査装置の構成を示すブロック図。 輝度に対するＭＴＦ特性を利用した画質検査装置による検査手順を示すフローチャート。 窓関数補正の挙動を示す図であり、（ａ）は、元画像を、（ｂ）は、窓関数による補正画像を、それぞれ示す図。 欠陥を抽出する検査領域を順次、重なり合うようにずらしながら検査を行う画質検査方法を示す図。 図４の検査手順を示すフローチャート。 多段階平滑縮小機能を付加した場合の検査手順を示すフローチャート。 色ムラを検査する画質検査装置の構成を示すブロック図。 三刺激値と反対色成分の分光特性を示す図。 図７の画質検査装置の動作手順を示すフローチャート。 図７の画質検査装置の動作手順を示すフローチャート。 カメラ出力値／三刺激値変換パラメータを使用してカメラ出力値を補償する構成を示すブロック図。 認識限界感度モデルパラメータを用いて欠陥強度を算出する構成を示すブロック図。 本発明の画質検査方法を撮像デバイスの画質検査に適用した例を示すブロック図。 本発明の画質検査方法を投影デバイスの画質検査に適用した例を示すブロック図。 本発明の画質検査方法を画像差分評価装置に適用した構成例を示すブロック図。 本発明の画質検査方法を画像差分評価装置に適用した構成例を示すブロック図。 輝度に対するＭＴＦ特性を利用した画質検査装置による検査手順を示すフローチャート。 視覚感度特性等を示す図であり、（ａ）は明暗の正弦波状の縞パターンを示す図、（ｂ）は空間周波数に対する人間の視覚感度特性を示す図、（ｃ）は或る視角の範囲にある波数の正弦波を表示させた状態を示す図。

符号の説明

２ 画質検査装置
２Ａ 画質検査装置
４ 画像差分評価装置（画質検査装置）
５ 画像差分評価装置（画質検査装置）
２１ 補正手段
２２ 欠陥強度算出手段
２３ 判定手段
４３ａ 判定手段
４３ｂ 判定手段
４５ 判定比較部（判定手段）
５４ａ 判定手段
５４ｂ 判定手段
５５ 判定比較部（判定手段）

Claims (10)

1. 二次元画像の画質を検査する画質検査装置において、
   検査対象となる二次元画像の検査領域に対して、窓関数を用いて検査領域の境界における不連続性の影響を抑制するような補正を行う補正手段と、
   前記補正手段により補正された後の画像に基づいて前記二次元画像の画質を判定する判定手段と、
   を備えることを特徴とする画質検査装置。
2. 二次元画像の画質を検査する画質検査装置において、
   視覚の感度の周波数特性と、検査対象となる二次元画像の周波数成分とを積算することで欠陥強度を算出する欠陥強度算出手段と、
   前記欠陥強度算出手段により算出された前記欠陥強度に基づいて前記二次元画像の画質を判定する判定手段と、
   を備えることを特徴とする画質検査装置。
3. 前記欠陥強度算出手段は、視覚の感度の周波数特性と、検査対象となる第１の二次元画像の周波数成分とを積算することで第１の欠陥強度を算出するとともに、視覚の感度の周波数特性と、検査対象となる第２の二次元画像の周波数成分とを積算することで第２の欠陥強度を算出し、
   前記判定手段は、前記欠陥強度算出手段で算出された前記第１の欠陥強度および前記第２の欠陥強度を比較することで前記第１の二次元画像および前記第２の二次元画像の画像差分を判定することを特徴とする請求項２に記載の画質検査装置。
4. 前記欠陥強度算出手段は、検査領域の二次元周波数領域における支配的な周波数成分のみについて欠陥強度を算出することを特徴とする請求項２または３に記載の画質検査装置。
5. 前記支配的な周波数成分は、前記検査領域のフーリエ変換画像と、当該フーリエ変換画像の２値化画像とを掛け合わせることにより抽出されることを特徴とする請求項４に記載の画質検査装置。
6. 前記二次元画像は輝度画像であることを特徴とする請求項１〜５のいずれか１項に記載の画質検査装置。
7. 前記二次元画像は反対色画像であることを特徴とする請求項１〜５のいずれか１項に記載の画質検査装置。
8. 二次元画像の画質を検査する画質検査方法において、
   検査対象となる二次元画像の検査領域に対して、窓関数を用いて検査領域の境界における不連続性の影響を抑制するような補正を行うステップと、
   前記補正するステップにより補正された後の画像に基づいて前記二次元画像の画質を判定するステップと、
   を備えることを特徴とする画質検査方法。
9. 二次元画像の画質を検査する画質検査方法において、
   視覚の感度の周波数特性と、検査対象となる二次元画像の周波数成分とを積算することで欠陥強度を算出するステップと、
   前記欠陥強度を算出するステップにより算出された前記欠陥強度に基づいて前記二次元画像の画質を判定するステップと、
   を備えることを特徴とする画質検査方法。
10. 前記欠陥強度を算出するステップでは、検査領域の二次元周波数領域における支配的な周波数成分のみについて欠陥強度を算出することを特徴とする請求項９に記載の画質検査方法。