JP2006050356A - 画像処理方法及び検査装置 - Google Patents

Abstract

【課題】シェーディングと、光学系内部に発生しやすいゴミ、汚れ、傷等の異物による汚像が形成する特異点とを、自動的に弁別する画像処理方法及びその方法を用いた検査装置を提供する。
【解決手段】元画像データ取得部２は、被検査物６としての例えばデジタルカメラの光学系で撮影されたシェーディングと特異点を含む画像データ７を元画像データとして取得する（Ｓ０１）。元画像データ平坦化部３は、その元画像データを最小２乗法により平坦化して元画像データの平坦化データを得る（Ｓ０２）。差分データ算出部４は、元画像データ９と平坦化データ１０との差分を算出する（Ｓ０３）。異物判定部５は、算出された差分の値が予め設定されている所定の値以上が否かを判断し（Ｓ０４）、所定の値以上なら（Ｓ０４がＹ）、そのデータは異物による特異点であると判定し（Ｓ０５）、検査装置１は「異物あり」等の警告報知を行う。他方差分の値が予め設定されている所定の値未満であれば（Ｓ０４がＮ）、問題となるほどの特異点ではないと判定する（Ｓ０６）。
【選択図】 図２

Description

本発明は、シェーディングと特異点とを含む画像からシェーディングを除外して特異点のみを抽出する画像処理方法及び検査装置に関する。

近年、デジタルカメラが著しく普及している。一般に、カメラでは光路中の光学部材にゴミ、汚れ、傷などが、まま発生する。このようなゴミ、汚れ、傷は、カメラで撮影した映像上に小さな汚像（画像上の異物、画像データ中では特異点）となって現われる。そのまま放置しておくと製品としてのカメラが不良品となるので、製品検査の際に、そのような異物を画像処理によって検出する異物検出の手法が提案されている。（例えば、特許文献１参照）。

上記の特許文献１の技術は、基本的には隣接画素間の輝度差を求め、一定以上の輝度差があれば「異物」として検出する手法、換言すれば、コントラストが大きく変動する点（箇所）を抽出する手法である。

しかしながら、レンズの表面などに生じたゴミ、汚れ、傷などの異物は、撮影した画像としてみると輪郭のはっきりしないぼやけた汚像となって見えるものであり、したがって、上記のようにコントラストが大きく変動する点を抽出する手法では、上記のように周囲がぼやけた異物（汚像）に対してはあまり有効な抽出の手法ではない。

また、一般に、光学系を用いて撮影した画像には、シェーディングと呼ばれる中央と周囲で輝度が不均一になる現象がある。シェーディングがあると周囲の輝度の低いところ又は輝度が変わっていくところにある異物は発見しにくい。

したがって、異物を効率良く検出するためにはシェーディング画像を平坦化（正規化）する必要がある。このシェーディング画像の平坦化には、或るシェーディング画像を基準として、その画像データを、平坦化すべきシェーディング画像データから減算する手法が一般的に知られている。

しかしながら、シェーディングの現象は個々のカメラに固有のものであるので、或るシェーディング画像を基準とし、その基準画像を用いて、その基準画像を撮像したカメラとは異なるカメラで撮像したシェーディング画像を平坦化しようとしても、平坦化されないという現象が起きる。

図６(a) 〜(d) は、シェーディングの現象が個々のカメラに固有のものであることを説明する図である。同図(a) と同図(b) は、それぞれ２台のデジタルカメラにより同一の基準面（一様な白無地の専用の撮影用基準面）を撮像したものである。同図(a),(b) からも分かる通り、一様な白無地の撮影用基準面を撮影したにもかかわらず、円状の影が写りこんでいる。これが、「シェーディング」と呼ばれるものである。

そして、上記２台のデジタルカメラは、同一ロットで生産されたカメラである。それにもかかわらず、これら２枚の画像を比較すると分かる通り、シェーディングの写り方はそれぞれ様子が異なる。

同図(c) は、同図(a) に示すシェーディング画像から同じく同図(a) に示すシェーディング画像を減算した、つまり基準画像から基準画像を減算したものである。当然ながら、同図(c) に示すように、平坦化が最も良く行われた画像（一様なベタ黒画像）が得られている。なお、このような場合は、異物は白点となってベタ黒画像の上に現われる。

これに対して、同図(d) は、同図(b) に示すシェーディング画像つまり検査対象とすべき画像（換言すれば検査対象のカメラの撮影用基準面に対する視野）から同図(a) に示すシェーディング画像（基準画像）を減算したものである。上述したように２台のカメラ間ではシェーディング特性が異なるため、同図(d) に示すように、平坦化がうまく行われていないことが分かる。
特開平０６−１６０２９５号公報

上記の例で分かるように、異なるカメラで撮像した画像ではシェーディングの出方が異なるため、或る１個のシェーディング画像を基準画像として、他のカメラで撮像したシェーディング画像を減算してシェーディング画像を平坦化する手法は通用しない。

このように従来では、複数のカメラで個々に撮像されたシェーディング画像を１個の基準画像で平坦化する手法が得られなかったため、シェーディングとゴミ、汚れ、傷等の異物とを自動的に弁別する有効な方法がなかく、このため、このようなゴミ、汚れ、傷等の異物の検査では人の目視による検査を余儀なくされ、このことが光学系装置の生産工程における作業能率の向上を阻害する要因となっていた。

本発明の課題は、上記従来の実情に鑑み、シェーディングと、光学系内部に発生しやすいゴミ、汚れ、傷等の異物による汚像が形成する特異点とを、自動的に弁別する画像処理方法及びその画像処理方法を用いた検査装置を提供することである。

先ず、第１の発明の検査装置は、光学系を用いて基準面を撮像して得られるシェーディングを含む画像中に上記光学系の光路中の光学部材に付着又は発生しているゴミ、汚れ、傷などの異物が同時に撮し込まれているデジタル元画像データを取得し、該デジタル元画像データから上記異物を検出する検査装置において、上記デジタル元画像データを最小２乗法により上記デジタル元画像データの平坦化データを生成する平坦化手段と、該平坦化手段により生成された上記平坦化データと上記デジタル元画像データとの差分を算出する差分算出手段と、該差分算出手段により算出された差分が所定の値よりも大きい特異点を示しているとき該特異点をゴミ、汚れ、傷などの異物による特異点であると判定する判定手段と、を有して構成される。上記平坦化データは、最小２乗法により得られるｎ次近似曲線である。

次に、第２の発明の画像処理方法は、光学系を用いて基準面を撮像して得られるシェーディングを含む画像中に上記光学系の光路中の光学部材に付着又は発生しているゴミ、汚れ、傷などの異物が同時に撮し込まれているデジタル元画像データを取得し、該デジタル元画像データから上記異物を検出する画像処理方法において、上記デジタル元画像データを最小２乗法によるｎ次近似曲線を用いて上記デジタル元画像データの平坦化データを生成する平坦化工程と、該平坦化工程により生成された上記平坦化データと上記デジタル元画像データとの差分を算出する差分算出工程と、該差分算出工程により算出された差分が所定の値よりも大きい特異点を示しているとき該特異点をゴミ、汚れ、傷などの異物による特異点であると判定する判定工程と、を含んで構成される。上記平坦化データは、最小２乗法により得られるｎ次近似曲線である。

本発明によれば、どのようなシェーディング画像でも平坦化できるので、従来は人による目視に頼るしかなかったシミや異物の検査を自動化することができ、これにより、人による目視の検査から検査装置を用いた自動検査への変革が可能となり、光学系装置の生産工程における作業能率が向上する。

以下、本発明の実施の形態を図面を参照しながら説明する。

図１は、一実施の形態における検査装置の機能ブロック図である。この検査装置は本発明の画像処理方法の実行プログラムを、汎用の画像処理ソフトウェアに分派ルーチンとして組み込んだ例えばコンピュータによって構成される。同図に示すように、検査装置１は、元画像データ取得部２、元画像データ平坦化部３、差分データ算出部４、異物判定部５からなる。

図２は、上記構成の検査装置１による処理の動作を示すフローチャートである。図１及び図２を用いて検査装置１による処理の動作を以下に説明する。
図１に示す元画像データ取得部２は、被検査物６としての例えばデジタルカメラの光学系で撮影されたシェーディングと特異点を含む画像データ７を、元画像データとして取得する（Ｓ０１）。

この取得した元画像データは、特には図示しないメモリ装置の所定の領域に一旦格納される。なお、画像データ７をシェーディングと特異点を含むと説明したが、被検査物６により撮像された画像データ７は、上記のように元画像データとして取得された時点では、特異点を含んでいるかどうかは判明していない。被検査物６が良品であれば特異点を含まない画像が得られ、被検査物６が不良品であれば特異点を含む画像が得られる。ここでは一応特異点を含むものとして取り扱っている。

図３(a) は、シェーディングと特異点を含む画像の例を示す図であり、同図(b) は、その画像をデジタル画像データとして取り込んだときのＡ−Ａ´で示す主走査方向１ライン分の画素列の輝度分布を示す図である。

同図(a) に示す画像８は中央部分の輝度が高く周辺部の輝度が低いシェーディングのある画像の中に、黒の破線で丸く囲んで示す中央部分に、デジタルカメラの光学系の光路中の光学部材に付着又は発生しているゴミ、汚れ、傷などの異物が同時に撮し込まれている。ただし、同図に示す異物は、シェーディングの輝度の境目にあり、且つシェーディングを平坦化する前の画像であるので、この時点では異物が撮し込まれていると定かには判別できない。

同図(b) は画像８と重ねて、横軸に、Ａ−Ａ´で示す主走査方向１ライン分の画素列の輝度分布を示し、縦軸に輝度を示している。輝度の値は、画角全体の上限が最小（＝０）、画角の下限が最大（＝２５５）となっている。したがって、この輝度分布のグラフでは輝度が低い（暗い）とグラフは上に行き、輝度が高い（明るい）とグラフは下に行く。

同図(b) にＡ−Ａ´で示す主走査方向１ラインは、上記の異物が存在する部分を含む１ラインを取り出して示したものであり、細かいジグザグを描きながら全体としてなだらかに変化している分布曲線のなかで、同図(a) に黒の破線で丸く囲んで示す中央部分の異物が存在する部分に対応する部分が極端に輝度が暗くなる急峻な変化を示している。

図１及び図２に戻り、元画像データ平坦化部３は、上記のように取得された元画像データを最小２乗法により平坦化して、元画像データの平坦化データを得る（Ｓ０２）。
上記取得されている元画像データは、図３(b) に示したような１ライン分の画素データが全ライン分集合したものである。この平坦化に当たっては、上記の主走査方向１ラインの輝度分布データ毎に、最小２乗法を用いる。最小２乗法は、測定結果とその時近似した関数との差の２乗を最小にするようにその関数を決める方法であり、関数がｎ次の場合は(ｎ＋１)個の変数を用意して(ｎ＋１)次連立方程式を解くことで求めることができる。

この方法は極く一般的な方法であるので、ここでは詳細な説明は省略する。ただし、従来、最小２乗法がシェーディングの平坦化に利用されたことはない。
図４(a) は、図３(b) にＡ−Ａ´で示した主走査方向１ラインの輝度分布データ９に対して得られた最小２乗法によるｎ次近似曲線１０での平坦化を示す図であり、図４(b) は、比較のため移動平均による平坦化を行った例を示す図である。いずれも平坦化された曲線はジグザグの曲線に沿って滑らかな曲線を描いている。

図４(b) に示す移動平均による曲線１１による平坦化では、平坦化の中にゴミ、汚れ、傷などの異物１２の部分も包含されてしまうため、元画像データとの差分をとった場合、異物１２の部分が大きな差分とならなくなってしまう。すなわち、異物部分の判定基準を設定する際の設定の自由度（ダイナミックレンジ）が大きく採れないという問題がある。

これに対して、図４(a) に示す最小２乗法により平坦化されたｎ次近似曲線１０では、異物１２の部分が平坦化曲線から大きく離れている。したがって、異物部分の判定基準を設定する際に、大きな設定の自由度（ダイナミックレンジ）が採れるという利点がある。

図１及び図２に戻り、差分データ算出部４は、上記のようにして求められた元画像データ９の平坦化データ１０と、元画像データ９との差分を算出する（Ｓ０３）。
図５(a) は、上記差分算出後のデータにより描いた画像を示す図であり、同図(b) は参考のため図３(a) を再掲した図である。図５(a) に白の破線で丸く囲んで示す中央に、異物が差分算出の結果として或る広がりをもった白い点状の画像として表示されている。

図１及び図２に戻り、異物判定部５は、上記差分データ算出部４により算出された差分の値が予め設定されている所定の値と比較して、差分の値が予め設定されている所定の値以上となっている否かを判断する（Ｓ０４）。

そして、差分の値が予め設定されている所定の値以上であるときは（Ｓ０４がＹ）、その差分値を示している部分すなわち特異点を、異物による特異点であると判定する（Ｓ０５）。

検査装置１は、上記の判定に基づいて、特には図示しないが、表示装置の表示画面に例えば「異物あり」等の警告報知を行う。
他方、上記の判定で、差分の値が予め設定されている所定の値未満であれば（Ｓ０４がＮ）、その差分値を示している部分すなわち特異点は、問題となるほどの異物ではないと判定する（Ｓ０６）。

検査装置１は、上記の判定に基づいて、表示装置の表示画面に例えば「異常なし」等の報知を行うと共に、その「異常あり」の警告データと被検査物６とを関連付けたデータを異常を示すデータとして所定の記録装置の所定の記録領域に記録する。

上記いずれの場合も、続いて検査の処理が終了か否かを判別する（Ｓ０７）。そして終了ならば（Ｓ０７がＹ）、処理を終了し、終了でないときは（Ｓ０７がＮ）、再び処理Ｓ０１に戻って、新たな元画像データの取り込みをおこなって処理Ｓ０２〜Ｓ０７を繰り返す。これにより、検査装置１による自動検査が続行される。

尚、本発明の検査装置１は、例えばデジタルカメラの製造工程においてレンズ装置内部に混入しがちな異物や傷などの検査を人手によらない自動検査とするための検査装置として極めて有効である。

一実施の形態における検査装置の機能ブロック図である。 検査装置による処理の動作を示すフローチャートである。 (a) はシェーディングと特異点を含む画像の例を示す図、(b) はその画像をデジタル画像データとして取り込んだときのＡ−Ａ´で示す主走査方向１ライン分の画素列の輝度分布を示す図である。 (a) は図３(b) に示した主走査方向１ラインの輝度分布データに対して得られた最小２乗法によるｎ次近似曲線での平坦化を示す図、(b) は比較のため移動平均による平坦化を行った例を示す図である。 (a) は元画像データとその平坦化データとの差分算出後のデータにより描いた画像を示す図、(b) は参考のため図３(a) を再掲した図である。 (a) 〜(d) はシェーディングの現象が個々のカメラに固有のものであることを説明する図である。

符号の説明

１ 検査装置
２ 元画像データ取得部
３ 元画像データ平坦化部
４ 差分データ算出部
５ 異物判定部
６ 被検査物
７ 画像データ（元画像データ）
８ 画像（シェーディングと特異点を含む画像）
９ 輝度分布データ
１０ 最小２乗法によるｎ次近似曲線
１１ 移動平均による曲線
１２ 異物

Claims (4)

1. 光学系を用いて基準面を撮像して得られるシェーディングを含む画像中に前記光学系の光路中の光学部材に付着又は発生しているゴミ、汚れ、傷などの異物が同時に撮し込まれているデジタル元画像データを取得し、該デジタル元画像データから前記異物を検出する検査装置において、
   前記デジタル元画像データを最小２乗法により前記デジタル元画像データの平坦化データを生成する平坦化手段と、
   該平坦化手段により生成された前記平坦化データと前記デジタル元画像データとの差分を算出する差分算出手段と、
   該差分算出手段により算出された差分が所定の値よりも大きい特異点を示しているとき該特異点をゴミ、汚れ、傷などの異物による特異点であると判定する判定手段と、
   を有することを特徴とする検査装置。
2. 前記平坦化データは、最小２乗法により得られるｎ次近似曲線であることを特徴とする請求項１記載の検査装置。
3. 光学系を用いて基準面を撮像して得られるシェーディングを含む画像中に前記光学系の光路中の光学部材に付着又は発生しているゴミ、汚れ、傷などの異物が同時に撮し込まれているデジタル元画像データを取得し、該デジタル元画像データから前記異物を検出する画像処理方法において、
   前記デジタル元画像データを最小２乗法によるｎ次近似曲線を用いて前記デジタル元画像データの平坦化データを生成する平坦化工程と、
   該平坦化工程により生成された前記平坦化データと前記デジタル元画像データとの差分を算出する差分算出工程と、
   該差分算出工程により算出された差分が所定の値よりも大きい特異点を示しているとき該特異点をゴミ、汚れ、傷などの異物による特異点であると判定する判定工程と、
   を含むことを特徴とする画像処理方法。
4. 前記平坦化データは、最小２乗法により得られるｎ次近似曲線であることを特徴とする請求項３記載の画像処理方法。