JP2016065875A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】検査対象物を撮像する撮像環境を、画像処理の結果に基づいて基準画像を撮像した撮像環境と同様の環境として再現する画像処理装置及び画像処理装置を提供する。【解決手段】良品判定の基準となる基準画像を、検査対象物を識別する識別情報と対応付けて記憶しておく。検査対象物の画像を取得し、対応する識別情報の基準画像と並べて表示する。基準画像の描画位置と取得した画像の描画位置とを位置合わせし、基準画像の明るさと取得した画像の明るさとを一致させるよう調整する。基準画像のピントと取得した画像のピントとを一致させるよう調整する。【選択図】図４

Description

本発明は、製品検査の実行時に、検査対象物を撮像する撮像環境を、画像処理の結果に基づいて基準画像を撮像した撮像環境と同様の環境として再現する画像処理装置及び画像処理方法に関する。

画像処理センサで製品の良否判定をする場合、検査対象物を撮像した画像を基準画像と比較することにより良品であるか、不良品であるかを判定する。具体的には、良品・不良品を判定する閾値情報等のパラメータ情報を製造ライン上の画像処理センサで共有し、共通の判断基準で良品であるか、不良品であるかを判定している。

また、状況に応じて撮像条件を変化させても良い。例えば特許文献１では、検査対象物の撮像する部位、撮像範囲に応じてシャッタスピード等の撮像条件を変化させて撮像する画像処理装置が開示されている。

特開２００５−２２７９３１号公報

しかし、実際に検査対象物を撮像する場合、照明の状態、撮像装置の取り付け位置、姿勢のズレ、レンズの絞り、ピント調整の相違等に起因して、同一の撮像条件下で撮像した場合であっても、必ずしも同じ画像を撮像することができるとは限らない。したがって、同一の撮像条件であるにもかかわらず、特徴部分を検出する位置がずれているため良否判定をすることができない、取得した画像が暗い又は明るいために特徴部分を認識することができない、あるいはピントがずれているため特徴部分を特定することができない等の問題点があった。

本発明は、斯かる事情に鑑みてなされたものであり、検査対象物を撮像する撮像環境を、画像処理の結果に基づいて基準画像を撮像した撮像環境と同様の環境として再現する画像処理する画像処理装置及び画像処理装置を提供することを目的とする。

上記目的を達成するために第１発明に係る画像処理装置は、検査対象物を撮像する撮像部と接続され、該撮像部で撮像した画像データに対して画像処理を実行し、画像処理の結果に基づいて検査対象物の良否を判定する画像処理装置において、良品判定の基準となる基準画像を、検査対象物を識別する識別情報と対応付けて記憶する基準画像記憶部と、検査対象物の画像を取得し、対応する識別情報の前記基準画像と並べて表示する画像表示部と、前記基準画像の描画位置と取得した画像の描画位置とを位置合わせする位置合わせ部と、前記基準画像の明るさと取得した画像の明るさとを一致させるよう調整する明るさ調整部と、前記基準画像のピントと取得した画像のピントとを一致させるよう調整するピント調整部とを備えることを特徴とする。

また、第２発明に係る画像処理装置は、第１発明において、表示された前記基準画像に重ねてグリッド線が表示されており、前記位置合わせ部は、前記グリッド線を前記基準画像の特徴部分に合わせて移動させ、取得した画像にもグリッド線を同じ座標で重ねて表示することを特徴とする。

また、第３発明に係る画像処理装置は、第１発明において、表示された前記基準画像に重ねて輪郭を示す輪郭線が表示されており、前記位置合わせ部は、前記輪郭線を前記基準画像の特徴部分に合わせて表示し、取得した画像にも輪郭線を同じ座標で重ねて表示することを特徴とする。

また、第４発明に係る画像処理装置は、第１乃至第３発明のいずれか１つにおいて、前記明るさ調整部は、取得した画像を均等な複数の領域に分割し、各領域の平均画素値と前記基準画像における各領域の平均画素値との大小関係を、取得した画像に重畳して表示することを特徴とする。

また、第５発明に係る画像処理装置は、第１乃至第４発明のいずれか１つにおいて、前記ピント調整部は、取得した画像及び前記基準画像の特徴部分を拡大した拡大画像をそれぞれ生成し、取得した画像の拡大画像のエッジ強度と、前記基準画像の拡大画像のエッジ強度とを一致させるよう調整することを特徴とする。

また、第６発明に係る画像処理装置は、第１乃至第５発明のいずれか１つにおいて、取得した画像及び前記基準画像の特徴部分を拡大した拡大画像をそれぞれ生成し、生成した拡大画像に基づいて、前記基準画像の描画位置と取得した画像の描画位置とを位置合わせする位置微調整部を備えることを特徴とする。

次に、上記目的を達成するために第７発明に係る画像処理方法は、検査対象物を撮像する撮像部と接続され、該撮像部で撮像した画像データに対して画像処理を実行し、画像処理の結果に基づいて検査対象物の良否を判定する画像処理装置で実行することが可能な画像処理方法において、前記画像処理装置は、良品判定の基準となる基準画像を、検査対象物を識別する識別情報と対応付けて記憶するステップと、検査対象物の画像を取得し、対応する識別情報の前記基準画像と並べて表示するステップと、前記基準画像の描画位置と取得した画像の描画位置とを位置合わせするステップと、前記基準画像の明るさと取得した画像の明るさとを一致させるよう調整するステップと、前記基準画像のピントと取得した画像のピントとを一致させるよう調整するステップとを備えることを特徴とする。

また、第８発明に係る画像処理方法は、第７発明において、前記画像処理装置は、表示された前記基準画像に重ねてグリッド線が表示されており、前記グリッド線を前記基準画像の特徴部分に合わせて移動させ、取得した画像にもグリッド線を同じ座標で重ねて表示することを特徴とする。

また、第９発明に係る画像処理方法は、第７発明において、前記画像処理装置は、表示された前記基準画像に重ねて輪郭を示す輪郭線が表示されており、前記輪郭線を前記基準画像の特徴部分に合わせて表示し、取得した画像にも輪郭線を同じ座標で重ねて表示することを特徴とする。

また、第１０発明に係る画像処理方法は、第７乃至第９発明のいずれか１つにおいて、前記画像処理装置は、取得した画像を均等な複数の領域に分割し、各領域の平均画素値と前記基準画像における各領域の平均画素値との大小関係を、取得した画像に重畳して表示することを特徴とする。

また、第１１発明に係る画像処理方法は、第７乃至第１０発明のいずれか１つにおいて、前記画像処理装置は、取得した画像及び前記基準画像の特徴部分を拡大した拡大画像をそれぞれ生成し、取得した画像の拡大画像のエッジ強度と、前記基準画像の拡大画像のエッジ強度とを一致させるよう調整することを特徴とする。

また、第１２発明に係る画像処理方法は、第７乃至第１１発明のいずれか１つにおいて、前記画像処理装置は、取得した画像及び前記基準画像の特徴部分を拡大した拡大画像をそれぞれ生成し、生成した拡大画像に基づいて、前記基準画像の描画位置と取得した画像の描画位置とを位置合わせすることを特徴とする。

第１発明及び第７発明では、良品判定の基準となる基準画像を、検査対象物を識別する識別情報と対応付けて記憶しておく。検査対象物の画像を取得し、対応する識別情報の基準画像と並べて表示する。基準画像の描画位置と取得した画像の描画位置とを位置合わせし、基準画像の明るさと取得した画像の明るさとを一致させるよう調整し、基準画像のピントと取得した画像のピントとを一致させるよう調整する。これにより、基準画像を撮像した時点と、照明の状態、撮像装置の取り付け位置、姿勢のズレ、レンズの絞り、ピント調整の相違等が存在する場合であっても、基準画像を撮像した時点の撮像環境を確実に再現することができ、検査対象物の良否を高い精度で判定することが可能となる。

第２発明及び第８発明では、表示された基準画像に重ねてグリッド線が表示されており、グリッド線を基準画像の特徴部分に合わせて移動させ、取得した画像にもグリッド線を同じ座標で重ねて表示する。これにより、グリッド線とのずれを確認することで、検査対象物の位置ずれを把握することができ、高い精度で取得した画像の描画位置の位置合わせを行うことが可能となる。

第３発明及び第９発明では、表示された基準画像に重ねて輪郭を示す輪郭線が表示されており、輪郭線を前記基準画像の特徴部分に合わせて表示し、取得した画像にも輪郭線を同じ座標で重ねて表示する。これにより、輪郭線とのずれを確認することで、検査対象物の位置ずれを把握することができ、高い精度で取得した画像の描画位置の位置合わせを行うことが可能となる。

第４発明及び第１０発明では、取得した画像を均等な複数の領域に分割し、各領域の平均画素値と基準画像における各領域の平均画素値との大小関係を、取得した画像に重畳して表示するので、どの領域の明るさが過大であるか又は過小であるかを目視確認することができ、高い精度で明るさ調整を行うことが可能となる。

第５発明及び第１１発明では、取得した画像及び基準画像の特徴部分を拡大した拡大画像をそれぞれ生成し、生成した拡大画像のエッジ強度と、基準画像の拡大画像のエッジ強度とを一致させるよう調整することで、エッジ強度の強さを目安にピント合わせを行うことができ、高い精度でピント調整を行うことが可能となる。

第６発明及び第１２発明では、取得した画像及び基準画像の特徴部分を拡大した拡大画像をそれぞれ生成し、生成した拡大画像に基づいて、基準画像の描画位置と取得した画像の描画位置とを位置合わせするので、より高い精度で位置合わせを行うことが可能となる。

本発明では、基準画像を撮像した時点と、照明の状態、撮像装置の取り付け位置、姿勢のズレ、レンズの絞り、ピント調整の相違等が存在する場合であっても、基準画像を撮像した時点の撮像環境を確実に再現することができ、検査対象物の良否を高い精度で判定することが可能となる。

本発明の実施の形態に係る画像処理装置を含む画像処理センサの構成を示す模式図である。 本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。 本発明の実施の形態に係る画像処理装置を含む画像処理センサの、撮像環境を設定するパラメータを示す模式図である。 本発明の実施の形態に係る画像処理装置の機能ブロック図である。 本発明の実施の形態に係る画像処理装置のＣＰＵの処理手順を示すフローチャートである。 記憶されている基準画像と取得した入力画像との位置合わせを行うための初期画面の例示図である。 グリッド線を用いた位置合わせのための位置ずれ確認操作の例示図である。 検査対象物が傾いている場合のグリッド線の例示図である。 輪郭線を用いた位置合わせのための位置ずれ確認操作の例示図である。 本発明の実施の形態に係る画像処理装置の明るさ調整画面の画面イメージ図である。 本発明の実施の形態に係る画像処理装置の位置微調整画面の画面イメージ図である。 本発明の実施の形態に係る画像処理装置のピント調整画面の画面イメージ図である。

以下、本発明の実施の形態について、図面を参照して説明する。なお、本実施の形態の説明で参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一又は同様の符号を付して、詳細な説明を省略する。

図１は、本発明の実施の形態に係る画像処理装置を含む画像処理センサの構成を示す模式図である。図１に示すように、本実施の形態に係る画像処理センサは、撮像装置（撮像部）１と、撮像装置１とデータ通信することが可能に接続ケーブル３で接続されている画像処理装置２とで構成されている。画像処理装置２は表示装置（図示せず）と接続されており、画像処理制御部２０１と照明制御部２０２とを内蔵している。

また、照明制御部２０２は、照明装置４とデータ通信することが可能に接続ケーブル３で接続されている。コンベア５上を移動してくる検査対象物６に対して、照明装置４で光を照射し、撮像装置１で撮像する。撮像した検査対象物６の画像に基づいて、検査対象物６が良品であるか不良品であるかを判定する。

撮像装置１は、内部に画像処理を実行するＦＰＧＡ、ＤＳＰ等を備えており、検査対象物６を撮像する撮像素子を有するカメラモジュールを備えている。撮像素子としてはＣＭＯＳ基板を備えており、例えば撮像したカラー画像は、ＣＭＯＳ基板にてダイナミックレンジを広げる変換特性に基づいてＨＤＲ画像へ変換される。

図２は、本発明の実施の形態に係る画像処理装置２の構成を示すブロック図である。本発明の実施の形態に係る画像処理装置２は、少なくともＣＰＵ（中央演算装置）２１、メモリ２２、記憶装置２３、Ｉ／Ｏインタフェース２４、ビデオインタフェース２５、可搬型ディスクドライブ２６、通信インタフェース２７及び上述したハードウェアを接続する内部バス２８で構成されている。

ＣＰＵ２１は、内部バス２８を介して画像処理装置２の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶装置２３に記憶されたコンピュータプログラム１００に従って、種々のソフトウェア的機能を実行する。メモリ２２は、ＳＲＡＭ、ＳＤＲＡＭ等の揮発性メモリで構成され、コンピュータプログラム１００の実行時にロードモジュールが展開され、コンピュータプログラム１００の実行時に発生する一時的なデータ等を記憶する。

記憶装置２３は、内蔵される固定型記憶装置（ハードディスク）、ＲＯＭ等で構成されている。記憶装置２３に記憶されたコンピュータプログラム１００は、プログラム及びデータ等の情報を記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体９０から、可搬型ディスクドライブ２６によりダウンロードされ、実行時には記憶装置２３からメモリ２２へ展開して実行される。もちろん、通信インタフェース２７を介して接続されている外部コンピュータからダウンロードされたコンピュータプログラムであっても良い。

通信インタフェース２７は内部バス２８に接続されており、インターネット、ＬＡＮ、ＷＡＮ等の外部のネットワークに接続されることにより、撮像装置１、照明装置４、外部コンピュータ等とデータ送受信を行うことが可能となっている。

Ｉ／Ｏインタフェース２４は、キーボード５１、マウス５２等の入力装置と接続され、データの入力を受け付ける。ビデオインタフェース２５は、ＣＲＴディスプレイ、液晶ディスプレイ等の表示装置５３と接続され、所定の画像を表示する。

図３は、本発明の実施の形態に係る画像処理装置２を含む画像処理センサの、撮像環境を設定するパラメータを示す模式図である。図３に示すように、本実施の形態に係る画像処理センサは、撮像装置１の位置座標（Ｘ、Ｙ、Ｚ）と、ＸＹ平面上での首振り傾斜角度θとを調整対象のパラメータとして調整することができる。また撮像装置１はピント及び明るさを調整することができる。具体的にはフォーカスリングによりピントを調整し、絞りリングにより明るさを調整する。

同様に検査対象物６の位置座標（Ｘ、Ｙ）と、ＸＹ平面上での首振り傾斜角度θとを調整対象のパラメータとして調整することができる。なお、検査対象物６は台座上に載置するので、Ｚ軸方向への移動機構はない。

また、照明装置４は、照明装置４の位置座標（Ｘ、Ｙ、Ｚ）及び照射角度αを調整することができ、照明コントローラ４１を介して照度を調整することもできる。これらを調整することにより、記憶装置２３に記憶されている基準画像と同様の画像を撮像することができる。

図４は、本発明の実施の形態に係る画像処理装置２の機能ブロック図である。基準画像記憶部４０１は、良品判定の基準となる基準画像を、検査対象物６を識別する識別情報と対応付けて記憶装置２３に記憶する。基準画像は、一の検査対象物６について一又は複数、記憶すれば良い。

画像取得部４０２は、撮像装置１で撮像された検査対象物６の画像を取得する。画像表示部４０３は、取得した検査対象物６の画像と、対応する識別情報の基準画像とを並べて表示する。検査対象物６の画像と、該検査対象物６の基準画像とを並べて表示することにより、両画像の撮像条件の差等を比較することができる。

位置合わせ部４０４は、基準画像の描画位置と取得した画像の描画位置とを位置合わせする。基準画像の描画位置と取得した画像の描画位置との位置合わせには、基準画像の特徴部分に合わせて表示された縦横のグリッド線を用いても良いし、基準画像の特徴部分の輪郭として表示された輪郭線を用いても良い。

明るさ調整部４０５は、基準画像の明るさと取得した画像の明るさとを一致させるよう調整する。明るさ調整部４０５は、例えば取得した検査対象物６の画像を２５個の均等な領域に分割し、分割した各領域の平均画素値と基準画像における各領域の平均画素値との大小関係を判定して、判定結果を取得した検査対象物６の画像に重畳して表示する。

ピント調整部４０６は、基準画像のピントと取得した画像のピントとを一致させるよう調整する。ピント調整部４０６は、取得した検査対象物６の画像及び基準画像の特徴部分を拡大した拡大画像をそれぞれ生成し、取得した画像の拡大画像のエッジ強度と、基準画像の拡大画像のエッジ強度とを一致させるよう調整する。

なお、明るさ調整部４０５で明るさを調整した後に、描画位置を微調整する位置微調整部４０７を備えても良い。位置微調整部４０７は、取得した検査対象物６の画像及び基準画像の特徴部分を拡大した拡大画像をそれぞれ生成し、生成した拡大画像に基づいて、基準画像の描画位置と取得した画像の描画位置とを位置合わせする。

図５は、本発明の実施の形態に係る画像処理装置２のＣＰＵ２１の処理手順を示すフローチャートである。図５において、画像処理装置２のＣＰＵ２１は、良否判定の基準となる基準画像を取得して、記憶装置２３に記憶する（ステップＳ５０１）。

ＣＰＵ２１は、検査対象物６の画像を取得し（ステップＳ５０２）、記憶してある基準画像と並べて表示装置５３に表示する（ステップＳ５０３）。図６は、本発明の実施の形態に係る画像処理装置２の位置合わせ画面の画面イメージ図である。

図６において、基準画像表示部６１には基準画像が、主画像表示部６２には取得した検査対象物６の画像が表示されている。両者が同じ環境で撮像された画像であれば、画像中の検査対象物６の位置、背景画像の明るさ、ピント等が一致しているはずである。しかし、通常は様々な周囲環境が相違しているので一致しない。

図５に戻って、画像処理装置２のＣＰＵ２１は、基準画像の描画位置と取得した画像の描画位置とを位置合わせする（ステップＳ５０４）。基準画像の描画位置と取得した画像の描画位置との位置合わせには、基準画像の特徴部分に合わせて表示された縦横のグリッド線、又は基準画像の特徴部分の輪郭として表示された輪郭線を、位置合わせ用の補助線として用いる。

なお、図示しないが、一般的に一の画像処理装置２に対して、二以上の撮像装置１を接続し、各撮像装置１から取得する画像に対して、画像処理装置２において個々の撮像装置１に設定されている画像処理フローに基づいて、画像検査を行う。このため、撮像装置１が接続される各チャネルに対応して設定されている画像検査用の画像処理フローに対応して、各々基準画像を設定し、記憶するようにしている。

図６は、記憶されている基準画像と取得した入力画像との位置合わせを行うための初期画面の例示図である。図示しないが、図６の画面が表示される前に、画像処理装置２に対して、複数の撮像装置１が接続されていることを画像処理装置２が認識するか、又は画像処理装置２が複数の画像処理フローを保持していることを認識する場合、どの撮像装置１又はどの画像処理フローに対する基準画像と取得した入力画像との位置合わせを行うかをユーザに選択させる画面を提供する。ここで、ユーザが一の撮像装置１又は画像処理フローを選択した場合、選択された撮像装置１又は画像処理フローに対応付けて記憶されている基準画像を記憶装置２３から読み出し、図６に示す初期画面が表示される。一方、ユーザにより選択された撮像装置１で撮像された動画は、入力画像として、図６の右側に表示される。

図６の例では、左側に記憶装置２３に記憶されている基準画像を読み出して表示する基準画像表示部６１を、右側に撮像装置１から取得した入力画像を表示する入力画像表示部６２を、それぞれ設けてある。また、基準画像と入力画像との間の位置合わせを容易に行うための機能として、補助線指定手段６３が存在する。補助線指定手段６３は、「グリッド」又は「輪郭線」の選択を受け付けることができる。いずれか一方の選択を受け付けても良いし、両方の選択を受け付けても良い。

「グリッド」の選択を受け付けた場合、基準画像表示部６１及び入力画像表示部６２に対して設定されている特定のＸ座標、Ｙ座標からなる二次元座標位置に、初期設定位置として各座標方向におのおの平行に延びる少なくとも２本、計４本のグリッド線が表示される。言うまでもなく、基準画像表示部６１及び入力画像表示部６２に対して、同じ座標位置にグリッド線が表示される。また、「輪郭線」は、基準画像表示部６１及び入力画像表示部６２に表示される検査対象物６の特徴部分の輪郭をエッジ処理等により検出して、表示する機能である。なお、グリッド線の位置及び角度は、マウス５２等の操作により自由に変更することができる。

図７は、グリッド線を用いた位置合わせのための位置ずれ確認操作の例示図である。図７（ａ）に示すように、基準画像表示部６１に検査対象物６の画像と重畳してグリッド線が表示されている。説明を簡単にするために、Ｘ軸方向のグリッド線の位置は検査対象物６の上下端の位置と一致しており、Ｙ軸方向のグリッド線の位置は左側のみ検査対象物６の左端の位置と一致している。

グリッド線は、入力画像表示部６２にもリンクして表示されている。つまり、図７（ｂ）にも図７（ａ）と同じ座標でグリッド線が表示されており、基準画像表示部６１内（図７（ａ））でグリッド線を移動させた場合、入力画像表示部６２内（図７（ｂ））のグリッド線も同様に移動するし、逆に入力画像表示部６２内（図７（ｂ））でグリッド線を移動させた場合、基準画像表示部６１内（図７（ａ））のグリッド線も同様に移動する。つまり、基準画像表示部６１及び入力画像表示部６２に表示されているグリッド線の座標位置を、画像処理装置２のＣＰＵ２１にて認識しており、基準画像表示部６１及び入力画像表示部６２のグリッド線が
それぞれ同じ座標位置に表示されるよう制御している。

例えば図７（ｃ）に示すように、基準画像表示部６１内で、マウス５２等を用いて右側のＹ軸方向のグリッド線を選択し、選択したグリッド線の位置が基準画像の右端の位置に一致するようにグリッド線を移動させる。この場合、図７（ｄ）に示すように、入力画像表示部６２内でも右側のＹ軸方向のグリッド線が同様に移動する。したがって、グリッド線を位置合わせ用の補助線として用いることにより、取得した画像の描画位置が基準画像の描画位置からどの程度ずれているのかを、目視確認することができる。

なお、基準画像として撮像されている検査対象物６が傾きを有する場合もある。この場合、グリッド線を１本ずつ任意の角度に傾けることもできる。図８は、検査対象物６が傾いている場合のグリッド線の例示図である。図８に示すように、検査対象物６の傾きに応じてグリッド線を傾けることが可能である。

また、図６の補助線指定手段６３で「輪郭線」の選択を受け付けた場合、周知の輪郭抽出アルゴリズムを利用して、基準画像の特徴部分の輪郭線を抽出して表示する。表示された輪郭線を、取得した画像にも同じ座標で表示することにより、取得した検査対象物６の画像の描画位置と基準画像の描画位置との位置ずれ及び輪郭線で囲われた二つの画像の大きさの相違を目視で確認することができる。

なお、図示しないが、図６に示す基準画像と入力画像との位置合わせを行うための初期画面に、上述した機能に加え、ユーザが選択可能な機能として、入力画像表示部６２に表示される入力画像に基準画像を半透明状態で重ね合わせて表示する機能を追加しても良い。これにより、入力画像の基準画像に対する位置ずれをより明確に目視で確認することが可能となり、画面表示を見ながら、撮像装置１の位置あるいは検査対象物６の位置を変更することにより、より簡単に入力画像と基準画像との位置合わせを行うことができる。また、基準画像を重ね合わせて表示する機能は、図６に示す初期画面の機能として追加しても良いし、新規の重ね合わせ表示部（図示せず）を、既存の基準画像表示部６１及び入力画像表示部６２と同時に表示させるようにしても良い。

図９は、輪郭線を用いた位置合わせのための位置ずれ確認操作の例示図である。図９（ａ）は基準画像の例示図であり、図９（ｂ）は取得した検査対象物６の画像の例示図である。図９（ａ）の基準画像表示部６１内では、基準画像の特徴部分の輪郭線９１を表示している。図９（ｂ）にも、基準画像表示部６１と同じ座標に輪郭線９１を表示しており、基準画像の描画位置と取得した入力画像の描画位置との間に位置ずれが生じていることがわかる。つまり、基準画像内の検査対象物６の特徴部分に対してエッジ処理等を用いて自動的に設定された輪郭線の位置（基準画像表示部６１内の座標位置）と同じ座標で入力画像表示部６２にも輪郭線が表示される。

位置ずれが確認できた場合、撮像装置１の位置あるいは検査対象物６の位置を変更することにより、位置ずれ（より詳細に言えば、検査対象物６の撮像領域に対する大きさのずれも含む）を解消する。具体的には、図３に示す撮像装置１の位置座標（Ｘ、Ｙ、Ｚ）、及びＸＹ平面上での首振り傾斜角度θの調整、あるいは検査対象物６の位置座標（Ｘ、Ｙ）及びＸＹ平面上での首振り傾斜角度θの調整を行う。

図５に戻って、画像処理装置２のＣＰＵ２１は、基準画像の明るさと取得した画像の明るさとを一致させるよう調整する（ステップＳ５０５）。本実施の形態では、取得した検査対象物６の画像を２５個の均等な領域に分割し、分割した各領域の平均画素値と基準画像における各領域の平均画素値との大小関係を判定して、判定結果を取得した検査対象物６の画像に重畳して表示する。

図１０は、本発明の実施の形態に係る画像処理装置２の明るさ調整画面の画面イメージ図である。画面の明るさ調整は、図６から図９を用いて説明した基準画像と入力画像との位置合わせを行った後に行う。

図１０において、基準画像表示部６１には基準画像が、入力画像表示部６２には取得した入力画像が表示されている。言うまでもなく、入力画像表示部６２に表示されている入力画像は、上述した方法にて、基準画像との位置合わせが完了した状態で再度撮像装置１から取得された入力画像である。基準画像の明るさと取得した画像の明るさとは、平均画素値を用いて比較する。

まず、図１０の基準画像表示部６１の基準画像を均等な複数の領域、例えば２５個の均等な領域に分割し、各領域の画素値の平均値である平均画素値を算出する。次に、入力画像表示部６２の入力画像も均等な複数の領域、例えば２５個の均等な領域に分割し、各領域の画素値の平均値である平均画素値を算出する。つまり、基準画像及び入力画像は各画像表示部内を同じサイズにて分割し、それぞれ分割された分割領域について、平均輝度値を算出する。

図１０の入力画像表示部６２には、取得した入力画像と重畳して、２５個の分割した領域ごとに、明るさのインジケータを表示している。領域ごとに算出した平均画素値を、基準画像の領域ごとに算出した平均画素値と比較し、基準画像の平均画素値より小さい場合には明るさが不足している旨を示すインジケータ、例えば青色の矩形を表示する。インジケータの大きさは、明るさが不足している度合いを示しており、大きいほど明るさの不足度合いが大きいことを示している。

また、領域ごとに算出した平均画素値を、基準画像の領域ごとに算出した平均画素値と比較し、基準画像の平均画素値より大きい場合には明るさが過大である旨を示すインジケータ、例えば赤色の矩形を表示する。インジケータの大きさは、明るさが過大である度合いを示しており、大きいほど明るさが過大である度合いが大きいことを示している。

インジケータは、図１０に示すような矩形表示に限定されるものではなく、他の形状であっても良いし、色で区別するのではなく形状で区別しても良い。もちろん、平均画素値の差分量を数値表示しても良い。さらに、各領域の中央に表示することに限定されるものではなく、領域内であればどこに表示されていても良い。

なお、本実施の形態では、入力画像を表示する入力画像表示部６２内を平均輝度値を求めたサイズに分割し、それぞれ分割された領域ごとに、基準画像の平均輝度値との比較を行い、その差の程度を入力画像表示部６２にて表示している。もちろん、斯かる表示方法に限定されるものではなく、基準画像表示部６１及び入力画像表示部６２にそれぞれ輝度値の大きさを表示する方法を採用しても良い。なお、本実施の形態では、平均輝度値の差分をグラフィカルに表現しているが、数値を直接表示しても良い。

明るさの相違が確認できた場合、撮像装置１の絞りリングの回転位置あるいは照明装置４の位置及び照射角度αを変更する、又は照明コントローラ４１を介して照度を変更することにより、明るさ調整を行う。具体的には、図３に示す撮像装置１の絞りリングの回転位置あるいは照明装置４の位置座標（Ｘ、Ｙ、Ｚ）及び照射角度αの調整、照明コントローラ４１を介した照度の調整を行う。

図５に戻って、画像処理装置２のＣＰＵ２１は、明るさを調整した後に、取得した検査対象物６の画像及び基準画像の特徴部分を拡大した拡大画像をそれぞれ生成し、生成した拡大画像に基づいて、基準画像の描画位置と取得した画像の描画位置とを位置合わせする（ステップＳ５０６）。上述したステップＳ５０４における位置合わせは画素の位置合わせであり、ステップＳ５０６は、特徴部分に焦点を合わせた精密な位置合わせとして位置付けることができる。

図１１は、本発明の実施の形態に係る画像処理装置２の位置微調整画面の画面イメージ図である。図１１において、基準画像表示部６１には基準画像が、入力画像表示部６２には取得した検査対象物６の画像が表示されている。位置の微調整は、明るさ調整が完了した時点で、指定を受け付けた特徴部分を拡大表示して行う。

まず、図１１の基準画像表示部６１の基準画像に対して、矩形の指定領域１１３を設定する。基準画像表示部６１に矩形の指定領域１１３を設定した場合、入力画像表示部６２の同じ座標に矩形の指定領域１１４が自動的に設定される。指定領域１１３は、画像処理技術分野では周知であるウインドウの設定機能で設定され、形状及びサイズを任意に変更することができ、ユーザの所望する任意の位置に設定することができる。また、上記実施の形態では、指定領域１１３を基準画像表示部６１に設定することにより、自動的に入力画像表示部６２の同じ座標位置に指定領域１１４を表示するようにしているが、逆に、指定領域１１３を入力画像表示部６２に設定することにより、自動的に基準画像表示部６１の同じ座標位置に指定領域１１４を表示するようにしても良い。

そして、図１１の基準画像表示部６１に設定された矩形の指定領域１１３内の画像は、基準画像用の拡大表示部１１１に拡大して表示される。同様に、入力画像表示部６２に設定された矩形の指定領域１１４内の画像は、入力画像用の拡大表示部１１２に拡大して表示される。

拡大表示機能は、記憶装置２３に記憶される画像に対して、指定領域１１３にて指定された領域内のの画像のみを表示することで実現できる。このとき、補助線として表示されているグリッド線も、拡大表示部１１１及び１１２の同じ位置に拡大して表示されるので、取得した検査対象物６の画像の描画位置が、基準画像の描画位置からどの程度ずれているのかをより正確に把握することができ、位置合わせをより精緻に行うことができる。

なお、拡大表示部１１１、１１２に表示される補助線は、グリッド線に限定されるものではなく、輪郭線であっても良い。輪郭線についても、拡大表示部１１１及び１１２の同じ位置に拡大して表示されるので、取得した検査対象物６の画像の描画位置が、基準画像の描画位置からどの程度ずれているのかをより正確に把握することができる。

また、拡大表示部１１１及び１１２の大きさは一定であるので、矩形の指定領域１１３及び１１４の大きさによって、拡大表示部１１１及び１１２に表示される拡大画像の拡大率が変わる。すなわち、矩形の指定領域１１３及び１１４の大きさを大きくした場合、拡大表示部１１１及び１１２に表示される画像の範囲が広くなるので、拡大率は小さくなる。逆に、矩形の指定領域１１３及び１１４の大きさを小さくした場合、拡大表示部１１１及び１１２に表示される画像の範囲が狭くなるので、拡大率は大きくなる。

位置ずれが確認できた場合、撮像装置１の位置あるいは検査対象物６の位置を変更することにより、位置ずれを解消する。具体的には、図３に示す撮像装置１の位置座標（Ｘ、Ｙ、Ｚ）、及びＸＹ平面上での首振り傾斜角度θの調整、あるいは検査対象物６の位置座標（Ｘ、Ｙ）及びＸＹ平面上での首振り傾斜角度θの調整を行う。

図５に戻って、画像処理装置２のＣＰＵ２１は、基準画像のピントと取得した画像のピントとを一致させるよう調整する（ステップＳ５０７）。ピント調整部４０６は、取得した検査対象物６の画像及び基準画像の特徴部分を拡大した拡大画像をそれぞれ生成し、取得した画像の拡大画像のエッジ強度と、基準画像の拡大画像のエッジ強度とを一致させるよう調整する。

図１２は、本発明の実施の形態に係る画像処理装置２のピント調整画面の画面イメージ図である。図１２において、基準画像表示部６１には基準画像が、入力画像表示部６２には取得した検査対象物６の画像が表示されている。ピント調整も、位置の微調整と同様、明るさ調整が完了していることから、指定を受け付けた特徴部分を拡大表示部１１１及び１１２を用いて拡大表示して行う。

まず、図１２の基準画像表示部６１の基準画像に対して、矩形の指定領域１１３を設定する。基準画像表示
部６１に矩形の指定領域１１３を設定した場合、入力画像表示部６２の同じ座標に矩形の指定領域１１４が自動的に設定される。

本実施の形態では、図１１において一旦設定した指定領域１１３を、位置のボ調整（精密な位置決め）を行った後に解除し、ピント調整の工程において、再度指定領域１１３を設定するようにしているが、精密な位置決め工程の次にピント調整を行う場合は、精密な位置決め工程で設定した指定領域１１３をそのまま継続して用いることが好ましい。指定領域１１３の再設定が必要な場合は、矩形領域を移動させて再設定すれば良い。

そして、図１２の基準画像表示部６１に設定された矩形の指定領域１１３内の画像は、基準画像用の拡大表示部１１１に拡大して表示される。同様に、入力画像表示部６２に設定された矩形の指定領域１１４内の画像は、入力画像用の拡大表示部１１２に拡大して表示される。

次に、基準画像用の拡大表示部１１１に拡大して表示されている基準画像に基づいて、基準画像のＸ軸方向及びＹ軸方向それぞれに対して、検査対象物６の特徴部分のエッジ強度を算出する。算出したエッジ強度の最大値を、基準画像のピント強度としてピント強度表示領域１１５に表示する。

そして、取得した検査対象物６の画像についても、画像のＸ軸方向及びＹ軸方向それぞれに対して、検査対象物６の特徴部分のエッジ強度を算出する。算出したエッジ強度の最大値を、検査対象物の画像のピント強度としてピント強度表示領域１１５に表示する。

算出した画像のピント強度が、基準画像のピント強度と一致するようにピント調整を行う。具体的には、図３に示す撮像装置１のフォーカスリングの回転位置を調整する。

以上のように本実施の形態によれば、基準画像を撮像した時点と、照明の状態、撮像装置１の取り付け位置、姿勢のズレ、レンズの絞り、ピント調整の相違等が存在する場合であっても、基準画像を撮像した時点の撮像環境を確実に再現することができ、検査対象物６の良否を高い精度で判定することが可能となる。

なお、上記実施の形態では、撮像環境の調整を、「位置合わせ」、「明るさ調整」、「位置の微調整」、そして「ピント調整」の順に行っている。基本的な要件として、「位置合わせ」の後に「明るさ調整」、そして「明るさ調整」の後に「ピント調整」を行えば良い。このため、上記実施の形態の他、「位置合わせ」、「位置の微調整」、「明るさ調整」そして「ピント調整」の順に行っても良い。

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えば撮像装置１と画像処理装置２とは、接続ケーブル３で直結されている形態に限定されるものではなく、ＬＡＮ、ＷＡＮ等のネットワーク網を介して接続されていても良いことは言うまでもない

１ 撮像装置（撮像部） ２ 画像処理装置 ４ 照明装置 ６ 検査対象物 ２０１ 画像処理制御部 ２０２ 照明制御部 ４０１ 基準画像記憶部 ４０２ 画像取得部 ４０３ 画像表示部 ４０４ 位置合わせ部 ４０５ 明るさ調整部 ４０６ ピント調整部 ４０７ 位置微調整部

上記目的を達成するために第１発明に係る画像処理装置は、検査対象物を撮像する撮像部を有し、該撮像部で撮像した画像データに対して画像処理を実行し、画像処理の結果に基づいて検査対象物の良否を判定する画像処理装置において、良品判定をする場合に良品である判断基準となる基準画像を、検査対象物を識別する識別情報と対応付けて記憶する基準画像記憶部と、前記撮像部から検査対象物の画像を取得し、対応する識別情報の前記基準画像と並べて表示する画像表示部と、前記基準画像の描画位置と取得した画像の描画位置との位置ずれを調整するよう、取得した画像を位置合わせする位置合わせ部と、前記基準画像の明るさと取得した画像の明るさとを算出し、算出された明るさに基づいて生成された、両者を比較するための比較情報を、前記画像表示部で取得された画像上に重畳して表示し、前記基準画像の明るさと取得した画像の明るさとの差を調整する明るさ調整部とを備えることを特徴とする。

また、第４発明に係る画像処理装置は、第１乃至第３発明のいずれか１つにおいて、前記明るさ調整部は、取得した画像を均等な複数の領域に分割し、各領域の平均画素値と前記基準画像における各領域の平均画素値との大小関係を前記比較情報として、取得した画像に重畳して表示することを特徴とする。

また、第５発明に係る画像処理装置は、第１乃至第４発明のいずれか１つにおいて、さらに、前記基準画像と取得した画像との間のピント差を調整するためのピント調整を実行するピント調整部を備え、前記ピント調整部は、取得した画像及び前記基準画像の特徴部分を拡大した拡大画像をそれぞれ生成し、取得した画像の拡大画像のエッジ強度と、前記基準画像の拡大画像のエッジ強度とを一致させるよう調整することを特徴とする。

次に、上記目的を達成するために第７発明に係る画像処理方法は、検査対象物を撮像する撮像部を有し、該撮像部で撮像した画像データに対して画像処理を実行し、画像処理の結果に基づいて検査対象物の良否を判定する画像処理装置で実行することが可能な画像処理方法において、前記画像処理装置は、良品判定をする場合に良品である判断基準となる基準画像を、検査対象物を識別する識別情報と対応付けて記憶するステップと、前記撮像部から検査対象物の画像を取得し、対応する識別情報の前記基準画像と並べて表示するステップと、前記基準画像の描画位置と取得した画像の描画位置との位置ずれを調整するよう、取得した画像を位置合わせするステップと、前記基準画像の明るさと取得した画像の明るさとを算出し、算出された明るさに基づいて生成された、両者を比較するための比較情報を、取得された画像上に重畳して表示し、前記基準画像の明るさと取得した画像の明るさとの差を調整するステップとを含むことを特徴とする。

また、第１０発明に係る画像処理方法は、第７乃至第９発明のいずれか１つにおいて、前記画像処理装置は、取得した画像を均等な複数の領域に分割し、各領域の平均画素値と前記基準画像における各領域の平均画素値との大小関係を前記比較情報として、取得した画像に重畳して表示することを特徴とする。

また、第１１発明に係る画像処理装置は、第１乃至第６発明のいずれか１つにおいて、前記比較情報は、前記基準画像の明るさと取得した画像の明るさとを比較するためのインジケータからなることを特徴とする。

また、第１２発明に係る画像処理装置は、第１乃至第６発明のいずれか１つにおいて、前記比較情報は、前記基準画像と取得した画像との平均画素値の差分量からなることを特徴とする。

第１発明及び第７発明では、良品判定をする場合に良品である判断基準となる基準画像を、検査対象物を識別する識別情報と対応付けて記憶しておく。撮像部から検査対象物の画像を取得し、対応する識別情報の基準画像と並べて表示する。基準画像の描画位置と取得した画像の描画位置との位置ずれを調整するよう、取得した画像を位置合わせし、基準画像の明るさと取得した画像の明るさとを算出し、算出された明るさに基づいて生成された、両者を比較するための比較情報を、取得された画像上に重畳して表示し、基準画像の明るさと取得した画像の明るさとの差を調整する。これにより、基準画像を撮像した時点と、照明の状態、撮像装置の取り付け位置、姿勢のズレ、レンズの絞り等が存在する場合であっても、基準画像を撮像した時点の撮像環境を再現することができ、検査対象物の良否を高い精度で判定することが可能となる。

第４発明及び第１０発明では、取得した画像を均等な複数の領域に分割し、各領域の平均画素値と基準画像における各領域の平均画素値との大小関係を比較情報として、取得した画像に重畳して表示するので、どの領域の明るさが過大であるか又は過小であるかを目視確認することができ、高い精度で明るさ調整を行うことが可能となる。

第５発明では、取得した画像及び基準画像の特徴部分を拡大した拡大画像をそれぞれ生成し、生成した拡大画像のエッジ強度と、基準画像の拡大画像のエッジ強度とを一致させるよう調整することで、エッジ強度の強さを目安にピント合わせを行うことができ、高い精度でピント調整を行うことが可能となる。

第６発明では、取得した画像及び基準画像の特徴部分を拡大した拡大画像をそれぞれ生成し、生成した拡大画像に基づいて、基準画像の描画位置と取得した画像の描画位置とを位置合わせするので、より高い精度で位置合わせを行うことが可能となる。
第１１発明では、比較情報は、基準画像の明るさと取得した画像の明るさとを比較するためのインジケータで構成されているので、基準画像の明るさと取得した画像の明るさとの差を目視確認しながら明るさ調整を行うことが可能となる。
第１２発明では、比較情報は、基準画像と取得した画像との平均画素値の差分量で構成されているので、より高い精度で明るさ調整を行うことが可能となる。

Claims (12)

1. 検査対象物を撮像する撮像部と接続され、 該撮像部で撮像した画像データに対して画像処理を実行し、画像処理の結果に基づいて検査対象物の良否を判定する画像処理装置において、 良品判定の基準となる基準画像を、検査対象物を識別する識別情報と対応付けて記憶する基準画像記憶部と、 検査対象物の画像を取得し、対応する識別情報の前記基準画像と並べて表示する画像表示部と、 前記基準画像の描画位置と取得した画像の描画位置とを位置合わせする位置合わせ部と、 前記基準画像の明るさと取得した画像の明るさとを一致させるよう調整する明るさ調整部と、 前記基準画像のピントと取得した画像のピントとを一致させるよう調整するピント調整部と を備えることを特徴とする画像処理装置。
2. 表示された前記基準画像に重ねてグリッド線が表示されており、 前記位置合わせ部は、前記グリッド線を前記基準画像の特徴部分に合わせて移動させ、取得した画像にもグリッド線を同じ座標で重ねて表示することを特徴とする請求項１に記載の画像処理装置。
3. 表示された前記基準画像に重ねて輪郭を示す輪郭線が表示されており、 前記位置合わせ部は、前記輪郭線を前記基準画像の特徴部分に合わせて表示し、取得した画像にも輪郭線を同じ座標で重ねて表示することを特徴とする請求項１に記載の画像処理装置。
4. 前記明るさ調整部は、取得した画像を均等な複数の領域に分割し、各領域の平均画素値と前記基準画像における各領域の平均画素値との大小関係を、取得した画像に重畳して表示することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記ピント調整部は、取得した画像及び前記基準画像の特徴部分を拡大した拡大画像をそれぞれ生成し、 取得した画像の拡大画像のエッジ強度と、前記基準画像の拡大画像のエッジ強度とを一致させるよう調整することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 取得した画像及び前記基準画像の特徴部分を拡大した拡大画像をそれぞれ生成し、 生成した拡大画像に基づいて、前記基準画像の描画位置と取得した画像の描画位置とを位置合わせする位置微調整部を備えることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 検査対象物を撮像する撮像部と接続され、 該撮像部で撮像した画像データに対して画像処理を実行し、画像処理の結果に基づいて検査対象物の良否を判定する画像処理装置で実行することが可能な画像処理方法において、 前記画像処理装置は、 良品判定の基準となる基準画像を、検査対象物を識別する識別情報と対応付けて記憶するステップと、 検査対象物の画像を取得し、対応する識別情報の前記基準画像と並べて表示するステップと、 前記基準画像の描画位置と取得した画像の描画位置とを位置合わせするステップと、 前記基準画像の明るさと取得した画像の明るさとを一致させるよう調整するステップと、 前記基準画像のピントと取得した画像のピントとを一致させるよう調整するステップと を備えることを特徴とする画像処理方法。
8. 前記画像処理装置は、 表示された前記基準画像に重ねてグリッド線が表示されており、 前記グリッド線を前記基準画像の特徴部分に合わせて移動させ、取得した画像にもグリッド線を同じ座標で重ねて表示することを特徴とする請求項７に記載の画像処理方法。
9. 前記画像処理装置は、 表示された前記基準画像に重ねて輪郭を示す輪郭線が表示されており、 前記輪郭線を前記基準画像の特徴部分に合わせて表示し、取得した画像にも輪郭線を同じ座標で重ねて表示することを特徴とする請求項７に記載の画像処理方法。
10. 前記画像処理装置は、 取得した画像を均等な複数の領域に分割し、各領域の平均画素値と前記基準画像における各領域の平均画素値との大小関係を、取得した画像に重畳して表示することを特徴とする請求項７乃至９のいずれか一項に記載の画像処理方法。
11. 前記画像処理装置は、 取得した画像及び前記基準画像の特徴部分を拡大した拡大画像をそれぞれ生成し、 取得した画像の拡大画像のエッジ強度と、前記基準画像の拡大画像のエッジ強度とを一致させるよう調整することを特徴とする請求項７乃至１０のいずれか一項に記載の画像処理方法。
12. 前記画像処理装置は、 取得した画像及び前記基準画像の特徴部分を拡大した拡大画像をそれぞれ生成し、 生成した拡大画像に基づいて、前記基準画像の描画位置と取得した画像の描画位置とを位置合わせすることを特徴とする請求項７乃至１１のいずれか一項に記載の画像処理方法。