以下、本発明の実施の形態について、図面を参照して説明する。なお、本実施の形態の説明で参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一又は同様の符号を付して、詳細な説明を省略する。
図1は、本発明の実施の形態に係る画像処理装置を含む製品検査システムの構成を示す模式図である。図1に示すように、本実施の形態に係る画像処理装置を含む製品検査システムは、撮像装置(撮像部)1と、撮像装置1とデータ通信することが可能に接続ケーブル3で接続され、画像処理を実行するFPGA、DSP等を備えている画像処理装置2とで構成されている。画像処理装置2は表示装置(図示せず)と接続されており、画像処理制御部201と照明制御部202とを内蔵している。
また、照明制御部202は、照明装置4とデータ通信することが可能に接続ケーブル3で接続されている。コンベア5上を移動してくる検査対象物6は、照明装置4に光を照射され、撮像装置1で撮像される。画像処理装置2は、撮像された検査対象物6の画像に基づいて、検査対象物6が良品であるか不良品であるかを判定する。
撮像装置1は、検査対象物6を撮像する撮像素子を有するカメラモジュールを備えている。撮像素子としてはCMOS基板を有しており、例えば撮像したカラー画像は、CMOS基板にてダイナミックレンジを広げる変換特性に基づいてHDR画像へ変換される。なお、CCD等の別のタイプの撮像素子を用いても良い。
図2は、本発明の実施の形態に係る画像処理装置2の構成を示すブロック図である。本発明の実施の形態に係る画像処理装置2は、少なくともCPU(中央演算装置)21、メモリ22、記憶装置23、I/Oインタフェース24、ビデオインタフェース25、可搬型ディスクドライブ26、通信インタフェース27及び上述したハードウェアを接続する内部バス28で構成されている。
CPU21は、内部バス28を介して画像処理装置2の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶装置23に記憶されたコンピュータプログラム100に従って、種々のソフトウェア的機能を実行する。メモリ22は、SRAM、SDRAM等の揮発性メモリで構成され、コンピュータプログラム100の実行時にロードモジュールが展開され、コンピュータプログラム100の実行時に発生する一時的なデータ等を記憶する。
記憶装置23は、内蔵される固定型記憶装置(ハードディスク)、ROM等で構成されている。記憶装置23に記憶されたコンピュータプログラム100は、プログラム及びデータ等の情報を記録したDVD、CD−ROM等の可搬型記録媒体90から、可搬型ディスクドライブ26によりダウンロードされ、実行時には記憶装置23からメモリ22へ展開して実行される。もちろん、通信インタフェース27を介して接続されている外部コンピュータからダウンロードされたコンピュータプログラムであっても良い。
通信インタフェース27は内部バス28に接続されており、インターネット、LAN、WAN等の外部のネットワークに接続されることにより、撮像装置1、照明装置4、外部コンピュータ等とデータ送受信を行うことが可能となっている。
I/Oインタフェース24は、キーボード501、マウス502等の入力装置と接続され、データの入力を受け付ける。ビデオインタフェース25は、CRTディスプレイ、液晶ディスプレイ等の表示装置503と接続され、所定の画像を表示する。
図3は、本発明の実施の形態に係る画像処理装置2を含む製品検査システムの、撮像環境を設定するパラメータを示す模式図である。図3に示すように、本実施の形態に係る製品検査システムは、撮像装置1の位置座標(X、Y、Z)と、XY平面上での首振り傾斜角度θとを、調整対象のパラメータとして調整することができる。また撮像装置1はピント及び明るさを調整することができる。具体的にはフォーカスリングによりピントを調整し、絞りリングにより明るさを調整する。
同様に、製品検査システムは、検査対象物6の位置座標(X、Y)と、XY平面上での首振り傾斜角度θとを、調整対象のパラメータとして調整することができる。なお、検査対象物6は台座上に載置されているので、Z軸方向への移動機構はない。
また、照明装置4は、照明装置4の位置座標(X、Y、Z)及び照射角度αを調整することができ、照明コントローラ41を介して照度を調整することもできる。これらを調整することにより、記憶装置23に記憶されている基準画像と同様の画像を撮像装置1で撮像することができる。
上述した構成の画像処理装置2は、撮像装置1で撮像して取得した検査対象物6の画像データに対する各種の画像処理を実行する複数の画像処理ツールを備えている。使用者は、所望の検査内容に基づいて、検査対象物6に対して一又は複数の画像処理ツールを事前に選択する。選択された一又は複数の画像処理ツールを用いて、良否判定を実行する。
まず、画像処理装置2が備えている複数の画像処理ツールのうち、代表的な画像処理ツールについて説明する。使用者は、複数の画像処理ツールから検査に使用する一又は複数の画像処理ツールを選択しておき、選択された画像処理ツールごとに設定されたパラメータを調整する。なお、以下では、画像処理ツールの機能及びその使用方法の代表例を示すものに過ぎず、あらゆる画像処理に対応する画像処理ツールが本発明の対象となることは言うまでもない。
まず、エッジ位置計測ツールは、例えば、使用者が、検査対象物6の画像が表示される画面において、ウインドウを設定することによりエッジを検出したい検査領域を設定し、設定された検査領域内で、任意の方向にスキャンして複数のエッジを検出する。検出した複数のエッジから、一のエッジの指定を受け付け、指定を受け付けたエッジの位置を計測する。
例えば検査領域の形状に応じてラベル分けをする。具体的には検査領域が矩形領域である場合にはラベル‘1’、円弧領域である場合にはラベル‘0’というように、形状に応じてラベル分けをする。この場合、ラベルごとに設定するべき設定情報が相違する。検査領域のラベル、つまりラベル‘1’(矩形領域)やラベル‘2’(円弧領域)は、エッジ位置計測ツールにおけるパラメータの一つである。
図4は、本発明の実施の形態に係る画像処理装置2のエッジ位置計測ツールの例示図である。図4(a)は、検査領域が矩形領域である場合を、図4(b)は、検査領域が円弧領域である場合を、それぞれ示している。
図4(a)に示すように、検査領域50が矩形領域である場合、エッジの検出方向をX軸の正方向(矢印51の方向)に、エッジの検出位置を明から暗に切り換わる位置に、それぞれ指定することにより、図4(a)では3つのエッジ52を検出することができる。そして、検出したエッジ52の中点の座標をエッジ52の位置として計測する。例えば真ん中のエッジ52の中点53の座標(X、Y)=(560、460)を真ん中のエッジ52の位置とすることができる。
また、図4(b)に示すように、検査領域54が円弧領域である場合、エッジの検出方向を時計回り(矢印55の回転方向)に、エッジの検出位置を明から暗に切り換わる位置に、それぞれ指定することにより、図4(b)では1つのエッジ56を検出することができる。そして、原点を通る所定の位置からの回転角度57を検出したエッジ56の位置として計測する。例えばエッジ56については、原点を通る所定の位置からの回転角度57が240度であり、240度をエッジ56の位置とすることができる。なお、明から暗に切り換わる位置と指定したエッジの検出位置もエッジ位置計測ツールにおけるパラメータの一つであり、逆に暗から明に切り換わる位置をパラメータとして指定しても良い。また、必要に応じて、エッジの検出位置が暗から明に切り換わる位置及び明から暗に切り換わる位置の両方をパラメータとして指定しても良い。
なお、エッジは、画素値の絶対値ではなく差分に基づいて検出する。そして、パラメータの一つであるエッジ感度Nを調整することで、検出されたエッジの最大強度のN%以下はノイズとして検出しないよう、すなわちエッジとして検出するか否かを調整することができる。以下、エッジを検出する他の画像処理ツールについても同様である。
次に、エッジ角度計測ツールは、設定を受け付けた検査領域内に2つのセグメントを設定し、それぞれのセグメントで検出したエッジからの検査対象物6の傾斜角度を計測する。本実施の形態では、傾斜角度は便宜上、時計回りを正とする。
図5は、本発明の実施の形態に係る画像処理装置2のエッジ角度計測ツールの例示図である。図5に示すように、傾斜した状態で撮像された検査対象物6の画像に対して、矩形領域である検査領域60を設定する。検査領域60内で2つの異なるセグメント61、62を設定して、それぞれのセグメント61、62においてエッジ63、64を検出する。
エッジの検出方向をX軸の正方向に、エッジの検出位置を明から暗に切り換わる位置に、それぞれ指定することにより、セグメント61、62ごとにエッジ63、64を検出することができる。そして、検査領域60の中心を通る所定の位置から、検出した2つのエッジ63の代表点とエッジ64の代表点(図5ではセグメント61、62の上辺での切片)とを結ぶ線分の傾斜角度65をエッジ角度として計測する。例えば図5では、傾斜角度の起点をX軸方向として、傾斜角度65が75度であり、エッジ角度は75度であると計測することができる。
次に、エッジ幅計測ツールは、設定を受け付けた検査領域内で、任意の方向にスキャンして複数のエッジを検出し、検出した複数のエッジ間の距離を計測する。
図6は、本発明の実施の形態に係る画像処理装置2のエッジ幅計測ツールの例示図である。図6(a)は、検査領域が矩形領域である場合を、図6(b)は、検査領域が円弧領域である場合を、それぞれ示している。
図6(a)に示すように、検査領域70が矩形領域である場合、パラメータとしてエッジの検出方向をX軸の正方向(矢印71の方向)に、エッジの検出位置を明から暗に切り換わる位置及び暗から明に切り換わる位置に、それぞれ指定することにより、複数のエッジを検出することができる。そして、検出した複数のエッジから距離を計測する2つのエッジ72、73の指定を受け付けることで、指定を受け付けた2つエッジ72、73間の距離をエッジ幅74として計測する。例えばエッジ幅74が‘100’であると計測することができる。
また、図6(b)に示すように、検査領域75が円弧領域である場合、エッジの検出方向を時計回り(矢印76の回転方向)に、エッジの検出位置を明から暗に切り換わる位置及び暗から明に切り換わる位置に、それぞれ指定することにより、複数のエッジを検出することができる。そして、検出した複数のエッジから距離を計測する2つのエッジ77、78の指定を受け付けることで、指定を受け付けた2つエッジ77、78間の角度をエッジ幅79として計測する。例えばエッジ幅79が69度であると計測することができる。
次に、エッジピッチ計測ツールは、設定を受け付けた検査領域内で、任意の方向にスキャンして複数対のエッジを検出する。検出した複数対のエッジ間の距離の最大値/最小値や平均値を求める。
図7は、本発明の実施の形態に係る画像処理装置2のエッジピッチ計測ツールの例示図である。図7(a)は、検査領域が矩形領域である場合を、図7(b)は、検査領域が円弧領域である場合を、それぞれ示している。
図7(a)に示すように、検査領域80が矩形領域である場合、エッジの検出方向をX軸の正方向(矢印81の方向)に、エッジの検出位置を明から暗に切り換わる位置及び暗から明に切り換わる位置に、検出した複数対のエッジ間の距離をそれぞれ計測する旨をそれぞれ指定することにより、複数対のエッジを検出することができる。そして、検出した複数対のエッジ間の距離をそれぞれ計測する。すなわち、複数対のすべてについて隣接するエッジ82、83間の距離をエッジ幅84として計測する。例えばエッジ幅84がそれぞれ‘200’、‘180’、‘190’である場合、最大値が‘200’、最小値が‘180’、平均値が‘190’とすることができる。
また、図7(b)に示すように、検査領域85が円弧領域である場合、エッジの検出方向を反時計回り(矢印86の回転方向)に、エッジの検出位置を明から暗に切り換わる位置及び暗から明に切り換わる位置に、検出した複数対のエッジの中点間の距離をそれぞれ計測する旨をそれぞれ指定することにより、検査領域85内において複数対のエッジを検出することができる。そして、検出した複数対のエッジの中点間の距離をそれぞれ計測する。すなわち、複数対のすべてについて隣接するエッジ87、88間の中点を求め、隣接する中点間の角度をエッジ幅89として計測する。例えばエッジ幅89がそれぞれ‘46度’、‘45度’、‘47度’、‘46度’である場合、最大値が‘47度’、最小値が‘45度’、平均値が‘46度’とすることができる。
次に、ペアエッジ計測ツールは、設定を受け付けた検査領域内で、任意の方向に2回スキャンして複数対のエッジを検出する。検出した複数対のエッジ間の距離の最大値/最小値や平均値を求める。
図8は、本発明の実施の形態に係る画像処理装置2のペアエッジ計測ツールの例示図である。図8(a)は、検出した複数対のエッジ間の距離を計測する場合を、図8(b)は、検出した複数対のエッジの中点間の距離を計測する場合を、それぞれ示している。
図8(a)に示すように、検出した複数対のエッジ間の距離を計測する場合、エッジの検出方向をX軸の正方向(矢印91の方向)に、エッジの検出位置を明から暗に切り換わる位置及び暗から明に切り換わる位置に、検出した複数対のエッジ間の距離を計測する旨をそれぞれ指定することにより、検査領域95内において複数対のエッジを検出することができる。そして、検出した複数対のエッジ間の距離をそれぞれ計測する。すなわち、複数対のすべてについて隣接するエッジ97、98間の距離をエッジ幅94として計測する。例えばエッジ幅94がそれぞれ‘200’、‘180’、‘190’である場合、最大値が‘200’、最小値が‘180’、平均値が‘190’とすることができる。
また、図8(b)に示すように、検出した複数対のエッジの中点間の距離を計測する場合、エッジの検出方向をX軸の正方向(矢印96の方向)に、エッジの検出位置を明から暗に切り換わる位置及び暗から明に切り換わる位置に、検出した複数対のエッジの中点間の距離を計測する旨をそれぞれ指定することにより、検査領域95内において複数対のエッジを検出することができる。そして、検出した複数対のエッジの中点間の距離をそれぞれ計測する。すなわち、複数対のすべてについて隣接するエッジ97、98間の中点を求め、隣接する中点間の距離をエッジ幅99として計測する。例えばエッジ幅99がそれぞれ‘100’、‘110’、‘120’である場合、最大値が‘120’、最小値が‘100’、平均値が‘110’とすることができる。
次に、エリア計測ツールは、撮像装置1で撮像した検査対象物6の画像を二値化処理して、白色領域又は黒色領域の面積を計測する。例えば、パラメータの一つとして白色領域又は黒色領域の指定を受け付けることにより、白色領域又は黒色領域の面積を計測する。
また、ブロブ計測ツールは、撮像装置1で撮像した検査対象物6の画像を二値化処理して、同一の輝度値(255又は0)の画素の集合(ブロブ)に対してパラメータとして数、面積、重心位置等を計測する。図9は、本発明の実施の形態に係る画像処理装置2の二値化画像を表示した画面の例示図である。
図9に示すように、画像表示領域101には、撮像した検査対象物6の画像を二値化処理した二値化画像を表示する。そして、二値化処理に用いる閾値をパラメータとして閾値調整領域102に入力することで調整する。もちろん、ヒストグラム103を用いて調整しても良い。
ヒストグラム103には、二値化画像の画素値分布が示されており、通常は、画素値が‘255’に近い部分がフィルタリングされないよう、面積フィルタの下限値を、マウス502等でドラッグ操作する等により調整する。図9の例では、パラメータの一つである面積フィルタの下限値が‘128’であり、これより低い画素値を有する画素はノイズであるとして無視される。ヒストグラム103上で調整された閾値は、閾値調整領域102と連動しており、下限値が変動することは言うまでもない。
なお、エリア計測ツール及びブロブ計測ツールでは、パラメータの一つとして二値化処理の閾値を調整することにより、検出したい特徴部分のみを検出することができる。また、面積フィルタの下限値を調整することにより、一定の面積以下の集まりをブロブとして検出することがないよう調整することもできる。
次に、パターンサーチ計測ツールは、比較対象とする画像パターンを事前に記憶装置23に記憶しておき、画像パターンの位置、傾斜角度、相関値を計測することで、撮像した検査対象物6の画像の中から記憶してある画像パターンに類似している画像パターンを検出する。図10は、本発明の実施の形態に係る画像処理装置2のパターンサーチ計測ツールの例示図である。図10(a)は、画像パターンを記憶する場合の画面の例示図を、図10(b)は、記憶してある画像パターンに類似している画像パターンを検出する場合の画面の例示図を、それぞれ示している。
図10(a)に示すように、撮像装置1で撮像した検査対象物6の画像を画面中央に表示した状態で、ウインドウを画面上に設定することにより、サーチ領域111の設定を受け付ける。サーチ領域111内に存在する画像パターンを検出し、記憶する画像パターンを囲む領域としてパターン領域112の設定を受け付ける。もちろん、パターン領域112内に、画像パターンの代表点113の設定を受け付けても良い。パターン領域112内の画像パターン114を記憶装置23へ記憶する。
パターンサーチ計測ツールによるパターンサーチ時には、図10(b)に示すように、記憶してある画像パターン114に類似している画像パターンをサーチ領域115内でサーチする。図10の例では、画像パターンの代表点118の位置座標と傾斜角度117とでパターン領域119を特定して、パターン領域119内の画像パターンと記憶してある画像パターン114との相関値がパラメータの一つである所定の閾値より大きい場合に類似していると判断している。
もちろん、パターンサーチの方法はこれに限定されるものではなく、例えば記憶してある画像パターン及び撮像装置1で撮像した検査対象物6の画像それぞれについてエッジを検出し、エッジ強度が類似している位置の近傍において画像パターンの位置、傾斜角度、相関値を計測しても良い。
なお、パターンサーチ計測ツールでは、閾値として設定してある相関値の下限値を上げることにより、より類似度の高い画像パターンのみを検出するよう調整することができる。また、パラメータであるサーチ感度、サーチ精度等を調整することもできる。
次に、傷計測ツールは、設定を受け付けた検査領域内で、小領域(セグメント)を移動させて画素値の平均濃度値を算出し、閾値以上の濃度差となった位置に傷が存在すると判定する。図11は、本発明の実施の形態に係る画像処理装置2の傷計測ツールで傷の存在を判定するためのセグメントの移動状態を示す模式図である。以下、図11(a)〜(d)まで、ハッチング部分がセグメントを示している。
まず図11(a)に示すように、セグメント121が検査領域120の左端に位置する場合(以下、「現在のセグメント」とする)、セグメント121内の平均濃度値を‘95’とする。そして、順次矢印122の方向に所定の間隔でセグメント121が移動する。
図11(b)は、現在のセグメントから‘1’移動した場合(「現在のセグメント+1」とする)を示しており、この場合のセグメント121内の平均濃度値を‘80’とする。以下、図11(c)は、現在のセグメントから‘2’移動した場合(「現在のセグメント+2」とする)を示しており、この場合のセグメント121内の平均濃度値を‘100’とし、図11(d)は、現在のセグメントから‘3’移動した場合(「現在のセグメント+3」とする)を示しており、この場合のセグメント121内の平均濃度値を‘120’とする。
図11の例では、4つのセグメント121内における平均濃度値を計測している。そして、最大濃度値と最小濃度値との差を「傷レベル」として計測する。図11の例では、「傷レベル」は、最大濃度値120(現在のセグメント+3)−最小濃度値80(現在のセグメント+1)=40となる。
「傷レベル」がパラメータの一つである所定の閾値を超えた場合、「現在のセグメント」に傷が存在すると判定される。「傷量」は、傷が存在すると判定されたセグメントの数として計測される。
なお、傷の存在を判定する所定の閾値、傷の想定サイズに合わせるべきセグメントの大きさ等を調整することにより、傷が存在するか否かの判定結果を変更することができる。
上述した各種の画像処理ツールの他、検査領域内の文字情報を切り出して辞書データ等と照合することで文字列を認識するOCR認識ツール、ならびに画像上に設定したウインドウ(領域)をシフトさせながら、各ウインドウの位置においてエッジの検出を繰り返す機能を有するトレンドエッジツール、設定したウインドウ内の濃淡の平均、偏差等を計測する機能を有する濃淡ツール、設定したウインドウ内の濃度の平均、偏差等を計測する機能を有する濃度ツール等も備えており、必要に応じて選択を受け付ける。各画像処理ツールで処理された判定結果、すなわち良品/不良品の判定結果は、検査対象物6を識別する情報、画像処理ツールを識別する情報に対応付けて、画像処理装置2の記憶装置23に記憶される。また、上述した複数の画像処理ツールは、使用者の所望する画像処理フローに基づいて、使用者の所望の画像処理順に設定され、順次画像処理を実行することが可能となっている。
図12は、本発明の実施の形態に係る画像処理装置2を含む製品検査システムの一構成例を示す機能ブロック図である。図12において、画像処理部7は、ツール選択受付部711と、項目選択受付部712と、設定項目表示部(メニュー表示手段)713と、識別情報取得部714とを含む。また、画像処理部7は、主制御部21、メモリ22、外部I/F等を含んで構成され、ツール選択受付部711、項目選択受付部712、設定項目表示部(メニュー表示手段)713、及び識別情報取得部714の処理動作を制御する。
記憶装置23は、画像メモリとして機能し、撮像装置1により撮像された画像の画像データ、及び画像処理部7において位置合わせ、平均値算出等の各種処理を行った後の画像データを随時記憶する。画像データとしてではなく、画素ごとの輝度値データとして記憶しても良い。
画像表示部8は、コンピュータ用のモニタ等の表示装置503で構成される。画像表示部8の画像表示手段811は、カスタマイズされたオペレータ用のメニューを表示装置503に表示させるとともに、管理者によるメニュー設定画面も表示させる。識別情報入力受付部812は、使用者を識別する識別情報の入力を受け付ける。識別情報により、使用者が管理者であるのか、オペレータであるのかを識別することができるので、オペレータに対しては、管理者が許諾していない設定項目を操作できないように設定することもできる。
次に、画像処理部7の各構成について説明する。
ツール選択受付部711は、撮像装置1で撮像した画像に対する画像処理を実行する複数のツール(画像処理ツール)のうち、使用する画像処理ツールの選択を受け付ける。
図13は、本発明の実施の形態に係る画像処理装置2のツール選択画面の例示図である。図13の例では、撮像装置1ごとに使用する画像処理ツールの選択を受け付ける。撮像装置選択/表示領域701には、選択を受け付けた撮像装置1が表示されている。図13では、撮像装置1として「カメラ1」のみが接続された状態で、「カメラ1」の選択を受け付けた画面となっている。しかし、画像処理装置2は複数の撮像装置1を接続することが可能であり、各撮像装置1に対して、各々使用者が所望する画像処理ツールを用いた画像処理フローを設定することができる。したがって、複数の撮像装置1が接続されている場合は、撮像装置選択/表示領域701には、複数の撮像装置1の番号を示すタブが表示されており、いずれかのタブを使用者が選択することにより、選択を受け付けた撮像装置1に対応する画像処理フローが撮像装置選択/表示領域701の下方に表示される。図13の例では、一つの撮像装置1が接続されている状態であるので、撮像装置選択/表示領域701には、「カメラ1」のみが表示されている。
ツール選択/表示領域702には、撮像装置選択/表示領域701で選択を受け付けた撮像装置1に対して選択された画像処理ツールのアイコンが表示される。具体的には、ツール選択/表示領域702は、画像処理ツール表示部として機能し、選択を受け付けた「カメラ1」に対して選択された画像処理ツールが全て表示されている。図13の例では、エリア計測ツールとしての「エリア」、パターンサーチ計測ツールとしての「パターンサーチ」及びブロブ計測ツールとしての「ブロブ」の三つの画像処理ツールが表示されている。もちろん、ツール選択/表示領域702は、画像処理ツール表示部として、選択を受け付けた撮像装置1に対して選択されている全ての画像処理ツールを表示できれば表示形式は問わない。したがって、選択された全ての画像処理ツールを一度に表示する形式であっても良いし、表示を切り替えることにより選択された全ての画像処理ツールを表示する形式であっても良い。
使用者によりいずれかの画像処理ツール、例えばエリア計測ツールが選択された場合、画像表示領域700に検査対象物6の画像が検査領域と共に表示される。検査領域が設定された時点でエリア計測ツールにより面積が計算され、結果表示領域703に表示される。
本実施の形態では、結果表示領域703の右下に配置してある「編集」ボタン704の選択を受け付けた場合、エリア計測ツールにおける設定項目が表示される。
図12に戻って、項目選択受付部712は、選択を受け付けた画像処理ツールごとに設定可能な項目の選択を受け付ける。図14は、本発明の実施の形態に係る画像処理装置2のエリア計測ツールの設定項目を選択する画面の例示図である。
図14において、ツール表示領域801には、選択を受け付けた画像処理ツールを表示する。図14では、「エリア」計測ツールが選択を受け付けて表示されている。図14の例では、使用者の所望する画像処理ツールを用いた画像処理フローが設定されている状態、つまり図13に示す画面で、画像処理ツール表示部として機能するツール選択/表示領域702に表示されている3つの画像処理ツール「エリア」、「パターンサーチ」及び「ブロブ」の中から、「エリア」を画面上にてクリックする、あるいは図示しない、用いられている画像処理ツールを表示する項目を選択してクリックすることにより、図14に示す画面に遷移する。
設定項目表示領域802は、第一階層領域803と第二階層領域804とで構成される。具体的には、設定項目表示領域802の第一階層領域803には、選択を受け付けた画像処理ツール、図14では「エリア」に対して設定することが可能な「計測領域」設定機能、「色抽出」設定機能、及び「前処理」機能の各項目が表示されており、各々の画像処理機能に対して、「☆」印(星印)が付与されている。つまり、エリア計測ツールは、撮像した画像に対して、後述する「検出条件」としての白色領域又は黒色領域の面積を計測する機能である。撮像された画像の中の計測対象領域を特定する機能が、「計測領域」設定機能であり、「色抽出」機能は、撮像された画像の中から特定の色の部分を抽出したい場合、その色を特定する機能であり、「前処理」機能は、撮像された画像に対して、選択を受け付けた画像処理ツールを用いて画像処理を実行するのに先立ち、撮像された画像に対して、二値化処理、膨張処理、収縮処理等の補正処理を加える機能である。
第一階層領域803には、少なくとも各画像処理ツールに対する共通の画像処理機能が表示される。図14では「計測領域」設定機能、すなわち撮像された画像の中の計測対象領域を特定する機能と、「色抽出」機能、すなわち撮像された画像の中から特定の色の部分を抽出したい場合、その色を特定する機能と、「前処理」機能、すなわち撮像された画像に対して、選択を受け付けた画像処理ツールを用いて画像処理を実行するのに先立ち、撮像された画像に対して、二値化処理、膨張処理、収縮処理等の補正処理を加える機能とが基本的な画像処理機能として表示される。また、選択を受け付けた各画像処理ツールに応じて、各画像処理ツールに特有の画像処理機能が追加される仕様となっている。
「計測領域」の選択を受け付けた場合、次の階層の設定項目が第二階層領域804に表示される。第二階層領域804には、選択された画像処理ツールに対する検出条件及び判定条件にかかる項目が表示されており、図14の例では、検出条件として「検知色」が選択され、カスタムメニュー項目として「☆」印が付与されている。管理者はオペレータに操作させても良い設定項目に「☆」印を付与する操作を行い、「☆」印の付与を終了した時点で「OK」ボタン805を選択する。「☆」印が付与された設定項目がオペレータの設定可能な項目として設定される。また、同様に、エリア計測ツールの場合には、判定条件としてのパラメータである「面積」の上限値と下限値とが設定可能となっており、加えて実際の画像に対する計測値である「計測値」が表示されている。さらに、判定条件である「面積」についても、カスタムメニュー項目として「☆」印が付与されている。
図示していないが、本実施の形態に係る画像処理装置2では、管理者が、図14に示す画面において、第一階層表示領域803に表示されている画像処理機能、第二階層領域804に表示されている検出条件及び判定条件に、カスタムメニュー項目として付与された「☆」印(星印)をクリックした場合、別のカスタムメニュー編集画面が図14に示す画面に重ね合わせて表示される。管理者は、表示されたカスタムメニュー編集画面で、「カスタムメニューとして登録する」、すなわちオペレータに対して表示する項目とするか、又は「カスタムメニューとしての登録を削除する」、すなわちオペレータに対して表示しない項目とするかを選択できる。すなわち、個々のカスタムメニュー対象項目について、オペレータに対する表示/非表示を選択できるようになっている。
また、個々のカスタムメニュー対象項目について、図14に示す画面のまま何も操作せずに画面を切り替えた場合、図14に示すカスタムメニュー対象項目は、初期設定として、オペレータに対して表示しない項目として設定される。ただし、初期設定として、何も操作せずに画面を切り替えた場合、オペレータに対して表示する項目として設定されるようにしても良い。
図15は、本発明の実施の形態に係る画像処理装置2のパターンサーチ計測ツールの設定項目を選択する画面の例示図である。図15は、上述した図13に示す画面で、パターンサーチ計測ツールとしての「パターンサーチ」の選択を受け付けた場合の画面を示している。
ツール表示領域801には、選択を受け付けた「パターンサーチ」が表示されている。図15の例では、パターンサーチ計測ツールの選択を受け付けた場合を示しており、第一階層領域803には、選択を受け付けたパターンサーチ計測ツールに対して設定することが可能な画像処理機能「サーチ領域」、「パターン領域」、「色抽出」及び「前処理」が表示されている。少なくとも、「パターン領域」(サーチツールのため、表現を変えているが、上述したエリア計測ツールの「計測領域」と同義語である。)及び「前処理」は、各画像処理ツールに対する共通の画像処理機能であり、撮像装置1がカラー画像を撮像する場合には「色処理」機能も各画像処理ツールに対する共通の画像処理機能となる。また、パターンサーチ計測ツールの場合は、比較対象とする画像パターン、すなわちパターンとなる登録画像(モデル)を事前に記憶しておくが必要があるため、本画像処理ツールに特有の「パターン領域」設定機能が設けられている。これは、パターンとして、撮像装置1で撮像した画像群の中から登録画像(モデル)を設定する場合、撮像した画像群の中から登録画像を特定するときに用いる領域特定機能である。
また、第二階層領域804は、選択された画像処理ツールに対する検出条件として、「角度範囲」、「サーチ感度」、「サーチ精度」及び「相関値下限」が表示されるとともに、選択された画像処理ツールに対する判定条件が表示されている。
なお、図示されていないが、判定条件としては、設定項目表示領域802の右側に位置しているスクロールバーを下方に移動することにより、「ラベル数」、「面積」、「相関値」等が表示される。もちろん、管理者向けの画面には、パターンサーチ計測ツールのカスタムメニュー対象項目として全ての画像処理機能、全ての検出条件及び全ての判定条件が表示され、各項目に「☆」印が付与されていることは言うまでもない。
同様に、図16は、本発明の実施の形態に係る画像処理装置2のブロブ計測ツールの設定項目を選択する画面の例示図である。図16では、上述した図13に示す画面で、ブロブ計測ツールとしての「ブロブ」の選択を受け付けた場合の画面を示している。ツール表示領域801には、選択を受け付けた「ブロブ」が表示されている。図16の例では、ブロブ計測ツールの選択を受け付けた場合を示しており、第一階層領域803には、ブロブ計測ツールに対して設定することが可能な画像処理機能である「2値化」が表示されている。図16では、設定項目表示領域802の右側に位置しているスクロールバーが最上端から若干下方に移動した画面となっている。したがって、図示されていないが、第一階層領域803には、図14に示す画面と同様に、「計測領域」設定機能、「色抽出」設定機能及び「前処理」機能の各項目が画像処理機能として表示される。また、ブロブ計測ツールとしては、「前処理」機能の一つである「2値化」の設定が必須となっていることから、本実施の形態では、使用者が必ず設定することができるよう、あえて「前処理」機能と同じ階層の項目として、第一階層領域803に「2値化」を表示している。
このため、第一階層領域803におけるカスタムメニュー対象項目としては、「計測領域」、「色抽出」、「前処理」及び「2値化」が表示されており、各々にカスタムメニュー項目として「☆」印が付与されている。
また、第二階層領域804には、ブロブ計測ツールに対する検出条件として、「検知色」、「検出個数」、「面積フィルタ(下限値)」、「穴埋め」、「領域除外」が表示され、各々にカスタムメニュー項目として「☆」印が付与されている。また、判定条件としては、ラベル数、面積が表示され、各々にカスタムメニュー項目として「☆」印が付与されている。詳細は省略するが、オペレータに対して表示をするか否かは、個々のカスタムメニュー対象項目をクリックし、別のカスタムメニュー編集画面で選択することができる。
なお、上記実施の形態では、選択を受け付けた各画像処理ツールのカスタムメニュー対象項目をオペレータに対して表示するか否かは、個々のカスタムメニュー対象項目をクリックして、別のカスタムメニュー編集画面を開くことによって選択している。しかし、別のカスタムメニュー編集画面を開くことなく、同じ画面において、各カスタムメニュー対象項目に、オペレータに対して表示するか否かを選択するチェックボックスを設定して対応することも可能である。
図12に戻って、設定項目表示部(メニュー表示手段)713は、選択を受け付けた画像処理ツール及び該画像処理ツールごとに選択を受け付けた項目のみを表示する。図17は、本発明の実施の形態に係る画像処理装置2の設定項目の表示画面の例示図である。より具体的には、図14から図16に基づいて、選択を受け付けた各画像処理ツールに対して、どのカスタムメニュー対象項目をオペレータに対して表示するかを選択した後のオペレータが閲覧できる画面の例示図である。
図17において、ツール選択/表示領域702には、選択を受け付けた画像処理ツールのアイコンが表示される。図17の例では、図14から図16に基づいて、各画像処理ツールに対するカスタムメニューの設定が完了した後のオペレータが閲覧することができる画面であり、図13と同様にエリア計測ツール、パターンサーチ計測ツール、ブロブ計測ツールが選択可能な画像処理ツールとして表示されている。そして、エリア計測ツールが選択された場合、画像表示領域700に検査対象物6の画像が検査領域と共に表示される。
設定項目表示領域171には、オペレータが閲覧することができ、しかも設定することが可能なカスタムメニュー項目として、各画像処理ツールの画像処理機能、検出条件及び判定条件の中から管理者によって選択された項目が全て表示されている。具体的には、本実施の形態では、図14を用いて説明したように、画像処理装置2が備えている全ての画像処理ツールの中から、「エリア計測ツール」、「パターンサーチ計測ツール」及び「ブロブ計測ツール」を用いた、画像処理フローが設定されている。この場合、図17の画面には、使用者により、画像処理フローに設定された全ての画像処理ツールと、全ての画像処理ツールに対して、管理者により選択された、オペレータが閲覧することができ、しかも設定することが可能なカスタムメニュー項目が全て表示される。換言すれば、使用者により、画像処理フローに設定された全ての画像処理ツールの全てのカスタムメニュー対象項目(オペレータに対して表示/非表示の選択が可能な項目)の中から、オペレータが閲覧することができ、しかも設定することが可能なカスタムメニュー項目として選択された項目のみが表示される。
本実施の形態では、エリア計測ツールに対して、オペレータが閲覧することができ、しかも設定することが可能なカスタムメニュー項目として「計測領域」と「検出色」とが設定されている。換言すれば、図14に基づいて説明したその他のカスタムメニュー対象項目は、管理者がオペレータに対して閲覧することができず、しかも設定することもできない項目として設定したことが理解できる。パターンサーチ計測ツールに対しては、オペレータが閲覧することができ、しかも設定することが可能なカスタムメニュー項目として「角度範囲」と「サーチ精度」とが設定されている。同様に、ブロブ計測ツールに対しては、オペレータが閲覧することができ、しかも設定することが可能なカスタムメニュー項目として「検知色」と「穴埋め」とが設定されている。ここで、オペレータが閲覧することができ、しかも設定することが可能なカスタムメニュー項目として設定されたそれぞれの項目は、オペレータにより詳細を設定することができる。
また、図17に表示されるオペレータが閲覧することができ、しかも設定することが可能なカスタムメニュー項目は、管理者のみが知っているパスワード等を用いることによって、管理者のみ閲覧及び設定することができる、上述した図13から図16の画面によって変更を加えることができることは言うまでもない。
図18は、本発明の実施の形態に係る画像処理装置2のエリア計測ツールの設定項目の表示画面の例示図である。図17において、「T100 エリア」の「計測領域」ボタンをオペレータがクリックした場合、図18に示すカスタムメニュー項目として「計測領域」の設定画面が表示される。すなわち、計測領域の形状の指定を受け付ける計測領域設定領域181と、「マスク領域」の設定を行うマスク領域設定領域182とが表示される。設定が完了し、「OK」ボタン183の選択を受け付けた時点で図17に示す表示画面に戻る。
詳細には、計測領域の形状の指定を受け付ける計測領域設定領域181には、初期条件として「矩形」形状が表示されているが、プルダウンメニューを用いて、矩形以外に円形、楕円等の異なる計測領域の形状を選択することができるようになっている。また、マスク領域設定領域182は、画面上に設定した計測領域内で検出対象として不要と考える領域を検査対象から排除するためのマスク領域を設定する。これは、一つの計測領域に複数設定する場合があるため、図18に示すように複数設定することが可能となっている。つまり、管理者が設定した、オペレータが閲覧することができ、しかも設定することが可能なカスタムメニューの各々には、各メニューに特有であり、しかもオペレータが設定することが可能な条件やパラメータが設定されている。
同様に、図19は、本発明の実施の形態に係る画像処理装置2のエリア計測ツールの他の設定項目の表示画面の例示図である。図17において、「T100 エリア」の「検知色」ボタンをオペレータがクリックした場合、図19に示す「検知色」の設定画面が表示される。すなわち、カスタムメニュー項目として「検知色」の選択を受け付ける検知色選択受付領域131が表示される。設定が完了し、「OK」ボタン132の選択を受け付けた時点で図17に示す表示画面に戻る。
詳細には、カスタムメニュー項目として「検知色」では、「白」又は「黒」の選択を受け付けるようになっている。これは、撮像装置1が白黒画像、つまり濃淡画像を撮像する場合であり、例えばカラー画像を撮像する撮像装置1が対象である場合、多種多様な色を示すカラーバーの中からオペレータが特定の色を選択するような画面としても良い。
また、図20は、本発明の実施の形態に係る画像処理装置2のパターンサーチ計測ツールの設定項目の表示画面の例示図である。図17において、「T101 パターンサーチ」の「角度範囲」ボタンをオペレータがクリックした場合、図20に示す「角度範囲」の設定画面が表示される。すなわち、基準パターンの回転角度の範囲の設定を受け付ける角度範囲設定領域141が表示される。設定が完了し、「OK」ボタン142の選択を受け付けた時点で図17に示す表示画面に戻る。
詳細には、パターンサーチ計測ツールは、パターンとなる登録画像をモデルとして登録しておき、検査領域内のX、Y座標において、座標を特定間隔でスキップしつつ、各位置における撮像された画像と登録画像との類似度を示す相関値を求める。したがって、各座標位置において、登録画像の検査対象物6を基準として±180度の範囲内で、どの範囲まで回転された画像をサーチするかを「角度範囲」で設定しておく。図20に示すように、角度範囲の右側にある入力欄に、0から180度の範囲内での数値を入力することによって設定が完了する。
また、図17に示す設定項目表示領域171において、管理者がカスタムメニュー項目として設定した項目ごとにオペレータからの選択を受け付けることに限定されるものではなく、画像処理ツールごとに選択を受け付けても良い。
以上のように本実施の形態によれば、選択を受け付けた画像処理ツール及び該画像処理ツールごとに選択を受け付けた設定項目のみが表示されるので、オペレータは、管理者により許諾された設定項目しか設定を変更することができない。したがって、オペレータに設定を変更させても良い設定項目のみを選択しておくことにより、管理者が許諾しない設定項目をオペレータがむやみに変更するおそれがなく、管理者の意図通りに安定して動作することができる画像処理装置2を提供することが可能となる。
なお、設定項目表示部(メニュー表示手段)713は、選択された設定項目を表示する画面、いわゆるシミュレーション画面と、選択された設定項目に対して操作する画面とを切り替えて表示しても良い。操作画面への切り替えは、操作モードとシミュレーションモードとのモード切り替えで行うことができる。
さらに、使用者を識別する識別情報と設定可能な項目とを対応付けて記憶装置23に記憶しておき、識別情報に応じて設定可能な項目を特定することが好ましい。識別情報入力受付部812により、図12に戻って、識別情報の入力を受け付けた場合、識別情報取得部714は識別情報をキー情報として設定可能な項目を特定する。
すなわち、識別情報に基づいて、使用者が管理者であると判断した場合、すべての設定項目に対して操作することができる。使用者がオペレータであると判断した場合、管理者が設定可能と設定した項目以外は操作することができない。例えば、設定可能な項目以外は表示しない、グレー表示する、非活動状態とする等、オペレータが操作することができない状態であれば、表示方法は特に限定されるものではない。
その他、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。