JP2013120550A - 画像処理装置、画像処理方法及びコンピュータプログラム - Google Patents

Abstract

【課題】ユーザが色の抽出範囲を簡易な作業で設定することができる画像処理装置、該画像処理装置で実行する画像処理方法及びコンピュータプログラムを提供する。
【解決手段】検査対象物を撮像する撮像手段と、該撮像手段で撮像された画像を表示する表示手段とを備え、表示された画像から色抽出の対象となる画素の指定を受け付け、指定を受け付けた画素の色情報に基づいて、該画素と同一の色とみなされる範囲を色の抽出範囲として設定する。表示された画像における任意の画素の色情報が、設定された色の抽出範囲に含まれる場合には、該画素の色情報が色の抽出範囲内にあることを示す色抽出画素として視認されるように色抽出結果を表示させる。色の抽出範囲の拡張指示を受け付け、拡張指示を受け付けた場合、色抽出画素の周囲の画素の色情報を色の抽出範囲に含むよう、色の抽出範囲を拡張する。
【選択図】図７

Description

本発明は、色の抽出範囲を簡易な作業で設定することができる画像処理装置、該画像処理装置で実行する画像処理方法及びコンピュータプログラムに関する。

検査対象物の外観検査を実行する場合、検査対象物の表面の色ごとに色面積を求めるときがある。具体的には、検査対象物の画像の所定の色面積と、基準画像の所定の色面積とを比較して、両者の差が所定の閾値範囲内であれば、例えば文字が欠損しているか否か、印刷ミスがあるか否か、表面に汚れがあるか否か等を検査することができる。

例えば特許文献１では、基準画像上で所定の点を指定し、指定した点の色情報を含むように色の抽出範囲を拡張する色抽出方法が開示されている。また、特許文献１には、基準画像上で所定の点を指定し、指定した点の色情報が含まれない範囲にも色の抽出範囲を一定範囲拡張する色抽出方法も開示されている。

特開平１１−１３４５０３号公報 特開平０４−２８６０８１号公報

しかし、特許文献１に開示してある色抽出方法では、色抽出されない部分が、画面上で虫食い領域のように散在するので、結局は何度も点を指定する必要が生じ、ユーザにとって操作が煩雑であるという問題点があった。また、特定の色を含まない範囲にも色の抽出範囲を一定範囲拡張する場合、ユーザが抽出したい色以外の色が含まれるおそれがあり、除外するべき色を何度も指定する必要が生じ、操作が煩雑であるという問題点もあった。

もちろん、特許文献２に示すように、代表色を決定して、決定した代表色に類似する色を自動抽出することで、ユーザの手間は半減する。具体的には、ＲＧＢ空間において、代表色を示すＲ値、Ｇ値、Ｂ値をプロットした点を中心として球状領域を設定し、球状領域内の色を抽出する。しかし、色抽出範囲は画一的に拡張されるので、ユーザが抽出したい色以外の色も含まれるおそれが残されている。

本発明は、上記問題点に鑑みてなされたものであり、ユーザが抽出する色の抽出範囲を簡易な作業で設定することができる画像処理装置、該画像処理装置で実行する画像処理方法及びコンピュータプログラムを提供することを目的とする。

上記目的を達成するために第１発明に係る画像処理装置は、検査対象物を撮像する撮像手段と、該撮像手段で撮像された画像を表示する表示手段と、該表示手段で表示された画像から色抽出の対象となる画素の指定を受け付ける指定受付手段と、指定を受け付けた画素の色情報に基づいて、該画素と同一の色とみなされる範囲を色の抽出範囲として設定する抽出範囲設定手段とを有し、表示された画像における任意の画素の色情報が、設定された色の抽出範囲に含まれる場合には、該画素の色情報が色の抽出範囲内にあることを示す色抽出画素として視認されるように色抽出結果を表示させる画像処理装置において、前記色の抽出範囲の拡張指示を受け付ける拡張指示受付手段と、該拡張指示受付手段で拡張指示を受け付けた場合、前記色抽出画素の周囲の画素の色情報を前記色の抽出範囲に含むよう、前記色の抽出範囲を拡張する抽出範囲拡張手段とを備えることを特徴とする。

また、第２発明に係る画像処理装置は、第１発明において、前記色抽出画素との色差が所定範囲内である画素が、前記色抽出画素の周囲に存在するか否かを判断する判断手段を備え、該判断手段が、前記色抽出画素との色差が所定範囲内である画素が、前記色抽出画素の周囲に存在すると判断した場合、前記抽出範囲拡張手段は、該画素の色情報を前記色の抽出範囲に含むよう、前記色の抽出範囲を拡張することを特徴とする。

また、第３発明に係る画像処理装置は、第１又は第２発明において、前記抽出範囲拡張手段は、前記指定受付手段で指定を受け付けた画素を含むよう、前記色の抽出範囲を拡張することを特徴とする。

また、第４発明に係る画像処理装置は、第２発明において、前記判断手段が、前記色抽出画素との色差が所定範囲内である画素が、前記色抽出画素の周囲に存在しないと判断した場合、前記抽出範囲拡張手段は、前記色の抽出範囲に含まれる画素の数が増加するよう、前記色の抽出範囲を拡張することを特徴とする。

また、第５発明に係る画像処理装置は、第２乃至第４発明のいずれか１つにおいて、前記色の抽出範囲の拡張指示を受け付けたか、又は色抽出の対象となる画素の指定を受け付けたかを判定する受付判定手段を備え、前記抽出範囲拡張手段は、前記受付判定手段の判定結果に基づいて、前記色抽出範囲を拡張することを特徴とする。

また、第６発明に係る画像処理装置は、第１乃至第５発明のいずれか１つにおいて、前記表示手段で表示されている画面は、前記色の抽出範囲の拡張指示を受け付けるための第１の表示領域と、色抽出の対象となる画素の指定を受け付けるための第２の表示領域とを含むことを特徴とする。

また、第７発明に係る画像処理装置は、第１乃至第６発明のいずれか１つにおいて、前記抽出範囲拡張手段は、前記拡張指示受付手段で拡張指示を受け付けた場合、前記色抽出画素の周囲１画素の色情報を前記色の抽出範囲に含むよう、前記色の抽出範囲を拡張することを特徴とする。

また、第８発明に係る画像処理装置は、第１乃至第７発明のいずれか１つにおいて、前記色の抽出範囲の縮小指示を受け付ける縮小指示受付手段と、該縮小指示受付手段で縮小指示を受け付けた場合、前記抽出範囲拡張手段による前記色の抽出範囲の拡張を全部又は一部取り消して、前記色抽出範囲を縮小する抽出範囲縮小手段とを備えることを特徴とする。

次に、上記目的を達成するために第９発明に係る画像処理方法は、検査対象物を撮像する撮像手段と、該撮像手段で撮像された画像を表示する表示手段とを備え、該表示手段で表示された画像から色抽出の対象となる画素の指定を受け付け、指定を受け付けた画素の色情報に基づいて、該画素と同一の色とみなされる範囲を色の抽出範囲として設定し、表示された画像における任意の画素の色情報が、設定された色の抽出範囲に含まれる場合には、該画素の色情報が色の抽出範囲内にあることを示す色抽出画素として視認されるように色抽出結果を表示させる画像処理装置で実行することが可能な画像処理方法において、前記画像処理装置は、前記色の抽出範囲の拡張指示を受け付けるステップと、該拡張指示受付手段で拡張指示を受け付けた場合、前記色抽出画素の周囲の画素の色情報を前記色の抽出範囲に含むよう、前記色の抽出範囲を拡張するステップとを含むことを特徴とする。

また、第１０発明に係る画像処理方法は、第９発明において、前記画像処理装置は、前記色抽出画素との色差が所定範囲内である画素が、前記色抽出画素の周囲に存在するか否かを判断するステップを含み、前記色抽出画素との色差が所定範囲内である画素が、前記色抽出画素の周囲に存在すると判断した場合、該画素の色情報を前記色の抽出範囲に含むよう、前記色の抽出範囲を拡張することを特徴とする。

また、第１１発明に係る画像処理方法は、第９又は第１０発明において、指定を受け付けた画素を含むよう、前記色の抽出範囲を拡張することを特徴とする。

また、第１２発明に係る画像処理方法は、第１０発明において、前記色抽出画素との色差が所定範囲内である画素が、前記色抽出画素の周囲に存在しないと判断した場合、前記色の抽出範囲に含まれる画素の数が増加するよう、前記色の抽出範囲を拡張することを特徴とする。

また、第１３発明に係る画像処理方法は、第１０乃至第１２発明のいずれか１つにおいて、前記色の抽出範囲の拡張指示を受け付けたか、又は色抽出の対象となる画素の指定を受け付けたかを判定するステップを含み、判定結果に基づいて、前記色抽出範囲を拡張することを特徴とする。

また、第１４発明に係る画像処理方法は、第９乃至第１３発明のいずれか１つにおいて、表示されている画面は、前記色の抽出範囲の拡張指示を受け付けるための第１の表示領域と、色抽出の対象となる画素の指定を受け付けるための第２の表示領域とを含むことを特徴とする。

また、第１５発明に係る画像処理方法は、第９乃至第１４発明のいずれか１つにおいて、拡張指示を受け付けた場合、前記色抽出画素の周囲１画素の色情報を前記色の抽出範囲に含むよう、前記色の抽出範囲を拡張することを特徴とする。

また、第１６発明に係る画像処理方法は、第９乃至第１５発明のいずれか１つにおいて、前記色の抽出範囲の縮小指示を受け付けるステップと、縮小指示を受け付けた場合、前記色の抽出範囲の拡張を全部又は一部取り消して、前記色抽出範囲を縮小するステップとを含むことを特徴とする。

次に、上記目的を達成するために第１７発明に係るコンピュータプログラムは、検査対象物を撮像する撮像手段と、該撮像手段で撮像された画像を表示する表示手段と、該表示手段で表示された画像から色抽出の対象となる画素の指定を受け付ける指定受付手段と、指定を受け付けた画素の色情報に基づいて、該画素と同一の色とみなされる範囲を色の抽出範囲として設定する抽出範囲設定手段とを有し、表示された画像における任意の画素の色情報が、設定された色の抽出範囲に含まれる場合には、該画素の色情報が色の抽出範囲内にあることを示す色抽出画素として視認されるように色抽出結果を表示させる画像処理装置で実行することが可能なコンピュータプログラムにおいて、前記画像処理装置を、前記色の抽出範囲の拡張指示を受け付ける拡張指示受付手段、及び該拡張指示受付手段で拡張指示を受け付けた場合、前記色抽出画素の周囲の画素の色情報を前記色の抽出範囲に含むよう、前記色の抽出範囲を拡張する抽出範囲拡張手段として機能させることを特徴とする。

また、第１８発明に係るコンピュータプログラムは、第１７発明において、前記画像処理装置を、前記色抽出画素との色差が所定範囲内である画素が、前記色抽出画素の周囲に存在するか否かを判断する判断手段として機能させ、該判断手段が、前記色抽出画素との色差が所定範囲内である画素が、前記色抽出画素の周囲に存在すると判断した場合、前記抽出範囲拡張手段を、該画素の色情報を前記色の抽出範囲に含むよう、前記色の抽出範囲を拡張する手段として機能させることを特徴とする。

また、第１９発明に係るコンピュータプログラムは、第１７又は第１８発明において、前記抽出範囲拡張手段を、前記指定受付手段で指定を受け付けた画素を含むよう、前記色の抽出範囲を拡張する手段として機能させることを特徴とする。

また、第２０発明に係るコンピュータプログラムは、第１８発明において、前記判断手段が、前記色抽出画素との色差が所定範囲内である画素が、前記色抽出画素の周囲に存在しないと判断した場合、前記抽出範囲拡張手段を、前記色の抽出範囲に含まれる画素の数が増加するよう、前記色の抽出範囲を拡張する手段として機能させることを特徴とする。

また、第２１発明に係るコンピュータプログラムは、第１８乃至第２０発明のいずれか１つにおいて、前記画像処理装置を、前記色の抽出範囲の拡張指示を受け付けたか、又は色抽出の対象となる画素の指定を受け付けたかを判定する受付判定手段として機能させ、前記抽出範囲拡張手段を、前記受付判定手段の判定結果に基づいて、前記色抽出範囲を拡張する手段として機能させることを特徴とする。

また、第２２発明に係るコンピュータプログラムは、第１７乃至第２１発明のいずれか１つにおいて、前記画像処理装置を、前記表示手段で表示される画面に、前記色の抽出範囲の拡張指示を受け付けるための第１の表示領域と、色抽出の対象となる画素の指定を受け付けるための第２の表示領域とを設ける手段として機能させることを特徴とする。

また、第２３発明に係るコンピュータプログラムは、第１７乃至第２２発明のいずれか１つにおいて、前記拡張指示受付手段で拡張指示を受け付けた場合、前記抽出範囲拡張手段を、前記色抽出画素の周囲１画素の色情報を前記色の抽出範囲に含むよう、前記色の抽出範囲を拡張する手段として機能させることを特徴とする。

また、第２４発明に係るコンピュータプログラムは、第１７乃至第２３発明のいずれか１つにおいて、前記画像処理装置を、前記色の抽出範囲の縮小指示を受け付ける縮小指示受付手段、及び該縮小指示受付手段で縮小指示を受け付けた場合、前記抽出範囲拡張手段による前記色の抽出範囲の拡張を全部又は一部取り消して、前記色抽出範囲を縮小する抽出範囲縮小手段として機能させることを特徴とする。

第１発明、第９発明及び第１７発明では、色の抽出範囲の拡張指示を受け付け、拡張指示を受け付けた場合、色抽出画素の周囲の画素の色情報を色の抽出範囲に含むよう、色の抽出範囲を拡張する。これにより、色抽出画素の色情報だけでなく、色抽出画素の周囲の画素の色情報を色の抽出範囲に含むよう、色の抽出範囲を拡張するので、色が抽出されない虫食い部分が減少し、抽出したい色が表示されている部分を指示すれば足りるので、ユーザは色の抽出範囲を簡易な作業で設定することが可能となる。

第２発明、第１０発明及び第１８発明では、色抽出画素との色差が所定範囲内である画素が、色抽出画素の周囲に存在すると判断した場合、該画素の色情報を色の抽出範囲に含むよう、色の抽出範囲を拡張するので、余分な色情報の画素を含めて色の抽出範囲を拡張することがなく、必要な色のみを含むよう、色の抽出範囲を拡張することが可能となる。

第３発明、第１１発明及び第１９発明では、指定を受け付けた画素を含むよう、色の抽出範囲を拡張するので、余分な色情報の画素を含めて抽出範囲を拡張することがなく、必要な色のみを含むよう、色の抽出範囲を拡張することが可能となる。

第４発明、第１２発明及び第２０発明では、色抽出画素との色差が所定範囲内である画素が、色抽出画素の周囲に存在しないと判断した場合、色の抽出範囲に含まれる画素の数が増加するよう、色の抽出範囲を拡張するので、色が抽出されない虫食い部分が減少する。

第５発明、第１３発明及び第２１発明では、色の抽出範囲の拡張指示を受け付けたか、又は色抽出の対象となる画素の指定を受け付けたかを判定し、判定結果に基づいて、色抽出範囲を拡張するので、色が抽出されない虫食い部分が減少する。

第６発明、第１４発明及び第２２発明では、表示されている画面は、色の抽出範囲の拡張指示を受け付けるための第１の表示領域と、色抽出の対象となる画素の指定を受け付けるための第２の表示領域との両方を含むので、ユーザの意思に応じて、色の抽出範囲の拡張指示又は色抽出の対象となる画素の指定を受け付けることができる。

第７発明、第１５発明及び第２３発明では、拡張指示を受け付けた場合、色抽出画素の周囲１画素の色情報を色の抽出範囲に含むよう、色の抽出範囲を拡張するので、より確実に色が抽出されない虫食い部分が減少する。

第８発明、第１６発明及び第２４発明では、色の抽出範囲の縮小指示を受け付け、縮小指示を受け付けた場合、色の抽出範囲の拡張を全部又は一部取り消して、色抽出範囲を縮小するので、色の抽出範囲を過大に拡大した場合であっても、容易に適切に縮小することが可能となる。

本発明では、色抽出画素の色情報だけでなく、色抽出画素の周囲の画素の色情報を色の抽出範囲に含むよう、色の抽出範囲を拡張するので、色が抽出されない虫食い部分が減少し、抽出したい色が表示されている部分を指示すれば足りるので、ユーザは色の抽出範囲を簡易な作業で設定することが可能となる。

本発明の実施の形態に係る画像処理センサの構成を示す模式図である。 本発明の実施の形態に係る画像処理センサの撮像装置の構成を示す外形図である。 本発明の実施の形態に係る画像処理センサの撮像装置のハードウェア構成を示すブロック図である。 本発明の実施の形態に係る画像処理センサの表示装置の構成を示す正面図である。 本発明の実施の形態に係る画像処理センサの表示装置のモード切り替え画面の例示図である。 本発明の実施の形態に係る画像処理センサの表示装置の設定画面の例示図である。 本発明の実施の形態に係る画像処理センサの撮像装置の機能ブロック図である。 本発明の実施の形態に係る画像処理センサの色抽出範囲調整画面の例示図である。 本発明の実施の形態に係る画像処理センサの色抽出範囲調整画面の色抽出枠の変化を示す模式図である。 本発明の実施の形態に係る画像処理センサの、色の抽出範囲の拡張方法の概念を示す模式図である。 本発明の実施の形態に係る画像処理センサの色抽出範囲を拡張した画面の例示図である。 色差範囲を説明するための色空間モデルの例示図である。 本発明の実施の形態に係る画像処理センサの撮像装置のメイン基板のＤＳＰの、色の抽出範囲の調整処理手順を示すフローチャートである。 本発明の実施の形態に係る画像処理センサの撮像装置のメイン基板のＤＳＰの、色の抽出範囲の設定処理の手順を示すフローチャートである。 本発明の他の実施の形態に係る画像処理センサの、色の抽出範囲の拡張方法の概念を示す模式図である。

以下、本発明の実施の形態に係る画像処理装置について、図面を参照して説明する。なお、本実施の形態の説明で参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一又は同様の符号を付して、詳細な説明を省略する。以下、画像処理装置として画像処理センサを例に挙げて説明する。

図１は、本発明の実施の形態に係る画像処理センサの構成を示す模式図である。図１に示すように、本実施の形態に係る画像処理センサは、撮像装置（撮像手段）１と、撮像装置１とデータ通信することが可能に接続ケーブル３で接続されている表示装置（表示手段）２とで構成されている。もちろん、表示装置２の代わりに、ディスプレイを有する外部コンピュータであっても良い。なお、撮像装置１と表示装置２とが一体として構成されていても良い。

撮像装置１は、内部に画像処理を実行するＦＰＧＡ、ＤＳＰ等を備えており、検査対象物を撮像する撮像素子を有するカメラモジュールと、検査対象物に対して光を照射する照明部とを備えている。撮像装置１をコンパクトにするべく、例えば図１に示すように、撮像装置１の正面の中央近傍にレンズ１２を配置し、レンズ１２の周囲を囲むように、照明部として複数のＬＥＤ１１を配置してある。なお、撮像装置１とは別に外部照明（リング照明等）を設けても良い。

図２は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す外形図である。図２（ａ）は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す正面図を、図２（ｂ）は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す平面図を、図２（ｃ）は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す背面図を、それぞれ示している。

図２（ａ）に示すように、撮像装置１はレンズ１２を正面の中央近傍に配置しており、レンズ１２の周囲を囲むように複数のＬＥＤ１１を配置してある。撮像時には、複数のＬＥＤ１１を点灯させることにより、検査対象物に光を照射し、検査対象物を明瞭に撮像することができる。

ここで、光源を内蔵する撮像装置１を用いて外観検査を行う場合、検査対象物からの正反射を防ぐために、撮像装置１を検査対象物の真上ではなく斜め上に配置することがある。検査対象物の斜め上に配置した場合、撮像装置１により撮像された画像は、上方と下方と（又は左方と右方と）で明るさが異なる。

例えば、撮像装置１を、水平に載置された検査対象物の手前上方に配置した場合、検査対象物の手前部分から撮像装置１までの距離よりも、検査対象物の奥部分から撮像装置１までの距離の方が長くなるため、検査対象物を撮像した画像上で上方部分が暗くなり、下方部分が明るくなる。もちろん、撮像装置１を真上に配置した場合であっても、撮像領域の中央付近が明るく、端へ向かうにつれて暗くなる。このように、光源を内蔵する撮像装置１を用いて外観検査を行う場合、検査対象物を撮像した画像上に色ムラが発生することがある。しかし、後述する画像処理方法によれば、このような色ムラが発生した場合であっても、色の抽出範囲を簡易な作業で設定することができる。

図２（ｂ）及び図２（ｃ）に示すように、撮像装置１の背面には、外部の電源から電力の供給を受ける電源ケーブルを接続する電源コネクタ１０２と、表示装置２とデータ通信する接続ケーブル３を接続することが可能な接続コネクタ１０３とを備えている。また、手動でフォーカスを調整することができるフォーカス調整ネジ１０１も背面に備えている。

図３は、本発明の実施の形態に係る画像処理センサの撮像装置１のハードウェア構成を示すブロック図である。図３において、コネクタ基板１６は、電源インタフェース１６１に設けてある電源コネクタ１０２（図２（ｂ）及び図２（ｃ）参照）を介して、外部の電源から電力の供給を受ける。電源基板１８は、供給された電力を各基板に供給する。本実施の形態では、カメラモジュール１４にはメイン基板１３を介して電力を供給している。電源基板１８のモータドライバ１８１は、カメラモジュール１４のモータ１４１に駆動電力を供給し、オートフォーカスを実現している。

通信基板１７は、メイン基板１３から出力された欠陥を検出したか否かで検査対象物の良否を示すＯＫ／ＮＧ信号（判定信号）、画像データ等を表示装置２へ送信する。判定信号を受信した表示装置２は、判定結果を表示する。なお、本実施の形態では、通信基板１７を介してＯＫ／ＮＧ信号（判定信号）を出力する構成にしているが、例えばコネクタ基板１６を介してＯＫ／ＮＧ信号（判定信号）を出力する構成にしても良い。

照明基板１５は、検査対象物を撮像する撮像領域に光を照射する、複数のＬＥＤ１１が設けてあり、図示しないリフレクタはＬＥＤ１１の前方に設けてある。また、レンズ１２は、短距離用又は長距離用のレンズユニットとして交換可能となっている。

カメラモジュール１４は、モータ１４１が駆動することにより、オートフォーカス動作の制御を行うことができる。メイン基板１３からの撮像指示信号に応じて検査対象物を撮像する。本実施の形態では、撮像素子としてＣＭＯＳ基板１４２を備えており、撮像されたカラー画像は、ＣＭＯＳ基板１４２にてダイナミックレンジを広げる変換特性に基づいてＨＤＲ画像に変換され、メイン基板１３のＦＰＧＡ１３１へ出力される。

メイン基板１３は、接続してある各基板の動作を制御する。例えば照明基板１５に対しては、複数のＬＥＤ１１の点灯／消灯を制御する制御信号を、ＬＥＤドライバ１５１へ送信する。ＬＥＤドライバ１５１は、ＦＰＧＡ１３１からの制御信号に応じて、例えばＬＥＤ１１の点灯／消灯、光量等を調整する。また、カメラモジュール１４のモータ１４１に対しては、電源基板１８のモータドライバ１８１を介してオートフォーカス動作を制御する制御信号を、ＣＭＯＳ基板１４２に対しては、撮像指示信号等を、それぞれ送信する。

メイン基板１３のＦＰＧＡ１３１は、照明制御、撮像制御をするとともに、取得した画像データに対する画像処理を実行する。また、メイン基板１３のＤＳＰ１３２は、画像データについて、エッジ検出処理、パターン検索処理等を実行する。パターン検索処理の結果として、欠陥を検出したか否かで検査対象物の良否を示すＯＫ／ＮＧ信号（判定信号）を通信基板１７へ出力する。演算処理結果等はメモリ１３３に記憶される。なお、本実施の形態では、ＦＰＧＡ１３１が照明制御、撮像制御等を実行するが、ＤＳＰ１３２が実行しても良い。また、ＦＰＧＡ１３１とＤＳＰ１３２とが一体となった回路、すなわち主制御回路（主制御部）を設けても良い。要するに、複数のＬＥＤ１１の点灯／消灯を制御する制御信号をＬＥＤドライバ１５１へ送信したり、オートフォーカス動作を制御する制御信号をカメラモジュール１４のモータ１４１へ送信したり、撮像指示信号等をＣＭＯＳ基板１４２へ送信したり、ＦＰＧＡ１３１及びＤＳＰ１３２の双方の機能を有する主制御部を設けても良い。

図４は、本発明の実施の形態に係る画像処理センサの表示装置２の構成を示す正面図である。図４に示すように、表示装置２の前面の中央部分にはタッチパネル２１が設けてあり、撮像した検査対象物のカラー画像を画面に表示するとともに、ユーザによる選択入力を受け付ける。

また、表示装置２は、外部の電源から電力が供給される電源ケーブルを接続する電源コネクタ２４と、撮像装置１とデータ通信する接続ケーブル３を接続することが可能な接続コネクタ２５とを備えている。さらにＵＳＢメモリ等と接続することが可能なＵＳＢポート２２を前面に設けてある。

ユーザは、表示装置２のタッチパネル２１の画面に表示されているボタンを選択することにより、画像処理センサの動作を制御する。そして、検査対象物の検査を実行する「検査モード」と、画像処理センサの条件設定を行う「設定モード」との切り替えを行うこともできる。言い換えると、本実施の形態に係る画像処理センサは、検査対象物の良否を判定する検査モード（Ｒｕｎモード）と、検査に用いる各種パラメータ（撮像パラメータ、照明パラメータ、画像処理パラメータ等）の設定を行う設定モード（非Ｒｕｎモード）とを切り替えるためのモード切替部を有している。図５は、本発明の実施の形態に係る画像処理センサの表示装置２のモード切り替え画面の例示図である。

図５（ａ）は、「検査モード」の画面表示の例示図である。図５（ａ）に示すように、検査対象物表示領域５１に、撮像装置１が撮像した検査対象物の画像を表示する。左下の「センサ設定」ボタン５２がモード切替部として機能し、「センサ設定」ボタン５２が選択された場合、「設定モード」へと切り替わり、図５（ｂ）に示す画面へと画面遷移する。

図５（ｂ）は、「設定モード」の画面表示の例示図である。図５（ｂ）に示すように、プログラム選択領域５３にて、検査対象物の種類又は検査環境を選択する。ここで、「プログラム」とは、検査対象物の種類又は検査環境に応じて設定された一連のデータ群（パラメータ値の組み合わせ）を意味しており、検査対象物の種類又は検査環境ごとに異なるデータ群をプログラムとして記憶することができる。

また、検査対象物と比較する基準となるマスタ画像が記憶されている場合、マスタ画像表示領域５４にマスタ画像が表示される。「設定ナビ」ボタン５５が選択された場合、詳細な設定を行う設定画面に画面遷移する。左下の「運転開始」ボタン５６はモード切替部として機能し、「運転開始」ボタン５６が選択された場合、「検査モード」へと切り替わり、図５（ａ）に示す画面へと画面遷移する。

図６は、本発明の実施の形態に係る画像処理センサの表示装置２の設定画面の例示図である。図６に示す設定画面を通じて、ユーザは、撮像条件の設定（図６（ａ））、パターンサーチする基準となるマスタ画像の登録（図６（ｂ））、マスタ画像に対する輪郭サーチ等のツール設定（図６（ｃ）〜図６（ｅ））、出力割り当て（図６（ｆ））、という流れで順次設定を行う。以下、詳細に説明する。図５（ｂ）に示す「設定ナビ」ボタン５５が選択された場合、まず図６（ａ）に示す撮像条件設定画面が表示される。撮像条件設定画面では、マスタ画像が記憶されている場合にはマスタ画像が主表示領域６１に表示され、画面下部に撮像条件を設定する設定ボタン群が表示されている。例えば「トリガ条件」ボタンが選択された場合には、撮像装置１が検査対象物を撮像するタイミングを特定するトリガ条件を設定することができる。詳細な設定画面は省略するが、それぞれのボタンが選択された場合、それぞれの設定条件に応じて図４に示すタッチパネル２１上に表示される。

また、より詳細な設定をするには、図６（ａ）の「拡張機能」ボタン６２を選択すれば良い。「拡張機能」ボタン６２が選択された場合、詳細な設定を行うためのボタンが別途表示される。このように撮像条件設定画面では、明るさの調整、フォーカスの調整、撮像範囲、照明のオン／オフ、ズームのオン／オフ等を設定することができる。

図６（ａ）の「進む」と表示された「画面遷移」ボタン６３が選択された場合、図６（ｂ）に示すマスタ画像登録画面が表示される。登録されたマスタ画像上に、以後、検査用の様々なツールを設定する。１つのマスタ画像に対して複数のプログラムを記憶することができる。つまり、同じマスタ画像に対して異なるツールを設定し、異なるプログラムとして記憶しておくことができる。

マスタ画像は、現在撮像している画像を登録しても良いし、以前に撮像しておいた画像から選択して登録しても良い。現在撮像している画像を登録する場合、ユーザは「Ｌｉｖｅ画像登録」ボタン６４を選択すればよい。「Ｌｉｖｅ画像登録」ボタン６４が選択された時点で撮像されている画像がマスタ画像として登録される。

図６（ｂ）の「進む」と表示された「画面遷移」ボタン６５が選択された場合、図６（ｃ）に示すマスタ画像ごとのツール設定画面が表示される。マスタ画像上に、以後、検査用の様々なツールを設定する。

ツール設定画面では、表示されているマスタ画像に、検査を実行するためのツールを追加設定する。図６（ｃ）に示す「追加」ボタン６６が選択された場合、図６（ｄ）に示すツール選択画面が表示される。ツール選択画面で選択されたツールを追加設定する。例えば「輪郭サーチ」ボタン６７が選択された場合、図６（ｅ）に示す輪郭サーチ設定画面が表示される。輪郭サーチ設定画面で、マスタ画像のどの輪郭を撮像された検査対象物の画像と照合するのか設定しておくことにより、欠陥が検出したか否かで検査対象物の良否を判定することができる。以下、色面積、位置補正等の設定をすることができる。

図６（ｃ）の「進む」と表示された「画面遷移」ボタン６８が選択された場合、図６（ｆ）に示す出力割当画面が表示される。出力割当画面では、検査の結果として画面に表示される出力線が何を意味するのか設定することができる。「完了」ボタン６９が選択された場合、図５（ｂ）に示す「設定モード」の画面表示に戻る。このように、ユーザは、図４に示す表示装置２のタッチパネル２１上で、「進む」と表示された「画面遷移」ボタン６３、６５、６８を順に選択することで、簡単かつ短時間に、検査に用いる各種パラメータを設定することができる。また、画像処理センサに慣れていないユーザであっても、表示装置２上で次の操作へ誘導されるので、各種パラメータを容易に設定することができる。

図７は、本発明の実施の形態に係る画像処理センサの撮像装置１の機能ブロック図である。まず図７（ａ）において、カラー画像取得部７０１は、カメラモジュール１４のＣＭＯＳ基板１４２で撮像されたカラー画像の画素値（色成分値）を取得する。また、撮像された画像は表示装置２に表示される。

指定受付部７０２は、表示装置２に表示された画像から色抽出の対象となる画素の指定を受け付ける。抽出範囲設定部７０３は、指定を受け付けた画素の色情報に基づいて、該画素と同一の色とみなされる範囲を色の抽出範囲として設定する。

ここで、本実施の形態に係る画像処理センサの撮像装置１は、図７（ｂ）に示すように、指定受付部７０２を通じてユーザから画素の指定を受け付けたか、又は拡張指示受付部７０４を通じてユーザから拡張指示を受け付けたかを判定する受付判定部７０７を設けても良い。受付判定部７０７の判定結果に基づいて、抽出範囲拡張部７０５は色抽出範囲を拡張する。

具体的には、指定受付部７０２を通じてユーザから画素の指定を受け付けた場合には、指定を受け付けた画素の色情報に基づいて、該画素と同一の色とみなされる範囲を色の抽出範囲として設定する。また、拡張指示受付部７０４を通じてユーザから拡張指示を受け付けた場合、既に抽出してある色抽出画素の周囲の画素の色情報を色の抽出範囲に含むように、色の抽出範囲を拡張する。このように、本実施の形態に係る画像処理センサの撮像装置１によれば、ユーザは画素の指定と拡張指示との両方を行うことができ、例えば簡単に色の抽出範囲を広げたい場合には拡張指示を行い、具体的に所定の画素を色の抽出範囲に含むようにしたい場合には画素の指定を行う等、ユーザの要求に柔軟に応えることが可能となる。

図８は、本発明の実施の形態に係る画像処理センサの色抽出範囲調整画面の例示図である。図８（ａ）は、撮像された画像を表示した画面の例示図であり、図８（ｂ）は、色抽出の対象となる画素の指定を受け付けた画面の例示図である。なお、図８に示す画面は、図６（ｄ）に示すツール選択の画面において、「面積」ボタンをクリックした場合に表示される。すなわち、上述した設定モードにおいて、マスタ画像に色面積ツールを追加設定する場合の例を示している。

図８（ａ）に示すように、撮像された画像が主画像表示領域８１に表示され、色抽出対象を示す色抽出枠８２が、画像に重畳して表示されている。色抽出の対象となる画素の指定を受け付けていない時点では、抽出範囲の拡張指示を受け付ける拡張指示ボタン８３は非活動状態（有効化されていない状態）となっている。

色抽出の対象となる画素の指定は、表示されている画像上で受け付ける。図８（ｂ）に示すように、タッチパネル２１上でタッチペン又は指により指定点８４に接触することにより、色抽出の対象となる画素の指定を受け付ける。色抽出の対象となる画素の指定を受け付けた時点で、抽出範囲の拡張指示を受け付ける拡張指示ボタン８３が活動状態（有効化された状態）となる。これにより、未だ色の抽出範囲が設定されていない状態、すなわち後述する色抽出画素が全く設定されていない状態で、ユーザが拡張指示を行うという誤操作を未然に回避することが可能となる。

図８（ｂ）では、色抽出の対象となる画素の指定を受け付けた時点で、指定を受け付けた画素の色情報（Ｒ値、Ｇ値、Ｂ値等）に基づいて色の抽出範囲を設定し、設定した色の抽出範囲に含まれる画素を抽出して表示態様を変更する。例えば表示色を変更することで、どの画素が抽出範囲内に含まれるのか視認することができる。図８では、図８（ａ）と比べて図８（ｂ）では、指定を受け付けた画素を含めて、２個の円の色が変色している（白っぽく表示されている）ことが明らかである。変色している画素が色の抽出範囲を示している。

図７に戻って、拡張指示受付部７０４は、色の抽出範囲の拡張指示を受け付ける。具体的には、図８（ｂ）の拡張指示ボタン８３の「＋」ボタン又は「−」ボタンにタッチペン又は指で接触することにより拡張指示又は縮小指示を受け付ける。「＋」ボタンに接触し場合には拡張指示を、「−」ボタンに接触した場合には縮小指示を、それぞれ受け付けたものと判断する。

図８（ｂ）に示す「−」ボタンは、色の抽出範囲の縮小指示を受け付けるための縮小指示受付手段として機能する。すなわち、抽出範囲拡張部７０５は、「−」ボタンを通じて縮小指示を受け付けた場合、拡張指示受付部７０４による色の抽出範囲の拡張を全部又は一部取り消し、色抽出範囲を縮小する抽出範囲縮小手段として機能する。ここで、「一部取り消し」とは、色抽出範囲のうち、前回の拡張指示によって拡張された部分のみを取り消すことを意味する。

これにより、ユーザは意図しない拡張指示を誤って行った場合であっても、拡張する前の状態に容易に戻すことができ、設定作業におけるユーザビリティを高めることができる。また、色抽出範囲のうち、前回の拡張指示によって拡張された部分よりも狭い部分を取り消すようにしても良い。例えば、前回の拡張指示によって拡張された部分の半分を取り消すようにしても良い（後述する色空間において拡張された部分の体積が半分になるようにしても良い）。これにより、ユーザは、拡張指示によって効率的に色の抽出範囲を拡張するとともに、縮小指示によって色の抽出範囲を微調整することが可能となる。

図９は、本発明の実施の形態に係る画像処理センサの色抽出範囲調整画面の色抽出枠８２の変化を示す模式図である。図９（ａ）は、色抽出範囲設定開始時の撮像された画像の例示図であり、図９（ｂ）及び図９（ｄ）は、従来の色抽出範囲の設定方法を、図９（ｃ）及び図９（ｅ）は、本実施の形態に係る画像処理センサの色抽出範囲の設定方法を、それぞれ示している。なお、図９（ｆ）及び図９（ｇ）は、色抽出範囲調整後の撮像された画像の例示図である。

図９では、左列が黄色（Ｙ）、中央列が緑色（Ｇ）、右列が青色（Ｂ）を、それぞれ示しており、水平に載置された検査対象物の手前上方に撮像装置１を配置した場合を想定しているので、撮像した画像上で上方部分が暗くなり、奥部分が明るくなっている。

例えば緑色（Ｇ）を色抽出する場合、色抽出したい緑色（Ｇ）の円にタッチペン又は指で接触する。図９（ａ）は一番上の緑色（Ｇ）の円に接触した後の画像を示しており、図９（ａ）の例では、色ムラが存在しているので一番上の緑色（Ｇ）の円内のみ、しかもその一部が分割されて抽出されている。

次に、従来の方法では、色ムラの存在により生じる非抽出（色抽出されていない）部分、例えば図９（ａ）の例では、分割された色抽出部分の中間部分（虫食い部分に相当）を探し、図９（ｂ）に示すように、見つけた中間部分（虫食い部分）にタッチペン又は指で接触する。一方、本実施の形態に係る画像処理センサでは、図９（ｃ）に示すように、拡張指示ボタン８３の「＋」ボタンにタッチペン又は指で接触するだけで足りる。

図９（ｂ）において虫食い部分にタッチペン又は指で接触した場合、図９（ｄ）に示すように緑色（Ｇ）の色抽出画素が増え、今度は別の虫食い部分に接触する必要がある。一方、図９（ｃ）において拡張指示ボタン８３の「＋」ボタンにタッチペン又は指で接触した場合、図９（ｅ）に示すように緑色（Ｇ）の色抽出画素が増え、今度も再び拡張指示ボタン８３の「＋」ボタンに接触すれば良い。その後、図９（ｆ）及び図９（ｇ）に示すように、結果としていずれの方法でも緑色（Ｇ）が色抽出されるが、従来の方法では、非抽出部分を常に確認しながら、非抽出部分を選んでタッチペン又は指で接触する必要が生じ、煩雑な作業となる。それに対して本実施の形態では、拡張指示ボタン８３の「＋」ボタンにタッチペン又は指で接触するだけで足りるので、特に非抽出部分がどこであるのか意識する必要がなく、容易に所望の色を抽出することが可能となる。ユーザによって所望の色の抽出が完了した場合、抽出結果は、マスタ画像の色抽出情報として登録される。より具体的には、色抽出画素のピクセル数をカウントして、色抽出画素のピクセル総数をマスタ画像の色面積として記憶しておく。色面積検査における検査画像のピクセル数が、記憶されたピクセル総数と一致する場合に一致度１００％となる。

また、所望の色を抽出した色抽出範囲も併せて記憶しておく。設定モードから運転モードに切り替わった後、検査画像に対して色面積の検査を行う。具体的には、記憶された色抽出範囲を用いて、検査画像の色面積を計算し、記憶しておいたピクセル総数と比較することで一致度（％）を算出し、一致度に関して予め定められた閾値（％）より大きいか否かに基づいて良否判定を行う。このように、図９に示す手順で調整された色抽出枠内の色面積は、検査画像の良否判定を行う場合の基準値として用いられる。

抽出範囲拡張部７０５は、拡張指示受付部７０４を通してユーザから拡張指示を受け付けた場合、既に抽出してある色抽出画素の周囲の画素の色情報を色の抽出範囲に含むように、色の抽出範囲を拡張する。すなわち、色抽出画素の色情報だけでなく、その周囲の画素の色情報が含まれるよう色の抽出範囲を拡張する点に特徴を有する。

図１０は、本発明の実施の形態に係る画像処理センサの、色の抽出範囲の拡張方法の概念を示す模式図である。図１０に示すように、画素９０の指定により、ハッチング部分が色の抽出範囲９１として設定されている。ここで、拡張指示を受け付けた場合、色の抽出範囲９１の周囲の画素群９２が色の抽出範囲を拡張する範囲の候補として選択され、色の抽出範囲９１に含まれる画素（色抽出画素）との色差が所定範囲内であれば、その画素の色情報（例えば、Ｈ値、Ｓ値、Ｖ値）を含むよう、色の抽出範囲９１を拡張する。本実施の形態では、既に抽出してある画素（色抽出画素）９０の周囲１画素の色情報を含むよう、色の抽出範囲を拡張している。これにより、色差が所定範囲内にあるか否かの判断を行う処理負荷を軽減する（処理時間の短縮）。また、周囲１画素に限定することで、余計なノイズを拾うことが少なくなり、ノイズ耐性を高めることができる。

図１１は、本発明の実施の形態に係る画像処理センサの色抽出範囲を拡張した画面の例示図である。図１１に示すように、拡張指示は拡張指示ボタン８３の「＋」ボタンにより受け付ける。拡張指示ボタン８３の「＋」ボタンに接触した場合、図８（ｂ）よりも、変色している円が増えていることが確認できる。したがって、抽出範囲が拡張されていることがわかる。

ここで、図１１に示すように、本実施の形態では、同一画面上に、ユーザが拡張指示可能な領域として拡張指示ボタン８３を表示させるとともに、ユーザが画素指定可能な領域として主画像表示領域８１を表示させている。換言すれば、表示装置２の一画面上に、ユーザから色の抽出範囲の拡張指示を受け付けるための第１の表示領域（拡張指示ボタン８３を含む領域）と、ユーザから色抽出の対象となる画素の指定を受け付けるための第２の表示領域（主画像表示領域８１）とを含んでいる。

これにより、ユーザは、画面を視認しながら画素指定及び拡張指示のうち最適な方を選択することができ、ひいては色の抽出範囲の設定作業を効率的に行うことができる。つまり、既に抽出してある色抽出画素が少ない場合には、拡張指示を繰り返し行い、色抽出画素を効率的に増やすことができる。また、画面を確認して、色抽出の対象にするべき画素が色抽出画素になっていない場合、主画像表示領域８１においてその画素を直接指定して、色抽出画素に変更することができる。

図７（ａ）に戻って、色の抽出範囲に含まれる画素（色抽出画素）との色差が所定範囲内である画素が、色抽出画素の周囲に存在するか否かを判断する判断部７０６を備え、判断部７０６が、所定範囲内である画素が存在すると判断した場合、抽出範囲拡張部７０５は、該画素の色情報を含むよう、色の抽出範囲を拡張することが好ましい。

また、判断部７０６が、所定範囲内である画素が存在しないと判断した場合には、抽出範囲拡張部７０５は、色の抽出範囲に含まれる画素の数が増加するよう、色の抽出範囲を拡張する。これにより、色の抽出範囲の拡張指示に対して、色差が所定範囲内である画素が存在する場合には、その画素の色情報を含むように色の抽出範囲を拡張するので、従来のようにユーザが抽出したい色以外の色まで色の抽出範囲に含まれることを防止することができる。ちなみに、色差が所定範囲内である画素が存在しない場合には、従来と同様、色の抽出範囲を一定範囲拡張するようにしても良い。これにより、ユーザが拡張指示ボタン８３の「＋」ボタンに接触したにもかかわらず反応がないという事態を避けることができる。

なお、色差が所定範囲内であるとは、色空間上の距離が所定値以下であることを意味している。図１２は、判断部７０６での色差判断を説明するための色空間モデルの例示図である。本実施の形態では、図１２に示すように、色を表す画素値であるＲ値、Ｇ値、Ｂ値を、色相を示すＨ値、鮮やかさを示すＳ値、明るさを示すＶ値に変換した円筒状のＨＳＶ空間を色空間モデルとして使用している。そして、設定した色の抽出範囲を、色空間上に抽出範囲１１１として表すことができる。

色差は、図１２に示す色空間上での距離を意味しており、例えば任意の画素の画素値１１２は、Ｈ値、Ｓ値は抽出範囲１１１内であるが、Ｖ値は抽出範囲１１１に含まれず、色空間上の距離ΔＶの色差を有していることになる。

したがって、色差が所定範囲内であるとは、任意の画素の画素値１１２と抽出範囲１１１との間の色空間上の距離ΔＶが所定値以下であることを意味する。もちろん、所定範囲（所定値）は、Ｈ値、Ｓ値、Ｖ値の総和で設定しても良いし、差の二乗の総和で設定しても良い。また、上述した色空間上の距離ΔＶは、ΔＨやΔＳに置き換えても良い。さらに、ΔＶ、ΔＨ、ΔＳの組み合わせを用いても良い。ΔＶ、ΔＨ、ΔＳの組み合わせを用いる場合、それぞれで所定値を変えても良い。例えば、ΔＶは所定値Ｘ_１以下、ΔＨは所定値Ｘ_２以下、ΔＳは所定値Ｘ_３以下である場合に色差が所定範囲内であるとしても良い。このように、任意の画素の画素値１１２が抽出範囲１１１を外れている場合であっても、色差が所定範囲内であれば、抽出範囲１１１を抽出範囲１１３まで拡張することができる。

図１３は、本発明の実施の形態に係る画像処理センサの撮像装置１のメイン基板１３のＤＳＰ１３２の、色の抽出範囲の調整処理手順を示すフローチャートである。撮像装置１のメイン基板１３のＤＳＰ１３２は、カメラモジュール１４のＣＭＯＳ基板１４２で撮像されたカラー画像の画素値（色成分値）を取得する（ステップＳ１３０１）。

ＤＳＰ１３２は、表示装置２に表示された画像から色抽出の対象となる画素の指定を受け付け（ステップＳ１３０２）、指定を受け付けた画素の色情報に基づいて、該画素と同一の色とみなされる範囲、すなわち周囲に存在する画素のうち、色差が事前に設定されている所定範囲内である画素を抽出することにより、色の抽出範囲を設定する（ステップＳ１３０３）。

本実施の形態では、以下のような処理手順で色の抽出範囲を設定している。図１４は、本発明の実施の形態に係る画像処理センサの撮像装置１のメイン基板１３のＤＳＰ１３２の、色の抽出範囲の設定処理の手順を示すフローチャートである。撮像装置１のメイン基板１３のＤＳＰ１３２は、表示装置２に表示された画像から色抽出の対象となる画素の指定を受け付けた場合（ステップＳ１３０２）、指定を受け付けた画素の上下左右４画素を含めた範囲を色の抽出範囲として設定し（ステップＳ１４０１）、設定した色の抽出範囲に基づいて二値化画像を作成する（ステップＳ１４０２）。

ＤＳＰ１３２は、作成した二値化画像を拡張又は縮小し（ステップＳ１４０３）、設定した色の抽出範囲に隣接する画素との色差をそれぞれについて算出して（ステップＳ１４０４）、色差が所定範囲内であるか否かを判断する（ステップＳ１４０５）。ＤＳＰ１３２が、色差が所定範囲内であると判断した場合（ステップＳ１４０５：ＹＥＳ）、ＤＳＰ１３２は、色差が所定範囲内である画素を色の抽出範囲に含める（ステップＳ１４０６）。ＤＳＰ１３２が、色差が所定範囲外であると判断した場合（ステップＳ１４０５：ＮＯ）、ＤＳＰ１３２は、ステップＳ１４０６をスキップする。なお、ステップＳ１４０３において、拡張指示ボタン８３の「−」ボタンが接触された場合には、虫食い部分を埋めた上で縮小処理をするために二値化画像を拡張し、拡張指示ボタン８３の「＋」ボタンが接触された場合には、孤立点が増えないような拡張処理をするために二値化画像を縮小しても良い。

ＤＳＰ１３２は、色の抽出範囲が所定の終了条件内であるか否かを判断する（ステップＳ１４０７）。所定の終了条件とは、例えばＨ値、Ｓ値、Ｖ値それぞれの境界条件である。色の抽出範囲を極端に拡張することは好ましくないからである。具体的な境界条件としては、例えば色の抽出範囲の拡張処理で、Ｈ値を２０度を超えては拡張しない等の条件が考えられる。

ＤＳＰ１３２が、色の抽出範囲が所定の終了条件内であると判断した場合（ステップＳ１４０７：ＹＥＳ）、ＤＳＰ１３２は、ステップＳ１３０４へ処理を進める。ＤＳＰ１３２が、色の抽出範囲が所定の終了条件外であると判断した場合（ステップＳ１４０７：ＮＯ）、ＤＳＰ１３２は、色の抽出範囲に含まれる画素数の変動量が所定値を超えているか否かを判断する（ステップＳ１４０８）。

ＤＳＰ１３２が、色の抽出範囲に含まれる画素数の変動量が所定値を超えていると判断した場合（ステップＳ１４０８：ＹＥＳ）、ＤＳＰ１３２は、ステップＳ１３０４へ処理を進める。ＤＳＰ１３２が、色の抽出範囲に含まれる画素数の変動量が所定値を超えていないと判断した場合（ステップＳ１４０８：ＮＯ）、ＤＳＰ１３２は、処理をステップＳ１４０２へ戻して、上述した処理を繰り返す。

図１３に戻って、撮像装置１のメイン基板１３のＤＳＰ１３２は、設定した色の抽出範囲が、所望の範囲である旨の指示を受け付けたか否かを判断する（ステップＳ１３０４）。ＤＳＰ１３２が、設定した色の抽出範囲が、所望の範囲である旨の指示を受け付けたと判断した場合（ステップＳ１３０４：ＹＥＳ）、ＤＳＰ１３２は、処理を終了する。

ＤＳＰ１３２が、設定した色の抽出範囲が、所望の範囲ではない旨の指示を受け付けたと判断した場合（ステップＳ１３０４：ＮＯ）、ＤＳＰ１３２は、色抽出の対象となる他の画素の指定を受け付ける（ステップＳ１３０５）、又は色の抽出範囲の拡張指示又は縮小指示を受け付ける（ステップＳ１３０７）。ここでは、上述した受付判定部７０７が、ユーザから画素の指定を受け付けたか（ステップＳ１３０５）、ユーザから拡張指示又は縮小指示を受け付けたか（ステップＳ１３０７）を判定する。そして、判定結果に基づいて、ステップＳ１３０６の処理が行われるか、ステップＳ１３０８の処理が行われるかが決定される。色抽出の対象となる他の画素の指定を受け付けた場合（ステップＳ１３０５）、ＤＳＰ１３２は、指定を受け付けた他の画素の色情報に基づいて、該画素と同一の色とみなされる範囲、すなわち周囲に存在する画素のうち、色差が事前に設定されている所定範囲内である画素を抽出することにより、色の抽出範囲を再設定する（ステップＳ１３０６）。なお、ステップＳ１３０６において、例えば図１４に示すステップＳ１４０１の処理を行っても良い。

色の抽出範囲の拡張指示又は縮小指示を受け付けた場合（ステップＳ１３０７）、ＤＳＰ１３２は、拡張指示又は縮小指示に従って、既に設定されている色抽出画素の周囲の画素のうち、色の抽出範囲内に含まれる画素との色差が所定範囲内である画素を含むように抽出範囲を拡張又は既に設定されている色の抽出範囲の境界値付近（例えば最も外側）の画素を排除して色の抽出範囲を縮小して、色の抽出範囲を再設定する（ステップＳ１３０８）。なお、ステップＳ１３０８において、例えば図１４に示すステップＳ１４０２〜ステップＳ１４０８の処理を行っても良い。

ＤＳＰ１３２は、設定した色の抽出範囲が、所望の範囲である旨の指示を受け付けたか否かを判断する（ステップＳ１３０９）。ＤＳＰ１３２が、設定した色の抽出範囲が、所望の範囲である旨の指示を受け付けたと判断した場合（ステップＳ１３０９：ＹＥＳ）、ＤＳＰ１３２は、処理を終了する。ＤＳＰ１３２が、設定した色の抽出範囲が、所望の範囲ではない旨の指示を受け付けたと判断した場合（ステップＳ１３０９：ＮＯ）、ＤＳＰ１３２は、ステップＳ１３０５又はステップＳ１３０７へ戻り、上述した処理を繰り返す。

以上のように本実施の形態によれば、色抽出画素の色情報だけでなく、色抽出画素の周囲の画素の色情報を色の抽出範囲に含むよう、色の抽出範囲を拡張するので、色が抽出されない虫食い部分が減少し、抽出したい色が表示されている部分を指示すれば足りるので、ユーザは色の抽出範囲を簡易な作業で設定することが可能となる。

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えば撮像装置１と表示装置２とは、接続ケーブル３で直結されている形態に限定されるものではなく、ＬＡＮ、ＷＡＮ等のネットワーク網を介して接続されていても良いことは言うまでもない。また、本実施の形態では撮像装置１と表示装置２とは別体となっているが、両者が一体として構成された画像処理装置であっても良い。

また、拡張指示を受け付けた場合、色抽出画素の周囲１画素の色情報を色の抽出範囲に含むよう、色の抽出範囲を拡張することに限定されるものではなく、色抽出画素の周囲の複数画素の色情報を色の抽出範囲に含むよう、色の抽出範囲を拡張しても良い。図１５は、本発明の他の実施の形態に係る画像処理センサの、色の抽出範囲の拡張方法の概念を示す模式図である。

上述した実施の形態では、図１０に示すように、色抽出画素の周囲１画素の色情報を含むよう色の抽出範囲を拡張しているが、図１５では、色抽出画素の周囲２画素の色情報を含むよう色の抽出範囲を拡張している。もちろん周囲２画素ではなく、周囲３画素であっても良いし、周囲３画素以上であっても良い。

ここで、「周囲」とは、色抽出画素の周りを全て取り囲むものであっても良いし、色抽出画素の周りの一部を取り囲むものであっても良い。要するに、表示装置２に表示された画像上において、色抽出画素の画素周囲（画素近傍又は画素付近）に、色抽出画素との色差が所定範囲内である画素が存在する場合に、その画素の色情報が色の抽出範囲に含まれれば良い。

また、ユーザが「＋」ボタンを押して拡張指示を行ったときに拡張される範囲と、ユーザが「−」ボタンを押して縮小指示を行ったときに縮小される範囲との関係については、既に上述したとおりであるが（後者を狭くすることで、微調整が可能になる）、特にこの関係に限定されるものではない。例えば、「＋」ボタンを２回押した後の「−」ボタン操作は、１回の「＋」ボタン操作で拡張された範囲よりも狭い範囲で色の抽出範囲を縮小するようにしても良い。また、「＋」ボタンに複数回連続して接触した場合、色の抽出範囲の拡張度合いが小さくなるようにしても良い。

さらに、図１３のステップＳ１３０２において、一点目の画素を指定し、指定された画素と同一の色とみなされる範囲を色の抽出範囲として設定する方法については、周知の方法であれば特に限定されるものではない。例えば、１点目の画素の周囲ｎ（ｎは自然数）画素は無条件に含めるようにしても良いし、１点目の画素のＨＳＶ各値に対して±α（αは自然数）の画素を含めるようにしても良い。（αの値は、１点目の画素のＨＳＶ各値に応じて変えるようにしても良い）。

また、本実施の形態では、拡張指示受付手段の一例として「＋」ボタンを採用しているが、本発明は特にこれに限定されるものではなく、例えば所定のタッチペンジェスチャにより拡張指示を受け付けるようにしても良いし、ＰＬＣ等の外部機器から受信したトリガ信号によって拡張指示を受け付けても良い。さらに、指定した１点目の画素を長押しすることによって、又は色抽出画素を長押しすることによって、拡張指示を受け付けても良い。

１ 撮像装置（撮像手段）
２ 表示装置（表示手段）
３ 接続ケーブル
１３ メイン基板
１４ カメラモジュール
１５ 照明基板
２１ タッチパネル
１３２ ＤＳＰ
７０１ カラー画像取得部
７０２ 指定受付部
７０３ 抽出範囲設定部
７０４ 拡張指示受付部
７０５ 抽出範囲拡張部
７０６ 判断部
７０７ 受付判定部

Claims (24)

1. 検査対象物を撮像する撮像手段と、
   該撮像手段で撮像された画像を表示する表示手段と、
   該表示手段で表示された画像から色抽出の対象となる画素の指定を受け付ける指定受付手段と、
   指定を受け付けた画素の色情報に基づいて、該画素と同一の色とみなされる範囲を色の抽出範囲として設定する抽出範囲設定手段と
   を有し、表示された画像における任意の画素の色情報が、設定された色の抽出範囲に含まれる場合には、該画素の色情報が色の抽出範囲内にあることを示す色抽出画素として視認されるように色抽出結果を表示させる画像処理装置において、
   前記色の抽出範囲の拡張指示を受け付ける拡張指示受付手段と、
   該拡張指示受付手段で拡張指示を受け付けた場合、前記色抽出画素の周囲の画素の色情報を前記色の抽出範囲に含むよう、前記色の抽出範囲を拡張する抽出範囲拡張手段と
   を備えることを特徴とする画像処理装置。
2. 前記色抽出画素との色差が所定範囲内である画素が、前記色抽出画素の周囲に存在するか否かを判断する判断手段を備え、
   該判断手段が、前記色抽出画素との色差が所定範囲内である画素が、前記色抽出画素の周囲に存在すると判断した場合、前記抽出範囲拡張手段は、該画素の色情報を前記色の抽出範囲に含むよう、前記色の抽出範囲を拡張することを特徴とする請求項１に記載の画像処理装置。
3. 前記抽出範囲拡張手段は、前記指定受付手段で指定を受け付けた画素を含むよう、前記色の抽出範囲を拡張することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記判断手段が、前記色抽出画素との色差が所定範囲内である画素が、前記色抽出画素の周囲に存在しないと判断した場合、前記抽出範囲拡張手段は、前記色の抽出範囲に含まれる画素の数が増加するよう、前記色の抽出範囲を拡張することを特徴とする請求項２に記載の画像処理装置。
5. 前記色の抽出範囲の拡張指示を受け付けたか、又は色抽出の対象となる画素の指定を受け付けたかを判定する受付判定手段を備え、
   前記抽出範囲拡張手段は、前記受付判定手段の判定結果に基づいて、前記色抽出範囲を拡張することを特徴とする請求項２乃至４のいずれか一項に記載の画像処理装置。
6. 前記表示手段で表示されている画面は、前記色の抽出範囲の拡張指示を受け付けるための第１の表示領域と、色抽出の対象となる画素の指定を受け付けるための第２の表示領域とを含むことを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記抽出範囲拡張手段は、前記拡張指示受付手段で拡張指示を受け付けた場合、前記色抽出画素の周囲１画素の色情報を前記色の抽出範囲に含むよう、前記色の抽出範囲を拡張することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記色の抽出範囲の縮小指示を受け付ける縮小指示受付手段と、
   該縮小指示受付手段で縮小指示を受け付けた場合、前記抽出範囲拡張手段による前記色の抽出範囲の拡張を全部又は一部取り消して、前記色抽出範囲を縮小する抽出範囲縮小手段と
   を備えることを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 検査対象物を撮像する撮像手段と、
   該撮像手段で撮像された画像を表示する表示手段と
   を備え、
   該表示手段で表示された画像から色抽出の対象となる画素の指定を受け付け、
   指定を受け付けた画素の色情報に基づいて、該画素と同一の色とみなされる範囲を色の抽出範囲として設定し、
   表示された画像における任意の画素の色情報が、設定された色の抽出範囲に含まれる場合には、該画素の色情報が色の抽出範囲内にあることを示す色抽出画素として視認されるように色抽出結果を表示させる画像処理装置で実行することが可能な画像処理方法において、
   前記画像処理装置は、
   前記色の抽出範囲の拡張指示を受け付けるステップと、
   該拡張指示受付手段で拡張指示を受け付けた場合、前記色抽出画素の周囲の画素の色情報を前記色の抽出範囲に含むよう、前記色の抽出範囲を拡張するステップと
   を含むことを特徴とする画像処理方法。
10. 前記画像処理装置は、
    前記色抽出画素との色差が所定範囲内である画素が、前記色抽出画素の周囲に存在するか否かを判断するステップを含み、
    前記色抽出画素との色差が所定範囲内である画素が、前記色抽出画素の周囲に存在すると判断した場合、該画素の色情報を前記色の抽出範囲に含むよう、前記色の抽出範囲を拡張することを特徴とする請求項９に記載の画像処理方法。
11. 指定を受け付けた画素を含むよう、前記色の抽出範囲を拡張することを特徴とする請求項９又は１０に記載の画像処理方法。
12. 前記色抽出画素との色差が所定範囲内である画素が、前記色抽出画素の周囲に存在しないと判断した場合、前記色の抽出範囲に含まれる画素の数が増加するよう、前記色の抽出範囲を拡張することを特徴とする請求項１０に記載の画像処理方法。
13. 前記色の抽出範囲の拡張指示を受け付けたか、又は色抽出の対象となる画素の指定を受け付けたかを判定するステップを含み、
    判定結果に基づいて、前記色抽出範囲を拡張することを特徴とする請求項１０乃至１２のいずれか一項に記載の画像処理方法。
14. 表示されている画面は、前記色の抽出範囲の拡張指示を受け付けるための第１の表示領域と、色抽出の対象となる画素の指定を受け付けるための第２の表示領域とを含むことを特徴とする請求項９乃至１３のいずれか一項に記載の画像処理方法。
15. 拡張指示を受け付けた場合、前記色抽出画素の周囲１画素の色情報を前記色の抽出範囲に含むよう、前記色の抽出範囲を拡張することを特徴とする請求項９乃至１４のいずれか一項に記載の画像処理方法。
16. 前記色の抽出範囲の縮小指示を受け付けるステップと、
    縮小指示を受け付けた場合、前記色の抽出範囲の拡張を全部又は一部取り消して、前記色抽出範囲を縮小するステップと
    を含むことを特徴とする請求項９乃至１５のいずれか一項に記載の画像処理方法。
17. 検査対象物を撮像する撮像手段と、
    該撮像手段で撮像された画像を表示する表示手段と、
    該表示手段で表示された画像から色抽出の対象となる画素の指定を受け付ける指定受付手段と、
    指定を受け付けた画素の色情報に基づいて、該画素と同一の色とみなされる範囲を色の抽出範囲として設定する抽出範囲設定手段と
    を有し、表示された画像における任意の画素の色情報が、設定された色の抽出範囲に含まれる場合には、該画素の色情報が色の抽出範囲内にあることを示す色抽出画素として視認されるように色抽出結果を表示させる画像処理装置で実行することが可能なコンピュータプログラムにおいて、
    前記画像処理装置を、
    前記色の抽出範囲の拡張指示を受け付ける拡張指示受付手段、及び
    該拡張指示受付手段で拡張指示を受け付けた場合、前記色抽出画素の周囲の画素の色情報を前記色の抽出範囲に含むよう、前記色の抽出範囲を拡張する抽出範囲拡張手段
    として機能させることを特徴とするコンピュータプログラム。
18. 前記画像処理装置を、
    前記色抽出画素との色差が所定範囲内である画素が、前記色抽出画素の周囲に存在するか否かを判断する判断手段として機能させ、
    該判断手段が、前記色抽出画素との色差が所定範囲内である画素が、前記色抽出画素の周囲に存在すると判断した場合、前記抽出範囲拡張手段を、該画素の色情報を前記色の抽出範囲に含むよう、前記色の抽出範囲を拡張する手段として機能させることを特徴とする請求項１７に記載のコンピュータプログラム。
19. 前記抽出範囲拡張手段を、前記指定受付手段で指定を受け付けた画素を含むよう、前記色の抽出範囲を拡張する手段として機能させることを特徴とする請求項１７又は１８に記載のコンピュータプログラム。
20. 前記判断手段が、前記色抽出画素との色差が所定範囲内である画素が、前記色抽出画素の周囲に存在しないと判断した場合、前記抽出範囲拡張手段を、前記色の抽出範囲に含まれる画素の数が増加するよう、前記色の抽出範囲を拡張する手段として機能させることを特徴とする請求項１８に記載のコンピュータプログラム。
21. 前記画像処理装置を
    前記色の抽出範囲の拡張指示を受け付けたか、又は色抽出の対象となる画素の指定を受け付けたかを判定する受付判定手段として機能させ、
    前記抽出範囲拡張手段を、前記受付判定手段の判定結果に基づいて、前記色抽出範囲を拡張する手段として機能させることを特徴とする請求項１８乃至２０のいずれか一項に記載のコンピュータプログラム。
22. 前記画像処理装置を、
    前記表示手段で表示される画面に、前記色の抽出範囲の拡張指示を受け付けるための第１の表示領域と、色抽出の対象となる画素の指定を受け付けるための第２の表示領域とを設ける手段として機能させることを特徴とする請求項１７乃至２１のいずれか一項に記載のコンピュータプログラム。
23. 前記拡張指示受付手段で拡張指示を受け付けた場合、前記抽出範囲拡張手段を、前記色抽出画素の周囲１画素の色情報を前記色の抽出範囲に含むよう、前記色の抽出範囲を拡張する手段として機能させることを特徴とする請求項１７乃至２２のいずれか一項に記載のコンピュータプログラム。
24. 前記画像処理装置を、
    前記色の抽出範囲の縮小指示を受け付ける縮小指示受付手段、及び
    該縮小指示受付手段で縮小指示を受け付けた場合、前記抽出範囲拡張手段による前記色の抽出範囲の拡張を全部又は一部取り消して、前記色抽出範囲を縮小する抽出範囲縮小手段
    として機能させることを特徴とする請求項１７乃至２３のいずれか一項に記載のコンピュータプログラム。