JP2019120643A - 画像処理システム - Google Patents

Abstract

【課題】適用可能な設備の選定に制約を受けることを極力回避する画像処理システムを提供することを目的とする。【解決手段】ワークを撮像するカメラと、カメラとワークとの間に設けられた透光性を有する照明装置と、カメラおよび照明装置を制御する制御装置とを備える画像処理システムである。照明装置は、制御装置からの指示に従って照射パターンを変更することができる。制御装置は、各照射パターンの下で撮像されるようにカメラを制御する。【選択図】図１

Description

本発明は、画像処理システムに関する。

ＦＡ（Factory Automation）分野などにおいては、対象物（以下、「ワーク」とも称す。）を照明装置からの光による照明下で撮像し、生成された画像データからワークに関する情報を取得する画像処理技術が利用されている。

たとえば、特開２００７−２０６７９７号公報（特許文献１）は、対象物に対する光軸が斜め下方に向くように複数の光源を取り付け、各光源で対象物を照明する度に、対象物の真上に配置されたカメラによって対象物を撮影し、得られた複数枚の撮影画像を用いて対象物の外観を検査する画像処理装置を開示する。

特開２００７−２０６７９７号公報

上述した従来の装置では、カメラを対象物の真上に配置する一方で、カメラの周辺において、対象物に対する光軸の角度を異ならせるように複数の光源を互いに異なる位置に配置する必要があり、装置全体として大型にならざるを得ない。このため、装置を適用可能な設備の選定に制約を受ける虞があった。

本発明は、適用可能な設備の選定に制約を受けることを極力回避する画像処理システムを提供することを目的とする。

本開示の一例によれば、対象物を撮像して得られる画像データを用いて当該対象物を画像計測する画像処理システムが提供される。画像処理システムは、対象物を撮像する撮像部と、撮像部から対象物までの間に配置されるとともに、撮像部から対象物に向かう光軸とは異なる向きに広がりをもつ発光面を有する、透光性の発光部と、撮像部および発光部を制御する制御部とを含む。制御部は、発光部から対象物に対して第１の照射パターンの光を照射させるとともに、撮像部に対象物を撮像させて第１の画像データを取得し、発光部から対象物に対して第１の照射パターンとは異なる第２の照射パターンの光を照射させるとともに、撮像部に対象物を撮像させて第２の画像データを取得する。

この開示によれば、撮像部から対象物までの間に発光部が配置されていることにより、撮像部から対象物までの間に発光部が配置されていない場合に比べて、全体的にコンパクトな画像処理システムを提供することができる。その結果、適用可能な設備の選定に制約を受けることを極力回避することができる。

上述の開示において、制御部は、第１の画像データおよび第２の画像データを少なくとも含む複数の画像データを用いて、対象物についての画像計測処理を実行してもよい。第１の画像データは、撮像部の撮像視野内の第１の注目位置に対応付けられていてもよい。第２の画像データは、撮像視野内の第２の注目位置に対応付けられていてもよい。第１の照射パターンは、第１の注目位置に応じて決定されてもよい。第２の照射パターンは、第２の注目位置に応じて決定されてもよい。

この開示によれば、撮像視野内の注目位置ごとに照射パターンが決定されるため、注目位置に応じた照明環境を提供することができる。その結果、画像計測の精度を高めることができる。

上述の開示において、発光部から第１の注目位置へ照射される光の入射方向が、発光部から第２の注目位置へ照射される光の入射方向と実質的に同一となるように、第１の照射パターンおよび第２の照射パターンが決定されてもよい。

この開示によれば、撮像視野内の各注目位置に入射される光の入射方向が、注目位置ごとに実質的に同一となるため、各注目位置における照明環境を実質的に同じにすることができる。

上述の開示において、制御部は、発光部から対象物に対して照射する光の照射パターンを順次変更するとともに、当該照射パターンの順次変更に対応して、撮像部に対象物を順次撮像させてもよい。

この開示によれば、異なる照射パターンの下で撮像された画像データを順次取得することができ、順次取得された複数の画像データに基づいて画像計測を実行することができる。

上述の開示において、撮像部は、撮像視野内に含まれる光を画像信号に変換する複数の受光素子のうち一部の受光素子から当該画像信号を読み出す読出回路を含んでもよい。制御部は、発光部から第１の照射パターンの光を照射させた状態で撮像部に含まれる複数の受光素子のうち第１の注目位置に対応する第１の受光素子を少なくとも露光させ、続いて、複数の受光素子のうち少なくとも第１の受光素子から画像信号を読み出してもよい。また、制御部は、発光部から第２の照射パターンの光を照射させた状態で複数の受光素子のうち第２の注目位置に対応する第２の受光素子を少なくとも露光させ、続いて、複数の受光素子のうち少なくとも第２の受光素子から画像信号を読み出してもよい。

この開示によれば、照射された注目位置に対応する受光素子から画像信号を読み出すことができるため、全ての受光素子から画像信号を読み出す場合に比べて、画像信号の読み出しに要する時間を短縮することができる。

上述の開示において、第１の受光素子の信号を読み出す処理の少なくとも一部と、発光部から第２の照射パターンの光を照射させた状態で第２の受光素子を露光させる処理の少なくとも一部とは、同時に実行されてもよい。

この開示によれば、信号を読み出す処理の一部と、受光素子を露光させる処理の一部とを同時に実行することができるため、画像処理に利用する画像データを得るために必要な時間を短縮することができる。

上述の開示において、第１の画像データは、第１の注目位置に対応する１の画素と当該画素に隣接する１または複数の画素とを含んでもよい。第２の画像データは、第２の注目位置に対応する１の画素と当該画素に隣接する１または複数の画素とを含んでもよい。

この開示によれば、撮像視野全体の画像を取得するために必要な撮像回数を減らすことができる。

上述の開示において、第１の画像データに含まれる複数の画素と、第２の画像データに含まれる複数の画素とのうち、少なくとも一部の画素が共通していてもよい。制御部は、第１の画像データと第２の画像データとに基づいて、共通する画素に対応する撮像部の位置における画像計測結果を出力してもよい。

この開示によれば、制御部は、第１の画像データと第２の画像データとに基づいて、共通する画素に対応する撮像部の位置における画像計測結果を出力するため、第１の注目位置と第２の注目位置との間に位置する領域に対する画像計測の精度を上げることができる。

上述の開示において、各注目位置に対応する照射パターンを照射する場合、制御部は、発光部の発光面の当該注目位置に対応する基準位置からの距離に応じて、照射する光の色を異ならせてもよい。

この開示によれば、注目位置を含む対象物の表面の三次元形状を、照射した光の波長に応じた色相情報として検出することができる。

上述の開示において、照射パターンを含む照明条件は、対象物の種別に応じて決定されてもよい。画像処理システムは、対象物の種別ごとに設定された照明条件を複数記憶する記憶部と、対象物の種別に関する情報の入力に応じて、当該対象物の種別に対応する照明条件を設定する設定部とをさらに含んでもよい。

この開示によれば、対象物の種別に関わらず用いることが可能な汎用性の高い画像処理システムを提供できる。

適用可能な設備の選定に制約を受けることを極力回避することができる画像処理システムを提供することができる。

本実施の形態に係る画像処理システムの適用場面を模式的に示す図である。 本実施の形態に係る画像処理システムが適用される生産ラインの一例を示す模式図である。 制御装置のハードウェア構成について示す模式図である。 本実施の形態に係る照明装置の一部拡大した模式図である。 照明装置によって形成される照射パターンの一例を説明するための図である。 検査画像データの生成方法の一例を説明するための図である。 ＣＭＯＳイメージセンサを示す模式図である。 フォトダイオードから画像信号を読み出すタイミングを示すタイミングチャートである。 注目位置ごとの照射パターンの決定方法を説明するための模式図である。 制御装置の機能構成の一例を示す図である。 キャリブレーション結果の一例を説明するための図である。 照射パターンの補正について説明するための図である。 照射パターンの他の補正方法について説明するための図である。 基準照射パターンの第１変形例を示す図である。 第１変形例の基準照射パターンを補正した照射パターンを示す図である。 基準照射パターンの第２変形例を示す図である。 変形例における画像処理システムの一例を示す模式図である。

§１ 適用例
まず、図１を参照して、本発明が適用される場面の一例について説明する。図１は、本実施の形態に係る画像処理システム１の適用場面を模式的に示す図である。

画像処理システム１は、対象物であるワークＷを撮像して得られる画像データを用いてワークＷを画像計測する。画像処理システム１は、撮像部の一例であるカメラ８と、発光部の一例である照明装置４と、カメラ８と照明装置４とを制御する制御部の一例である制御装置１００とを備える。

照明装置４は、カメラ８とワークＷとの間に配置されており、カメラ８からワークＷに向かう光軸ｌとは異なる向きに広がりをもつ発光面４０を有する。発光面４０からワークＷに対して光が照射される。また、照明装置４は透光性を有している。照明装置４は、カメラ８が照明装置４を通してワークＷを撮像することが出来る程度の透光性を有していればよい。照明装置４は、たとえば、有機エレクトロルミネッセンス（以下、有機ＥＬと呼ぶ。）照明、ＬＥＤ照明など、既知の照明を用いることができる。

照射パターンとは、照明装置４からワークＷに照射される光の濃淡パターンであって、本実施の形態においては、発光面４０の発光強度の分布のパターンをいう。なお、「発光強度」は、光を発する程度や光の強さを一例とし、たとえば、輝度（ｃｄ／ｍ^２）、光度（ｃｄ）などが挙げられる。

照明装置４は、制御装置１００からの指示に従って照射パターンを変更することができる。制御装置１００は、各照射パターンの下で撮像されるようにカメラ８を制御する。すなわち、制御装置１００は、照明装置４からワークＷに対して第１照射パターンの光を照射させるとともに、第１照射パターンが照射された状態でカメラ８にワークＷを撮像させて第１画像データを取得する。また、制御装置１００は、照明装置４からワークＷに対して第２照射パターンの光を照射させるとともに、第２照射パターンが照射された状態でカメラ８にワークＷを撮像させて第２画像データを取得する。

このように、照明装置４が透光性を有していることにより、カメラ８とワークＷと照明装置４とを同軸上に配置することができ、カメラ８と照明装置４との配置場所を自由に設定することができる。特に、同軸上に配置することができないような画像処理システムに比べて、本実施の形態にかかる画像処理システム１は、各装置を比較的自由には配置することができる。これにより、画像処理システム全体をコンパクトにすることができる。また、カメラ８を照明装置４の場所に関係なく配置することができるため、配置の自由度という面で汎用性の高い画像処理システムを提供することができる。その結果、適用可能な設備の選定に制約を受けることを極力回避することができる。

また、制御装置１００は、照明装置４から照射される光の照射パターンを制御するとともに、各照射パターンの下で撮像して画像データを取得することができる。そのため、ワークＷの局所表面の形状に応じて照射パターンを変えることができる。たとえば、ワークＷを構成する面のうち、発光面４０に対して平行な面と、発光面４０に対して平行ではない面とで、共通する照射パターンで光を照射した場合、平行な面に入射する光と、平行ではない面に入射する光とでは、その入射角が互いに異なり、各面で照明条件が変わってしまう。本実施の形態においては、照射パターンを変えることができるため、ワークＷを構成する表面の局所表面ごとに同じ照明条件にすることができる。その結果、計測精度を向上させることができる。

さらに、制御装置１００は、照明装置４から照射される光の照射パターンを制御するとともに、各照射パターンの下で撮像して画像データを取得することができるため、どのようなワークに対しても使用することのできる汎用性の高い画像処理システムを提供することができる。たとえば、照射パターンを変えることができないような照明装置においては、生産ラインに載せるワークの種類が変わる度に照明の位置を調整して、照射する光のパターンを変える必要がある。一方、本実施の形態に係る画像処理システムは、制御装置によって照射パターンを変えることができる。また、各照射パターンの下で撮像して画像データを取得できるため、ワークの種類が変わった場合には、照射パターンを変えるだけでよく、照明装置４の位置などを調整する必要がない。

§２ 具体例
＜Ａ．画像処理システムが適用される生産ラインの一例＞
次に、本実施の形態に係る画像処理システムの一例について説明する。まず、図２を参照しながら、画像処理システムの一例である画像処理システム１を適用して生産ラインによって搬送されるワークＷの外観検査を行う方法の一例を説明する。図２は、本実施の形態に係る画像処理システム１が適用される生産ラインの一例を示す模式図である。

図２に示すように、本実施の形態に係る画像処理システム１は、連続的に搬入されるワークＷを撮影するカメラ８と、ワークＷを照明する照明装置４と、照明装置４およびカメラ８を制御する制御装置１００とを備える。カメラ８は、主たる構成要素として、レンズや絞りなどの光学系と、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ８２（図８参照）などの光電変換器を含む。光電変換器は、カメラ８の撮像視野８１に含まれる光を画像信号に変換する装置である。

照明装置４は、ステージ３００に配置されたワークＷに対して照明光を照射する。照明装置４は、カメラ８からワークＷに向かう光軸ｌとは異なる向きに、光の広がりをもつ発光面４０を有する。発光面４０から照射される照明光は、制御装置１００から指示された照射パターンにしたがって任意に変更可能になっている。照明装置４は透光性を有しており、典型的には、透明な有機ＥＬ照明である。照明装置４が配置されている位置を基準にカメラ８が配置されている方を上とし、ワークＷが配置されている方を下とすると、照明装置４は、カメラ８が照明装置４を介して照明装置４よりも下に位置するものを撮像することができる程度に透光性を有していればよい。

検査対象となるワークＷは、移動可能なステージ３００によって、カメラ８および照明装置４が固定された検査位置まで移動する。ステージ３００は、ＰＬＣ２００（Programmable Logic Controller）に制御される。ＰＬＣ２００は、ワークＷを検査位置まで搬送すると、画像処理システム１による外観検査が終了するまでその場で停止するようにステージ３００を制御する。このとき、制御装置１００は、照明装置４によってワークＷに光を照射しながら、カメラ８でワークＷを撮影する。制御装置１００は、照明装置４から照射される光の照射パターンを変化させるように照明装置４を制御し、光の照射パターンを変化させる度にカメラ８でワークＷを撮影するようにカメラ８を制御する。制御装置１００は、このようにして得られた複数枚の撮影画像を用いることで、ワークＷの外観を検査する。また、制御装置１００は、外観検査が終了すると、ＰＬＣ２００に検査結果を出力する。ＰＬＣ２００は、制御装置１００からの検査結果の出力に基づいて、次のワークＷを検査位置まで搬送させる。

＜Ｂ．制御装置のハードウェア構成の一例＞
図３は、制御装置１００のハードウェア構成について示す模式図である。制御装置１００は、ＣＰＵ（Central Processing Unit）１１０、メインメモリ１２０、ハードディスク１３０、カメラインターフェイス（Ｉ／Ｆ）１８０、照明Ｉ／Ｆ１４０、通信Ｉ／Ｆ１５０および外部メモリＩ／Ｆ１６０を含む。これらの各部は、バス１９０を介して、互いにデータ通信可能に接続される。

ＣＰＵ１１０は、ハードディスク１３０にインストールされた画像処理プログラム１３２を含むプログラム（コード）をメインメモリ１２０に展開して、これらを所定順序で実行することで、各種の演算を実施する。メインメモリ１２０は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置である。

ハードディスク１３０は、制御装置１００が備える内部メモリであって、不揮発性の記憶装置であって、画像処理プログラム１３２を含む。なお、ハードディスク１３０に加えて、あるいは、ハードディスク１３０に代えて、フラッシュメモリなどの半導体記憶装置を採用してもよい。

カメラＩ／Ｆ１８０は、ＣＰＵ１１０とカメラ８との間のデータ伝送を仲介する。すなわち、カメラＩ／Ｆ１８０は、画像データを生成するカメラ８と接続される。また、カメラＩ／Ｆ１８０は、ＣＰＵ１１０からの内部コマンドに従って、接続されているカメラ８における撮像動作を制御するコマンドを与える。

照明Ｉ／Ｆ１４０は、ＣＰＵ１１０と照明装置４との間のデータ伝送を仲介する。すなわち、照明Ｉ／Ｆ１４０は、照明装置４と接続される。また、照明Ｉ／Ｆ１４０は、ＣＰＵ１１０からの内部コマンドに従って、接続されている照明装置４に対して、照射パターンについての指令を送信する。照明装置４は、受信した指令に基づく照射パターンの光を照射する。なお、照明装置４は、カメラ８を介して制御装置１００と接続されてもよい。また、カメラ８は、照明装置４を介して制御装置１００と接続されてもよい。

通信Ｉ／Ｆ１５０は、ＰＬＣ２００とＣＰＵ１１０との間で各種データを遣り取りする。なお、通信Ｉ／Ｆ１５０は、サーバとＣＰＵ１１０との間でデータを遣り取りしてもよい。通信Ｉ／Ｆ１５０は、ＰＬＣ２００との間で各種データをやり取りするためのネットワークに対応するハードウェアを含む。

外部メモリＩ／Ｆ１６０は、外部メモリ６と接続され、外部メモリ６に対するデータの読み込み／書き込みの処理をする。外部メモリ６は、制御装置１００に着脱可能であって、典型的には、ＵＳＢ（Universal Serial Bus）メモリ、メモリカードなどの不揮発性の記憶装置である。また、画像処理プログラム１３２等の各種プログラムは、ハードディスク１３０に保存されている必要はなく、制御装置１００と通信可能なサーバや、制御装置１００と直接接続可能な外部メモリ６に保存されていてもよい。たとえば、外部メモリ６に制御装置１００で実行される各種プログラムおよび各種プログラムで用いられる各種パラメータが格納された状態で流通し、外部メモリＩ／Ｆ１６０は、この外部メモリ６から各種プログラムおよび各種パラメータを読み出す。あるいは、制御装置１００と通信可能に接続されたサーバなどからダウンロードしたプログラムやパラメータを制御装置１００にインストールしてもよい。

なお、本実施の形態に係る画像処理プログラム１３２は、他のプログラムの一部に組み込まれて提供されるものであってもよい。また、代替的に、画像処理プログラム１３２の実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。

＜Ｃ．照明装置４の構造＞
図４は、本実施の形態に係る照明装置４の一部拡大した模式図である。照明装置４は、マトリクス状に配置された複数の照明要素４１を含む。照明装置４は、各照明要素４１を独立に点灯させることができる。本実施の形態における照射パターンとは、複数の照明要素４１のうちの点灯させる照明要素４１により決定されるものをいう。なお、各照明要素４１から照射される光の波長を変えることができる照明装置４においては、照射パターンは、複数の照明要素４１のうちの点灯させる照明要素４１と、点灯させる各照明要素４１から照射させる光の波長とによって決定される。本実施の形態においては、発光面４０の濃淡パターンを照射パターンという。

各照明要素４１は、たとえば、発光領域と透明領域とを含み、発光領域を発光させることで、照明要素４１全体を発光させることができる構造となっている。また、透明領域を備えることにより、透光性が保たれることとなる。

＜Ｄ．照明装置４から照射される照射パターンの一例＞
図５は、照明装置４によって形成される照射パターンの一例を説明するための図である。制御装置１００は、照明装置４から照射される光の照射パターンが順次変更するように照明装置４を制御するとともに、各照射パターンの下でワークＷを撮像するようにカメラ８を制御する。制御装置１００は、複数の照射パターンの各々において撮像された複数の画像データに基づいてワークＷの外観検査を行なう。

照射パターンＬは、カメラ８の撮像視野８１内の注目位置ａごとに設定されている。外観検査に利用する検査画像データ５１は、各照射パターンＬの下でそれぞれ撮像して得られた複数の画像データ５２から生成される。検査画像データ５１内の注目位置ａに対応する位置ａ’の画像データは、注目位置ａに対応付けて設定された照射パターンＬの下で撮像された画像データ５２から生成される。

照射パターンＬは、注目位置ａに入射する光の入射角θが、いずれの注目位置ａでも実質的に同一となるように決定される。たとえば、注目位置ａ１を含む微小平面に入射する光の入射角の範囲がθ１〜θ２となるように照射パターンＬ１が設定されている場合、照射パターンＬ２は、注目位置ａ２を含む微小平面に入射する光の入射角の範囲がθ１〜θ２となるよう設定される。

＜Ｅ．検査画像データ５１の生成方法の一例＞
図６は、検査画像データ５１の生成方法の一例を説明するための図である。図６の例では、撮像視野８１内の注目位置ａとして、注目位置ａ１〜注目位置ａｎが設定されている。照射パターンＬは、注目位置ａごとに設定されている。制御装置１００は、各照射パターンＬ１〜Ｌｎの下で撮像された各画像データ５２−１〜５２−ｎを取得する。

制御装置１００は、取得した複数の画像データ５２−１〜５２−ｎから検査画像データ５１を生成する。制御装置１００は、検査画像データ５１内の注目位置ａ１に対応する位置ａ’１の画像データを、画像データ５２−１内の注目位置ａ１に対応する位置ａ’１を含む部分画像データ５３−１に基づいて生成する。同様に、制御装置１００は、検査画像データ５１内の注目位置ａ２に対応する位置ａ’２の画像データを部分画像データ５３−２に基づいて、検査画像データ５１内の注目位置ａｎに対応する位置ａ’ｎの画像データを部分画像データ５３−ｎに基づいて生成する。

換言すると、検査画像データ５１は、部分画像データ５３−１〜部分画像データ５３−ｎから生成される。部分画像データ５３に含まれる画素は、１画素であっても、複数画素であってもよい。部分画像データ５３の範囲は、注目位置ａと当該注目位置ａに隣接する注目位置との距離に応じて設定され、部分画像データ５３−１〜部分画像データ５３−ｎから一の検査画像データ５１が生成されるように設定される。

ここで、部分画像データ５３に含まれる画素が、複数画素である場合、撮像回数および照射パターンの変更回数を減らすことができる。なお、部分画像データ５３同士が互いに重なるように部分画像データ５３の範囲を設定してもよい。この場合にあっては、重なる部分の画素情報は、部分画像データ５３に基づいて生成される。

照射パターンＬ１〜照射パターンＬｎのうち、一の照射パターンは、「第１の照射パターン」の一例であり、他の照射パターンは、「第２の照射パターン」の一例である。また、画像データ５２−１〜画像データ５２−ｎおよび部分画像データ５３−１〜部分画像データ５３−ｎのうち、一の画像データまたは部分画像データは、「第１の画像データ」の一例であり、他の画像データまたは部分画像データは、「第２の画像データ」の一例である。注目位置ａ１〜ａｎのうち、一の注目位置は、「第１の注目位置」の一例であり、他の注目位置は、「第２の注目位置」の一例である。

このように、注目位置ごとに照射パターンが決定され、各照射パターンの下で撮像された複数の画像データを用いて画像計測に利用する検査画像データ５１を生成する。すなわち、各照射パターンの下で撮像された複数の画像データを用いて画像計測が行われる。そのため、注目位置に応じた照明環境の下で撮像された画像データを用いることができ、画像計測の精度を向上させることができる。

また、照射パターンを決定するにあたって、注目位置ａ１を含む微小平面に入射する光の入射角の範囲がθ１〜θ２となるように照射パターンＬ１が設定されている場合、照射パターンＬ２は、注目位置ａ２を含む微小平面に入射する光の入射角の範囲がθ１〜θ２となるよう設定される。そのため、注目位置ごとに照明環境を実質的に同一にすることができる。

なお、本実施の形態においては、制御装置１００は、撮像視野８１内全体を示す画像データ５２を生成するための画像信号をカメラ８から取得せずに、部分画像データ５３を生成するための画像信号のみをカメラ８から取得してもよい。すなわち、制御装置１００は、各照射パターンＬ１〜Ｌｎの下で撮像された部分画像データ５３−１〜５３−ｎだけを取得するようにしてもよい。以下、制御装置１００が部分画像データ５３−１〜５３−ｎだけをカメラ８から読み出す機能について説明する。

＜Ｆ．部分読み出し機能＞
制御装置１００がカメラ８から特定の画像データに対応する画像信号のみを読み出す部分読み出し機能について説明する。図７は、ＣＭＯＳイメージセンサ８２を示す模式図である。カメラ８は、部分読み出し方式を採用可能なＣＭＯＳイメージセンサ８２と、ＣＭＯＳイメージセンサ８２の部分領域を読み出す読出回路８４とを備える。ＣＭＯＳイメージセンサ８２は、複数のフォトダイオード８３を備える。ＣＭＯＳイメージセンサ８２の部分領域には、１または複数のフォトダイオード８３が含まれる。また、ＣＭＯＳイメージセンサ８２の部分領域を読み出すとは、具体的には、部分領域に含まれる１または複数のフォトダイオード８３から画像信号を読み出すことを意味する。また、フォトダイオードは「受光素子」の一例であって、光エネルギーを電荷に変換する機能を有するものであれば、フォトダイオードに限られない。

制御装置１００は、光が照射されている状態ですべてのフォトダイオード８３に光を受光させる。その後、照射されている光の照射パターンに対応する部分画像データ５３を取得するため、部分画像データに対応するフォトダイオード８３から画像信号を読み出す処理を行なう。部分読出し機能を備えることにより、全フォトダイオード８３から画像信号を読み出す場合に比べて、読み出しに要する時間を短縮することができる。

なお、部分読出し機能を有するカメラ８として、ＣＭＯＳイメージセンサ８２を備えるカメラ８を例に挙げたが、読出回路８４を備えていれば、ＣＣＤイメージセンサのような他のイメージセンサを備えるカメラ８であってもよい。

＜Ｇ．照射パターンＬの切り替えタイミングと画像信号の読み出しタイミング＞
カメラ８が、画像信号の読み出しを行なっている間に次の露光を開始することができる場合、制御装置１００は、特定のフォトダイオード８３から画像信号を読み出す処理の少なくとも一部と、フォトダイオード８３に光を受光させる処理の少なくとも一部とを同時に行なってもよい。これにより、読み出し処理を行っている間に露光をすることができるため、全てのフォトダイオード８３から画像信号を取得するのに要する時間を短縮することができる。

具体的に、図８を参照して、読み出し処理を行っている間に露光をすることについて説明する。図８は、フォトダイオード８３から画像信号を読み出すタイミングを示すタイミングチャートである。図８中のフォトダイオード８３−１からは、部分画像データ５３−１を生成するための画像信号が読み出され、フォトダイオード８３−２からは、部分画像データ５３−２を生成するための画像信号が読み出されるものとする。また、部分画像データ５３−１は、照射パターンＬ１に対応し、部分画像データ５３−２に対応するものとする。制御装置１００は、照射パターンＬ１、Ｌ２、…Ｌｎの順で照射パターンＬを切り替えるものとする。

図８に示す複数のラインは、紙面の上から順に、照明装置４から照射される光の照射パターンを示すライン、露光しているか否かを示すライン、画像信号を読み出しているか否かを示すラインである。露光しているとは、フォトダイオード８３が光を受光して電荷を蓄積していることを意味する。

制御装置１００は、照射パターンＬ１の光が照射されている状態で、フォトダイオード８３に光を照射し、露光を開始したタイミングｔ１から予め定められた露光時間が経過したタイミングｔ２で、フォトダイオード８３−１から画像信号を読み出す処理を開始する。次に、照射パターンＬ１を照射パターンＬ２に切り替えて、フォトダイオード８３に光を照射し、露光を開始したタイミングｔ３から予め定められた露光時間が経過したタイミングｔ５で、フォトダイオード８３−２から画像信号を読み出す処理を開始する。

なお、画像信号の読み出し中に露光を開始させる機能を有していないＣＭＯＳイメージセンサやＣＣＤイメージセンサを備えるカメラ８を用いる場合は、読み出す処理が完了した後に、露光を開始すればよい。具体的には、フォトダイオード８３−１から画像信号を読み出す処理が完了したタイミングｔ３から、露光を開始するようにすればよい。

また、一部のフォトダイオード８３のみに電荷を蓄積させることができるようなイメージセンサを備えるカメラ８を用いる場合は、照射されている光のパターンに対応するフォトダイオード８３に電荷を蓄積させるようにし、全てのフォトダイオード８３に電荷が蓄積されたタイミングで、全てのフォトダイオード８３から画像信号を読み出すようにしてもよい。また、照射されている光のパターンに対応するフォトダイオード８３に電荷を蓄積させた後、そのフォトダイオード８３から画像信号を読み出す処理と、次の照射パターンに切り替える処理と、次の照射パターンに対応するフォトダイオード８３に電荷を蓄積させる処理とを実行するようにしてもよい。

＜Ｈ．照射パターンの決定方法＞
前述のように、照射パターンＬは、注目位置ａに入射する光の入射角θが、いずれの注目位置ａでも実質的に同一となるように決定される。なお、本実施の形態におけるカメラ８は、テレセントリックレンズを採用しているものとする。説明の便宜上、ワークＷは直方体形状をしており、照明装置４の発光面４０とカメラ８の光軸とは互いに直交するものとする。

図９は、注目位置ごとの照射パターンの決定方法を説明するための模式図である。注目位置ａに入射する光の入射角θの範囲が、いずれの注目位置ａでも実質的に同一となるようにするため、本実施例においては、注目位置ａを含む微小平面の垂線ｎを中心とした照射パターンＬ０が、注目位置ａごとに共通するように照射パターンＬを決定する。

制御装置１００は、注目位置ａｒに対応する照射パターンＬｒを決定する。注目位置ａｒがカメラ８の撮像視野８１を規定するカメラ座標系（ｘ、ｙ）において定義され、注目位置ａｒのカメラ座標系内の位置は（ｘｒ，ｙｒ）である。

注目位置ａｒを含む微小平面の垂線ｎｒと発光面４０との交点Ａは、照射パターンを規定する照明座標系（Ｘ，Ｙ）において定義され、交点Ａの照明座標系内の位置は（Ｘｒ，Ｙｒ）である。

注目位置ａｒのカメラ座標系内の位置は（ｘｒ，ｙｒ）と、交点Ａの照明座標系内の位置は（Ｘｒ，Ｙｒ）との間には、たとえば、式（１）の関係が成立する。そのため、カメラ座標系内の位置から、照明座標系内の位置に変換することができる。

係数Ａ、Ｂは、キャリブレーションパラメータであって、カメラ８と照明装置４との位置を固定した後に、カメラ８と照明装置４との位置関係に基づいて計算によって算出するか、あるいは、キャリブレーション操作を行なうことで求めることができる。なお、照明装置４の発光面４０と、カメラ８の光軸ｌとが直交しない場合は、式（１）の替わりに、透視変換などの既知の方法を用いればよい。

照射パターンＬｒは、（Ｘｒ，Ｙｒ）を中心に照射パターンＬ０が作られるように決定される。具体的には、基準となる基準照射パターンＬ０の形状を示す関数をＬ０（ｉ，ｊ）と定義した場合に、照射パターンＬｒは、式（２）のように表現することができる。

よって、注目位置ａｒにおける照射パターンＬｒは、式（１）と式（２）とから求めることができる。カメラ座標系（ｘｒ、ｙｒ）は、ＣＭＯＳイメージセンサ８２に含まれる複数のフォトダイオード８３と対応関係にある。制御装置１００は、カメラ座標系（ｘｒ、ｙｒ）を含む部分画像データ５３−ｒを生成するための画像信号を得るために、照射パターンＬｒの光を照射させるように照明装置４を制御するとともに、フォトダイオード８３−ｒを露光させるようにカメラ８を制御する。このとき、制御装置１００は、カメラ座標系（ｘｒ、ｙｒ）と、基準照射パターンＬ０とから照明装置４に指示する照射パターンＬｒを特定することができる。

なお、テレセントリックレンズを採用しているものとしたが、テレセントリックレンズ以外の光学系を用いたカメラ８であってもよく、この場合には、カメラ視線とカメラ８の光軸Ｌとが平行ではないため、後述するキャリブレーションを行なってキャリブレーションパラメータを設定することが好ましい。

＜Ｉ．制御装置１００の機能構成＞
図１０は、制御装置１００の機能構成の一例を示す図である。制御装置１００は、制御部１０と画像計測部２０とを備える。ＣＰＵ１１０は、画像処理プログラム１３２をメインメモリ１２０に展開して、実行することで、制御部１０および画像計測部２０としての機能を果たす。

制御部１０は、検査画像データ５１を得るために、カメラ８と照明装置４とを制御する。画像計測部２０は、制御部１０によって得られた検査画像データ５１に基づいて予め定められた画像計測を行ない、計測結果をＰＬＣ２００に出力する。なお、計測結果の出力先はＰＬＣ２００である必要はなく、たとえば、制御装置１００と通信可能に接続された携帯端末や、印刷機などであってもよい。

制御部１０は、検出部１１と、処理部１２と、照明制御部１４と、撮像制御部１６と、生成部１８とを備える。検出部１１は、所定の検査位置までワークＷが搬送されたことを示す信号がＰＬＣ２００から通知されたことを検出する。検出部１１は、ＰＬＣ２００からの信号を検出したことに基づいて、処理部１２に検査画像データ５１を得るための処理の開始を通知する。

処理部１２は、注目位置ごとに照射パターンＬｒを設定する設定部１２２と、撮像制御部１６に注目位置ａｒを特定可能な情報を、照明制御部１４に注目位置ａｒに対応する照射パターンＬｒを特定可能な情報を送る指示部１２４とを備える。

撮像制御部１６は、指示部１２４から送られた注目位置ａｒに関する情報から、注目位置ａｒに対応するフォトダイオード８３を露光状態にするとともに、所定の露光時間が経過したことに基づいて画像信号を取得したことを指示部１２４に通知する。また、撮像制御部１６は、注目位置ａｒに対応するフォトダイオード８３を露光状態にした後、続いて読出状態にして、画像信号を読み出して、生成部１８に送信する。

照明制御部１４は、指示部１２４から送られた照射パターンＬｒで光を照射するように照明装置４を制御する。

指示部１２４は、撮像制御部１６から画像信号を取得したことの通知がされたことに基づいて、設定部１２２に次の注目位置ａｒを特定可能な情報を通知する。設定部１２２は、通知された注目位置ａｒに対応する照射パターンＬｒを設定するとともに、指示部１２４に通知する。ここで、設定部１２２は、予め設定されている基準照射パターンＬ０、およびキャリブレーションパラメータに基づいて照射パターンＬｒを設定する。換言すると、設定部１２２は、各注目位置に入射する光の入射角が実質的に同一となるように、照射パターンＬｒを設定する。

指示部１２４は、撮像制御部１６に注目位置ａｒを特定可能な情報を、照明制御部１４に注目位置ａｒに対応する照射パターンＬｒを特定可能な情報を送る。指示部１２４は、画像信号の取得が完了していない注目位置ａｒが無くなるまで、処理を続ける。すなわち指示部１２４は、照射パターンＬｒを順次変更するとともに、順次変更に伴って、カメラ８にワークＷを順次撮像させる。

生成部１８は、撮像制御部１６から送られた画像信号に基づいて検査画像データ５１を生成し、画像計測部２０に生成した検査画像データ５１を送る。

ここで、生成部１８は、部分画像データ５３同士が互いに重なる場合、すなわち、部分画像データ５３−１に含まれる画素のうち一部の画素と、部分画像データ５３−２に含まれる画素のうち一部の画素とが共通する場合には、共通部分の画素情報を部分画像データ５３−１と、部分画像データ５３−２とに基づいて生成して、検査画像データ５１を生成する。検査画像データ５１は、画像計測に利用される画像データであるから、共通部分の画像計測は、部分画像データ５３−１と、部分画像データ５３−２とに基づいて行われるともいえる。

このように、部分画像データ５３同士が互いに重なる場合に、重なる部分の画素情報を複数の部分画像データ５３に基づいて生成することにより、隣接する部分画像データ５３間の連続性を確保することできる。また、これにより、部分画像データ５３と隣接する部分画像データ５３との間に生じるギャップを小さくすることができ、このギャップによる誤計測を防止することができる。

＜Ｊ．キャリブレーション方法＞
カメラ座標系（ｘ，ｙ）と照明座標系（Ｘ，Ｙ）との対応関係を求めるキャリブレーション方法の一例について説明する。カメラ座標系（ｘ，ｙ）と照明座標系（Ｘ，Ｙ）との対応関係とは、換言すると、フォトダイオード８３と照明要素４１との対応関係ともいえる。

制御装置１００は、照明要素４１を１つずつ順次点灯させるように照明装置４を制御するとともに、順次点灯に応じて撮像するようにカメラ８を制御する。なお、照明要素４１を１つだけ点灯させるだけでは十分な光量が得られず、カメラ８が適当な画像データを生成できない場合、照明要素４１に隣接する複数の照明要素４１を一の照明要素の単位としてもよい。このとき、検査位置には、キャリブレーション用のターゲットプレートと呼ばれる基準対象物を設置してキャリブレーションを行なう。

制御装置１００は、順次点灯に応じて得られた複数の画像データに含まれる複数の画素の各々から輝度値を抽出する。制御装置１００は、画像データ内の複数の画素のうち、最も輝度値が高い輝度値を示す画素を特定する。画素はカメラ座標系に対応する。また、照明要素４１は、照明座標系に対応する。制御装置１００は、画素が位置するカメラ座標系の座標と、照明要素４１が位置する照明座標系の座標とを対応付ける。制御装置１００は、取得した全ての画像データに対して、同じ処理を行なうことで、カメラ座標系と照明座標系との対応関係を得ることができる。カメラ座標系と照明座標系との対応関係を線形近似させることで、キャリブレーションパラメータを算出してもよい。

検査に使用するカメラ８が備える光学系がテレセントリックレンズである場合、カメラ視線は、ワークＷ上のどの位置においてもカメラの光軸と平行となるため、基準対象物の材質は、検査対象のワークの材質以外の材質であってもよい。一方、検査に使用するカメラ８が備える光学系がテレセントリックレンズではない通常のレンズである場合は、カメラ視線がワークＷ上の位置によって変わるため、基準対象物の材質は、検査対象のワークの材質と同じ材質を選択することが好ましい。

図１１は、キャリブレーション結果の一例を説明するための図である。図１１に示す例は、テレセントリックレンズ以外のレンズを備えるカメラ８を対象にキャリブレーションを行なったものとする。基準対象物が拡散反射物体である場合は、カメラ座標位置Ｂ（ｘ、ｙ）に位置する注目位置ａｂに対応する照明要素の位置は、注目位置ａｂの略真上に位置することとなる。

一方、基準対象物が鏡面反射物体である場合は、カメラ座標位置Ｂ（ｘ、ｙ）に位置する注目位置ａｂに対応する照明要素の位置は、注目位置ａｂの真上からずれた位置となる。このズレ量は、カメラの光軸から離れた位置となればなるほど、大きくなる。

テレセントリックレンズ以外のレンズを備えるカメラ８において、カメラ８とワーク表面の注目点との位置関係によっては、カメラ視線が、カメラの光軸と平行にならない。また、鏡面反射物体においては、注目位置ａｂを含む平面に反射した光の反射角と、注目位置ａｂを含む平面に入射した光の入射角とがほぼ等しくなる。そのため、注目位置ａｂにおけるカメラ視線と注目位置ａｂにおける法線との交わりによって作られる角度が、カメラ座標位置Ｂ（ｘ、ｙ）に位置する注目位置ａｂに対応する照明要素の位置から照射される光の反射光の角度と一致するように、照明要素の位置は決定される。その結果、注目位置ａｂに対応する照明要素の位置は、注目位置ａｂの真上からずれた位置となる。

なお、注目位置ａｂに対応する照明要素の位置は、注目位置ａｂの真上からずれた位置となる場合には、注目位置ａｂの真上から照射する場合の照射パターンとは異なる照射パターンで照射するように、基準照射パターンＬ０を補正してもよい。図１２は、照射パターンの補正について説明するための図である。注目位置ａ１に対応する照明要素の位置を位置Ａ１とし、注目位置ａ２に対応する照明要素の位置を位置Ａ２とする。位置Ａ１は、注目位置ａ１のほぼ真上に位置するものとする。位置Ａ２は、注目位置ａ２のほぼ真上の位置Ａ’２からずれたところに位置しているものとする。

また、位置Ａ１と注目位置ａ１との位置関係のように、位置Ａが注目位置ａのほぼ真上（発光面４０の鉛直方向）にある場合の、位置Ａを原点として規定される照射パターンの形状を基準照射パターンＬ０とする。

この場合に、位置Ａ２を中心に基準照射パターンＬ０が作られるような照射パターンでワークを照射した場合、注目位置ａ２に入射する光の照射角は、位置Ａ１を中心に基準照射パターンＬ０が作られるような照射パターンでワークを照射した場合に注目位置ａ１に入射する光の照射角と異なってしまう。

そこで、照明要素の位置Ａと注目位置ａとの位置関係に応じて、基準照射パターンＬ０を補正して、基準照射パターンＬ’０とすることで、注目位置ごとの照明条件を同じにすることができる。

具体的には、位置Ａと注目位置ａとを結ぶ直線を中心に注目位置ａに入射する光のパターンが各注目位置で等しくなるように基準照射パターンＬ０を照明要素の位置Ａと注目位置ａとの位置関係に応じて補正する。なお、注目位置ａ１に基準照射パターンＬ０で照射したときに注目位置ａ１に入射する光の強度と、注目位置ａ２に基準照射パターンＬ’０で照射させたときに注目位置ａ２に入射する光の強度とが実質的に等しくなるように、照明装置４から照射する光の強度についても補正してもよい。

なお、ワークＷの形状を直方体としたが、ワークＷの形状はこれに限るものではない。たとえば、平面部分とテーパ部分とを備えるワークＷであってもよい。たとえば、キャリブレーションを行う場合に、検査対象のワークを基準対象物として用いてもよい。

また、ワークを基準対象物として用いない場合には、照明要素の位置をワークの形状に基づいて補正してもよい。図１３は、照射パターンの他の補正方法について説明するための図である。たとえば、図１３に示す例では、キャリブレーションを行う際に平板状の基準対象物を利用し、注目位置ａ１に対応する照明要素の位置が位置Ａ１であったとする。検査対象のワークＷにおける注目位置ａ１に対応する注目位置ａ１を含む平面が発光面４０に対して平行でない場合は、平面の傾きθと、注目位置ａ１と照明装置４との距離とに応じて、照明要素の位置を補正して、照明要素の位置を位置Ａ’１としてもよい。

＜Ｋ．変形例＞
［ａ．照射パターン］
本実施の形態においては、各注目位置ａに入射する光のうち、どの入射角θで入射する光の波長も共通している基準照射パターンＬ０を例に挙げた。各注目位置ａに照射させる光の照射パターンは、これに限らず、どのような照射パターンであってもよい。

図１４は、基準照射パターンＬ０の第１変形例を示す図である。たとえば、基準照射パターンＬ０の形状を示す関数Ｌ０（ｉ，ｊ）の原点を中心に照射される光の波長が同心円状に変化していくパターンを基準照射パターンとしてもよい。

図１４に示す基準照射パターンＬ０でワークＷを照射することで、注目位置ａに対応するワークＷの基準位置からの距離に応じて、照射する光の色を異ならせることができ、いわゆる、カラーハイライト方式と呼ばれる検査を行なうことができる。光の色は、光の波長または光の波長分布によって規定される。照射する光の色は、照射する光の波長または光の波長分布を異ならせることで、変えることができる。

カラーハイライト方式とは、色の異なる光を互いに異なる入射角で照射し、各色の反射光をカメラ８で撮像することで、ワークＷの三次元形状を二次元の色相情報として検出する方法である。

すなわち、注目位置ａに対応するワークＷの基準位置からの距離に応じて、照射する光の色を異ならせることで、光が照射される領域の三次元形状を二次元の色相情報として検出することができる。

なお、図１４に示す基準照射パターンＬ０を用いる場合であっても、注目位置ａと、注目位置ａに対応する照明要素の位置Ａとの位置関係に応じて、基準照射パターンＬ０を図１４に示すような照射パターンＬ’０に補正してもよい。図１５は、第１変形例の基準照射パターンを補正した照射パターンを示す図である。

また、各注目位置ａに対して、異なる照射方向から光を照射し、注目位置ａごとに複数の画像データ取得するようにしてもよい。このようにすることで、いわゆる照度差ステレオ法に準じて、注目位置ａを含む領域の三次元形状を計測することができる。

図１６は、基準照射パターンＬ０の第２変形例を示す図である。たとえば、一の基準照射パターンＬ０を、照射方向を異ならせるように複数の基準照射パターンＬ１〜Ｌ４に分解し、各基準照射パターンＬ１〜Ｌ４の下で、注目位置ａに対応する部分画像データ５３を取得するようにしてもよい。取得した複数の部分画像データ５３を合成することで、一の部分画像データ５３を生成するようにしてもよい。

［ｂ.ワークの種類に応じた照射パターン］
本実施の形態においては、ステージ３００によって、同じ種類のワークＷしか搬送されないものを例に挙げた。たとえば、ステージ３００によって複数のワークＷを順次搬送されるようにしてもよい。

この場合に、制御装置１００は、ワークＷの種類に応じて照射パターンを設定し、設定した照射パターンの下でワークＷを撮像するようにしてもよい。図１７は、変形例における画像処理システム１の一例を示す模式図である。本実施の形態に係る制御装置１００は、記憶部の一例であるハードディスク１３０に、ワークの種類（種別）ごとに設定された照射パラメータセットを記憶してもよい。照射パラメータセットは照明条件であって、たとえば、検査内容または／およびワークの種類に応じた基準照射パターンＬ０と、注目位置ａごとに設けられた当該注目位置ａを含む微小平面に対する垂線と、キャリブレーションパラメータとを含む。

設定部１２２は、対象物の種別に関する情報の入力に応じて、入力された対象物の種別に対応する照射パラメータセットを選択し、選択した照射パラメータセットに基づいて照明条件を設定する。対象物の種別に関する情報は、ワークＷの種別を特定するための識別情報であって、たとえば、製品番号、製品の種類ごとに設定された番号などを含む。

図１７に示す例においては、対象物の種別に関する情報は、ＰＬＣ２００から送られ、受付部１１２が対象物の種別に関する情報を受け付けることで入力される。ＰＬＣ２００は、たとえば、ワークＷの種類を特定可能な特定部２１０を備える。特定部２１０は、たとえば、ワークＷに設けられたワークＷの種類を特定するための識別情報を読み取る読取部４００から送られる識別情報に基づいてワークＷの種類を特定する。読取部４００は、たとえば、ＲＦＩＤ（Radio frequency identification）などのタグや、２次元コード等を読み取るリーダーである。

なお、制御装置１００が、対象物に関する情報を特定する特定部２１０の機能を有してもよい。この場合、対象物の種別に関する情報は特定部２１０から入力される。また、制御装置１００が特定部２１０を備える場合、特定部２１０は、ＰＬＣ２００を介して送られる識別情報に基づいてワークＷの種類を特定してもよい。また、特定部２１０は、たとえば、カメラ８からの情報に基づいてワークＷの種類を特定してもよい。具体的には、特定部２１０は、ワークＷの外観画像に基づいてパターンマッチングや、ワークＷに設けられた２次元コードなどでワークＷの種類を特定してもよい。

このように、制御装置１００は、ワークＷの種類に応じた照明条件を設定することができるため、記憶部に記憶されている照射パラメータセットに対応するワークのうち、いずれのワークが搬送されたとしても、各ワークに応じた照明条件で検査を行なうことができる。そのため、どのようなワークに対しても適用可能な汎用性の高い画像処理システムを提供できる。

設定部１２２は、ワークＷの位置を特定する位置特定部１２２ａをさらに備えてもよい。また、照射パラメータセットにワークＷのＣＡＤデータが含まれてもよい。位置特定部１２２ａは、カメラ８にワークＷを撮像させて画像データを取得し、取得した画像データと、照射パラメータセットに含まれるワークＷのＣＡＤデータとから画像データ内のワークの位置を特定してもよい。

設定部１２２は、画像データ内のワークの位置と、ＣＡＤデータとから、画像データ内の各位置におけるワーク表面の傾斜を特定することができる。画像データ内の各位置におけるワーク表面の傾斜に基づいて、基準照射パターンＬ０を補正してＬ’０を求める。これにより、設定部１２２は、画像データ内の位置ごとに基準照射パターンを設定することができる。

設定部１２２は、キャリブレーションパラメータと、位置ごとに設定された基準照射パターンと、各位置のカメラ座標系の座標位置とに基づいて、各位置における照射パターンＬｒを設定する。

＜Ｌ．付記＞
以上のように、本実施の形態は以下のような開示を含む。

（構成１）
対象物（Ｗ）を撮像して得られる画像データ（５１）を用いて当該対象物を画像計測する画像処理システム（１）であって、
前記対象物（Ｗ）を撮像する撮像部（８）と、
前記撮像部（８）から前記対象物（Ｗ）までの間に配置されるとともに、前記撮像部（８）から前記対象物（Ｗ）に向かう光軸（ｌ）とは異なる向きに広がりをもつ発光面（４０）を有する、透光性の発光部（４）と、
前記撮像部（８）および前記発光部（４）を制御する制御部（１００）とを備え、
前記制御部（１００）は、
前記発光部（４）から前記対象物（Ｗ）に対して第１の照射パターン（Ｌ１）の光を照射させるとともに、前記撮像部（８）に前記対象物（Ｗ）を撮像させて第１の画像データ（５２−１，５３−１）を取得し、
前記発光部（４）から前記対象物（Ｗ）に対して前記第１の照射パターン（Ｌ１）とは異なる第２の照射パターン（Ｌ２）の光を照射させるとともに、前記撮像部（８）に前記対象物（Ｗ）を撮像させて第２の画像データ（５２−２，５３−２）を取得する、画像処理システム。

（構成２）
前記制御部（１００）は、前記第１の画像データ（５２−１，５３−１）および前記第２の画像データ（５２−２，５３−２）を少なくとも含む複数の画像データを用いて、前記対象物（Ｗ）についての画像計測処理を実行し（２０）、
前記第１の画像データ（５２−１，５３−１）は、前記撮像部（８）の撮像視野（８１）内の第１の注目位置（ａ１）に対応付けられており、
前記第２の画像データ（５２−１，５３−１）は、前記撮像視野（８１）内の第２の注目位置（ａ２）に対応付けられており、
前記第１の照射パターン（Ｌ１）は、前記第１の注目位置（ａ１）に応じて決定され、
前記第２の照射パターン（Ｌ２）は、前記第２の注目位置（ａ２）に応じて決定される、構成１に記載の画像処理システム。

（構成３）
前記発光部（４）から前記第１の注目位置（ａ１）へ照射される光の入射方向（θ）が、前記発光部（４）から前記第２の注目位置（ａ２）へ照射される光の入射方向（θ）と実質的に同一となるように、前記第１の照射パターンおよび前記第２の照射パターンが決定される（１２２）、構成２に記載の画像処理システム。

（構成４）
前記制御部（１００）は、前記発光部（４）から前記対象物（Ｗ）に対して照射する光の照射パターンを順次変更するとともに、当該照射パターンの順次変更に対応して、前記撮像部に前記対象物を順次撮像させる（１２４）、構成２または構成３に記載の画像処理システム。

（構成５）
前記撮像部は、撮像視野（８１）内に含まれる光を画像信号に変換する複数の受光素子（８３）のうち一部の受光素子から当該画像信号を読み出す読出回路（８４）とを含み、
前記制御部（１００）は、
前記発光部（４）から前記第１の照射パターン（Ｌ１）の光を照射させた状態で前記撮像部（８）に含まれる複数の受光素子（８３）のうち前記第１の注目位置（ａ１）に対応する第１の受光素子（８３−１）を少なくとも露光させ、続いて、前記複数の受光素子のうち少なくとも前記第１の受光素子（８３−１）から信号を読み出し（１６）、
前記発光部（４）から前記第２の照射パターン（Ｌ２）の光を照射させた状態で前記複数の受光素子（８３）のうち前記第２の注目位置（ａ２）に対応する第２の受光素子（８３−２）を少なくとも露光させ、続いて、前記複数の受光素子のうち少なくとも前記第２の受光素子（８３−２）から信号を読み出す（１６）、構成２〜構成４のうちのいずれか１項に記載の画像処理システム。

（構成６）
前記第１の受光素子（８３−１）から画像信号を読み出す処理の少なくとも一部と、前記発光部から前記第２の照射パターンの光を照射させた状態で前記第２の受光素子（８３−２）を露光させる処理の少なくとも一部とは、同時に実行される、構成５に記載の画像処理システム。

（構成７）
前記第１の画像データ（５３−１）は、前記第１の注目位置に対応する１の画素と当該画素に隣接する１または複数の画素とを含み、
前記第２の画像データ（５３−２）は、前記第２の注目位置に対応する１の画素と当該画素に隣接する１または複数の画素とを含む、構成２〜構成６のうちのいずれか１に記載の画像処理システム。

（構成８）
前記第１の画像データ（５３−１）に含まれる複数の画素と、前記第２の画像データ（５３−２）に含まれる複数の画素とのうち、少なくとも一部の画素が共通し、
前記制御部（１００、１８、２０）は、前記第１の画像データと前記第２の画像データとに基づいて、前記共通する画素に対応する前記撮像部の位置における画像計測結果を出力する、構成７に記載の画像処理システム。

（構成９）
各注目位置に対応する照射パターンを照射する場合、前記制御部は、前記発光部の発光面の当該注目位置に対応する基準位置からの距離に応じて、照射する光の色を異ならせる、構成２〜構成８のうちのいずれか１に記載の画像処理システム。

（構成１０）
前記照射パターンを含む照明条件は、対象物の種別に応じて決定され、
前記対象物の種別ごとに設定された照明条件を複数記憶する記憶部（１３０）と、
前記対象物の種別に関する情報の入力に応じて、当該対象物の種別に対応する照明条件を設定する設定部（１２２）をさらに備える、構成１に記載の画像処理システム。

１ 画像処理システム、４ 照明装置、６ 外部メモリ、８ カメラ、１０ 制御部、１１ 検出部、１２ 処理部、１４ 照明制御部、１６ 撮像制御部、１８ 生成部、２０ 画像計測部、４０ 発光面、４１ 照明要素、５１ 検査画像データ、５２ 画像データ、５３ 部分画像データ、８１ 撮像視野、８２ ＣＭＯＳイメージセンサ、８３ フォトダイオード、８４ 読出回路、１００ 制御装置、１１０ ＣＰＵ、１１２ 受付部、１２０ メインメモリ、１２２ 設定部、１２４ 指示部、１３０ ハードディスク、１３２ 画像処理プログラム、１４０ 照明Ｉ／Ｆ、１５０ 通信Ｉ／Ｆ、１６０ 外部メモリＩ／Ｆ、１８０ カメラＩ／Ｆ、１９０ バス、２００ ＰＬＣ、２１０ 特定部、３００ ステージ、４００ 読取部、Ｌ 照射パターン、Ｗ ワーク、ａ 注目位置、ｌ 光軸。

Claims (10)

1. 対象物を撮像して得られる画像データを用いて当該対象物を画像計測する画像処理システムであって、
   前記対象物を撮像する撮像部と、
   前記撮像部から前記対象物までの間に配置されるとともに、前記撮像部から前記対象物に向かう光軸とは異なる向きに広がりをもつ発光面を有する、透光性の発光部と、
   前記撮像部および前記発光部を制御する制御部とを備え、
   前記制御部は、
   前記発光部から前記対象物に対して第１の照射パターンの光を照射させるとともに、前記撮像部に前記対象物を撮像させて第１の画像データを取得し、
   前記発光部から前記対象物に対して前記第１の照射パターンとは異なる第２の照射パターンの光を照射させるとともに、前記撮像部に前記対象物を撮像させて第２の画像データを取得する、画像処理システム。
2. 前記制御部は、前記第１の画像データおよび前記第２の画像データを少なくとも含む複数の画像データを用いて、前記対象物についての画像計測処理を実行し、
   前記第１の画像データは、前記撮像部の撮像視野内の第１の注目位置に対応付けられており、
   前記第２の画像データは、前記撮像視野内の第２の注目位置に対応付けられており、
   前記第１の照射パターンは、前記第１の注目位置に応じて決定され、
   前記第２の照射パターンは、前記第２の注目位置に応じて決定される、請求項１に記載の画像処理システム。
3. 前記発光部から前記第１の注目位置へ照射される光の入射方向が、前記発光部から前記第２の注目位置へ照射される光の入射方向と実質的に同一となるように、前記第１の照射パターンおよび前記第２の照射パターンが決定される、請求項２に記載の画像処理システム。
4. 前記制御部は、前記発光部から前記対象物に対して照射する光の照射パターンを順次変更するとともに、当該照射パターンの順次変更に対応して、前記撮像部に前記対象物を順次撮像させる、請求項２または請求項３に記載の画像処理システム。
5. 前記撮像部は、撮像視野内に含まれる光を画像信号に変換する複数の受光素子のうち一部の受光素子から当該画像信号を読み出す読出回路を含み、
   前記制御部は、
   前記発光部から前記第１の照射パターンの光を照射させた状態で前記撮像部に含まれる複数の受光素子のうち前記第１の注目位置に対応する第１の受光素子を少なくとも露光させ、続いて、前記複数の受光素子のうち少なくとも前記第１の受光素子から画像信号を読み出し、
   前記発光部から前記第２の照射パターンの光を照射させた状態で前記複数の受光素子のうち前記第２の注目位置に対応する第２の受光素子を少なくとも露光させ、続いて、前記複数の受光素子のうち少なくとも前記第２の受光素子から画像信号を読み出す、請求項２〜請求項４のうちいずれか１項に記載の画像処理システム。
6. 前記第１の受光素子から画像信号を読み出す処理の少なくとも一部と、前記発光部から前記第２の照射パターンの光を照射させた状態で前記第２の受光素子を露光させる処理の少なくとも一部とは、同時に実行される、請求項５に記載の画像処理システム。
7. 前記第１の画像データは、前記第１の注目位置に対応する１の画素と当該画素に隣接する１または複数の画素とを含み、
   前記第２の画像データは、前記第２の注目位置に対応する１の画素と当該画素に隣接する１または複数の画素とを含む、請求項２〜請求項６のうちいずれか１項に記載の画像処理システム。
8. 前記第１の画像データに含まれる複数の画素と、前記第２の画像データに含まれる複数の画素とのうち、少なくとも一部の画素が共通し、
   前記制御部は、前記第１の画像データと前記第２の画像データとに基づいて、前記共通する画素に対応する前記撮像部の位置における画像計測結果を出力する、請求項７に記載の画像処理システム。
9. 各注目位置に対応する照射パターンを照射する場合、前記制御部は、前記発光部の発光面の当該注目位置に対応する基準位置からの距離に応じて、照射する光の色を異ならせる、請求項２〜請求項８のうちいずれか１項に記載の画像処理システム。
10. 前記照射パターンを含む照明条件は、対象物の種別に応じて決定され、
    前記対象物の種別ごとに設定された照明条件を複数記憶する記憶部と、
    前記対象物の種別に関する情報の入力に応じて、当該対象物の種別に対応する照明条件を設定する設定部とをさらに備える、請求項１に記載の画像処理システム。

Images