JP2019109070A - 画像処理システム、画像処理プログラム、および画像処理方法 - Google Patents

Abstract

【課題】画像データ内の位置に応じて適当な条件で画像計測を行うことを目的とする。【解決手段】画像処理装置は、照明装置に含まれる複数の発光部の発光状態を異ならせた各々で撮像して得られる複数の画像データを取得する。画像処理装置は、取得した複数の画像データと、画像データ内の位置に関連付けて規定される生成条件と基づいて、画像計測に利用する画像データを生成する。【選択図】図１

Description

本発明は、画像処理システム、画像処理プログラム、および画像処理方法に関する。

ＦＡ（Factory Automation）分野などにおいては、対象物（以下、「ワーク」とも称す。）を照明装置からの光による照明下で撮像し、生成された画像データからワークに関する情報を取得する画像処理技術が利用されている。

画像処理技術分野において利用される照明装置として、多種多様な照明装置が開発されている。例えば、特開２０１５−２３２４８７（特許文献１）には、照明方向が異なる複数の照明を備える照明装置が開示されている。

特開２０１５−２３２４８７号公報

複数の照明からなる照明装置において、一の照明から照射される光は、対象物の表面形状によっては、表面領域ごとに入射角が異なる。それにより、同じ対象物に対して同じ照明から光を照射する場合であっても、表面領域ごとに、その光に基づいて計測される画像計測の精度が異なることが考えられる。例えば、同じ照明条件下でも、１領域の表面形状は精度よく得られても、他の領域の表面形状の計測精度は低くなることが考えられる。

発明者は、同じ対象物であっても、対象物の表面領域ごとに最適な照明条件は異なるため、表面領域に対応する画像データ内の位置に応じて適当な条件で画像計測を行う必要があることを見出した。

本発明は、上述したように、画像データ内の位置に応じて適当な条件で画像計測を行うことができる画像処理システム、画像処理プログラム、および画像処理方法を提供することを目的とする。

本開示の一例によれば、画像計測を行なう画像処理システムが提供される。画像処理システムは、対象物を撮像して画像データを生成する撮像部と、対象物に照明光を照射するための発光部が複数配置された照明部と、複数の発光部の発光状態を複数に異ならせた各々において撮像部が対象物を撮像することで生成される複数の画像データを取得するとともに、取得した当該複数の画像データと、画像データ内の位置に関連付けて規定される生成条件と基づいて、画像計測に利用する画像データを生成する生成部とを含む。

この開示によれば、画像データ内の位置に関連付けて規定される生成条件に基づいて、画像計測に利用する画像データが生成されるため、画像データ内の位置に応じた適当な条件で画像計測を行なうことができる。

上述の開示において、生成条件は、画像データ内の隣接する複数画素からなる部分領域ごとに規定されてもよい。生成部は、画像計測に利用する画像データとして、部分領域ごとに当該部分領域に対応する部分領域画像データを生成してもよい。

この開示によれば、複数画素からなる部分領域ごとに部分領域画像データを生成するため、一画素ごとに生成する場合に比べて処理が軽減される。

上述の開示において、生成部は、画像計測に利用する画像データを、部分領域ごとに生成した複数の部分領域画像データを１の画像データに合成することで生成してもよい。

この開示によれば、部分領域画像データごとに画像計測を行なう場合に比べて、処理を軽減することができる。

上述の開示において、生成部は、複数の発光部のうちの１の発光部を順次発光させるように照明部を制御するとともに、発光部の順次発光に対応して対象物を撮像するように撮像部を制御する制御部と、撮像部により生成される複数の画像データから生成対象の部分領域に対応する部分画像データをそれぞれ抽出するとともに、各発光部からの影響を部分領域ごとに規定した第１のパラメータセットにしたがって、抽出した複数の部分画像データを合成することで部分領域画像データを生成する合成処理部とを含んでもよい。

この開示によれば、部分領域ごとに各発光部からの影響を考慮して部分領域画像データを生成することができるため、部分領域ごとに適当な部分領域画像データを生成することができ、部分領域ごとに適当な条件で画像計測を行なうことができる。

上述の開示において、生成部は、画像データから対象物の配置状況を特定する位置特定部と、位置特定部が特定した対象物の配置状況と、第１のパラメータセットの取得時における基準対象物の配置状況とを比較して、当該対象物の移動量を求めるとともに、当該移動量に基づいて第１のパラメータセットを補正するパラメータ補正部とをさらに含んでもよい。

この開示によれば、計測対象である対象物の配置状況が、第１のパラメータセットの取得時における対象物の配置状況と変わった場合であっても、その変化に応じて第１のパラメータセットを補正することができる。

上述の開示において、生成部は、複数の発光状態を規定する第２のパラメータセットにしたがって照明部を制御するとともに、それぞれの発光状態において対象物を撮像するように撮像部を制御する制御部と、
撮像部により生成される複数の画像データのうちの少なくとも１の画像データから、生成対象の部分領域に対応する部分画像データを抽出するとともに、抽出した部分画像データに基づいて部分領域画像データを生成する生成処理部とを含んでもよい。

この開示によれば、部分領域に応じて、適当な発光状態で画像計測を行なうことができる。

上述の開示において、生成部は、画像データから対象物の配置状況を特定する位置特定部と、位置特定部が特定した対象物の配置状況と、第２のパラメータセットの取得時における基準対象物の配置状況とを比較して、当該対象物の移動量を求めるとともに、当該移動量に基づいて第２のパラメータセットを補正するパラメータ補正部とをさらに含んでもよい。

この開示によれば、計測対象である対象物の配置状況が、第２のパラメータセットの取得時における対象物の配置状況と変わった場合であっても、その変化に応じて第２のパラメータセットを補正することができる。

上述の開示において、第１のパラメータセットに含まれるパラメータは、負の値を含んでもよい。

この開示によれば、所定の発光部からの影響を排除して、部分領域画像データを生成することができる。

上述の開示において、部分領域は、対象物の形状に基づいて規定されてもよい。
この開示によれば、対象物の表面に応じた照明条件で画像計測を行なうことができる。

上述の開示において、複数の発光部は、所定の位置を基準に規則的に照明部に設けられていてもよい。

この開示によれば、第１パラメータまたは第２パラメータを補正する場合に、発光部が規則的に並んでいることにより、これらのパラメータを所定の規則にしたがって補正することができる。

本開示の別の一例によれば、対象物を撮像して画像データを出力する撮像装置と、当該対象物に照明光を照射するための発光部が複数配置された照明装置とを制御するコンピュータで実行される画像計測を行なうための画像処理プログラムが提供される。画像処理プログラムは、コンピュータに、複数の発光部の発光状態を複数に異ならせた各々において撮像装置が対象物を撮像することで生成される複数の画像データを取得する機能と、取得した複数の画像データと、画像データ内の位置に関連付けて規定される生成条件とに基づいて、画像計測に利用する画像データを生成する機能とを実行させる。

この開示によれば、画像データ内の位置に応じた生成条件に基づいて、画像計測に利用する画像データが生成されるため、画像データ内の位置に応じた適当な条件で画像計測を行なうことができる。

本開示の別の一例によれば、画像計測を行なう画像処理方法が提供される。画像処理方法は、複数の発光部の発光状態を複数に異ならせ、複数の異なる発光状態の各々で対象物を撮像して複数の画像データを取得し、取得した複数の画像データと、画像データ内の位置に関連付けて規定される生成条件とに基づいて、画像計測に利用する画像データを生成する。

この開示によれば、画像データ内の位置に応じた生成条件に基づいて、画像計測に利用する画像データが生成されるため、画像データ内の位置に応じた適当な条件で画像計測を行なうことができる。

画像データ内の位置に応じて適当な条件で画像計測を行うことができる。
本開示の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解される本発明に関する次の詳細な説明から明らかとなるであろう。

本実施の形態に係る画像処理システム１の適用場面を模式的に示す図である。 本発明の実施の形態に係る画像処理システムの基本構成を示す模式図である。 照明装置の構成を示す図である。 画像処理装置のハードウェア構成について示す模式図である。 第１の具体例における画像計測の流れを説明するための図である。 第１の具体例における第１パラメータセットの位置補正について説明するための図である。 第１の具体例における画像計測に用いられる画像処理装置の機能構成を示す図である。 第１の具体例における第１パラメータセットの決定方法を説明するための図である。 第１の具体例における第１パラメータセット決定時の画像処理装置の機能構成を示す図である。 第２の具体例における画像計測の流れを説明するための図である。 第２の具体例における第２パラメータセットの位置補正について説明するための図である。 第２の具体例における画像計測に用いられる画像処理装置の機能構成を示す図である。 第２の具体例における第２パラメータセットの決定方法を説明するための図である。 第２の具体例における第２パラメータ決定時の画像処理装置の機能構成を示す図である。 部分領域ｒｉの規定方法の変形例を説明するための図である。

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

§１ 適用例
まず、図１を参照して、本発明が適用される場面の一例について説明する。図１は、本実施の形態に係る画像処理システム１の適用場面を模式的に示す図である。

画像処理システム１は、撮像部の一例であるカメラ８と、照明部の一例である照明装置４と、対象物であるワークＷに対する画像計測に利用する画像データＲを生成する生成部１０とを備える。生成部１０は、一例として、汎用的なコンピュータアーキテクチャに従う構造を有している画像処理装置１００に設けられている。

カメラ８は、撮像視野内にワークＷの少なくとも一部が含まれるように配置されている。照明装置４には、ワークＷに照明光を照射するための発光部４１が複数配置されている。一の発光部４１は、一の光源から構成されてもよく、あるいは複数の光源から構成されてもよい。また、一の発光部４１に含まれる光源の種類は、一種類であってもよく、また複数種類であってもよい。

生成部１０は、照明条件にしたがって照明装置４に含まれる複数の発光部４１の発光状態を複数に異ならせた各々において撮像して得られる複数の画像データ８１を取得する。ここで、発光状態が異なるとは、各発光部４１から照射される光の輝度および波長のうちの少なくともいずれか一方が異なることをいう。たとえば、１の発光部４１から照射される光の輝度および波長のうちの少なくともいずれか一方が異なれば、当該１の発光部４１以外の発光部４１から照射される光の輝度および波長のいずれもが等しくても、発光状態は異なるといえる。

図１の例では、照明条件として発光状態１〜発光状態ｍが規定されている。生成部１０は、発光状態１〜発光状態ｍの各々で撮像された画像データ８１−１〜画像データ８１−ｍを取得する。なお、説明の便宜のため、以下では、画像データ８１−１〜画像データ８１−ｍの各々について区別する必要がない場合は、画像データ８１と称する。

生成部１０は、画像データ８１内の位置に関連付けて規定される生成条件と、取得した複数の画像データ８１−１〜８１−ｍとに基づいて、画像計測に利用するための画像データＲを生成する。

「画像データ内の位置に関連付けて規定される」とは、画像データ内の画素によって規定されるものと、画像データ内に映されたワークＷの位置に関連付けて規定されるものとを含む。

図１の例では、画像データ８１の位置として（ｘ、ｙ）が規定されており、各位置ごとに条件が設定されている。すなわち、生成条件として、画像データ８１の位置（ｘ、ｙ）ごとに規定された条件Ｐが設定されている。

たとえば、図１の例では、生成部１０は、画像データ８１−１〜８１−ｍから、画像データ８１の位置（ｘ、ｙ）ごとに規定された条件Ｐに基づいて画像データＲを生成する。

ここで、画像データ８１の位置（ｘ、ｙ）ごとに規定された条件Ｐは、取得した複数の画像データ８１のうちから一または複数の画像データ８１を選択することと、選択した一または複数の画像データ８１から対応する位置の画像を生成する方法とを含む条件である。

画像処理システム１において、生成部１０は、照明条件にしたがって異なる発光状態の各々で撮像された複数の画像データ８１と、画像データ８１の位置に対応付けて規定された生成条件とに基づいて画像計測に利用する画像データＲを生成する。そのため、画像処理システム１においては、画像データ８１の位置ごとに適当な条件で生成された画像データを利用して画像計測を行なうことができるため、精度の高い画像計測を行なうことができる。

また、画像処理システム１においては、１のワークＷに対して、異なる発光状態の各々で撮像された複数の画像データ８１を取得することができるため、照度差ステレオ法に準じた演算によりワークＷの表面の法線ベクトルを求めることができる。

なお、以下では、説明の便宜上、画像データ８１内の隣接する複数画素からなる部分領域ｒｉに含まれる複数画素の各々には共通する生成条件が規定されているものとして説明する。

§２ 具体例
以下、本発明のより具体的な一応用例として、本実施の形態に係る画像処理システム１のより詳細な構成および処理について説明する。

［Ａ．画像処理システム１の基本構成］
図２は、本発明の実施の形態に係る画像処理システム１の基本構成を示す模式図である。画像処理システム１は、主たる構成要素として、画像処理装置１００と、カメラ８と、照明装置４とを含む。画像処理装置１００とカメラ８と照明装置４とは互いにデータ通信可能に接続される。

照明装置４は、検査対象物（以下、「ワークＷ」ともいう。）の少なくとも一部が照明装置４の照射領域に位置するように配置されている。なお、ワークＷがベルトコンベアのような搬送装置によって搬送される場合、搬送装置の少なくとも一部が照射領域に位置するように照明装置４は配置される。図２の例では、ワークＷは、テーパ部Ｗ１と、平面部Ｗ２とを備える四角垂台の形状をした物体である。なお、ワークＷの形状は一例であって、画像処理システム１は任意のワークＷに対して用いられる。

カメラ８は、ワークＷの少なくとも一部がカメラ８の撮像視野に位置し、かつ、照明装置４の照射領域の少なくとも一部がカメラ８の撮像視野に含まれるように配置されている。カメラ８は、撮像視野に存在する被写体を撮像し、撮像により得られた画像信号（１または複数の静止画像および動画像を含み得る）を画像処理装置１００へ出力する。カメラ８は、撮像部の一例であって、所定の撮像視野に含まれる光を画像信号に変換する光電変換器であり、典型的には、レンズや絞りなどの光学系と、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの受光素子とを含む。

図２の例では、ワークＷと照明装置４とカメラ８とが互いに同軸上に位置するように配置されている。照明装置４には、カメラ８が照明装置４の上部からワークＷを撮像することができるように、開口部４８（図３参照）が設けられている。カメラ８は、開口部４８を通してワークＷが撮像視野内に含まれるように配置されている。なお、ワークＷと照明装置４とカメラ８との位置関係は一例であって、互いに同軸上に位置していなくともよい。たとえば、照明装置４を紙面の右側に配置されており、カメラ８が紙面の左側に配置されているような構成であってもよい。

画像処理装置１００は、画像処理システム１全体の処理を司る。たとえば、画像処理装置１００は、照明装置４およびカメラ８を制御するとともに、カメラ８から出力された画像信号に基づいて、ワークＷ上の欠陥や汚れの有無の検査、ワークＷの大きさや配置や向きなどの計測、ワークＷ表面上の文字や図形などの認識といった画像処理を行う。

なお、図２の例では、照明装置４およびカメラ８を制御する機能と、画像処理を行う機能とを一の装置が行うとしたが、画像処理システム１は、機能ごとに別々の装置を備えてもよい。たとえば、画像処理システム１は、照明装置４を制御する照明制御装置と、カメラ８を制御する撮像制御装置と、画像処理を行う装置とを備えてもよい。また、一の機能を他の装置が備えてもよい。

［Ｂ．照明装置４の構成］
図３を参照して、照明装置４の構成について説明する。図３は、照明装置４の構成を示す図である。照明装置４は複数の発光部４１を含む。図３の例では、照明装置４は、合計３４個の発光部４１を含む。また、照明装置４の中央には、照明装置４の上部からワークＷを撮像することができるように開口部４８が設けられている。

図３の例では、各発光部４１は所定の位置を基準に規則的に照明装置４に配列されている。たとえば、図３の例では、照明装置４を構成する辺と点のうち、一の点を基準に縦と横に規則的に発光部４１は配列されている。なお、開口部４８を基準に、発光部４１は、開口部４８の周囲を円状に配列されていてもよい。

発光部４１同士の間隔は、ワークＷに対して様々な角度から光を入射させるために、可能な限り狭い方がよい。また、複数の発光部４１の各々は互いに同じ構造であることが好ましく、また、各発光部４１は同じ高さに配置されていることが好ましい。

本実施の形態においては、説明の便宜上、照明装置４の短辺をｘ軸、長辺をｙ軸として、照明装置４に含まれる複数の発光部４１の各々を座標（ｘ、ｙ）で区別することがある。

画像処理装置１００は、複数の発光部４１をそれぞれ独立して制御することができる。たとえば、画像処理装置１００は、一部の発光部４１のみを点灯させて、他の発光部４１は消灯させることができる。また、画像処理装置１００は、複数の発光部４１を互いに異なる発光強度で点灯させることができる。

本実施の形態において、各発光部４１からは共通する波長の照明光がワークＷに対して照射されるものとする。なお、発光部４１から照射される照明光の波長を複数の発光部４１のそれぞれで異なるように制御できるような構成であってもよい。

また、本実施の形態においては、四角形状の照明装置４を例に挙げたが、リング状の照明装置であってもよい。また、有機ＥＬ（Electro Luminescence）からなる透過型の照明装置であってもよい。透過型の照明装置を用いた場合、本実施例のような開口部４８を設ける必要がない。また、ドーム形状の照明装置であってもよい。また、画像処理システム１は、好ましくは、カメラ８と、照明装置４と、ワークＷとを同軸上に配置可能な照明装置４を備えるものの、同軸上に配置することができない照明装置４を備えてもよい。

［Ｃ．画像処理装置１００のハードウェア構成］
図４は、画像処理装置１００のハードウェア構成について示す模式図である。画像処理装置１００は、ＣＰＵ（Central Processing Unit）１１０、メインメモリ１２０、ハードディスク１３０、カメラインターフェイス（Ｉ／Ｆ）１８０、照明Ｉ／Ｆ１４０、および外部メモリＩ／Ｆ１６０を含む。これらの各部は、バス１９０を介して、互いにデータ通信可能に接続される。

ＣＰＵ１１０は、ハードディスク１３０にインストールされた画像処理プログラム１３２および設定プログラム１３４を含むプログラム（コード）をメインメモリ１２０に展開して、これらを所定順序で実行することで、各種の演算を実施する。メインメモリ１２０は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置である。

ハードディスク１３０は、画像処理装置１００が備える内部メモリであって、不揮発性の記憶装置である。画像処理プログラム１３２、設定プログラム１３４、照明パラメータデータベース（ＤＢ）１３６、および設定用パラメータＤＢ１３８を含む。なお、ハードディスク１３０に加えて、あるいは、ハードディスク１３０に代えて、フラッシュメモリなどの半導体記憶装置を採用してもよい。

カメラＩ／Ｆ１８０は、ＣＰＵ１１０とカメラ８との間のデータ伝送を仲介する。すなわち、カメラＩ／Ｆ１８０は、画像データを生成するカメラ８と接続される。また、カメラＩ／Ｆ１８０は、ＣＰＵ１１０からの内部コマンドに従って、接続されているカメラ８における撮像動作を制御するコマンドを与える。

照明Ｉ／Ｆ１４０は、ＣＰＵ１１０と照明装置４との間のデータ伝送を仲介する。すなわち、照明Ｉ／Ｆ１４０は、照明装置４と接続される。また、照明Ｉ／Ｆ１４０は、ＣＰＵ１１０からの内部コマンドに従って、接続されている照明装置４に含まれる複数の発光部４１の各々の点灯を制御するコマンドを与える。なお、照明装置４は、カメラ８を介して画像処理装置１００と接続されてもよい。また、カメラ８は、照明装置４を介して画像処理装置１００と接続されてもよい。

外部メモリＩ／Ｆ１６０は、外部メモリ６と接続され、外部メモリ６に対するデータの読み込み／書き込みの処理をする。外部メモリ６は、画像処理装置１００に着脱可能であって、典型的には、ＵＳＢ（Universal Serial Bus）メモリ、メモリカードなどの不揮発性の記憶装置である。また、画像処理プログラム１３２や設定プログラム１３４等の各種プログラムおよび照明パラメータＤＢ１３６や設定用パラメータＤＢ１３８等の各種パラメータＤＢは、ハードディスク１３０に保存されている必要はなく、画像処理装置１００と通信可能なサーバや、画像処理装置１００と直接接続可能な外部メモリ６に保存されていてもよい。たとえば、外部メモリ６に画像処理装置１００で実行される各種プログラムおよび各種プログラムで用いられる各種パラメータが格納された状態で流通し、外部メモリＩ／Ｆ１６０は、この外部メモリ６から各種プログラムおよび各種パラメータを読み出す。あるいは、画像処理装置１００と通信可能に接続されたサーバなどからダウンロードしたプログラムやパラメータを画像処理装置１００にインストールしてもよい。

なお、本実施の形態に係る画像処理プログラム１３２および設定プログラム１３４は、他のプログラムの一部に組み込まれて提供されるものであってもよい。

また、代替的に、画像処理プログラム１３２および設定プログラム１３４の実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。

［概要］
ワークＷの外観画像からワークＷの外観検査を画像処理により行なう場合に、照明装置４とカメラ８とワークＷとの位置関係および、ワークＷの材質や、検出したい傷の種類等の検査項目などによって、照射する光の強度、および照射する光の波長を変えることで、検査に応じた画像データを取得することができる。

従来は、ワークＷに対してカメラ８を動かすことなく画像処理を行なう場合、１回の撮像に対して、１の照明条件が設定されていた。しかし、照明装置４とカメラ８とワークＷとの位置関係は、ワークＷの領域ごとに異なる。そのため、１回の撮像で、ある領域の画像データからは検査に適した特徴量を抽出できたとしても、別の領域の画像データからは検査に適した特徴量を抽出できていないおそれがある。

たとえば、カメラ８の撮像視野内であっても、位置によって、カメラ８の視線方向や、照明装置４からの光の放射方向が異なる。また、ワークＷの形状によっては、位置によってカメラ８の視線方向や、照明装置４からの光の放射方向が異なる。そのため、カメラ８の撮像視野内のうちのいずれの位置においても検査に適した画像データとなるようには同時には実現することができていなかった。

本実施の形態における画像処理システム１は、撮像視野内の位置ごとに画像計測の目的に適合した画像データを生成することで、画像データ内のどの位置においても検査に適した画像データを取得することができる。

［第１の具体例］
撮像視野内のどの位置においても検査に適した画像データを取得して画像計測を行うための第１の具体例について説明する。第１の具体例における画像処理システム１において、カメラ８は、照明条件を変えて複数の画像データ８１を生成する。画像処理装置１００は、画像データ８１に規定される部分領域ｒｉごとに、部分領域ｒｉに対応する部分画像データ８２を複数の画像データ８１の各々から抽出して、複数の部分画像データ８２を部分領域ｒｉごとに規定された第１パラメータセットρｉにしたがって合成することで部分領域画像データＲｉを生成する。また、画像処理装置１００は、生成された部分領域画像データＲｉに対して画像計測を行なう。

（画像計測の流れ）
図５を参照して、第１の具体例における画像処理システム１が行なう画像計測の流れを説明する。図５は、第１の具体例における画像計測の流れを説明するための図である。

画像処理装置１００は、複数の発光部４１を１つずつ順次発光させ、発光部４１の順次発光に対応して対象物を撮像して画像データ８１を取得する。たとえば、画像処理装置１００は、発光部４１（ｘ１、ｙ１）だけを所定の発光強度で点灯させた発光状態１において撮像された画像データ８１（ｘ１、ｙ１）、発光部４１（ｘ２、ｙ１）だけを所定の発光強度で点灯させた発光状態２において撮像された画像データ８１（ｘ２、ｙ１）等をカメラ８から取得する。なお、以下、発光部４１（ｘ、ｙ）を所定の発光強度で点灯させた点灯条件下で撮像して得られた画像データ８１を画像データ８１（ｘ、ｙ）と表現する。

画像データ８１は、予め規定された複数の部分領域ｒｉを含む。この部分領域ｒｉは、カメラ８の撮像視野の一部分に相当する。画像処理装置１００は、複数の画像データ８１（ｘ、ｙ）から生成対象の部分領域ｒｉに対応する部分画像データ８２ｉ（ｘ、ｙ）をそれぞれ抽出する。画像処理装置１００は、部分領域ｒｉごとに各発光部４１からの影響を規定した第１パラメータセットρｉに従って、複数の画像データ８１（ｘ、ｙ）のそれぞれから抽出した複数の部分画像データ８２ｉ（ｘ、ｙ）を合成することで、部分領域ｒｉごとに部分領域画像データＲｉを生成する。

部分領域ｒｉごとに各発光部４１からの影響を規定した第１パラメータセットρｉとは、たとえば、異なる発光状態の各々において撮像されて得られた複数の画像データ８１（ｘ、ｙ）の部分領域ｒｉに対応する各部分画像データ８２ｉ（ｘ、ｙ）が画像計測の目的に適合した画像データであるかを相対的に示したものである。画像計測の目的に適合しているか否かは、たとえば、得られるはずの特徴量が部分画像データ８２ｉ（ｘ、ｙ）に含まれているか、得られるはずのない特徴量が部分画像データ８２ｉ（ｘ、ｙ）に含まれているかなどによって判断することができる。

発光部４１（ｘ１、ｙ１）から照射された光に基づいて生成される画像データ８１（ｘ１、ｙ１）のうちの部分領域ｒ１に含まれる部分画像データ８２１（ｘ１、ｙ１）からは、画像計測に適した特徴量が抽出されるにも関わらず、発光部４１（ｘ５、ｙ１）から照射された光に基づいて生成される画像データ８１（ｘ５、ｙ１）のうち、部分領域ｒ１に含まれる部分画像データ８２１（ｘ５、ｙ１）からは、画像計測に適さない特徴量が抽出されることがある。これは、領域ｒｉに対応するワークＷの表面領域と、カメラ８と、発光部４１との位置関係が、発光部４１（ｘ１、ｙ１）と発光部４１（ｘ５、ｙ１）とで異なることにより生じる。この場合に、第１パラメータセットρｉは、画像計測に適した特徴量が抽出される部分画像データ８２１（ｘ１、ｙ１）の影響が大きく、画像計測に適さない特徴量が抽出される部分画像データ８２１（ｘ５、ｙ１）の影響が小さくなるように、設定される。

たとえば、第１パラメータセットρｉは、画像データ８１（ｘ、ｙ）ごとに設定された第１パラメータρｉ（ｘ、ｙ）の集合である。画像処理装置１００は、この第１パラメータセットρｉを部分領域ｒｉごとに備える。画像処理装置１００は、たとえば、部分領域画像データＲｉを以下の式（１）に基づいて算出する。

画像処理装置１００は、得られた部分領域画像データＲｉに基づいて画像計測を行なう。たとえば、画像処理装置１００は、得られた部分領域画像データＲｉに含まれる特徴量を抽出し、当該特徴量に基づいて、ワークＷの表面状態について計測する。

ここで、第１パラメータセットρｉを用いて部分領域画像データＲｉを合成する際に線形和で合成するとしたが、合成方法はこれに限られない。例えば、複数の線形和を求めて、互いに掛け算や割り算を行うことで合成しても良い。また、第１パラメータセットρｉは、正の値でも、負の値であっても良い。また、合成する際の演算に最大値または最小値を用いても良い。また、画像計測を行うにあたって、部分領域画像データＲｉを個別に評価してもよく、また、すべての部分領域画像データＲｉを合成して、カメラ８の撮像視野全体の画像データを生成した上で画像計測を行っても良い。

（第１パラメータセットρｉの補正）
画像処理装置１００は、ワークＷの撮像視野内における配置状況に応じて第１パラメータセットρｉを補正してもよい。たとえば、第１パラメータセットρｉ設定時のワークＷの撮像視野内における配置状況と、計測時のワークＷの撮像視野内における配置状況とが異なる場合に、発光部４１とワークＷとの位置関係が第１パラメータセットρｉ設定時と異なるにも関わらず、第１パラメータセットρｉを補正せずに用いた場合に、画像計測の精度が本来の精度に比較して下がってしまう。

図６は、第１の具体例における第１パラメータセットρｉの位置補正について説明するための図である。たとえば、図６（１）に示すように、第１パラメータセットρｉ設定時において、ワークＷの領域ａの上部に位置する発光部４１（ｘ、ｙ）で撮像した画像データ８１（ｘ、ｙ）の領域ａに対応する画像データ８１（ｘ、ｙ）内の位置に対して第１パラメータρａ（ｘ，ｙ）が設定されたものとする。この場合に、図６（２）に示すように、計測時にワークＷの配置状況が変化して、ワークＷの領域ａの上部に発光部４１（ｘ’、ｙ’）が位置することとなったとする。計測時には、発光部４１（ｘ’、ｙ’） で撮像した画像データ８１（ｘ’、ｙ’）の領域ａに対応する画像データ８１（ｘ’、ｙ’）内の位置に対する第１パラメータρａ（ｘ’、ｙ’）を第１パラメータρａ（ｘ、ｙ）に補正することで、ワークＷと発光部４１との位置関係に応じた第１パラメータρａを設定することができる。

ここで、（ｘ、ｙ）と（ｘ’、ｙ’）との関係は、たとえば、式（２）で表される。

図６（３）に示すように、ｗは、設定時におけるワークＷが、計測時においてどの程度回転したかを示す回転成分であって、たとえば、回転ベクトルによって示される。また、Ｔは、ワークＷの中心がどの程度平行移動したかを示す並進成分である。なお、第１パラメータセットρｉは既知の他の手法によって補正されてもよい。

（第１の具体例における画像計測に用いられる画像処理装置の機能構成）
図７は、第１の具体例における画像計測に用いられる画像処理装置１００の機能構成を示す図である。画像処理装置１００は、生成部１０と、画像計測部２０とを含む。生成部１０は、照明装置４に含まれる複数の発光部４１の発光状態を異ならせた、複数の照明条件下で撮像して得られる複数の画像データ８１を取得し、複数の画像データ８１から、部分領域画像データＲｉを生成する。

生成部１０は、照明装置４とカメラ８とをそれぞれ制御する制御部１２と、制御部１２からの制御に従ってカメラ８が撮像して生成した複数の画像データ８１（ｘ、ｙ）から部分領域画像データＲｉを合成する合成処理部１４とを備えてもよい。

制御部１２は、たとえば、発光部４１を1つずつ順次発光させるように照明装置４を制御する照明制御部１２２と、発光部４１の順次発光に対応してワークＷを撮像するようにカメラ８を制御する撮像制御部１２４とを備える。

合成処理部１４は、たとえば、カメラ８によって生成された複数の画像データ８１（ｘ、ｙ）の各々から、合成対象の部分領域ｒｉに対応する部分画像データ８２ｉ（ｘ、ｙ）を抽出する抽出部１４２と、抽出した複数の部分画像データ８２ｉ（ｘ、ｙ）を部分領域ｒｉに対応する第１パラメータセットρｉに従って合成することで、部分領域画像データＲｉを生成する合成部１４４とを備える。

また、生成部１０は、ワークＷの配置状況に応じて部分領域画像データＲｉの生成に関する条件を補正する補正部１６を備えてもよい。第１の具体例においては、補正部１６は、第１パラメータセットρｉをワークＷの配置状況に応じて補正する。補正部１６は、ワークＷの配置状況を特定する位置特定部１６２と、位置特定部１６２が特定したワークＷの配置状況に基づいて、ワークＷが基準となるワークＷの配置状況からどの程度移動したかに基づいて部分領域画像データＲｉの生成に関する条件を補正するパラメータ補正部１６４とを備える。第１の具体例において、パラメータ補正部１６４は、第１パラメータセットρｉを補正する。第１パラメータセットρｉは、たとえば、照明パラメータＤＢ１３６に記憶されている。

基準となるワークＷの配置状況は、たとえば、第１パラメータセットρｉの設定時のワークＷの配置状況である。設定時のワークＷの配置状況は、たとえば、ワークＷの重心位置と、カメラ８と、照明装置４とが同軸上に配置された状況である。

第１の具体例において、合成処理部１４は、パラメータ補正部１６４が補正したパラメータセットρ’ｉに従って部分領域画像データＲｉを生成してもよい。

また、生成部１０は、ワークＷを含む領域を特定し、ワークＷを含む領域内にある部分領域ｒｉに対応する部分領域画像データＲｉだけを生成してもよい。このようにすることで、部分領域画像データＲｉを生成する数を減らすことができ、生成部１０が実行する処理を軽減することができる。

画像計測部２０は、部分領域画像データＲｉを画像計測して画像計測結果を出力する。画像計測部２０は、たとえば、部分領域画像データＲｉごとに特徴量を抽出して、当該特徴量に基づいて、ワークＷの外観を計測してもよい。また、生成された複数の部分領域画像データＲｉをすべて合成した後、特徴量を抽出して、当該特徴量に基づいて、ワークＷの外観を計測してもよい。画像計測結果の出力先は、画像計測結果に基づいて所定の制御を行う制御装置や、携帯式の端末、印刷器、ディスプレイ等の表示部、メモリなどの記憶部などが挙げられる。

（第１パラメータセットρｉの決定方法）
図８は、第１の具体例における第１パラメータセットρｉの決定方法を説明するための図である。第１パラメータセットρｉは、第１パラメータセットρｉにしたがって生成された画像データＲが画像計測の目的に適合した画像データとなるように決定される。

「画像計測の目的に適合した画像データ」とは、たとえば、画像計測の目的が傷の有無を調べる検査である場合においては、傷が有る領域には所定の特徴量が含まれ、傷の無い領域には当該特徴量が含まれないような画像データである。

決定方法としては、たとえば、外観の状態が既知の教示用サンプルＷｋを撮像して得られた画像データから生成される画像データＲが示す教示用サンプルの外観の状態と、実際の教示用サンプルＷｋの外観の状態とを一致させていくように、第１パラメータセットρｉをフィッティングする。なお、教示用サンプルＷｋを用いずとも、たとえば、特徴量が所定の閾値を超えるか否かによって、画像計測結果が２つの結果に分かれる場合に、閾値に対して特徴量が離れた値を取るように第１パラメータセットρｉを決定してもよい。すなわち、複数のサンプルに対して画像計測を行なった場合に、第１の結果となる集合に含まれるサンプルから抽出される特徴量と、第２の結果となる集合に含まれるサンプルから抽出される特徴量とが、離れた値となるように第１パラメータセットρｉを決定してもよい。

なお、以下では、外観の状態が既知の教示用サンプルＷｋを撮像し、当該教示用サンプルＷｋの実際の外観の状態と、画像データＲが示す教示用サンプルの外観の状態とが一致するように第１パラメータセットρｉを決定する方法を例に説明する。

画像処理装置１００は、複数の発光部４１を１つずつ順次発光させ、発光部４１の順次発光に対応して外観の状態が既知である教示用サンプルＷｋを撮像して得られる複数の画像データ８１に基づいて、第１パラメータセットρｉを決定する。画像処理装置１００は、たとえば、予め定められたコスト関数Ｅ（ρｉ）が示す値が最大となるように、第１パラメータセットρｉをフィッティングすることで、第１パラメータセットρｉを決定する。

コスト関数Ｅ（ρｉ）は、部分領域画像データＲｉと隣接する部分領域画像データＲｉ＋１、Ｒｉ−１との連続性を示す関数ｆ（ρｉ）と、部分領域画像データＲｉを画像計測した場合の計測精度を示す関数ｇ（ρｉ）とからなる。コスト関数Ｅ（ρｉ）においては、部分領域画像データＲｉの連続性に関するファクタと、計測精度に関するファクタとのうち、第１パラメータセットρｉを決定する上でいずれのファクタを重要とするかを定数αおよび定数βを各関数に乗算することで示すことができる。

計測精度に関する関数について、詳細に説明する。たとえば、外観にキズがあるか否かを、特徴量を抽出して、特徴量が予め定められた閾値を超えていればキズありと判定し、閾値未満であればキズなしと判断するような場合を考える。この場合に、計測精度に関する関数は、キズのある部分領域ｒｉに対応する部分領域画像データＲｉに含まれる特徴量が大きいほど、また、キズのない部分領域ｒｉに対応する部分領域画像データＲｉに含まれる特徴量が小さいほど、関数ｇ（ρｉ）が示す値が大きくなるような関数である。

計測精度に関する関数ｇ（ρｉ）は、たとえば、式（３）で表される。

Ｓｉｋは教師用データであって、教示用サンプルＷｋ中の部分領域ｒｉに相当する表面にキズがあるか否かを示す値である。Ｓｉｋは、教示用サンプルＷｋ中の部分領域ｒｉに相当する表面にキズがある場合は「Ｓ＝１」となり、キズがない場合は「Ｓ＝−１」となる。また、Ｖａｒとは、画像の濃度分散、または濃度分散を２値化したものであって、部分領域画像データＲｉ内の画素値の濃度分散、または濃度分散を２値化したものである。なお、Ｖａｒとしては、部分領域画像データＲｉに含まれる特徴量であってもよい。

コスト関数Ｅ（ρｉ）に連続性を示す関数ｆ（ρｉ）を含めることで、第１パラメータセットρｉが局所的に最適化されてしまうことを防止することができる。

図８に示す例では、コスト関数Ｅ（ρｉ）に連続性を示す関数ｆ（ρｉ）を含めるものとしたが、連続性を示す関数ｆ（ρｉ）を含めなくとも良い。また、第１パラメータセットρｉを調整するにあたっては、勾配法に準じた方法、ニューラルネットワークを用いた方法など、種々の既知の方法を採用することができる。

（第１の具体例における第１パラメータセットρｉ決定時の画像処理装置の機能構成）
図９は、第１の具体例における第１パラメータセットρｉ決定時の画像処理装置１００の機能構成を示す図である。画像処理装置１００は、照明装置４とカメラ８とをそれぞれ制御する制御部１２と、制御部１２からの制御に従ってカメラ８が撮像して生成した複数の画像データ８１（ｘ、ｙ）から部分領域画像データＲｉを合成する合成処理部１４と、決定部３０とを備える。

制御部１２は、たとえば、発光部４１を１つずつ順次発光させるように照明装置４を制御する照明制御部１２２と、発光部４１の順次発光に対応してワークＷを撮像するようにカメラ８を制御する撮像制御部１２４とを備える。

決定部３０は、コスト関数Ｅ（ρｉ）に従ってコストＥを演算する演算部３２と、コストＥの値が大きくなるように条件をフィッティングする調整部３４と、条件を決定する条件決定部３６とを備える。条件には、第１パラメータセットρｉを含み、第１パラメータセットρｉとは換言すると、画像データ８１の位置ごとに規定された合成パラメータセットである。第１の具体例においては、調整部３４は第１パラメータρｉをフィッティングして、条件決定部３６が部分領域ｒｉごとに第１パラメータセットρｉを決定する。

合成処理部１４は、たとえば、カメラ８によって生成された複数の画像データ８１（ｘ、ｙ）の各々から、合成対象の部分領域ｒｉに対応する部分画像データ８２ｉ（ｘ、ｙ）を抽出する抽出部１４２と、抽出した複数の部分画像データ８２ｉ（ｘ、ｙ）を部分領域ｒｉに対応する第１パラメータセットρｉに従って合成することで、部分領域画像データＲｉを生成する合成部１４４とを備える。

演算部３２は、調整部３４が調整した第１パラメータセットρｉに従って、抽出部１４２が抽出した複数の部分画像データ８２から部分領域画像データＲｉを合成部１４４に生成させ、合成部１４４が生成した部分領域画像データＲｉと、抽出部１４２が抽出した部分画像データ８２とからコストＥを算出する。

調整部３４は、演算部３２が算出したコストＥに基づいて第１パラメータセットρｉを調整する。条件決定部３６は、演算部３２が算出したコストＥを評価して、第１パラメータセットρｉを決定し、決定した第１パラメータセットρｉを照明パラメータＤＢ１３６として、記憶部の一例であるハードディスク１３０に保存する。

第１の具体例においては、部分領域ｒｉごとに第１パラメータセットρｉを設けるものを例にあげたが、１画素ごとに第１パラメータセットρｉを設けるものであってもよい。また、第１パラメータセットρｉは画像データ８１の位置に関連付けて規定されていればよく、たとえば、位置に関連した連続する関数であってもよい。

［第２の具体例］
撮像視野内のどの位置においても検査に適した画像データを取得して画像計測を行うための第２の具体例について説明する。第１の具体例においては、照明条件の異なる複数枚の画像データ８１の各々から部分画像データ８２を抽出し、抽出した複数の部分画像データ８２を第１パラメータセットρに従って合成することで部分領域画像データＲｉを生成するものとした。

第２の具体例において、画像処理装置１００は、部分領域ｒｉごとに設定された発光状態を示す第２パラメータセットＰｉに従って、部分領域ｒｉごとに発光状態を変更してワークＷを撮像し、得られた画像データ８１から部分領域ｒｉに対応する部分領域画像データＲｉを生成する。

（画像計測の流れ）
図１０を参照して、第２の具体例における画像処理システム１が行なう画像計測の流れを説明する。図１０は、第２の具体例における画像計測の流れを説明するための図である。

画像処理装置１００は、複数の発光部４１の発光状態を規定する第２パラメータセットＰｉに従って照明装置４を制御する。具体的に第２パラメータセットＰｉは、発光部４１（ｘ、ｙ）ごとの発光強度を示すパラメータであって、第２パラメータセットＰｉには、発光部４１（ｘ、ｙ）ごとに設けられた発光部４１(ｘ、ｙ）の発光強度を示す第２パラメータＰｉ（ｘ、ｙ）が含まれる。

第２パラメータセットＰｉは、画像データ８１に規定される部分領域ｒｉごとに設けられている。画像処理装置１００は、部分領域ｒｉごとに設けられた第２パラメータセットＰｉの各々に従って照明装置４を制御し、各第２パラメータＰｉに従って発光状態を変える。カメラ８は、各発光状態の下で対象物を撮像し、画像データ８１ｉを生成する。画像処理装置１００は、各照明条件下で生成された画像データ８１ｉから、部分領域ｒｉに対応する部分画像データ８２ｉを部分領域画像データＲｉとして抽出する。画像処理装置１００は、生成した部分領域画像データＲｉを画像計測して画像計測結果を出力する。

たとえば、部分領域ｒｉに対応する部分領域画像データＲｉを生成する場合、画像処理装置１００は、照明装置４の各発光部４１（ｘ、ｙ）の発光強度を第２パラメータセットＰｉに対応する発光強度で発光させる。この照明条件下で撮像して生成された画像データ８１ｉから、画像処理装置１００は、部分領域ｒｉに対応する部分画像データを部分領域画像データＲｉとして抽出する。

（第２パラメータセットＰｉの補正）
画像処理装置１００は、ワークＷの撮像視野内における配置状況に応じて第２パラメータセットＰｉを補正してもよい。たとえば、第２パラメータセットＰｉ設定時のワークＷの撮像視野内における配置状況と、計測時のワークＷの撮像視野内における配置状況とが異なる場合に、発光部４１とワークＷとの位置関係が第２パラメータセットＰｉ設定時と異なるにも関わらず、第２パラメータセットＰｉを補正せずに用いた場合に、画像計測の精度が本来の精度に比較して下がってしまう。

図１１は、第２の具体例における第２パラメータセットＰｉの位置補正について説明するための図である。たとえば、図１１（１）に示すように、第２パラメータセットＰｉ設定時において、ワークＷの領域ａに対応する部分領域ｒａの部分領域画像Ｒａを生成する場合の照明条件として、発光部４１（ｘ１、ｙ１）を第２パラメータＰａ（ｘ１、ｙ１）に従って点灯させ、発光部４１（ｘ２、ｙ１）を第２パラメータＰａ（ｘ２、ｙ１）に従って点灯させ・・・というように、複数の発光部４１のそれぞれに対して第２パラメータＰａ（ｘ、ｙ）が設定されているものとする。

この場合に、計測時にワークＷの配置状況が変化して、ワークＷの領域ａに対応する部分領域ｒａの位置が、設定時と比較して平行方向にＴ、回転方向にｗ移動したものとする。すなわち、ワークＷと照明装置との位置関係が平行方向にＴ、回転方向にｗ分変化したこととなる。

画像処理装置１００は、その位置関係の変化に合わせて、第２パラメータＰａ（ｘ、ｙ）と、発光部４１（ｘ、ｙ）との関係を設定しなおすことで、第２パラメータセットＰｉを補正することができる。

たとえば、設定時において発光部４１（ｘ、ｙ）を第２パラメータＰａ（ｘ、ｙ）で発光することが設定されているものとする。この場合に、第２パラメータＰａ（ｘ、ｙ）が発光強度Ｌａと発光部４１（ｘ、ｙ）で表現されるものとする。補正後のＰａ（ｘ’、ｙ’）は式（４）で表現される。

ここで、ｗとＴが示す係数は、式（２）のｗとＴが示す係数と等しいため、説明を割愛する。

（第２の具体例における画像計測に用いられる画像処理装置１００の機能構成）
図１２は、第２の具体例における画像計測に用いられる画像処理装置１００の機能構成を示す図である。画像処理装置１００は、生成部１０と、画像計測部２０とを含む。

生成部１０は、照明装置４とカメラ８とをそれぞれ制御する制御部１２と、制御部１２からの制御に従ってカメラ８が撮像して生成した複数の画像データ８１のうちの少なくとも１つの画像データ８１から、生成対象の部分領域ｒｉに対応する部分領域画像データＲｉを生成する生成処理部１８とを備えてもよい。

制御部１２は、照明装置４を制御する照明制御部１２２と、カメラ８を制御する撮像制御部１２４とを備える。照明制御部１２２は、部分領域ｒｉごとに設定された第２パラメータセットＰｉに従って複数の発光部４１（ｘ、ｙ）の各々の発光強度を制御する。撮像制御部１２４は、第２パラメータセットＰｉに従って照明装置４が制御されているときに、ワークＷをカメラ８に撮像させて画像データ８１ｉを生成させる。

生成処理部１８は、画像データ８１ｉを撮像した照明条件に対応する第２パラメータセットＰｉに対応する部分領域ｒｉに対応する画像データを部分領域画像データＲｉとして生成する。

また、生成部１０は、ワークＷの配置状況に応じて部分領域画像データＲｉの生成に関する条件を補正する補正部１６を備えてもよい。第２の具体例においては、補正部１６は、第２パラメータセットＰｉをワークＷの配置状況に応じて補正する。補正部１６は、ワークＷの配置状況を特定する位置特定部１６２と、位置特定部１６２が特定したワークＷの配置状況に基づいて、ワークＷが基準となるワークＷの配置状況からどの程度移動したかに基づいて部分領域画像データＲｉの生成に関する条件を補正するパラメータ補正部１６４とを備える。第２の具体例において、パラメータ補正部１６４は、第２パラメータセットＰｉを補正する。第２パラメータセットＰｉは、たとえば、照明パラメータＤＢ１３６に記憶されている。

基準となるワークＷの配置状況は、たとえば、第２パラメータセットＰｉの設定時のワークＷの配置状況である。設定時のワークＷの配置状況は、たとえば、ワークＷの重心位置と、カメラ８と、照明装置４とが同軸上に配置された状況である。

照明制御部１２２は、パラメータ補正部１６４が補正した第２パラメータセットＰ’ｉに従って照明装置４の発光状態を制御してもよい。

また、生成部１０は、ワークＷを含む領域を特定し、ワークＷを含む領域内にある部分領域ｒｉに対応する部分領域画像データＲｉに対応する照明条件下だけで撮像してもよい。このようにすることで、撮像回数を減らすことができ、生成部１０が実行する処理を軽減することができる。

（第２パラメータセットＰｉの決定方法）
図１３は、第２の具体例における第２パラメータセットＰｉの決定方法を説明するための図である。第２パラメータセットＰｉは、第２パラメータセットＰｉにしたがって照明装置４を制御し、各発光状態の下で撮像して得られる画像データ８１から生成される画像データＲが画像計測の目的に適合した画像データとなるように決定される。

「画像計測の目的に適合した画像データ」とは、たとえば、画像計測の目的が傷の有無を調べる検査である場合においては、傷が有る領域には所定の特徴量が含まれ、傷の無い領域には当該特徴量が含まれないような画像データである。

決定方法としては、第１の具体例と同様、外観の状態が既知の教示用サンプルＷｋを撮像して得られた画像データ８１に基づいて生成された画像データＲが示す外観の状態と、教示用サンプルＷｋの実際の外観の状態とが一致するように第２パラメータセットＰｉをフィッティングする。また、教示用サンプルＷｋを用いずとも、たとえば、特徴量が所定の閾値を超えるか否かによって、画像計測結果が２つの結果に分かれる場合に、閾値に対して特徴量が離れた値を取るように第２パラメータセットＰｉを決定してもよい。

なお、以下では、教示用サンプルＷｋを撮像して得られた画像データ８１に基づいて生成される画像データＲが示す外観の状態と、教示用サンプルＷｋの実際の外観の状態とが一致するように第２パラメータセットＰｉを決定する方法を例に説明する。

画像処理装置１００は、適当な第２パラメータセットＰｉに従って発光部４１を点灯させた状態で外観の状態が既知である教示用サンプルＷｋを撮像して得られる画像データ８１に基づいて、第２パラメータセットＰｉを決定する。画像処理装置１００は、コスト関数Ｅ（Ｐｉ）が示す値が最大となるように、照明条件を変化させて、第２パラメータセットＰｉをフィッティングすることで、第２パラメータセットＰｉを決定する。

第２の具体例においては、コスト関数Ｅ（Ｐｉ）は、部分領域画像データＲｉを画像計測した場合の計測精度を示す関数ｇ（Ｐｉ）からなる。計測精度を示す関数ｇ（Ｐｉ）は、第１の具体例における関数ｇ（ρｉ）と同様であって、キズのある部分領域ｒｉに対応する部分領域画像データＲｉに含まれる特徴量が大きいほど、また、キズのない部分領域ｒｉに対応する部分領域画像データＲｉに含まれる特徴量が小さいほど、一致度合いに関する関数が示す値が大きくなるような関数である。

計測精度に関する関数ｇ（Ｐｉ）は、たとえば、式（５）で表される。

Ｓｉｋは教師用データであって、教示用サンプルＷｋ中の部分領域ｒｉに相当する表面にキズがあるか否かを示す値である。Ｓｉｋは、教示用サンプルＷｋ中の部分領域ｒｉに相当する表面にキズがある場合は「Ｓ＝１」となり、キズがない場合は「Ｓ＝−１」となる。また、Ｖａｒとは、画像の濃度分散、または濃度分散を２値化したものであって、部分領域画像データＲｉ内の画素値の濃度分散、または濃度分散を２値化したものである。なお、Ｖａｒとしては、部分領域画像データＲｉに含まれる特徴量であってもよい。

ここで、第２パラメータセットＰｉを決定する場合には、部分領域画像データＲｉについて、当該部分領域画像データＲｉから得られるコストＥｉが最大となるように第２パラメータセットＰｉが決定される。

なお、第２パラメータセットＰｉを算出するにあたっては、総当たりで複数の発光部４１の各々の発光強度を総当たりで変化させることで求めてもよく、また、山登り法に準じた方法で第２パラメータセットＰｉを調整することで求めても良い。

（第２の具体例における第２パラメータセットＰｉ決定時の画像処理装置の機能構成）
図１４は、第２の具体例における第２パラメータＰｉ決定時の画像処理装置１００の機能構成を示す図である。画像処理装置１００は、照明装置４とカメラ８とをそれぞれ制御する制御部１２と、制御部１２からの制御に従ってカメラ８が撮像して生成した複数の画像データ８１（ｘ、ｙ）のうちの少なくとも一の画像データ８１から、生成対象の部分領域ｒｉに対応する部分領域画像データＲｉを生成する生成処理部１８と、決定部３０とを備える。

第２の具体例における制御部１２は、たとえば、発光部４１を指定された第２パラメータセットＰｉにしたがって照明装置４を制御する照明制御部１２２と、指定された第２パラメータセットＰｉにしたがって制御された照明条件下でワークＷを撮像するようにカメラ８を制御する撮像制御部１２４とを備える。

第２の具体例における照明制御部１２２は、部分領域ｒｉごとに設定される第２パラメータＰｉにしたがって照明装置４を制御する。第２パラメータＰｉにしたがって照明装置４が制御された照明条件下でカメラ８が撮像して得られる画像データ８１を、画像データ８１ｉともいう。

決定部３０は、コスト関数Ｅ（Ｐｉ）に従ってコストＥを演算する演算部３２と、コストＥの値が大きくなるように条件をフィッティングする調整部３４と、条件を決定する条件決定部３６とを備える。第２の具体例において、条件には、第２パラメータセットＰｉを含む。第２の具体例においては、調整部３４は第２パラメータＰｉをフィッティングして、条件決定部３６が第２パラメータセットＰｉを部分領域ｒｉごとに決定する。

生成処理部１８は、たとえば、カメラ８によって生成された複数の画像データ８１ｉから、部分領域ｒｉに対応する部分画像データ８２ｉを抽出して、部分領域画像データＲｉを生成する。

演算部３２は、調整部３４が調整した第２パラメータセットＰｉに従って制御された照明条件下で撮像された画像データ８１から生成処理部１８が生成した部分領域画像データＲｉからコストＥを算出する。

調整部３４は、演算部３２が算出したコストＥに基づいて第２パラメータセットＰｉを調整する。具体的には、調整部３４は、コストＥが大きくなるように第２パラメータセットＰｉを再設定し、当該再設定した第２パラメータセットＰｉにしたがった照明条件下で再度教示用サンプルＷｋを撮像し、画像データ８１を取得する。取得した画像データ８１に基づいて条件決定部３６は、演算部３２が算出したコストＥを評価して、第２パラメータセットＰｉを決定し、決定した第２パラメータセットＰｉを照明パラメータＤＢ１３６として、記憶部の一例であるハードディスク１３０に保存する。

第２の具体例においては、部分領域ｒｉごとに第２パラメータセットＰｉを設けるものを例にあげたが、１画素ごとに第２パラメータセットＰｉを設けるものであってもよい。また、第２パラメータセットＰｉは、画像データ８１の位置に関連付けて規定されていればよく、たとえば、位置に関連した連続する関数であってもよい。

［利用例］
本実施の形態においては、異なる照明条件下で撮像した複数の画像データ８１のうちの少なくとも一の画像データ８１から部分領域画像データＲｉを生成するとしたが、照度差ステレオ法の計算に準じて、部分領域ｒｉに含まれるワークＷの表面の法線ベクトルを求めても良い。

カメラ８の位置とワークＷとの位置関係を変えることなく、互いに照明条件の異なる複数の画像データ８１を得ることができるため、照度差ステレオ法に準じた演算方法で画像データ８１を処理することで、ワークＷ表面の法線ベクトルを求めることができる。すなわち、照明条件が固定されている画像処理システム１に比べて、本実施の形態における画像処理システム１は、ワークＷについての情報を多く取得することができる。

また、第１の具体例における画像計測も、第２の具体例における画像計測も、いずれにおいても、異なる照明条件下でワークＷを撮像して、複数の画像データ８１取得したのち、複数の画像データ８１のうちの少なくとも１の画像データ８１に基づいて部分領域ｒｉごとに部分領域画像データＲｉが生成される。そのため、撮像視野の全体（画像データ８１の全体）で、適切な照明条件を設定することができる。

［変形例］
（部分領域ｒｉについて）
本実施の形態において、部分領域ｒｉについては一定間隔で画像データ８１に規定されるものとした。図１５は、部分領域ｒｉの規定方法の変形例を説明するための図である。例えば、１画素ずつ規定されるものであっても良い。また、図１５の例のように、ワークＷに基づいて部分領域ｒｉを規定してもよい。たとえば、ワークＷのモデル画像（ＣＡＤデータ）を用いて規定しても良い。具体的には、ワークＷ表面の法線ベクトルを求め、法線方向が共通する領域を一の領域として分割しても良い。図１５においては、領域ｒ１、ｒ２、ｒ３、ｒ４、ｒ５は互いに法線方向が異なる領域であって、ｒ５〜ｒ８は法線方向が共通する領域である。また、法線方向が共通する一の領域の面積に応じて、さらに分割しても良い。分割するにあたっては、法線方向が急激に変化する境界Ｑを部分領域ｒｉの境界に設定することが好ましい。また、一定以上の面積を有する領域は複数に分割することが好ましい。たとえば、図１５に示す例では、ｒ５〜ｒ８は互いに法線方向が共通するものの、ｒ５〜ｒ８の合計面積が特定の面積値以上であれば、境界Ｕによって分割される。

また、第１の具体例においては、発光部４１を一つずつ点灯させた上で、画像データ８１を取得し、各画像データ８１内の対応する領域ごとに濃度ベクトルを抽出した上で、抽出した濃度ベクトルの相関が高い範囲を一の部分領域ｒｉに設定しても良い。

（パラメータの設定方法）
第１パラメータセットρｉまたは第２パラメータセットＰｉを設定するにあたって、部分領域ｒｉの数を減らした上で、フィッティングしたのち、部分領域ｒｉの数を増やして再度フィティングをしても良い。このようにすることで、フィッティングの時間を短縮することができる。

教示用サンプルＷｋ用いる場合に、教示用サンプルＷｋの数は、任意の数であれば良い。教示用サンプルＷｋの姿勢を変化させて撮像することで、教示用サンプルＷｋの数を減らしても良い。また、教示用サンプルＷｋは、好ましくは、法線方向が異なる領域ごとに良品表面と不良品表面の組み合わせができるようなものであることが好ましい。すなわち、法線方向が共通しない表面を２つ備えるワークＷに対してパラメータを設定する場合は、第１の表面は不良品表面であり、第２の表面が良品表面であるサンプルと、第２の表面は不良品表面であり、第１の表面が良品表面であるサンプルと、を用いて設定することが好ましい。

第１の具体例においては、コスト関数Ｅ（ρｉ）は、計測精度に関する関数ｇ（ρｉ）と、連続性に関する関数ｆ（ρｉ）とを含むとしたが、計測精度に関する関数ｇ（ρｉ）だけからなる関数であってもよい。また、第２の具体例においても、コスト関数Ｅ（Ｐｉ）は、計測精度に関する関数ｇ（Ｐｉ）からなるとしたが、関数ｇ（Ｐｉ）に加えて、連続性に関する関数ｆ（Ｐｉ）を含んでもよい。

また、第１パラメータセットρｉを設定するにあたって、第１の具体例においては、部分領域画像データＲｉ間の連続性と、計測精度とを同時に評価するものを例にあげたが、部分領域ｒｉごとに計測精度が最も高くなるように第１パラメータセットρｉを設定したのち、部分領域ｒｉ内の第１パラメータセットρｉを緩やかに変化させることで、隣接する部分領域画像データＲｉとの連続性が高くなるような補正をしてもよい。

また、第１パラメータセットρｉおよび第２パラメータセットＰｉとは別に、各部分領域画像データＲｉを合成するための条件を設定してもよい。本実施の形態においては、部分領域画像データＲｉとの境界部分にギャップが生じてしまい、このギャップによって計測精度が下がってしまうおそれがある。このギャップを埋めるために、各部分領域画像データＲｉを合成するための条件を設定してもよい。

また、部分領域ｒｉごとに第１パラメータセットρｉまたは第２パラメータセットＰｉを設定したのちに、各部分領域ｒｉ間に位置する画素ごとに、部分領域ｒｉ間のギャップが低減するように第１パラメータセットρｉまたは第２パラメータセットＰｉを設定しなおしてもよい。

（合成方法）
本実施の形態においては、線形和で画像間演算を行い合成する例を示したが、照度差ステレオに準じて画像間演算を行ってもよい。また、画像計測を行なうにあたって、画像間演算を行ったのちに、空間フィルタリング処理を行ってもよい。

（撮像回数について）
第１の具体例においては、発光部４１の数だけ撮像することとしたが、複数の発光部４１から得られた画像データ８１のうち、ワークＷと発光部４１との位置関係から部分領域画像データＲｉの生成に寄与しない画像データ８１が存在する場合に、当該画像データ８１に対応する発光部４１を点灯させた時の撮像を行わなくとも良い。具体的には、発光部４１（x、y）に対応する第１発光パラメータρｉのすべてが０の値をとる場合は、当該発光部４１（x、y）の画像データを生成しなくとも良い。

また、すべての照明パラメータから共通する要素の一例として、基底ベクトルを求め、基底ベクトルの線形和で照明パラメータを近似しても良い。これにより、基底ベクトルの数だけ撮像すれば良いため、撮像回数を減らすことができる。具体的には、部分領域ｒｉを３つ規定しており、発光部４１が４つある場合に、照明パラメータとして（１、２、-１、０）、（２、４、１、３）、（１、２、１、２）と設定されている場合、基底ベクトルは（１、２、０、１）と（０、０、１、１）となる。基底ベクトルに対応するパラメータで撮像し、すなわち２回撮像し、得られた画像データに所定の係数をかけて加算または減算することで、（１、２、-１、０）条件で撮像した画像データ、（２、４、１、３）条件で撮像した画像データ、（１、２、１、２）条件で撮像した画像データを近似的に求める。

［付記］
以上のように、本実施の形態は以下のような開示を含む。

（構成１）
画像計測を行なう画像処理システム（１）であって、
対象物を撮像して画像データを生成する撮像部（８）と、
前記対象物に照明光を照射するための発光部（４１）が複数配置された照明部（４）と、
前記複数の発光部の発光状態を複数に異ならせた各々において前記撮像部が前記対象物を撮像することで生成される複数の画像データ（８１）を取得するとともに、取得した当該複数の画像データと、前記画像データ内の位置に関連付けて規定される生成条件（Ｐ）とに基づいて、前記画像計測に利用する画像データ（Ｒ）を生成する生成部（１０）とを備える、画像処理システム。

（構成２）
前記生成条件（Ｐ）は、前記画像データ内の隣接する複数画素からなる部分領域（ｒｉ）ごとに規定され、
前記生成部（１０）は、前記画像計測に利用する画像データ（Ｒ）として、前記部分領域ごとに当該部分領域に対応する部分領域画像データ（Ｒｉ）を生成する、構成１に記載の画像処理システム。

（構成３）
前記生成部（１０）は、前記画像計測に利用する画像データ（Ｒ）を、前記部分領域（ｒｉ）ごとに生成した複数の前記部分領域画像データ（Ｒｉ）を１の画像データに合成することで生成する、構成２に記載の画像処理システム。

（構成４）
前記生成部（１０）は、
複数の前記発光部（４１）のうちの１の発光部を順次発光させるように前記照明部を制御する（１２２）とともに、前記発光部の順次発光に対応して前記対象物を撮像するように前記撮像部を制御する（１２４）制御部（１２）と、
前記撮像部により生成される複数の画像データ（８１）から生成対象の前記部分領域（ｒｉ）に対応する部分画像データ（８２ｉ）をそれぞれ抽出する（１４２）とともに、各発光部からの影響を前記部分領域ごとに規定した第１のパラメータセット（ρｉ）にしたがって、抽出した複数の前記部分画像データ（８２ｉ）を合成することで前記部分領域画像データ（Ｒｉ）を生成する（１４４）合成処理部（１４）とを含む、構成２または構成３に記載の画像処理システム。

（構成５）
前記生成部（１０）は、
前記画像データ（８１）から前記対象物の配置状況を特定する位置特定部（１６２）と、
前記位置特定部が特定した前記対象物の配置状況と、前記第１のパラメータセットの取得時における基準対象物の配置状況とを比較して、当該対象物の移動量（ｗ、Ｔ）を求めるとともに、当該移動量に基づいて前記第１のパラメータセットを補正するパラメータ補正部（１６４）とをさらに含む、構成４に記載の画像処理システム。

（構成６）
前記生成部（１０）は、
前記複数の発光状態を規定する第２のパラメータセット（Ｐｉ）にしたがって前記照明部（４）を制御するとともに、それぞれの発光状態において前記対象物（Ｗ）を撮像するように前記撮像部（８）を制御する制御部（１２）と、
前記撮像部（８）により生成される複数の画像データ（８１）のうちの少なくとも１の画像データ（８１ｉ）から、生成対象の前記部分領域に対応する部分画像データ（８２ｉ）を抽出するとともに、抽出した前記部分画像データ（８２ｉ）に基づいて前記部分領域画像データ（Ｒｉ）を生成する生成処理部（１８）とを含む、構成２または構成３に記載の画像処理システム。

（構成７）
前記生成部（１０）は、
前記画像データ（８１）から前記対象物の配置状況を特定する位置特定部（１６２）と、
前記位置特定部が特定した前記対象物の配置状況と、前記第２のパラメータセットの取得時における基準対象物の配置状況とを比較して、当該対象物の移動量（ｗ、Ｔ）を求めるとともに、当該移動量に基づいて前記第２のパラメータセットを補正するパラメータ補正部（１６４）とをさらに含む、構成６に記載の画像処理システム。

（構成８）
前記第１のパラメータセット（ρｉ）に含まれるパラメータは、負の値を含む、構成４または構成５に記載の画像処理システム。

（構成９）
前記部分領域（ｒｉ）は、前記対象物の形状に基づいて規定される（Ｑ，Ｕ）、構成２〜構成８のうちいずれかに記載の画像処理システム。

（構成１０）
複数の前記発光部（４１）は、所定の位置を基準に規則的に前記照明部（４１）に設けられている、構成１〜構成９のうちいずれかに記載の画像処理システム。

（構成１１）
対象物を撮像して画像データ（８１）を出力する撮像装置（８）と、当該対象物に照明光を照射するための発光部（４１）が複数配置された照明装置（４）とを制御するコンピュータ（１００）で実行される画像計測を行なうための画像処理プログラム（１３２）であって、
コンピュータに、
前記複数の発光部の発光状態を複数に異ならせた各々において前記撮像装置が前記対象物を撮像することで生成される複数の画像データを取得する機能（１２）と、
取得した前記複数の画像データ（８１）と、前記画像データ内の位置に関連付けて規定される生成条件（Ｐ）とに基づいて、前記画像計測に利用する画像データ（Ｒ）を生成する機能（１０）とを実行させるための画像処理プログラム。

（構成１２）
画像計測を行なう画像処理方法であって、
複数の発光部（４１）の発光状態を複数に異ならせ、
前記複数の異なる発光状態の各々で対象物を撮像して複数の画像データ（８１）を取得し（１２）、
取得した前記複数の画像データ（８１）と、前記画像データ内の位置に関連付けて規定される生成条件（Ｐ）とに基づいて、前記画像計測に利用する画像データ（Ｒ）を生成する、画像処理方法。

今回開示された各実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。また、実施の形態および各変形例において説明された発明は、可能な限り、単独でも、組み合わせても、実施することが意図される。

１ 画像処理システム、４ 照明装置、６ 外部メモリ、８ カメラ、１０ 生成部、１２ 制御部、１４ 合成処理部、１６ 補正部、２０ 画像計測部、４１ 発光部、４８ 開口部、８１ 画像データ、８２ 部分画像データ、１００ 画像処理装置、１１０ ＣＰＵ、１２０ メインメモリ、１２２ 照明制御部、１２４ 撮像制御部、１３０ ハードディスク、１３２ 画像処理プログラム、１３４ 設定プログラム、１３６ 照明パラメータＤＢ、１３８ 設定用パラメータＤＢ、１４２ 抽出部、１４４ 生成部、１６２ 位置特定部、１６４ パラメータ補正部、１９０ バス、１４０ 照明Ｉ／Ｆ、１６０ 外部メモリＩ／Ｆ、１８０ カメラＩ／Ｆ、Ｒｉ 部分領域画像データ、Ｗ ワーク、ｒｉ 部分領域。

Claims (12)

1. 画像計測を行なう画像処理システムであって、
   対象物を撮像して画像データを生成する撮像部と、
   前記対象物に照明光を照射するための発光部が複数配置された照明部と、
   前記複数の発光部の発光状態を複数に異ならせた各々において前記撮像部が前記対象物を撮像することで生成される複数の画像データを取得するとともに、取得した当該複数の画像データと、前記画像データ内の位置に関連付けて規定される生成条件とに基づいて、前記画像計測に利用する画像データを生成する生成部とを備える、画像処理システム。
2. 前記生成条件は、前記画像データ内の隣接する複数画素からなる部分領域ごとに規定され、
   前記生成部は、前記画像計測に利用する画像データとして、前記部分領域ごとに当該部分領域に対応する部分領域画像データを生成する、請求項１に記載の画像処理システム。
3. 前記生成部は、前記画像計測に利用する画像データを、前記部分領域ごとに生成した複数の前記部分領域画像データを１の画像データに合成することで生成する、請求項２に記載の画像処理システム。
4. 前記生成部は、
   複数の前記発光部のうちの１の発光部を順次発光させるように前記照明部を制御するとともに、前記発光部の順次発光に対応して前記対象物を撮像するように前記撮像部を制御する制御部と、
   前記撮像部により生成される複数の画像データから生成対象の前記部分領域に対応する部分画像データをそれぞれ抽出するとともに、各発光部からの影響を前記部分領域ごとに規定した第１のパラメータセットにしたがって、抽出した複数の前記部分画像データを合成することで前記部分領域画像データを生成する合成処理部とを含む、請求項２または請求項３に記載の画像処理システム。
5. 前記生成部は、
   前記画像データから前記対象物の配置状況を特定する位置特定部と、
   前記位置特定部が特定した前記対象物の配置状況と、前記第１のパラメータセットの取得時における基準対象物の配置状況とを比較して、当該対象物の移動量を求めるとともに、当該移動量に基づいて前記第１のパラメータセットを補正するパラメータ補正部とをさらに含む、請求項４に記載の画像処理システム。
6. 前記生成部は、
   前記複数の発光状態を規定する第２のパラメータセットにしたがって前記照明部を制御するとともに、それぞれの発光状態において前記対象物を撮像するように前記撮像部を制御する制御部と、
   前記撮像部により生成される複数の画像データのうちの少なくとも１の画像データから、生成対象の前記部分領域に対応する部分画像データを抽出するとともに、抽出した前記部分画像データに基づいて前記部分領域画像データを生成する生成処理部とを含む、請求項２または請求項３に記載の画像処理システム。
7. 前記生成部は、
   前記画像データから前記対象物の配置状況を特定する位置特定部と、
   前記位置特定部が特定した前記対象物の配置状況と、前記第２のパラメータセットの取得時における基準対象物の配置状況とを比較して、当該対象物の移動量を求めるとともに、当該移動量に基づいて前記第２のパラメータセットを補正するパラメータ補正部とをさらに含む、請求項６に記載の画像処理システム。
8. 前記第１のパラメータセットに含まれるパラメータは、負の値を含む、請求項４または請求項５に記載の画像処理システム。
9. 前記部分領域は、前記対象物の形状に基づいて規定される、請求項２〜請求項８のうちいずれかに記載の画像処理システム。
10. 複数の前記発光部は、所定の位置を基準に規則的に前記照明部に設けられている、請求項１〜請求項９のうちいずれかに記載の画像処理システム。
11. 対象物を撮像して画像データを出力する撮像装置と、当該対象物に照明光を照射するための発光部が複数配置された照明装置とを制御するコンピュータで実行される画像計測を行なうための画像処理プログラムであって、
    コンピュータに、
    前記複数の発光部の発光状態を複数に異ならせた各々において前記撮像装置が前記対象物を撮像することで生成される複数の画像データを取得する機能と、
    取得した前記複数の画像データと、前記画像データ内の位置に関連付けて規定される生成条件とに基づいて、前記画像計測に利用する画像データを生成する機能とを実行させるための画像処理プログラム。
12. 画像計測を行なう画像処理方法であって、
    複数の発光部の発光状態を複数に異ならせ、
    前記複数の異なる発光状態の各々で対象物を撮像して複数の画像データを取得し、
    取得した前記複数の画像データと、前記画像データ内の位置に関連付けて規定される生成条件とに基づいて、前記画像計測に利用する画像データを生成する、画像処理方法。

Images