JP2020181374A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】最適な照明・撮影条件を短時間で自動探索可能にすることを課題とする。【解決手段】情報処理装置は、対象物における特定状態の領域の表面反射特性と特定状態とは異なる非特定状態の領域の表面反射特性とを取得する特性取得手段（１０１）と、対象物の形状を取得する形状取得手段（１０２）と、表面反射特性と形状とに基づいて、検査対象物を撮像した画像から当該検査対象物の特定状態を検出する際の、照明条件および撮影条件を最適化する最適化手段（１０４）と、を有する。【選択図】図１

Description

本発明は、撮影した画像を用いた情報処理技術に関する。

近年、生産現場における外観検査工程等において、外観検査の自動化のニーズが高まっている。自動化の技術としては、例えば、予め設定された照明系による環境下において、エリアセンサ等による信号取り込みによって得られた映像・画像データに対して、事前に定義された識別器により良品か不良品を分離する技術が知られている。例えば特許文献１には、機械学習によって分離したい異常データを検出する方法が開示されている。

しかしながら、いかに良い性能を発揮する可能性のある識別器を用いたとしても、照明系やエリアセンサの撮影条件が良好でなければ検査性能を発揮することができない。また、検出すべき異常領域と正常領域との差が撮影画像上で可視化されていなければ、２つの状態を分離する情報が失われてしまっているため、画像を根拠に異常領域と正常領域とを分離することが不可能となる。そこで、従来、検査画像の撮影条件を設定する際には、検査対象となるサンプルの正常品と異常品を莫大な数用意し、それらに対して多種多様な照明をさまざまな角度から当てた、さまざまな撮影条件での撮影が行われる。このとき、異常領域は明瞭に撮影されるようにし、異常とは無関係な領域は異常領域であると誤認識されない撮影がなされるように、撮影条件を細かく変えながら画像の見え方の変化を調べて撮影条件を決定することが、人手により行われている。

特開２０１０−１０２６９０号公報

よっていかに識別器の学習が機械学習等の技術によって自動化されたとしても、撮影条件の最適化に大きなコストがかかるのは変わらないため、撮影条件最適化の自動化へのニーズは大きかった。

そこで、本発明は、最適な照明・撮影条件を短時間に自動的に設定可能にすることを目的とする。

本発明の情報処理装置は、対象物における特定状態の領域の表面反射特性と、前記特定状態とは異なる非特定状態の領域の表面反射特性とを取得する特性取得手段と、前記対象物の形状を取得する形状取得手段と、前記表面反射特性と前記形状とに基づいて、検査対象物を撮像した画像から当該検査対象物の前記特定状態を検出する際の、照明条件および撮影条件を最適化する最適化手段と、を有することを特徴とする。

本発明によれば、最適な照明・撮影条件を短時間で自動的に設定可能となる。

情報処理装置の構成例を示す図である。 照明・撮影条件を探索して決定する処理を示すフローチャートである。 照明撮影パラメータ探索処理を示すフローチャートである。 照明撮影パラメータ探索の他の処理を示すフローチャートである。 照明撮影パラメータ探索の説明に用いる図である。

以下、添付の図面を参照して、本発明の実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。本実施形態では、例えば生産現場において、画像による製品の外観検査を行う際の最適な照明・撮影条件を探索する場合を例に挙げている。

図１（Ａ）と図１（Ｂ）は、本実施形態の情報処理装置の構成例を示した図である。
図１（Ａ）は本実施形態の情報処理装置の機能ブロック図である。図１（Ａ）に示すように、本実施形態の情報処理装置は、特性計測装置１０１、モデル取得部１０２、条件取得部１０３、条件探索部１０４、条件提示部１０５を有して構成されている。

特性計測装置１０１は、事前に、検査対象物上で特定の状態の位置及び範囲と、特定の状態とは異なる非特定状態の位置及び範囲が分かっているサインプルを用いて、当該検査対象物の特性を計測する特性取得処理を行う。本実施形態において、検査対象物の特定の状態は例えば物体表面が正常な状態ではない異常状態であるとする。一方、非特定状態は物体表面が異常状態ではない正常状態であるとする。本実施形態において、特性計測装置１０１は、事前に、位置及び範囲等が分かっている異常状態の領域（以下、異常領域とする。）のサンプルを用いて、当該異常領域の表面反射特性を計測する。同様に、特性計測装置１０１は、事前に、位置及び範囲等が分かっている正常状態の領域（以下、正常領域とする。）のサンプルを用いて、当該正常領域の表面反射特性を計測する。特性計測装置１０１は、ＢＲＤＦ（双方向反射率分布関数）などを使って特性測定を行う測定装置などを用いることができる。当該測定装置は、ユーザの指定した局所領域に対してあらゆる角度から照明を照射して厳密に時間をかけて計測する装置から、簡易な測定で短時間に計測する装置のまでさまざまなものがある。このため、本実施形態で用いる特性計測装置１０１としては、検査対象の複雑さ等によっていずれかの測定装置が選定されているとする。

モデル取得部１０２は、製品ＣＡＤモデル等の製品の形状を、３次元で表現されたデータ形式として取得する形状取得処理を行う。なお、ＣＡＤモデル等の事前に定義された形状モデルに相当する物が無い場合は、下記の参考文献などに開示されている表面反射特性計測と同時に３次元形状モデルを取得する方法を用いることができる。

参考文献：Borom Tunwattanapong, Graham Fyffe, Paul Graham, Jay Busch, Xueming Yu, Abhijeet Ghosh, Paul Debevec. Acquiring Reflectance and Shape from Continuous Spherical Harmonic Illumination, ACM Transactions on graphics, 2013.

参考文献に記載される方法により検査対象の形状モデルを取得する場合、情報処理装置は、図１（Ａ）の特性計測装置１０１とモデル取得部１０２の機能を備えた特性・モデル計測装置１０６を有するものとなる。特性計測装置１０１及びモデル取得部１０２と、特性・モデル計測装置１０６とにおける処理には本質的な違いがないため、本実施形態では特性計測装置１０１及びモデル取得部１０２を用いた説明を行うことにする。

条件取得部１０３は、ユーザが希望する探索条件である照明及び撮影条件の数、及び撮影に利用できるエリアセンサの最大の値等を、制約条件として取得する。これらの制約条件はＧＵＩ等を介してユーザによって入力され、条件取得部１０３はそれら入力された制約条件の情報を取得する。

条件探索部１０４は、表面反射特性及び形状モデル、さらに制約条件をも加味して、検査対象物の撮像画像から異常領域を検出する際の最適な照明条件及び撮影条件を探索する探索条件最適化処理を行う。なお、表面反射特性及び形状モデルの情報は事前に取得されているものであるため、条件探索部１０４は、それら事前に取得されて記録等されている表面反射特性及び形状モデルの情報を用いて、最適な照明条件及び撮影条件を探索する処理を行っても良い。

条件提示部１０５は、例えば条件探索部１０４で探索された最適な照明条件及び撮影条件のパラメータを画面に表示したり、検査装置の設定をユーザ自身で構成することが可能な形式でパラメータを出力したりする。

図１（Ｂ）は、図１（Ａ）に機能ブロックとして示した各機能を実現する情報処理装置のハードウェア構成例を示した図である。
図１（Ｂ）に示すように、本実施形態の情報処理装置は、ＣＰＵ１２２、ＲＡＭ１２３、ＲＯＭ１２４、通信Ｉ／Ｆ（インタフェース）１２１、記録Ｉ／Ｆ１２５、表示Ｉ／Ｆ１２６、入力Ｉ／Ｆ１２７等を有しており、パーソナルコンピュータ等であるとする。また、情報処理装置は、記録Ｉ／Ｆ１２５を介してハードディスクや半導体メモリ等の記録媒体１３１と接続され、表示Ｉ／Ｆ１２６を介して液晶ディスプレイ等の表示装置１３２に接続されている。また情報処理装置は、入力Ｉ／Ｆ１２７を介してキーボードやマウス、タッチパネル等の入力装置１３３に接続されている。さらに、情報処理装置は、通信Ｉ／Ｆ１２１を介して、例えば測定装置１１１や各種のＮＷ（ネットワーク）１１２にも接続可能となされている。本実施形態の場合、測定装置１１１は、例えば画像を撮像する撮像装置、前述した特性計測装置１０１もしくは特性・モデル計測装置１０６などを挙げることができる。また、ＮＷ１１２により接続される装置としては、データベース等を挙げることができる。なお、データベースは記録Ｉ／Ｆ１２５を介して接続されていてもよい。

ＲＯＭ１２４は、本実施形態に係る情報処理プログラムを含む各種プログラム等を保持している。ＲＯＭ１２４のプログラムはＲＡＭ１２３に展開されてＣＰＵ１２２により実行される。ＲＡＭ１２３は、プログラムが展開される他、ＣＰＵ１２２の作業領域として使用され、入力された画像データや処理途中の画像データ等を一時的に記憶する。なお本実施形態に係る情報処理プログラムは、記録媒体１３１に記録されていても良いし、ＮＷ１１２を介して取得されても良い。

通信Ｉ／Ｆ１２１は、例えば測定装置１１１やＮＷ１１２との間で通信を行う。例えば測定装置１１１が特性計測装置１０１あるいは特性・モデル計測装置１０６である場合、通信Ｉ／Ｆ１２１は、それらいずれかの測定装置で測定された特性データを受信する。そして、その特性データは、ＣＰＵ１２２による制御の下で、記録媒体１３１に記録、あるいはＮＷ１１２を介してデータベースに送られて記録される。また例えば測定装置１１１が撮像装置である場合、通信Ｉ／Ｆ１２１は、その撮像装置にて撮像されて送信されてきた画像データを受信する。そして、その画像データは、ＣＰＵ１２２による制御の下で、ＲＡＭ１２３に蓄積あるいは記録媒体１３１に記録される。

ＣＰＵ１２２は、本実施形態の情報処理装置における各種情報処理や制御を行う。またＣＰＵ１２２は、本実施形態に係る情報処理プログラム等を実行することにより、検査対象のサンプルを撮影した画像を用いた照明・撮影条件の探索処理、あるいは、実際に検査対象の検査を行う検査処理等のための情報処理を行う。そして、ＣＰＵ１２２は、その探索処理結果や検査結果を、表示Ｉ／Ｆ１２６を介して表示装置１３２の画面上に表示させたり、記録Ｉ／Ｆ１２５を介して記録媒体１３１に記録したりする。なおここでは、ＣＰＵ１２２がプログラムを実行するソフトウェア処理によって、照明・撮影条件の探索処理、あるいは実際に検査対象の検査処理等を実現する例を挙げたが、それら処理は回路等のハードウェア構成で実現されてもよい。

図２は、本実施形態の情報処理装置において照明・撮影条件を探索する際の探索処理の流れを示すフローチャートである。図２のフローチャートの処理は、図１（Ａ）に示した各機能ブロックにおいて実行される処理である。
ここでは、正常品と異常品の検査対象に係るサンプルがいくつか予め用意されており、さらに異常品における異常領域の位置・範囲等をユーザが知っているものとする。また、本実施形態では説明を簡単にするために、サンプルは単純平面で構成された直方体形状であるとし、そのサンプルの検査対象となる表面の全領域が同一材質でできているとして説明する。

まずステップＳ２０１において、特性計測装置１０１は、検査対象のいくつかの正常品（ＯＫ品）表面からユーザが適宜選択したｐ個（ｐ≧１）の局所領域について表面反射特性を計測する。同様に、特性計測装置１０１は、検査対象のいくつかの異常品（ＮＧ品）の異常領域表面からユーザが適宜選択したｑ個（ｑ≧１）の局所領域について表面反射特性を計測する。ここでの表面反射特性は、照明光が局所領域で反射された光の反射特性（つまり照明反射特性）である。なお、表面反射特性を計測する局所領域内における異常領域の実際の形状、見え方等の情報は、表面反射特性に変換された時点で完全に失われることになる。ただし本実施形態の場合、照明条件及び撮影条件が全て正常領域と異常領域の表面反射特性の後述するコントラストスコア基準で探索がなされるため、実際の形状、見え方等の情報が失われていたとしても特に問題は無い。また、計測された表面反射特性は、いかなる計測方法が用いられた場合であれ、入射光に対する反射光を受光することで得られるため離散的な値として取得されて記録されているとする。

次に、特性計測装置１０１は、計測された表面反射特性を、観測値ではなく、以降のフローチャートの処理で推定に利用できる形式に変換する。特性計測装置１０１は、ステップＳ２０２において、表面反射特性である光の反射特性（照明反射特性）を、低次元のパラメータに変換する。該低次元のパラメータで表現できる照明反射モデルは、従来、多くの表現方法が提案されている。例えば、検査対象が拡散面のみで構成されており、理想拡散面として近似できるような場合、特性計測装置１０１は、拡散反射を前提とした拡散反射率を定義するパラメータを推定すれば良い。逆に、完全鏡面に近い面として扱える場合、特性計測装置１０１は、鏡面反射を前提としたモデル（例えばＰｈｏｎｇ ｍｏｄｅｌ）を利用してパラメータを推定すると良い。ただし、通常はそれら理想拡散面や完全鏡面を持つ表面は少なく、大多数の表面はそれら２つの組合せとして表現すると良い近似ができる。本実施形態では、多くの対象に利用できる拡散面と鏡面との組合せによる表面反射特性の低次元パラメータによるモデル推定を基本として、以降の説明を行う。

例えば、ある領域を測定対象点Ｐとする。この測定対象点Ｐに関する表面反射特性を入射光と反射光の関係で表す式は、下記の式（１）のようになる。式（１）において、右辺１項目は拡散反射成分を表し、２項目は鏡面反射成分を表す。

以下、式（１）の各記号について説明する。
まず計測対象領域を点とみなし、その点を中心に任意のサイズの半球状のドームを仮定する。この場合、全ドーム上の任意の点について、その点の持つ面法線方向の直線が全て計測対象点を通過する直線となるため、計測対象点への入射光及び反射光の方向をこのドーム状の球座標によって一意に定義することができる。よってここでは、各々をθとφの２変数で表す。そして、入射光と反射光の各々球座標パラメータは添字のｉとｏで区別して表す。

式（１）の左辺のＬは、反射光が持つ放射輝度を表している。このため、放射輝度Ｌの変数は、測定対象点Ｐと反射光の角度θ_o及びφ_oとよる変数となっている。
また式（１）の２項目の角度θ及びφについては、鏡面反射成分であるため１項目の拡散反射とは異なり反射方向の角度によって大きく放射輝度が変わる。よってここでは、入射光の方向に依存して決定される鏡面反射方向は角度θ_S及びφ_Sで表している。

また、式中のσ_d（Ｐ）は計測対象点Ｐにより定義される当該Ｐにおける拡散反射率を表し、式中のσ_S（Ｐ）は計測対象点Ｐにより定義される当該Ｐにおける鏡面反射率を表している。そして、右辺１項目のΩは半球ドーム領域を表し、ｄωは該半球ドーム上の微小領域を表す。

また、右辺２項目のｎはＰｈｏｎｇ Ｍｏｄｅｌによる鏡面反射成分のローブの形状を定義する変数である。よってここでは右辺１項目が一般的なランバート面による反射を仮定した拡散光のモデルを表し、２項目がＰｈｏｎｇ Ｍｏｄｅｌによる鏡面反射を仮定した鏡面反射光のモデルの和で表している。

したがって、前述したようなモデルを定義するパラメータセットは、既に実計測した入射光と反射光実測値を用いて推定することができる。推定方法は、例えば実測値とモデルとの誤差を最小化するように推定する方法を用いることができる。なお、推定方法は、単純なモデルの場合には、線形最小２乗法の形式に変形して直線に当てはめること等で推定する方法を用いることができる。また推定方法は、より複雑なモデルを仮定して求めるべきパラメータ数が多くなった場合には、ＬＭ法（レーベンバーグ・マーカート法）によってモデルフィッティングする手法を用いることができる。前述したような手法きにより、入射光に対する反射光放射輝度を連続的に推定することのできるモデルが取得可能となる。ただし、本推定モデルが他の前提に基づいた式で表される異なるモデルで表されたとしても、低次元のパラメータで定義される表面反射特性であることに変わりなく、以降のフローに変わりが無い。ここで利用すべきモデルは、検査対象の表面の性質に、より近い物を選ぶほど良い結果を得ることができるものとする。
以上のようにして、特性計測装置１０１は、ステップＳ２０１で検査対象の表面の表面反射特性を取得する。

次にステップＳ２０３において、モデル取得部１０２は、検査対象品の３次元形状情報を取得する。例えば、モデル取得部１０２は、ユーザからの入力を基に、検査対象品のＣＡＤモデルを取得する。なお、もしＣＡＤモデルが取得できない場合には、実際の検査対象品を実際に測定することで取得しても良い。

次にステップＳ２０４において、条件取得部１０３は、このフローで探索すべき撮影条件に対する制約条件を示す制約パラメータを取得する。本実施形態の場合、条件取得部１０３は、例えばユーザにより入力された制約パラメータを取得する。具体的な制約パラメータは、ユーザが利用できるカメラの最大台数や照明装置の数の上限値、撮影条件探索にかけることのできる時間上限などを挙げることができる。例えば、１サンプルあたりの検査にかけることのできる最大時間から実際に画像セットが入力されて検査処理を実行するのに要する時間を差し引いた残りの時間は、全て撮影に利用できる時間になる。なお、これら撮影に利用できる時間を１回のエリアセンサによる平均撮影時間で割った値が、時間制約によって決まる最大撮影条件数Ｎになる場合がある。この場合、最大撮影条件数をＮにセットすることで、以降の処理フローでは撮影条件がＮ以下で達成し得る最適な撮影条件探索フローが実行される。もしくは、例えばユーザの経済的な制約からエリアセンサや照明の数の上限数をセットしなければならない場合も、ステップＳ２０４において設定される。

次にステップＳ２０５において、モデル取得部１０２は、ステップＳ２０３で獲得した３次元形状モデルの表面に、ランダムに観測点（サンプリング点）をｓ個（ｓ＞＞１）設定する。そして、モデル取得部１０２は、その観測点の座標とその観測点が存在する面の向きを表す法線ベクトルなどのパラメータセットを取得する。

ステップＳ２０６においてモデル取得部１０２は、ｓ個の点全てに対しステップＳ２０２で得た全ての正常及び異常の表面反射特性モデルを基に、該領域での正常の表面反射特性に対する異常の表面反射特性のコントラスト値基準のスコアマップをＭ個取得する。すなわちこのステップＳ２０６での処理は、以下の第１、第２の二つの処理を行うことに等しい。第１の処理は、検査対象表面上でランダムにサンプリングした点の位置において、その位置にもし異常が発生した場合、正常な場合と比べてコントラスト良く画像化できる照明条件と撮影条件のパラメータセットを探索するというタスクを全ｓ点で行う処理である。第２の処理は、さらにその位置における複数の正常のバリエーションと複数の異常のバリエーションとの組合せ全てに対して同時に解くという処理である。

つまり、もしステップＳ２０２で得た正常領域がｐ個であり、さらに異常領域がｑ個であり、それらの全ての組合せを求める場合には、全３次元座標観測点のｓ個においてｐ個とｑ個の組合せによってｐ×ｑ×ｓ個の表面反射特性のデータが得られる。このときの正常に対する異常のコントラストとして解釈できるスコアはどのようなものでもよい。例えばコントラストのスコアを正常の照明反射推定モデルと異常の照明反射推定モデルとの絶対値差分モデルとして表すとすると、ある照明条件及び撮影条件においてエリアセンサから得られる全サンプル点のコントラストスコアは容易に計算することができる。なお、絶対値差分をスコアとして用いる場合、任意の形状モデル上の点において、最も可視化条件が悪い場合のスコアは０である。また、正常領域の表面反射特性にほとんどバラつきがなく略均一である場合、正常領域のｐ個は、ｐ＝１としても良い。

次にステップＳ２０７において、条件探索部１０４は、前述のようにして得られたスコアマップＭ個から、最終的に任意の探索アルゴリズムによって、最適化した照明条件と撮影条件のパラメータ（以下、照明撮影パラメータとする。）のセットを取得する。

ステップＳ２０７の具体的な処理の流れは、図３または図４のフローチャートに示すようなものとなる。図３は、照明・撮影条件の変動に対して同様の挙動をする各領域を類似データとしてクラス化することによって最適な照明・撮影条件を探索する場合のフローチャートである。図４は、予め決めた基準値（例えばコントラスト基準の閾値）等によって最適な照明・撮影条件を探索する場合のフローチャートである。

まずステップＳ２０７の処理の例として図３のフローチャートから説明する。
図３のフローチャートの説明では、ユーザが求めたい照明及び撮影条件数がＮ個であるとする。基本的には異なる位置であっても照明撮影パラメータ空間内での挙動が類似していれば、取得された画像上では同様に識別器により識別することができる。このため、図３の場合、条件探索部１０４は、照明撮影パラメータ空間内でのコントラストスコアの挙動が類似する物同士が同じクラスになるように、Ｎ個にクラスタリングすることで、クラスごとに最適な照明撮影パラメータを求める。このようなクラス化には様々な手法が有るが、ここでは照明撮影パラメータ空間内で各点ではコントラストスコアが一意に求まるため、以下で説明するようなクラスタリングが実施されるとする。

図５（Ａ）と図５（Ｂ）を用いてクラスタリングについて説明する。
図５（Ａ）は、検査対象物の簡単なイメージを示した図である。図５（Ａ）には、検査対象物の表面からサンプリングした３領域（サンプリング点Ａ，Ｂ，Ｃとする。）の位置関係を示している。図５（Ｂ）は、サンプリング点Ａ，Ｂ，Ｃに対して、ある一組の正常と異常の表面反射特性を適用させて算出した場合のコントラストスコアによって照明撮影パラメータを変動させたことでスコアが変異している様子を表した事例を示した図である。図５（Ｂ）の場合、通常、照明撮影パラメータが多次元であるため高次空間となるが、ここでは紙面に簡易に表現する都合上、横軸を照明条件及び撮影条件のパラメータ、縦軸をコントラストスコアとしている。ここで簡易に例示したサンプリング点Ａ，Ｂのように、条件の近い領域同士は、照明撮影パラメータの変動と共にスコアの変遷も類似する。一方、サンプリング点Ｃのように、他のサンプリング点Ａ，Ｂから遠く条件が異なる点は、スコアの変遷も全く異なる。これらの性質を考慮し、コントラストスコアの絶対値による差を照明撮影パラメータ空間内で積分した値は、サンプリングされた領域間の距離である類似距離として利用することができる。図５（Ａ）と図５（Ｂ）の例では、サンプリング点が３点のみを事例として説明したが、実際の処理フローではサンプル点に対し正常と異常の組合せが存在するためｐ×ｑ×ｓ個のデータについて考慮することになる。

またそれらサンプリング点の各点間の距離は、ｐ×ｑ×ｓ×（ｐ×ｑ×ｓ−１）／２だけ存在する。したがって、条件探索部１０４は、この距離が任意の距離以下の点だけのグループにするなどのクラスタリングを行う。例えばユーザがＮ個の撮影条件を求めたい場合、条件探索部１０４は、Ｎクラスにクラスタリングし、各分類されたクラスの中で図５（Ｂ）のようにコントラストスコアが最大になる代表点を１点決め、各々のクラスの最適な照明撮影パラメータとする。このときの最大値（または極大値）を探索するアルゴリズムは一般的なヒルクライム法などを用いることができる。

次にステップＳ２０７の他の例として、図４のフローチャートを説明する。
図４の場合、条件探索部１０４は、事前に設定されたコントラストスコアの基準となる閾値Ｔ以上の点ができるだけ多くなるか又はそれら点の返す放射輝度値累積スコアを最大にする照明条件及び撮影条件を探索する。ここで、該閾値Ｔは、適当な照明撮影パラメータにおける正常データと異常データの画像をユーザが見て設定しても良いし、過去の履歴から自動的にセットされても良い。

まずステップＳ４０１において、条件探索部１０４は、前述したｐ×ｑ×ｓ個全てのデータの数Ｄを撮影条件探索対象データとし、さらに探索済の照明・撮影条件数ｎを０として、それらを初期値の撮影条件探索対象データセットとする。
次にステップＳ４０２として、条件探索部１０４は、撮影条件探索対象データセット内のデータ数が０になっているか、探索済の照明・撮影条件数ｎがユーザの指定した条件数Ｎ以上になっていないかチェックする。このとき、条件探索部１０４は、未だ探索は行っていないため否と判定してステップＳ４０３へ処理を進める。

ステップＳ４０３に進むと、条件探索部１０４は、撮影条件探索対象データセットの中でコントラストスコアが閾値Ｔを超える数が最大となる照明条件及び撮影条件を求める。
その後、ステップＳ４０４において、条件探索部１０４は、探索済照明・撮影条件数ｎに１を加算し、そして、ステップＳ４０３にて撮影条件探索対象データセット内でコントラストスコアが閾値Ｔを超えた数をデータ数Ｄから減ずる。さらに条件探索部１０４は、該探索された条件においてｐ×ｑ×ｓ個の点の中で閾値Ｔ以上となった点を次の探索処理対象点候補から除外することによって、以降、継続する撮影条件探索に用いない様にする。

そしてステップＳ４０４の後、条件探索部１０４は、ステップＳ４０２に戻り、処理の終了要件を満たしていれば処理を終了する。一方、条件探索部１０４は、処理の終了要件を満たしていない場合には再びステップＳ４０３にて該時点での撮影条件探索対象データセットを用いて撮影条件探索処理を継続する。

このようにステップＳ４０２、ステップＳ４０３、ステップＳ４０４の処理を繰り返して全ての点が閾値Ｔ以上の点となるか、またはステップＳ２０４でユーザが入力した撮影条件数に到達した場合に処理は終了となり照明撮影パラメータが決定する。

図２のフローチャートに説明を戻し、最終的にステップＳ２０８によりＮ個以下の照明条件及び撮影条件のパラメータセットが決定されると、条件提示部１０５は、それら照明撮影パラメータセットを表示等してユーザに提示する。ここで、もしも実際の課題の難しさに比べてユーザの設定した数のＮが小さい値であった場合は、充分に可視化されない、つまり事前に設定した閾値Ｔ以下のデータがいくつか残って終了となる。この場合、条件提示部１０５は、残ったデータが何に由来する物であるかという情報として、どの正常とどの異常の組合せであり形状データ上のどの座標に有る場合であるかを全てユーザに提示する。

なお、前述した閾値Ｔは、求める撮影条件の結果に与える影響が大きい。例えば撮影条件決定後の撮影画像を用い、実際に検査に用いる識別器で正常／異常の識別限界となるコントラストを基準にして閾値を決めても良いが、撮影条件を変えると識別器の設定パラメータも変わるため識別率基準で良好な閾値を決めるのはコストがかかる。そのため、１回の撮影でｐ×ｑ×ｓ個の全サンプリングデータのうちの最低何％以上は識別可能なレベルとしたいかを基準に閾値を決める方法が簡易である。例えばユーザが希望する照明及び撮影条件数Ｎによると１回の撮影で目安としてｐ×ｑ×ｓのＮ分の１のデータ以上を良コントラストで撮影できるという基準で閾値を決定すると、検査対象の形状がそれほど複雑では無い場合は平均的に良い結果が得られる。

よって、閾値Ｔは予め適当な初期値が設定されている状態でユーザの設定した数Ｎによって図４の最初のループのステップＳ４０２でコントラストスコアが大となる点をカウントしｐ×ｑ×ｓ個のデータのうち１／Ｎとなる点を目安に更新してもよい。以降の探索フローでは同じＴの値が一貫して用いられても良い。

以上説明したように、本実施形態の情報処理装置は、検査対象に関するＢＲＤＦ等による表面反射特性及び検査対象の形状モデルを用いることによって、最適な照明条件及び撮影条件を短時間に自動探索することができる。

本発明は、前述の各実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１：特性計測装置、１０２：モデル取得部、１０３：条件取得部、１０４：条件探索部、１０５：条件提示部

Claims (11)

1. 対象物における特定状態の領域の表面反射特性と、前記特定状態とは異なる非特定状態の領域の表面反射特性とを取得する特性取得手段と、
   前記対象物の形状を取得する形状取得手段と、
   前記表面反射特性と前記形状とに基づいて、検査対象物を撮像した画像から当該検査対象物の前記特定状態を検出する際の、照明条件および撮影条件を最適化する最適化手段と、
   を有することを特徴とする情報処理装置。
2. 前記照明条件および前記撮影条件に対する制約条件を取得する条件取得手段を有することを特徴とする請求項１に記載の情報処理装置。
3. 前記条件取得手段は、前記照明条件の数と、前記撮影条件の数と、前記対象物を撮像するセンサの数と、前記最適化に要する時間の上限との、少なくともいずれかを、前記制約条件として取得することを特徴とする請求項２に記載の情報処理装置。
4. 前記最適化手段は、前記照明条件および前記撮影条件の変動に対して前記表面反射特性が類似した挙動をする領域をクラス化し、前記クラス化したクラスごとに前記照明条件および前記撮影条件を最適化することを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記最適化手段は、前記特定状態および前記非特定状態の局所領域の前記表面反射特性の絶対値差分を示すスコアに基づいて、前記クラス化を行うことを特徴とする請求項４に記載の情報処理装置。
6. 前記最適化手段は、前記スコアを積分した値を、前記類似した挙動をする領域間の距離である類似距離として求め、前記類似距離を基に前記クラス化を行うことを特徴とする請求項５に記載の情報処理装置。
7. 前記最適化手段は、前記特定状態および前記非特定状態の局所領域の前記表面反射特性の絶対値差分を示すスコアに対して設定された基準値を基に、前記照明条件および前記撮影条件を最適化することを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
8. 前記最適化手段は、前記特定状態の領域と前記非特定状態の領域とランダムにサンプリングした領域と照明条件および撮影条件との組合せによる複数のセットの中で、前記スコアが前記基準値を超える数が最大となるセットの照明条件および撮影条件を、前記最適化した前記照明条件および前記撮影条件とすることを特徴とする請求項７に記載の情報処理装置。
9. 前記特定状態は前記対象物の異常状態であり、
   前記特性取得手段は、前記対象物における前記異常状態のサンプルの領域および前記対象物の正常状態のサンプルの領域の、表面反射特性を取得することを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
10. 情報処理装置が実行する情報処理方法であって、
    対象物における特定状態の領域の表面反射特性と、前記特定状態とは異なる非特定状態の領域の表面反射特性とを取得する特性取得工程と、
    前記対象物の形状を取得する形状取得工程と、
    前記表面反射特性と前記形状とに基づいて、検査対象物を撮像した画像から当該検査対象物の前記特定状態を検出する際の、照明条件および撮影条件を最適化する最適化工程と、
    を有することを特徴とする情報処理方法。
11. コンピュータを、請求項１から９のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images