JP2022049874A - 検査装置、検査方法及び検査プログラム - Google Patents
検査装置、検査方法及び検査プログラム Download PDFInfo
- Publication number
- JP2022049874A JP2022049874A JP2020156139A JP2020156139A JP2022049874A JP 2022049874 A JP2022049874 A JP 2022049874A JP 2020156139 A JP2020156139 A JP 2020156139A JP 2020156139 A JP2020156139 A JP 2020156139A JP 2022049874 A JP2022049874 A JP 2022049874A
- Authority
- JP
- Japan
- Prior art keywords
- parameter
- command value
- evaluation
- work
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
【課題】計算量やメモリの負荷を低減して適切な照明パターンを設計することができる検査装置、検査方法及び検査プログラムを提供する。【解決手段】検査装置は、光源を、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、複数の評価用発光パターンで照明された少なくとも1つのワークに関する複数の評価用ワーク画像をカメラによって撮像する撮像部(141)と、複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、ワークの状態を識別するための発光パターンを表すパラメータを算出する算出部(142)と、パラメータを照明指令値に変換する変換部(143)と、を備える。【選択図】図1
Description
本発明は、検査装置、検査方法及び検査プログラムに関する。
製造現場における製品の外観検査は、機械による人員の置き換えが最も進んでいない分野の1つであり、将来の労働人口減少に向けて取り組まなければならない自動化の重要課題である。近年、ディープラーニングに代表される人工知能・機械学習技術の発展によって、検査の自動化技術は飛躍的に向上しつつある。
しかしながら、外観検査及びマシンビジョン一般において、検査システムを構築する際に最も手間がかかるプロセスは、照明パターンの最適化設計を含む撮像系の設計であり、この分野の自動化はあまり進んでいない。人が手作業でこの最適化設計を行う場合、ワーク(検査対象)の個体ばらつきに対応しつつ、ワークに生じたキズ等の欠陥を確実に検出するための撮像系の設計には、多大な労力が必要となる。すなわち、所望の検出性能を得るには、対象となる種々のワークを交換しつつ、照明の手調整による最適化と検査アルゴリズムの検討・調整を交互に繰り返すことが不可欠であり、そのために、非常に多くの工数が必要になる。
この問題に対応するべく、例えば、特許文献1には、光度が変更可能な光源によって照明された被撮像物を撮像手段により撮像し、最適な光度を特定するための画像データを取得する画像取得方法において、光源の光度を変えて被撮像物を複数撮像し、これらの画像の画像データの差に基づいて、光度を単位量だけ変化させることにより変化する画像データを生成し、この画像データにその複製データを重ね合わせることによって、光源の光度を低光度から高光度まで単位量毎に変えて撮像した複数の実画像に相当する複数の仮想画像データを生成する画像取得方法が記載されている。
しかしながら、特許文献1に記載の方法では、複数の照明指令値の組み合わせについてワークの画像を撮像するため、組み合わせが膨大になって計算量やメモリの負荷が大きくなることがあった。
そこで、本開示は、計算量やメモリの負荷を低減して適切な照明パターンを設計することができる検査装置、検査方法及び検査プログラムを提供することを目的とする。
本開示の一態様に係る検査装置は、光源を、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、複数の評価用発光パターンで照明された少なくとも1つのワークに関する複数の評価用ワーク画像をカメラによって撮像する撮像部と、複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、ワークの状態を識別するための発光パターンを表すパラメータを算出する算出部と、パラメータを照明指令値に変換する変換部と、を備える。
この態様によれば、離散値である照明指令値の組み合わせ最適化問題を連続値のパラメータの最適化問題に置き換えることができ、計算量やメモリの負荷を低減して適切な照明パターンを設計することができる。
上記態様において、算出部は、複数の評価用ワーク画像の数に等しい次元を有するパラメータにより重み付けした複数の評価用ワーク画像の重ね合わせによって合成画像を生成し、合成画像を所定の評価関数により評価することで、ワークの状態を識別するための発光パターンを表すパラメータを算出してもよい。
この態様によれば、離散値である照明指令値ではなく、連続値である画像合成重みを最適化し、画像合成重みを照明指令値に変換することで、検査における照明発光パターンを最適化することができる。
上記態様において、パラメータの次元数は、複数の評価用発光パターンの数よりも少なくてもよい。
この態様によれば、複数の評価用発光パターンの数よりも少ない次元のパラメータについて最適化を行うことができ、効率的に最適化を実行することができる。
上記態様において、変換部は、照明指令値をパラメータに対応付けるテーブルに基づいて、パラメータを照明指令値に変換してもよい。
この態様によれば、照明指令値の階調制約が存在する場合であっても、量子化誤差に起因する合成画像と実写画像との乖離を低減し、照明の最適化性能の低下を防止することができる。
上記態様において、変換部は、複数の評価用ワーク画像を撮像した際の露出時間及びゲインの少なくともいずれかに応じてテーブルの値をスケール変換してもよい。
この態様によれば、評価用ワーク画像を撮像した際の露出時間又はゲインに応じて適切な照度を算出することができる。
上記態様において、変換部は、テーブルに基づいて、パラメータを、光源に含まれる複数の照明要素の発光強度を表す発光強度パラメータに変換し、発光強度パラメータを、発光強度パラメータにより表される発光強度に類似する発光強度に対応する照明指令値に変換してもよい。
この態様によれば、実際の照明の階調で実現できる範囲内で適切な照明指令値を得ることができる。
上記態様において、変換部は、発光強度パラメータに基づいて、検査用ワーク画像を撮像する際の露出時間及びゲインの少なくともいずれかを決定してもよい。
この態様によれば、露出時間又はゲインが適切に設定され、実現したい画素値を表しつつ、照明指令値の範囲を無駄なく活用することができる。
上記態様において、撮像部は、露出時間及びゲインの少なくともいずれかを変化させて複数の評価用ワーク画像を撮像してもよい。
上記態様において、撮像部は、HDR(High Dynamic Range)合成により複数の評価用ワーク画像を撮像してもよい。
上記態様において、変換部は、パラメータが入力された場合に、パラメータを照明指令値に変換することと、照明指令値をパラメータに変換することとを収束するまで繰り返して、入力されたパラメータと、対応する照明指令値とを算出してもよい。
この態様によれば、入力されたパラメータと近くて実現可能なパラメータ及び照明指令値のペアを得ることができる。
上記態様において、変換部は、照明指令値が入力された場合に、照明指令値をパラメータに変換することと、パラメータを照明指令値に変換することとを収束するまで繰り返して、入力された照明指令値と、対応するパラメータとを算出してもよい。
この態様によれば、入力された照明指令値と近くて実現可能な照明指令値及びパラメータのペアを得ることができる。
本開示の他の態様に係る検査方法は、撮像部、算出部及び変換部を備える検査装置を用いて、ワークを検査する方法であって、撮像部が、光源を、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、複数の評価用発光パターンで照明された少なくとも1つのワークに関する複数の評価用ワーク画像をカメラによって撮像することと、算出部が、複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、ワークの状態を識別するための発光パターンを表すパラメータを算出することと、変換部が、パラメータを照明指令値に変換することと、を含む。
この態様によれば、離散値である照明指令値の組み合わせ最適化問題を連続値のパラメータの最適化問題に置き換えることができ、計算量やメモリの負荷を低減して適切な照明パターンを設計することができる。
本開示の他の態様に係る検査プログラムは、撮像部、算出部及び変換部を備える検査装置を制御して、ワークを検査させる検査プログラムであって、撮像部が、光源を、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、複数の評価用発光パターンで照明された少なくとも1つのワークに関する複数の評価用ワーク画像をカメラによって撮像することと、算出部が、複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、ワークの状態を識別するための発光パターンを表すパラメータを算出することと、変換部が、パラメータを照明指令値に変換することと、を検査装置に実行させる。
この態様によれば、離散値である照明指令値の組み合わせ最適化問題を連続値のパラメータの最適化問題に置き換えることができ、計算量やメモリの負荷を低減して適切な照明パターンを設計することができる。
なお、本開示において、「部」及び「装置」とは、単に物理的手段を意味するものではなく、その「部」及び「装置」が有する機能をソフトウェアによって実現する構成も含む。また、1つの「部」及び「装置」が有する機能が2つ以上の物理的手段や装置によって実現されてもよく、或いは、2つ以上の「部」及び「装置」の機能が1つの物理的手段や装置によって実現されてもよい。さらに、「部」及び「装置」とは、例えば「手段」及び「システム」と言い換えることも可能な概念である。
本開示によれば、離散値である照明指令値の組み合わせ最適化問題を連続値のパラメータの最適化問題に置き換えることができ、計算量やメモリの負荷を低減して適切な照明パターンを設計することができる。適切な照明パターンを用いることで、例えば、ワークにおけるキズ等の欠陥を強調する(良品と欠陥の差異を大きくして欠陥を見え易くする)ことができるとともに、ワークの背景画像に起因するランダムな良品ばらつきや個体ばらつきの影響を抑制する(良品ばらつきを低減する)こともできる。これにより、ワークの欠陥の見逃しや誤判定を低減することができ、ワークの検査性能及び検査効率の向上を実現可能となる。また、かかる効率的な検査処理により、検査装置を含むシステム全体の処理速度(スループット)を向上させ、また、記憶容量を節約でき、かつ、通信のデータ量を減らすことができるとともに、検査の信頼性を高めることができる。
以下、本開示の一例に係る実施形態について、図面を参照して説明する。但し、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図ではない。すなわち、本開示の一例は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付しており、図面は模式的なものであって、必ずしも実際の寸法や比率等とは一致しない。さらに、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。また、以下に説明する実施形態は本開示の一部の実施形態であって、全ての実施形態ではないことは言うまでもない。さらに、本開示の実施形態に基づいて、当業者が創造性のある行為を必要とせずに得られる他の実施形態は、いずれも本開示の保護範囲に含まれる。
§1 適用例
本開示においては、検査装置は、離散値である照明指令値に基づく検査用発光パターンで検査対象のワーク(検査対象物)を照明し、適宜のセンサによってワークを撮像して検査用ワーク画像を取得する。そして、その検査用ワーク画像を画像処理することによって、ワークの状態(例えば、キズ等の欠陥の有無)を識別する。
本開示においては、検査装置は、離散値である照明指令値に基づく検査用発光パターンで検査対象のワーク(検査対象物)を照明し、適宜のセンサによってワークを撮像して検査用ワーク画像を取得する。そして、その検査用ワーク画像を画像処理することによって、ワークの状態(例えば、キズ等の欠陥の有無)を識別する。
検査装置は、ワークの検査に最適化された発光パターンを決めるため、少なくとも1つのワークに関する複数の評価用ワーク画像を予め撮像する。そして、検査装置は、連続値のパラメータによって重み付けした複数の評価用ワーク画像の重ね合わせによって合成画像を生成し、合成画像を所定の評価関数により評価することで、ワークの状態を識別するために適した発光パターンを表すパラメータを算出する。検査装置は、照明指令値をパラメータに対応付けるテーブルに基づいて、パラメータを照明指令値に変換する。
このように、検査装置は、離散値である照明指令値ではなく、連続値である画像合成重みを最適化し、画像合成重みを照明指令値に変換することで、検査における照明発光パターンを最適化する。
どのように照明を点灯させるとどのような撮影画像が得られるのかが予め分からない場合、実際にワークをステージに載せて、多数の載せ替えを行いつつ撮影を繰り返し、最適な照明の点灯状態を探索する方法が考えられる。しかしながら、特にマルチチャネル照明装置のように、点灯状態の組み合わせ数が非常に大きい場合においては、最適解を求めるための試行回数が十分に確保できないという根本的な問題が発生する。この問題を解決するために、照明の点灯状態を変えた場合に撮影される画像を合成して、照明の最適化問題を計算機上の最適化問題として扱えるようにすることが考えられる。
このように計算機上のシミュレーションによって照明の点灯状態を最適化する場合、画像合成の結果を実写と一致させる精度を高めることが重要な課題となる。そこで課題となるのが、照明指令値の階調である。一般に光源はPWM(Pulse Width Modulation)調光されているため、任意の連続値の明るさがとれるわけではなく、離散値しかとることができない。さらにハードウェアの構成に依存して、全ての光源の照度の階調が等間隔に量子化されている保証もない。
そのような状況下で照明条件を最適化させたい場合、最も単純には、離散値である照明指令値を直接変化させて最適化する手法が考えられる。しかしながら、この場合には組み合わせ最適化問題を解くことになってしまい、多大な計算コストがかかることがある。また、評価用ワーク画像を撮影する際の発光パターンが標準基底(複数の光源のうち1つだけ点灯)になっていない場合には、離散の照明指令値から評価式を求めるのが困難であるという問題があった。
本実施形態に係る検査装置は、照明指令値の組み合わせ最適化問題を、連続値であるパラメータの最適化問題に置き換えることで、計算量やメモリの負荷を低減することができる。また、後に詳細に説明する照度LUT(Look Up Table)を用いた照明指令値と照度の対応付けによって、光源の照度の階調が等間隔に量子化されていない場合であっても、比較的高い精度で照明の点灯状態を最適化することができる。
ここでは、まず、図1及び図2を用いて、本開示の一例が適用される場面の一例について説明する。図1は、本開示の実施形態に係る検査装置の構成例を模式的に示す図である。また、図2は、本開示の実施形態に係る検査装置で用いられる光源の配置の一例を模式的に示す平面図である。
検査システム1は、例えば、ベルトコンベア2上を搬送される検査対象であるワーク4を撮像して得られる入力画像に対して画像分析処理を実行することで、ワーク4の外観検査を実施する。以下においては、画像分析処理の典型例として、ワーク4の表面における欠陥の有無の検査等を応用例として説明するが、これに限らず、例えば欠陥の種類の特定や外観形状の計測等にも応用が可能である。
ベルトコンベア2の上部には、光源LSが一体化されたセンサとしてのカメラ102が配置されており、カメラ102の撮像視野6はベルトコンベア2の所定領域を含むように構成される。ここで、光源LSとしては、例えばMDMC(Multi Direction Multi Color)照明等のマルチチャネル照明が挙げられ、より具体的には、本出願人による例えば特願2018-031747に記載の照明を例示することができる。マルチチャネル照明としての光源LSは、複数のチャネル照明LSiを有している。より具体的には、光源LSは、例えば図2に示すように、平面視において円形状を成す1つのチャネル照明LSiと、その周りに同心円状に配置された扇帯状を成す12個のチャネル照明LSiを有している。この場合、光源LSは、合計13個のチャネル照明LSiから構成され、各チャネル照明LSiが3色発光する場合、単色且つ単チャネルの既定照明発光パターンは13×3=39パターンとなる。さらに、カメラ102の撮像により生成された評価用ワーク画像のデータは、制御装置100へ送信される。カメラ102による撮像は、周期的又はイベント的に実行される。
制御装置100は、光源LSを、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、複数の評価用発光パターンで照明された少なくとも1つのワークに関する複数の評価用ワーク画像を撮像する。また、制御装置100は、複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、ワークの状態を識別するための発光パターンを表すパラメータを算出する。ここで、パラメータは、複数の評価用ワーク画像を重ね合わせて合成画像を生成するための重みパラメータである。さらに、制御装置100は、照度LUTに基づいて、パラメータを照明指令値に変換する。
制御装置100は、算出した照明指令値を用いて、検査対象のワーク4の検査用画像を撮像する。また、制御装置100は、ワーク4の外観検査のためのCNN(畳み込みニューラルネットワーク)エンジンを有する学習器を備えてよい。CNNエンジンを用いて検査用画像からクラス毎の特徴検出画像が生成される。生成された単数又は複数の特徴検出画像に基づいて、検査対象のワーク4の状態(欠陥の有無、欠陥の大きさ又は欠陥の位置等)が識別される。
制御装置100は、上位ネットワーク8を介して、PLC(プログラマブルコントローラ)10及びデータベース装置12等と接続されている。制御装置100における演算結果及び検出結果は、PLC10及び/又はデータベース装置12へ送信されてもよい。なお、上位ネットワーク8には、PLC10及びデータベース装置12に加えて、任意の装置が接続されるようにしてもよい。また、制御装置100は、処理中の状態や検出結果等を表示するための出力部としてのディスプレイ104と、ユーザによる操作を受け付ける入力部としての例えばキーボード106及びマウス108とが接続されていてもよい。
§2 構成例
[ハードウェア構成]
次に、図3を用いて、本開示の一実施形態に係る検査装置である検査システム1に含まれる制御装置100のハードウェア構成の一例について説明する。図3は、制御装置100のハードウェア構成を模式的に示す図である。
[ハードウェア構成]
次に、図3を用いて、本開示の一実施形態に係る検査装置である検査システム1に含まれる制御装置100のハードウェア構成の一例について説明する。図3は、制御装置100のハードウェア構成を模式的に示す図である。
制御装置100は、一例として、汎用的なコンピュータアーキテクチャに従って構成される汎用コンピュータを用いて実現されてもよい。制御装置100は、プロセッサ110と、メインメモリ112と、カメラインターフェイス114と、入力インターフェイス116と、表示インターフェイス118と、通信インターフェイス120と、ストレージ130とを含む。これらのコンポーネントは、典型的には、内部バス122を介して互いに通信可能に接続されている。
プロセッサ110は、ストレージ130に格納されている各種プログラムをメインメモリ112に展開して実行することで、後述するような機能及び処理を実現する。メインメモリ112は、揮発性メモリにより構成され、プロセッサ110によるプログラム実行に必要なワークメモリとして機能する。
カメラインターフェイス114は、カメラ102と接続されて、カメラ102にて撮像された評価用ワーク画像138や検査用ワーク画像140を取得する。カメラインターフェイス114は、カメラ102に対して撮像タイミング等を指示するようにしてもよい。
入力インターフェイス116は、キーボード106及びマウス108といった入力部と接続されて、ユーザによる入力部に対する操作等を示す指令を取得する。
表示インターフェイス118は、プロセッサ110によるプログラムの実行によって生成される各種処理結果をディスプレイ104へ出力する。
通信インターフェイス120は、上位ネットワーク8を介して、PLC10及びデータベース装置12等と通信するための処理を担当する。
ストレージ130は、OS(Operating System)や検査プログラム132等のコンピュータを制御装置100として機能させるためのプログラムを格納している。ストレージ130は、さらに、照明パラメータ134、照度LUT136、複数の評価用ワーク画像138及び複数の検査用ワーク画像140を格納していてもよい。照明パラメータ134は、複数の評価用ワーク画像の数に等しい次元を有する連続値のパラメータであり、複数の評価用ワーク画像138を重ね合わせて合成画像を生成するための重みパラメータである。照度LUT136は、照明指令値を照度に対応付けるテーブルである。
ストレージ130に格納される検査プログラム132は、DVD(Digital Versatile Disc)等の光学記録媒体又はUSB(Universal Serial Bus)メモリ等の半導体記録媒体等を介して、制御装置100にインストールされてもよい。或いは、検査プログラム132は、ネットワーク上のサーバ装置等からダウンロードするようにしてもよい。
このように汎用コンピュータを用いて実現する場合には、OSが提供するソフトウェアモジュールのうち、必要なソフトウェアモジュールを所定の順序及び/又はタイミングで呼び出して処理することで、本実施形態に係る機能の一部を実現するものであってもよい。すなわち、本実施形態に係る検査プログラム132は、本実施形態に係る機能を実現するための全てのソフトウェアモジュールを含んでおらず、OSと協働することで、必要な機能が提供されるようにしてもよい。
また、検査プログラム132は、他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、検査プログラム132自体には、上記のような組み合せられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。このように、本実施形態に係る検査プログラム132は、他のプログラムに組込まれた形態であってもよい。
なお、図3には、汎用コンピュータを用いて制御装置100を実現する例を示すが、これに限定されず、その全部又は一部の機能を専用回路(例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)等)を用いて実現してもよい。さらに、一部の処理をネットワーク接続された外部装置に担当させてもよい。
以上のとおり、ハードウェア構成の観点から、検査システム1は、本開示における「検査装置」の一例に相当する。また、ワーク4は、本開示における「ワーク」の一例に相当する。さらに、光源LSは、本開示における「光源」の一例に相当し、カメラ102は、本開示における「カメラ」の一例に相当する。
[機能構成]
次に、図4を用いて、本開示の実施形態に係る検査装置である検査システム1の機能構成の一例を説明する。図4は、本開示の実施形態に係る検査装置である検査システム1の機能構成の一例を模式的に示す図である。検査システム1の制御装置100は、撮像部141、算出部142、変換部143及び記憶部144を含むことができる。
次に、図4を用いて、本開示の実施形態に係る検査装置である検査システム1の機能構成の一例を説明する。図4は、本開示の実施形態に係る検査装置である検査システム1の機能構成の一例を模式的に示す図である。検査システム1の制御装置100は、撮像部141、算出部142、変換部143及び記憶部144を含むことができる。
制御装置100における撮像部141、算出部142及び変換部143は、汎用プロセッサによって実現することができ、本開示においては限定されず、これらの部品の全部又は一部の機能を専用回路(例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)等)を用いて実現してもよい。さらに、一部の処理をネットワーク接続された外部装置に担当させてもよい。
撮像部141は、光源LSを、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、複数の評価用発光パターンで照明された少なくとも1つのワークに関する複数の評価用ワーク画像をカメラ102によって撮像する。撮像部141は、N枚の評価用ワーク画像を撮像してよい。
算出部142は、複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、ワークの状態を識別するための発光パターンを表すパラメータを算出する。算出部142は、複数の評価用ワーク画像の数に等しい次元を有するパラメータにより重み付けした複数の評価用ワーク画像の重ね合わせによって合成画像を生成し、合成画像を所定の評価関数により評価することで、ワークの状態を識別するための発光パターンを表すパラメータを算出する。
変換部143は、算出されたパラメータを照明指令値に変換する。変換部143は、照明指令値をパラメータに対応付ける照度LUTに基づいて、パラメータを照明指令値に変換する。
記憶部144は、照明最適化段階において、撮像部141によって得られた複数の評価用ワーク画像を記憶し、検査段階において、撮像部141によって得られた検査用ワーク画像を記憶する。また、記憶部144は、算出部142によって得られた照明パラメータを記憶する。さらに、記憶部144は、変換部143によって用いられる照度LUTを記憶する。記憶部144は、検査システム1の動作に必要なプログラム又はデータを記憶する上述したストレージ130によって実現される。なお、制御装置100は、記憶部144を含まなくてもよく、記憶部144に替えて、外部(装置)のストレージを用いてもよい。
以上のとおり、機能モジュールの観点から、制御装置100は、光源LS及びカメラ102とともに、本開示における「撮像部」の一例に相当する。また、制御装置100は、本開示における「算出部」及び「変換部」の一例として機能する。
§3 動作例
以下の動作例の説明において、数式中で使用する各記号の意味は表1に示すとおりである。ボールドの小文字はベクトルを示し、ボールドの大文字は行列を示す(文中においては非ボールドで示す。)。それ以外の記号はスカラーである。また、∥ ∥はベクトルに対するL2ノルムを示し、[X]i,jは行列Xのi行j列の要素を示すものとする。
(マルチチャネル照明による撮影と内積演算の等価性)
本開示による検査システム1では、光源LSとしてマルチチャネル照明を用いた撮像部141を用いるが、ここでは、検査システム1におけるセンサ側のリニアリティ(輝度とQL値の間のリニアリティ)が成立していると仮定する。これはつまり、カラーフィルタのデモザイキング等の信号処理やガンマ補正、暗電流オフセット補正等の撮像補正を全て含んだシステムにおいてリニアリティが成立しているという意味である。画素飽和による非線形を避けるために、画像の撮影にはHDR(High dynamic range)合成等を用いてもよい。このとき、K個のチャネル照明LSiで照らしたワーク4を撮像する状況を考え、各チャネル照明の発光強度を、下記式(1)のベクトルとして表記する。
本開示による検査システム1では、光源LSとしてマルチチャネル照明を用いた撮像部141を用いるが、ここでは、検査システム1におけるセンサ側のリニアリティ(輝度とQL値の間のリニアリティ)が成立していると仮定する。これはつまり、カラーフィルタのデモザイキング等の信号処理やガンマ補正、暗電流オフセット補正等の撮像補正を全て含んだシステムにおいてリニアリティが成立しているという意味である。画素飽和による非線形を避けるために、画像の撮影にはHDR(High dynamic range)合成等を用いてもよい。このとき、K個のチャネル照明LSiで照らしたワーク4を撮像する状況を考え、各チャネル照明の発光強度を、下記式(1)のベクトルとして表記する。
このとき、ui=1,uj=0(j≠i)のようにi番目の照明のみを所定の強度で点灯させ、その他は消灯させて撮像された画像をコラムベクトルとして並べたものをfiとすると、任意の照明条件uにおける撮影画像gは、以下の式(2)のように画像合成によりモデル化できる。
ここで、ここで、f′は下記式(3)で定義されるK枚分の画像を縦に並べてまとめたマルチチャネル画像(大きな1つのコラムベクトル)である。
また、上記式(2)及び(3)における各演算子等の定義は以下のとおりである。
このように、マルチチャネル照明の最適化は元画像のf′からの内積演算による特徴ベクトルgの生成、つまり射影行列uT×I(「×」はクロネッカー積)における線形射影方向uの最適設計をしていることと等価である。
(既定の発光パターンによる評価画像の取得)
以下では一般に、K個の照明が実装されている状況において、1つのワークについて照明発光パターンを変化させてNパターンの撮影を行ない、最適照明を決定する(ティーチングする)ことを考える。
以下では一般に、K個の照明が実装されている状況において、1つのワークについて照明発光パターンを変化させてNパターンの撮影を行ない、最適照明を決定する(ティーチングする)ことを考える。
n(1≦n≦N)枚目の撮影における発光パターンを下記式(5)のように定義する。
これらの発光パターンによってワークを撮影することで、任意の発光パターンで照らした場合のワークの撮影画像を再構成することが可能となる。これはLT(Light Transport)行列の推定を行っていることと等価となる。一般にLT行列の全ての自由度を取得するためには、hnが線形独立となるように発光パターンを決定することが望ましい。K個の照明の自由度を全て余すことなく活用させるためには、少なくともN=Kであり、その際にHのランクrank(H)=min(N,K)は、フルランクとなっている必要がある。
一方、N<Kの場合、照明個数の自由度を十分に活用できないが、ワークの撮影時間を短縮させるためには有効な手法である。これを実現する手法としてはさまざまなものが考えられるが、代表的なものとしてCompressed Sensingを用いたLT行列推定を行う手法が挙げられる。
また、N>Kとするケースも考えられ、これは照明の自由度を十分に活用させるという意味では必要以上であり無駄な撮影枚数となるが、SN比やダイナミックレンジを稼ぐなどの別目的で選択されうる。
これらの発光パターンで撮影された画像をコラムベクトルとして並べたものをfiとして、これらをさらにN枚分縦に並べてまとめたマルチチャネル画像ベクトルを下記式(6)のように定義する。ここで、eiはRNの標準基底を表す。
各照明チャネルによる輝度uとその際の撮影画像gは下記式(7)のように表現される。
ここで、wiは画像合成重み(照明パラメータ)である。なお、発光強度の指令値は画像合成重みを元に算出されるが、この値そのものではない。画像合成重みは一般に負の値をとることも許されるが、照明チャネルの発光強度は非負でなければならないため、下記式(8)の条件が課せられる。
ここで、ベクトルや行列に対する不等号は、全ての要素についての不等号であるとする。H=Iであるとき、つまり、照明を1つずつ点灯させてK(=N)枚撮影した場合には、uとwは等価となる。以下では、最適な画像合成重みwを求めることによって、その際の最適照明uを求める問題を扱う。
(照明階調の量子化誤差問題)
最適化問題を難しくする点として、照明階調の量子化問題が挙げられる。照明の発光強度は多くの場合PWM(Pulse Width Modulation)により調光されているため連続値をとることができず量子化されている。量子化誤差の影響が小さければ連続緩和して最適化問題を解いても問題ない。しかしながら、照明最適化の場合、もし露出が大きく設定されていたり、ワークの反射率が大きい場合であったりすると、離散階調の影響は無視できない。マルチチャネル照明の場合、ワークのBRDF(Bidirectional Reflectance Distribution Function)特性によって、照明の取り付け角に依存して反射率に大きな乖離が生じるため、暗いチャネルに露出を合わせてしまうと明るいチャネルの階調が不足してしまい、連続緩和による最適化では量子化誤差の影響を大きく受けてしまい最適化の精度が低下するという問題が起こる。
最適化問題を難しくする点として、照明階調の量子化問題が挙げられる。照明の発光強度は多くの場合PWM(Pulse Width Modulation)により調光されているため連続値をとることができず量子化されている。量子化誤差の影響が小さければ連続緩和して最適化問題を解いても問題ない。しかしながら、照明最適化の場合、もし露出が大きく設定されていたり、ワークの反射率が大きい場合であったりすると、離散階調の影響は無視できない。マルチチャネル照明の場合、ワークのBRDF(Bidirectional Reflectance Distribution Function)特性によって、照明の取り付け角に依存して反射率に大きな乖離が生じるため、暗いチャネルに露出を合わせてしまうと明るいチャネルの階調が不足してしまい、連続緩和による最適化では量子化誤差の影響を大きく受けてしまい最適化の精度が低下するという問題が起こる。
仮に照明階調の量子化が等間隔であり、評価関数が2次関数であったなら、この問題はNonconvex MIQP(Nonconvex Mixed Integer Quadratic Programming)となり、照明の要素数が比較的少ない場合ならば、MIQPソルバー(数値最適化ライブラリ)を利用して解くことが可能である。しかしながら、実際の問題では照明階調はチャネルごとに非等間隔となり評価関数も複雑な定義となってしまう。そのため、一般に計算量の大きな組み合わせ最適化問題となってしまう。本開示では、最初に連続緩和された問題として最適解を見つけてから効率的に照明階調を考慮した照明指令値を求める方法を提案する。
(照明最適化の評価基準)
ここでは、照明最適化の意義とその評価基準について概説した後、図面等を参照しながら、具体的な処理手順について説明する。まず、ワーク等の外観検査における照明設計の目的は、良品(正常品)と不良品(欠陥品)が正しく判別されるようにすることである。この問題は、従来、熟練者の人手によって解決されてきたが、システマティックに解決しようとした場合、「判定基準」と「照明設計の制御自由度」を予め決めて限定しておく必要がある。
ここでは、照明最適化の意義とその評価基準について概説した後、図面等を参照しながら、具体的な処理手順について説明する。まず、ワーク等の外観検査における照明設計の目的は、良品(正常品)と不良品(欠陥品)が正しく判別されるようにすることである。この問題は、従来、熟練者の人手によって解決されてきたが、システマティックに解決しようとした場合、「判定基準」と「照明設計の制御自由度」を予め決めて限定しておく必要がある。
ここで、判定基準として既定の判別アルゴリズムが与えられ、制御自由度としてMDMC照明等のマルチチャネル照明が与えられた場合の照明最適化問題は、良品/不良品のカテゴリ分けを正解と一致させる「クロスエントロピー最小化問題」として定式化される。なお、ワークのラベル判定における判定器が機械学習器であった場合、照明最適化と判定器の学習を同時に行い、お互いにとって最も性能を発揮するチューニングを自動的にさせることも可能となる。
しかしながら、クロスエントロピー最小化を行わせようとする場合に大きな問題となるのが、良品/不良品のラベルが付加されたサンプルが大量に必要になる点にある。特に大きな自由度を有する照明を最適化させようとする場合、少数の良品/不良品ラベルを判別させるだけという基準では、最適な照明を一意に決めることが困難となってしまう。このような問題は、多くの評価用ワーク画像(サンプル画像)が得られない検査装置の立ち上げ時に特に憂慮すべき大きな課題となる。
そこで、本開示においては、この問題を解決するために、画像自体の評価基準(コントラスト、明るさ、近さ)をベースとして照明を最適化する手法を提案する。この場合、ワーク等の外観検査における最適化照明設計に求められる要件としては、大きく以下に示す2つを挙げることができる。
[要件1]良品(ラベル)と不良品(ラベル)の識別を行い易くする特徴を見えやすくすること(つまり欠陥を見え易くすること)
[要件2]良品ばらつき(個品ばらつき)を見え難くすること
[要件2]良品ばらつき(個品ばらつき)を見え難くすること
但し、両要件は一般に相反する性質であるため、それらのバランスの取れた照明設計を行うことが照明最適化の難課題となる。以下では、これらの条件を満たす評価基準を用いて、照明の発光強度が正の値となるような制約条件下で解を求めるため、評価基準を判別分析であるととらえ、画像の評価基準を2次形式で表現されるとする。その場合、この問題はSDP(Semidefinite Programming)で解くことができる。
いずれの評価基準を用いたとしても、照明最適化の評価関数は、下記式(9)のようにM個のワーク撮影画像を入力とした関数Fの最小化として表現することができる。この最適化で求められるのは、wiと表記される画像合成重み(照明パラメータ)である。これはi番目の基底発光パターンの光量を意味し、本来は照明指令値が離散的であることに起因して離散量であるが、ここでは連続緩和して連続量であるとして扱う。
図5は、本開示に係るマルチチャネル照明を用いたシングルショット検査におけるリニアリティの成立を前提とした画像合成モデルを示す模式図である。
この最適化問題は、uではなくwの少ない次元の連続量で探索することができるため効率的に実施することができる。以降では最適な画像合成ウェイトwoptをwと表記する。
(センサモデルと画像合成の一般式(露出固定の場合))
撮像システムにおいて、照明指令値からセンサ画素値に至るまでの階調の変化を特徴づけるものとして、(1)照明指令値から輝度(=この場合照度)を求めるための関数と、(2)輝度からセンサ画素値を求めるための関数(=Camera Response Function; CRF)を挙げることができる。(1)については後述する照度LUTがそれにあたる。(2)については、特定範囲内の画素値であればセンサのリニアリティが十分に成立していると仮定して議論を進める。また、クランプレベル(=輝度ゼロの画素値)は一定値であるとするが、これらの仮定が成立しなくなった場合には、それらに対する補正処理を導入する必要がある。
撮像システムにおいて、照明指令値からセンサ画素値に至るまでの階調の変化を特徴づけるものとして、(1)照明指令値から輝度(=この場合照度)を求めるための関数と、(2)輝度からセンサ画素値を求めるための関数(=Camera Response Function; CRF)を挙げることができる。(1)については後述する照度LUTがそれにあたる。(2)については、特定範囲内の画素値であればセンサのリニアリティが十分に成立していると仮定して議論を進める。また、クランプレベル(=輝度ゼロの画素値)は一定値であるとするが、これらの仮定が成立しなくなった場合には、それらに対する補正処理を導入する必要がある。
(照度LUT)
照度LUT(Look Up Table)とは、照明指令値と相対照度の関係を記録したLUTであり、照明の階調の情報を保持するテーブルである。LUTの定義は、kを照明チャネルのインデックスとし、cを撮像センサのカラーフィルタのインデックスとして、kチャネルにおける照明指令値をTkとするとき、LUTの示す照度をLk,c(Tk)と表す。照度は相対的な情報のみを用いるため、絶対値は問わない。LUTは、事前のキャリブレーションにおいて、各照明チャネルを全階調で照らして画素値を測定することによって得られ、検査システム1の記憶部に記憶される。照度を測定する際は、センサの露出やゲインを、画素飽和や階調不足が発生しない適切な値に設定しておく必要がある。LUTは、一度測定してしまえば記憶装置に保存しておき、特性が変化しない期間は再利用することが可能である。
照度LUT(Look Up Table)とは、照明指令値と相対照度の関係を記録したLUTであり、照明の階調の情報を保持するテーブルである。LUTの定義は、kを照明チャネルのインデックスとし、cを撮像センサのカラーフィルタのインデックスとして、kチャネルにおける照明指令値をTkとするとき、LUTの示す照度をLk,c(Tk)と表す。照度は相対的な情報のみを用いるため、絶対値は問わない。LUTは、事前のキャリブレーションにおいて、各照明チャネルを全階調で照らして画素値を測定することによって得られ、検査システム1の記憶部に記憶される。照度を測定する際は、センサの露出やゲインを、画素飽和や階調不足が発生しない適切な値に設定しておく必要がある。LUTは、一度測定してしまえば記憶装置に保存しておき、特性が変化しない期間は再利用することが可能である。
図6は、本開示の実施形態に係る検査装置により用いられる照度LUTの一例を示す図である。図6の縦軸に示す照度LUTの値Lk,c(T)(相対照度の値)によれば、横軸に示す指令値Tの値が0から127まで変化する場合に、照度LUTの値は、指令値Tに対してほとんど線形に変化する。しかしながら、次図に示すように、より正確には、相対照度の値は指令値の変化に対して非線形に変化している。
図7は、本開示の実施形態に係る検査装置により用いられる照度LUTの一部の区間を拡大して示す図である。図7では、図6に示す照度LUTのうち、指令値Tの値が0から18までの区間を示している。図7に示すように、照度LUTの値(相対照度の値)は、指令値Tに対して非線形に変化する。
(画像合成ウェイトから照明指令値への変換(露出固定の場合))
図8は、本開示の実施形態に係る検査装置によって互いに変換される画像合成重み及び照明指令値の空間を模式的に示す図である。照明パターンを連続的に変えて得られるN枚の画像の集合は、画像合成重みのベクトル空間{w|w∈RN,0≦wi≦wmax}の元となる。もっとも、画像合成重みのベクトル空間で表される合成画像が全て現実に実現可能なのではなく、照明の階調で実現できる範囲、つまり照明指令値を元とするベクトル空間{T|T∈IK,0≦Tk≦Tmax}の範囲に限られている。図8では、この範囲を基底画像から推定可能な照明指令値空間として示している。
図8は、本開示の実施形態に係る検査装置によって互いに変換される画像合成重み及び照明指令値の空間を模式的に示す図である。照明パターンを連続的に変えて得られるN枚の画像の集合は、画像合成重みのベクトル空間{w|w∈RN,0≦wi≦wmax}の元となる。もっとも、画像合成重みのベクトル空間で表される合成画像が全て現実に実現可能なのではなく、照明の階調で実現できる範囲、つまり照明指令値を元とするベクトル空間{T|T∈IK,0≦Tk≦Tmax}の範囲に限られている。図8では、この範囲を基底画像から推定可能な照明指令値空間として示している。
ここで、画像の近さの基準を定めれば、画像合成重みベクトルを適当に決めたとき、そのベクトルに最も近い画像を実現する照明指令値ベクトルを1つ選ぶことができる。逆に、照明指令値ベクトルを適当に決めたとき、そのベクトルに最も近い画像を実現する画像合成重みベクトルを1つ選ぶことができる。つまり、最も画像が近くなるという意味で、画像合成重みベクトルと照明指令値ベクトルのペアが存在する。
画像の近さを表す基準は任意に定めることができるが、以降では具体的な実施例として、マルチチャネル照明の各照明チャネルからカメラの各カラーフィルタに入る輝度値ベクトル(uと表記)が、二乗誤差の意味で最も近いという定義をした場合の実装例を示す。数式中で使用する各記号の意味は表2に示すとおりである。
以下では、撮影画像色チャネル毎に画像合成ベクトルgcを構成し、下記式(10)のように暗オフセット値の補正を考慮する。ここで、暗オフセット値dcは、露出時間及びゲインに依存する。
画像合成重みベクトルwとuの関係は、下記式(11)で示す関係になっている。
ただし、uは、下記式(12)で表されるベクトルであり、Aは、下記式(13)で表される行列である。
以下では、式(11)のようにwが色依存しない場合について説明するが、wが色依存する場合、下記式(14)のように表される。
ここで、(1)色依存重みとは、センサのカラーフィルタ(色チャネル)に依存して画像合成重みを変える処理を意味して、(2)色共通重みとは、センサのカラーフィルタに共通の画像合成重みを用いる場合である。特に問題がない場合にはパラメータ数が少ない(2)を用いるものとする。
照明指令値Tから画像合成重みwを求める際には、式(12)によりTからuを求め、下記式(15)を用いてuからwを求めることになる。このうちuからwを求める場合、式(15)に示すようにAの一般逆行列による最小二乗法で効率よく計算することができる。
一方、画像合成重みwから照明指令値Tを求める際には、式(11)によりwからuを求め、下記式(16)に示すように照度LUTを逆引きして、最も近い指令値を求めることで効率よく計算することができる。
検査装置の変換部143は、照度LUTに基づいて、画像合成重みw(照明パラメータ)を、光源LSに含まれる複数の照明要素(チャネル照明LSi)の発光強度を表す発光強度パラメータuに変換し、発光強度パラメータuを、発光強度パラメータにより表される発光強度に類似する発光強度に対応する照明指令値Tに変換する。
以上のように、画像合成重みwと照明指令値Tの相互変換に基づき、仮にユーザからマルチチャネル照明で実現したい画像としてw0が与えられた場合には、それを元に相互変換を収束するまで繰り返し、wとTのペアを求めることができる。このようなペアは、図8においてw1及びT1として示されている。
このように、検査装置の変換部143は、画像合成重みパラメータが入力された場合に、画像合成重みパラメータを照明指令値に変換することと、照明指令値を画像合成重みパラメータに変換することとを収束するまで繰り返して、入力された画像合成重みパラメータと、対応する照明指令値とを算出する。これにより、ユーザは、入力された画像合成重みパラメータw0と最も近くて実現可能な合成画像を画像合成重み空間より得ることができ、対応する照明指令値Tを得ることができる。
一方、ユーザから実現したい照明指令値T0が与えられ、その値が予め撮影された基底画像で表現される範囲ではなかった場合、それを元に相互変換を収束するまで繰り返し、wとTのペアを求めることができる。このようなペアは、図8においてw2及びT2として示されている。
このように、検査装置の変換部143は、照明指令値が入力された場合に、照明指令値を画像合成重みパラメータに変換することと、画像合成重みパラメータを照明指令値に変換することとを収束するまで繰り返して、入力された照明指令値と、対応する画像合成重みパラメータとを算出する。これにより、ユーザは、入力された照明指令値T0と最も近くて実現可能な合成画像をパラメータw2により得ることができ、対応する照明指令値をT2として得ることができる。
ここで、基底画像の数(複数の評価用ワーク画像の数)は、マルチチャネル照明で実現可能な複数の評価用発光パターンの数よりも少なくてよい。その場合、マルチチャネル照明で実現可能な範囲で、照明指令値Tよりも低次元の画像合成重みパラメータwの空間で所望の画像を探索することができる。すなわち、より低い次元の連続量を用いて効率的かつ高速に解を探索できる
また、照明指令値Tを直接最適化する場合、離散最適化を必要とするが、画像合成重みwを最適化する場合、より容易な連続最適化の手法を用いることができ、最適化アルゴリズムの選択肢が広がる。また、照明最適化の評価関数を介さずに、連続量の画像合成重みを離散量の照明指令値に最適に変換することができる。
図9は、本開示の実施形態に係る検査装置によって実行される第1処理のフローチャートである。第1処理は、最適照明を決定する(ティーチングする)フェーズと、ワークの検査を行うフェーズとを含む。
ティーチングフェーズにおいて、検査装置は、M個のワークについて、行列Hとして表現される、それぞれN個の評価用照明発光パターンでワークを照明して、N×M枚の評価用ワーク画像{f′m}m=1
Mが得られる(S100)。
次に、検査装置は、照明最適化処理を実行する。すなわち、検査装置は、最適化のための評価関数Fの入力をユーザから受け付けて、評価用ワーク画像f′を重ね合わせて合成画像を生成し、評価関数Fを最小化するような画像合成重みwを算出する(S101)。
その後、検査装置は、照明指令値を決定する。検査装置は、算出した画像合成重みwを、照度LUTを用いて照明指令値Tに変換する(S102)。このようにして、複数の評価用ワーク画像について最適化された照明指令値Tが得られる。
検査フェーズにおいて、検査対象となるワークを設置し、検査装置は、検査用ワーク画像を撮影する。ここで、検査装置は、ティーチングフェーズにおいて算出した照明指令値Tを用いてワークを照明し、検査用ワーク画像を撮影する(S103)。
そして、検査装置は、撮影した検査用ワーク画像を検査判定器(例えばCNN等を用いた判定器)に入力し、判定結果を得る(S104)。
§5 変形例
以上、本開示の一例としての実施形態について詳細に説明してきたが、前述した説明はあらゆる点において本開示の一例を示すに過ぎず、本開示の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもなく、例えば、以下に示すような変更が可能である。なお、以下の説明においては、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、説明を適宜省略した。また、上記実施形態及び以下の各変形例は、適宜組み合わせて構成することが可能である。
以上、本開示の一例としての実施形態について詳細に説明してきたが、前述した説明はあらゆる点において本開示の一例を示すに過ぎず、本開示の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもなく、例えば、以下に示すような変更が可能である。なお、以下の説明においては、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、説明を適宜省略した。また、上記実施形態及び以下の各変形例は、適宜組み合わせて構成することが可能である。
<5.1:第1変形例>
これまでの説明ではセンサの露出時間やゲインは一定であると仮定してきたが、実際の問題設定においては露出時間やゲインを変えた際にどのような画像が取得できるのかを推定できると大変便利である。第1変形例の検査システムでは、露出時間を変えた際のセンサモデルを、下記式(17)で示されるように暗電流オフセットを除いた成分に対する露出時間の正比例としてモデル化できると仮定して議論を進める。もし、このモデルに従わない場合には補正処理を導入する必要がある。
これまでの説明ではセンサの露出時間やゲインは一定であると仮定してきたが、実際の問題設定においては露出時間やゲインを変えた際にどのような画像が取得できるのかを推定できると大変便利である。第1変形例の検査システムでは、露出時間を変えた際のセンサモデルを、下記式(17)で示されるように暗電流オフセットを除いた成分に対する露出時間の正比例としてモデル化できると仮定して議論を進める。もし、このモデルに従わない場合には補正処理を導入する必要がある。
ここで、τ及びτ′を含む各記号の意味は表3に示すとおりである。
(画像合成ウェイトから照明指令値への変換(露出可変の場合))
本変形例では、基底画像のそれぞれが、異なる露出時間τnで撮影されているものとする。すなわち、撮像部141は、露出時間(又はゲイン)を変化させて複数の評価用ワーク画像を撮像する。なお、τnが全て同じ露出時間であってもよい。また、撮像部141は、HDR(High Dynamic Range)合成により複数の評価用ワーク画像を撮像してもよい。その場合、露出時間は、HDR拡大撮影の基準露出時間であってよい。露出時間τnを各照明チャネルで変えることによって、各照明チャネルにおける輝度の階調を多く確保できる。さらにHDR拡大撮影することによって、ワークの輝度のダイナミックレンジが広い場合においても十分な階調を確保することができる。
本変形例では、基底画像のそれぞれが、異なる露出時間τnで撮影されているものとする。すなわち、撮像部141は、露出時間(又はゲイン)を変化させて複数の評価用ワーク画像を撮像する。なお、τnが全て同じ露出時間であってもよい。また、撮像部141は、HDR(High Dynamic Range)合成により複数の評価用ワーク画像を撮像してもよい。その場合、露出時間は、HDR拡大撮影の基準露出時間であってよい。露出時間τnを各照明チャネルで変えることによって、各照明チャネルにおける輝度の階調を多く確保できる。さらにHDR拡大撮影することによって、ワークの輝度のダイナミックレンジが広い場合においても十分な階調を確保することができる。
以下では、合成画像の露出時間τ′と基底画像の露出時間τnとが異なる値をとり得るものとする。このような問題設定での画像合成は、式(10)~(16)を適宜変更することで行うことができる。具体的には、輝度値ベクトルuの定義が、基準露出時間τにおける輝度値となり、下記式(18)のように表される点と、A行列の各係数に基底画像を撮影した際の露出時間τnが含まれ、下記式(19)のように表される点である。
この場合における画像合成重みwと照明指令値Tの変換規則は、wとuが対応付けられ、uと(T,τ′)が対応付けられ、照明指令値と露出時間がセットで扱われることになる。このように、変換部143は、複数の評価用ワーク画像を撮像した際の露出時間及びゲインの少なくともいずれかに応じてLUTテーブルの値をスケール変換する。
画像合成重みwから照明指令値Tを求める際には、wからuを求めた後、下記式(20)に示すように照度LUTを逆引きして、最も近い指令値を求める。
図10は、本開示の実施形態に係る検査装置によって互いに変換される画像合成重み及び照明指令値の空間を模式的に示す図である。一般に、同じ画像を得るために必要となる照明指令値と露出時間の対応は一意には決まらない。例えば、露出時間を2倍にできるなら、照明指令値を1/2倍にしても同じ画像が得られる。そのため、uと(T,τ′)の変換が成立するT及びτ′の組み合わせは大変多く存在する。なお、指令値Tが離散値のため、uと(T,τ′)の変換が成立するT及びτ′の組み合わせは有限である。
(画像合成の比率と照明指令値の階調制約の問題)
一般にuと(T,τ′)の変換が成立するT及びτ′の組み合わせは大変多く存在するが、最適となる(T,τ′)を求める基準として考えられるのが、照明指令値の階調を最も有効に活用させるという観点である。
一般にuと(T,τ′)の変換が成立するT及びτ′の組み合わせは大変多く存在するが、最適となる(T,τ′)を求める基準として考えられるのが、照明指令値の階調を最も有効に活用させるという観点である。
図11は、本開示の実施形態に係る検査装置によって算出される露出時間と画素値の関係を模式的に示す図である。画像の画素値は輝度を反映したものであるが、画素値はワークの反射率によって変化する。ワークの反射率は照明チャネル(入射角や色)によって変化するため、照明階調の輝度に対する刻み幅は照明チャネルによって異なっている。なお、図11では階調は等間隔となっているが、実際はLED素子やPWM変調の制約によって等間隔になるとは限らない。照明指令値の階調制約が存在すると、所望の画像合成重みの比率が任意に実現できないという問題が起きてしまい、これが照明最適化の性能を大きく下げてしまうという問題がある。露出時間を適切に設定しない場合、量子化誤差によって画像合成で想定した画像と、実写画像とが乖離してしまい、照明の最適化性能が低下してしまう。
図11では、左側に露出時間が小さすぎる例を示している。この場合、第2チャネル(CH2)及び第3チャネル(CH3)については、実現したい画素値(=輝度×露出)uk,cを、照明指令値を適切に選択することで表すことができる。しかし、第1チャネル(CH1)については、照明指令値を最大値としても、実現したい画素値uk,cが表せない状態となっている。
図11では、逆の例として、右側に露出時間が多きすぎる例を示している。この場合、第1チャネル(CH1)、第2チャネル(CH2)及び第3チャネル(CH3)について、照明指令値を適切に選択することで実現したい画素値uk,cを表すことができる。しかし、全てのチャネルについて、照明指令値を最大値とした場合の画素値が、実現したい画素値uk,cの最大値を超えており、活用されない照明指令値の範囲が存在する。
図11の中央には、露出時間を適切に設定した例を示している。この場合、第1チャネル(CH1)について、照明指令値を最大値とした場合の画素値が、実現したい画素値uk,cの最大値に一致しており、照明指令値の範囲を無駄なく活用することができる。
検査装置は、照明指令値の階調を最も活用できるように合成画像の露出時間(=撮影画像の露出時間)τ′を最適に調整する。検査装置は、各照明チャネルにおいて必要となる輝度を、それぞれ最大の照明指令値で実現するために必要な露出時間を算出し、その最大値によって、合成画像の露出時間τ′を決定する。具体的には、下記式(21)によって合成画像の露出時間τ′を決定する。
このように、検査装置の変換部143は、発光強度パラメータuに基づいて、検査用ワーク画像を撮像する際の露出時間τ′(又はゲイン)を決定する。この手法によって、露出時間が無駄に大きすぎてしまい、照明指令値の階調が十分に使われない現象を避けることができる。また、露出時間が小さすぎて、実現したい画素値が表現できない現象を避けることができる。このように、露出時間を適切に最適化することによって、画像合成重みを、照明指令値の階調によって実現しやすく補助することができる。
実際には、露出時間は動体やタクトに影響するため任意に設定できるわけではなく、ある範囲内でしか調整できない量となるが、その場合には上述した露出の最適化を制約範囲内から探索するようにすればよい。
露出時間を調整して照明階調を有効活用する例は、これまでに説明した方法に限られない。例えば、ワーク反射率が大きいため階調幅が大きく、量子化誤差が特に生じやすいチャネル(例えば図11のCH2)に注目して、その量子化誤差を優先的に目立たなくするように露出時間を調整するという手法も考えられる。そのような注目するチャネルを複数設定する場合には、どのようにトレードオフさせるのかを明確な評価基準で実現させておく必要がある。
図12は、本開示の実施形態に係る検査装置によって実行される第2処理のフローチャートである。第2処理は、露出時間の最適化を含む最適照明を決定する(ティーチングする)フェーズと、ワークの検査を行うフェーズとを含む。本処理では、評価用ワーク画像を撮影する際の露出時間は、基準値で一定とする。
ティーチングフェーズにおいて、検査装置は、M個のワークについて、行列Hとして表現される、それぞれN個の評価用照明発光パターンでワークを照明して、N×M枚の評価用ワーク画像{f′m}m=1
Mが得られる(S200)。
次に、検査装置は、照明最適化処理を実行する。すなわち、検査装置は、最適化のための評価関数Fの入力をユーザから受け付けて、評価用ワーク画像f′を重ね合わせて合成画像を生成し、評価関数Fを最小化するような画像合成重みwを算出する(S201)。
その後、検査装置は、照明指令値を決定する。検査装置は、算出した画像合成重みwを、照度LUTを用いて照明指令値T及び露出時間τ′(又はゲイン)に変換する(S202)。このようにして、複数の評価用ワーク画像について最適化された照明指令値T及び露出時間τ′(又はゲイン)のペアが得られる。
検査フェーズにおいて、検査対象となるワークを設置し、検査装置は、検査用ワーク画像を撮影する。ここで、検査装置は、ティーチングフェーズにおいて算出した照明指令値T及び露出時間τ′(又はゲイン)を用いてワークを照明し、検査用ワーク画像を撮影する(S203)。
そして、検査装置は、撮影した検査用ワーク画像を検査判定器(例えばCNN等を用いた判定器)に入力し、判定結果を得る(S204)。
図13は、本開示の実施形態に係る検査装置によって実行される第3処理のフローチャートである。第3処理は、露出時間の最適化を含む最適照明を決定する(ティーチングする)フェーズと、ワークの検査を行うフェーズとを含む。本処理では、評価用ワーク画像を撮影する際の露出時間がそれぞれ異なるものとする。
ティーチングフェーズにおいて、検査装置は、M個のワークについて、それぞれ異なる露出時間で、行列Hとして表現されるN個の評価用照明発光パターンでワークを照明して、N×M枚の評価用ワーク画像{f′m,τn,m}m=1
Mが得られる(S300)。
次に、検査装置は、照明最適化処理を実行する。すなわち、検査装置は、最適化のための評価関数Fの入力をユーザから受け付けて、露出時間τnを考慮して評価用ワーク画像f′を重ね合わせて合成画像を生成し、評価関数Fを最小化するような画像合成重みwを算出する(S301)。
その後、検査装置は、照明指令値を決定する。検査装置は、算出した画像合成重みw及び評価用ワーク画像の露出時間τnを、照度LUTを用いて照明指令値T及び露出時間τ′(又はゲイン)に変換する(S302)。このようにして、複数の評価用ワーク画像について最適化された照明指令値T及び露出時間τ′(又はゲイン)のペアが得られる。
検査フェーズにおいて、検査対象となるワークを設置し、検査装置は、検査用ワーク画像を撮影する。ここで、検査装置は、ティーチングフェーズにおいて算出した照明指令値T及び露出時間τ′(又はゲイン)を用いてワークを照明し、検査用ワーク画像を撮影する(S303)。
そして、検査装置は、撮影した検査用ワーク画像を検査判定器(例えばCNN等を用いた判定器)に入力し、判定結果を得る(S304)。
図14は、本開示の実施形態に係る検査装置によって実行される第4処理のフローチャートである。第4処理は、露出時間の最適化を含む最適照明を決定する(ティーチングする)フェーズと、ワークの検査を行うフェーズとを含む。本処理では、評価用ワーク画像をHDR撮影するものとする。
ティーチングフェーズにおいて、検査装置は、M個のワークについて、自動露出制御を行って、行列Hとして表現されるN個の評価用照明発光パターンでワークを照明して、N×M枚の評価用ワーク画像{f′m}m=1
M,τが得られる(S400)。
次に、検査装置は、照明最適化処理を実行する。すなわち、検査装置は、最適化のための評価関数Fの入力をユーザから受け付けて、評価用ワーク画像f′を重ね合わせて合成画像を生成し、評価関数Fを最小化するような画像合成重みwを算出する(S401)。
その後、検査装置は、照明指令値を決定する。検査装置は、算出した画像合成重みw及びHDR撮影の基準露出時間τを、照度LUTを用いて照明指令値T及び露出時間τ′(又はゲイン)に変換する(S402)。このようにして、複数の評価用ワーク画像について最適化された照明指令値T及び露出時間τ′(又はゲイン)のペアが得られる。
検査フェーズにおいて、検査対象となるワークを設置し、検査装置は、検査用ワーク画像を撮影する。ここで、検査装置は、ティーチングフェーズにおいて算出した照明指令値T及び露出時間τ′(又はゲイン)を用いてワークを照明し、検査用ワーク画像を撮影する(S403)。
そして、検査装置は、撮影した検査用ワーク画像を検査判定器(例えばCNN等を用いた判定器)に入力し、判定結果を得る(S404)。
§6 付記
以上説明した実施形態及び変形例は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態及び変形例が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態及び変形例で示した構成同士を部分的に置換し又は組み合わせることも可能である。
§6 付記
以上説明した実施形態及び変形例は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態及び変形例が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態及び変形例で示した構成同士を部分的に置換し又は組み合わせることも可能である。
すなわち、上述した対象物の検査を行う時の照明条件を設定する装置、システム又はその一部をソフトウェア機能ユニットの形態で実現して単独の製品として販売したり使用したりする場合、コンピュータが読み取り可能な記憶媒体に記憶することができる。これにより、本発明の技術案の本質又は既存技術に貢献のある部分あるいは該技術案の全部又は一部をソフトウェア製品の形態で実現して、コンピュータ機器(パーソナルコンピュータ、サーバ又は、ネットワーク機器等であることができる)に本発明の各実施例に記載の方法のステップの中の全部又は一部を実現させる命令を含むそのコンピューターソフトウェア製品を、記憶媒体に記憶することができる。上述した記憶媒体は、USB、読み出し専用メモリ(ROM:Read-Only Memory)、ランダムアクセスメモリ(RAM:Random Access Memory)、モバイルハードディスク、フロッピーディスク又は光ディスク等のプログラムコードを記憶できるさまざまな媒体である。
ここで、本開示は、各実施形態に即して以下のように表現することもできる。
(付記1)
光源を、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、前記複数の評価用発光パターンで照明された少なくとも1つのワークに関する複数の評価用ワーク画像をカメラによって撮像する撮像部(141)と、
前記複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、前記ワークの状態を識別するための発光パターンを表す前記パラメータを算出する算出部(142)と、
前記パラメータを前記照明指令値に変換する変換部(143)と、
を備える検査装置。
光源を、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、前記複数の評価用発光パターンで照明された少なくとも1つのワークに関する複数の評価用ワーク画像をカメラによって撮像する撮像部(141)と、
前記複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、前記ワークの状態を識別するための発光パターンを表す前記パラメータを算出する算出部(142)と、
前記パラメータを前記照明指令値に変換する変換部(143)と、
を備える検査装置。
(付記2)
前記算出部(142)は、前記複数の評価用ワーク画像の数に等しい次元を有する前記パラメータにより重み付けした前記複数の評価用ワーク画像の重ね合わせによって合成画像を生成し、前記合成画像を所定の評価関数により評価することで、前記ワークの状態を識別するための発光パターンを表す前記パラメータを算出する、
付記1に記載の検査装置。
前記算出部(142)は、前記複数の評価用ワーク画像の数に等しい次元を有する前記パラメータにより重み付けした前記複数の評価用ワーク画像の重ね合わせによって合成画像を生成し、前記合成画像を所定の評価関数により評価することで、前記ワークの状態を識別するための発光パターンを表す前記パラメータを算出する、
付記1に記載の検査装置。
(付記3)
前記パラメータの次元数は、前記複数の評価用発光パターンの数よりも少ない、
付記1又は2に記載の検査装置。
前記パラメータの次元数は、前記複数の評価用発光パターンの数よりも少ない、
付記1又は2に記載の検査装置。
(付記4)
前記変換部(143)は、前記照明指令値を前記パラメータに対応付けるテーブルに基づいて、前記パラメータを前記照明指令値に変換する、
付記1から3のいずれか一項に記載の検査装置。
前記変換部(143)は、前記照明指令値を前記パラメータに対応付けるテーブルに基づいて、前記パラメータを前記照明指令値に変換する、
付記1から3のいずれか一項に記載の検査装置。
(付記5)
前記変換部(143)は、前記複数の評価用ワーク画像を撮像した際の露出時間及びゲインの少なくともいずれかに応じて前記テーブルの値をスケール変換する、
付記4に記載の検査装置。
前記変換部(143)は、前記複数の評価用ワーク画像を撮像した際の露出時間及びゲインの少なくともいずれかに応じて前記テーブルの値をスケール変換する、
付記4に記載の検査装置。
(付記6)
前記変換部(143)は、前記テーブルに基づいて、前記パラメータを、前記光源に含まれる複数の照明要素の発光強度を表す発光強度パラメータに変換し、前記発光強度パラメータを、前記発光強度パラメータにより表される発光強度に類似する発光強度に対応する前記照明指令値に変換する、
付記4又は5に記載の検査装置。
前記変換部(143)は、前記テーブルに基づいて、前記パラメータを、前記光源に含まれる複数の照明要素の発光強度を表す発光強度パラメータに変換し、前記発光強度パラメータを、前記発光強度パラメータにより表される発光強度に類似する発光強度に対応する前記照明指令値に変換する、
付記4又は5に記載の検査装置。
(付記7)
前記変換部(143)は、前記発光強度パラメータに基づいて、検査用ワーク画像を撮像する際の露出時間及びゲインの少なくともいずれかを決定する、
付記6に記載の検査装置。
前記変換部(143)は、前記発光強度パラメータに基づいて、検査用ワーク画像を撮像する際の露出時間及びゲインの少なくともいずれかを決定する、
付記6に記載の検査装置。
(付記8)
前記撮像部は、露出時間及びゲインの少なくともいずれかを変化させて前記複数の評価用ワーク画像を撮像する、
付記1から7のいずれか一項に記載の検査装置。
前記撮像部は、露出時間及びゲインの少なくともいずれかを変化させて前記複数の評価用ワーク画像を撮像する、
付記1から7のいずれか一項に記載の検査装置。
(付記9)
前記撮像部は、HDR(High Dynamic Range)合成により前記複数の評価用ワーク画像を撮像する、
付記1から8のいずれか一項に記載の検査装置。
前記撮像部は、HDR(High Dynamic Range)合成により前記複数の評価用ワーク画像を撮像する、
付記1から8のいずれか一項に記載の検査装置。
(付記10)
前記変換部(143)は、前記パラメータが入力された場合に、前記パラメータを前記照明指令値に変換することと、前記照明指令値を前記パラメータに変換することとを収束するまで繰り返して、入力された前記パラメータと、対応する前記照明指令値とを算出する、
付記1から9のいずれか一項に記載の検査装置。
前記変換部(143)は、前記パラメータが入力された場合に、前記パラメータを前記照明指令値に変換することと、前記照明指令値を前記パラメータに変換することとを収束するまで繰り返して、入力された前記パラメータと、対応する前記照明指令値とを算出する、
付記1から9のいずれか一項に記載の検査装置。
(付記11)
前記変換部(143)は、前記照明指令値が入力された場合に、前記照明指令値を前記パラメータに変換することと、前記パラメータを前記照明指令値に変換することとを収束するまで繰り返して、入力された前記照明指令値と、対応する前記パラメータとを算出する、
付記1から10のいずれか一項に記載の検査装置。
前記変換部(143)は、前記照明指令値が入力された場合に、前記照明指令値を前記パラメータに変換することと、前記パラメータを前記照明指令値に変換することとを収束するまで繰り返して、入力された前記照明指令値と、対応する前記パラメータとを算出する、
付記1から10のいずれか一項に記載の検査装置。
(付記12)
撮像部(141)、算出部(142)及び変換部(143)を備える検査装置を用いて、ワークを検査する方法であって、
前記撮像部(141)が、光源を、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、前記複数の評価用発光パターンで照明された少なくとも1つのワークに関する複数の評価用ワーク画像をカメラによって撮像することと、
前記算出部(142)が、前記複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、前記ワークの状態を識別するための発光パターンを表す前記パラメータを算出することと、
前記変換部(143)が、前記パラメータを前記照明指令値に変換することと、
を含む検査方法。
撮像部(141)、算出部(142)及び変換部(143)を備える検査装置を用いて、ワークを検査する方法であって、
前記撮像部(141)が、光源を、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、前記複数の評価用発光パターンで照明された少なくとも1つのワークに関する複数の評価用ワーク画像をカメラによって撮像することと、
前記算出部(142)が、前記複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、前記ワークの状態を識別するための発光パターンを表す前記パラメータを算出することと、
前記変換部(143)が、前記パラメータを前記照明指令値に変換することと、
を含む検査方法。
(付記13)
撮像部(141)、算出部(142)及び変換部(143)を備える検査装置を制御して、ワークを検査させる検査プログラムであって、
前記撮像部(141)が、光源を、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、前記複数の評価用発光パターンで照明された少なくとも1つのワークに関する複数の評価用ワーク画像をカメラによって撮像することと、
前記算出部(142)が、前記複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、前記ワークの状態を識別するための発光パターンを表す前記パラメータを算出することと、
前記変換部(143)が、前記パラメータを前記照明指令値に変換することと、
を前記検査装置に実行させる検査プログラム。
撮像部(141)、算出部(142)及び変換部(143)を備える検査装置を制御して、ワークを検査させる検査プログラムであって、
前記撮像部(141)が、光源を、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、前記複数の評価用発光パターンで照明された少なくとも1つのワークに関する複数の評価用ワーク画像をカメラによって撮像することと、
前記算出部(142)が、前記複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、前記ワークの状態を識別するための発光パターンを表す前記パラメータを算出することと、
前記変換部(143)が、前記パラメータを前記照明指令値に変換することと、
を前記検査装置に実行させる検査プログラム。
1…検査システム、2…ベルトコンベア、4…ワーク、6…撮像視野、8…上位ネットワーク、10…PLC、12…データベース装置、100…制御装置、102…カメラ、104…ディスプレイ、106…キーボード、108…マウス、110…プロセッサ、112…メインメモリ、114…カメラインターフェイス、116…入力インターフェイス、118…表示インターフェイス、120…通信インターフェイス、122…内部バス、130…ストレージ、132…検査プログラム、134…照明パラメータ、136…照度LUT、138…評価用ワーク画像、140…検査用ワーク画像、141…撮像部、142…算出部、143…変換部、144…記憶部、LS…光源、LSi…チャネル照明
Claims (13)
- 光源を、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、前記複数の評価用発光パターンで照明された少なくとも1つのワークに関する複数の評価用ワーク画像をカメラによって撮像する撮像部と、
前記複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、前記ワークの状態を識別するための発光パターンを表す前記パラメータを算出する算出部と、
前記パラメータを前記照明指令値に変換する変換部と、
を備える検査装置。 - 前記算出部は、前記複数の評価用ワーク画像の数に等しい次元を有する前記パラメータにより重み付けした前記複数の評価用ワーク画像の重ね合わせによって合成画像を生成し、前記合成画像を所定の評価関数により評価することで、前記ワークの状態を識別するための発光パターンを表す前記パラメータを算出する、
請求項1に記載の検査装置。 - 前記パラメータの次元数は、前記複数の評価用発光パターンの数よりも少ない、
請求項1又は2に記載の検査装置。 - 前記変換部は、前記照明指令値を前記パラメータに対応付けるテーブルに基づいて、前記パラメータを前記照明指令値に変換する、
請求項1から3のいずれか一項に記載の検査装置。 - 前記変換部は、前記複数の評価用ワーク画像を撮像した際の露出時間及びゲインの少なくともいずれかに応じて前記テーブルの値をスケール変換する、
請求項4に記載の検査装置。 - 前記変換部は、前記テーブルに基づいて、前記パラメータを、前記光源に含まれる複数の照明要素の発光強度を表す発光強度パラメータに変換し、前記発光強度パラメータを、前記発光強度パラメータにより表される発光強度に類似する発光強度に対応する前記照明指令値に変換する、
請求項4又は5に記載の検査装置。 - 前記変換部は、前記発光強度パラメータに基づいて、検査用ワーク画像を撮像する際の露出時間及びゲインの少なくともいずれかを決定する、
請求項6に記載の検査装置。 - 前記撮像部は、露出時間及びゲインの少なくともいずれかを変化させて前記複数の評価用ワーク画像を撮像する、
請求項1から7のいずれか一項に記載の検査装置。 - 前記撮像部は、HDR(High Dynamic Range)合成により前記複数の評価用ワーク画像を撮像する、
請求項1から8のいずれか一項に記載の検査装置。 - 前記変換部は、前記パラメータが入力された場合に、前記パラメータを前記照明指令値に変換することと、前記照明指令値を前記パラメータに変換することとを収束するまで繰り返して、入力された前記パラメータと、対応する前記照明指令値とを算出する、
請求項1から9のいずれか一項に記載の検査装置。 - 前記変換部は、前記照明指令値が入力された場合に、前記照明指令値を前記パラメータに変換することと、前記パラメータを前記照明指令値に変換することとを収束するまで繰り返して、入力された前記照明指令値と、対応する前記パラメータとを算出する、
請求項1から10のいずれか一項に記載の検査装置。 - 撮像部、算出部及び変換部を備える検査装置を用いて、ワークを検査する方法であって、
前記撮像部が、光源を、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、前記複数の評価用発光パターンで照明された少なくとも1つのワークに関する複数の評価用ワーク画像をカメラによって撮像することと、
前記算出部が、前記複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、前記ワークの状態を識別するための発光パターンを表す前記パラメータを算出することと、
前記変換部が、前記パラメータを前記照明指令値に変換することと、
を含む検査方法。 - 撮像部、算出部及び変換部を備える検査装置を制御して、ワークを検査させる検査プログラムであって、
前記撮像部が、光源を、離散値である照明指令値に基づいて複数の評価用発光パターンで発光させ、前記複数の評価用発光パターンで照明された少なくとも1つのワークに関する複数の評価用ワーク画像をカメラによって撮像することと、
前記算出部が、前記複数の評価用ワーク画像に基づいて、連続値のパラメータを変化させることで発光パターンをシミュレートし、前記ワークの状態を識別するための発光パターンを表す前記パラメータを算出することと、
前記変換部が、前記パラメータを前記照明指令値に変換することと、
を前記検査装置に実行させる検査プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020156139A JP2022049874A (ja) | 2020-09-17 | 2020-09-17 | 検査装置、検査方法及び検査プログラム |
PCT/JP2021/029963 WO2022059402A1 (ja) | 2020-09-17 | 2021-08-17 | 検査装置、検査方法及び検査プログラム |
TW110133549A TWI807414B (zh) | 2020-09-17 | 2021-09-09 | 檢查裝置、檢查方法以及儲存介質 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020156139A JP2022049874A (ja) | 2020-09-17 | 2020-09-17 | 検査装置、検査方法及び検査プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022049874A true JP2022049874A (ja) | 2022-03-30 |
Family
ID=80775824
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020156139A Pending JP2022049874A (ja) | 2020-09-17 | 2020-09-17 | 検査装置、検査方法及び検査プログラム |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP2022049874A (ja) |
TW (1) | TWI807414B (ja) |
WO (1) | WO2022059402A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024070338A1 (ja) * | 2022-09-29 | 2024-04-04 | オムロン株式会社 | 位置計測システム及び照明条件好適化システム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114518079A (zh) * | 2022-04-15 | 2022-05-20 | 广东机电职业技术学院 | 一种孔内特征检测系统及检测方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000332500A (ja) * | 1999-05-17 | 2000-11-30 | Matsushita Electric Ind Co Ltd | 電子部品の照明設定方法 |
US6627863B2 (en) * | 2000-12-15 | 2003-09-30 | Mitutoyo Corporation | System and methods to determine the settings of multiple light sources in a vision system |
JP2005315749A (ja) * | 2004-04-28 | 2005-11-10 | Yamaha Motor Co Ltd | 照明条件特定方法、部品認識装置、同装置を備えた表面実装機および部品試験装置 |
JP4607616B2 (ja) * | 2005-02-15 | 2011-01-05 | ヤマハ発動機株式会社 | 画像取得方法、画像取得装置、表面実装機、プリント配線板用はんだ印刷機、ウエハチップ供給装置、電子部品移載装置および電子部品用外観検査装置 |
JP6144976B2 (ja) * | 2013-06-26 | 2017-06-07 | キヤノン株式会社 | 情報処理装置、組み付け装置、情報処理方法、及びプログラム |
JP6470506B2 (ja) * | 2014-06-09 | 2019-02-13 | 株式会社キーエンス | 検査装置 |
JP6424020B2 (ja) * | 2014-06-09 | 2018-11-14 | 株式会社キーエンス | 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
CN105682310B (zh) * | 2014-11-19 | 2020-06-23 | 刘皓强 | 基于图像质量控制的组合照明装置及方法 |
JP6576059B2 (ja) * | 2015-03-10 | 2019-09-18 | キヤノン株式会社 | 情報処理、情報処理方法、プログラム |
JP6785407B2 (ja) * | 2016-09-27 | 2020-11-18 | パナソニックIpマネジメント株式会社 | バンプ付電子部品搭載装置およびバンプ付電子部品搭載方法 |
JP6967373B2 (ja) * | 2017-05-31 | 2021-11-17 | 株式会社キーエンス | 画像検査装置 |
US10755401B2 (en) * | 2018-12-04 | 2020-08-25 | General Electric Company | System and method for work piece inspection |
WO2020255365A1 (ja) * | 2019-06-21 | 2020-12-24 | 株式会社Fuji | 画像合成装置、画像取得装置、画像処理システム、画像処理方法 |
-
2020
- 2020-09-17 JP JP2020156139A patent/JP2022049874A/ja active Pending
-
2021
- 2021-08-17 WO PCT/JP2021/029963 patent/WO2022059402A1/ja active Application Filing
- 2021-09-09 TW TW110133549A patent/TWI807414B/zh active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024070338A1 (ja) * | 2022-09-29 | 2024-04-04 | オムロン株式会社 | 位置計測システム及び照明条件好適化システム |
Also Published As
Publication number | Publication date |
---|---|
WO2022059402A1 (ja) | 2022-03-24 |
TWI807414B (zh) | 2023-07-01 |
TW202212814A (zh) | 2022-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022059402A1 (ja) | 検査装置、検査方法及び検査プログラム | |
US11017259B2 (en) | Defect inspection method, defect inspection device and defect inspection system | |
JP7028333B2 (ja) | 照明条件の設定方法、装置、システム及びプログラム並びに記憶媒体 | |
JP7131617B2 (ja) | 照明条件を設定する方法、装置、システム及びプログラム並びに記憶媒体 | |
CN112567428B (zh) | 摄影方法及摄影装置 | |
US20090231469A1 (en) | Image processing apparatus | |
JP5181970B2 (ja) | 画像処理装置および画像処理方法 | |
WO2020189189A1 (ja) | 検査装置及び方法 | |
JP2019163993A (ja) | 欠陥検査装置および欠陥検査方法 | |
CN110310596B (zh) | 一种oled模组的gamma调节初值预测方法及系统 | |
KR20200014438A (ko) | 대상체의 외부의 검사를 최적화하기 위한 장치 및 그 방법 | |
US10520424B2 (en) | Adaptive method for a light source for inspecting an article | |
CN113596278A (zh) | 一种面料数字化快速扫描系统、方法、介质及设备 | |
WO2022163002A1 (ja) | 撮影条件設定システム、撮影条件設定方法及びプログラム | |
KR101653649B1 (ko) | 균일도 보상 패턴광을 이용한 3차원 형상 측정 방법 | |
KR101555477B1 (ko) | 면역학적 분석 장치 및 이를 이용한 광학 이미지 상의 표적 영역으로부터의 밝기 값을 결정하는 방법 | |
CN109975299B (zh) | 发光源检测系统与方法 | |
KR102049172B1 (ko) | 광원에 대한 적응형 방법 | |
CN112165616A (zh) | 一种摄像头模组的测试方法、装置、电子设备及存储介质 | |
US20220172453A1 (en) | Information processing system for determining inspection settings for object based on identification information thereof | |
JP2019109070A (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
TWI427262B (zh) | 輪廓光調節方法及其電腦系統 | |
JP6813749B1 (ja) | 対象物の色を数値化する方法、信号処理装置、および撮像システム | |
JP2013190363A (ja) | 厚み測定装置、厚み測定システム、及び厚み測定方法 | |
JP2022157322A (ja) | 鉄道支持物評価装置、鉄道支持物評価システム、及び鉄道支持物評価方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230707 |