JP2020177429A - Information processing apparatus, information processing method, and program - Google Patents
Information processing apparatus, information processing method, and program Download PDFInfo
- Publication number
- JP2020177429A JP2020177429A JP2019078922A JP2019078922A JP2020177429A JP 2020177429 A JP2020177429 A JP 2020177429A JP 2019078922 A JP2019078922 A JP 2019078922A JP 2019078922 A JP2019078922 A JP 2019078922A JP 2020177429 A JP2020177429 A JP 2020177429A
- Authority
- JP
- Japan
- Prior art keywords
- data
- classifier
- estimated
- estimation
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、物体の外観の状態を推定する識別器のパラメータの決定に関する。 The present invention relates to determining parameters of a classifier that estimates the appearance of an object.
部品や製品の品質を判定する外観検査において、自動化のニーズが高まっている。自動化の技術としては、例えば、ラインセンサやエリアセンサ等による信号取り込みによって得られた映像・画像データに対して事前に定義された識別器により良品か不良品を分離する技術が知られている。具体的には、映像・画像データに対して識別器を用いて、良品か不良品かを判定する為のスコア(評価値)を算出する。算出されたスコアを、判定基準となる閾値と比較して良品、不良品を識別する。従来、人手で行っていた検査を自動化することにより、人による判断のバラつきや見逃しを無くすことを目的とした開発がなされてきた。それにより、高精度かつ同一の基準で検査をするためである。 There is an increasing need for automation in visual inspection to determine the quality of parts and products. As an automation technique, for example, a technique for separating a non-defective product or a defective product from a video / image data obtained by capturing a signal by a line sensor, an area sensor, or the like by a pre-defined classifier is known. Specifically, a score (evaluation value) for determining whether the product is non-defective or defective is calculated by using a discriminator for the video / image data. The calculated score is compared with the threshold value as a criterion to identify non-defective products and defective products. Conventionally, development has been made for the purpose of eliminating variations in judgments and oversights by humans by automating inspections that have been performed manually. This is because the inspection is performed with high accuracy and the same standard.
しかし、装置毎の個体差や、経時変化、照明条件等の周辺環境の変化等によって、同一の部品を検査しても識別結果に差が生じることがある。その為、装置毎の個体差もしくは周辺環境が変化した装置において、識別結果に差が生じない様に決定する必要がある。 However, even if the same part is inspected, the identification result may differ due to individual differences for each device, changes over time, changes in the surrounding environment such as lighting conditions, and the like. Therefore, it is necessary to determine so that there is no difference in the identification result in the device in which the individual difference for each device or the surrounding environment has changed.
装置間の差異を決定する方法として、例えば特許文献1の方法がある。同一の不良品サンプルデータを複数の装置で検査し、基準装置との検査結果の差が、基準値以内になる様に検査装置の撮影パラメータ、もしくは装置の設定パラメータを調整する。
As a method of determining the difference between the devices, for example, there is a method of
しかし、特許文献1では、同一の不良品サンプルデータに対して調整を行う為、同一の不良品サンプルデータにのみ適合したパラメータとなる。それにより、本来識別出来ていた良品、不良品が識別できなくなる性能劣化の可能性がある。
However, in
本提案では、複数の装置間、もしくは環境の変化した装置において、識別器のパラメータを決定した場合でも良品の識別精度の劣化を抑えることを目的とする。 The purpose of this proposal is to suppress deterioration of the identification accuracy of non-defective products even when the parameters of the classifier are determined between a plurality of devices or in devices whose environment has changed.
上記課題を解決する本発明にかかる情報処理装置は、物体を計測したデータから該物体の外観の状態を推定する識別器のパラメータを決定する情報処理装置であって、第1の環境で前記物体を計測した第1計測データを第1識別器に入力することによって推定された第1推定データと、前記第1の環境と異なる第2の環境で前記物体を計測した第2計測データを第2識別器に入力することによって推定された第2推定データと、を取得する取得手段と、該物体の外観の状態を示すラベルを含む訓練データと前記第1推定データと前記第2推定データとに基づいて、前記第1識別器の更新されたパラメータを決定する決定手段と、を備え、前記決定手段は、前記第1推定データと前記第2推定データとに含まれる推定結果の差が所定の閾値より小さくなるように更新された前記パラメータを決定することを特徴とする。 The information processing device according to the present invention that solves the above problems is an information processing device that determines parameters of a classifier that estimates the appearance state of the object from the data obtained by measuring the object, and the object in the first environment. The first estimation data estimated by inputting the first measurement data obtained by measuring the above to the first classifier and the second measurement data obtained by measuring the object in a second environment different from the first environment are second. The second estimation data estimated by inputting to the classifier, the acquisition means for acquiring the acquisition means, the training data including the label indicating the appearance state of the object, the first estimation data, and the second estimation data. Based on this, the determination means for determining the updated parameters of the first classifier is provided, and the determination means defines a difference between the estimation results included in the first estimation data and the second estimation data. It is characterized in that the parameter updated to be smaller than the threshold value is determined.
複数の装置間、もしくは環境の変化した装置において、識別器のパラメータを決定した場合でも良品の識別精度の劣化を抑えることが出来る。 It is possible to suppress deterioration of the identification accuracy of non-defective products even when the parameters of the classifier are determined between a plurality of devices or in devices whose environment has changed.
以下、図面を用いて本発明の実施形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<実施形態1>
実施形態1では、2つの装置間の個体差による識別結果の差を利用して識別器パラメータの決定を行うケースを例に説明する。
<
In the first embodiment, a case where the discriminator parameter is determined by utilizing the difference in the discrimination result due to the individual difference between the two devices will be described as an example.
まず、本実施形態の概要について説明する。事前に定義された識別器を用いて検査を行う2つの検査装置、装置1、装置2に対して、装置間の個体差を低減させるように識別器パラメータの決定を行う。図11を用いて概念を説明する。情報処理装置11は、物体の外観の状態を検査する検査装置の各識別器のパラメータを調整する。撮像装置110と照明装置14とは検査装置1に含まれる。物体15は、検査対象の物体であって、例えば製品や部品である。ここでは、製品の生産ラインにおいて、完成した製品または部品の表面に傷やよごれがないか確認する物体の外観の検査を具体例として説明する。この検査では、傷や汚れがない状態の製品を正常品、傷や汚れがある製品をNG品として画像で検知する。本実施形態では、予め検査装置毎に識別器のパラメータや装置の内部パラメータ(撮像装置のキャリブレーション等)等を済ませたうえで、実際に物体の外観検査を実施する。検査の実施中に、識別器の精度が落ちていないか、各装置の識別結果に大きな差がないかを確認するため、以下に説明する処理を実施する。間違った推定結果を出力する装置に対しては、識別器のパラメータを更新することによって各装置の推定結果にばらつきがでないようにする。まず、検査装置1、検査装置2において同一のサンプル(物体)を使用して装置毎に識別器を使った検査を実施する。装置毎にサンプルを計測した計測データに対する検査結果を情報処理装置へ保存する。各装置において同一サンプルを計測した計測データを識別器に入力した識別結果を比較する。比較した識別結果に差異があった場合、その差を少なくする様に両方、もしくは一方の装置における識別器のパラメータを決定する。物体の外観の状態を示す識別結果を変化の前後で揃えることで、未知の特徴に対しても正常らしさが推定できる。以下、具体的な実施形態について説明する。
First, the outline of the present embodiment will be described. For the two inspection devices, the
なお、実施形態1では、異なる2つの検査装置で同種のサンプル(物体)の外観検査を行う。2つの検査装置のうち、検査装置2の識別器2は現在配置されている環境下で十分に学習したモデルであるが、検査装置1の識別器1は例えば少し移動した為に環境が少し変化した状態で、学習が十分でない。このような場合は、検査装置1は装置パラメータ等をすべて0から調整することや、改めて訓練データを作成して識別器を再学習させる必要がある。しかし、検査装置2の推定結果と元の学習で使った訓練データを用いて識別器のパラメータを調整することで、複数の装置間、もしくは環境の変化した装置において、識別器のパラメータを決定した場合でも良品の識別精度の劣化を抑えることが出来る。
In the first embodiment, the appearance inspection of the same type of sample (object) is performed by two different inspection devices. Of the two inspection devices, the
図1は、情報処理システム1000の機能構成例を示すブロック図である。情報処理システム1000は、検査装置1、2と情報処理装置11から構成される。検査装置1、2は、サンプル(物体)の異常の有無を識別する検査を行う装置である。すなわち、検査装置1、2は物体を計測したデータから物体の状態を推定する検査装置を指す。例えば、工場において、完成品の傷の有無を調べる外観検査等に用いる。
FIG. 1 is a block diagram showing a functional configuration example of the
第1記憶部100は、検査装置の識別器を学習させたときに用いた訓練サンプルを計測した訓練データを保持する。第1記憶部100は、検査装置1、2の外部にあっても、各装置の内部に備えていても良い。訓練データとは、具体的には、訓練サンプルを撮像した画像と正負のラベル(ここでは正常ラベル、異常ラベル)を含む画像データである。ここでは、推定部105の(第1)識別器を学習させたときの訓練データとするが、正しい正負のラベルが付与されているデータであればなんでも良い。訓練データは、撮像装置によって撮像されたカラーまたはモノクロ画像のほか、距離センサで計測した距離画像等でも良い。
The
撮像装置110、110’はサンプル(物体)を撮像する。ここでは主に、検査装置1、2でそれぞれ行った識別器による識別結果の差異を決定する為、サンプルを計測したデータをそれぞれ第1計測データ、第2計測データとして記憶する。なお、第1計測データまたは第2計測データには、良・不良や欠陥種類等のラベルが付いていても良いし、付いていなくても良い。撮像して得られた画像(計測データ)は、画像取得部103(103‘)に入力される。なお、検査の種類によって、撮像装置以外の計測装置(例えば、距離センサ)を用いても良い。
The
検査装置1は、データ取得部102、画像取得部103、抽出部104、推定部105、学習部106を有する検査装置である。検査装置1と2が有する各機能構成が行う処理については後述する。また、検査装置101’について、図1では検査装置101と同様の構成を記載しているが、識別器を用いて識別する検査装置であれば、構成が異なっていても良い。
The
情報処理装置11は、各検査装置における検査結果を用いて識別器のパラメータを決定する。取得部111は、検査装置1および検査装置2のそれぞれから、サンプルを計測した計測データ(から抽出された特徴)に基づいた識別器の識別結果を取得する。取得部111は、検査装置1において対象物体を計測した第1計測データ(の特徴)を第1識別器に入力することによって推定された第1データを取得する。また同様に、検査装置2において対象物体を計測した第2計測データ(の特徴)を第2識別器に入力することによって推定された第2データを、推定部105’から取得する。対応付け部112は、サンプル(物体)を一意に特定可能な固有データと、推定部105によって推定された第1推定データとを対応付ける。また、対応付け部112は、固有データに基づいて、推定部105によって推定された第1推定データと、第2推定データと、を対応付ける。比較部113は、第2記憶部117に記憶されている検査装置毎の識別器による推定結果(固有データによって対応付けられた第1推定データと第2推定データ)を比較する。比較部113は、情報処理装置11に配置しても良いし、各検査装置1、2に配置しても良い。決定部114は、推定部105または推定部105’の識別器のパラメータを決定する。なお、ここで言う識別器のパラメータは、識別器がディープニューラルネットワークである場合はネットワークの重み付け係数を指す。出力部115は、スコアの差や識別結果の差等の、推定値の同一性の比較結果を出力する。入力部116は、ユーザによる入力を受け付け、各機能構成に入力された情報を入力する。第2記憶部117は、検査装置毎の識別器による推定結果(すなわち、第1推定データ、第2推定データ及び固有データ)を記憶する。
The
図2は、情報処理装置11のハードウェア構成例を示す図である。中央処理ユニット(CPU)H01は、RAMH03をワークメモリとして、ROMH02や記憶装置H04に格納されたOSやその他プログラムを読みだして実行し、システムバスH09に接続された各構成を制御して、各種処理の演算や論理判断などを行う。CPUH01が実行する処理には、実施形態の情報処理が含まれる。記憶装置H04は、ハードディスクドライブや外部記憶装置などであり、実施形態の画像認識処理にかかるプログラムや各種データを記憶する。入力部H05は、カメラなどの撮像装置、ユーザ指示を入力するためのボタン、キーボード、タッチパネルなどの入力デバイスである。なお、記憶装置H04は例えばSATAなどのインタフェイスを介して、入力部H05は例えばUSBなどのシリアルバスを介して、それぞれシステムバスH09に接続されるが、それらの詳細は省略する。通信I/FH06は無線通信で外部の機器と通信を行う。表示部H07はディスプレイである。センサH08は画像センサや距離センサである。H08は、撮像装置101(101‘)に対応する。
FIG. 2 is a diagram showing a hardware configuration example of the
以下、検査装置の各機能構成が実行する処理について説明する。データ取得部102について説明する。本実施形態では、装置間で同一のサンプルから得たデータを使用することが前提である。本実施形態においては、2つの装置間で同一のサンプルから得たデータを使用する。装置間で使用したデータの対応をとることが出来れば、サンプル毎に識別器の識別結果の決定が可能となる為、より高い精度で識別器のパラメータ決定することが出来る。
Hereinafter, the processing executed by each functional configuration of the inspection device will be described. The
データ取得部102は、第1計測データまたは第2計測データに含まれるサンプル(物体)を一意に特定可能な固有データを取得する。固有データとは、サンプルを一意に特定出来る様な情報として、サンプル毎に一意に振られているシリアルナンバーや、特徴量の分布、物体固有に表れる物体指紋などを含む。また、サンプル自体に一意に特定出来る様な情報がない場合、サンプルを格納するケース等を用意し、そのケースに一意性を持たせるような情報を付与しておく方法もある。こうすることで、装置間でのサンプルの対応付けを確実に行うことが出来る。本実施形態では、サンプル毎のシリアルナンバーを読み取るケースを例に説明する。個体を特定できる方法であれば、バーコードによる認証や、RFIDといった無線を使った方法でも良い。
The
画像取得部103は、サンプル(対象物体)を計測した結果を含む第1計測データを取得する。すなわち、差異決定用のサンプルや検査対象サンプルを撮影した、検査用の画像を得る。ここで得られる検査用の画像は、撮影された画像データをそのまま用いても良いし、ハールウェーブレット変換などの画像変換を行っても良い。画像の種類は、検査の目的に合わせて変更できる。例えば、RGBカラー画像、白黒画像やグレースケールの濃淡画像でも良い。また、カメラで撮像する画像以外でも、赤外線カメラによる赤外線写真や、LidarやToFを代表とするアクティブ距離センサで得た距離画像でも良い。画像取得部103,103’は、検査装置1、2の外部に備えていても良い。同様に、検査装置2における画像取得部103’は、対象物体を撮像装置110’によって撮像した画像(第2計測データ)を取得する。なお、撮像装置110と撮像装置110‘は、まったく同じ条件で撮影できるとは限らない。なお、第1計測データと第2計測データとは共通のデータでも良い。
The
抽出部104では、第1計測データに基づいて、所定の方法で、(画像)特徴を抽出する。画像取得部103によって得られた画像データを基にデータの特徴を抽出する。抽出する特徴は、画素値の平均値や分散値などの、予めユーザによって設計された特徴量を使用しても良いし、ディープニューラルネットワークなどを用いて自動で獲得される特徴量を使用しても良い。本実施形態では前者によって抽出された特徴を使用して後段の処理を実施する。同様にして、検査装置2における抽出部104’は、第2計測データから所定の方法で特徴を抽出する。
The
推定部105は、第1計測データから抽出された特徴を識別器に入力した結果を含む第1推定データ(推定値情報)を推定する。ここで得られる推定値情報とは、サンプルデータと識別器によって推定された結果(OK/NG)や、良品であるか不良品であるかを判定する為に算出する正常品らしさを示すスコア(評価値)を含む。また、ここで使用する識別器は、事前に定義された識別器を用いる。識別器の定義の方法は、例えば、其々の装置で別々の方法で設計・学習する方法を用いても良いし、基準の装置より転移学習などの手法によって設計・学習する方法を用いても良い。同様にして、検査装置2における推定部105’は、抽出部104’で第2計測データから抽出された特徴を識別器に入力した結果を含む第2データを推定する。
The
対応付け部112は、固有データに基づいて、推定部105によって推定された第1推定データと、同様にして推定部105‘によって第2計測データを別の装置の(第2)識別器に入力した結果を含む第2推定データとを対応付ける。その対応付けの結果を含む対応付けデータを記憶する。つまり、データ取得部102によって得られたサンプル固有の情報(固有データ)を基に、推定部105、105’によって得られたサンプルの装置毎の推定値情報(第1推定データ、第2推定データ)を紐付けた、対応付けデータを記憶する。
The
第2記憶部117は、第1推定データと第2推定データとを対応付けた結果を記憶する。図4は識別結果記憶部107に記憶される対応付けデータの例を示す。
The
比較部113は、対応付けデータに基づいて、対象物体毎の識別結果の差を比較する。すなわち、第2記憶部117に記憶されている同一サンプルに対する推定値情報を比較する。ここで比較する推定値情報には、サンプルに対する正常品らしさを示すスコア(評価値)や良品、不良品等の2値の識別結果等を含む。
The
決定部114は、第1識別器のパラメータを生成した際に使用された訓練データに基づいて、第1推定データと第2推定データとを近づけるように、第1識別器のパラメータを決定する。対象物体毎の識別結果の差を低減するように、識別器のパラメータを決定する。つまり、比較部108によって出力された比較結果の情報を基に、推定部105で使用される識別器のパラメータ、もしくは画像取得部103で使用される撮影パラメータを決定する。具体的な決定方法は実施形態のフローチャートに沿って処理の詳細の中で説明する。
The
学習部106、106’は、決定部114で決定された新しいパラメータに、それまで設定されていた識別器のパラメータを更新する。
The learning
図3には、情報処理装置が実行する処理を説明するフローチャートである。以下の説明では、各工程(ステップ)について先頭にSを付けて表記することで、工程(S)の表記を省略する。以下、フローチャートに従って本実施形態の処理の詳細について説明する。ただし、情報処理装置101は必ずしもこのフローチャートで説明するすべての工程を行わなくても良い。なお、図3のフローチャートに示した処理は、コンピュータである図2のCPUH01により記憶装置H04に格納されているコンピュータプログラムに従って実行される。 FIG. 3 is a flowchart illustrating a process executed by the information processing apparatus. In the following description, the notation of the process (S) is omitted by adding S at the beginning of each process (step). Hereinafter, the details of the processing of the present embodiment will be described with reference to the flowchart. However, the information processing apparatus 101 does not necessarily have to perform all the steps described in this flowchart. The process shown in the flowchart of FIG. 3 is executed by the computer H01 of FIG. 2 according to the computer program stored in the storage device H04.
まず、S301では、取得部111が、第1計測データに含まれるサンプル(物体)を一意に特定可能な固有データを取得する。つまり、サンプル毎のシリアルナンバーを読み取り、サンプルを一意に特定できる情報を識別する。例えば、サンプルにバーコードなどのIDを付与しておき、それらを読み取ることで個体を識別できる。なお、取得部111の代わりに検査装置1(2)のデータ取得部102(102’)が、第1計測データに含まれるサンプル(物体)を一意に特定可能な固有データを取得してもよい。
First, in S301, the
S302では、取得部111が、サンプル(物体)を計測した結果を含む第1計測データを取得する。もしくは、検査装置1(2)における画像取得部103(103’)は、第1記憶部100から、サンプルを撮像した画像データ(第1計測データ)を取得する。第1計測データは、サンプルを計測した計測結果(撮像装置の場合は画像)のほかに、計測した時刻といった情報や計測装置の内部パラメータを含む。同様にして、画像取得部103’は、サンプルを計測した第2計測データを取得する。なお、第1計測データと第2計測データは同じデータでも良い。
In S302, the
S303では、取得部111が、第1計測データに基づいて抽出された所定の(画像)特徴を取得する。ここでは、S302で取得された画像から予めユーザによって設計された特徴を抽出する。なお、検査装置1(2)における抽出部104(104’)が、第1計測データまたは第2計測データに基づいて、所定の特徴を抽出してもよい。S304では、取得部111が、第1計測データを識別器に入力した結果を含む第1推定データを取得する。なお、検査装置1の推定部105が、(第1計測データから抽出された特徴を含む)第1計測データを識別器に入力した結果を含む第1推定データ(推定値情報)を推定してもよい。すなわち、S303で抽出された特徴量に基づいて識別し、推定値情報を得る。S305では、対応付け部112が、サンプル(物体)を一意に特定可能な固有データと、推定部105によって推定された第1推定データとを対応付ける。同様にして、サンプル(物体)を一意に特定可能な固有データと、推定部105‘によって第2計測データを別の装置の(第2)識別器に入力した推定結果を含む第2推定データとを、対応付ける。
S306では、第2記憶部117が、固有データと対応付けられた第1推定データを記憶する。つまり、S304で得られた推定値情報(第1推定データ)を、S301で得られた情報(固有データ)と共に記憶する。同様にして、第2計測データの特徴を識別器に入力した推定結果である第2推定データと、第2計測データに対応する固有データとを第2記憶部117に記憶する。ここまでのフローチャートを検査装置1、2の其々で検査したデータを使って、差異決定用のサンプルデータの数だけ実施する。これにより、識別結果を比較する為の装置毎の情報を第2記憶部117が格納する。
In S303, the
In S306, the
次に、S307で、対応付け部112は、固有データに基づいて、推定部105によって推定された第1推定データと、第2推定データと、を対応付ける。S308で、比較部113が、第1推定データと第2推定データを対応付けた推定結果の差に基づいて、物体毎の推定結果の差を比較する。すなわち、第2記憶部117に記憶されている同一サンプルに対する推定値情報を比較する。装置1と装置2の同一サンプルに対する推定値情報(第1推定データと第2推定データ)を比較する。ここではスコア(評価値)を比較対象の推定値情報として説明する。同一サンプルに対する装置1と装置2のスコアを比較する。所定の値より大きい差があった場合、S309では、決定部114が、該物体の状態を示すラベルを含む訓練データと第1推定データと第2推定データとをそれぞれ識別器に入力した推定結果に基づいて、第1識別器のパラメータを決定する。このとき、第1推定データと第2推定データとに含まれる推定結果の差が所定の閾値より小さくなるようにパラメータを決定する。つまり、算出されるスコアが基準値以下になる様に両方、もしくは一方の装置の識別器のパラメータを決定する。さらに、第1識別器のパラメータを生成した際に使用された訓練データに基づいて更新されたパラメータを決定する。
Next, in S307, the
具体的なパラメータの決定方法を、装置1のパラメータを決定する場合を例に説明する。例えば、装置1の環境が、訓練データを適用した学習時の計測と異なる場合、装置1の識別器のパラメータは更新したほうがよい。とはいえ、新しいデータのみで学習させた場合、もともと識別できていた物体を識別できなくなるケースがある。そのようなケースを避けるため、装置1のパラメータを決定する場合、新たに追加したサンプルを計測したデータセットにのみ適合した決定にならない様にする。そのため、装置1の識別器のパラメータを生成した時に使用した正常値スコアと、S305で保存された追加されたサンプルの計測データ(第1計測データ)の正常値スコア(推定結果)を使用してパラメータθ(1)を決定する。装置1の識別器を生成した際に使用したサンプル数Nの各サンプルの特徴量をxli(i=1,2,…,N)、生成時のスコアをs1i(=f(x1i;θ(1)))、パラメータ決定対象のスコアをf^(x1i;θ(1))とする。また、差異決定に用いるサンプル数Mの各サンプルにおける、装置1での特徴量をx’1j、装置2での特徴量をx’2j(j=1,2,…,M)とする。装置1のサンプル毎のスコアをf^(x’1j;θ(1))、装置2のパラメータをθ(2)とした時のサンプル毎のスコアをf^(x’2i;θ(2))とする。装置1のパラメータ決定は以下の式によって実施される。
A specific method for determining the parameters will be described by taking the case of determining the parameters of the
ここで、f(x;θ)は識別器を表すモデルであり、ロジスティック回帰モデルやニューラルネットワークモデルなどパラメータ表現可能なモデルであれば何を用いても良い。また、lossは損失関数を表す。ここでは損失関数をloss(A、B)の2変数関数として定義し、AとBの差を小さくする様にパラメータを更新する。本実施形態の場合、A、Bは其々スコアを表し、この差を小さくすることで装置毎に同程度のスコアが算出されるようになる。使用する損失関数は、識別器のモデル化に用いた方法によって適した関数を決定すると良い。一般的には、二乗損失やL1損失、フーバー損失などがある。αは寄与率を表し、識別器生成時に使用したサンプルに対するスコアとサンプルに対するスコアのどちらの結果を重視してパラメータを決定するかを決定する変数である。数式1における第1項は装置1の識別器生成時に使用した訓練データに対する決定時のスコアと生成時スコアから損失関数を求める。第2項は装置1のサンプルに対するスコアと装置2の第1記憶部に対するスコアから損失関数を求める。第1項、第2項を最小化するようなパラメータθ(1)を求めることで、パラメータの決定を行う。この時、パラメータθ(1)の探索方法は、確率的勾配降下法やMomentum法、Adaptive Moment Estimation法などを用いても良い。
Here, f (x; θ) is a model representing a discriminator, and any model such as a logistic regression model or a neural network model that can express parameters may be used. Also, loss represents a loss function. Here, the loss function is defined as a two-variable function of loss (A, B), and the parameters are updated so as to reduce the difference between A and B. In the case of the present embodiment, A and B each represent a score, and by reducing this difference, a similar score can be calculated for each device. The loss function to be used should be determined by the method used to model the classifier. Generally, there are square loss, L1 loss, Hoover loss and the like. α represents the contribution rate, and is a variable that determines whether to prioritize the result of the score for the sample or the score for the sample used at the time of generating the discriminator to determine the parameter. The first term in
次に、装置1、装置2の両方の識別器パラメータを決定する場合の決定方法を説明する。装置1の第1の環境に変化があったことが自明である場合は、先述のとおり装置1の識別器のパラメータを調整すればよい。しかし、どちらの装置の識別器のパラメータを調整すればよいか不明な場合もある。その場合には、2つの装置で共通する結果(スコア)が取得できるように識別器のパラメータを調整することもある。まず、装置2の識別器パラメータの決定式を以下に示す。
Next, a determination method when determining the classifier parameters of both the
ここで、x2k(k=1,2,…,L)は、装置2の識別器を生成した際に使用したサンプル数Lの各サンプルの特徴量、s2kは生成時のスコアである。装置1、装置2の両方の識別器パラメータを同時に決定する場合、まず数式1を用いて装置1の識別器パラメータを決定する。次に、決定した装置1のパラメータを使用して数式2より、装置2の識別器パラメータ決定を実施する。ここで装置1の識別器のパラメータ、装置2の識別器のパラメータと、そのパラメータにおける装置毎の計測データに対するスコア(識別器の推定結果)が計算できる。ここで算出される計測データ毎の装置1、装置2の識別器のスコアの差が基準値以下になるまでパラメータ決定を繰り返す。
Here, x 2k (k = 1, 2, ..., L) is the feature amount of each sample having the number of samples L used when the classifier of the device 2 was generated, and s 2k is the score at the time of generation. When determining the classifier parameters of both the
以上の様にパラメータ決定を行うことで、パラメータ決定による性能の劣化を抑えつつ、識別結果の差異が低減させることが可能となる。ここで使用した各装置の識別器生成時の特徴量や生成時のスコアは、第1記憶部107に保管しておいても良いし、装置毎に保管しておいても良い。これは以降の説明においても同様である。 By determining the parameters as described above, it is possible to reduce the difference in the identification results while suppressing the deterioration of the performance due to the parameter determination. The feature amount at the time of generating the classifier of each device used here and the score at the time of generation may be stored in the first storage unit 107, or may be stored for each device. This also applies to the following description.
以下では、実施形態1の変形について説明する。 Hereinafter, the modification of the first embodiment will be described.
上記の場合、装置間でスコアに差があった同一のサンプル(物体)の計測データを識別器で識別した結果には同等にスコアを近づける決定を行う。スコアの差が大きい計測データに対してはよりスコアが近づくように、もしくは、ある計測データに対してはほぼスコアが一致するように等、計測データによって重要度を付けて識別器のパラメータ決定を行うケースもある。その場合、数式1の第2項を変形し、計測データ毎にどの程度パラメータの決定を行うかに重みをおいて決定しても良い。計測データ毎に重みを置く場合のフローチャートを図5に示す。図3のS301〜S306とS307と共通する部分は説明を割愛する。
In the above case, the score is determined to be equally close to the result of identifying the measurement data of the same sample (object) having a difference in score between the devices by the classifier. Determine the parameters of the discriminator by giving importance to the measurement data so that the score is closer to the measurement data with a large difference in score, or the scores are almost the same for some measurement data. In some cases, it is done. In that case, the second term of the
S407では、決定部114が、計測データ毎の重みが定義されていない場合、スコアの差などによって計測データ毎の重みを決定する。計測データ毎に重みを定義した場合の決定式は以下の様になる。
In S407, when the weight for each measurement data is not defined, the
ここで、ωjは第1記憶部100に保持される各計測データに対する識別器の重み付け係数であり、情報処理装置によって自動で算出しても良いし、ユーザが計測データ毎に明示的に決めても良い。自動で算出する場合、例えば、同一サンプルに対する装置1、装置2のスコアの差を重みとして使用する方法がある。こうする事で、装置間でスコアの差が大きいサンプルに対する重みが大きくなり、よりスコアが近づく様に決定される。これにより、サンプル毎の重要度を考慮したパラメータの決定が可能となる。
Here, ω j is a weighting coefficient of the classifier for each measurement data held in the
装置毎に算出されるスコアが違っていても、良品、不良品の識別結果さえ一致すれば良いというニーズがある。次の変形例として本ケースについて説明する。この場合、比較対象の推定値情報に、識別結果を用いる。装置間での同一サンプルに対する識別結果が一致するように、パラメータθ(1)や良品、不良品を判断する基準となる閾値t1の決定を行う。この場合、良品、不良品のどちらに識別結果を合わせるかを決定する必要がある。差異決定用のサンプルに良品、不良品のラベルが付いていない場合は、装置毎の同一サンプルに対するスコアと装置毎の閾値の情報を基に、正しい識別結果を推定する。具体的には、装置間で識別結果の異なるサンプルにおいて、装置1で算出されたスコアと装置1の閾値の差を計算する。装置2でも同様に、スコアと装置2の閾値の差を求める。装置1と装置2の計算結果を比較し、より差が大きい方を正しい識別結果として決定を実施する。この時数式1の決定パラメータに閾値を追加し、以下の式で決定を行う。
Even if the score calculated for each device is different, there is a need that only the identification results of non-defective products and defective products should match. This case will be described as a next modification. In this case, the identification result is used as the estimated value information to be compared. The parameter θ (1) and the threshold value t 1 that serves as a reference for determining a non-defective product or a defective product are determined so that the identification results for the same sample between the devices match. In this case, it is necessary to decide whether to match the identification result with a non-defective product or a defective product. If the sample for determining the difference is not labeled as a good product or a defective product, the correct identification result is estimated based on the score for the same sample for each device and the threshold information for each device. Specifically, the difference between the score calculated by the
ここで、f^(x1i;θ(1)、t1)は装置1の識別器生成時のサンプルに対するパラメータ決定時の識別結果を表す。s1iは前記サンプルに対する識別器生成時の識別結果、f^(x’1j;θ(1)、t1)は第1記憶部の装置1におけるパラメータ決定時の識別結果を表す。f^(x’2j;θ(2)、t2)は前記サンプルにおける装置2におけるパラメータ決定時の識別結果を其々表す。これにより、装置間で識別結果が異なった場合に、算出されるスコアが違っていても識別結果は一致するようなパラメータの決定を行うことが可能となる。
Here, f ^ (x 1i ; θ (1) , t 1 ) represents the identification result at the time of parameter determination for the sample at the time of generating the classifier of the
サンプル(物体)は、すべてを使用して決定を行っても良いし、サンプルの一部を使用して決定を行っても良い。同様に、識別器生成時に使用したサンプルの情報も、すべてを使用しても良いし、一部を使用しても良い。 The sample (object) may be used in its entirety for the determination, or a part of the sample may be used for the determination. Similarly, all or some of the sample information used when generating the classifier may be used.
<実施形態2>
実施形態1では、2つの装置間での個体差による識別器パラメータの決定をする方法を説明した。本実施形態では、複数の装置間(n≧3)での個体差による識別器パラメータの決定をする方法を説明する。ここでは装置が1〜n(n≧3)まで存在し、m個(m≦n)の装置の識別器パラメータを決定する場合を例に決定部114で実施される処理を説明する。
<
In the first embodiment, a method of determining the classifier parameter based on the individual difference between the two devices has been described. In the present embodiment, a method of determining the classifier parameter based on individual differences between a plurality of devices (n ≧ 3) will be described. Here, the processing performed by the
各装置のスコアを基にm個の装置Ua(a=1、2、…、m)の決定を行う場合、識別器のパラメータ調整を実施しないn−m個の装置Vb(b=1、2、…、n−m)を基準装置として扱う。識別器のパラメータ調整を実施する装置Uの内、装置U1の決定を行う場合を例に説明する。 When determining m devices U a (a = 1, 2, ..., M) based on the score of each device, nm devices V b (b = 1) that do not perform parameter adjustment of the classifier are not performed. , 2, ..., Nm) is treated as a reference device. Of the device U to perform the parameter adjustment of the discriminator, the case where the determination of device U 1 as an example.
装置U1の比較に使用する統合スコアを、識別器のパラメータ調整を実施しないn−m個の基準装置Vbのスコアを基に決定する。この時の統合スコアの算出方法は任意であり、例えば平均値や中央値等を用いても良い。統合スコアの算出には、上記の様に基準装置Vbのスコアを基に算出しても良いし、装置U1を除いた装置全てのスコアを基に算出しても良い。また、m=nの場合、即ち全ての装置を決定対象とする場合は、基準装置Vbが存在しなくなるため、決定対象の装置U1を除いた装置全てのスコアを基に統合スコアを算出する。統合スコア算出後、装置U1のスコアと比較し、比較結果の差を基にスコアが閾値以下になる様に識別器パラメータを決定する。装置U1のスコアと、決定対象でないn−m個の基準装置Vbの決定した統合スコアを基にしたパラメータの決定式を以下に示す。 The integrated score used for the comparison of the device U 1 is determined based on the scores of the nm reference devices V b without parameter adjustment of the classifier. The method of calculating the integrated score at this time is arbitrary, and for example, an average value, a median value, or the like may be used. The integrated score may be calculated based on the score of the reference device V b as described above, or may be calculated based on the scores of all the devices except the device U 1 . Also, in the case of m = n, that is, for all devices and decisions subject because the reference device V b does not exist, calculated total score based on all scoring apparatus except the apparatus U 1 of the decision object To do. After calculating the integrated score, the score is compared with the score of the device U 1 , and the classifier parameters are determined so that the score is equal to or less than the threshold value based on the difference in the comparison results. The formula for determining the parameters based on the score of the device U 1 and the integrated score determined by the nm reference devices V b that are not to be determined is shown below.
ここで、stjはn−m個の基準装置Vbの値を基に決定された差異決定用の各サンプルにおける統合スコアである。それ以外の項目は数式1と同義である為説明は割愛する。
Here, stj is an integrated score in each sample for difference determination determined based on the values of nm reference devices V b . Other items are synonymous with
また、比較対象の推定値情報として識別結果を用いても良い。識別結果を用いる場合、サンプル毎に一致させる識別結果は、多数決により決定しても良い。例えば、あるサンプルに対して、3つの装置で、良品、不良品、良品と識別した場合、正しい識別結果は良品とし、不良品と判断した装置の識別器パラメータを決定する。また、実施形態1と同様に良品と判断した装置のスコアと閾値の差と、不良品と判断した装置のスコアと閾値の差によって一致させる識別結果を決定しても良い。識別結果を基にしたパラメータの決定式を以下に示す。 Further, the identification result may be used as the estimated value information to be compared. When the identification result is used, the identification result to be matched for each sample may be determined by a majority vote. For example, when a sample is identified as a non-defective product, a defective product, and a non-defective product by three devices, the correct identification result is regarded as a non-defective product, and the classifier parameter of the device determined to be a defective product is determined. Further, as in the first embodiment, the identification result to be matched may be determined by the difference between the score and the threshold value of the device judged to be a non-defective product and the difference between the score and the threshold value of the device judged to be a defective product. The formula for determining the parameters based on the identification result is shown below.
ここで、stjは差異決定用の各サンプルにおける良品、不良品の識別結果を表す。それ以外の項目は数式4と同義である為説明は割愛する。 Here, stj represents the identification result of a non-defective product and a defective product in each sample for determining the difference. Since the other items are synonymous with the formula 4, the explanation is omitted.
実施形態1と同様に、サンプルはすべてを使用しても決定を実施しても良いし、サンプルの一部を使用して決定を実施しても良い。また、数式3と同様に、サンプル毎に重みを付けて決定を実施しても良い。 As in the first embodiment, the sample may be used in full or the determination may be performed, or a part of the sample may be used to perform the determination. Further, as in the formula 3, the determination may be performed by weighting each sample.
<実施形態3>
実施形態1、実施形態2では、自動で識別器のパラメータを決定する方法を説明した。本実施形態では、各装置の識別結果が異なったサンプルをユーザが確認して識別器パラメータの決定をする方法を説明する。ここでは、装置2〜n(n≧2)の場合を想定するが、本実施形態では、n=3の場合を例に説明する。外観検査等に複数の検査装置を導入する際に機体差がなくなる様に調整する必要がある。一方で、複数台の装置を導入し、運用後に経年劣化や環境変化で機体差が発生するケースが考えらえる。その場合は、複数の装置でサンプルの特徴を比較する。基準となる装置をユーザによって指定する手間が省ける。
そのケースの場合は、3台以上の装置で実施する形態になり
(検査)装置1、装置2、装置3において、検査装置毎の識別結果に差異があった場合、差異のあったサンプルの一覧と、撮影した画像、識別結果をGUI(Graphical User Interface)で表示する。ユーザはGUIに表示された情報から正しい識別結果を選択し、その結果を基に識別器のパラメータ決定を実施する。ユーザが識別結果を選択する場合のフローチャートを図6に示し説明する。
<Embodiment 3>
In the first and second embodiments, a method of automatically determining the parameters of the classifier has been described. In the present embodiment, a method will be described in which the user confirms a sample having a different identification result of each device and determines the classifier parameter. Here, the case of the
In that case, it is implemented with three or more devices. (Inspection) If there is a difference in the identification result for each inspection device in the
本実施形態では、GUIで表示する際に、S302で撮影した画像(第1計測データ)を表示する。その為、S305では、第2記憶部117が、推定値情報(第1推定データ)を記憶する際に、S502で得られた画像(第1計測データ)を合わせて記憶する。
In the present embodiment, the image (first measurement data) taken by S302 is displayed when displaying by GUI. Therefore, in S305, when the
S507では、出力部112が、S506で比較した結果、差異のあったサンプルに対応する第1計測データを一覧としてGUIで表示するよう出力する。
In S507, the
S508では、入力部201が、差異のあった第1計測データ毎に、ユーザによってGUI上で修正結果として正しい識別ラベルを入力する。S509では、決定部114が、その修正結果を基に基づいて、数式6を用いて識別器のパラメータを決定する。
In S508, the input unit 201 inputs a correct identification label as a correction result on the GUI by the user for each first measurement data having a difference. In S509, the
ユーザへ表示するGUIの例を図7に示し、説明する。図7(a)では、S507で表示されるGUIであり、識別結果に差異のあったサンプルの一覧を表示する。差異データ表示部40では、差異のあったサンプルのIDを表示し、識別結果表示部41にて、各装置の識別結果を表示する。ユーザが、ラベル付与したいサンプルの表示ボタン42を選択すると、図7(b)の画面に遷移する。状態表示部43は、サンプルの計測データに対して正常または不良のラベルが付与されているか、未だかを示す。ボタン44は、ラベル付与されていない計測データに対して自動でラベルを付与することを指示する。
An example of the GUI displayed to the user is shown in FIG. 7 and described. FIG. 7A is a GUI displayed in S507, and displays a list of samples having different identification results. The difference
図7(b)の画面では、表示部202で、各装置で撮影した画像を表示し、装置其々の識別結果を結果表示部50で表示する。ユーザはラベル付与ボタン45で良品、不良品のラベルを付与し、完了ボタン47を選択すると、図7(a)へ遷移し、状態表示部43が未から済へ変更される。ここで、複数のサンプルに対して連続でラベルを付与したい場合、ボタン48を選択することで、状態表示部43でラベル付与されていない未となっているサンプルデータが図7(b)に表示される。また、直前のサンプルへ戻りたい場合、ボタン46を選択することで、ラベル付与した直前のサンプルへ戻ることが出来る。図7(a)において、ボタン46を選択すれば実施形態2と同様に多数決によりラベルを自動で付与することもできる。
On the screen of FIG. 7B, the display unit 202 displays the images taken by each device, and the
情報処理システムの機能構成例を示すブロック図を図8に示す。図1と同じ構成は説明を割愛する。 FIG. 8 shows a block diagram showing an example of the functional configuration of the information processing system. The same configuration as in FIG. 1 is omitted from the description.
表示装置22は、出力部115から出力されたGUIを表示する。また、ユーザによってGUIから入力された入力情報を受け付ける。GUIの例は、図7(a)、(b)に対応する。比較部113により識別結果に差異のあった一覧をGUIで表示しユーザによる正しい識別結果のラベル付けを行う。ユーザによって更新された識別結果の情報を基に、決定部114で識別器パラメータの決定を行う。また、比較部113、表示装置22は、外部に配置しても良いし、検査装置1、2に構成されても良い。
The
<実施形態4>
ここまでの実施形態では、複数の装置間の個体差による識別器パラメータの決定について説明した。本実施形態では、1つの装置における環境変化や装置自体の経時変化等による識別器パラメータの決定について説明する。識別器のパラメータ調整で対応出来ない様なケースに対応できる為、適用できるシーンが広がる。また大幅に照明条件が変わって、装置間で撮影される画像に大きく差が出る場合などでは、識別器ではなく撮影パラメータの調整で対応する方が良い。ここで説明する方法は、周辺の照明条件等の環境変化や装置自体の経時変化による装置の識別結果の差異を、周辺環境や撮影パラメータは変更せずに、識別器のパラメータ決定によって補完する方法である。1つの装置における識別器パラメータの決定を行う場合、識別器を生成した際に使用したサンプルの一部の計測データを第1記憶部に記憶しておく必要がある。また、本実施形態のフローチャートは実施形態1と変わらないが、第2記憶部117に同一サンプルに対する同装置の推定値情報を複数保持する必要がある。この場合、推定部105によって識別した日時情報やシーケンスID等の情報を合わせて第2記憶部117に保持する。識別器生成時点の装置を装置1、環境変化が起きた後または所定の時間が経過した後の装置を装置1’とした時、装置1’のスコアまたは識別結果が、装置1のスコアまたは識別結果と近くなるもしくは同じになる様に、装置1’の識別器パラメータを決定する。ここで使用する第1記憶部における計測データは、識別器生成時に使用したものであり、正しい識別結果は分かっている為、ユーザがGUIを用いて正しい結果を付与する必要はなく、また識別結果を推定する必要もない。その為、自動で識別器のパラメータ決定が可能である。装置1の識別器を生成した際に使用したサンプルN(i=1、2、…、N)、前記サンプルから得た計測データP(j=1、2、…、P)(P≦i)において、スコアを基にパラメータを決定する際は以下の決定式で実施する。
<Embodiment 4>
In the embodiments so far, determination of the classifier parameter based on individual differences between a plurality of devices has been described. In the present embodiment, determination of the classifier parameter due to changes in the environment of one device, changes over time of the device itself, and the like will be described. Since it is possible to handle cases that cannot be handled by adjusting the parameters of the classifier, the applicable scenes are expanded. In addition, when the lighting conditions change drastically and there is a large difference in the images captured between the devices, it is better to adjust the imaging parameters instead of the classifier. The method described here is a method of supplementing the difference in the identification result of the device due to the environmental change such as the surrounding lighting conditions and the time-dependent change of the device itself by determining the parameters of the classifier without changing the surrounding environment and the shooting parameters. Is. When determining the classifier parameters in one device, it is necessary to store a part of the measurement data of the sample used when the classifier was generated in the first storage unit. Further, although the flowchart of the present embodiment is the same as that of the first embodiment, it is necessary to hold a plurality of estimated value information of the same device for the same sample in the
ここで、s1iは装置---1の識別器生成時に使用したサンプルの計測データに対する装置1の識別器生成時のスコア、s1jは装置1の計測データに対する装置1の識別器生成時のスコアである。また、識別結果を基にパラメータ決定を行う場合、以下の決定式で実施する。
Here, s 1i is the score at the time of generating the classifier of the
その他の実施形態と同様に、サンプルはすべてを使用しても決定を実施しても良いし、サンプルの一部を使用して決定を実施しても良い。 As in other embodiments, the sample may be used in full or the decision may be made, or a portion of the sample may be used to make the decision.
<実施形態5>
ここまでの実施形態では、検査装置における識別器パラメータを決定する方法を説明した。本実施形態では、検査装置においてサンプルを撮影する際の、撮影パラメータを決定する方法を説明する。撮影パラメータを決定する際のフローチャートを図9に示し説明する。図3と共通する処理は説明を省略する。
<Embodiment 5>
In the embodiments so far, a method of determining the classifier parameter in the inspection device has been described. In this embodiment, a method of determining an imaging parameter when photographing a sample with an inspection device will be described. A flowchart for determining the shooting parameters will be described with reference to FIG. The description of the process common to FIG. 3 will be omitted.
S607では、比較部113が、S606の比較結果を基に、装置間のサンプル毎のスコアの差が、設定した閾値以下であるか、またはサンプル毎の識別結果が一致しているかを判定する。閾値以上のサンプルがある、または識別結果が一致していないサンプルがある場合、S608へ遷移する。
In S607, the
S608では、取得部111が、サンプルの撮影にかかわる画像取得部のカメラ位置や照明位置や光量等の装置の撮影パラメータを決定する。決定された撮影パラメータを用いて設定・制御し、再度サンプル(物体)の撮影を行う。すべてのサンプル(物体)でスコアの差が閾値以下になる、または識別結果が一致するまで撮影パラメータの探索を行う。撮像・照明の制御及びパラメータの探索等は、不図示の制御手段により行う。この時、サンプルの計測データ毎の識別結果をユーザが設定し、ユーザが教示した識別結果と異なる装置のみ決定を行っても良い。正しい識別結果を多数決で判断し、識別結果の異なる装置のみ決定を行っても良い。撮像装置の撮影パラメータを調整することで、より精度良く外観検査を実施することができる。
In S608, the
<実施形態6>
ここまでの実施形態では、撮影パラメータと識別器パラメータを其々決定する方法を説明したが、撮影パラメータと識別器パラメータの両方を同時に決定してもよい。
<Embodiment 6>
In the above embodiments, the method of determining the imaging parameter and the discriminator parameter has been described, but both the imaging parameter and the discriminator parameter may be determined at the same time.
複数の装置が1〜n(n≧2)まで存在し、装置m(m≦n)の撮影パラメータ、識別器パラメータを同時に決定する場合、数式5や数式6の更新式を、U1=mと置き換えて用いる。この時、決定するパラメータθ(m)は、識別器のパラメータに加えて、サンプルの撮影に関わる画像取得部のカメラ位置や、照明位置、光量等の撮影パラメータを含む。これらのパラメータを探索的に変更し、パラメータの決定を行う。本実施形態では複数の装置に対するパラメータの決定方法を記載しているが、1つの装置における環境変化や経時変化の場合にも適用できる。この時、撮影パラメータ、識別器パラメータだけでなく、環境変化や経時変化を環境条件パラメータとしてパラメータ化して用いても良い。環境変化や経時変化のパラメータには、識別器生成時に使用したサンプルに対する、生成時と環境変化時の特徴量の変化量や、周辺環境の光量などがある。その為、環境条件パラメータを決定に用いる場合、識別器生成時の環境条件を第2記憶部117に保存しておく必要がある。この環境条件パラメータを識別器パラメータ、撮影パラメータに加えて、数式5や数式6を用いて決定を行う。また、本実施形態では、その他の実施形態に比べて決定するパラメータが増える為、過去のパラメータ値や撮影条件等を参照し、その近傍を探索することでパラメータを決定する等の方法を用いて効率的に探索を行う。また、識別器パラメータ、撮影パラメータ、環境条件パラメータの1つ以上を固定して決定する方法や、決定するパラメータをランダムに決定する方法などを用いて、決定するパラメータを削減しても良い。
When a plurality of devices exist from 1 to n (n ≧ 2) and the photographing parameter and the classifier parameter of the device m (m ≦ n) are determined at the same time, the update formula of the formula 5 or the formula 6 is changed to U 1 = m. It is used in place of. At this time, the parameter θ (m) to be determined includes, in addition to the parameters of the classifier, shooting parameters such as the camera position of the image acquisition unit related to the shooting of the sample, the illumination position, and the amount of light. These parameters are changed exploratoryly to determine the parameters. Although the method of determining the parameters for a plurality of devices is described in this embodiment, it can also be applied to the case of environmental change or change with time in one device. At this time, not only the imaging parameter and the classifier parameter but also the environmental change and the change with time may be used as parameters as environmental condition parameters. Parameters of environmental change and change with time include the amount of change in the feature amount at the time of generation and the time of environmental change with respect to the sample used at the time of classifier generation, and the amount of light in the surrounding environment. Therefore, when the environmental condition parameter is used for determination, it is necessary to store the environmental condition at the time of generating the classifier in the
<実施形態7>
ここまでの実施形態では、サンプル(物体)に割り振られた識別子を用いて個体が一意に特定できる場合について説明した。サンプルに良品、不良品、欠陥種類等のラベルが付いている、もしくは特徴量の分布の類似度などによりサンプルを分類できる場合は、サンプルを一意に特定せずに、識別器のパラメータの決定を実施しても良い。本実施形態では、サンプルを一意に特定しない場合の識別器のパラメータ決定方法について説明する。本実施形態の構成を図10に示す。サンプルを一意に特定しない為、図1と比較するとデータ取得部が含まれていない。それ以外は図1と同義の為、説明は割愛する。
<Embodiment 7>
In the embodiments so far, the case where the individual can be uniquely identified by using the identifier assigned to the sample (object) has been described. If the sample is labeled as non-defective, defective, defect type, etc., or if the sample can be classified according to the similarity of the distribution of features, etc., determine the parameters of the discriminator without uniquely identifying the sample. It may be carried out. In this embodiment, a method of determining the parameters of the classifier when the sample is not uniquely specified will be described. The configuration of this embodiment is shown in FIG. Since the sample is not uniquely specified, the data acquisition unit is not included as compared with FIG. Other than that, it is synonymous with Fig. 1, so the explanation is omitted.
M個の差異決定用のサンプルが、特徴量の分布の類似度によりQ個(j=1、2、…、Q)のクラスに分類できる場合に、複数の装置1〜n(n≧2)(k=1、2、…、n)の装置m(m≦n)のパラメータを決定するケースを例に説明する。まず、サンプルの計測データを其々の装置で識別し、クラス毎にクラススコアSkjを取得する。クラススコアの決定方法は、例えば平均値や中央値、合算値などでも良い。クラス1に分類されるサンプル計測データがE個(E≦M)だった場合に、装置mでの特徴量をx’mH(H=1,2,…,E)とする。装置mのサンプル計測データ毎のスコアをf^(x’mH;θ(m))とすると、装置mにおけるクラススコアSm1を合算値で求める場合、以下の式で求められる。
When M samples for determining the difference can be classified into Q classes (j = 1, 2, ..., Q) according to the similarity of the distribution of the features, a plurality of
装置mにおけるクラス毎のスコアの差が、基準値以下になる様に以下の式を用いて識別器のパラメータを決定する。 The parameters of the classifier are determined using the following formula so that the difference in scores for each class in the device m is equal to or less than the reference value.
ここで、stjは装置m以外の装置の各クラスのクラススコアを基に決定された統合クラススコアである。統合クラススコアの算出方法も、クラススコアと同様に、例えば平均値や中央値、合算値などでも良い。それ以外の項目は数式1と同義である為説明は割愛する。
Here, stj is an integrated class score determined based on the class score of each class of the device other than the device m. The method of calculating the integrated class score may be, for example, an average value, a median value, a total value, or the like, as in the case of the class score. Other items are synonymous with
実施形態1と同様に、クラス毎の識別結果を用いて決定しても良い。この場合、各装置におけるクラス毎の識別結果を、各クラス内で多数決などにより決定する。その後、クラス毎に決定する識別結果を決定する。例えば、あるクラスQjに対して、3つの装置で、良品、不良品、良品と識別した場合、クラスQjの正しい識別結果は良品とし、クラスQjに含まれるサンプルが良品と判定されるように、装置mのパラメータを決定する。パラメータの決定式は以下の通りである。 As in the first embodiment, the determination may be made using the identification result for each class. In this case, the identification result for each class in each device is determined by a majority vote in each class. After that, the identification result to be determined for each class is determined. For example, for a certain class Q j, is determined by the three devices non-defective, defective, if identified as good, correct identification result of class Q j is a non-defective sample contained in the class Q j is a good As described above, the parameters of the device m are determined. The formula for determining the parameters is as follows.
ここで、smjは装置mのクラスjにおける識別結果であり、stjは装置m以外の装置から算出した統合識別結果である。 Here, s mj is the identification result in the class j of the device m, and s tj is the integrated identification result calculated from a device other than the device m.
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、データ通信用のネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータが読み取り可能な記録媒体に記録して提供してもよい。 The present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiment is supplied to the system or device via a network for data communication or various storage media. Then, the computer (or CPU, MPU, etc.) of the system or device reads and executes the program. Further, the program may be recorded and provided on a computer-readable recording medium.
1 検査装置
110 撮像装置
11 情報処理装置
2 検査装置
1
Claims (16)
第1の環境で前記物体を計測した第1計測データを第1識別器に入力することによって推定された第1推定データと、前記第1の環境と異なる第2の環境で前記物体を計測した第2計測データを第2識別器に入力することによって推定された第2推定データと、を取得する取得手段と、
該物体の外観の状態を示すラベルを含む訓練データと前記第1推定データと前記第2推定データとに基づいて、前記第1識別器の更新されたパラメータを決定する決定手段と、を備え、
前記決定手段は、前記第1推定データと前記第2推定データとに含まれる推定結果の差が所定の閾値より小さくなるように更新された前記パラメータを決定することを特徴とする情報処理装置。 An information processing device that determines the parameters of a classifier that estimates the appearance of an object from the measured data of the object.
The object was measured in a second environment different from the first environment and the first estimated data estimated by inputting the first measurement data obtained by measuring the object in the first environment into the first classifier. An acquisition means for acquiring the second estimated data estimated by inputting the second measurement data to the second classifier, and
A determination means for determining updated parameters of the first classifier based on training data including a label indicating the appearance state of the object, the first estimation data, and the second estimation data.
The information processing apparatus is characterized in that the determination means determines the parameters updated so that the difference between the estimation results included in the first estimation data and the second estimation data becomes smaller than a predetermined threshold value.
前記決定手段は、前記第1推定データを対応する前記第2推定データに合わせるように、前記第1識別器の更新された前記パラメータを決定することを特徴とする請求項1に記載の情報処理装置。 In the first classifier, parameters learned based on the training data obtained by measuring the object in an environment different from the first environment are set in advance.
The information processing according to claim 1, wherein the determination means determines the updated parameters of the first classifier so as to match the first estimated data with the corresponding second estimated data. apparatus.
前記決定手段は、前記第1推定データに含まれるスコアと、前記第2推定データに含まれるスコアとが差が所定の閾値より小さくなるように、前記第1識別器のパラメータを決定することを特徴とする請求項1または2に記載の情報処理装置。 The first estimated data and the second estimated data include scores indicating that the appearance state of the object is normal.
The determination means determines the parameters of the first classifier so that the difference between the score included in the first estimation data and the score included in the second estimation data is smaller than a predetermined threshold value. The information processing apparatus according to claim 1 or 2.
前記決定手段は、前記第1推定データおよび前記第2推定データに基づいて、前記ラベルが一致するように、前記第1識別器のパラメータを決定することを特徴とする請求項1または2に記載の情報処理装置。 The first estimation data and the second estimation data include binary labels indicating normal and abnormal appearance states of the object.
The determination means according to claim 1 or 2, wherein the determination means determines the parameters of the first classifier based on the first estimation data and the second estimation data so that the labels match. Information processing equipment.
前記固有データに基づいて、前記物体毎に前記第1推定データと前記第2推定データとを対応付ける対応付け手段を更に備え、
前記決定手段は、前記対応付け手段による前記第1推定データと前記第2推定データとの対応付けに基づいて、対応する前記第1推定データと第2推定データとの差が小さくなるように、前記第1識別器のパラメータを決定することを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。 The acquisition means further acquires unique data that can uniquely identify each of the objects.
Further provided with an associating means for associating the first estimated data with the second estimated data for each object based on the unique data.
Based on the association between the first estimated data and the second estimated data by the associating means, the determining means reduces the difference between the corresponding first estimated data and the second estimated data. The information processing apparatus according to any one of claims 1 to 6, wherein the parameters of the first classifier are determined.
前記第2装置で物体を計測した前記第2計測データは、前記第1装置で時間が経過した後に前記物体を計測したデータであることを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。 The first estimation data is data estimated by inputting the first measurement data obtained by measuring the object in the first apparatus into the first classifier.
The second measurement data obtained by measuring an object by the second device is the data obtained by measuring the object after a lapse of time by the first device, according to any one of claims 1 to 7. The information processing device described.
前記決定手段は、訓練データと前記第1推定データと前記第2推定データとに基づいて、前記第2識別器のパラメータを決定することを特徴とする請求項1乃至8のいずれか1項に記載の情報処理装置。 The acquisition means indicates the first estimation data estimated by inputting the first measurement data obtained by measuring the object in the first apparatus into the first classifier, and the first apparatus after a predetermined time has passed. The second estimation data estimated by inputting the second measurement data obtained by measuring the object in the second apparatus into the second classifier having the same parameters as the first classifier is acquired.
The determination means according to any one of claims 1 to 8, wherein the determination means determines the parameters of the second classifier based on the training data, the first estimation data, and the second estimation data. The information processing device described.
前記出力手段によって出力された表示に対して、前記第1推定データまたは前記第2推定データを修正させる指示を入力する入力手段と、をさらに備え、
前記決定手段は、前記入力手段に入力された前記指示に基づいて、前記第1識別器のパラメータを決定することを特徴とする請求項1乃至9のいずれか1項に記載の情報処理装置。 An output means for outputting a display showing the difference between the first estimated data and the second estimated data, and
Further, an input means for inputting an instruction to modify the first estimated data or the second estimated data with respect to the display output by the output means is provided.
The information processing apparatus according to any one of claims 1 to 9, wherein the determination means determines a parameter of the first classifier based on the instruction input to the input means.
前記決定手段は、前記第1計測データと前記第2計測データを前記抽出手段によって抽出された特徴に基づいて分類したクラス毎に、前記推定結果の差が小さくなるように前記第1識別器のパラメータを決定することを特徴とする請求項1乃至11のいずれか1項に記載の情報処理装置。 Further provided with an extraction means for extracting features from the first measurement data and the second measurement data by a predetermined method.
The determination means of the first classifier is such that the difference between the estimation results is small for each class in which the first measurement data and the second measurement data are classified based on the characteristics extracted by the extraction means. The information processing apparatus according to any one of claims 1 to 11, wherein the parameters are determined.
前記決定手段は、前記取得手段によって取得された複数の前記推定データのうちユーザによって選択された環境における推定データに基づいて、前記第1推定データと前記推定データとに含まれる推定結果の差が所定の閾値より小さくなるように更新された前記パラメータを決定することを特徴とする請求項1乃至12のいずれか1項に記載の情報処理装置。 The acquisition means further acquires a plurality of estimated data estimated by inputting measurement data obtained by measuring the object in a plurality of environments into a plurality of classifiers.
In the determination means, the difference between the first estimation data and the estimation result included in the estimation data is based on the estimation data in the environment selected by the user among the plurality of estimation data acquired by the acquisition means. The information processing apparatus according to any one of claims 1 to 12, wherein the parameter is determined so as to be smaller than a predetermined threshold value.
第1の環境で前記物体を計測した第1計測データを第1識別器に入力することによって推定された第1推定データと、前記第1の環境と異なる第2の環境で前記物体を計測した第2計測データを第2識別器に入力することによって推定された第2推定データと、を取得する取得工程と、
該物体の外観の状態を示すラベルを含む訓練データと前記第1推定データと前記第2推定データとに基づいて、前記第1識別器の更新されたパラメータを決定する決定工程と、を備え、
前記決定工程は、前記第1推定データと前記第2推定データとに含まれる推定結果の差が所定の閾値より小さくなるように更新された前記パラメータを決定することを特徴とする情報処理方法。 It is an information processing method that determines the parameters of a classifier that estimates the appearance state of an object from the measured data of the object.
The object was measured in a second environment different from the first environment and the first estimated data estimated by inputting the first measurement data obtained by measuring the object in the first environment into the first classifier. An acquisition process for acquiring the second estimated data estimated by inputting the second measurement data to the second classifier, and
It comprises a determination step of determining updated parameters of the first classifier based on training data including a label indicating the appearance state of the object, the first estimated data and the second estimated data.
The information processing method is characterized in that the determination step determines the parameters updated so that the difference between the estimation results included in the first estimation data and the second estimation data becomes smaller than a predetermined threshold value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019078922A JP2020177429A (en) | 2019-04-17 | 2019-04-17 | Information processing apparatus, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019078922A JP2020177429A (en) | 2019-04-17 | 2019-04-17 | Information processing apparatus, information processing method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020177429A true JP2020177429A (en) | 2020-10-29 |
Family
ID=72936205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019078922A Pending JP2020177429A (en) | 2019-04-17 | 2019-04-17 | Information processing apparatus, information processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020177429A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220102166A (en) * | 2021-01-11 | 2022-07-20 | 연세대학교 산학협력단 | A method for estimating a centralized model based on horizontal division without physical data sharing based on weighted integration |
WO2023149174A1 (en) * | 2022-02-02 | 2023-08-10 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
-
2019
- 2019-04-17 JP JP2019078922A patent/JP2020177429A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220102166A (en) * | 2021-01-11 | 2022-07-20 | 연세대학교 산학협력단 | A method for estimating a centralized model based on horizontal division without physical data sharing based on weighted integration |
KR102519218B1 (en) | 2021-01-11 | 2023-04-07 | 연세대학교 산학협력단 | A method for estimating a centralized model based on horizontal division without physical data sharing based on weighted integration |
WO2023149174A1 (en) * | 2022-02-02 | 2023-08-10 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6924413B2 (en) | Data generator, data generation method and data generation program | |
JP6992475B2 (en) | Information processing equipment, identification system, setting method and program | |
TWI761420B (en) | Method and system for classifying defects detected from a wafer, and non-transitory computer readable medium | |
JP6869490B2 (en) | Defect inspection equipment, defect inspection methods, and their programs | |
US11982628B2 (en) | System and method for detecting defects on imaged items | |
JP6403261B2 (en) | Classifier generation device, visual inspection device, classifier generation method, and program | |
JP6632193B2 (en) | Information processing apparatus, information processing method, and program | |
US10824906B2 (en) | Image processing device, non-transitory computer readable storage medium, and image processing system | |
US8948500B2 (en) | Method of automatically training a classifier hierarchy by dynamic grouping the training samples | |
CN113095438B (en) | Wafer defect classification method, device and system thereof, electronic equipment and storage medium | |
US20160098636A1 (en) | Data processing apparatus, data processing method, and recording medium that stores computer program | |
US20210281748A1 (en) | Information processing apparatus | |
JP2018005639A (en) | Image classification device, image inspection device, and program | |
KR102084535B1 (en) | Defect inspection device, defect inspection method | |
JP7054436B2 (en) | Detection system, information processing device, evaluation method and program | |
JP2020129439A (en) | Information processing system and information processing method | |
CN114226262A (en) | Flaw detection method, flaw classification method and flaw detection system | |
JP2020177429A (en) | Information processing apparatus, information processing method, and program | |
JP2006292615A (en) | Visual examination apparatus, visual inspection method, program for making computer function as visual inspection apparatus, and recording medium | |
CN116596928B (en) | Quick peanut oil impurity detection method based on image characteristics | |
CN113128522A (en) | Target identification method and device, computer equipment and storage medium | |
TW202125405A (en) | Classifying device and image classifying system | |
JP7123306B2 (en) | Image processing device and image processing method | |
TWM606740U (en) | Defect detection system | |
TW202209173A (en) | Method for defect detection, method for defect classification and system thereof |