JP2018105756A - Master image data creation device - Google Patents
Master image data creation device Download PDFInfo
- Publication number
- JP2018105756A JP2018105756A JP2016253323A JP2016253323A JP2018105756A JP 2018105756 A JP2018105756 A JP 2018105756A JP 2016253323 A JP2016253323 A JP 2016253323A JP 2016253323 A JP2016253323 A JP 2016253323A JP 2018105756 A JP2018105756 A JP 2018105756A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image data
- master
- master image
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、マスタ画像データ作成装置に関する。 The present invention relates to a master image data creation device.
従来、画像検査において、複数の画像データからマスタ画像データを作成する技術が知られている。 Conventionally, a technique for creating master image data from a plurality of image data in image inspection is known.
この種の技術では、例えば、より不都合の少ないマスタ画像データを作成することが可能な新規な構成のマスタ画像データ作成装置を得ることができれば、有意義である。 In this type of technology, for example, it is meaningful if a master image data creation device having a novel configuration capable of creating master image data with less inconvenience can be obtained.
実施形態のマスタ画像データ作成装置にあっては、第一のマスタ画像データおよび第二のマスタ画像データに対する特徴点検出に基づいたフィッティング処理により、上記第一のマスタ画像データに対応付けて第二のマスタ画像データを変形した変形画像データを作成する変形画像データ作成部と、上記第一のマスタ画像データを上記変形画像データに基づいて補正する補正部と、を備える。 In the master image data creation device of the embodiment, the second master image data and the second master image data are associated with the first master image data by fitting processing based on feature point detection for the second master image data and the second master image data. A deformed image data creating unit that creates deformed image data obtained by deforming the master image data, and a correcting unit that corrects the first master image data based on the deformed image data.
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成や制御、ならびに当該構成や制御によってもたらされる作用および結果(効果)は、一例である。本発明は、以下の実施形態に開示される構成や制御以外によっても実現可能である。また、本発明は、基本的な構成や制御によって得られる派生的な効果も含む種々の効果を得ることが可能である。 Hereinafter, exemplary embodiments of the present invention are disclosed. The configuration and control of the embodiment shown below, and the operation and result (effect) brought about by the configuration and control are examples. The present invention can be realized by other than the configurations and controls disclosed in the following embodiments. Further, the present invention can obtain various effects including derivative effects obtained by basic configuration and control.
図1は、マスタ画像データ作成装置1の概略構成図である。マスタ画像データ作成装置1は、演算処理部10と、記憶部20とを備える。
FIG. 1 is a schematic configuration diagram of a master image
演算処理部10は、データ読込部11や、前処理部12、適合データ作成部13、類似度算出部14、採用判断部15、マスタデータ更新部16、演算処理管理部17等を有している。演算処理部10は、例えば、CPU(central processing unit)や、コントローラであり、ソフトウエア(プログラム)にしたがって演算処理を実行することにより、データ読込部11や、前処理部12、適合データ作成部13、類似度算出部14、採用判断部15、マスタデータ更新部16、演算処理管理部17等として機能することができる。演算処理部10の少なくとも一部は、例えば、DSP(digital signal processor)や、ASIC(application specific integrated circuit)、FPGA(field programmable gate array)、PLD(programmable logic device)等の、ハードウエアであってもよい。
The
記憶部20には、マスタデータMDや、ベースデータBD、更新マスタデータRMD、適合データFD、採用状態データAD等が記憶される。記憶部20には、例えば、HDD(hard disk drive)等の不揮発性の書き換え可能な記憶デバイスや、RAM(random access memory)等の揮発性の書き換え可能な記憶デバイスが含まれうる。 The storage unit 20 stores master data MD, base data BD, update master data RMD, conformance data FD, employment status data AD, and the like. The storage unit 20 may include, for example, a nonvolatile rewritable storage device such as a hard disk drive (HDD) or a volatile rewritable storage device such as a random access memory (RAM).
マスタデータMD、ベースデータBD、更新マスタデータRMD、適合データFD、および採用状態データADは、いずれも四角形状の撮像領域、あるいは撮像領域内の演算領域に対応し、例えば、i軸方向にはi=1〜imaxの所定数(imax)の画素を含み、i軸と直交するj軸方向にはj=1〜jmaxの所定数(jmax)の画素を含む、(imax)×(jmax)の二次元配列された各画素における値のデータ(デジタルデータ)である。通常、マスタデータMD、ベースデータBD、更新マスタデータRMD、および適合データFDは、撮像領域よりも狭い。 The master data MD, the base data BD, the update master data RMD, the conformance data FD, and the adoption state data AD all correspond to a rectangular imaging area or a calculation area in the imaging area. For example, in the i-axis direction (imax) × (jmax) including a predetermined number (imax) of pixels i = 1 to imax and including a predetermined number (jmax) of j = 1 to jmax in the j-axis direction orthogonal to the i-axis. Data of values (digital data) in each pixel arranged two-dimensionally. Usually, the master data MD, the base data BD, the update master data RMD, and the matching data FD are narrower than the imaging area.
マスタデータMDは、例えば、検査対象物の良品が撮影されて得られた画像データである。ベースデータBDは、例えば、検査対象物の良品が撮影されて得られた画像データである。本実施形態では、演算処理部10は、基準となるマスタデータMDを、ベースデータBDを用いて補正する。更新マスタデータRMDは、マスタデータMDが補正されたデータであり、演算処理において随時更新されるデータである。適合データFDは、特徴点検出に基づいて、ベースデータBDをマスタデータMDに適合するよう変形したデータである。適合データFDの各画素の値(輝度値、強度)は、ベースデータBDの各画素の値から補完によって算出される。採用状態データADは、各画素において、適合データFDを補正に用いたか否かを示すデータ(例えばフラグ)である。なお、最終的な更新マスタデータRMD(マスタデータMDの最終的な補正データ)の元になっているという点で、マスタデータMDはベースデータBDの一例であると言えるし、ベースデータBDはマスタデータMDの一例であると言える。マスタデータMDあるいは更新されたマスタデータRMDは、第一のマスタ画像データの一例である。ベースデータBDは、第二のマスタ画像データの一例である。適合データFDは、変形画像データの一例である。
The master data MD is, for example, image data obtained by photographing a non-defective product to be inspected. The base data BD is, for example, image data obtained by photographing a non-defective product to be inspected. In the present embodiment, the
図2は、演算処理部による演算処理のフローチャートである。演算処理部10は、図2に示される手順にしたがって、マスタデータMDを補正する。演算処理部10は、マスタデータMDを、複数のベースデータBDを用いて補正し、更新マスタデータRMDを作成する。所定の条件が満たされた時点での更新マスタデータRMDが、補正されたマスタデータ、すなわちリファレンスデータとして、画像検査に用いられる。すなわち、不図示の画像検査装置は、撮影されたデータをリファレンスデータと比較することにより、異常の有無を検出する。なお、以下では、例えば、タイヤなどのように、検査対象面は黒色を基調とし、検査対象面に白色となる異常領域が生じている場合についての演算処理が、例示される。なお、異常とは、例えば、不特定箇所に現れる汚れや、印字、マーク等を示す。
FIG. 2 is a flowchart of calculation processing by the calculation processing unit. The
図2において、演算処理部10は、データ読込部11として機能し、マスタデータMDを読み込む(S1)。次に、演算処理部10は、データ読込部11として機能し、ベースデータBDを読み込む(S2)。データ読込部11は、S2が実行される度に、異なるベースデータBDを読み込む。
In FIG. 2, the
次に、演算処理部10は、前処理部12として機能し、マスタデータMD若しくは更新マスタデータRMDおよびベースデータBDについて前処理を実行する(S3)。S3における前処理には、例えば、マスキングや、オフセット(シフト)、特徴点検出等の処理が含まれうる。なお、S3〜S8の1回目の処理においては、マスタデータMDが用いられ、2回目以降の処理においては、更新マスタデータRMDが用いられる。
Next, the
マスキングには、検出について対象外とする領域のマスキングや、マスタデータMDの補正に関わる演算処理について対象外とする領域のマスキング等が含まれる。 Masking includes masking of areas that are not subject to detection, masking of areas that are not subject to arithmetic processing related to correction of master data MD, and the like.
オフセット(シフト)は、ベースデータBDをマスタデータMDまたは更新マスタデータRMDに対して相対的にずらすことによる位置合わせである。図3,4には、前処理部12によるベースデータBDのマスタデータMDまたは更新マスタデータRMDに対するオフセットが例示されている。図3,4に示されるように、ベースデータBDをずらす方向は、i方向であってもよいし、j方向であってもよい。また、検査対象面が環状面等である場合にあっては、前処理部12は、図4に示されるように、ベースデータBDを二つの領域BD1,BD2に分割し、ずれが大きい領域BD2を当該環状面の周方向(j方向)に沿った反対側、すなわちずれが小さい領域BD1の反対側に移動して、位置合わせすることができる。なお、前処理部12は、画像処理によってマスタデータMD若しくは更新マスタデータRMDおよびベースデータBDの特徴点を抽出し、特徴点に基づいて位置合わせしてもよい。また、前処理部12は、ベースデータBDを、マスタデータMDまたは更新マスタデータRMDに合わせて拡大あるいは縮小してもよい。また、前処理部12は、マスタデータMDまたは更新マスタデータRMDに対応して位置合わせされたベースデータBDの各画素の値を、位置合わせする前のベースデータBDの各画素の値から補完することにより、算出してもよい。
The offset (shift) is alignment by shifting the base data BD relative to the master data MD or the update master data RMD. 3 and 4 exemplify the offset of the base data BD with respect to the master data MD or the update master data RMD by the preprocessing
特徴点検出には、例えば、FAST特徴検出等によるコーナー検出など、公知の画像処理手法が用いられる。また、コーナー点をより検出しやすくするために、ゾーベルオペレータ等によるエッジ検出が行われてもよい。 For the feature point detection, for example, a known image processing technique such as corner detection by FAST feature detection or the like is used. Further, edge detection by a Sobel operator or the like may be performed in order to make it easier to detect corner points.
次に、演算処理部10は、適合データ作成部13として機能し、ベースデータBDに基づいて、マスタデータMDまたは更新マスタデータRMDに対応する適合データFDを作成する(S4)。S4において、適合データ作成部13は、まず、マスタデータMD若しくは更新マスタデータRMDの特徴点に対応するベースデータBDの特徴点を検出する。次に、適合データ作成部13は、公知のフィッティング処理(パターンマッチング処理)により特徴点同士を対応付ける。特徴点同士の対応付けには、例えば、オプティカルフローによってベクトル量を算出し、周辺の方向成分とノルムによる類似度を指標として、最も近いベクトル量を選択させる等の、公知の手法が用いられる。ここでのベースデータBDの特徴点の、マスタデータMD若しくは更新マスタデータRMDの特徴点への対応付けは、ベースデータBDの画像を、マスタデータMD若しくは更新マスタデータRMDの画像にできるだけ近づくよう、変形させること(歪ませること)、と等価である。ベースデータBDの変形によって得られた適合データFDにおける各画素の値は、ベースデータBDの各画素の値の補間処理によって、算出される。画像を変形補間させる手法としては、例えば、射影変換等の公知の手法が用いられる。適合データ作成部13は、変形画像データ作成部の一例である。
Next, the
次に、演算処理部10は、類似度算出部14として機能し、マスタデータMDまたは更新マスタデータRMDと、適合データFDとの類似度を算出する(S5)。S5では、類似度算出部14は、演算処理の対象領域内の画素のそれぞれ(代表画素)について、以下の(1)および(2)の二つの類似度を算出する。ここでは、一例として、マスタデータMDまたは更新マスタデータRMDの代表画素をM(i,j)、適合データFDの代表画素をF(i,j)とし、類似度算出部14は、類似度を、図5に示されるようなM(i,j)を中心とする11×11の領域Am内の画素の値と、F(i,j)を中心とする11×11の領域Af内の画素の値とに基づいて算出する。
(1)絶対差分総和RSAD(SAD:sum of absolute differences)
(2)正規化相互相関RZNCC(ZNCC:zero-mean normalized cross-correlation)
なお、正規化相互相関RZNCCに替えて、次の式(3)で示される正規化相互相関RNCC(NCC:normalized cross-correlation)を用いてもよい。
なお、代表画素は、領域Am,Afの中心でなくてもよい。
Next, the
(1) The absolute difference between the sum total R SAD (SAD: sum of absolute differences)
(2) normalized cross-correlation R ZNCC (ZNCC: zero-mean normalized cross-correlation)
Instead of the normalized cross-correlation R ZNCC, normalized cross-correlation R NCC represented by the following formula (3) (NCC: normalized cross -correlation) may be used.
Note that the representative pixel may not be the center of the areas Am and Af.
次に、演算処理部10は、採用判断部15として機能し、S5で算出された類似度に基づいて、適合データFDの画素毎に、適合データFDによるマスタデータMDまたは更新マスタデータRMDの補正を行うか否か、換言すれば、適合データFDの各画素をマスタデータMDまたは更新マスタデータRMDの補正に用いるか否かを、判断する(S6)。採用判断部15は、この判断に際し、マスタデータMDまたは更新マスタデータRMDの画素、および適合データFDの画素を、画素の値に応じて、例えば、以下のように分類する。なお、マスタデータMDまたは更新マスタデータRMDと適合データFDとで、分類に用いる閾値は同じである。
(クラス1)画素の値が、閾値Thl以下である画素
上述したように、本実施形態では、検査対象面が黒色を基調とし、正常な位置では暗い、すなわち輝度値が小さい場合についての演算処理が例示されている。よって、クラス1に分類される画素は、正常な領域に含まれている可能性が高いと言える。
(クラス2)画素の値が、閾値Thlより大きく閾値Thh以下である画素
クラス1にもクラス3にも含まれない画素が、クラス2に分類される。
(クラス3)画素の値が、閾値Thhより大きい画素
クラス3に分類される画素は、異常な領域に含まれている可能性が高いと言える。
Next, the
(Class 1) Pixel whose pixel value is equal to or less than the threshold value Thl As described above, in the present embodiment, the calculation process is performed when the inspection target surface is based on black and dark at a normal position, that is, when the luminance value is small. Is illustrated. Therefore, it can be said that a pixel classified into
(Class 2) Pixels whose pixel value is greater than the threshold value Thl and less than or equal to the threshold value Thh Pixels that are not included in
(Class 3) Pixel whose pixel value is larger than the threshold Thh A pixel classified as
そして、採用判断部15は、図6に示されるように、各画素について、マスタデータMDまたは更新マスタデータRMDの画素のクラスと適合データFDの画素のクラスとの組み合わせのケースA〜Cに応じて異なる類似度の判断基準に基づいて、採用するか否かを判断する。
Then, as illustrated in FIG. 6, the
(ケースA)マスタデータMDまたは更新マスタデータRMDがクラス3であり、かつ適合データFDがクラス1である場合
ケースAでは、マスタデータMDまたは更新マスタデータRMDの画素が異常である可能性が高いとともに、適合データFDの画素が正常である可能性が高い。よって、ケースAでは、他のケースよりも適合データFDの画素による補正が行われやすくなるように、閾値が設定される。例えば、二つの類似度のそれぞれについての次の式(4−1)および(4−2)が用いられる。
RSAD ≧Thsh ・・・(4−1)
RZNCC≦Thzl ・・・(4−2)
ここに、Thshは、絶対差分総和RSADの閾値であり、一例としては0.7である。また、Thzlは、正規化相互相関RZNCCの閾値であり、一例としては0.3である。ケースAでは、採用判断部15は、例えば、式(4−1)または式(4−2)のいずれかが満たされる場合には(OR条件)、適合データFDの当該画素(代表画素)については、補正に用いると判断し、採用状態データADにおける当該画素の値を「1」にする。他方、採用判断部15は、式(4−1)および式(4−2)のいずれも満たされない場合には、適合データFDの当該画素については、補正に用いないと判断し、採用状態データADにおける当該画素の値を「0」にする。
(Case A) When master data MD or update master data RMD is
R SAD ≧ Thsh (4-1)
R ZNCC ≦ Thzl (4-2)
Here, Thsh is a threshold value of the absolute difference sum R SAD , and is 0.7 as an example. Thzl is a threshold value of the normalized cross-correlation RZNCC , and is 0.3 as an example. In case A, for example, when either of formula (4-1) or formula (4-2) is satisfied (OR condition), the
(ケースB)マスタデータMDまたは更新マスタデータRMDがクラス1であり、かつ適合データFDがクラス3である場合
ケースBでは、マスタデータMDまたは更新マスタデータRMDの画素が正常である可能性が高いとともに、適合データFDの画素が異常である可能性が高い。よって、ケースBでは、他のケースよりも適合データFDの画素による補正が行われ難くなるように、閾値が設定される。例えば、二つの類似度のそれぞれについての次の式(5−1)および(5−2)が用いられる。
RSAD ≧Thsl ・・・(5−1)
RZNCC≦Thzh ・・・(5−2)
ここに、Thslは、絶対差分総和RSADの閾値であり、ケースAにおけるThshよりも小さく(Thsl<Thsh)、一例としては0.1である。また、Thzhは、正規化相互相関RZNCCの閾値であり、ケースAにおけるThzlよりも大きく(Thzh>Thzl)、一例としては0.9である。ケースBでは、採用判断部15は、例えば、式(5−1)および式(5−2)が満たされる場合には(AND条件)、適合データFDの当該画素(代表画素)については、補正に用いると判断し、採用状態データADにおける当該画素の値を「1」にする。他方、採用判断部15は、式(5−1)および式(5−2)のいずれかが満たされない場合には、適合データFDの当該画素については、補正に用いないと判断し、採用状態データADにおける当該画素の値を「0」にする。
(Case B) When master data MD or update master data RMD is
R SAD ≧ Thsl (5-1)
R ZNCC ≦ Thzh (5-2)
Here, Thsl is a threshold value of the absolute difference sum R SAD and is smaller than Thsh in case A (Thsl <Thsh), and is 0.1 as an example. Thzh is a threshold value of the normalized cross-correlation RZNCC , which is larger than Thzl in case A (Thzh> Thzl), and is 0.9 as an example. In case B, for example, when the expressions (5-1) and (5-2) are satisfied (AND condition), the
(ケースC)ケースAでもケースBでも無い場合
ケースCでは、ケースAおよびケースBの中間の閾値(通常の閾値)が設定される。例えば、二つの類似度のそれぞれについての次の式(6−1)および(6−2)が用いられる。
RSAD ≧Thsm ・・・(6−1)
RZNCC≦Thzm ・・・(6−2)
ここに、Thsmは、絶対差分総和RSADの閾値であり、ケースAにおけるThshよりも小さく、かつケースBにおけるThslよりも大きく(Thsh>Thsm>Thsl)、一例としては0.3である。また、Thzmは、正規化相互相関RZNCCの閾値であり、ケースAにおけるThzlよりも大きくかつ、ケースBにおけるThzhよりも小さく(Thzl<Thzm<Thzh)、一例としては0.7である。ケースCでは、採用判断部15は、例えば、式(6−1)または式(6−2)のいずれかが満たされる場合には(OR条件)、適合データFDの当該画素(代表画素)については、補正に用いると判断し、採用状態データADにおける当該画素の値を「1」にする。他方、採用判断部15は、式(6−1)および式(6−2)のいずれも満たされない場合には、適合データFDの当該画素については、補正に用いないと判断し、採用状態データADにおける当該画素の値を「0」にする。採用判断部15は、判断部の一例である。なお、図6に示されるケースA〜ケースCの複数の判断基準は、マスタデータMDまたは更新マスタデータRMDの画素の値に応じて異なる複数の判断基準であると言うことができるし、適合データFDの画素の値に応じて異なる複数の判断基準であるということができるし、マスタデータMDまたは更新マスタデータRMDの画素の値と適合データFDの画素の値との組み合わせに応じて異なる複数の判断基準であるということができる。
(Case C) When neither Case A nor Case B In Case C, an intermediate threshold (normal threshold) between Case A and Case B is set. For example, the following formulas (6-1) and (6-2) for each of the two similarities are used.
R SAD ≧ Thsm (6-1)
R ZNCC ≦ Thzm (6-2)
Here, Thsm is a threshold value of the absolute difference sum R SAD , which is smaller than Thsh in case A and larger than Thsl in case B (Thsh>Thsm> Thsl), and is 0.3 as an example. Thzm is a threshold value of the normalized cross-correlation RZNCC , which is larger than Thzl in case A and smaller than Thzh in case B (Thzl <Thzm <Thzh), and is 0.7 as an example. In Case C, for example, when either of Expression (6-1) or Expression (6-2) is satisfied (OR condition), the
次に、演算処理部10は、マスタデータ更新部16として機能し、マスタデータMDまたは更新マスタデータRMDを更新する(S7)。S7において、マスタデータ更新部16は、S6での採用判断の結果に応じて、適合データFDの、補正に用いると判断した画素については、以下の式(7−1)により、マスタデータMDまたは更新マスタデータRMDの画素の値を補正(更新)する。
VR=(VM+VF)/n ・・・(7−1)
ここで、nは、重ねた回数(例えば、n=2等)である。
すなわち、マスタデータ更新部16は、更新マスタデータRMDの画素の値を、マスタデータMDまたは更新マスタデータRMDの画素の値と、適合データFDの画素の値との平均値に、更新する。
Next, the
V R = (V M + V F ) / n (7-1)
Here, n is the number of times of overlap (for example, n = 2).
That is, the master data update unit 16 updates the pixel value of the update master data RMD to an average value of the pixel value of the master data MD or the update master data RMD and the pixel value of the matching data FD.
ただし、マスタデータ更新部16は、最初のベースデータBDに基づく適合データFDについて、ケースAであった場合には、以下の式(7−2)により、マスタデータMDまたは更新マスタデータRMDの画素の値を補正(更新)する。
VR=VF ・・・(7−2)
ケースAの場合、マスタデータMDまたは更新マスタデータRMDの画素が異常領域に含まれるとともに適合データFDの画素が正常領域に含まれている可能性が高い。よって、式(7−2)による補正(更新)により、後の演算処理に異常領域の画素のデータの影響が残るのを排除することができる。またこの場合は重ねていないため、該当箇所の画素における回数nを増やす必要はない。マスタデータ更新部16は、補正部の一例である。
However, the master data update unit 16, in the case A, with respect to the conformance data FD based on the first base data BD, the pixel of the master data MD or the update master data RMD according to the following equation (7-2) Correct (update) the value of.
V R = V F (7-2)
In case A, there is a high possibility that the pixels of the master data MD or the updated master data RMD are included in the abnormal area and the pixels of the matching data FD are included in the normal area. Therefore, it is possible to eliminate the influence of the pixel data in the abnormal region on the subsequent arithmetic processing by the correction (update) using the equation (7-2). In this case, since there is no overlap, it is not necessary to increase the number of times n in the pixel at the corresponding location. The master data update unit 16 is an example of a correction unit.
次に、演算処理部10は、演算処理管理部17として機能し、別の適合データFDに基づく演算処理を実行するか否かを判断する(S8)。より詳しく説明すると、S8において、演算処理管理部17は、まず、採用率Raを算出する。採用率Raは、適合データFDにおいて補正に用いられうる全ての画素数に対する、S6の各ケースA〜Cで補正に用いると判断された画素数の比率である。演算処理管理部17は、例えば、以下の条件1(式(8−1))を満たす場合に、別の適合データFDに基づく処理を実行しない、と判断することができる(S8でNo)。
(条件1)Ra≧Thr ・・・(8−1)
ここに、Thrは、採用率Raの閾値であり、一例としては0.98である。S8でNoの場合、S9に進む。
Next, the
(Condition 1) R a ≧ Thr (8-1)
Here, Thr is a threshold of the adoption rate Ra, and is 0.98 as an example. If No in S8, the process proceeds to S9.
他方、S8でYesの場合、すなわち、条件1を満たさない場合、S3に戻り、再度、演算処理部10は、S3〜S7の演算処理を実行する。ただし、S4において、適合データ作成部13は、前回の演算処理で用いた適合データFDを作成したベースデータBDと同じベースデータBDから、従前に用いられたものとは異なるパラメータを用いて、従前に使用されたものとは異なる適合データFDを作成する。演算処理部10は、当該異なる適合データFDに基づいて、S5〜S7を実行する。この場合、適合データ作成部13は、例えば、疑似乱数等を用いることにより従前のものとは異なるパラメータ(フィッティング処理(変形)に関するパラメータ、例えば、特徴点の対応付けを行う探索範囲の幅、高さや、特徴点の検出閾値等)に基づいて適合データFDを生成し、一つのベースデータBDに対応するS3〜S8の複数のループにおいて、一つのベースデータBDから同じ適合データFDが作成されないようにする。
On the other hand, in the case of Yes in S8, that is, when the
また、一つのベースデータBDに対応するS3〜S8の複数のループにおいては、適合データFDの画素の値を用いた補正は、画素毎に1回のみ実行される。すなわち、演算処理部10は、一つのベースデータBDに対応したS3〜S8のループにおいて、一つのベースデータBDに対応するいずれかの適合データFDの画素の値によって既に補正された画素、すなわち、過去に採用状態データADが「1」とされた画素については、適合データFDの画素の値に基づく補正を実行しない。これにより、例えば、採用状態データADの値が「1」である画素については、S5〜S7を省略することができるので、演算処理部10における演算量を減らし、演算負荷を軽減することができる。
Further, in a plurality of loops of S3 to S8 corresponding to one base data BD, the correction using the pixel value of the matching data FD is executed only once for each pixel. That is, the
また、演算処理管理部17は、S8において、以下の条件2(式(8−2))を満たす場合には、一つのベースデータBDに対応する別の適合データFDに基づく処理を実行しない、と判断することができる(S8でNo)。
(条件2)Rr≦Thl ・・・(8−2)
ここに、Rrは、一つのベースデータBDに対応するS3〜S8の複数のループにおける、採用率Raの変化率であり、例えば、Ra(n)−Ra(n−1)である(n:ループ回数)。Thlは、Rrに対応した閾値であり、例えば、0.01等である。条件2は、一つのベースデータBDに対応するS3〜S8の複数のループにおいて、採用率Raが不変状態(飽和状態)となったこと、すなわちサチュレートしたことが検出できる条件であればよく、式(8−2)には限定されない。S8でNoの場合、S9に進む。
In S8, the arithmetic processing management unit 17 does not execute processing based on another matching data FD corresponding to one base data BD when the following condition 2 (formula (8-2)) is satisfied. (No in S8).
(Condition 2) R r ≦ Thl (8-2)
Here, R r is a change rate of the adoption rate R a in a plurality of loops of S3 to S8 corresponding to one base data BD, for example, R a (n) −R a (n−1) Yes (n: number of loops) Thl is a threshold value corresponding to R r and is, for example, 0.01. The
なお、S3〜S8のループは、次のように実行されてもよい。すなわち、演算処理部10は、一つのベースデータBDに対応して異なる複数の適合データFDを作成し、それぞれの適合データFDについて採用率Raを算出する。そして、演算処理部10は、採用率Raの高い順に、適合データFDに基づく補正(更新)を実行する。すなわち、一つのベースデータBDに対応した演算処理において、マスタデータ更新部16は、既に補正した画素の値は補正しないという条件の下、採用率Raの高いものから順に、一つのベースデータBDに対応した異なる複数の適合データFDに基づく上述した補正(更新)を実行することができる。これにより、より効率良くあるいはより迅速に、ベースデータBDによるマスタデータMDの補正を実行できる場合がある。
Note that the loop of S3 to S8 may be executed as follows. That is, the
次に、演算処理部10は、演算処理管理部17として機能し、別のベースデータBDに基づく演算処理を実行するか否かを判断する(S9)。S9において、演算処理管理部17は、例えば、マスタデータMD(または更新マスタデータRMD)の補正に用いるベースデータBDが複数用意されていて、全てのベースデータBDが用いられていなかった場合には、S2に戻る。これは、S9でYesの場合の一例である。演算処理管理部17は、これとは別の条件に基づいて、別のベースデータBDに基づく処理を実行するか否かを判断してもよい。
Next, the
以上、説明したように、本実施形態では、適合データ作成部13(変形画像データ作成部)は、マスタデータMDまたは更新マスタデータRMD(第一のマスタ画像データ)およびベースデータBD(第二のマスタ画像データ)に対する特徴点検出に基づいたフィッティング処理により、マスタデータMDまたは更新マスタデータRMDに対応付けてベースデータBDを変形した適合データFD(変形画像データ)を作成する。マスタデータ更新部16(補正部)は、マスタデータMDまたは更新マスタデータRMDを適合データFDに基づいて補正する。よって、本実施形態によれば、より精度良く位置合わせされた適合データFDによって、マスタデータMDまたは更新マスタデータRMDを補正することができる。よって、サンプルの画像との比較による画像検査に用いるマスタデータ(リファレンスデータ)として、例えば、位置合わせが不十分なデータによって補正されたマスタデータと比べて、より精度が高いあるいはより質の高い更新マスタデータRMDを、得ることができる。 As described above, in the present embodiment, the matching data creation unit 13 (deformed image data creation unit) performs master data MD or update master data RMD (first master image data) and base data BD (second data). The fitting data FD (deformed image data) obtained by deforming the base data BD in association with the master data MD or the updated master data RMD is generated by fitting processing based on feature point detection on the master image data). The master data update unit 16 (correction unit) corrects the master data MD or the update master data RMD based on the matching data FD. Therefore, according to the present embodiment, the master data MD or the updated master data RMD can be corrected by the matching data FD that is aligned with higher accuracy. Therefore, as master data (reference data) used for image inspection by comparison with sample images, for example, update with higher accuracy or higher quality than master data corrected by data with insufficient alignment Master data RMD can be obtained.
また、本実施形態では、採用判断部15(判断部)は、マスタデータMDまたは更新マスタデータRMDと、適合データFDとの比較に基づいて、画素毎に、マスタデータ更新部16による補正を行うか否かを判断する。よって、本実施形態によれば、例えば、補正に適さない場合には補正を実行せずに済むため、より精度が高いあるいはより質の高い更新マスタデータRMDを、得ることができる。 In the present embodiment, the adoption determination unit 15 (determination unit) performs correction by the master data update unit 16 for each pixel based on a comparison between the master data MD or the update master data RMD and the matching data FD. Determine whether or not. Therefore, according to the present embodiment, for example, it is not necessary to perform the correction when it is not suitable for the correction, so that the update master data RMD with higher accuracy or higher quality can be obtained.
また、本実施形態では、採用判断部15(判断部)は、領域Am,Af同士の類似度に基づいて、画素毎に、補正を行うか否かを判断する。よって、本実施形態によれば、例えば類似度が低くフィッティングが不十分である場合には、補正が行われないので、より精度が高いあるいはより質の高い更新マスタデータRMDを、得ることができる。 In the present embodiment, the adoption determination unit 15 (determination unit) determines whether to perform correction for each pixel based on the similarity between the regions Am and Af. Therefore, according to the present embodiment, for example, when the degree of similarity is low and the fitting is insufficient, correction is not performed, so that updated master data RMD with higher accuracy or higher quality can be obtained. .
また、本実施形態では、採用判断部15(判断部)は、マスタデータMDまたは更新マスタデータRMDの画素の値と、適合データFDの画素の値との組み合わせに応じて設定された判断基準に基づいて、画素毎に、補正を行うか否かを判断する。よって、本実施形態によれば、例えば、適合データFDの画素が異常領域に含まれている虞が高い場合には、補正が行われ難い状態を設定することも可能であり、マスタデータMDまたは更新マスタデータRMDの画素が異常領域に含まれている虞が高い場合には、補正が行われ易い状態を設定することも可能であるため、より精度が高いあるいはより質の高い更新マスタデータRMDを、得ることができる。 In the present embodiment, the adoption determination unit 15 (determination unit) uses a determination criterion set according to the combination of the pixel value of the master data MD or the update master data RMD and the pixel value of the matching data FD. Based on this, it is determined whether or not correction is to be performed for each pixel. Therefore, according to the present embodiment, for example, when there is a high possibility that the pixels of the matching data FD are included in the abnormal region, it is possible to set a state in which correction is difficult to be performed. When there is a high possibility that the pixels of the update master data RMD are included in the abnormal area, it is possible to set a state in which correction is easily performed. Therefore, the update master data RMD with higher accuracy or higher quality can be set. Can be obtained.
また、本実施形態では、マスタデータ更新部16は、一つのベースデータBDから作成された複数の適合データFDを用いて、画素毎に、マスタデータMDまたは更新マスタデータRMDを補正することができる。よって、本実施形態によれば、例えば、一つのベースデータBDに対応して、より精度が高いあるいはより質の高い更新マスタデータRMDを、得ることができる。 In the present embodiment, the master data updating unit 16 can correct the master data MD or the updated master data RMD for each pixel by using a plurality of matching data FD created from one base data BD. . Therefore, according to the present embodiment, for example, update master data RMD with higher accuracy or higher quality can be obtained corresponding to one base data BD.
以上、本発明の実施形態および変形例を例示したが、上記実施形態は一例であって、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。上記実施形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、上記複数の実施形態の構成や形状は、部分的に入れ替えて実施することも可能である。また、各構成や形状等のスペック(方向、形状、大きさ、長さ、幅、数、配置、位置等)は、適宜に変更して実施することができる。 As mentioned above, although embodiment and the modification of this invention were illustrated, the said embodiment is an example and is not intending limiting the range of invention. The above embodiment can be implemented in various other forms, and various omissions, replacements, combinations, and changes can be made without departing from the spirit of the invention. The above embodiments are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof. In addition, the configurations and shapes of the plurality of embodiments may be partially exchanged. In addition, the specifications (direction, shape, size, length, width, number, arrangement, position, etc.) of each configuration and shape can be changed as appropriate.
例えば、上記実施形態では、検査対象面は黒色を基調とし、検査対象面に白色となる異常領域が生じている場合についての演算処理が、例示されたが、本発明は、これには限定されず、種々の色や材質の検査対象面や異常に適用可能である。 For example, in the above-described embodiment, the calculation process for the case where the inspection target surface is based on black and an abnormal region that is white occurs on the inspection target surface is exemplified, but the present invention is limited to this. First, it can be applied to inspection surfaces and abnormalities of various colors and materials.
また、採用判断部15(判断部)は、マスタデータMDまたは更新マスタデータRMDと、適合データFDとの領域同士の類似度の比較によらず、マスタデータMDまたは更新マスタデータRMDの画素の値、および適合データFDとの画素の値のうち、少なくとも一方に基づいて、当該画素について、適合データFDの画素による補正を行うか否かを判断することができる。例えば、検査対象面は白色を基調とし、検査対象面に黒色となる異常領域が生じる可能性がある場合にあっては、採用判断部15(判断部)は、適合データFDの画素の値が所定の閾値以下である場合には、当該画素の値を補正に用いないと判断することができる。また、採用判断部15(判断部)は、マスタデータMDの画素の値が所定の閾値以下である場合には、適合データFDにおける当該画素の値を補正に用いると判断することができる。その他、補正の可否については、画素の値の単独あるいは組み合わせに基づく種々の判断基準を設定することが可能である。 Further, the adoption determining unit 15 (determining unit) determines the pixel value of the master data MD or the updated master data RMD regardless of the similarity between the areas of the master data MD or the updated master data RMD and the matching data FD. Based on at least one of the pixel values of the matching data FD and the matching data FD, it can be determined whether or not the pixel is corrected by the matching data FD. For example, when the inspection target surface is based on white and there is a possibility that an abnormal region that becomes black occurs on the inspection target surface, the adoption determination unit 15 (determination unit) determines that the pixel value of the conformance data FD is When the value is equal to or less than the predetermined threshold value, it can be determined that the value of the pixel is not used for correction. In addition, when the pixel value of the master data MD is equal to or less than a predetermined threshold, the adoption determining unit 15 (determining unit) can determine that the pixel value in the matching data FD is used for correction. In addition, regarding whether correction is possible, various determination criteria based on single or combination of pixel values can be set.
1…マスタ画像データ作成装置、13…適合データ作成部(変形画像データ作成部)、15…採用判断部(判断部)、16…マスタデータ更新部(補正部)、MD…マスタデータ(第一のマスタ画像データ)、RMD…更新マスタデータ(第一のマスタ画像データ)、BD…ベースデータ(第二のマスタ画像データ)、FD…適合データ(変形画像データ)。
DESCRIPTION OF
Claims (7)
前記第一のマスタ画像データを前記変形画像データに基づいて補正する補正部と、
を備えた、マスタ画像データ作成装置。 By fitting processing based on feature point detection for the first master image data and the second master image data, deformed image data is generated by deforming the second master image data in association with the first master image data. A deformed image data creation unit,
A correction unit that corrects the first master image data based on the deformed image data;
A master image data creation device.
前記補正部は、前記複数の変形画像データに基づいて前記第一のマスタ画像データを補正する、請求項1〜6のうちいずれか一つに記載のマスタ画像データ作成装置。 The deformed image data creating unit creates a plurality of different deformed image data from one second master image data,
The master image data creation device according to claim 1, wherein the correction unit corrects the first master image data based on the plurality of deformed image data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016253323A JP6800743B2 (en) | 2016-12-27 | 2016-12-27 | Master image data creation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016253323A JP6800743B2 (en) | 2016-12-27 | 2016-12-27 | Master image data creation device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018105756A true JP2018105756A (en) | 2018-07-05 |
JP6800743B2 JP6800743B2 (en) | 2020-12-16 |
Family
ID=62787154
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016253323A Active JP6800743B2 (en) | 2016-12-27 | 2016-12-27 | Master image data creation device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6800743B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111860099A (en) * | 2019-04-24 | 2020-10-30 | 株式会社日立制作所 | Article identification system and article identification method |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06246904A (en) * | 1991-09-18 | 1994-09-06 | Komori Corp | Method and apparatus for automatically re-inputting reference data |
JP2001077165A (en) * | 1999-09-06 | 2001-03-23 | Hitachi Ltd | Defect inspection method, its device, defect analysis method and its device |
JP2001307070A (en) * | 2000-04-18 | 2001-11-02 | Matsushita Electric Ind Co Ltd | Good item pattern registering method |
JP2006234554A (en) * | 2005-02-24 | 2006-09-07 | Dainippon Screen Mfg Co Ltd | Method and device for inspecting pattern |
JP2007078540A (en) * | 2005-09-14 | 2007-03-29 | Tdk Corp | Visual inspection method and visual inspection device |
JP2007102153A (en) * | 2005-09-08 | 2007-04-19 | Advanced Mask Inspection Technology Kk | Image correcting apparatus, pattern inspection apparatus, image correcting method, and reticle |
JP2009236637A (en) * | 2008-03-26 | 2009-10-15 | Panasonic Electric Works Co Ltd | X-ray foreign matter inspection device, and x-ray foreign matter inspection method used therefor |
JP2012137481A (en) * | 2010-12-10 | 2012-07-19 | Ricoh Co Ltd | Image inspection device, printing system, and image inspection method and program |
JP2015046703A (en) * | 2013-08-27 | 2015-03-12 | 株式会社リコー | Image inspection device, image inspection method and image inspection program |
WO2016028308A1 (en) * | 2014-08-22 | 2016-02-25 | Analogic Corporation | Updating reference imaging data with update 2d and/or 3d imaging data |
JP2016133417A (en) * | 2015-01-20 | 2016-07-25 | 富士通テン株式会社 | Printed character inspection device, printed character inspection method, and printed character inspection program |
-
2016
- 2016-12-27 JP JP2016253323A patent/JP6800743B2/en active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06246904A (en) * | 1991-09-18 | 1994-09-06 | Komori Corp | Method and apparatus for automatically re-inputting reference data |
JP2001077165A (en) * | 1999-09-06 | 2001-03-23 | Hitachi Ltd | Defect inspection method, its device, defect analysis method and its device |
JP2001307070A (en) * | 2000-04-18 | 2001-11-02 | Matsushita Electric Ind Co Ltd | Good item pattern registering method |
JP2006234554A (en) * | 2005-02-24 | 2006-09-07 | Dainippon Screen Mfg Co Ltd | Method and device for inspecting pattern |
JP2007102153A (en) * | 2005-09-08 | 2007-04-19 | Advanced Mask Inspection Technology Kk | Image correcting apparatus, pattern inspection apparatus, image correcting method, and reticle |
JP2007078540A (en) * | 2005-09-14 | 2007-03-29 | Tdk Corp | Visual inspection method and visual inspection device |
JP2009236637A (en) * | 2008-03-26 | 2009-10-15 | Panasonic Electric Works Co Ltd | X-ray foreign matter inspection device, and x-ray foreign matter inspection method used therefor |
JP2012137481A (en) * | 2010-12-10 | 2012-07-19 | Ricoh Co Ltd | Image inspection device, printing system, and image inspection method and program |
JP2015046703A (en) * | 2013-08-27 | 2015-03-12 | 株式会社リコー | Image inspection device, image inspection method and image inspection program |
WO2016028308A1 (en) * | 2014-08-22 | 2016-02-25 | Analogic Corporation | Updating reference imaging data with update 2d and/or 3d imaging data |
JP2016133417A (en) * | 2015-01-20 | 2016-07-25 | 富士通テン株式会社 | Printed character inspection device, printed character inspection method, and printed character inspection program |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111860099A (en) * | 2019-04-24 | 2020-10-30 | 株式会社日立制作所 | Article identification system and article identification method |
Also Published As
Publication number | Publication date |
---|---|
JP6800743B2 (en) | 2020-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10726539B2 (en) | Image processing apparatus, image processing method and storage medium | |
US9652855B2 (en) | Image processing apparatus that identifies image area, and image processing method | |
US20230086961A1 (en) | Parallax image processing method, apparatus, computer device and storage medium | |
US8300985B2 (en) | Image-registration method, medium, and apparatus | |
US20160267668A1 (en) | Measurement apparatus | |
US11386329B2 (en) | Method of processing image data in a connectionist network | |
US11170477B2 (en) | Image composition apparatus, image composition method, and program | |
KR20150116833A (en) | Image processor with edge-preserving noise suppression functionality | |
US20180068473A1 (en) | Image fusion techniques | |
US20220114725A1 (en) | Microscopy System and Method for Checking Input Data | |
CN111047615A (en) | Image-based line detection method and device and electronic equipment | |
US9514528B2 (en) | Image processing apparatus, distortion-corrected map creation apparatus, and semiconductor measurement apparatus | |
US20040247179A1 (en) | Image processing apparatus, image processing method, and image processing program | |
CN108632604B (en) | Method and device for detecting optical center of lens | |
JP2019061303A (en) | Periphery monitoring apparatus and periphery monitoring method for vehicle | |
JP6800743B2 (en) | Master image data creation device | |
US10515442B2 (en) | Image processing apparatus that corrects for lateral chromatic aberration, image capturing apparatus, image processing method, and storage medium | |
US8855401B2 (en) | Methods and systems involving measuring complex dimensions of silicon devices | |
JP2001266126A (en) | Method and device for detecting defect and method of manufacturing for mask | |
KR101818104B1 (en) | Camera and camera calibration method | |
JP5928465B2 (en) | Degradation restoration system, degradation restoration method and program | |
US20230114432A1 (en) | Dimension measurement apparatus, semiconductor manufacturing apparatus, and semiconductor device manufacturing system | |
JP2018160024A (en) | Image processing device, image processing method and program | |
JPH0218681A (en) | Line segment detecting method | |
JP2016057068A (en) | Pattern fault checkup apparatus, and pattern fault checkup method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191007 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200923 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201125 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6800743 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |