JP2018105756A - Master image data creation device - Google Patents

Master image data creation device Download PDF

Info

Publication number
JP2018105756A
JP2018105756A JP2016253323A JP2016253323A JP2018105756A JP 2018105756 A JP2018105756 A JP 2018105756A JP 2016253323 A JP2016253323 A JP 2016253323A JP 2016253323 A JP2016253323 A JP 2016253323A JP 2018105756 A JP2018105756 A JP 2018105756A
Authority
JP
Japan
Prior art keywords
data
image data
master
master image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016253323A
Other languages
Japanese (ja)
Other versions
JP6800743B2 (en
Inventor
啓史 松尾
Hiroshi Matsuo
啓史 松尾
一輝 吉川
Kazuki Yoshikawa
一輝 吉川
基征 上仲
Motoyuki Kaminaka
基征 上仲
中川 啓二
Keiji Nakagawa
啓二 中川
拡太郎 多田
Kakutaro Tada
拡太郎 多田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Elemex Corp
Yokohama Rubber Co Ltd
Original Assignee
Ricoh Elemex Corp
Yokohama Rubber Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Elemex Corp, Yokohama Rubber Co Ltd filed Critical Ricoh Elemex Corp
Priority to JP2016253323A priority Critical patent/JP6800743B2/en
Publication of JP2018105756A publication Critical patent/JP2018105756A/en
Application granted granted Critical
Publication of JP6800743B2 publication Critical patent/JP6800743B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a master image data creation device with a new structure which can create more desirable master image data, for example.SOLUTION: The master image data creation device according to an embodiment includes: a deformed image data creation unit for creating deformed image data, which is obtained by deforming second master image data in relation to first master image data, by fitting processing on the basis of detection of feature points for the first and second master image data; and a correction unit for correcting the first master image data on the basis of the deformed image data.SELECTED DRAWING: Figure 2

Description

本発明は、マスタ画像データ作成装置に関する。   The present invention relates to a master image data creation device.

従来、画像検査において、複数の画像データからマスタ画像データを作成する技術が知られている。   Conventionally, a technique for creating master image data from a plurality of image data in image inspection is known.

特開2005−142552号公報JP 2005-142552 A

この種の技術では、例えば、より不都合の少ないマスタ画像データを作成することが可能な新規な構成のマスタ画像データ作成装置を得ることができれば、有意義である。   In this type of technology, for example, it is meaningful if a master image data creation device having a novel configuration capable of creating master image data with less inconvenience can be obtained.

実施形態のマスタ画像データ作成装置にあっては、第一のマスタ画像データおよび第二のマスタ画像データに対する特徴点検出に基づいたフィッティング処理により、上記第一のマスタ画像データに対応付けて第二のマスタ画像データを変形した変形画像データを作成する変形画像データ作成部と、上記第一のマスタ画像データを上記変形画像データに基づいて補正する補正部と、を備える。   In the master image data creation device of the embodiment, the second master image data and the second master image data are associated with the first master image data by fitting processing based on feature point detection for the second master image data and the second master image data. A deformed image data creating unit that creates deformed image data obtained by deforming the master image data, and a correcting unit that corrects the first master image data based on the deformed image data.

図1は、実施形態のマスタ画像データ作成装置の概略構成を示す模式的かつ例示的なブロック図である。FIG. 1 is a schematic and exemplary block diagram illustrating a schematic configuration of a master image data creation device according to an embodiment. 図2は、実施形態のマスタ画像データ作成装置による処理手順を示す例示的なフローチャートである。FIG. 2 is an exemplary flowchart illustrating a processing procedure performed by the master image data creation device according to the embodiment. 図3は、実施形態のマスタ画像データ作成装置による前処理におけるベースデータのオフセットを示す模式的かつ例示的な概念図である。FIG. 3 is a schematic and exemplary conceptual diagram illustrating an offset of base data in preprocessing by the master image data creation device of the embodiment. 図4は、実施形態のマスタ画像データ作成装置による前処理におけるベースデータの図3とは異なるオフセットを示す模式的かつ例示的な概念図である。FIG. 4 is a schematic and exemplary conceptual diagram showing an offset different from that of FIG. 3 of the base data in the preprocessing by the master image data creation device of the embodiment. 図5は、実施形態のマスタ画像データ作成装置による類似度の算出の対象となる領域を示す模式的かつ例示的な概念図である。FIG. 5 is a schematic and exemplarily conceptual diagram illustrating an area that is a target of similarity calculation by the master image data creation device of the embodiment. 図6は、実施形態のマスタ画像データ作成装置によるマスタデータまたは更新マスタデータのクラスと適合データのクラスとの組み合わせに応じた判断基準の設定例を示す表である。FIG. 6 is a table showing a setting example of determination criteria according to the combination of the master data or update master data class and the matching data class by the master image data creation device of the embodiment.

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成や制御、ならびに当該構成や制御によってもたらされる作用および結果(効果)は、一例である。本発明は、以下の実施形態に開示される構成や制御以外によっても実現可能である。また、本発明は、基本的な構成や制御によって得られる派生的な効果も含む種々の効果を得ることが可能である。   Hereinafter, exemplary embodiments of the present invention are disclosed. The configuration and control of the embodiment shown below, and the operation and result (effect) brought about by the configuration and control are examples. The present invention can be realized by other than the configurations and controls disclosed in the following embodiments. Further, the present invention can obtain various effects including derivative effects obtained by basic configuration and control.

図1は、マスタ画像データ作成装置1の概略構成図である。マスタ画像データ作成装置1は、演算処理部10と、記憶部20とを備える。   FIG. 1 is a schematic configuration diagram of a master image data creation device 1. The master image data creation device 1 includes an arithmetic processing unit 10 and a storage unit 20.

演算処理部10は、データ読込部11や、前処理部12、適合データ作成部13、類似度算出部14、採用判断部15、マスタデータ更新部16、演算処理管理部17等を有している。演算処理部10は、例えば、CPU(central processing unit)や、コントローラであり、ソフトウエア(プログラム)にしたがって演算処理を実行することにより、データ読込部11や、前処理部12、適合データ作成部13、類似度算出部14、採用判断部15、マスタデータ更新部16、演算処理管理部17等として機能することができる。演算処理部10の少なくとも一部は、例えば、DSP(digital signal processor)や、ASIC(application specific integrated circuit)、FPGA(field programmable gate array)、PLD(programmable logic device)等の、ハードウエアであってもよい。   The arithmetic processing unit 10 includes a data reading unit 11, a preprocessing unit 12, a conforming data creation unit 13, a similarity calculation unit 14, an adoption determination unit 15, a master data update unit 16, an arithmetic processing management unit 17, and the like. Yes. The arithmetic processing unit 10 is, for example, a CPU (central processing unit) or a controller, and executes the arithmetic processing in accordance with software (program), whereby the data reading unit 11, the preprocessing unit 12, and the conforming data creation unit 13, the similarity calculation unit 14, the adoption determination unit 15, the master data update unit 16, the arithmetic processing management unit 17, and the like. At least a part of the arithmetic processing unit 10 is hardware such as a DSP (digital signal processor), an ASIC (application specific integrated circuit), an FPGA (field programmable gate array), or a PLD (programmable logic device). Also good.

記憶部20には、マスタデータMDや、ベースデータBD、更新マスタデータRMD、適合データFD、採用状態データAD等が記憶される。記憶部20には、例えば、HDD(hard disk drive)等の不揮発性の書き換え可能な記憶デバイスや、RAM(random access memory)等の揮発性の書き換え可能な記憶デバイスが含まれうる。   The storage unit 20 stores master data MD, base data BD, update master data RMD, conformance data FD, employment status data AD, and the like. The storage unit 20 may include, for example, a nonvolatile rewritable storage device such as a hard disk drive (HDD) or a volatile rewritable storage device such as a random access memory (RAM).

マスタデータMD、ベースデータBD、更新マスタデータRMD、適合データFD、および採用状態データADは、いずれも四角形状の撮像領域、あるいは撮像領域内の演算領域に対応し、例えば、i軸方向にはi=1〜imaxの所定数(imax)の画素を含み、i軸と直交するj軸方向にはj=1〜jmaxの所定数(jmax)の画素を含む、(imax)×(jmax)の二次元配列された各画素における値のデータ(デジタルデータ)である。通常、マスタデータMD、ベースデータBD、更新マスタデータRMD、および適合データFDは、撮像領域よりも狭い。   The master data MD, the base data BD, the update master data RMD, the conformance data FD, and the adoption state data AD all correspond to a rectangular imaging area or a calculation area in the imaging area. For example, in the i-axis direction (imax) × (jmax) including a predetermined number (imax) of pixels i = 1 to imax and including a predetermined number (jmax) of j = 1 to jmax in the j-axis direction orthogonal to the i-axis. Data of values (digital data) in each pixel arranged two-dimensionally. Usually, the master data MD, the base data BD, the update master data RMD, and the matching data FD are narrower than the imaging area.

マスタデータMDは、例えば、検査対象物の良品が撮影されて得られた画像データである。ベースデータBDは、例えば、検査対象物の良品が撮影されて得られた画像データである。本実施形態では、演算処理部10は、基準となるマスタデータMDを、ベースデータBDを用いて補正する。更新マスタデータRMDは、マスタデータMDが補正されたデータであり、演算処理において随時更新されるデータである。適合データFDは、特徴点検出に基づいて、ベースデータBDをマスタデータMDに適合するよう変形したデータである。適合データFDの各画素の値(輝度値、強度)は、ベースデータBDの各画素の値から補完によって算出される。採用状態データADは、各画素において、適合データFDを補正に用いたか否かを示すデータ(例えばフラグ)である。なお、最終的な更新マスタデータRMD(マスタデータMDの最終的な補正データ)の元になっているという点で、マスタデータMDはベースデータBDの一例であると言えるし、ベースデータBDはマスタデータMDの一例であると言える。マスタデータMDあるいは更新されたマスタデータRMDは、第一のマスタ画像データの一例である。ベースデータBDは、第二のマスタ画像データの一例である。適合データFDは、変形画像データの一例である。   The master data MD is, for example, image data obtained by photographing a non-defective product to be inspected. The base data BD is, for example, image data obtained by photographing a non-defective product to be inspected. In the present embodiment, the arithmetic processing unit 10 corrects the master data MD serving as a reference using the base data BD. The update master data RMD is data in which the master data MD is corrected, and is data that is updated as needed in the arithmetic processing. The matching data FD is data obtained by transforming the base data BD to match the master data MD based on the feature point detection. The value (luminance value, intensity) of each pixel of the matching data FD is calculated by complementation from the value of each pixel of the base data BD. The adoption state data AD is data (for example, a flag) indicating whether or not the matching data FD is used for correction in each pixel. Note that the master data MD is an example of the base data BD in that it is the source of the final update master data RMD (final correction data of the master data MD), and the base data BD is the master data BD. It can be said that it is an example of data MD. The master data MD or the updated master data RMD is an example of first master image data. The base data BD is an example of second master image data. The matching data FD is an example of deformed image data.

図2は、演算処理部による演算処理のフローチャートである。演算処理部10は、図2に示される手順にしたがって、マスタデータMDを補正する。演算処理部10は、マスタデータMDを、複数のベースデータBDを用いて補正し、更新マスタデータRMDを作成する。所定の条件が満たされた時点での更新マスタデータRMDが、補正されたマスタデータ、すなわちリファレンスデータとして、画像検査に用いられる。すなわち、不図示の画像検査装置は、撮影されたデータをリファレンスデータと比較することにより、異常の有無を検出する。なお、以下では、例えば、タイヤなどのように、検査対象面は黒色を基調とし、検査対象面に白色となる異常領域が生じている場合についての演算処理が、例示される。なお、異常とは、例えば、不特定箇所に現れる汚れや、印字、マーク等を示す。   FIG. 2 is a flowchart of calculation processing by the calculation processing unit. The arithmetic processing unit 10 corrects the master data MD according to the procedure shown in FIG. The arithmetic processing unit 10 corrects the master data MD using a plurality of base data BD, and creates updated master data RMD. The updated master data RMD when a predetermined condition is satisfied is used for image inspection as corrected master data, that is, reference data. That is, an image inspection apparatus (not shown) detects the presence / absence of an abnormality by comparing photographed data with reference data. In the following, for example, a calculation process in a case where an abnormal region that is white on the inspection target surface is generated, such as a tire, has a black surface as an inspection target surface. The abnormality indicates, for example, dirt that appears at unspecified places, printing, marks, and the like.

図2において、演算処理部10は、データ読込部11として機能し、マスタデータMDを読み込む(S1)。次に、演算処理部10は、データ読込部11として機能し、ベースデータBDを読み込む(S2)。データ読込部11は、S2が実行される度に、異なるベースデータBDを読み込む。   In FIG. 2, the arithmetic processing unit 10 functions as the data reading unit 11 and reads the master data MD (S1). Next, the arithmetic processing unit 10 functions as the data reading unit 11 and reads the base data BD (S2). The data reading unit 11 reads different base data BD every time S2 is executed.

次に、演算処理部10は、前処理部12として機能し、マスタデータMD若しくは更新マスタデータRMDおよびベースデータBDについて前処理を実行する(S3)。S3における前処理には、例えば、マスキングや、オフセット(シフト)、特徴点検出等の処理が含まれうる。なお、S3〜S8の1回目の処理においては、マスタデータMDが用いられ、2回目以降の処理においては、更新マスタデータRMDが用いられる。   Next, the arithmetic processing unit 10 functions as the preprocessing unit 12 and executes preprocessing for the master data MD or the updated master data RMD and the base data BD (S3). The preprocessing in S3 can include processes such as masking, offset (shift), and feature point detection, for example. The master data MD is used in the first process of S3 to S8, and the updated master data RMD is used in the second and subsequent processes.

マスキングには、検出について対象外とする領域のマスキングや、マスタデータMDの補正に関わる演算処理について対象外とする領域のマスキング等が含まれる。   Masking includes masking of areas that are not subject to detection, masking of areas that are not subject to arithmetic processing related to correction of master data MD, and the like.

オフセット(シフト)は、ベースデータBDをマスタデータMDまたは更新マスタデータRMDに対して相対的にずらすことによる位置合わせである。図3,4には、前処理部12によるベースデータBDのマスタデータMDまたは更新マスタデータRMDに対するオフセットが例示されている。図3,4に示されるように、ベースデータBDをずらす方向は、i方向であってもよいし、j方向であってもよい。また、検査対象面が環状面等である場合にあっては、前処理部12は、図4に示されるように、ベースデータBDを二つの領域BD1,BD2に分割し、ずれが大きい領域BD2を当該環状面の周方向(j方向)に沿った反対側、すなわちずれが小さい領域BD1の反対側に移動して、位置合わせすることができる。なお、前処理部12は、画像処理によってマスタデータMD若しくは更新マスタデータRMDおよびベースデータBDの特徴点を抽出し、特徴点に基づいて位置合わせしてもよい。また、前処理部12は、ベースデータBDを、マスタデータMDまたは更新マスタデータRMDに合わせて拡大あるいは縮小してもよい。また、前処理部12は、マスタデータMDまたは更新マスタデータRMDに対応して位置合わせされたベースデータBDの各画素の値を、位置合わせする前のベースデータBDの各画素の値から補完することにより、算出してもよい。   The offset (shift) is alignment by shifting the base data BD relative to the master data MD or the update master data RMD. 3 and 4 exemplify the offset of the base data BD with respect to the master data MD or the update master data RMD by the preprocessing unit 12. As shown in FIGS. 3 and 4, the direction in which the base data BD is shifted may be the i direction or the j direction. When the inspection target surface is an annular surface or the like, the preprocessing unit 12 divides the base data BD into two regions BD1 and BD2 as shown in FIG. Can be moved to the opposite side along the circumferential direction (j direction) of the annular surface, that is, the opposite side of the region BD1 where the deviation is small. Note that the preprocessing unit 12 may extract feature points of the master data MD or the update master data RMD and the base data BD by image processing, and may perform alignment based on the feature points. Further, the preprocessing unit 12 may enlarge or reduce the base data BD according to the master data MD or the update master data RMD. In addition, the preprocessing unit 12 complements the value of each pixel of the base data BD aligned corresponding to the master data MD or the updated master data RMD from the value of each pixel of the base data BD before alignment. Depending on the situation, it may be calculated.

特徴点検出には、例えば、FAST特徴検出等によるコーナー検出など、公知の画像処理手法が用いられる。また、コーナー点をより検出しやすくするために、ゾーベルオペレータ等によるエッジ検出が行われてもよい。   For the feature point detection, for example, a known image processing technique such as corner detection by FAST feature detection or the like is used. Further, edge detection by a Sobel operator or the like may be performed in order to make it easier to detect corner points.

次に、演算処理部10は、適合データ作成部13として機能し、ベースデータBDに基づいて、マスタデータMDまたは更新マスタデータRMDに対応する適合データFDを作成する(S4)。S4において、適合データ作成部13は、まず、マスタデータMD若しくは更新マスタデータRMDの特徴点に対応するベースデータBDの特徴点を検出する。次に、適合データ作成部13は、公知のフィッティング処理(パターンマッチング処理)により特徴点同士を対応付ける。特徴点同士の対応付けには、例えば、オプティカルフローによってベクトル量を算出し、周辺の方向成分とノルムによる類似度を指標として、最も近いベクトル量を選択させる等の、公知の手法が用いられる。ここでのベースデータBDの特徴点の、マスタデータMD若しくは更新マスタデータRMDの特徴点への対応付けは、ベースデータBDの画像を、マスタデータMD若しくは更新マスタデータRMDの画像にできるだけ近づくよう、変形させること(歪ませること)、と等価である。ベースデータBDの変形によって得られた適合データFDにおける各画素の値は、ベースデータBDの各画素の値の補間処理によって、算出される。画像を変形補間させる手法としては、例えば、射影変換等の公知の手法が用いられる。適合データ作成部13は、変形画像データ作成部の一例である。   Next, the arithmetic processing unit 10 functions as the matching data creation unit 13 and creates matching data FD corresponding to the master data MD or the update master data RMD based on the base data BD (S4). In S4, the matching data creation unit 13 first detects the feature points of the base data BD corresponding to the feature points of the master data MD or the updated master data RMD. Next, the matching data creation unit 13 associates the feature points with each other by a known fitting process (pattern matching process). For the association between feature points, for example, a known method is used such that a vector amount is calculated by an optical flow, and the nearest vector amount is selected by using the degree of similarity between a peripheral direction component and a norm as an index. Here, the feature points of the base data BD are associated with the feature points of the master data MD or the update master data RMD so that the image of the base data BD is as close as possible to the image of the master data MD or the update master data RMD. It is equivalent to deforming (distorting). The value of each pixel in the matching data FD obtained by deformation of the base data BD is calculated by interpolation processing of the value of each pixel of the base data BD. As a method for deforming and interpolating an image, for example, a known method such as projective transformation is used. The matching data creation unit 13 is an example of a deformed image data creation unit.

次に、演算処理部10は、類似度算出部14として機能し、マスタデータMDまたは更新マスタデータRMDと、適合データFDとの類似度を算出する(S5)。S5では、類似度算出部14は、演算処理の対象領域内の画素のそれぞれ(代表画素)について、以下の(1)および(2)の二つの類似度を算出する。ここでは、一例として、マスタデータMDまたは更新マスタデータRMDの代表画素をM(i,j)、適合データFDの代表画素をF(i,j)とし、類似度算出部14は、類似度を、図5に示されるようなM(i,j)を中心とする11×11の領域Am内の画素の値と、F(i,j)を中心とする11×11の領域Af内の画素の値とに基づいて算出する。
(1)絶対差分総和RSAD(SAD:sum of absolute differences)

Figure 2018105756
絶対差分総和RSADが0に近いほど類似度が高く、1に近いほど類似度が低い。
(2)正規化相互相関RZNCC(ZNCC:zero-mean normalized cross-correlation)
Figure 2018105756
ここで、Mは、マスタデータMDまたは更新マスタデータRMDの画素の値の領域Am内の平均値、Fは、適合データFDの画素の値の領域Af内の平均値である。正規化相互相関RZNCCが1に近いほど類似度が高く、0に近いほど類似度が低い。平均値で正規化される分、全体的な明るさや暗さが異なる場合、すなわち一方が他方よりもオフセットしているような場合であっても、画像の明暗の変化の類似度、すなわち画像の類似度が反映されやすい。
なお、正規化相互相関RZNCCに替えて、次の式(3)で示される正規化相互相関RNCC(NCC:normalized cross-correlation)を用いてもよい。
Figure 2018105756
正規化相互相関RNCCが1に近いほど類似度が高く、0に近いほど類似度が低い。
なお、代表画素は、領域Am,Afの中心でなくてもよい。 Next, the arithmetic processing unit 10 functions as the similarity calculation unit 14 and calculates the similarity between the master data MD or the update master data RMD and the matching data FD (S5). In S <b> 5, the similarity calculation unit 14 calculates the following two similarities (1) and (2) for each pixel (representative pixel) in the calculation target region. Here, as an example, the representative pixel of the master data MD or the updated master data RMD is M (i, j), the representative pixel of the matching data FD is F (i, j), and the similarity calculator 14 calculates the similarity. FIG. 5 shows a pixel value in an 11 × 11 area Am centered on M (i, j) and a pixel in an 11 × 11 area Af centered on F (i, j). Based on the value of.
(1) The absolute difference between the sum total R SAD (SAD: sum of absolute differences)
Figure 2018105756
The closer the absolute difference sum R SAD is to 0, the higher the similarity is, and the closer the value is to 1, the lower the similarity is.
(2) normalized cross-correlation R ZNCC (ZNCC: zero-mean normalized cross-correlation)
Figure 2018105756
Here, M A is the average value of the area Am of the values of the pixels of the master data MD or updated master data RMD, F A is the average value of the area Af of pixel values of matching data FD. The closer the normalized cross-correlation RZNCC is to 1, the higher the similarity, and the closer to 0, the lower the similarity. Even if the overall brightness and darkness are different by the average value, that is, when one is offset from the other, the similarity of the change in the lightness of the image, that is, the image Similarity is easily reflected.
Instead of the normalized cross-correlation R ZNCC, normalized cross-correlation R NCC represented by the following formula (3) (NCC: normalized cross -correlation) may be used.
Figure 2018105756
The closer the normalized cross-correlation R NCC is to 1, the higher the similarity is, and the closer it is to 0, the lower the similarity is.
Note that the representative pixel may not be the center of the areas Am and Af.

次に、演算処理部10は、採用判断部15として機能し、S5で算出された類似度に基づいて、適合データFDの画素毎に、適合データFDによるマスタデータMDまたは更新マスタデータRMDの補正を行うか否か、換言すれば、適合データFDの各画素をマスタデータMDまたは更新マスタデータRMDの補正に用いるか否かを、判断する(S6)。採用判断部15は、この判断に際し、マスタデータMDまたは更新マスタデータRMDの画素、および適合データFDの画素を、画素の値に応じて、例えば、以下のように分類する。なお、マスタデータMDまたは更新マスタデータRMDと適合データFDとで、分類に用いる閾値は同じである。
(クラス1)画素の値が、閾値Thl以下である画素
上述したように、本実施形態では、検査対象面が黒色を基調とし、正常な位置では暗い、すなわち輝度値が小さい場合についての演算処理が例示されている。よって、クラス1に分類される画素は、正常な領域に含まれている可能性が高いと言える。
(クラス2)画素の値が、閾値Thlより大きく閾値Thh以下である画素
クラス1にもクラス3にも含まれない画素が、クラス2に分類される。
(クラス3)画素の値が、閾値Thhより大きい画素
クラス3に分類される画素は、異常な領域に含まれている可能性が高いと言える。
Next, the arithmetic processing unit 10 functions as the adoption determining unit 15 and corrects the master data MD or the updated master data RMD by the matching data FD for each pixel of the matching data FD based on the similarity calculated in S5. Whether to use each pixel of the matching data FD for correction of the master data MD or the updated master data RMD (S6). In this determination, the adoption determination unit 15 classifies the pixels of the master data MD or the update master data RMD and the pixels of the matching data FD according to the pixel values, for example, as follows. Note that the threshold values used for classification are the same between the master data MD or the update master data RMD and the matching data FD.
(Class 1) Pixel whose pixel value is equal to or less than the threshold value Thl As described above, in the present embodiment, the calculation process is performed when the inspection target surface is based on black and dark at a normal position, that is, when the luminance value is small. Is illustrated. Therefore, it can be said that a pixel classified into class 1 is highly likely to be included in a normal region.
(Class 2) Pixels whose pixel value is greater than the threshold value Thl and less than or equal to the threshold value Thh Pixels that are not included in class 1 or class 3 are classified as class 2.
(Class 3) Pixel whose pixel value is larger than the threshold Thh A pixel classified as class 3 is highly likely to be included in an abnormal area.

そして、採用判断部15は、図6に示されるように、各画素について、マスタデータMDまたは更新マスタデータRMDの画素のクラスと適合データFDの画素のクラスとの組み合わせのケースA〜Cに応じて異なる類似度の判断基準に基づいて、採用するか否かを判断する。   Then, as illustrated in FIG. 6, the adoption determining unit 15 performs, for each pixel, according to cases A to C of combinations of the pixel class of the master data MD or the update master data RMD and the pixel class of the matching data FD. It is determined whether or not to adopt based on criteria of different similarity.

(ケースA)マスタデータMDまたは更新マスタデータRMDがクラス3であり、かつ適合データFDがクラス1である場合
ケースAでは、マスタデータMDまたは更新マスタデータRMDの画素が異常である可能性が高いとともに、適合データFDの画素が正常である可能性が高い。よって、ケースAでは、他のケースよりも適合データFDの画素による補正が行われやすくなるように、閾値が設定される。例えば、二つの類似度のそれぞれについての次の式(4−1)および(4−2)が用いられる。
SAD ≧Thsh ・・・(4−1)
ZNCC≦Thzl ・・・(4−2)
ここに、Thshは、絶対差分総和RSADの閾値であり、一例としては0.7である。また、Thzlは、正規化相互相関RZNCCの閾値であり、一例としては0.3である。ケースAでは、採用判断部15は、例えば、式(4−1)または式(4−2)のいずれかが満たされる場合には(OR条件)、適合データFDの当該画素(代表画素)については、補正に用いると判断し、採用状態データADにおける当該画素の値を「1」にする。他方、採用判断部15は、式(4−1)および式(4−2)のいずれも満たされない場合には、適合データFDの当該画素については、補正に用いないと判断し、採用状態データADにおける当該画素の値を「0」にする。
(Case A) When master data MD or update master data RMD is class 3 and conforming data FD is class 1 In case A, there is a high possibility that the pixels of master data MD or update master data RMD are abnormal. At the same time, there is a high possibility that the pixels of the matching data FD are normal. Therefore, in case A, the threshold value is set so that correction by the pixels of the matching data FD is easier than in other cases. For example, the following formulas (4-1) and (4-2) for each of the two similarities are used.
R SAD ≧ Thsh (4-1)
R ZNCC ≦ Thzl (4-2)
Here, Thsh is a threshold value of the absolute difference sum R SAD , and is 0.7 as an example. Thzl is a threshold value of the normalized cross-correlation RZNCC , and is 0.3 as an example. In case A, for example, when either of formula (4-1) or formula (4-2) is satisfied (OR condition), the adoption determining unit 15 determines the pixel (representative pixel) of the conforming data FD. Is determined to be used for correction, and the value of the pixel in the employment status data AD is set to “1”. On the other hand, when neither of the expressions (4-1) and (4-2) are satisfied, the adoption determining unit 15 determines that the pixel of the conforming data FD is not used for correction, and adopting state data The value of the pixel in AD is set to “0”.

(ケースB)マスタデータMDまたは更新マスタデータRMDがクラス1であり、かつ適合データFDがクラス3である場合
ケースBでは、マスタデータMDまたは更新マスタデータRMDの画素が正常である可能性が高いとともに、適合データFDの画素が異常である可能性が高い。よって、ケースBでは、他のケースよりも適合データFDの画素による補正が行われ難くなるように、閾値が設定される。例えば、二つの類似度のそれぞれについての次の式(5−1)および(5−2)が用いられる。
SAD ≧Thsl ・・・(5−1)
ZNCC≦Thzh ・・・(5−2)
ここに、Thslは、絶対差分総和RSADの閾値であり、ケースAにおけるThshよりも小さく(Thsl<Thsh)、一例としては0.1である。また、Thzhは、正規化相互相関RZNCCの閾値であり、ケースAにおけるThzlよりも大きく(Thzh>Thzl)、一例としては0.9である。ケースBでは、採用判断部15は、例えば、式(5−1)および式(5−2)が満たされる場合には(AND条件)、適合データFDの当該画素(代表画素)については、補正に用いると判断し、採用状態データADにおける当該画素の値を「1」にする。他方、採用判断部15は、式(5−1)および式(5−2)のいずれかが満たされない場合には、適合データFDの当該画素については、補正に用いないと判断し、採用状態データADにおける当該画素の値を「0」にする。
(Case B) When master data MD or update master data RMD is class 1 and conforming data FD is class 3 In case B, there is a high possibility that the pixels of master data MD or update master data RMD are normal. At the same time, there is a high possibility that the pixels of the matching data FD are abnormal. Therefore, in case B, the threshold value is set so that correction by the pixels of the matching data FD is less likely to be performed than in other cases. For example, the following formulas (5-1) and (5-2) for each of the two similarities are used.
R SAD ≧ Thsl (5-1)
R ZNCC ≦ Thzh (5-2)
Here, Thsl is a threshold value of the absolute difference sum R SAD and is smaller than Thsh in case A (Thsl <Thsh), and is 0.1 as an example. Thzh is a threshold value of the normalized cross-correlation RZNCC , which is larger than Thzl in case A (Thzh> Thzl), and is 0.9 as an example. In case B, for example, when the expressions (5-1) and (5-2) are satisfied (AND condition), the adoption determining unit 15 corrects the pixel (representative pixel) of the matching data FD. The value of the pixel in the employment status data AD is set to “1”. On the other hand, if either of the expressions (5-1) and (5-2) is not satisfied, the adoption determining unit 15 determines that the pixel of the conforming data FD is not used for correction, and the adoption state. The value of the pixel in the data AD is set to “0”.

(ケースC)ケースAでもケースBでも無い場合
ケースCでは、ケースAおよびケースBの中間の閾値(通常の閾値)が設定される。例えば、二つの類似度のそれぞれについての次の式(6−1)および(6−2)が用いられる。
SAD ≧Thsm ・・・(6−1)
ZNCC≦Thzm ・・・(6−2)
ここに、Thsmは、絶対差分総和RSADの閾値であり、ケースAにおけるThshよりも小さく、かつケースBにおけるThslよりも大きく(Thsh>Thsm>Thsl)、一例としては0.3である。また、Thzmは、正規化相互相関RZNCCの閾値であり、ケースAにおけるThzlよりも大きくかつ、ケースBにおけるThzhよりも小さく(Thzl<Thzm<Thzh)、一例としては0.7である。ケースCでは、採用判断部15は、例えば、式(6−1)または式(6−2)のいずれかが満たされる場合には(OR条件)、適合データFDの当該画素(代表画素)については、補正に用いると判断し、採用状態データADにおける当該画素の値を「1」にする。他方、採用判断部15は、式(6−1)および式(6−2)のいずれも満たされない場合には、適合データFDの当該画素については、補正に用いないと判断し、採用状態データADにおける当該画素の値を「0」にする。採用判断部15は、判断部の一例である。なお、図6に示されるケースA〜ケースCの複数の判断基準は、マスタデータMDまたは更新マスタデータRMDの画素の値に応じて異なる複数の判断基準であると言うことができるし、適合データFDの画素の値に応じて異なる複数の判断基準であるということができるし、マスタデータMDまたは更新マスタデータRMDの画素の値と適合データFDの画素の値との組み合わせに応じて異なる複数の判断基準であるということができる。
(Case C) When neither Case A nor Case B In Case C, an intermediate threshold (normal threshold) between Case A and Case B is set. For example, the following formulas (6-1) and (6-2) for each of the two similarities are used.
R SAD ≧ Thsm (6-1)
R ZNCC ≦ Thzm (6-2)
Here, Thsm is a threshold value of the absolute difference sum R SAD , which is smaller than Thsh in case A and larger than Thsl in case B (Thsh>Thsm> Thsl), and is 0.3 as an example. Thzm is a threshold value of the normalized cross-correlation RZNCC , which is larger than Thzl in case A and smaller than Thzh in case B (Thzl <Thzm <Thzh), and is 0.7 as an example. In Case C, for example, when either of Expression (6-1) or Expression (6-2) is satisfied (OR condition), the adoption determination unit 15 determines the pixel (representative pixel) of the conforming data FD. Is determined to be used for correction, and the value of the pixel in the employment status data AD is set to “1”. On the other hand, when neither of the expressions (6-1) and (6-2) is satisfied, the adoption determining unit 15 determines that the pixel of the conforming data FD is not used for correction, and the adoption state data The value of the pixel in AD is set to “0”. The adoption determination unit 15 is an example of a determination unit. It can be said that the plurality of determination criteria for case A to case C shown in FIG. 6 are a plurality of determination criteria that differ depending on the pixel value of the master data MD or the update master data RMD. It can be said that there are a plurality of judgment criteria different depending on the value of the pixel of the FD, and a plurality of different criteria depending on the combination of the pixel value of the master data MD or the update master data RMD and the pixel value of the matching data FD It can be said that it is a criterion.

次に、演算処理部10は、マスタデータ更新部16として機能し、マスタデータMDまたは更新マスタデータRMDを更新する(S7)。S7において、マスタデータ更新部16は、S6での採用判断の結果に応じて、適合データFDの、補正に用いると判断した画素については、以下の式(7−1)により、マスタデータMDまたは更新マスタデータRMDの画素の値を補正(更新)する。
=(V+V)/n ・・・(7−1)
ここで、nは、重ねた回数(例えば、n=2等)である。
すなわち、マスタデータ更新部16は、更新マスタデータRMDの画素の値を、マスタデータMDまたは更新マスタデータRMDの画素の値と、適合データFDの画素の値との平均値に、更新する。
Next, the arithmetic processing unit 10 functions as the master data update unit 16 and updates the master data MD or the update master data RMD (S7). In S7, the master data updating unit 16 uses the following formula (7-1) for the master data MD or the pixel determined to be used for the correction of the adaptation data FD according to the result of the adoption determination in S6. The pixel value of the update master data RMD is corrected (updated).
V R = (V M + V F ) / n (7-1)
Here, n is the number of times of overlap (for example, n = 2).
That is, the master data update unit 16 updates the pixel value of the update master data RMD to an average value of the pixel value of the master data MD or the update master data RMD and the pixel value of the matching data FD.

ただし、マスタデータ更新部16は、最初のベースデータBDに基づく適合データFDについて、ケースAであった場合には、以下の式(7−2)により、マスタデータMDまたは更新マスタデータRMDの画素の値を補正(更新)する。
=V ・・・(7−2)
ケースAの場合、マスタデータMDまたは更新マスタデータRMDの画素が異常領域に含まれるとともに適合データFDの画素が正常領域に含まれている可能性が高い。よって、式(7−2)による補正(更新)により、後の演算処理に異常領域の画素のデータの影響が残るのを排除することができる。またこの場合は重ねていないため、該当箇所の画素における回数nを増やす必要はない。マスタデータ更新部16は、補正部の一例である。
However, the master data update unit 16, in the case A, with respect to the conformance data FD based on the first base data BD, the pixel of the master data MD or the update master data RMD according to the following equation (7-2) Correct (update) the value of.
V R = V F (7-2)
In case A, there is a high possibility that the pixels of the master data MD or the updated master data RMD are included in the abnormal area and the pixels of the matching data FD are included in the normal area. Therefore, it is possible to eliminate the influence of the pixel data in the abnormal region on the subsequent arithmetic processing by the correction (update) using the equation (7-2). In this case, since there is no overlap, it is not necessary to increase the number of times n in the pixel at the corresponding location. The master data update unit 16 is an example of a correction unit.

次に、演算処理部10は、演算処理管理部17として機能し、別の適合データFDに基づく演算処理を実行するか否かを判断する(S8)。より詳しく説明すると、S8において、演算処理管理部17は、まず、採用率Rを算出する。採用率Rは、適合データFDにおいて補正に用いられうる全ての画素数に対する、S6の各ケースA〜Cで補正に用いると判断された画素数の比率である。演算処理管理部17は、例えば、以下の条件1(式(8−1))を満たす場合に、別の適合データFDに基づく処理を実行しない、と判断することができる(S8でNo)。
(条件1)R≧Thr ・・・(8−1)
ここに、Thrは、採用率Raの閾値であり、一例としては0.98である。S8でNoの場合、S9に進む。
Next, the arithmetic processing unit 10 functions as the arithmetic processing management unit 17 and determines whether or not to execute arithmetic processing based on another matching data FD (S8). In more detail, in S8, the arithmetic processing management unit 17 first calculates the adoption rates R a. The adoption rate Ra is the ratio of the number of pixels determined to be used for correction in each of the cases A to C in S6 with respect to the total number of pixels that can be used for correction in the matching data FD. For example, when the following condition 1 (formula (8-1)) is satisfied, the arithmetic processing management unit 17 can determine that the process based on the other matching data FD is not executed (No in S8).
(Condition 1) R a ≧ Thr (8-1)
Here, Thr is a threshold of the adoption rate Ra, and is 0.98 as an example. If No in S8, the process proceeds to S9.

他方、S8でYesの場合、すなわち、条件1を満たさない場合、S3に戻り、再度、演算処理部10は、S3〜S7の演算処理を実行する。ただし、S4において、適合データ作成部13は、前回の演算処理で用いた適合データFDを作成したベースデータBDと同じベースデータBDから、従前に用いられたものとは異なるパラメータを用いて、従前に使用されたものとは異なる適合データFDを作成する。演算処理部10は、当該異なる適合データFDに基づいて、S5〜S7を実行する。この場合、適合データ作成部13は、例えば、疑似乱数等を用いることにより従前のものとは異なるパラメータ(フィッティング処理(変形)に関するパラメータ、例えば、特徴点の対応付けを行う探索範囲の幅、高さや、特徴点の検出閾値等)に基づいて適合データFDを生成し、一つのベースデータBDに対応するS3〜S8の複数のループにおいて、一つのベースデータBDから同じ適合データFDが作成されないようにする。   On the other hand, in the case of Yes in S8, that is, when the condition 1 is not satisfied, the process returns to S3, and the arithmetic processing unit 10 executes the arithmetic processes of S3 to S7 again. However, in S4, the matching data creation unit 13 uses the same parameters as the base data BD that is the same as the base data BD that created the matching data FD used in the previous calculation process, and uses different parameters from those used before. The matching data FD different from that used in the above is created. The arithmetic processing unit 10 executes S5 to S7 based on the different matching data FD. In this case, the matching data creation unit 13 uses, for example, pseudo random numbers or the like, which are different from the previous ones (parameters related to the fitting process (deformation), for example, the search range width, high The matching data FD is generated based on the detection threshold of the feature points, etc., and the same matching data FD is not created from one base data BD in a plurality of loops of S3 to S8 corresponding to one base data BD. To.

また、一つのベースデータBDに対応するS3〜S8の複数のループにおいては、適合データFDの画素の値を用いた補正は、画素毎に1回のみ実行される。すなわち、演算処理部10は、一つのベースデータBDに対応したS3〜S8のループにおいて、一つのベースデータBDに対応するいずれかの適合データFDの画素の値によって既に補正された画素、すなわち、過去に採用状態データADが「1」とされた画素については、適合データFDの画素の値に基づく補正を実行しない。これにより、例えば、採用状態データADの値が「1」である画素については、S5〜S7を省略することができるので、演算処理部10における演算量を減らし、演算負荷を軽減することができる。   Further, in a plurality of loops of S3 to S8 corresponding to one base data BD, the correction using the pixel value of the matching data FD is executed only once for each pixel. That is, the arithmetic processing unit 10 is a pixel that has already been corrected by the pixel value of any of the matching data FD corresponding to one base data BD in the loop of S3 to S8 corresponding to one base data BD, that is, For pixels for which the employment status data AD has been set to “1” in the past, correction based on the pixel value of the matching data FD is not executed. Thereby, for example, S5 to S7 can be omitted for a pixel whose adoption state data AD value is “1”, so that the calculation amount in the calculation processing unit 10 can be reduced and the calculation load can be reduced. .

また、演算処理管理部17は、S8において、以下の条件2(式(8−2))を満たす場合には、一つのベースデータBDに対応する別の適合データFDに基づく処理を実行しない、と判断することができる(S8でNo)。
(条件2)R≦Thl ・・・(8−2)
ここに、Rは、一つのベースデータBDに対応するS3〜S8の複数のループにおける、採用率Rの変化率であり、例えば、R(n)−R(n−1)である(n:ループ回数)。Thlは、Rに対応した閾値であり、例えば、0.01等である。条件2は、一つのベースデータBDに対応するS3〜S8の複数のループにおいて、採用率Raが不変状態(飽和状態)となったこと、すなわちサチュレートしたことが検出できる条件であればよく、式(8−2)には限定されない。S8でNoの場合、S9に進む。
In S8, the arithmetic processing management unit 17 does not execute processing based on another matching data FD corresponding to one base data BD when the following condition 2 (formula (8-2)) is satisfied. (No in S8).
(Condition 2) R r ≦ Thl (8-2)
Here, R r is a change rate of the adoption rate R a in a plurality of loops of S3 to S8 corresponding to one base data BD, for example, R a (n) −R a (n−1) Yes (n: number of loops) Thl is a threshold value corresponding to R r and is, for example, 0.01. The condition 2 may be any condition as long as it can detect that the adoption rate Ra is in an invariable state (saturated state), that is, saturated, in a plurality of loops of S3 to S8 corresponding to one base data BD. It is not limited to (8-2). If No in S8, the process proceeds to S9.

なお、S3〜S8のループは、次のように実行されてもよい。すなわち、演算処理部10は、一つのベースデータBDに対応して異なる複数の適合データFDを作成し、それぞれの適合データFDについて採用率Raを算出する。そして、演算処理部10は、採用率Raの高い順に、適合データFDに基づく補正(更新)を実行する。すなわち、一つのベースデータBDに対応した演算処理において、マスタデータ更新部16は、既に補正した画素の値は補正しないという条件の下、採用率Raの高いものから順に、一つのベースデータBDに対応した異なる複数の適合データFDに基づく上述した補正(更新)を実行することができる。これにより、より効率良くあるいはより迅速に、ベースデータBDによるマスタデータMDの補正を実行できる場合がある。   Note that the loop of S3 to S8 may be executed as follows. That is, the arithmetic processing unit 10 creates a plurality of different matching data FD corresponding to one base data BD, and calculates the adoption rate Ra for each matching data FD. And the arithmetic processing part 10 performs correction | amendment (update) based on the conformity data FD in order with the high adoption rate Ra. In other words, in the arithmetic processing corresponding to one base data BD, the master data updating unit 16 applies the one base data BD in descending order of the adoption rate Ra under the condition that the already corrected pixel value is not corrected. The above-described correction (update) based on a plurality of corresponding different matching data FD can be executed. Thereby, the correction of the master data MD by the base data BD may be executed more efficiently or more quickly.

次に、演算処理部10は、演算処理管理部17として機能し、別のベースデータBDに基づく演算処理を実行するか否かを判断する(S9)。S9において、演算処理管理部17は、例えば、マスタデータMD(または更新マスタデータRMD)の補正に用いるベースデータBDが複数用意されていて、全てのベースデータBDが用いられていなかった場合には、S2に戻る。これは、S9でYesの場合の一例である。演算処理管理部17は、これとは別の条件に基づいて、別のベースデータBDに基づく処理を実行するか否かを判断してもよい。   Next, the arithmetic processing unit 10 functions as the arithmetic processing management unit 17 and determines whether or not to execute arithmetic processing based on another base data BD (S9). In S9, the arithmetic processing management unit 17 prepares a plurality of base data BDs used for correcting the master data MD (or the updated master data RMD), for example, when all the base data BDs are not used. Return to S2. This is an example in the case of Yes in S9. The arithmetic processing management unit 17 may determine whether to execute processing based on another base data BD based on a different condition.

以上、説明したように、本実施形態では、適合データ作成部13(変形画像データ作成部)は、マスタデータMDまたは更新マスタデータRMD(第一のマスタ画像データ)およびベースデータBD(第二のマスタ画像データ)に対する特徴点検出に基づいたフィッティング処理により、マスタデータMDまたは更新マスタデータRMDに対応付けてベースデータBDを変形した適合データFD(変形画像データ)を作成する。マスタデータ更新部16(補正部)は、マスタデータMDまたは更新マスタデータRMDを適合データFDに基づいて補正する。よって、本実施形態によれば、より精度良く位置合わせされた適合データFDによって、マスタデータMDまたは更新マスタデータRMDを補正することができる。よって、サンプルの画像との比較による画像検査に用いるマスタデータ(リファレンスデータ)として、例えば、位置合わせが不十分なデータによって補正されたマスタデータと比べて、より精度が高いあるいはより質の高い更新マスタデータRMDを、得ることができる。   As described above, in the present embodiment, the matching data creation unit 13 (deformed image data creation unit) performs master data MD or update master data RMD (first master image data) and base data BD (second data). The fitting data FD (deformed image data) obtained by deforming the base data BD in association with the master data MD or the updated master data RMD is generated by fitting processing based on feature point detection on the master image data). The master data update unit 16 (correction unit) corrects the master data MD or the update master data RMD based on the matching data FD. Therefore, according to the present embodiment, the master data MD or the updated master data RMD can be corrected by the matching data FD that is aligned with higher accuracy. Therefore, as master data (reference data) used for image inspection by comparison with sample images, for example, update with higher accuracy or higher quality than master data corrected by data with insufficient alignment Master data RMD can be obtained.

また、本実施形態では、採用判断部15(判断部)は、マスタデータMDまたは更新マスタデータRMDと、適合データFDとの比較に基づいて、画素毎に、マスタデータ更新部16による補正を行うか否かを判断する。よって、本実施形態によれば、例えば、補正に適さない場合には補正を実行せずに済むため、より精度が高いあるいはより質の高い更新マスタデータRMDを、得ることができる。   In the present embodiment, the adoption determination unit 15 (determination unit) performs correction by the master data update unit 16 for each pixel based on a comparison between the master data MD or the update master data RMD and the matching data FD. Determine whether or not. Therefore, according to the present embodiment, for example, it is not necessary to perform the correction when it is not suitable for the correction, so that the update master data RMD with higher accuracy or higher quality can be obtained.

また、本実施形態では、採用判断部15(判断部)は、領域Am,Af同士の類似度に基づいて、画素毎に、補正を行うか否かを判断する。よって、本実施形態によれば、例えば類似度が低くフィッティングが不十分である場合には、補正が行われないので、より精度が高いあるいはより質の高い更新マスタデータRMDを、得ることができる。   In the present embodiment, the adoption determination unit 15 (determination unit) determines whether to perform correction for each pixel based on the similarity between the regions Am and Af. Therefore, according to the present embodiment, for example, when the degree of similarity is low and the fitting is insufficient, correction is not performed, so that updated master data RMD with higher accuracy or higher quality can be obtained. .

また、本実施形態では、採用判断部15(判断部)は、マスタデータMDまたは更新マスタデータRMDの画素の値と、適合データFDの画素の値との組み合わせに応じて設定された判断基準に基づいて、画素毎に、補正を行うか否かを判断する。よって、本実施形態によれば、例えば、適合データFDの画素が異常領域に含まれている虞が高い場合には、補正が行われ難い状態を設定することも可能であり、マスタデータMDまたは更新マスタデータRMDの画素が異常領域に含まれている虞が高い場合には、補正が行われ易い状態を設定することも可能であるため、より精度が高いあるいはより質の高い更新マスタデータRMDを、得ることができる。   In the present embodiment, the adoption determination unit 15 (determination unit) uses a determination criterion set according to the combination of the pixel value of the master data MD or the update master data RMD and the pixel value of the matching data FD. Based on this, it is determined whether or not correction is to be performed for each pixel. Therefore, according to the present embodiment, for example, when there is a high possibility that the pixels of the matching data FD are included in the abnormal region, it is possible to set a state in which correction is difficult to be performed. When there is a high possibility that the pixels of the update master data RMD are included in the abnormal area, it is possible to set a state in which correction is easily performed. Therefore, the update master data RMD with higher accuracy or higher quality can be set. Can be obtained.

また、本実施形態では、マスタデータ更新部16は、一つのベースデータBDから作成された複数の適合データFDを用いて、画素毎に、マスタデータMDまたは更新マスタデータRMDを補正することができる。よって、本実施形態によれば、例えば、一つのベースデータBDに対応して、より精度が高いあるいはより質の高い更新マスタデータRMDを、得ることができる。   In the present embodiment, the master data updating unit 16 can correct the master data MD or the updated master data RMD for each pixel by using a plurality of matching data FD created from one base data BD. . Therefore, according to the present embodiment, for example, update master data RMD with higher accuracy or higher quality can be obtained corresponding to one base data BD.

以上、本発明の実施形態および変形例を例示したが、上記実施形態は一例であって、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。上記実施形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、上記複数の実施形態の構成や形状は、部分的に入れ替えて実施することも可能である。また、各構成や形状等のスペック(方向、形状、大きさ、長さ、幅、数、配置、位置等)は、適宜に変更して実施することができる。   As mentioned above, although embodiment and the modification of this invention were illustrated, the said embodiment is an example and is not intending limiting the range of invention. The above embodiment can be implemented in various other forms, and various omissions, replacements, combinations, and changes can be made without departing from the spirit of the invention. The above embodiments are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof. In addition, the configurations and shapes of the plurality of embodiments may be partially exchanged. In addition, the specifications (direction, shape, size, length, width, number, arrangement, position, etc.) of each configuration and shape can be changed as appropriate.

例えば、上記実施形態では、検査対象面は黒色を基調とし、検査対象面に白色となる異常領域が生じている場合についての演算処理が、例示されたが、本発明は、これには限定されず、種々の色や材質の検査対象面や異常に適用可能である。   For example, in the above-described embodiment, the calculation process for the case where the inspection target surface is based on black and an abnormal region that is white occurs on the inspection target surface is exemplified, but the present invention is limited to this. First, it can be applied to inspection surfaces and abnormalities of various colors and materials.

また、採用判断部15(判断部)は、マスタデータMDまたは更新マスタデータRMDと、適合データFDとの領域同士の類似度の比較によらず、マスタデータMDまたは更新マスタデータRMDの画素の値、および適合データFDとの画素の値のうち、少なくとも一方に基づいて、当該画素について、適合データFDの画素による補正を行うか否かを判断することができる。例えば、検査対象面は白色を基調とし、検査対象面に黒色となる異常領域が生じる可能性がある場合にあっては、採用判断部15(判断部)は、適合データFDの画素の値が所定の閾値以下である場合には、当該画素の値を補正に用いないと判断することができる。また、採用判断部15(判断部)は、マスタデータMDの画素の値が所定の閾値以下である場合には、適合データFDにおける当該画素の値を補正に用いると判断することができる。その他、補正の可否については、画素の値の単独あるいは組み合わせに基づく種々の判断基準を設定することが可能である。   Further, the adoption determining unit 15 (determining unit) determines the pixel value of the master data MD or the updated master data RMD regardless of the similarity between the areas of the master data MD or the updated master data RMD and the matching data FD. Based on at least one of the pixel values of the matching data FD and the matching data FD, it can be determined whether or not the pixel is corrected by the matching data FD. For example, when the inspection target surface is based on white and there is a possibility that an abnormal region that becomes black occurs on the inspection target surface, the adoption determination unit 15 (determination unit) determines that the pixel value of the conformance data FD is When the value is equal to or less than the predetermined threshold value, it can be determined that the value of the pixel is not used for correction. In addition, when the pixel value of the master data MD is equal to or less than a predetermined threshold, the adoption determining unit 15 (determining unit) can determine that the pixel value in the matching data FD is used for correction. In addition, regarding whether correction is possible, various determination criteria based on single or combination of pixel values can be set.

1…マスタ画像データ作成装置、13…適合データ作成部(変形画像データ作成部)、15…採用判断部(判断部)、16…マスタデータ更新部(補正部)、MD…マスタデータ(第一のマスタ画像データ)、RMD…更新マスタデータ(第一のマスタ画像データ)、BD…ベースデータ(第二のマスタ画像データ)、FD…適合データ(変形画像データ)。   DESCRIPTION OF SYMBOLS 1 ... Master image data creation apparatus, 13 ... Conformity data creation part (deformation image data creation part), 15 ... Adoption judgment part (judgment part), 16 ... Master data update part (correction part), MD ... Master data (1st Master image data), RMD ... update master data (first master image data), BD ... base data (second master image data), FD ... compatible data (deformed image data).

Claims (7)

第一のマスタ画像データおよび第二のマスタ画像データに対する特徴点検出に基づいたフィッティング処理により、前記第一のマスタ画像データに対応付けて前記第二のマスタ画像データを変形した変形画像データを作成する変形画像データ作成部と、
前記第一のマスタ画像データを前記変形画像データに基づいて補正する補正部と、
を備えた、マスタ画像データ作成装置。
By fitting processing based on feature point detection for the first master image data and the second master image data, deformed image data is generated by deforming the second master image data in association with the first master image data. A deformed image data creation unit,
A correction unit that corrects the first master image data based on the deformed image data;
A master image data creation device.
前記第一のマスタ画像データの画素の値または前記変形画像データの画素の値に基づいて、画素毎に、前記補正部によって補正を行うか否かを判断する判断部を備えた、請求項1に記載のマスタ画像データ作成装置。   2. A determination unit that determines, for each pixel, whether or not to perform correction by the correction unit based on a pixel value of the first master image data or a pixel value of the modified image data. The master image data creation device described in 1. 前記判断部は、各画素を代表画素とする領域同士の類似度に基づいて、前記補正部によって補正を行うか否かを判断する、請求項2に記載のマスタ画像データ作成装置。   The master image data creation device according to claim 2, wherein the determination unit determines whether or not correction is performed by the correction unit based on a similarity between regions in which each pixel is a representative pixel. 前記判断部は、前記第一のマスタ画像データの画素の値に応じて異なる判断基準に基づいて、前記補正部によって補正を行うか否かを判断する、請求項2または3に記載のマスタ画像データ作成装置。   4. The master image according to claim 2, wherein the determination unit determines whether to perform correction by the correction unit based on a determination criterion that differs depending on a pixel value of the first master image data. 5. Data creation device. 前記判断部は、前記変形画像データの画素の値に応じて異なる判断基準に基づいて、前記補正部によって補正を行うか否かを判断する、請求項2〜4のうちいずれか一つに記載のマスタ画像データ作成装置。   5. The determination unit according to claim 2, wherein the determination unit determines whether to perform correction by the correction unit based on a determination criterion that differs depending on a pixel value of the deformed image data. Master image data creation device. 前記判断部は、前記第一のマスタ画像データの画素の値と前記変形画像データの画素の値との組み合わせに応じて設定された判断基準に基づいて、前記補正部によって補正を行うか否かを判断する、請求項2または3に記載のマスタ画像データ作成装置。   Whether the determination unit performs correction by the correction unit based on a determination criterion set according to a combination of a pixel value of the first master image data and a pixel value of the modified image data The master image data creation device according to claim 2 or 3, wherein: 前記変形画像データ作成部は、一つの前記第二のマスタ画像データから異なる複数の変形画像データを作成し、
前記補正部は、前記複数の変形画像データに基づいて前記第一のマスタ画像データを補正する、請求項1〜6のうちいずれか一つに記載のマスタ画像データ作成装置。
The deformed image data creating unit creates a plurality of different deformed image data from one second master image data,
The master image data creation device according to claim 1, wherein the correction unit corrects the first master image data based on the plurality of deformed image data.
JP2016253323A 2016-12-27 2016-12-27 Master image data creation device Active JP6800743B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016253323A JP6800743B2 (en) 2016-12-27 2016-12-27 Master image data creation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016253323A JP6800743B2 (en) 2016-12-27 2016-12-27 Master image data creation device

Publications (2)

Publication Number Publication Date
JP2018105756A true JP2018105756A (en) 2018-07-05
JP6800743B2 JP6800743B2 (en) 2020-12-16

Family

ID=62787154

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016253323A Active JP6800743B2 (en) 2016-12-27 2016-12-27 Master image data creation device

Country Status (1)

Country Link
JP (1) JP6800743B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860099A (en) * 2019-04-24 2020-10-30 株式会社日立制作所 Article identification system and article identification method

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06246904A (en) * 1991-09-18 1994-09-06 Komori Corp Method and apparatus for automatically re-inputting reference data
JP2001077165A (en) * 1999-09-06 2001-03-23 Hitachi Ltd Defect inspection method, its device, defect analysis method and its device
JP2001307070A (en) * 2000-04-18 2001-11-02 Matsushita Electric Ind Co Ltd Good item pattern registering method
JP2006234554A (en) * 2005-02-24 2006-09-07 Dainippon Screen Mfg Co Ltd Method and device for inspecting pattern
JP2007078540A (en) * 2005-09-14 2007-03-29 Tdk Corp Visual inspection method and visual inspection device
JP2007102153A (en) * 2005-09-08 2007-04-19 Advanced Mask Inspection Technology Kk Image correcting apparatus, pattern inspection apparatus, image correcting method, and reticle
JP2009236637A (en) * 2008-03-26 2009-10-15 Panasonic Electric Works Co Ltd X-ray foreign matter inspection device, and x-ray foreign matter inspection method used therefor
JP2012137481A (en) * 2010-12-10 2012-07-19 Ricoh Co Ltd Image inspection device, printing system, and image inspection method and program
JP2015046703A (en) * 2013-08-27 2015-03-12 株式会社リコー Image inspection device, image inspection method and image inspection program
WO2016028308A1 (en) * 2014-08-22 2016-02-25 Analogic Corporation Updating reference imaging data with update 2d and/or 3d imaging data
JP2016133417A (en) * 2015-01-20 2016-07-25 富士通テン株式会社 Printed character inspection device, printed character inspection method, and printed character inspection program

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06246904A (en) * 1991-09-18 1994-09-06 Komori Corp Method and apparatus for automatically re-inputting reference data
JP2001077165A (en) * 1999-09-06 2001-03-23 Hitachi Ltd Defect inspection method, its device, defect analysis method and its device
JP2001307070A (en) * 2000-04-18 2001-11-02 Matsushita Electric Ind Co Ltd Good item pattern registering method
JP2006234554A (en) * 2005-02-24 2006-09-07 Dainippon Screen Mfg Co Ltd Method and device for inspecting pattern
JP2007102153A (en) * 2005-09-08 2007-04-19 Advanced Mask Inspection Technology Kk Image correcting apparatus, pattern inspection apparatus, image correcting method, and reticle
JP2007078540A (en) * 2005-09-14 2007-03-29 Tdk Corp Visual inspection method and visual inspection device
JP2009236637A (en) * 2008-03-26 2009-10-15 Panasonic Electric Works Co Ltd X-ray foreign matter inspection device, and x-ray foreign matter inspection method used therefor
JP2012137481A (en) * 2010-12-10 2012-07-19 Ricoh Co Ltd Image inspection device, printing system, and image inspection method and program
JP2015046703A (en) * 2013-08-27 2015-03-12 株式会社リコー Image inspection device, image inspection method and image inspection program
WO2016028308A1 (en) * 2014-08-22 2016-02-25 Analogic Corporation Updating reference imaging data with update 2d and/or 3d imaging data
JP2016133417A (en) * 2015-01-20 2016-07-25 富士通テン株式会社 Printed character inspection device, printed character inspection method, and printed character inspection program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860099A (en) * 2019-04-24 2020-10-30 株式会社日立制作所 Article identification system and article identification method

Also Published As

Publication number Publication date
JP6800743B2 (en) 2020-12-16

Similar Documents

Publication Publication Date Title
US10726539B2 (en) Image processing apparatus, image processing method and storage medium
US9652855B2 (en) Image processing apparatus that identifies image area, and image processing method
US20230086961A1 (en) Parallax image processing method, apparatus, computer device and storage medium
US8300985B2 (en) Image-registration method, medium, and apparatus
US20160267668A1 (en) Measurement apparatus
US11386329B2 (en) Method of processing image data in a connectionist network
US11170477B2 (en) Image composition apparatus, image composition method, and program
KR20150116833A (en) Image processor with edge-preserving noise suppression functionality
US20180068473A1 (en) Image fusion techniques
US20220114725A1 (en) Microscopy System and Method for Checking Input Data
CN111047615A (en) Image-based line detection method and device and electronic equipment
US9514528B2 (en) Image processing apparatus, distortion-corrected map creation apparatus, and semiconductor measurement apparatus
US20040247179A1 (en) Image processing apparatus, image processing method, and image processing program
CN108632604B (en) Method and device for detecting optical center of lens
JP2019061303A (en) Periphery monitoring apparatus and periphery monitoring method for vehicle
JP6800743B2 (en) Master image data creation device
US10515442B2 (en) Image processing apparatus that corrects for lateral chromatic aberration, image capturing apparatus, image processing method, and storage medium
US8855401B2 (en) Methods and systems involving measuring complex dimensions of silicon devices
JP2001266126A (en) Method and device for detecting defect and method of manufacturing for mask
KR101818104B1 (en) Camera and camera calibration method
JP5928465B2 (en) Degradation restoration system, degradation restoration method and program
US20230114432A1 (en) Dimension measurement apparatus, semiconductor manufacturing apparatus, and semiconductor device manufacturing system
JP2018160024A (en) Image processing device, image processing method and program
JPH0218681A (en) Line segment detecting method
JP2016057068A (en) Pattern fault checkup apparatus, and pattern fault checkup method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200923

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201125

R150 Certificate of patent or registration of utility model

Ref document number: 6800743

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150