JP2007199865A - Image processing algorithm evaluation apparatus, image processing algorithm creation apparatus, image inspection apparatus, method for evaluating image processing algorithm, method for creating image processing algorithm, and method for inspecting image - Google Patents
Image processing algorithm evaluation apparatus, image processing algorithm creation apparatus, image inspection apparatus, method for evaluating image processing algorithm, method for creating image processing algorithm, and method for inspecting image Download PDFInfo
- Publication number
- JP2007199865A JP2007199865A JP2006015574A JP2006015574A JP2007199865A JP 2007199865 A JP2007199865 A JP 2007199865A JP 2006015574 A JP2006015574 A JP 2006015574A JP 2006015574 A JP2006015574 A JP 2006015574A JP 2007199865 A JP2007199865 A JP 2007199865A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- defect
- processing algorithm
- defect candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像から領域を抽出する画像処理アルゴリズムの評価および生成に関する。より特定的には、本発明は、画像中の領域が分裂して抽出されたアルゴリズムを評価する方法および装置、ならびに、画像から所望の領域を抽出する画像処理アルゴリズムを生成する方法および装置に関する。 The present invention relates to evaluation and generation of an image processing algorithm for extracting a region from an image. More specifically, the present invention relates to a method and apparatus for evaluating an algorithm in which regions in an image are extracted by segmentation, and a method and apparatus for generating an image processing algorithm for extracting a desired region from an image.
CCD(Charge‐Coupled Device)等の画像撮像デバイスやパーソナルコンピュータ等の画像処理機器の低価格化により、画像処理の適用分野が広がりつつある。とりわけ、産業分野における欠陥検査への画像処理の適用は広範に渡り、製品やデバイスの歩留まり、品質の向上や目視検査員削減によるコストダウンのために、その必要性は、ますます高まっている。そこで、現在では、欠陥検査のために、画像処理技術を適用した欠陥検査装置が多数開発されている(たとえば、特開2002−257739号公報(特許文献1)参照)。 Due to the low cost of image processing devices such as CCD (Charge-Coupled Device) and image processing devices such as personal computers, the field of application of image processing is expanding. In particular, the application of image processing to defect inspection in the industrial field is widespread, and the necessity thereof is increasing due to product and device yield, cost improvement by improving quality and reducing visual inspectors. Therefore, at present, many defect inspection apparatuses to which image processing technology is applied have been developed for defect inspection (see, for example, JP-A-2002-257739 (Patent Document 1)).
このような画像処理型の欠陥検査装置を用いた検査方法によれば、検査対象を撮像して得られた原画像に画像フィルタ処理を施すことにより画像変換が行なわれ、変換後の画像を最終的にある閾値で2値化することにより欠陥候補領域が抽出され、抽出された欠陥候補領域の欠陥候補情報(面積、重心位置、フェレ径等)を用いて欠陥の有無が判別されている。 According to such an inspection method using an image processing type defect inspection apparatus, image conversion is performed by performing image filter processing on an original image obtained by imaging an inspection object, and the converted image is finalized. In particular, binarization is performed with a certain threshold value to extract a defect candidate region, and the presence or absence of a defect is determined using defect candidate information (area, barycentric position, ferret diameter, etc.) of the extracted defect candidate region.
しかしながら、2値化後の画像から抽出可能な欠陥候補情報は、面積やフェレ径など幾何学的な情報に限られるため、上記の検査方法では、欠陥のコントラストその他の濃淡情報を抽出することができない。そのため、適切な欠陥判定をできない場合がある。 However, since defect candidate information that can be extracted from the binarized image is limited to geometric information such as area and ferret diameter, the above-described inspection method can extract defect contrast and other grayscale information. Can not. For this reason, there is a case where proper defect determination cannot be performed.
そこで、このような問題点を解決するために、たとえば、特開平6−331337号公報(特許文献2)は、欠陥判定に欠陥の濃淡情報を利用する光ディスクの欠陥検査方法を開示している。この方法は、処理対象領域をマスキングするステップと、原画像に対してラプラシアン演算子を作用させるステップと、ラプラシアン演算子の作用後の信号を2値化するステップと、注目する画素が物体である場合に周囲の画素を全て物体に置き換える膨張処理を行なうステップと、注目する画素が背景である場合に周囲の画素を全て背景に置き換える縮退処理を行なうステップと、孤立点を除去するステップと、画素に番号を付するラベリングを行なうステップと、ラベル付けされた領域のフィレ径を計算するステップと、欠陥が存在すると推定される領域を特定するステップと、領域を切り出すステップと、領域内の分散を算出するステップと、所定のしきい値により欠陥ランクを分離するステップとを含む(特許文献2の図2、図3参照)。 In order to solve such a problem, for example, Japanese Patent Laid-Open No. 6-331337 (Patent Document 2) discloses a defect inspection method for an optical disk that uses density information of defects for defect determination. In this method, a process target area is masked, a Laplacian operator is applied to the original image, a signal after the Laplacian operator is binarized, and a pixel of interest is an object. A step of performing expansion processing to replace all surrounding pixels with an object, a step of performing degeneration processing to replace all surrounding pixels with the background when the pixel of interest is the background, a step of removing isolated points, and a pixel Labeling, numbering the fillet diameter of the labeled area, identifying the area where the defect is presumed, cutting out the area, and dispersion within the area. And a step of separating defect ranks by a predetermined threshold (see FIGS. 2 and 3 of Patent Document 2). ).
上記の欠陥検査方法によれば、信号の検出したい周波数成分が抽出され、2値化処理あるいは幾何学処理によって欠陥位置とそのクラスタリングによって、欠陥位置が正確に決定され、その位置情報から多値画像である原画像に立ち返り特徴量が算出される。その結果、欠陥ランクが分離して識別される(特許文献2の第0058段落)。
しかしながら、特許文献2に開示された技術によると、原画像中に1つであった真欠陥について、特徴量空間では2点配置する必要がある。2つの欠陥候補領域のうちの少なくとも一方は真欠陥に対応する欠陥候補領域とできるが、他方の欠陥候補領域の扱いが問題となる。
However, according to the technique disclosed in
また、当該他方の欠陥候補領域も当該真欠陥に対応する場合において、欠陥候補領域の面積が擬似欠陥に対応する欠陥候補領域の面積よりも小さく、コントラストも同様な関係になる場合がある。この場合、特徴量空間の原点に近い方が真欠陥ではなく擬似欠陥である可能性が高いことを考慮すると、単純な閾値曲線では真欠陥と擬似欠陥とを適切に分離することが困難となり、複雑な曲線でないと適切に分離できないという問題がある。 When the other defect candidate region also corresponds to the true defect, the area of the defect candidate region may be smaller than the area of the defect candidate region corresponding to the pseudo defect, and the contrast may have the same relationship. In this case, considering that there is a high probability that the feature space closer to the origin is not a true defect but a pseudo defect, it is difficult to properly separate the true defect and the pseudo defect with a simple threshold curve, There is a problem that it cannot be separated properly unless it is a complicated curve.
このような場合に、複雑な曲線が分離に使用されると、ノイズなどによる欠陥の特徴量のバラツキ対するロバスト性、汎用性が低くなるという問題が生じる。 In such a case, when a complicated curve is used for separation, there arises a problem that the robustness and versatility with respect to the variation in the feature amount of the defect due to noise or the like is lowered.
また、当該他方の欠陥候補領域を真欠陥ではない擬似欠陥として扱った場合には、画像変換処理などの結果、ノイズ除去後の画像が生成された時に問題となる。すなわち、欠陥の特徴量のバラツキ対するロバスト性、汎用性が低くなるという問題が生じる。たとえば、ある欠陥候補領域を真欠陥に対応するように扱っても、真欠陥には対応しないと扱っても、適切に真欠陥と擬似欠陥を分離することが困難となる場合がある。 Further, when the other defect candidate area is handled as a pseudo defect that is not a true defect, there is a problem when an image after noise removal is generated as a result of image conversion processing or the like. That is, there arises a problem that the robustness and versatility with respect to the variation in the feature amount of the defect is lowered. For example, even if a certain defect candidate area is handled so as to correspond to a true defect or not handled as a true defect, it may be difficult to appropriately separate a true defect and a pseudo defect.
ノイズ除去後画像を出力する画像処理アルゴリズムは、真欠陥の存在を検出することが可能であるにも係わらず、原画像中の1つの真欠陥がノイズ除去後画像中で複数に分裂した際に、その分裂の状態により、閾値曲線による分離の成否が左右され、安定した評価がなされないものもある。この場合、当該画像処理アルゴリズムを用いた検査結果は、信頼性が低く、歩留まりの低下などに繋がるという問題が生じる。 The image processing algorithm that outputs the image after denoising is able to detect the presence of a true defect, but when one true defect in the original image is divided into multiple in the image after denoising Depending on the state of the division, the success or failure of the separation by the threshold curve is affected, and there are some cases in which stable evaluation is not performed. In this case, the inspection result using the image processing algorithm has a problem that the reliability is low and the yield is reduced.
また、原画像中の1つの真欠陥がノイズ除去後画像中で複数に分裂した場合における他の従来技術として、分裂した領域を連結するような画像処理を追加で施す方法がある。しかし、分裂した領域を連結するような画像処理を施すことによって、連結された1つの領域である欠陥候補領域の面積が、前記原画像中の1つの真欠陥の面積よりも大きくなる場合がある。 As another conventional technique in the case where one true defect in an original image is divided into a plurality of images after noise removal, there is a method of additionally performing image processing for connecting the divided regions. However, by performing image processing that connects the divided regions, the area of the defect candidate region that is one connected region may be larger than the area of one true defect in the original image. .
このような場合、欠陥候補領域の特徴量を特徴量空間にプロットすると、理想的に原画像中の1つの真欠陥と同じ面積で欠陥候補領域を抽出した場合の特徴点よりも原点から遠い位置にプロットされることとなる。原点に近い方が真欠陥ではなく擬似欠陥である可能性が高いことを考慮すると、実際よりも真欠陥と擬似欠陥との分離度が高いという誤った評価がなされることになる。また、分裂した状況を考慮して、適切な連結のための画像処理を判断して実施する必要があるため、結果として処理時間が増大するという問題もある。 In such a case, when the feature amount of the defect candidate region is plotted in the feature amount space, the position is farther from the origin than the feature point when the defect candidate region is ideally extracted with the same area as one true defect in the original image. Will be plotted. Considering that there is a high possibility that the one closer to the origin is not a true defect but a pseudo defect, an erroneous evaluation is made that the degree of separation between the true defect and the pseudo defect is higher than the actual defect. In addition, it is necessary to determine and execute image processing for proper connection in consideration of the split situation, resulting in a problem that processing time increases.
本発明は、上述の問題点を解決するためになされたものであって、その目的は、真欠陥と擬似欠陥とを分離することができる画像処理アルゴリズムを評価するための画像処理アルゴリズム評価装置を提供することである。 The present invention has been made to solve the above-described problems, and an object thereof is to provide an image processing algorithm evaluation apparatus for evaluating an image processing algorithm capable of separating a true defect and a pseudo defect. Is to provide.
本発明の他の目的は、真欠陥と擬似欠陥との分離度に関し誤った評価を行うことなく、画像処理のための時間の増大を防止できる画像処理アルゴリズムを評価するための画像処理アルゴリズム評価装置を提供することである。 Another object of the present invention is to provide an image processing algorithm evaluation device for evaluating an image processing algorithm that can prevent an increase in time for image processing without erroneously evaluating the degree of separation between a true defect and a pseudo defect. Is to provide.
本発明の他の目的は、真欠陥と擬似欠陥とを分離することができる画像処理アルゴリズ
ムの導出を支援することができる画像処理アルゴリズムの生成装置を提供することである。
Another object of the present invention is to provide an image processing algorithm generation apparatus capable of supporting the derivation of an image processing algorithm capable of separating a true defect and a pseudo defect.
本発明の他の目的は、真欠陥と擬似欠陥とを分離することができる画像処理アルゴリズムに基づいて被写体を検査することができる画像検査装置を提供することである。 Another object of the present invention is to provide an image inspection apparatus capable of inspecting a subject based on an image processing algorithm capable of separating a true defect and a pseudo defect.
本発明の他の目的は、真欠陥と擬似欠陥とを分離することができる画像処理アルゴリズムを評価するための画像処理アルゴリズム評価方法を提供することである。 Another object of the present invention is to provide an image processing algorithm evaluation method for evaluating an image processing algorithm capable of separating a true defect and a pseudo defect.
本発明の他の目的は、真欠陥と擬似欠陥との分離度に関し誤った評価を行うことなく、画像処理のための時間の増大を防止できる画像処理アルゴリズムを評価するための画像処理アルゴリズム評価方法を提供することである。 Another object of the present invention is to provide an image processing algorithm evaluation method for evaluating an image processing algorithm capable of preventing an increase in time for image processing without erroneously evaluating the degree of separation between a true defect and a pseudo defect. Is to provide.
本発明の他の目的は、真欠陥と擬似欠陥とを分離することができる画像処理アルゴリズムの導出を支援することができる画像処理アルゴリズムの生成方法を提供することである。 Another object of the present invention is to provide an image processing algorithm generation method capable of supporting the derivation of an image processing algorithm capable of separating a true defect and a pseudo defect.
本発明の他の目的は、真欠陥と擬似欠陥とを分離することができる画像処理アルゴリズムに基づいて被写体を検査することができる画像検査方法を提供することである。 Another object of the present invention is to provide an image inspection method capable of inspecting a subject based on an image processing algorithm capable of separating a true defect and a pseudo defect.
上記の課題を解決するために、この発明のある局面に従う画像処理アルゴリズム評価装置は、被写体を撮像した原画像の入力と、原画像中の欠陥領域を示す目標画像の入力とを受け付ける入力手段と、原画像に適用される画像処理アルゴリズムを決定するアルゴリズム決定手段と、画像に画像処理アルゴリズムに基づく画像処理を施すことにより画像処理後の画像を作成する作成手段と、画像処理後の画像に基づいて欠陥候補領域を決定する領域決定手段と、欠陥候補領域の欠陥候補特徴量を算出する第1の算出手段と、欠陥候補特徴量に基づいて画像処理アルゴリズムを評価する評価手段と、原画像中に存在する1つの欠陥領域が複数の欠陥候補領域として検出された場合に、複数の欠陥候補領域に基づいて、原画像中に存在する1つの欠陥領域に対する1つの欠陥特徴量を算出する第2の算出手段とを備える。 In order to solve the above problems, an image processing algorithm evaluation device according to an aspect of the present invention includes an input unit that receives an input of an original image obtained by imaging a subject and an input of a target image indicating a defective area in the original image; An algorithm determining means for determining an image processing algorithm to be applied to the original image; a creating means for creating an image after image processing by applying image processing to the image based on the image processing algorithm; and based on the image after image processing. An area determining means for determining a defect candidate area; a first calculating means for calculating a defect candidate feature quantity of the defect candidate area; an evaluation means for evaluating an image processing algorithm based on the defect candidate feature quantity; When one defect area existing in the image is detected as a plurality of defect candidate areas, one defect area existing in the original image is based on the plurality of defect candidate areas. And a second calculating means for calculating a single defect feature for region.
好ましくは、作成手段は、画像処理後の画像として2値化画像を作成する。
好ましくは、第2の算出手段は、複数の欠陥候補領域の中から、目標画像中で示されている原画像中の欠陥領域との一致度が最も高い1つの欠陥候補領域を決定して、原画像中に存在する1つの欠陥領域に対する1つの欠陥特徴量を算出する。
Preferably, the creation unit creates a binarized image as the image after image processing.
Preferably, the second calculation means determines one defect candidate area having the highest degree of coincidence with the defect area in the original image shown in the target image from the plurality of defect candidate areas, One defect feature amount for one defect region existing in the original image is calculated.
好ましくは、評価手段は、欠陥候補特徴量を特徴量空間に対応付けるマッピング手段と、特徴量空間中において抽出の対象となる欠陥領域を表す点と、欠陥領域を表わす点以外の点との分離度を算出する分離度算出手段と、分離度に基づいて画像処理アルゴリズムの評価値を算出する評価値算出手段とを含む。マッピング手段は、原画像中に存在する1つの欠陥領域が複数の欠陥候補領域として検出された時に、目標画像中で示されている原画像中の欠陥領域との一致度が最も高い欠陥候補領域から算出される欠陥候補特徴量のみを特徴量空間に対応付ける。分離度算出手段は、複数の欠陥候補領域に含まれる他の欠陥候補特徴量は特徴量空間に対応付けることなく分離度を算出する。 Preferably, the evaluation unit separates a mapping unit that associates the defect candidate feature quantity with the feature quantity space, a point representing the defect area to be extracted in the feature quantity space, and a point other than the point representing the defect area. And a degree-of-separation calculating means for calculating the evaluation value of the image processing algorithm based on the degree of separation. The mapping means has a defect candidate area having the highest degree of coincidence with the defect area in the original image indicated in the target image when one defect area existing in the original image is detected as a plurality of defect candidate areas. Only the defect candidate feature amount calculated from the above is associated with the feature amount space. The degree-of-separation calculating means calculates the degree of separation without associating other defect candidate feature amounts included in the plurality of defect candidate regions with the feature amount space.
好ましくは、評価手段は、欠陥候補特徴量を特徴量空間に対応付けるマッピング手段と、抽出の対象となる欠陥領域を表す特徴量空間中の点とそれ以外の点との分離度を算出する分離度算出手段と、分離度を用いて画像処理アルゴリズムの評価値を算出する手段とを含む。分離度算出手段は、原画像中に存在する1つの欠陥領域が複数の欠陥候補領域とし
て検出された場合に、目標画像中で示されている原画像中の欠陥領域との一致度が最も高い欠陥候補領域から算出される欠陥候補特徴量を補正する補正手段と、補正手段による補正により導出された補正欠陥候補特徴量のみを特徴量空間に対応付ける手段と、複数の欠陥候補領域に含まれる他の欠陥候補特徴量を特徴量空間に対応付けることなく分離度を算出する手段とを含む。
Preferably, the evaluation unit calculates the degree of separation between the mapping unit that associates the defect candidate feature quantity with the feature quantity space, and a point in the feature quantity space that represents the defect area to be extracted and other points. Calculating means and means for calculating an evaluation value of the image processing algorithm using the degree of separation. The degree-of-separation calculating means has the highest degree of coincidence with the defect area in the original image indicated in the target image when one defect area existing in the original image is detected as a plurality of defect candidate areas. Correction means for correcting the defect candidate feature amount calculated from the defect candidate region, means for associating only the corrected defect candidate feature amount derived by the correction by the correction unit with the feature amount space, and other included in the plurality of defect candidate regions Means for calculating the degree of separation without associating the defect candidate feature quantity with the feature quantity space.
好ましくは、特徴量算出手段は、原画像からコントラストを算出する。
好ましくは、作成手段は、画像処理後の画像として2値化画像を作成する手段と、画像処理アルゴリズムに基づく画像処理を施す過程において入力画像が2値化画像になる前の2値化前画像を保存する手段とを含む。第1の算出手段は、2値化前画像からコントラストを算出する。
Preferably, the feature amount calculating means calculates contrast from the original image.
Preferably, the creating means creates a binarized image as an image after image processing, and the pre-binarized image before the input image becomes a binarized image in the process of performing image processing based on the image processing algorithm Means for storing. The first calculation means calculates the contrast from the pre-binarized image.
好ましくは、第1の算出手段は、原画像または2値化前画像から欠陥候補特徴量を算出する過程で、それぞれの欠陥候補領域について欠陥候補領域よりも大きい面積を有する欠陥候補存在領域を設定する手段と、原画像または2値化前画像中の欠陥候補存在領域内で2値化処理を実施する手段と、2値化処理後の欠陥候補存在領域から欠陥候補特徴量を算出する手段とを含む。 Preferably, the first calculation unit sets a defect candidate existence region having an area larger than the defect candidate region for each defect candidate region in the process of calculating the defect candidate feature amount from the original image or the pre-binarized image. Means for performing binarization processing within the defect candidate existing area in the original image or the image before binarization, and means for calculating defect candidate feature amounts from the defect candidate existing area after binarization processing including.
この発明の他の局面に従う画像処理アルゴリズムの生成装置は、上記のいずれかに記載の画像処理アルゴリズム評価装置と、評価結果に基づいて画像処理アルゴリズムを生成する生成手段とを備える。 An image processing algorithm generation device according to another aspect of the present invention includes the image processing algorithm evaluation device according to any one of the above, and generation means for generating an image processing algorithm based on the evaluation result.
この発明の他の局面に従う画像検査装置は、上記の画像処理アルゴリズム生成装置と、生成された画像処理アルゴリズムを用いて被写体を検査する検査手段とを備える。 An image inspection apparatus according to another aspect of the present invention includes the above-described image processing algorithm generation apparatus and an inspection unit that inspects a subject using the generated image processing algorithm.
この発明の他の局面に従う画像処理アルゴリズム評価方法は、被写体を撮像した原画像の入力と、原画像中の欠陥領域を示す目標画像の入力とを受け付けるステップと、原画像に適用される画像処理アルゴリズムを決定するステップと、原画像に画像処理アルゴリズムに基づく画像処理を施すことによって画像処理後の画像を作成するステップと、画像処理後の画像に基づいて欠陥候補領域を決定するステップと、欠陥候補領域の欠陥候補特徴量を算出するステップと、欠陥候補特徴量に基づいて画像処理アルゴリズムを評価するステップと、原画像中に存在する1つの欠陥領域が複数の欠陥候補領域として検出された場合に、複数の欠陥候補領域に基づいて原画像中に存在する1つの欠陥領域に対する1つの欠陥特徴量を算出するステップとを備える。 An image processing algorithm evaluation method according to another aspect of the present invention includes a step of receiving an input of an original image obtained by imaging a subject and an input of a target image indicating a defective area in the original image, and image processing applied to the original image Determining an algorithm; creating an image after image processing by applying image processing to the original image based on an image processing algorithm; determining a defect candidate region based on the image after image processing; A step of calculating a defect candidate feature quantity of the candidate area, a step of evaluating an image processing algorithm based on the defect candidate feature quantity, and one defect area existing in the original image is detected as a plurality of defect candidate areas And calculating one defect feature amount for one defect area existing in the original image based on a plurality of defect candidate areas. Equipped with a.
この発明の他の局面に従う画像処理アルゴリズムの生成方法は、上記に記載の画像処理アルゴリズム評価方法と、評価結果に基づいて画像処理アルゴリズムを生成する生成ステップとを備える。 An image processing algorithm generation method according to another aspect of the present invention includes the above-described image processing algorithm evaluation method and a generation step of generating an image processing algorithm based on the evaluation result.
この発明のさらに他の局面に従う画像検査方法は、上記の画像処理アルゴリズム生成方法と、生成された画像処理アルゴリズムを用いて被写体を検査する検査ステップとを備える。 An image inspection method according to still another aspect of the present invention includes the above-described image processing algorithm generation method and an inspection step of inspecting a subject using the generated image processing algorithm.
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description, the same parts are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.
まず、図1を参照して、本発明に係る画像処理装置が対象とする原画像について説明する。図1は、原画像100の構成を表わす図である。原画像100は、真欠陥110と、
擬似欠陥120とを含む。擬似欠陥120は、たとえばコントラストは大きいが、その大きさが小さいために欠陥として抽出する必要のないものである。
First, an original image targeted by the image processing apparatus according to the present invention will be described with reference to FIG. FIG. 1 is a diagram showing the configuration of the
図2を参照して、真欠陥110の濃度分布について説明する。図2は、真欠陥110を含む領域を断面AA−AA’で切断した部位における濃度の分布を表わす図である。濃度分布は、たとえば断面AA−AA’方向と256階調(0〜255)で表わされる輝度値とによって示される。
The concentration distribution of the
図2に示される例では、真欠陥110以外の領域、すなわち正常な領域は輝度値が最大値(255)である。真欠陥110の内部においては、たとえば当該欠陥の周辺領域から中央部に従って輝度が減少し、領域の中央部においては、輝度値は極小値となる。
In the example shown in FIG. 2, the luminance value of the region other than the
図3を参照して、原画像100の画像処理後の画像300について説明する。図3は、原画像100に対して画像変換、2値化処理、ノイズ除去を行なうことにより生成された画像300を表わす図である。画像300は、欠陥候補が存在する可能性を有する領域である欠陥候補存在領域310,320,330を含む。領域310は、欠陥候補領域312を含む。領域320は、欠陥候補領域322を含む。領域330は、欠陥候補領域332を含む。画像処理装置は、各欠陥候補領域に対して、当該領域の面積およびコントラストを算出する。面積とコントラストとを軸とする特徴量空間が生成される。
With reference to FIG. 3, the
そこで、図4を参照して、画像300の特徴量について説明する。図4は、面積とコントラストとに従って画像300において検出された領域の特徴量をプロットした図である。以下、黒丸は、真欠陥に対応し、白丸は、擬似欠陥に対応するものとする。
Therefore, the feature amount of the
この特徴量空間には、検出された3つの領域に対応する点がプロットされている。投影点410は、図3における欠陥候補領域312に対応する。投影点420は、同様に欠陥候補領域322に対応する。投影点430は、欠陥候補領域332に対応する.このような特徴量空間においてたとえば閾値曲線440が描かれ、プロットされた投影点は当該閾値に従って判断される。
In this feature amount space, points corresponding to the detected three regions are plotted. The
この場合、投影点410と投影点420とは、真欠陥に対応するものである。しかし、閾値曲線440によって、各々異なる領域に属するものとして判断されている。また、投影点430は擬似欠陥に対応するものである。しかし、投影点420と投影点430とは、同じ判断結果が導出される領域に属するものとして分類されている。すなわち、閾値曲線440の形状が複雑な形状でなければ、真欠陥と擬似欠陥とを適切に分離することが困難となる。一方、複雑な曲線の場合、ノイズなどによる欠陥の特徴量のばらつきに対するロバスト性、汎用性が低下するという可能性もある。
In this case, the
次に、図5を参照して、ノイズが除去された場合の画像について説明する。図5は、図1に示される原画像100に対してノイズを除去することにより生成された画像500を表わす図である。画像500は、欠陥候補存在領域510,520,530を含む。領域510は、欠陥候補領域512を含む。領域520は、欠陥候補領域522を含む。領域530は、欠陥候補領域532を含む。この場合、欠陥候補領域512は、真欠陥110に対応する。欠陥候補領域522は、擬似欠陥とみなされる。
Next, an image when noise is removed will be described with reference to FIG. FIG. 5 shows an
次に、図6を参照して、原画像100のコントラストを算出した場合について説明する。図6は、原画像100を用いて各欠陥候補領域のコントラストを算出する際の欠陥候補存在領域が表わされた画像600である。画像600は、欠陥候補存在領域610,620,630を含む。領域610は図5の領域510に対応し、領域620は図5の領域520に対応し、領域630は図5の領域530に対応する。領域610は、欠陥候補領域
612を含む。領域620は、欠陥候補領域622を含む。領域630は、擬似欠陥632を含む。
Next, a case where the contrast of the
次に、図7を参照して、ノイズ除去後の画像についての面積とコントラストとを用いた特徴量について説明する。図7は、画像600を用いて算出したコントラストと当該画像に含まれる欠陥の面積とを使用する特徴量空間を表わす図である。この特徴量空間には、投影点710,720,730がプロットされている。また閾値曲線740は、投影点710,720と、投影点730との間に設定されている。投影点710は、図5に示される欠陥候補領域512に対応する。投影点720は、同様に欠陥候補領域522に対応する。投影点730は、欠陥候補領域532に対応する。
Next, with reference to FIG. 7, the feature amount using the area and contrast of the image after noise removal will be described. FIG. 7 is a diagram illustrating a feature amount space using the contrast calculated using the
次に、図8を参照して、複数の欠陥候補領域を連結した場合について説明する。図8は、2つの欠陥候補領域を連結して生成される欠陥候補領域810を含む画像800を表わす図である。
Next, a case where a plurality of defect candidate regions are connected will be described with reference to FIG. FIG. 8 is a diagram illustrating an
複数の欠陥候補領域を連結することにより1つの欠陥候補領域を生成すると、図8に示されるように、2つの欠陥候補領域の各々の面積の和よりも大きな面積を有する欠陥候補領域810が生成される場合がある。このような場合、欠陥候補領域810の特徴量を前述のような特徴量空間にプロットすると、原画像に含まれる1つの真欠陥と同じ面積を有する欠陥候補領域を抽出した場合の特徴量に対応する投影点よりも当該特徴量空間の原点から遠い位置にプロットされる。この場合、原点に近いほうが真欠陥でなく擬似欠陥である可能性が高いことも考慮すると、実際よりも真欠陥と擬似欠陥との分離度が高いという誤った評価がなされる場合もある。このような場合を防ぐため、欠陥が分離された状況を考慮して、適切な連結のための画像処理アルゴリズムを判断して、画像処理を実施する必要がある。その結果、画像処理の時間が増大する可能性もある。
When one defect candidate region is generated by connecting a plurality of defect candidate regions, a
次に、図9を参照して、本発明の実施の形態において説明する際に使用される用語を説明する。図9は、画像処理アルゴリズムを実現するためのフィルタの構成を表わすテーブル900である。テーブル900は、フィルタを識別するためのID(Identification)910と、ID910に対応するフィルタの名称920と、フィルタの名称920に対応付けられるフィルタの内容930とを含む。本実施の形態においては、図9に示されるようにたとえば6つのフィルタが使用される。しかしながら、本発明に係る技術的思想は当該フィルタの数に限られない。また、フィルタの内容930に示される各々の処理は当業者にとって容易に理解できるものである。したがって、ここでは詳細な説明は述べない。
Next, with reference to FIG. 9, terms used in the description of the embodiment of the present invention will be described. FIG. 9 is a table 900 representing the configuration of a filter for realizing the image processing algorithm. The table 900 includes an ID (Identification) 910 for identifying a filter, a
まず、画像処理アルゴリズムとは、図9に示される6つの画像処理フィルタの複数の組合せで構成されるフィルタ列に対して2値化処理を加えたものをいう。画像処理アルゴリズムは、さらに必要に応じて当該2値化処理の後にノイズを除去するための処理を含んでいてもよい。この場合、ノイズを除去するための処理は、たとえば膨張収縮処理、あるいは孤立点除去などを含む。以下の説明では、ノイズを除去する処理は、膨張収縮処理の後に孤立点除去を行なうものとして説明する。また画像処理アルゴリズムは、2値化処理の後にノイズを除去する処理を行なうものとする。 First, the image processing algorithm is obtained by adding a binarization process to a filter row composed of a plurality of combinations of the six image processing filters shown in FIG. The image processing algorithm may further include a process for removing noise after the binarization process as necessary. In this case, the processing for removing noise includes, for example, expansion / contraction processing or isolated point removal. In the following description, the process for removing noise will be described on the assumption that isolated point removal is performed after the expansion / contraction process. In addition, the image processing algorithm performs processing for removing noise after binarization processing.
次に、真欠陥とは、検査員が検査対象(たとえばガラス基板等)は不良品であると判定する要因となる真性の欠陥をいう。また、擬似欠陥とは、当該検査対象を検査する工程で検出される欠陥ではあるが、その検査対象を不良品と判定するには至らず実際には検査対象は良品であると判定可能な欠陥をいう。 Next, the true defect means an intrinsic defect that causes an inspector to determine that an inspection target (for example, a glass substrate) is a defective product. In addition, the pseudo defect is a defect detected in the process of inspecting the inspection object, but the inspection object cannot be determined to be a defective product, and the inspection object can actually be determined to be a non-defective product. Say.
原画像とは、検査対象をCCD(Charged Coupled Device)その他を有するカメラを用いて撮影することにより生成された画像をいう。欠陥候補領域とは、上記の原画像に対
して何らかの画像処理を行ない、さらに2値化処理とノイズを除去する処理とを行なった後に画像変換処理をさらに行ない変換後の画像に対してラベリング処理を行なうことにより、1つの領域として特定されるものをいう。欠陥候補存在領域とは、上記の欠陥候補領域とその周辺の領域とを含む領域をいう。欠陥候補存在領域は、たとえば矩形の領域として表わされる。あるいは円形、楕円その他の曲線によって特定される領域であってもよい。矩形領域が、欠陥候補存在領域として使用される場合、当該矩形領域の中心は、欠陥候補領域の画像の重心に相当する。矩形領域の2辺(すなわち縦方向、横方向)は、当該欠陥候補領域のフェレ径の2倍の大きさとする。なお、画像の周辺部に欠陥候補存在領域が存在する場合には、当該画像のエッジが優先される。この場合、上述の欠陥候補存在領域に相当する矩形領域は、フェレ径の2倍の大きさよりも小さくなる。
An original image means an image generated by photographing an inspection object using a camera having a CCD (Charged Coupled Device) or the like. The defect candidate area is a labeling process performed on the converted image by performing some image processing on the original image, further performing binarization processing and noise removal processing, and further performing image conversion processing. By doing, it is specified as one area. The defect candidate existence area refers to an area including the defect candidate area and its surrounding area. The defect candidate existence area is represented as a rectangular area, for example. Alternatively, it may be a region specified by a circle, an ellipse or other curve. When a rectangular area is used as a defect candidate existing area, the center of the rectangular area corresponds to the center of gravity of the image of the defect candidate area. Two sides of the rectangular area (that is, the vertical direction and the horizontal direction) are twice as large as the ferret diameter of the defect candidate area. In addition, when a defect candidate existence area exists in the peripheral part of the image, the edge of the image is given priority. In this case, the rectangular area corresponding to the defect candidate existing area is smaller than twice the ferret diameter.
目標画像とは、原画像に含まれる真欠陥に関する情報を画像で与えたものをいう。本実施の形態においては、256階調が使用される場合、目標画像は各画素の濃度値が0か255、すなわち黒(0)か白(255)かの2値画像とする。この場合、原画像に含まれる真欠陥の画素のみが白くなり、その他の画素は黒い画像となる。教示真欠陥とは、目標画像で与えられる真欠陥をいう。抽出真欠陥とは、欠陥候補領域の中から原画像に含まれる真欠陥に対応するものと判定された欠陥をいう。抽出真欠陥とは、原画像中の1つの真欠陥を画像変換処理して生成された画像において複数の欠陥候補領域に分裂した場合にその中の1つの欠陥候補領域をいう。抽出分裂真欠陥は、その他の残りの欠陥候補領域をいう。抽出擬似欠陥とは、欠陥候補領域のうち、抽出真欠陥および抽出分裂真欠陥のいずれでもないものをいう。 A target image is an image obtained by giving information on true defects included in an original image. In the present embodiment, when 256 gradations are used, the target image is a binary image in which the density value of each pixel is 0 or 255, that is, black (0) or white (255). In this case, only true defective pixels included in the original image are white, and the other pixels are black images. The taught true defect is a true defect given by the target image. The extracted true defect means a defect determined to correspond to a true defect included in the original image from the defect candidate areas. The extracted true defect means one defect candidate area in the case where one true defect in the original image is divided into a plurality of defect candidate areas in an image generated by image conversion processing. The extracted fission true defect means other remaining defect candidate areas. The extracted pseudo defect means a defect candidate area that is neither an extracted true defect nor an extracted split true defect.
ここで、図10を参照して、欠陥の濃淡情報を用いた検査方法について説明する。図10は、検査対象を撮影することにより生成された原画像1000を表わす図である。原画像1000は、欠陥候補存在領域1010,1020を含む。欠陥候補存在領域1010は、真欠陥1012を含む。欠陥候補存在領域1020は、真欠陥1022を含む。欠陥候補存在領域1010は、たとえば矩形領域であり、X方向の長さは、DCRA_Xである。またY方向の長さは、DCRA_Yである。欠陥候補存在領域1020も同様に矩形領域である。欠陥候補存在領域1020の大きさは、たとえばX方向がDCRB_Xであり、Y方向がDCRB_Yである。
Here, with reference to FIG. 10, an inspection method using the density information of defects will be described. FIG. 10 is a diagram illustrating an
このような原画像1000に対し、画像フィルタ処理を施すことにより画像変換が行なわれる。画像変換によって生成された画像に対して予め設定された閾値を用いて2値化処理が行なわれる。2値化処理によって生成された画像に対して、ノイズ除去処理が実行される。この処理は、たとえば膨張、収縮による小さい穴埋め、あるいは孤立点除去などの処理を含む。このような処理が完了すると、ノイズが除去され、2値化された画像が生成される。
Such
そこで、図11を参照して、原画像1000についてノイズが除去された画像1100について説明する。図11は、画像1100の概略を表わす図である。画像1100は、欠陥候補存在領域1010,1020を含む。欠陥候補存在領域1010は、欠陥候補領域1012を含む。欠陥候補存在領域1020は、欠陥候補領域1022を含む。欠陥候補存在領域1010、1020は、それぞれ矩形の領域である。当該矩形は、前述の図10に示される大きさに相当する。ノイズを除去することにより生成された画像1100について、特徴量空間としてたとえばX方向の大きさと輝度値とを有する空間が定義される。この場合、輝度値は256階調であり、白色の輝度値は255となる。欠陥候補領域1012を当該特徴量空間にプロットすると、たとえばその領域のフェレ径DCRA_FXの大きさがその空間に示される。欠陥候補領域1022についても同様である。
An
図12は、特徴量空間を表わす図である。図12に示されるように、面積とコントラス
トとにより定義される特徴量空間には、欠陥候補領域1112に対応する投影点1210と、欠陥候補領域1122に対応する投影点1220とがプロットされている。当該特徴量空間に対して予め設定された閾値曲線は、たとえば投影点1220よりも原点を通過するように設定される。このようにすると、濃淡情報も利用した欠陥判定が可能になる。
FIG. 12 is a diagram showing a feature amount space. As shown in FIG. 12, a
次に、図13を参照して、本実施の形態に係る画像処理装置の対象となる目標画像1300について説明する。図13は、目標画像1300を2値画像として表わした図である。目標画像1300は、教示真欠陥1310を含む。
Next, a
図14を参照して、本実施の形態に係る画像処理アルゴリズム評価装置1400について説明する。図14は、画像処理アルゴリズム評価装置1400の機能の構成を表わすブロック図である。
With reference to FIG. 14, an image processing
画像処理アルゴリズム評価装置1400は、外部から画像データの入力を受付ける画像データ入力部1410と、画像データ入力部1410により入力が受付けられたデータを用いて画像処理アルゴリズムの評価を行なう画像処理アルゴリズム評価管理部1412と、画像処理アルゴリズムの評価の結果を出力する表示部1430とを備える。
The image processing
画像処理アルゴリズム評価管理部1412は、画像データを格納する画像データベース1420と、予め準備された複数の画像処理アルゴリズムを実現するプログラムを格納する画像処理アルゴリズムデータベース1423と、入力された画像データを目標画像として設定するための目標画像設定部1421と、教示真欠陥の特徴量を算出する特徴量算出部1422と、特徴量算出部1422による算出結果と画像処理アルゴリズムデータベース1423に格納されている画像処理アルゴリズムとに基づいて画像処理アルゴリズムを決定するための選択部1424と、決定された画像処理アルゴリズムを用いて入力された画像データに対して変換処理を行なう画像データ変換部1425と、画像データ変換部1425によって生成されたデータを用いて欠陥候補領域を抽出する欠陥候補領域特徴量算出部1426と、各欠陥候補領域の種類を判定する種類判定部1427と、予め設定された基準に従って特定される特徴量空間に欠陥候補のデータをプロットする特徴量マップ作成部1428と、特徴量空間にプロットされた欠陥候補に対応する値に基づいて画像処理アルゴリズムの評価値を算出する評価値算出部1429とを含む。
The image processing algorithm
次に、図15を参照して、本実施の形態に係る画像処理アルゴリズム評価装置を実現するコンピュータシステム1500について説明する。図15は、コンピュータシステム1500のハードウェア構成を表わすブロック図である。
Next, a
コンピュータシステム1500は、相互にデータベースによって接続されたCPU(Central Processing Unit)1510と、コンピュータシステム1500の使用者による指示の入力を受付けるマウス1520,キーボード1530と、入力されたデータあるいはCPU1510によるプログラムの実行によって生成されるデータを一時的に格納するRAM(Random Access Memory)1540と、大容量のデータを格納可能であってランダムにアクセス可能なハードディスク1550と、CD−ROM(Compact Disk-Read Only Memory)駆動装置1560と、モニタ1580と、通信IF(Interface)1590とを含む。CD−ROM駆動装置1560には、データ記録媒体であるCD−ROM1562が装着される。
The
コンピュータシステム1500における処理は、各ハードウェアおよびCPU1510により実行されるソフトウェアによって実現される。このようなソフトウェアは、RAM1540あるいはハードディスク1550に予め記憶されている。また、当該ソフトウェアは、CD−ROM1562その他のデータ記録媒体に格納されて、プログラム製品とし
て流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のデータ通信回線に接続している情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、CD−ROM駆動装置1560その他のデータ読取装置によりそのデータ記録媒体から読取られた後に、あるいは通信IF1590を介してダウンロードされた後に、ハードディスク1550に一旦格納される。そのソフトウェアは、ハードディスク1550からRAM1540に実行可能な形式として読出され、そしてCPU1510によって実行される。
The processing in the
図15に示されるコンピュータシステム1500を構成する各ハードウェアは、一般的なものである。したがって、以下で説明する本発明の最も本質的な部分は、RAM1540、ハードディスク1550、CD−ROM1562その他のデータ記録媒体に格納された、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、コンピュータシステム1500の各ハードウェアの動作は周知であり当業者にとって容易に理解できるものである。したがって、ここではその詳細な説明は述べない。
Each hardware constituting the
次に図16を参照して、本実施の形態に係る画像処理アルゴリズム評価装置の制御構造について説明する。図16は、当該評価装置として機能するコンピュータシステム1500が実行する処理の手順を表わすフローチャートである。
Next, the control structure of the image processing algorithm evaluation apparatus according to the present embodiment will be described with reference to FIG. FIG. 16 is a flowchart showing a procedure of processing executed by
ステップS1602にて、コンピュータシステム1500のCPU1510は、外部から入力された原画像データの入力を受け付ける。入力された原画像データは、画像データベース1420として機能するハードディスク1550に格納される。ステップS1604にて、CPU1510は、外部から目標画像の入力を受け付ける。この画像に対応するデータも同様に、ハードディスク1550において予め確保された領域に書き込まれる。
In step S1602,
ステップS1606にて、CPU1510は、特徴量算出部1422として、教示真欠陥の特徴量を算出する。ステップS1608にて、CPU1510は、選択部1424として、算出された特徴量とハードディスク1550に予め格納されている画像処理アルゴリズムとを用いて画像処理アルゴリズムを決定する。ステップS1610にて、CPU1510は、画像データ変換部1425として決定された画像処理アルゴリズムを用いて画像データの変換処理を実行する。
In step S <b> 1606, the
ステップS1612にて、CPU1510は、欠陥候補領域特徴量算出部1426として、画像変換処理によって生成された画像に対するラベリングを実行する。このラベリングにより、欠陥候補領域が抽出される。CPU1510は、さらに各欠陥候補領域についてそれぞれの特徴量を算出する。
In step S <b> 1612, the
ステップS1614にて、CPU1510は、追加の特徴量がまだ算出されていない欠陥候補領域を1つ選択する。ステップS1616にて、CPU1510は、ステップS1614にて選択された欠陥候補領域についての欠陥候補存在領域を決定する。決定された領域は、たとえば矩形である。ステップS1618にて、CPU1510は、入力された原画像から欠陥候補存在領域を切り出す。ステップS1620にて、CPU1510は、ステップS1618にて切り出された欠陥候補存在領域に含まれる追加の特徴量を算出する。
In step S1614,
ステップS1622にて、CPU1510は、すべての欠陥候補領域の追加特徴量を算出したか否かを判断する。CPU1510が、すべての欠陥候補領域の追加特徴量を算出したと判断すると(ステップS1622にてYES)、処理はステップS1704に移される。そうでない場合には(ステップS1622にてNO)、処理はステップS1616に戻される。
In step S1622,
ステップS1700にて、CPU1510は、後述する判定処理を実行する。この処理が実行されると、抽出された各々の欠陥候補領域が抽出真欠陥、抽出分裂真欠陥、あるいは抽出擬似欠陥のいずれであるかが判定される。
In step S1700,
ステップS1626にて、CPU1510は、特徴量空間に各欠陥候補に対応する投影点をプロットする。具体的には、ステップS1612にて抽出された各欠陥候補領域の各々について、そのときに算出された面積と、ステップS1620にて算出されたコントラストとの2つの特徴量を軸とする特徴量空間が規定される。この特徴量空間において、各欠陥候補領域の特徴量がそれぞれ対応付けられる。この処理をたとえば表示部1430として機能するモニタ1580に表示させる場合には、抽出真欠陥と抽出擬似欠陥と抽出分裂真欠陥とがそれぞれ異なる態様でプロットされる。たとえば、抽出真欠陥は、黒丸で表示されるようにプロットされる。抽出擬似欠陥は、白丸で表示されるようにプロットされる。また、抽出分裂真欠陥は、モニタ1580に表示させない。
In step S1626,
ステップS1628にて、CPU1510は、評価値算出部1429として画像処理アルゴリズムの評価値を算出する。この場合、画像処理アルゴリズムの評価は、たとえば多目的最適化問題における一般的な評価関数を用いて行なわれる。この評価関数の一例は、たとえば、上記の特徴量空間における抽出真欠陥と抽出擬似欠陥との分離度(以下、分離度Dと表わす)を表わす次式によって規定される。この場合、分離度Dの値が大きい方がより優れた画像処理アルゴリズムとされる。
In step S1628,
D=(DCR_A−DCF_A)2+(DCR_C−DCF_C)2
ここで、DCR_Aは、最も原点に近い抽出真欠陥の面積を表わす。DCF_Aは、最も原点から遠い抽出擬似欠陥の面積を表わす。DCR_Cは、原点に最も近い抽出真欠陥のコントラストを表わす。DCF_Cは、原点から最も遠い抽出擬似欠陥のコントラストを表わす。
D = (DCR_A−DCF_A) 2 + (DCR_C−DCF_C) 2
Here, DCR_A represents the area of the extracted true defect closest to the origin. DCF_A represents the area of the extracted pseudo defect farthest from the origin. DCR_C represents the contrast of the extracted true defect closest to the origin. DCF_C represents the contrast of the extracted pseudo defect farthest from the origin.
図17は、判定処理(S1700)の手順を表わすフローチャートである。ステップS1710にて、CPU1510は、RAM1540に格納されているデータに基づいて、対応する欠陥候補領域の存在を確認していない教示真欠陥を1つ選択する(TRDi)。ステップS1720にて、CPU1510は、教示真欠陥の存在する画素と一致する画素を有する欠陥候補領域をすべて抽出する。ステップS1730にて、CPU1510は、抽出された欠陥候補領域の中で、教示真欠陥との画素の一致度が最も高い欠陥候補領域(DCRAk)を1つ選択する。
FIG. 17 is a flowchart showing the procedure of the determination process (S1700). In step S1710,
具体的には、ステップS1720にて抽出された欠陥候補領域の数が2つ以上の場合に、その中の1つが選択される。欠陥候補領域が1つしか存在しない場合には、当該欠陥候補領域が選択される。欠陥候補領域が2つ存在する場合、まず教示真欠陥との画素の一致度が算出される。本実施の形態においては、一致度(Vm)は、欠陥候補領域の全画素について、たとえば次式のように計算される。 Specifically, when the number of defect candidate areas extracted in step S1720 is two or more, one of them is selected. If there is only one defect candidate area, the defect candidate area is selected. When there are two defect candidate areas, first, the degree of coincidence of the pixel with the taught true defect is calculated. In the present embodiment, the degree of coincidence (Vm) is calculated for all pixels in the defect candidate area, for example, as in the following equation.
Vm=2×Pm/(Pa+Pt)
但し、Pmは教示真欠陥の画素と一致する画素数である。Paは、欠陥候補領域の全画素数である。Ptは、教示真欠陥領域の全画素数である。
Vm = 2 × Pm / (Pa + Pt)
Here, Pm is the number of pixels that coincide with the true defective pixel. Pa is the total number of pixels in the defect candidate area. Pt is the total number of pixels in the taught true defect area.
この場合、一致度Vmは1.0以下の値となり、最も大きい値すなわち最も1.0に近い値を導出する欠陥候補領域がその一致度が最も高くなる。このようにして選択された欠陥候補領域は以下欠陥候補領域DCRAkと表現される。 In this case, the degree of coincidence Vm is 1.0 or less, and the defect candidate region that derives the largest value, that is, the value closest to 1.0, has the highest degree of coincidence. The defect candidate area selected in this way is hereinafter expressed as a defect candidate area DCRAk.
図17を再び参照して、ステップS1740にて、CPU1510は、欠陥候補領域DCRAkを教示真欠陥TRDiに対応する欠陥を候補領域(抽出真欠陥)と設定する。ステップS1750にて、CPU1510は、ステップS1730にて抽出された欠陥候補領域DCRAk以外の欠陥候補領域を抽出分裂真欠陥と分類する。
Referring to FIG. 17 again, in step S1740,
ステップS1760にて、CPU1510は、すべての教示真欠陥について対応する欠陥候補領域の存在の確認を行なったか否かを判断する。CPU1510が、そのような確認を行なったと判断すると(ステップS1760にてYES)、処理はステップS1770に移される。そうでない場合には(ステップS1760にてNO)、処理はステップS1710に戻される。
In step S1760,
ステップS1770にて、CPU1510は、抽出真欠陥とも抽出分裂真欠陥とも判定されていない欠陥候補領域を、抽出擬似欠陥に分類する。その後、処理はメイン処理(図16)に戻される。
In step S1770,
図18を参照して、本実施の形態に係る画像処理アルゴリズム評価装置における評価の方法について説明する。図18は、欠陥候補領域の特徴量としての面積とコントラストとによって規定される特徴量空間を表わす図である。特徴量空間には、投影点1810,1820がそれぞれプロットされる。投影点1810と投影点1820との間には、予め設定された判定基準に従う閾値曲線1840が示される。
With reference to FIG. 18, an evaluation method in the image processing algorithm evaluation apparatus according to the present embodiment will be described. FIG. 18 is a diagram illustrating a feature amount space defined by the area and the contrast as the feature amount of the defect candidate region.
投影点1810は、たとえば図3に示される欠陥候補領域312に対応する。投影点1820は、欠陥候補領域332に対応する。
このようにして特徴量空間にプロットされている各欠陥候補領域の投影点を表わす情報に基づいて、上記のような分離度Dを表わす算式に基づいて、画像処理アルゴリズムの評価値が算出される。 In this way, the evaluation value of the image processing algorithm is calculated based on the formula representing the degree of separation D as described above based on the information representing the projection points of the defect candidate areas plotted in the feature amount space. .
次に、図19を参照して、本実施の形態に係る画像処理アルゴリズム生成装置について説明する。図19は、画像処理アルゴリズム生成装置1900が有する機能の構成を表わすブロック図である。画像処理アルゴリズム生成装置1900は、当該装置の使用者が、入力する画像データに基づいて、画像処理を実行するためのアルゴリズムを導出することを支援する。
Next, an image processing algorithm generation apparatus according to the present embodiment will be described with reference to FIG. FIG. 19 is a block diagram illustrating a functional configuration of image processing
画像処理アルゴリズム生成装置1900は、外部から画像データの入力を受付ける画像データ入力部1910と、入力されたデータに基づいて画像処理アルゴリズムを生成する画像処理アルゴリズム管理部1912と、画像処理アルゴリズム生成装置1900において格納されているデータを表示する表示部1930とを備える。画像処理アルゴリズム管理部1912は、画像データ入力部1910を介して入力された画像データを格納する画像データベース1920と、画像データベース1920に予め格納されているパラメータを、入力される指示に基づいて変更する初期パラメータ設定部1921と、画像データベース1920に格納されている原画像に対する処理の設定対象となるデータの入力を受付ける設定部1922と、予め準備された複数のフィルタのいずれかを組合せることにより画像処理アルゴリズムを生成する画像処理アルゴリズム生成部1923と、生成された画像処理アルゴリズムの評価を行なう画像処理アルゴリズム評価部1924と、入力された画像データに対して予め設定された基準を満足する画像処理アルゴリズムが生成されたか否かを判断する画像処理アルゴリズム生成完了判断部1925とを含む。
The image processing
本実施の形態に係る画像処理アルゴリズム生成装置1900は、たとえば図15に示されるような構成を有するコンピュータシステム1500によって具体的に実現される。す
なわち、上記の各処理を実現するソフトウェアがコンピュータシステム1500の各ハードウェアによって協働して実行されることにより、コンピュータシステム1500は、画像処理アルゴリズム生成装置1900として機能する。各ハードウェアの動作は前述の動作と同一である。したがって、ここではコンピュータシステム1500についての詳細な説明は繰り返さない。
An image processing
図20を参照して、画像処理アルゴリズム生成装置1900の制御構造について説明する。以下の説明では、画像処理アルゴリズム生成装置1900は、コンピュータシステム1500によって実現されるものとして説明する。図20は、画像処理アルゴリズム生成装置1900として機能するコンピュータシステム1500のCPU1510が実行する処理の手順を表わすフローチャートである。
With reference to FIG. 20, a control structure of image processing
ステップS2002にて、CPU1510は、画像データ入力部1910として機能するマウス1510あるいはキーボード1530を介したデータの入力を受け付けて、初期パラメータを設定する。初期パラメータは、RAM1510において予め確保された領域に格納される。ステップS2004にて、CPU1510は、原画像と目標画像との入力を受け付けて、RAM1540あるいはハードディスク1550において確保された領域に格納する。原画像と目標画像とは、たとえば通信IF1590、CD−ROM1562などを介して取得される。
In step S2002,
ステップS2006にて、CPU1510は、設定された初期パラメータと予めハードディスク1550に準備されたフィルタとを用いてM個の初期画像処理アルゴリズムを生成する。初期パラメータは、各世代の個体数M、交叉確率Pc、突然変異確率Pm、画像処理を終了させるための終了条件、次世代に追加する優良個体数g(1)、次世代に追加するランダム生成個体数g(2)、1つの個体の画像処理フィルタ上の最大値Lとを含む。本実施の形態においては、個体数M=100、交叉確率Pc=95%、突然変異確率Pm=5%、優良個体数g(1)=1、ランダム生成個体数g(2)=1、最大値L=8とする。また、上記の終了条件は、最良の個体の評価値が1000以上であること、あるいは生成されたアルゴリズムの世代を特定する世代IDが100以上であることのいずれかを満足することである。世代IDは、初期パラメータの設定時に初期化され、0が設定される。
In step S2006,
ステップS2008にて、CPU1510は、以下のループ処理を個体数だけ、すなわちM回実行するためのカウンタとして用いられる変数mを初期化し、0に設定する。また、変数mは、個体のIDに相当する。
In step S2008, the
ステップS2010にて、CPU1510は、生成されたM個の画像処理アルゴリズムのうち第m番目の画像処理アルゴリズムの評価を行なう。この評価は、図16に示されるステップS1610からステップS1628を繰り返すことにより実現される。
In step S2010,
ステップS2012にて、CPU1510は、画像処理アルゴリズムIDmを1カウントアップする。ステップS2014にて、CPU1510は、変数mの値が個体数Mよりも小さいか否かを判断する。変数mの値が個体数Mの値よりも小さい場合には(ステップS2014にてYES)、処理はステップS2016に移される。そうでない場合には(ステップS2014にてNO)、処理はステップS2010に戻される。
In step S2012,
ステップS2016にて、CPU1510は、M個すべての個体の中から最良の個体すなわち画像処理アルゴリズムを決定する。ここでは、前述のように多目的最適化問題に従う一般的な評価関数を用いているため、M個の個体のうち最も大きな評価値を有する個体が最良の個体として決定される。
In step S2016, the
ステップS2018にて、CPU1510は、予め設定された終了条件が成立しているか否かを判断する。終了条件が成立している場合には(ステップS2018にてYES)、処理は終了する。そうでない場合には(ステップS2018にてNO)、処理はステップS2020に移される。
In step S2018,
ステップS2020にて、CPU1510は、画像処理アルゴリズム1923として次世代に属する個体群(画像処理アルゴリズム群)を生成する。この処理は、一般に「世代交代」や「遺伝的操作」と称される処理に相当し、遺伝的アルゴリズムにおいても同様に称される。
In step S2020,
そこで、図21および図22を参照して、遺伝的操作の詳細について説明する。図21は、3つの個体2110,2120,2130のフィルタの構成を表わす図である。個体2110(個体I_1)は、フィルタ2112と、フィルタ2114と、フィルタ2111と、フィルタ2117と、フィルタ2118とを含む。個体2120(個体I_2)は、フィルタ2115と、フィルタ2112と、フィルタ2113と、フィルタ2111と、フィルタ2116と、フィルタ2115と、フィルタ2127と、フィルタ2118とを含む。
Therefore, the details of the genetic operation will be described with reference to FIGS. 21 and 22. FIG. 21 is a diagram illustrating a filter configuration of three
個体2130(個体I_3)は、フィルタ2111と、フィルタ2113と、フィルタ2116と、フィルタ2114と、フィルタ2112と、フィルタ2137と、フィルタ2118とを含む。フィルタ2111から2116において白丸の中に示される数字は、図9のテーブル900に示されるフィルタのID910を有する各フィルタに対応する。フィルタ2117,2127,2137は、それぞれ2値化処理のために使用される閾値を表わす。フィルタ2118は、ノイズを除去する処理のためのフィルタである。
The individual 2130 (individual I_3) includes a
図22は、第N世代に属するフィルタと第N+1世代に属するフィルタとを表わす図である。すなわち第N世代に属する画像処理アルゴリズム2220は、フィルタ2112と、フィルタ2111と、フィルタ2227と、フィルタ2118とを含む。また画像処理アルゴリズム2230は、フィルタ2113と、フィルタ2112と、フィルタ2112と、フィルタ2111と、フィルタ2113と、フィルタ2137と、フィルタ2118とを含む。
FIG. 22 is a diagram illustrating filters belonging to the Nth generation and filters belonging to the (N + 1) th generation. That is, the
第N+1世代に属する画像処理アルゴリズム2240は、フィルタ2112と、フィルタ2111と、フィルタ2112と、フィルタ2111と、フィルタ2113と、フィルタ2137と、フィルタ2118とを含む。同世代に属する画像処理アルゴリズム2250は、フィルタ2113と、フィルタ2112と、フィルタ2113と、フィルタ2112と、フィルタ2111と、フィルタ2227と、フィルタ2118とを含む。各画像処理アルゴリズムにおける特性は、前述のフィルタの配列に従って定まる。
The
図22において、各画像処理アルゴリズムのフィルタ列では、交叉点2220が、2番目のフィルタと3番目のフィルタとの間に規定されている。以下、第N世代から第N+1世代を生成する場合について説明する。まず、最初に第N+1世代に属する個体(画像処理アルゴリズムの数が0の状態)から処理は開始される。個体は順次追加して生成され、個体数がM個になったとき、処理は終了する。
In FIG. 22, in the filter row of each image processing algorithm, a
次に、交叉について説明する。交叉の態様の1つである1点交叉は、第N世代に属する2つの個体(たとえば画像処理アルゴリズム2220,2230)を各個体の中のいずれかの位置(交叉点2210)で切断し、切断によって生成された部位を他方の部位と交換することにより、第N+1世代に属する2つの新しい個体(たとえば画像処理アルゴリズ
ム2240,2250)を生成するものである。
Next, crossover will be described. One-point crossover, which is one aspect of crossover, is performed by cutting two individuals belonging to the Nth generation (for example,
図22に示される例では、交叉点2210は、2番目と3番目のフィルタの間に設定されているため、第1番目および第2番目のフィルタは、第N世代に属する個体および第N+1世代に属する個体のいずれにも含まれる。一方、第3番目以降のフィルタは、前述のように他の個体のフィルタと交換されるため、第N世代に属する個体と第N+1世代に属する個体との間では第3番目以降のフィルタの構成は入れ替わっている。
In the example shown in FIG. 22, since the
次に、図23を参照して、遺伝的操作における突然変異について説明する。図23は、第N世代に属する個体と遺伝的操作における突然変異によって生成されたN+1世代に属する個体とを表わす図である。 Next, mutations in genetic manipulation will be described with reference to FIG. FIG. 23 is a diagram showing individuals belonging to the Nth generation and individuals belonging to the (N + 1) th generation generated by mutation in the genetic operation.
第N世代に属する個体である画像処理アルゴリズム2310は、フィルタ2112と、フィルタ2111と、フィルタ2113と、フィルタ2112と、フィルタ2111と、フィルタ2127と、フィルタ2118とを含む。第N+1世代に属する個体である画像処理フィルタ2320は、フィルタ2112と、フィルタ2111と、フィルタ2111と、フィルタ2112と、フィルタ2111と、フィルタ2327と、フィルタ2118とを含む。
An
ここで突然変異とは、第N世代に属する1つの個体における任意の位置(突然変異点)を選択し、選択された位置における画像処理フィルタの種類を、利用可能な他の画像処理フィルタ(すなわちテーブル900において規定されている画像処理フィルタ)に変更することにより、第N+1世代に属する新しい個体である画像処理アルゴリズムを生成することをいう。図23に示される例では、第N世代に属する画像処理アルゴリズム2310において、第3番目の画像処理フィルタであるフィルタ2113と、第6番目の画像処理フィルタであるフィルタ2127とにそれぞれ突然変異点2312,2314が設定されている。突然変異点2312においては、フィルタ2113がフィルタ2111に変更されている。突然変異点2314においては、2値化処理のための閾値の値が「185」から「116」に変更されている。
Here, the mutation means that an arbitrary position (mutation point) in one individual belonging to the Nth generation is selected, and the type of image processing filter at the selected position is changed to another available image processing filter (that is, By changing to an image processing filter defined in the table 900, it means generating an image processing algorithm that is a new individual belonging to the (N + 1) th generation. In the example shown in FIG. 23, in the
なお、図23に示される例から明らかなように、突然変異点の数は1つに限られず、突然変異の確率に基づいて複数の突然変異点が設定される場合がある。2値化処理のための閾値に対応する位置が突然変異点に設定された場合には、当該閾値の値は0から255の範囲でランダムに決定される。ここでランダムに決定されるとは、たとえば予め準備された乱数発生器によって生成される乱数の値に応じて決定されることをいう。 As is clear from the example shown in FIG. 23, the number of mutation points is not limited to one, and a plurality of mutation points may be set based on the probability of mutation. When the position corresponding to the threshold value for binarization processing is set at the mutation point, the threshold value is randomly determined in the range of 0 to 255. Here, “determined randomly” means to be determined according to the value of a random number generated by a random number generator prepared in advance, for example.
遺伝的操作には、前述の交叉、突然変異の他に、第N世代に属する優秀な個体である画像処理アルゴリズムを、第N+1世代にg(1)個追加する処理と、第N世代に属する個体の情報を全く利用せず、新たに画像処理フィルタをランダムに選択し、新たな画像処理アルゴリズムを生成したg(2)個の個体を第N+1世代に追加するものとがある。このような操作によって、第N+1世代に属するM個の個体が生成される。 In addition to the above-described crossover and mutation, genetic operations include a process of adding g (1) image processing algorithms, which are excellent individuals belonging to the Nth generation, to the (N + 1) th generation, and belonging to the Nth generation. There is a method in which g (2) individuals that have generated a new image processing algorithm are added to the (N + 1) th generation by randomly selecting an image processing filter without using individual information at all. By such an operation, M individuals belonging to the (N + 1) th generation are generated.
以上のようにして、本実施の形態に係る画像処理アルゴリズムによると、より適切に、真欠陥と擬似欠陥とを分離することができる。また、真欠陥と擬似欠陥との分離度に関し誤った評価を行うことなく、画像処理のための時間の増大を防止できる画像処理アルゴリズムを評価するための画像処理アルゴリズム評価装置を提供することができる。 As described above, according to the image processing algorithm according to the present embodiment, true defects and pseudo defects can be more appropriately separated. Further, it is possible to provide an image processing algorithm evaluation apparatus for evaluating an image processing algorithm that can prevent an increase in time for image processing without performing erroneous evaluation on the degree of separation between a true defect and a pseudo defect. .
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図され
る。
The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
本発明は、画像検査装置、画像変換装置、画像認識装置、パターンマッチング装置、画像を用いた位置決め装置、画像認識機能付き自律ロボット、画像認識機能付き産業用ロボット等に利用可能である。 The present invention is applicable to an image inspection device, an image conversion device, an image recognition device, a pattern matching device, a positioning device using an image, an autonomous robot with an image recognition function, an industrial robot with an image recognition function, and the like.
100 原画像、110 真欠陥、120 擬似欠陥、300 画像、310,320,332 欠陥候補存在領域、312,322,332 欠陥候補領域、410,420,430 投影点、440 閾値曲線。 100 original image, 110 true defect, 120 pseudo defect, 300 image, 310, 320, 332 defect candidate existence area, 312, 322, 332 defect candidate area, 410, 420, 430 projection point, 440 threshold curve.
Claims (13)
前記原画像に適用される画像処理アルゴリズムを決定するアルゴリズム決定手段と、
前記原画像に前記画像処理アルゴリズムに基づく画像処理を施すことにより画像処理後の画像を作成する作成手段と、
前記画像処理後の画像に基づいて欠陥候補領域を決定する領域決定手段と、
前記欠陥候補領域の欠陥候補特徴量を算出する第1の算出手段と、
前記欠陥候補特徴量に基づいて画像処理アルゴリズムを評価する評価手段と、
前記原画像中に存在する1つの欠陥領域が複数の前記欠陥候補領域として検出された場合に、前記複数の欠陥候補領域に基づいて、前記原画像中に存在する1つの欠陥領域に対する1つの欠陥特徴量を算出する第2の算出手段とを備える、画像処理アルゴリズム評価装置。 Input means for receiving an input of an original image obtained by imaging a subject and an input of a target image indicating a defective area in the original image;
Algorithm determination means for determining an image processing algorithm applied to the original image;
Creating means for creating an image after image processing by applying image processing based on the image processing algorithm to the original image;
Area determination means for determining a defect candidate area based on the image after the image processing;
First calculation means for calculating a defect candidate feature amount of the defect candidate area;
An evaluation means for evaluating an image processing algorithm based on the defect candidate feature amount;
When one defect region existing in the original image is detected as a plurality of defect candidate regions, one defect for one defect region existing in the original image is based on the plurality of defect candidate regions. An image processing algorithm evaluation apparatus comprising: a second calculation unit that calculates a feature amount.
前記欠陥候補特徴量を特徴量空間に対応付けるマッピング手段と、
前記特徴量空間中において抽出の対象となる欠陥領域を表す点と、前記欠陥領域を表わす点以外の点との分離度を算出する分離度算出手段と、
前記分離度に基づいて画像処理アルゴリズムの評価値を算出する評価値算出手段とを含み、
前記マッピング手段は、前記原画像中に存在する1つの欠陥領域が複数の前記欠陥候補領域として検出された時に、前記目標画像中で示されている原画像中の欠陥領域との一致度が最も高い欠陥候補領域から算出される欠陥候補特徴量のみを前記特徴量空間に対応付け、
前記分離度算出手段は、前記複数の欠陥候補領域に含まれる他の欠陥候補特徴量は前記特徴量空間に対応付けることなく前記分離度を算出する、請求項1から3のいずれかに記載の画像処理アルゴリズム評価装置。 The evaluation means includes
Mapping means for associating the defect candidate feature quantity with a feature quantity space;
A degree-of-separation calculating means for calculating a degree of separation between a point representing a defect region to be extracted in the feature amount space and a point other than the point representing the defect region;
Evaluation value calculation means for calculating an evaluation value of an image processing algorithm based on the degree of separation,
The mapping means has the highest degree of coincidence with the defect area in the original image indicated in the target image when one defect area existing in the original image is detected as a plurality of defect candidate areas. Only the defect candidate feature amount calculated from the high defect candidate region is associated with the feature amount space,
The image according to claim 1, wherein the degree-of-separation calculating unit calculates the degree of separation without associating other defect candidate feature amounts included in the plurality of defect candidate regions with the feature amount space. Processing algorithm evaluation device.
前記欠陥候補特徴量を特徴量空間に対応付けるマッピング手段と、
抽出の対象となる欠陥領域を表す特徴量空間中の点とそれ以外の点との分離度を算出する分離度算出手段と、
前記分離度を用いて画像処理アルゴリズムの評価値を算出する手段とを含み、
前記分離度算出手段は、
前記原画像中に存在する1つの欠陥領域が複数の欠陥候補領域として検出された場合に、前記目標画像中で示されている原画像中の欠陥領域との一致度が最も高い欠陥候補領域から算出される欠陥候補特徴量を補正する補正手段と、
前記補正手段による補正により導出された補正欠陥候補特徴量のみを前記特徴量空間に対応付ける手段と、
前記複数の欠陥候補領域に含まれる他の欠陥候補特徴量を前記特徴量空間に対応付けることなく前記分離度を算出する手段とを含む、請求項1から4のいずれかに記載の画像処
理アルゴリズム評価装置。 The evaluation means includes
Mapping means for associating the defect candidate feature quantity with a feature quantity space;
A degree-of-separation calculating means for calculating a degree of separation between a point in the feature amount space representing a defect area to be extracted and other points;
Means for calculating an evaluation value of an image processing algorithm using the degree of separation,
The separation degree calculating means includes
When one defect region existing in the original image is detected as a plurality of defect candidate regions, the defect candidate region having the highest degree of coincidence with the defect region in the original image indicated in the target image Correction means for correcting the calculated defect candidate feature amount;
Means for associating only the corrected defect candidate feature quantity derived by correction by the correction means with the feature quantity space;
5. The image processing algorithm evaluation according to claim 1, further comprising: means for calculating the degree of separation without associating other defect candidate feature amounts included in the plurality of defect candidate regions with the feature amount space. apparatus.
前記画像処理後の画像として2値化画像を作成する手段と、
前記画像処理アルゴリズムに基づく画像処理を施す過程において入力画像が2値化画像になる前の2値化前画像を保存する手段とを含み、
前記第1の算出手段は、前記2値化前画像からコントラストを算出する、請求項1から5に記載の画像処理アルゴリズム評価装置。 The creating means includes
Means for creating a binarized image as an image after the image processing;
Means for storing an image before binarization before the input image becomes a binarized image in the process of performing image processing based on the image processing algorithm;
The image processing algorithm evaluation apparatus according to claim 1, wherein the first calculation unit calculates a contrast from the pre-binarized image.
前記原画像または前記2値化前画像から欠陥候補特徴量を算出する過程で、それぞれの欠陥候補領域について欠陥候補領域よりも大きい面積を有する欠陥候補存在領域を設定する手段と、
前記原画像または前記2値化前画像中の欠陥候補存在領域内で2値化処理を実施する手段と、
2値化処理後の欠陥候補存在領域から欠陥候補特徴量を算出する手段とを含む、請求項1から7のいずれかに記載の画像処理アルゴリズム評価装置。 The first calculation means includes
Means for setting a defect candidate existence area having an area larger than the defect candidate area for each defect candidate area in the process of calculating the defect candidate feature amount from the original image or the pre-binarization image;
Means for performing binarization processing in a defect candidate existing area in the original image or the pre-binarization image;
The image processing algorithm evaluation apparatus according to claim 1, further comprising means for calculating a defect candidate feature amount from a defect candidate existing area after binarization processing.
評価結果に基づいて画像処理アルゴリズムを生成する生成手段とを備える、画像処理アルゴリズムの生成装置。 The image processing algorithm evaluation device according to any one of claims 1 to 8,
An image processing algorithm generation apparatus, comprising: generation means for generating an image processing algorithm based on an evaluation result.
生成された画像処理アルゴリズムを用いて被写体を検査する検査手段とを備える、画像検査装置。 An image processing algorithm generation device according to claim 9,
An image inspection apparatus comprising: inspection means for inspecting a subject using a generated image processing algorithm.
前記原画像に適用される画像処理アルゴリズムを決定するステップと、
前記原画像に前記画像処理アルゴリズムに基づく画像処理を施すことによって画像処理後の画像を作成するステップと、
前記画像処理後の画像に基づいて欠陥候補領域を決定するステップと、
前記欠陥候補領域の欠陥候補特徴量を算出するステップと、
前記欠陥候補特徴量に基づいて画像処理アルゴリズムを評価するステップと、
前記原画像中に存在する1つの欠陥領域が複数の前記欠陥候補領域として検出された場合に、前記複数の欠陥候補領域に基づいて原画像中に存在する1つの欠陥領域に対する1つの欠陥特徴量を算出するステップとを備える、画像処理アルゴリズム評価方法。 Receiving an input of an original image obtained by imaging a subject and an input of a target image indicating a defective area in the original image;
Determining an image processing algorithm to be applied to the original image;
Creating an image after image processing by applying image processing based on the image processing algorithm to the original image;
Determining a defect candidate region based on the image after the image processing;
Calculating a defect candidate feature amount of the defect candidate region;
Evaluating an image processing algorithm based on the defect candidate feature quantity;
When one defect area existing in the original image is detected as a plurality of defect candidate areas, one defect feature amount for one defect area existing in the original image based on the plurality of defect candidate areas Calculating an image processing algorithm.
評価結果に基づいて画像処理アルゴリズムを生成する生成ステップとを備える、画像処理アルゴリズムの生成方法。 An image processing algorithm evaluation method according to claim 11,
An image processing algorithm generation method comprising: a generation step of generating an image processing algorithm based on an evaluation result.
生成された画像処理アルゴリズムを用いて被写体を検査する検査ステップとを備える、画像検査方法。 An image processing algorithm generation method according to claim 12,
An image inspection method comprising: an inspection step of inspecting a subject using the generated image processing algorithm.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006015574A JP2007199865A (en) | 2006-01-24 | 2006-01-24 | Image processing algorithm evaluation apparatus, image processing algorithm creation apparatus, image inspection apparatus, method for evaluating image processing algorithm, method for creating image processing algorithm, and method for inspecting image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006015574A JP2007199865A (en) | 2006-01-24 | 2006-01-24 | Image processing algorithm evaluation apparatus, image processing algorithm creation apparatus, image inspection apparatus, method for evaluating image processing algorithm, method for creating image processing algorithm, and method for inspecting image |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007199865A true JP2007199865A (en) | 2007-08-09 |
Family
ID=38454450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006015574A Pending JP2007199865A (en) | 2006-01-24 | 2006-01-24 | Image processing algorithm evaluation apparatus, image processing algorithm creation apparatus, image inspection apparatus, method for evaluating image processing algorithm, method for creating image processing algorithm, and method for inspecting image |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007199865A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010257257A (en) * | 2009-04-24 | 2010-11-11 | Nikon Corp | Apparatus and method for processing hereditary, and program |
JP2010262407A (en) * | 2009-04-30 | 2010-11-18 | Nikon Corp | Genetic processor, genetic processing method, and program |
US8942465B2 (en) | 2011-12-13 | 2015-01-27 | General Electric Company | Methods and systems for processing images for inspection of an object |
JP2015018484A (en) * | 2013-07-12 | 2015-01-29 | 株式会社Ihi | Evaluation method and evaluation device |
CN115847398A (en) * | 2022-11-09 | 2023-03-28 | 武汉理工大学 | Robot intelligent processing method and system based on region |
-
2006
- 2006-01-24 JP JP2006015574A patent/JP2007199865A/en active Pending
Non-Patent Citations (2)
Title |
---|
JPN6010070826, 柳瀬正和、上田泰広、山本修平、井殿多聞、重山吉偉、中村淳良, "機械学習に基づく画像認識システムの提案", 電気学会産業システム情報化研究会資料, 20051125, IIS−05巻、11−20号, 17−22頁, JP * |
JPN7010004052, Yasuhiro Ueda, et al., "Conceptual framework design for integrated visual inspection system", Machine Vision and its Optomechatronic Applications, Proceedings of SPIE, Vol. 5603, pp.128−137, 20041025 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010257257A (en) * | 2009-04-24 | 2010-11-11 | Nikon Corp | Apparatus and method for processing hereditary, and program |
JP2010262407A (en) * | 2009-04-30 | 2010-11-18 | Nikon Corp | Genetic processor, genetic processing method, and program |
US8942465B2 (en) | 2011-12-13 | 2015-01-27 | General Electric Company | Methods and systems for processing images for inspection of an object |
JP2015018484A (en) * | 2013-07-12 | 2015-01-29 | 株式会社Ihi | Evaluation method and evaluation device |
CN115847398A (en) * | 2022-11-09 | 2023-03-28 | 武汉理工大学 | Robot intelligent processing method and system based on region |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11797886B2 (en) | Image processing device, image processing method, and image processing program | |
US9679354B2 (en) | Duplicate check image resolution | |
US9176043B2 (en) | Cell image analysis apparatus, cell image analysis method, and program | |
JP2011145791A (en) | Classifier learning image production program, method and system | |
JP2000137804A (en) | Method and system for abnormality detection of digital image and storage medium for same | |
US20190065995A1 (en) | Information processing apparatus and method of controlling information processing apparatus | |
KR20090109047A (en) | Image processor and image processing method and recording medium | |
JP2007199865A (en) | Image processing algorithm evaluation apparatus, image processing algorithm creation apparatus, image inspection apparatus, method for evaluating image processing algorithm, method for creating image processing algorithm, and method for inspecting image | |
JP2006309405A (en) | Meter recognition system, meter recognition method, and meter recognition program | |
CN113269752A (en) | Image detection method, device terminal equipment and storage medium | |
Ji et al. | Uncertainty-guided learning for improving image manipulation detection | |
JP2006085616A (en) | Image processing algorithm evaluation method and device, image processing algorithm generation method and device, program and program recording medium | |
CN112750065B (en) | Carrier object processing and watermark embedding method, device and electronic equipment | |
US20240331418A1 (en) | Image processing device, image processing method, and recording medium | |
JP2009104244A (en) | Information processor and method, and program | |
US12099580B2 (en) | Information processing apparatus, control method for information processing apparatus, and storage medium | |
CN115374517A (en) | Testing method and device for wiring software, electronic equipment and storage medium | |
JP2020003879A (en) | Information processing device, information processing method, watermark detection device, watermark detection method, and program | |
JP2012209639A (en) | Image processing apparatus and image processing program | |
JP7537518B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM | |
JP2004038530A (en) | Image processing method, program used for executing the method and image processor | |
CN107346543B (en) | Blood vessel center line processing method and device, terminal and storage medium | |
JP6770227B2 (en) | Image processing device, image area detection method and image area detection program | |
EP2573694A1 (en) | Conversion method and system | |
JP2007017264A (en) | Method and device for evaluating image processing algorithm, method and device for generating image processing algorithm, program, and program recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101214 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110412 |