JP2007199865A - Image processing algorithm evaluation apparatus, image processing algorithm creation apparatus, image inspection apparatus, method for evaluating image processing algorithm, method for creating image processing algorithm, and method for inspecting image - Google Patents

Image processing algorithm evaluation apparatus, image processing algorithm creation apparatus, image inspection apparatus, method for evaluating image processing algorithm, method for creating image processing algorithm, and method for inspecting image Download PDF

Info

Publication number
JP2007199865A
JP2007199865A JP2006015574A JP2006015574A JP2007199865A JP 2007199865 A JP2007199865 A JP 2007199865A JP 2006015574 A JP2006015574 A JP 2006015574A JP 2006015574 A JP2006015574 A JP 2006015574A JP 2007199865 A JP2007199865 A JP 2007199865A
Authority
JP
Japan
Prior art keywords
image
image processing
defect
processing algorithm
defect candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006015574A
Other languages
Japanese (ja)
Inventor
Masakazu Yanase
正和 柳瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2006015574A priority Critical patent/JP2007199865A/en
Publication of JP2007199865A publication Critical patent/JP2007199865A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing algorithm evaluation apparatus capable of preventing the time of image processing from increasing. <P>SOLUTION: An image processing algorithm evaluation managing part 1412 of the image processing algorithm evaluation apparatus 1400 includes a target image setting part 1421 for setting image data as a target image; a characteristic quantity calculating part 1422 for calculating the characteristic quantity of an indicated true defect; a selecting part 1424 for determining the image processing algorithm, based on the result of the calculation and the image processing algorithm; an image data converting part 1425 for performing conversion process on the image data using the image processing algorithm; a defect candidate region characteristic quantity determining part 1426 for extracting defect candidate regions; a kind identifying part 1427 for identifying the kind of each of the defect candidate regions; a characteristic quantity map creating part 1428 for plotting the data of the defect candidates in a characteristic quantity space; and an evaluation value calculating part 1429 for calculating the evaluation value of the image processing algorithm. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、画像から領域を抽出する画像処理アルゴリズムの評価および生成に関する。より特定的には、本発明は、画像中の領域が分裂して抽出されたアルゴリズムを評価する方法および装置、ならびに、画像から所望の領域を抽出する画像処理アルゴリズムを生成する方法および装置に関する。   The present invention relates to evaluation and generation of an image processing algorithm for extracting a region from an image. More specifically, the present invention relates to a method and apparatus for evaluating an algorithm in which regions in an image are extracted by segmentation, and a method and apparatus for generating an image processing algorithm for extracting a desired region from an image.

CCD(Charge‐Coupled Device)等の画像撮像デバイスやパーソナルコンピュータ等の画像処理機器の低価格化により、画像処理の適用分野が広がりつつある。とりわけ、産業分野における欠陥検査への画像処理の適用は広範に渡り、製品やデバイスの歩留まり、品質の向上や目視検査員削減によるコストダウンのために、その必要性は、ますます高まっている。そこで、現在では、欠陥検査のために、画像処理技術を適用した欠陥検査装置が多数開発されている(たとえば、特開2002−257739号公報(特許文献1)参照)。   Due to the low cost of image processing devices such as CCD (Charge-Coupled Device) and image processing devices such as personal computers, the field of application of image processing is expanding. In particular, the application of image processing to defect inspection in the industrial field is widespread, and the necessity thereof is increasing due to product and device yield, cost improvement by improving quality and reducing visual inspectors. Therefore, at present, many defect inspection apparatuses to which image processing technology is applied have been developed for defect inspection (see, for example, JP-A-2002-257739 (Patent Document 1)).

このような画像処理型の欠陥検査装置を用いた検査方法によれば、検査対象を撮像して得られた原画像に画像フィルタ処理を施すことにより画像変換が行なわれ、変換後の画像を最終的にある閾値で2値化することにより欠陥候補領域が抽出され、抽出された欠陥候補領域の欠陥候補情報(面積、重心位置、フェレ径等)を用いて欠陥の有無が判別されている。   According to such an inspection method using an image processing type defect inspection apparatus, image conversion is performed by performing image filter processing on an original image obtained by imaging an inspection object, and the converted image is finalized. In particular, binarization is performed with a certain threshold value to extract a defect candidate region, and the presence or absence of a defect is determined using defect candidate information (area, barycentric position, ferret diameter, etc.) of the extracted defect candidate region.

しかしながら、2値化後の画像から抽出可能な欠陥候補情報は、面積やフェレ径など幾何学的な情報に限られるため、上記の検査方法では、欠陥のコントラストその他の濃淡情報を抽出することができない。そのため、適切な欠陥判定をできない場合がある。   However, since defect candidate information that can be extracted from the binarized image is limited to geometric information such as area and ferret diameter, the above-described inspection method can extract defect contrast and other grayscale information. Can not. For this reason, there is a case where proper defect determination cannot be performed.

そこで、このような問題点を解決するために、たとえば、特開平6−331337号公報(特許文献2)は、欠陥判定に欠陥の濃淡情報を利用する光ディスクの欠陥検査方法を開示している。この方法は、処理対象領域をマスキングするステップと、原画像に対してラプラシアン演算子を作用させるステップと、ラプラシアン演算子の作用後の信号を2値化するステップと、注目する画素が物体である場合に周囲の画素を全て物体に置き換える膨張処理を行なうステップと、注目する画素が背景である場合に周囲の画素を全て背景に置き換える縮退処理を行なうステップと、孤立点を除去するステップと、画素に番号を付するラベリングを行なうステップと、ラベル付けされた領域のフィレ径を計算するステップと、欠陥が存在すると推定される領域を特定するステップと、領域を切り出すステップと、領域内の分散を算出するステップと、所定のしきい値により欠陥ランクを分離するステップとを含む(特許文献2の図2、図3参照)。   In order to solve such a problem, for example, Japanese Patent Laid-Open No. 6-331337 (Patent Document 2) discloses a defect inspection method for an optical disk that uses density information of defects for defect determination. In this method, a process target area is masked, a Laplacian operator is applied to the original image, a signal after the Laplacian operator is binarized, and a pixel of interest is an object. A step of performing expansion processing to replace all surrounding pixels with an object, a step of performing degeneration processing to replace all surrounding pixels with the background when the pixel of interest is the background, a step of removing isolated points, and a pixel Labeling, numbering the fillet diameter of the labeled area, identifying the area where the defect is presumed, cutting out the area, and dispersion within the area. And a step of separating defect ranks by a predetermined threshold (see FIGS. 2 and 3 of Patent Document 2). ).

上記の欠陥検査方法によれば、信号の検出したい周波数成分が抽出され、2値化処理あるいは幾何学処理によって欠陥位置とそのクラスタリングによって、欠陥位置が正確に決定され、その位置情報から多値画像である原画像に立ち返り特徴量が算出される。その結果、欠陥ランクが分離して識別される(特許文献2の第0058段落)。
特開2002−257739号公報 特開平6−331337号公報
According to the defect inspection method described above, a frequency component desired to be detected in a signal is extracted, and a defect position and its clustering are accurately determined by binarization processing or geometric processing, and a multi-value image is obtained from the position information. The feature amount is calculated by returning to the original image. As a result, defect ranks are separated and identified (paragraph 0058 of Patent Document 2).
JP 2002-257739 A JP-A-6-331337

しかしながら、特許文献2に開示された技術によると、原画像中に1つであった真欠陥について、特徴量空間では2点配置する必要がある。2つの欠陥候補領域のうちの少なくとも一方は真欠陥に対応する欠陥候補領域とできるが、他方の欠陥候補領域の扱いが問題となる。   However, according to the technique disclosed in Patent Document 2, it is necessary to arrange two true defects in the feature amount space for one true defect in the original image. At least one of the two defect candidate regions can be a defect candidate region corresponding to a true defect, but handling of the other defect candidate region becomes a problem.

また、当該他方の欠陥候補領域も当該真欠陥に対応する場合において、欠陥候補領域の面積が擬似欠陥に対応する欠陥候補領域の面積よりも小さく、コントラストも同様な関係になる場合がある。この場合、特徴量空間の原点に近い方が真欠陥ではなく擬似欠陥である可能性が高いことを考慮すると、単純な閾値曲線では真欠陥と擬似欠陥とを適切に分離することが困難となり、複雑な曲線でないと適切に分離できないという問題がある。   When the other defect candidate region also corresponds to the true defect, the area of the defect candidate region may be smaller than the area of the defect candidate region corresponding to the pseudo defect, and the contrast may have the same relationship. In this case, considering that there is a high probability that the feature space closer to the origin is not a true defect but a pseudo defect, it is difficult to properly separate the true defect and the pseudo defect with a simple threshold curve, There is a problem that it cannot be separated properly unless it is a complicated curve.

このような場合に、複雑な曲線が分離に使用されると、ノイズなどによる欠陥の特徴量のバラツキ対するロバスト性、汎用性が低くなるという問題が生じる。   In such a case, when a complicated curve is used for separation, there arises a problem that the robustness and versatility with respect to the variation in the feature amount of the defect due to noise or the like is lowered.

また、当該他方の欠陥候補領域を真欠陥ではない擬似欠陥として扱った場合には、画像変換処理などの結果、ノイズ除去後の画像が生成された時に問題となる。すなわち、欠陥の特徴量のバラツキ対するロバスト性、汎用性が低くなるという問題が生じる。たとえば、ある欠陥候補領域を真欠陥に対応するように扱っても、真欠陥には対応しないと扱っても、適切に真欠陥と擬似欠陥を分離することが困難となる場合がある。   Further, when the other defect candidate area is handled as a pseudo defect that is not a true defect, there is a problem when an image after noise removal is generated as a result of image conversion processing or the like. That is, there arises a problem that the robustness and versatility with respect to the variation in the feature amount of the defect is lowered. For example, even if a certain defect candidate area is handled so as to correspond to a true defect or not handled as a true defect, it may be difficult to appropriately separate a true defect and a pseudo defect.

ノイズ除去後画像を出力する画像処理アルゴリズムは、真欠陥の存在を検出することが可能であるにも係わらず、原画像中の1つの真欠陥がノイズ除去後画像中で複数に分裂した際に、その分裂の状態により、閾値曲線による分離の成否が左右され、安定した評価がなされないものもある。この場合、当該画像処理アルゴリズムを用いた検査結果は、信頼性が低く、歩留まりの低下などに繋がるという問題が生じる。   The image processing algorithm that outputs the image after denoising is able to detect the presence of a true defect, but when one true defect in the original image is divided into multiple in the image after denoising Depending on the state of the division, the success or failure of the separation by the threshold curve is affected, and there are some cases in which stable evaluation is not performed. In this case, the inspection result using the image processing algorithm has a problem that the reliability is low and the yield is reduced.

また、原画像中の1つの真欠陥がノイズ除去後画像中で複数に分裂した場合における他の従来技術として、分裂した領域を連結するような画像処理を追加で施す方法がある。しかし、分裂した領域を連結するような画像処理を施すことによって、連結された1つの領域である欠陥候補領域の面積が、前記原画像中の1つの真欠陥の面積よりも大きくなる場合がある。   As another conventional technique in the case where one true defect in an original image is divided into a plurality of images after noise removal, there is a method of additionally performing image processing for connecting the divided regions. However, by performing image processing that connects the divided regions, the area of the defect candidate region that is one connected region may be larger than the area of one true defect in the original image. .

このような場合、欠陥候補領域の特徴量を特徴量空間にプロットすると、理想的に原画像中の1つの真欠陥と同じ面積で欠陥候補領域を抽出した場合の特徴点よりも原点から遠い位置にプロットされることとなる。原点に近い方が真欠陥ではなく擬似欠陥である可能性が高いことを考慮すると、実際よりも真欠陥と擬似欠陥との分離度が高いという誤った評価がなされることになる。また、分裂した状況を考慮して、適切な連結のための画像処理を判断して実施する必要があるため、結果として処理時間が増大するという問題もある。   In such a case, when the feature amount of the defect candidate region is plotted in the feature amount space, the position is farther from the origin than the feature point when the defect candidate region is ideally extracted with the same area as one true defect in the original image. Will be plotted. Considering that there is a high possibility that the one closer to the origin is not a true defect but a pseudo defect, an erroneous evaluation is made that the degree of separation between the true defect and the pseudo defect is higher than the actual defect. In addition, it is necessary to determine and execute image processing for proper connection in consideration of the split situation, resulting in a problem that processing time increases.

本発明は、上述の問題点を解決するためになされたものであって、その目的は、真欠陥と擬似欠陥とを分離することができる画像処理アルゴリズムを評価するための画像処理アルゴリズム評価装置を提供することである。   The present invention has been made to solve the above-described problems, and an object thereof is to provide an image processing algorithm evaluation apparatus for evaluating an image processing algorithm capable of separating a true defect and a pseudo defect. Is to provide.

本発明の他の目的は、真欠陥と擬似欠陥との分離度に関し誤った評価を行うことなく、画像処理のための時間の増大を防止できる画像処理アルゴリズムを評価するための画像処理アルゴリズム評価装置を提供することである。   Another object of the present invention is to provide an image processing algorithm evaluation device for evaluating an image processing algorithm that can prevent an increase in time for image processing without erroneously evaluating the degree of separation between a true defect and a pseudo defect. Is to provide.

本発明の他の目的は、真欠陥と擬似欠陥とを分離することができる画像処理アルゴリズ
ムの導出を支援することができる画像処理アルゴリズムの生成装置を提供することである。
Another object of the present invention is to provide an image processing algorithm generation apparatus capable of supporting the derivation of an image processing algorithm capable of separating a true defect and a pseudo defect.

本発明の他の目的は、真欠陥と擬似欠陥とを分離することができる画像処理アルゴリズムに基づいて被写体を検査することができる画像検査装置を提供することである。   Another object of the present invention is to provide an image inspection apparatus capable of inspecting a subject based on an image processing algorithm capable of separating a true defect and a pseudo defect.

本発明の他の目的は、真欠陥と擬似欠陥とを分離することができる画像処理アルゴリズムを評価するための画像処理アルゴリズム評価方法を提供することである。   Another object of the present invention is to provide an image processing algorithm evaluation method for evaluating an image processing algorithm capable of separating a true defect and a pseudo defect.

本発明の他の目的は、真欠陥と擬似欠陥との分離度に関し誤った評価を行うことなく、画像処理のための時間の増大を防止できる画像処理アルゴリズムを評価するための画像処理アルゴリズム評価方法を提供することである。   Another object of the present invention is to provide an image processing algorithm evaluation method for evaluating an image processing algorithm capable of preventing an increase in time for image processing without erroneously evaluating the degree of separation between a true defect and a pseudo defect. Is to provide.

本発明の他の目的は、真欠陥と擬似欠陥とを分離することができる画像処理アルゴリズムの導出を支援することができる画像処理アルゴリズムの生成方法を提供することである。   Another object of the present invention is to provide an image processing algorithm generation method capable of supporting the derivation of an image processing algorithm capable of separating a true defect and a pseudo defect.

本発明の他の目的は、真欠陥と擬似欠陥とを分離することができる画像処理アルゴリズムに基づいて被写体を検査することができる画像検査方法を提供することである。   Another object of the present invention is to provide an image inspection method capable of inspecting a subject based on an image processing algorithm capable of separating a true defect and a pseudo defect.

上記の課題を解決するために、この発明のある局面に従う画像処理アルゴリズム評価装置は、被写体を撮像した原画像の入力と、原画像中の欠陥領域を示す目標画像の入力とを受け付ける入力手段と、原画像に適用される画像処理アルゴリズムを決定するアルゴリズム決定手段と、画像に画像処理アルゴリズムに基づく画像処理を施すことにより画像処理後の画像を作成する作成手段と、画像処理後の画像に基づいて欠陥候補領域を決定する領域決定手段と、欠陥候補領域の欠陥候補特徴量を算出する第1の算出手段と、欠陥候補特徴量に基づいて画像処理アルゴリズムを評価する評価手段と、原画像中に存在する1つの欠陥領域が複数の欠陥候補領域として検出された場合に、複数の欠陥候補領域に基づいて、原画像中に存在する1つの欠陥領域に対する1つの欠陥特徴量を算出する第2の算出手段とを備える。   In order to solve the above problems, an image processing algorithm evaluation device according to an aspect of the present invention includes an input unit that receives an input of an original image obtained by imaging a subject and an input of a target image indicating a defective area in the original image; An algorithm determining means for determining an image processing algorithm to be applied to the original image; a creating means for creating an image after image processing by applying image processing to the image based on the image processing algorithm; and based on the image after image processing. An area determining means for determining a defect candidate area; a first calculating means for calculating a defect candidate feature quantity of the defect candidate area; an evaluation means for evaluating an image processing algorithm based on the defect candidate feature quantity; When one defect area existing in the image is detected as a plurality of defect candidate areas, one defect area existing in the original image is based on the plurality of defect candidate areas. And a second calculating means for calculating a single defect feature for region.

好ましくは、作成手段は、画像処理後の画像として2値化画像を作成する。
好ましくは、第2の算出手段は、複数の欠陥候補領域の中から、目標画像中で示されている原画像中の欠陥領域との一致度が最も高い1つの欠陥候補領域を決定して、原画像中に存在する1つの欠陥領域に対する1つの欠陥特徴量を算出する。
Preferably, the creation unit creates a binarized image as the image after image processing.
Preferably, the second calculation means determines one defect candidate area having the highest degree of coincidence with the defect area in the original image shown in the target image from the plurality of defect candidate areas, One defect feature amount for one defect region existing in the original image is calculated.

好ましくは、評価手段は、欠陥候補特徴量を特徴量空間に対応付けるマッピング手段と、特徴量空間中において抽出の対象となる欠陥領域を表す点と、欠陥領域を表わす点以外の点との分離度を算出する分離度算出手段と、分離度に基づいて画像処理アルゴリズムの評価値を算出する評価値算出手段とを含む。マッピング手段は、原画像中に存在する1つの欠陥領域が複数の欠陥候補領域として検出された時に、目標画像中で示されている原画像中の欠陥領域との一致度が最も高い欠陥候補領域から算出される欠陥候補特徴量のみを特徴量空間に対応付ける。分離度算出手段は、複数の欠陥候補領域に含まれる他の欠陥候補特徴量は特徴量空間に対応付けることなく分離度を算出する。   Preferably, the evaluation unit separates a mapping unit that associates the defect candidate feature quantity with the feature quantity space, a point representing the defect area to be extracted in the feature quantity space, and a point other than the point representing the defect area. And a degree-of-separation calculating means for calculating the evaluation value of the image processing algorithm based on the degree of separation. The mapping means has a defect candidate area having the highest degree of coincidence with the defect area in the original image indicated in the target image when one defect area existing in the original image is detected as a plurality of defect candidate areas. Only the defect candidate feature amount calculated from the above is associated with the feature amount space. The degree-of-separation calculating means calculates the degree of separation without associating other defect candidate feature amounts included in the plurality of defect candidate regions with the feature amount space.

好ましくは、評価手段は、欠陥候補特徴量を特徴量空間に対応付けるマッピング手段と、抽出の対象となる欠陥領域を表す特徴量空間中の点とそれ以外の点との分離度を算出する分離度算出手段と、分離度を用いて画像処理アルゴリズムの評価値を算出する手段とを含む。分離度算出手段は、原画像中に存在する1つの欠陥領域が複数の欠陥候補領域とし
て検出された場合に、目標画像中で示されている原画像中の欠陥領域との一致度が最も高い欠陥候補領域から算出される欠陥候補特徴量を補正する補正手段と、補正手段による補正により導出された補正欠陥候補特徴量のみを特徴量空間に対応付ける手段と、複数の欠陥候補領域に含まれる他の欠陥候補特徴量を特徴量空間に対応付けることなく分離度を算出する手段とを含む。
Preferably, the evaluation unit calculates the degree of separation between the mapping unit that associates the defect candidate feature quantity with the feature quantity space, and a point in the feature quantity space that represents the defect area to be extracted and other points. Calculating means and means for calculating an evaluation value of the image processing algorithm using the degree of separation. The degree-of-separation calculating means has the highest degree of coincidence with the defect area in the original image indicated in the target image when one defect area existing in the original image is detected as a plurality of defect candidate areas. Correction means for correcting the defect candidate feature amount calculated from the defect candidate region, means for associating only the corrected defect candidate feature amount derived by the correction by the correction unit with the feature amount space, and other included in the plurality of defect candidate regions Means for calculating the degree of separation without associating the defect candidate feature quantity with the feature quantity space.

好ましくは、特徴量算出手段は、原画像からコントラストを算出する。
好ましくは、作成手段は、画像処理後の画像として2値化画像を作成する手段と、画像処理アルゴリズムに基づく画像処理を施す過程において入力画像が2値化画像になる前の2値化前画像を保存する手段とを含む。第1の算出手段は、2値化前画像からコントラストを算出する。
Preferably, the feature amount calculating means calculates contrast from the original image.
Preferably, the creating means creates a binarized image as an image after image processing, and the pre-binarized image before the input image becomes a binarized image in the process of performing image processing based on the image processing algorithm Means for storing. The first calculation means calculates the contrast from the pre-binarized image.

好ましくは、第1の算出手段は、原画像または2値化前画像から欠陥候補特徴量を算出する過程で、それぞれの欠陥候補領域について欠陥候補領域よりも大きい面積を有する欠陥候補存在領域を設定する手段と、原画像または2値化前画像中の欠陥候補存在領域内で2値化処理を実施する手段と、2値化処理後の欠陥候補存在領域から欠陥候補特徴量を算出する手段とを含む。   Preferably, the first calculation unit sets a defect candidate existence region having an area larger than the defect candidate region for each defect candidate region in the process of calculating the defect candidate feature amount from the original image or the pre-binarized image. Means for performing binarization processing within the defect candidate existing area in the original image or the image before binarization, and means for calculating defect candidate feature amounts from the defect candidate existing area after binarization processing including.

この発明の他の局面に従う画像処理アルゴリズムの生成装置は、上記のいずれかに記載の画像処理アルゴリズム評価装置と、評価結果に基づいて画像処理アルゴリズムを生成する生成手段とを備える。   An image processing algorithm generation device according to another aspect of the present invention includes the image processing algorithm evaluation device according to any one of the above, and generation means for generating an image processing algorithm based on the evaluation result.

この発明の他の局面に従う画像検査装置は、上記の画像処理アルゴリズム生成装置と、生成された画像処理アルゴリズムを用いて被写体を検査する検査手段とを備える。   An image inspection apparatus according to another aspect of the present invention includes the above-described image processing algorithm generation apparatus and an inspection unit that inspects a subject using the generated image processing algorithm.

この発明の他の局面に従う画像処理アルゴリズム評価方法は、被写体を撮像した原画像の入力と、原画像中の欠陥領域を示す目標画像の入力とを受け付けるステップと、原画像に適用される画像処理アルゴリズムを決定するステップと、原画像に画像処理アルゴリズムに基づく画像処理を施すことによって画像処理後の画像を作成するステップと、画像処理後の画像に基づいて欠陥候補領域を決定するステップと、欠陥候補領域の欠陥候補特徴量を算出するステップと、欠陥候補特徴量に基づいて画像処理アルゴリズムを評価するステップと、原画像中に存在する1つの欠陥領域が複数の欠陥候補領域として検出された場合に、複数の欠陥候補領域に基づいて原画像中に存在する1つの欠陥領域に対する1つの欠陥特徴量を算出するステップとを備える。   An image processing algorithm evaluation method according to another aspect of the present invention includes a step of receiving an input of an original image obtained by imaging a subject and an input of a target image indicating a defective area in the original image, and image processing applied to the original image Determining an algorithm; creating an image after image processing by applying image processing to the original image based on an image processing algorithm; determining a defect candidate region based on the image after image processing; A step of calculating a defect candidate feature quantity of the candidate area, a step of evaluating an image processing algorithm based on the defect candidate feature quantity, and one defect area existing in the original image is detected as a plurality of defect candidate areas And calculating one defect feature amount for one defect area existing in the original image based on a plurality of defect candidate areas. Equipped with a.

この発明の他の局面に従う画像処理アルゴリズムの生成方法は、上記に記載の画像処理アルゴリズム評価方法と、評価結果に基づいて画像処理アルゴリズムを生成する生成ステップとを備える。   An image processing algorithm generation method according to another aspect of the present invention includes the above-described image processing algorithm evaluation method and a generation step of generating an image processing algorithm based on the evaluation result.

この発明のさらに他の局面に従う画像検査方法は、上記の画像処理アルゴリズム生成方法と、生成された画像処理アルゴリズムを用いて被写体を検査する検査ステップとを備える。   An image inspection method according to still another aspect of the present invention includes the above-described image processing algorithm generation method and an inspection step of inspecting a subject using the generated image processing algorithm.

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description, the same parts are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.

まず、図1を参照して、本発明に係る画像処理装置が対象とする原画像について説明する。図1は、原画像100の構成を表わす図である。原画像100は、真欠陥110と、
擬似欠陥120とを含む。擬似欠陥120は、たとえばコントラストは大きいが、その大きさが小さいために欠陥として抽出する必要のないものである。
First, an original image targeted by the image processing apparatus according to the present invention will be described with reference to FIG. FIG. 1 is a diagram showing the configuration of the original image 100. The original image 100 includes a true defect 110,
Pseudo defects 120. The pseudo defect 120 has a high contrast, for example, but does not need to be extracted as a defect because of its small size.

図2を参照して、真欠陥110の濃度分布について説明する。図2は、真欠陥110を含む領域を断面AA−AA’で切断した部位における濃度の分布を表わす図である。濃度分布は、たとえば断面AA−AA’方向と256階調(0〜255)で表わされる輝度値とによって示される。   The concentration distribution of the true defect 110 will be described with reference to FIG. FIG. 2 is a diagram showing a concentration distribution at a site where a region including the true defect 110 is cut along a cross section AA-AA ′. The density distribution is indicated by, for example, a cross-sectional AA-AA ′ direction and a luminance value represented by 256 gradations (0 to 255).

図2に示される例では、真欠陥110以外の領域、すなわち正常な領域は輝度値が最大値(255)である。真欠陥110の内部においては、たとえば当該欠陥の周辺領域から中央部に従って輝度が減少し、領域の中央部においては、輝度値は極小値となる。   In the example shown in FIG. 2, the luminance value of the region other than the true defect 110, that is, a normal region has the maximum value (255). In the inside of the true defect 110, for example, the luminance decreases from the peripheral region of the defect according to the central portion, and the luminance value becomes a minimum value in the central portion of the region.

図3を参照して、原画像100の画像処理後の画像300について説明する。図3は、原画像100に対して画像変換、2値化処理、ノイズ除去を行なうことにより生成された画像300を表わす図である。画像300は、欠陥候補が存在する可能性を有する領域である欠陥候補存在領域310,320,330を含む。領域310は、欠陥候補領域312を含む。領域320は、欠陥候補領域322を含む。領域330は、欠陥候補領域332を含む。画像処理装置は、各欠陥候補領域に対して、当該領域の面積およびコントラストを算出する。面積とコントラストとを軸とする特徴量空間が生成される。   With reference to FIG. 3, the image 300 after the image processing of the original image 100 will be described. FIG. 3 is a diagram illustrating an image 300 generated by performing image conversion, binarization processing, and noise removal on the original image 100. The image 300 includes defect candidate existence areas 310, 320, and 330, which are areas where there is a possibility that defect candidates exist. Region 310 includes defect candidate region 312. The area 320 includes a defect candidate area 322. The region 330 includes a defect candidate region 332. The image processing apparatus calculates the area and contrast of each defect candidate region. A feature space with the area and contrast as axes is generated.

そこで、図4を参照して、画像300の特徴量について説明する。図4は、面積とコントラストとに従って画像300において検出された領域の特徴量をプロットした図である。以下、黒丸は、真欠陥に対応し、白丸は、擬似欠陥に対応するものとする。   Therefore, the feature amount of the image 300 will be described with reference to FIG. FIG. 4 is a diagram in which the feature amounts of the areas detected in the image 300 are plotted according to the area and the contrast. Hereinafter, black circles correspond to true defects, and white circles correspond to pseudo defects.

この特徴量空間には、検出された3つの領域に対応する点がプロットされている。投影点410は、図3における欠陥候補領域312に対応する。投影点420は、同様に欠陥候補領域322に対応する。投影点430は、欠陥候補領域332に対応する.このような特徴量空間においてたとえば閾値曲線440が描かれ、プロットされた投影点は当該閾値に従って判断される。   In this feature amount space, points corresponding to the detected three regions are plotted. The projection point 410 corresponds to the defect candidate area 312 in FIG. Similarly, the projection point 420 corresponds to the defect candidate area 322. Projection point 430 corresponds to defect candidate region 332. For example, a threshold curve 440 is drawn in such a feature amount space, and the plotted projection points are determined according to the threshold.

この場合、投影点410と投影点420とは、真欠陥に対応するものである。しかし、閾値曲線440によって、各々異なる領域に属するものとして判断されている。また、投影点430は擬似欠陥に対応するものである。しかし、投影点420と投影点430とは、同じ判断結果が導出される領域に属するものとして分類されている。すなわち、閾値曲線440の形状が複雑な形状でなければ、真欠陥と擬似欠陥とを適切に分離することが困難となる。一方、複雑な曲線の場合、ノイズなどによる欠陥の特徴量のばらつきに対するロバスト性、汎用性が低下するという可能性もある。   In this case, the projection point 410 and the projection point 420 correspond to true defects. However, the threshold curves 440 are determined to belong to different areas. Projection point 430 corresponds to a pseudo defect. However, the projection point 420 and the projection point 430 are classified as belonging to a region from which the same determination result is derived. That is, unless the shape of the threshold curve 440 is complicated, it is difficult to properly separate the true defect and the pseudo defect. On the other hand, in the case of a complex curve, there is a possibility that the robustness and versatility with respect to the variation in the feature amount of the defect due to noise or the like is lowered.

次に、図5を参照して、ノイズが除去された場合の画像について説明する。図5は、図1に示される原画像100に対してノイズを除去することにより生成された画像500を表わす図である。画像500は、欠陥候補存在領域510,520,530を含む。領域510は、欠陥候補領域512を含む。領域520は、欠陥候補領域522を含む。領域530は、欠陥候補領域532を含む。この場合、欠陥候補領域512は、真欠陥110に対応する。欠陥候補領域522は、擬似欠陥とみなされる。   Next, an image when noise is removed will be described with reference to FIG. FIG. 5 shows an image 500 generated by removing noise from the original image 100 shown in FIG. The image 500 includes defect candidate existence areas 510, 520, and 530. Region 510 includes defect candidate region 512. The region 520 includes a defect candidate region 522. Region 530 includes defect candidate region 532. In this case, the defect candidate area 512 corresponds to the true defect 110. The defect candidate area 522 is regarded as a pseudo defect.

次に、図6を参照して、原画像100のコントラストを算出した場合について説明する。図6は、原画像100を用いて各欠陥候補領域のコントラストを算出する際の欠陥候補存在領域が表わされた画像600である。画像600は、欠陥候補存在領域610,620,630を含む。領域610は図5の領域510に対応し、領域620は図5の領域520に対応し、領域630は図5の領域530に対応する。領域610は、欠陥候補領域
612を含む。領域620は、欠陥候補領域622を含む。領域630は、擬似欠陥632を含む。
Next, a case where the contrast of the original image 100 is calculated will be described with reference to FIG. FIG. 6 is an image 600 showing a defect candidate existence area when the contrast of each defect candidate area is calculated using the original image 100. The image 600 includes defect candidate existence areas 610, 620, and 630. Region 610 corresponds to region 510 in FIG. 5, region 620 corresponds to region 520 in FIG. 5, and region 630 corresponds to region 530 in FIG. The region 610 includes a defect candidate region 612. Region 620 includes defect candidate region 622. Region 630 includes pseudo defects 632.

次に、図7を参照して、ノイズ除去後の画像についての面積とコントラストとを用いた特徴量について説明する。図7は、画像600を用いて算出したコントラストと当該画像に含まれる欠陥の面積とを使用する特徴量空間を表わす図である。この特徴量空間には、投影点710,720,730がプロットされている。また閾値曲線740は、投影点710,720と、投影点730との間に設定されている。投影点710は、図5に示される欠陥候補領域512に対応する。投影点720は、同様に欠陥候補領域522に対応する。投影点730は、欠陥候補領域532に対応する。   Next, with reference to FIG. 7, the feature amount using the area and contrast of the image after noise removal will be described. FIG. 7 is a diagram illustrating a feature amount space using the contrast calculated using the image 600 and the area of the defect included in the image. Projection points 710, 720, and 730 are plotted in this feature amount space. The threshold curve 740 is set between the projection points 710 and 720 and the projection point 730. The projection point 710 corresponds to the defect candidate area 512 shown in FIG. Similarly, the projection point 720 corresponds to the defect candidate area 522. Projection point 730 corresponds to defect candidate region 532.

次に、図8を参照して、複数の欠陥候補領域を連結した場合について説明する。図8は、2つの欠陥候補領域を連結して生成される欠陥候補領域810を含む画像800を表わす図である。   Next, a case where a plurality of defect candidate regions are connected will be described with reference to FIG. FIG. 8 is a diagram illustrating an image 800 including a defect candidate area 810 generated by connecting two defect candidate areas.

複数の欠陥候補領域を連結することにより1つの欠陥候補領域を生成すると、図8に示されるように、2つの欠陥候補領域の各々の面積の和よりも大きな面積を有する欠陥候補領域810が生成される場合がある。このような場合、欠陥候補領域810の特徴量を前述のような特徴量空間にプロットすると、原画像に含まれる1つの真欠陥と同じ面積を有する欠陥候補領域を抽出した場合の特徴量に対応する投影点よりも当該特徴量空間の原点から遠い位置にプロットされる。この場合、原点に近いほうが真欠陥でなく擬似欠陥である可能性が高いことも考慮すると、実際よりも真欠陥と擬似欠陥との分離度が高いという誤った評価がなされる場合もある。このような場合を防ぐため、欠陥が分離された状況を考慮して、適切な連結のための画像処理アルゴリズムを判断して、画像処理を実施する必要がある。その結果、画像処理の時間が増大する可能性もある。   When one defect candidate region is generated by connecting a plurality of defect candidate regions, a defect candidate region 810 having an area larger than the sum of the areas of the two defect candidate regions is generated as shown in FIG. May be. In such a case, when the feature amount of the defect candidate region 810 is plotted in the feature amount space as described above, it corresponds to the feature amount when a defect candidate region having the same area as one true defect included in the original image is extracted. It is plotted at a position farther from the origin of the feature space than the projected point. In this case, in consideration of the fact that nearer to the origin is more likely to be a pseudo defect rather than a true defect, an erroneous evaluation may be made that the degree of separation between the true defect and the pseudo defect is higher than the actual defect. In order to prevent such a case, it is necessary to determine an image processing algorithm for proper connection in consideration of a situation where defects are separated and to perform image processing. As a result, the image processing time may increase.

次に、図9を参照して、本発明の実施の形態において説明する際に使用される用語を説明する。図9は、画像処理アルゴリズムを実現するためのフィルタの構成を表わすテーブル900である。テーブル900は、フィルタを識別するためのID(Identification)910と、ID910に対応するフィルタの名称920と、フィルタの名称920に対応付けられるフィルタの内容930とを含む。本実施の形態においては、図9に示されるようにたとえば6つのフィルタが使用される。しかしながら、本発明に係る技術的思想は当該フィルタの数に限られない。また、フィルタの内容930に示される各々の処理は当業者にとって容易に理解できるものである。したがって、ここでは詳細な説明は述べない。   Next, with reference to FIG. 9, terms used in the description of the embodiment of the present invention will be described. FIG. 9 is a table 900 representing the configuration of a filter for realizing the image processing algorithm. The table 900 includes an ID (Identification) 910 for identifying a filter, a filter name 920 corresponding to the ID 910, and a filter content 930 associated with the filter name 920. In the present embodiment, for example, six filters are used as shown in FIG. However, the technical idea according to the present invention is not limited to the number of filters. Further, each processing shown in the filter content 930 can be easily understood by those skilled in the art. Therefore, detailed description is not described here.

まず、画像処理アルゴリズムとは、図9に示される6つの画像処理フィルタの複数の組合せで構成されるフィルタ列に対して2値化処理を加えたものをいう。画像処理アルゴリズムは、さらに必要に応じて当該2値化処理の後にノイズを除去するための処理を含んでいてもよい。この場合、ノイズを除去するための処理は、たとえば膨張収縮処理、あるいは孤立点除去などを含む。以下の説明では、ノイズを除去する処理は、膨張収縮処理の後に孤立点除去を行なうものとして説明する。また画像処理アルゴリズムは、2値化処理の後にノイズを除去する処理を行なうものとする。   First, the image processing algorithm is obtained by adding a binarization process to a filter row composed of a plurality of combinations of the six image processing filters shown in FIG. The image processing algorithm may further include a process for removing noise after the binarization process as necessary. In this case, the processing for removing noise includes, for example, expansion / contraction processing or isolated point removal. In the following description, the process for removing noise will be described on the assumption that isolated point removal is performed after the expansion / contraction process. In addition, the image processing algorithm performs processing for removing noise after binarization processing.

次に、真欠陥とは、検査員が検査対象(たとえばガラス基板等)は不良品であると判定する要因となる真性の欠陥をいう。また、擬似欠陥とは、当該検査対象を検査する工程で検出される欠陥ではあるが、その検査対象を不良品と判定するには至らず実際には検査対象は良品であると判定可能な欠陥をいう。   Next, the true defect means an intrinsic defect that causes an inspector to determine that an inspection target (for example, a glass substrate) is a defective product. In addition, the pseudo defect is a defect detected in the process of inspecting the inspection object, but the inspection object cannot be determined to be a defective product, and the inspection object can actually be determined to be a non-defective product. Say.

原画像とは、検査対象をCCD(Charged Coupled Device)その他を有するカメラを用いて撮影することにより生成された画像をいう。欠陥候補領域とは、上記の原画像に対
して何らかの画像処理を行ない、さらに2値化処理とノイズを除去する処理とを行なった後に画像変換処理をさらに行ない変換後の画像に対してラベリング処理を行なうことにより、1つの領域として特定されるものをいう。欠陥候補存在領域とは、上記の欠陥候補領域とその周辺の領域とを含む領域をいう。欠陥候補存在領域は、たとえば矩形の領域として表わされる。あるいは円形、楕円その他の曲線によって特定される領域であってもよい。矩形領域が、欠陥候補存在領域として使用される場合、当該矩形領域の中心は、欠陥候補領域の画像の重心に相当する。矩形領域の2辺(すなわち縦方向、横方向)は、当該欠陥候補領域のフェレ径の2倍の大きさとする。なお、画像の周辺部に欠陥候補存在領域が存在する場合には、当該画像のエッジが優先される。この場合、上述の欠陥候補存在領域に相当する矩形領域は、フェレ径の2倍の大きさよりも小さくなる。
An original image means an image generated by photographing an inspection object using a camera having a CCD (Charged Coupled Device) or the like. The defect candidate area is a labeling process performed on the converted image by performing some image processing on the original image, further performing binarization processing and noise removal processing, and further performing image conversion processing. By doing, it is specified as one area. The defect candidate existence area refers to an area including the defect candidate area and its surrounding area. The defect candidate existence area is represented as a rectangular area, for example. Alternatively, it may be a region specified by a circle, an ellipse or other curve. When a rectangular area is used as a defect candidate existing area, the center of the rectangular area corresponds to the center of gravity of the image of the defect candidate area. Two sides of the rectangular area (that is, the vertical direction and the horizontal direction) are twice as large as the ferret diameter of the defect candidate area. In addition, when a defect candidate existence area exists in the peripheral part of the image, the edge of the image is given priority. In this case, the rectangular area corresponding to the defect candidate existing area is smaller than twice the ferret diameter.

目標画像とは、原画像に含まれる真欠陥に関する情報を画像で与えたものをいう。本実施の形態においては、256階調が使用される場合、目標画像は各画素の濃度値が0か255、すなわち黒(0)か白(255)かの2値画像とする。この場合、原画像に含まれる真欠陥の画素のみが白くなり、その他の画素は黒い画像となる。教示真欠陥とは、目標画像で与えられる真欠陥をいう。抽出真欠陥とは、欠陥候補領域の中から原画像に含まれる真欠陥に対応するものと判定された欠陥をいう。抽出真欠陥とは、原画像中の1つの真欠陥を画像変換処理して生成された画像において複数の欠陥候補領域に分裂した場合にその中の1つの欠陥候補領域をいう。抽出分裂真欠陥は、その他の残りの欠陥候補領域をいう。抽出擬似欠陥とは、欠陥候補領域のうち、抽出真欠陥および抽出分裂真欠陥のいずれでもないものをいう。   A target image is an image obtained by giving information on true defects included in an original image. In the present embodiment, when 256 gradations are used, the target image is a binary image in which the density value of each pixel is 0 or 255, that is, black (0) or white (255). In this case, only true defective pixels included in the original image are white, and the other pixels are black images. The taught true defect is a true defect given by the target image. The extracted true defect means a defect determined to correspond to a true defect included in the original image from the defect candidate areas. The extracted true defect means one defect candidate area in the case where one true defect in the original image is divided into a plurality of defect candidate areas in an image generated by image conversion processing. The extracted fission true defect means other remaining defect candidate areas. The extracted pseudo defect means a defect candidate area that is neither an extracted true defect nor an extracted split true defect.

ここで、図10を参照して、欠陥の濃淡情報を用いた検査方法について説明する。図10は、検査対象を撮影することにより生成された原画像1000を表わす図である。原画像1000は、欠陥候補存在領域1010,1020を含む。欠陥候補存在領域1010は、真欠陥1012を含む。欠陥候補存在領域1020は、真欠陥1022を含む。欠陥候補存在領域1010は、たとえば矩形領域であり、X方向の長さは、DCRA_Xである。またY方向の長さは、DCRA_Yである。欠陥候補存在領域1020も同様に矩形領域である。欠陥候補存在領域1020の大きさは、たとえばX方向がDCRB_Xであり、Y方向がDCRB_Yである。   Here, with reference to FIG. 10, an inspection method using the density information of defects will be described. FIG. 10 is a diagram illustrating an original image 1000 generated by photographing an inspection target. The original image 1000 includes defect candidate existence areas 1010 and 1020. The defect candidate existence area 1010 includes a true defect 1012. The defect candidate existence area 1020 includes a true defect 1022. The defect candidate existence area 1010 is, for example, a rectangular area, and the length in the X direction is DCRA_X. The length in the Y direction is DCRA_Y. Similarly, the defect candidate existence area 1020 is a rectangular area. The size of the defect candidate existence area 1020 is, for example, DCRB_X in the X direction and DCRB_Y in the Y direction.

このような原画像1000に対し、画像フィルタ処理を施すことにより画像変換が行なわれる。画像変換によって生成された画像に対して予め設定された閾値を用いて2値化処理が行なわれる。2値化処理によって生成された画像に対して、ノイズ除去処理が実行される。この処理は、たとえば膨張、収縮による小さい穴埋め、あるいは孤立点除去などの処理を含む。このような処理が完了すると、ノイズが除去され、2値化された画像が生成される。   Such original image 1000 is subjected to image filter processing to perform image conversion. A binarization process is performed on an image generated by image conversion using a preset threshold value. A noise removal process is performed on the image generated by the binarization process. This processing includes, for example, processing such as small hole filling by expansion and contraction, or isolated point removal. When such processing is completed, noise is removed and a binarized image is generated.

そこで、図11を参照して、原画像1000についてノイズが除去された画像1100について説明する。図11は、画像1100の概略を表わす図である。画像1100は、欠陥候補存在領域1010,1020を含む。欠陥候補存在領域1010は、欠陥候補領域1012を含む。欠陥候補存在領域1020は、欠陥候補領域1022を含む。欠陥候補存在領域1010、1020は、それぞれ矩形の領域である。当該矩形は、前述の図10に示される大きさに相当する。ノイズを除去することにより生成された画像1100について、特徴量空間としてたとえばX方向の大きさと輝度値とを有する空間が定義される。この場合、輝度値は256階調であり、白色の輝度値は255となる。欠陥候補領域1012を当該特徴量空間にプロットすると、たとえばその領域のフェレ径DCRA_FXの大きさがその空間に示される。欠陥候補領域1022についても同様である。   An image 1100 from which noise has been removed from the original image 1000 will be described with reference to FIG. FIG. 11 is a diagram showing an outline of the image 1100. The image 1100 includes defect candidate existence areas 1010 and 1020. The defect candidate existence area 1010 includes a defect candidate area 1012. The defect candidate existence area 1020 includes a defect candidate area 1022. The defect candidate existence areas 1010 and 1020 are rectangular areas. The rectangle corresponds to the size shown in FIG. For the image 1100 generated by removing noise, a space having, for example, a size in the X direction and a luminance value is defined as a feature amount space. In this case, the luminance value is 256 gradations, and the white luminance value is 255. When the defect candidate region 1012 is plotted in the feature amount space, for example, the size of the ferret diameter DCRA_FX of the region is shown in the space. The same applies to the defect candidate area 1022.

図12は、特徴量空間を表わす図である。図12に示されるように、面積とコントラス
トとにより定義される特徴量空間には、欠陥候補領域1112に対応する投影点1210と、欠陥候補領域1122に対応する投影点1220とがプロットされている。当該特徴量空間に対して予め設定された閾値曲線は、たとえば投影点1220よりも原点を通過するように設定される。このようにすると、濃淡情報も利用した欠陥判定が可能になる。
FIG. 12 is a diagram showing a feature amount space. As shown in FIG. 12, a projection point 1210 corresponding to the defect candidate region 1112 and a projection point 1220 corresponding to the defect candidate region 1122 are plotted in the feature amount space defined by the area and the contrast. . The threshold curve set in advance for the feature amount space is set so as to pass through the origin rather than the projection point 1220, for example. In this way, it is possible to determine the defect using the density information.

次に、図13を参照して、本実施の形態に係る画像処理装置の対象となる目標画像1300について説明する。図13は、目標画像1300を2値画像として表わした図である。目標画像1300は、教示真欠陥1310を含む。   Next, a target image 1300 that is a target of the image processing apparatus according to the present embodiment will be described with reference to FIG. FIG. 13 is a diagram showing the target image 1300 as a binary image. The target image 1300 includes a taught true defect 1310.

図14を参照して、本実施の形態に係る画像処理アルゴリズム評価装置1400について説明する。図14は、画像処理アルゴリズム評価装置1400の機能の構成を表わすブロック図である。   With reference to FIG. 14, an image processing algorithm evaluation apparatus 1400 according to the present embodiment will be described. FIG. 14 is a block diagram showing a functional configuration of image processing algorithm evaluation apparatus 1400.

画像処理アルゴリズム評価装置1400は、外部から画像データの入力を受付ける画像データ入力部1410と、画像データ入力部1410により入力が受付けられたデータを用いて画像処理アルゴリズムの評価を行なう画像処理アルゴリズム評価管理部1412と、画像処理アルゴリズムの評価の結果を出力する表示部1430とを備える。   The image processing algorithm evaluation apparatus 1400 has an image data input unit 1410 that accepts input of image data from the outside, and an image processing algorithm evaluation management that evaluates the image processing algorithm using the data accepted by the image data input unit 1410. Unit 1412 and a display unit 1430 for outputting a result of evaluation of the image processing algorithm.

画像処理アルゴリズム評価管理部1412は、画像データを格納する画像データベース1420と、予め準備された複数の画像処理アルゴリズムを実現するプログラムを格納する画像処理アルゴリズムデータベース1423と、入力された画像データを目標画像として設定するための目標画像設定部1421と、教示真欠陥の特徴量を算出する特徴量算出部1422と、特徴量算出部1422による算出結果と画像処理アルゴリズムデータベース1423に格納されている画像処理アルゴリズムとに基づいて画像処理アルゴリズムを決定するための選択部1424と、決定された画像処理アルゴリズムを用いて入力された画像データに対して変換処理を行なう画像データ変換部1425と、画像データ変換部1425によって生成されたデータを用いて欠陥候補領域を抽出する欠陥候補領域特徴量算出部1426と、各欠陥候補領域の種類を判定する種類判定部1427と、予め設定された基準に従って特定される特徴量空間に欠陥候補のデータをプロットする特徴量マップ作成部1428と、特徴量空間にプロットされた欠陥候補に対応する値に基づいて画像処理アルゴリズムの評価値を算出する評価値算出部1429とを含む。   The image processing algorithm evaluation management unit 1412 includes an image database 1420 that stores image data, an image processing algorithm database 1423 that stores programs that implement a plurality of image processing algorithms prepared in advance, and the input image data as target images. A target image setting unit 1421 for setting as a feature amount, a feature amount calculation unit 1422 for calculating a feature amount of a teaching true defect, a calculation result by the feature amount calculation unit 1422, and an image processing algorithm stored in the image processing algorithm database 1423 A selection unit 1424 for determining an image processing algorithm based on the above, an image data conversion unit 1425 for performing conversion processing on image data input using the determined image processing algorithm, and an image data conversion unit 1425 Data generated by A defect candidate area feature quantity calculating unit 1426 for extracting defect candidate areas using a, a type determining unit 1427 for determining the type of each defect candidate area, and a defect candidate in a feature quantity space specified according to a predetermined criterion. A feature amount map creation unit 1428 for plotting data and an evaluation value calculation unit 1429 for calculating an evaluation value of the image processing algorithm based on values corresponding to defect candidates plotted in the feature amount space are included.

次に、図15を参照して、本実施の形態に係る画像処理アルゴリズム評価装置を実現するコンピュータシステム1500について説明する。図15は、コンピュータシステム1500のハードウェア構成を表わすブロック図である。   Next, a computer system 1500 that implements the image processing algorithm evaluation apparatus according to the present embodiment will be described with reference to FIG. FIG. 15 is a block diagram showing a hardware configuration of computer system 1500.

コンピュータシステム1500は、相互にデータベースによって接続されたCPU(Central Processing Unit)1510と、コンピュータシステム1500の使用者による指示の入力を受付けるマウス1520,キーボード1530と、入力されたデータあるいはCPU1510によるプログラムの実行によって生成されるデータを一時的に格納するRAM(Random Access Memory)1540と、大容量のデータを格納可能であってランダムにアクセス可能なハードディスク1550と、CD−ROM(Compact Disk-Read Only Memory)駆動装置1560と、モニタ1580と、通信IF(Interface)1590とを含む。CD−ROM駆動装置1560には、データ記録媒体であるCD−ROM1562が装着される。   The computer system 1500 includes a CPU (Central Processing Unit) 1510 connected to each other by a database, a mouse 1520 and a keyboard 1530 that accept input of instructions from a user of the computer system 1500, and input data or execution of a program by the CPU 1510. RAM (Random Access Memory) 1540 for temporarily storing data generated by the hard disk, a hard disk 1550 capable of storing a large amount of data and randomly accessible, and a CD-ROM (Compact Disk-Read Only Memory) It includes a drive device 1560, a monitor 1580, and a communication IF (Interface) 1590. A CD-ROM drive 1560 is loaded with a CD-ROM 1562 which is a data recording medium.

コンピュータシステム1500における処理は、各ハードウェアおよびCPU1510により実行されるソフトウェアによって実現される。このようなソフトウェアは、RAM1540あるいはハードディスク1550に予め記憶されている。また、当該ソフトウェアは、CD−ROM1562その他のデータ記録媒体に格納されて、プログラム製品とし
て流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のデータ通信回線に接続している情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、CD−ROM駆動装置1560その他のデータ読取装置によりそのデータ記録媒体から読取られた後に、あるいは通信IF1590を介してダウンロードされた後に、ハードディスク1550に一旦格納される。そのソフトウェアは、ハードディスク1550からRAM1540に実行可能な形式として読出され、そしてCPU1510によって実行される。
The processing in the computer system 1500 is realized by each hardware and software executed by the CPU 1510. Such software is stored in the RAM 1540 or the hard disk 1550 in advance. In addition, the software may be stored in a CD-ROM 1562 or other data recording medium and distributed as a program product. Alternatively, the software may be provided as a program product that can be downloaded by an information provider connected to the Internet or other data communication line. Such software is temporarily stored in the hard disk 1550 after being read from the data recording medium by the CD-ROM drive 1560 or other data reader or downloaded via the communication IF 1590. The software is read from hard disk 1550 into RAM 1540 as an executable format and executed by CPU 1510.

図15に示されるコンピュータシステム1500を構成する各ハードウェアは、一般的なものである。したがって、以下で説明する本発明の最も本質的な部分は、RAM1540、ハードディスク1550、CD−ROM1562その他のデータ記録媒体に格納された、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、コンピュータシステム1500の各ハードウェアの動作は周知であり当業者にとって容易に理解できるものである。したがって、ここではその詳細な説明は述べない。   Each hardware constituting the computer system 1500 shown in FIG. 15 is general. Therefore, it can be said that the most essential part of the present invention described below is software stored in a RAM 1540, a hard disk 1550, a CD-ROM 1562, or other data recording medium, or downloadable via a network. The operation of each hardware of the computer system 1500 is well known and can be easily understood by those skilled in the art. Therefore, the detailed description is not described here.

次に図16を参照して、本実施の形態に係る画像処理アルゴリズム評価装置の制御構造について説明する。図16は、当該評価装置として機能するコンピュータシステム1500が実行する処理の手順を表わすフローチャートである。   Next, the control structure of the image processing algorithm evaluation apparatus according to the present embodiment will be described with reference to FIG. FIG. 16 is a flowchart showing a procedure of processing executed by computer system 1500 functioning as the evaluation apparatus.

ステップS1602にて、コンピュータシステム1500のCPU1510は、外部から入力された原画像データの入力を受け付ける。入力された原画像データは、画像データベース1420として機能するハードディスク1550に格納される。ステップS1604にて、CPU1510は、外部から目標画像の入力を受け付ける。この画像に対応するデータも同様に、ハードディスク1550において予め確保された領域に書き込まれる。   In step S1602, CPU 1510 of computer system 1500 accepts input of original image data input from the outside. The input original image data is stored in the hard disk 1550 that functions as the image database 1420. In step S1604, CPU 1510 accepts an input of a target image from the outside. Similarly, the data corresponding to the image is written in an area secured in advance in the hard disk 1550.

ステップS1606にて、CPU1510は、特徴量算出部1422として、教示真欠陥の特徴量を算出する。ステップS1608にて、CPU1510は、選択部1424として、算出された特徴量とハードディスク1550に予め格納されている画像処理アルゴリズムとを用いて画像処理アルゴリズムを決定する。ステップS1610にて、CPU1510は、画像データ変換部1425として決定された画像処理アルゴリズムを用いて画像データの変換処理を実行する。   In step S <b> 1606, the CPU 1510 calculates the feature amount of the taught true defect as the feature amount calculation unit 1422. In step S 1608, CPU 1510 determines an image processing algorithm as the selection unit 1424 using the calculated feature amount and the image processing algorithm stored in advance in hard disk 1550. In step S1610, CPU 1510 executes image data conversion processing using the image processing algorithm determined as image data conversion unit 1425.

ステップS1612にて、CPU1510は、欠陥候補領域特徴量算出部1426として、画像変換処理によって生成された画像に対するラベリングを実行する。このラベリングにより、欠陥候補領域が抽出される。CPU1510は、さらに各欠陥候補領域についてそれぞれの特徴量を算出する。   In step S <b> 1612, the CPU 1510 performs labeling on the image generated by the image conversion process as the defect candidate area feature amount calculation unit 1426. By this labeling, a defect candidate area is extracted. The CPU 1510 further calculates a feature amount for each defect candidate region.

ステップS1614にて、CPU1510は、追加の特徴量がまだ算出されていない欠陥候補領域を1つ選択する。ステップS1616にて、CPU1510は、ステップS1614にて選択された欠陥候補領域についての欠陥候補存在領域を決定する。決定された領域は、たとえば矩形である。ステップS1618にて、CPU1510は、入力された原画像から欠陥候補存在領域を切り出す。ステップS1620にて、CPU1510は、ステップS1618にて切り出された欠陥候補存在領域に含まれる追加の特徴量を算出する。   In step S1614, CPU 1510 selects one defect candidate area for which an additional feature amount has not yet been calculated. In step S1616, CPU 1510 determines a defect candidate existence area for the defect candidate area selected in step S1614. The determined area is, for example, a rectangle. In step S1618, CPU 1510 cuts out a defect candidate existing area from the input original image. In step S1620, CPU 1510 calculates an additional feature amount included in the defect candidate existence area cut out in step S1618.

ステップS1622にて、CPU1510は、すべての欠陥候補領域の追加特徴量を算出したか否かを判断する。CPU1510が、すべての欠陥候補領域の追加特徴量を算出したと判断すると(ステップS1622にてYES)、処理はステップS1704に移される。そうでない場合には(ステップS1622にてNO)、処理はステップS1616に戻される。   In step S1622, CPU 1510 determines whether or not additional feature amounts of all defect candidate areas have been calculated. If CPU 1510 determines that the additional feature amount of all defect candidate areas has been calculated (YES in step S1622), the process proceeds to step S1704. If not (NO in step S1622), the process returns to step S1616.

ステップS1700にて、CPU1510は、後述する判定処理を実行する。この処理が実行されると、抽出された各々の欠陥候補領域が抽出真欠陥、抽出分裂真欠陥、あるいは抽出擬似欠陥のいずれであるかが判定される。   In step S1700, CPU 1510 executes a determination process described later. When this process is executed, it is determined whether each extracted defect candidate area is an extracted true defect, an extracted split true defect, or an extracted pseudo defect.

ステップS1626にて、CPU1510は、特徴量空間に各欠陥候補に対応する投影点をプロットする。具体的には、ステップS1612にて抽出された各欠陥候補領域の各々について、そのときに算出された面積と、ステップS1620にて算出されたコントラストとの2つの特徴量を軸とする特徴量空間が規定される。この特徴量空間において、各欠陥候補領域の特徴量がそれぞれ対応付けられる。この処理をたとえば表示部1430として機能するモニタ1580に表示させる場合には、抽出真欠陥と抽出擬似欠陥と抽出分裂真欠陥とがそれぞれ異なる態様でプロットされる。たとえば、抽出真欠陥は、黒丸で表示されるようにプロットされる。抽出擬似欠陥は、白丸で表示されるようにプロットされる。また、抽出分裂真欠陥は、モニタ1580に表示させない。   In step S1626, CPU 1510 plots projection points corresponding to the defect candidates in the feature amount space. Specifically, for each of the defect candidate regions extracted in step S1612, a feature amount space centered on two feature amounts of the area calculated at that time and the contrast calculated in step S1620. Is defined. In the feature amount space, the feature amounts of the defect candidate areas are associated with each other. For example, when this process is displayed on the monitor 1580 functioning as the display unit 1430, the extracted true defect, the extracted pseudo defect, and the extracted split true defect are plotted in different modes. For example, the extracted true defect is plotted so as to be displayed as a black circle. The extracted pseudo defects are plotted so as to be displayed as white circles. Further, the extracted split true defect is not displayed on the monitor 1580.

ステップS1628にて、CPU1510は、評価値算出部1429として画像処理アルゴリズムの評価値を算出する。この場合、画像処理アルゴリズムの評価は、たとえば多目的最適化問題における一般的な評価関数を用いて行なわれる。この評価関数の一例は、たとえば、上記の特徴量空間における抽出真欠陥と抽出擬似欠陥との分離度(以下、分離度Dと表わす)を表わす次式によって規定される。この場合、分離度Dの値が大きい方がより優れた画像処理アルゴリズムとされる。   In step S1628, CPU 1510 calculates an evaluation value of the image processing algorithm as evaluation value calculation unit 1429. In this case, the evaluation of the image processing algorithm is performed using, for example, a general evaluation function in the multi-objective optimization problem. An example of this evaluation function is defined by, for example, the following expression representing the degree of separation between the extracted true defect and the extracted pseudo defect in the feature amount space (hereinafter referred to as the degree of separation D). In this case, a larger image separation algorithm D is a better image processing algorithm.

D=(DCR_A−DCF_A)2+(DCR_C−DCF_C)2
ここで、DCR_Aは、最も原点に近い抽出真欠陥の面積を表わす。DCF_Aは、最も原点から遠い抽出擬似欠陥の面積を表わす。DCR_Cは、原点に最も近い抽出真欠陥のコントラストを表わす。DCF_Cは、原点から最も遠い抽出擬似欠陥のコントラストを表わす。
D = (DCR_A−DCF_A) 2 + (DCR_C−DCF_C) 2
Here, DCR_A represents the area of the extracted true defect closest to the origin. DCF_A represents the area of the extracted pseudo defect farthest from the origin. DCR_C represents the contrast of the extracted true defect closest to the origin. DCF_C represents the contrast of the extracted pseudo defect farthest from the origin.

図17は、判定処理(S1700)の手順を表わすフローチャートである。ステップS1710にて、CPU1510は、RAM1540に格納されているデータに基づいて、対応する欠陥候補領域の存在を確認していない教示真欠陥を1つ選択する(TRDi)。ステップS1720にて、CPU1510は、教示真欠陥の存在する画素と一致する画素を有する欠陥候補領域をすべて抽出する。ステップS1730にて、CPU1510は、抽出された欠陥候補領域の中で、教示真欠陥との画素の一致度が最も高い欠陥候補領域(DCRAk)を1つ選択する。   FIG. 17 is a flowchart showing the procedure of the determination process (S1700). In step S1710, CPU 1510 selects one taught true defect that has not been confirmed to have a corresponding defect candidate area based on the data stored in RAM 1540 (TRDi). In step S1720, CPU 1510 extracts all defect candidate areas having pixels that match the pixels where the teaching true defect exists. In step S1730, CPU 1510 selects one defect candidate area (DCRAk) having the highest degree of pixel matching with the taught true defect from the extracted defect candidate areas.

具体的には、ステップS1720にて抽出された欠陥候補領域の数が2つ以上の場合に、その中の1つが選択される。欠陥候補領域が1つしか存在しない場合には、当該欠陥候補領域が選択される。欠陥候補領域が2つ存在する場合、まず教示真欠陥との画素の一致度が算出される。本実施の形態においては、一致度(Vm)は、欠陥候補領域の全画素について、たとえば次式のように計算される。   Specifically, when the number of defect candidate areas extracted in step S1720 is two or more, one of them is selected. If there is only one defect candidate area, the defect candidate area is selected. When there are two defect candidate areas, first, the degree of coincidence of the pixel with the taught true defect is calculated. In the present embodiment, the degree of coincidence (Vm) is calculated for all pixels in the defect candidate area, for example, as in the following equation.

Vm=2×Pm/(Pa+Pt)
但し、Pmは教示真欠陥の画素と一致する画素数である。Paは、欠陥候補領域の全画素数である。Ptは、教示真欠陥領域の全画素数である。
Vm = 2 × Pm / (Pa + Pt)
Here, Pm is the number of pixels that coincide with the true defective pixel. Pa is the total number of pixels in the defect candidate area. Pt is the total number of pixels in the taught true defect area.

この場合、一致度Vmは1.0以下の値となり、最も大きい値すなわち最も1.0に近い値を導出する欠陥候補領域がその一致度が最も高くなる。このようにして選択された欠陥候補領域は以下欠陥候補領域DCRAkと表現される。   In this case, the degree of coincidence Vm is 1.0 or less, and the defect candidate region that derives the largest value, that is, the value closest to 1.0, has the highest degree of coincidence. The defect candidate area selected in this way is hereinafter expressed as a defect candidate area DCRAk.

図17を再び参照して、ステップS1740にて、CPU1510は、欠陥候補領域DCRAkを教示真欠陥TRDiに対応する欠陥を候補領域(抽出真欠陥)と設定する。ステップS1750にて、CPU1510は、ステップS1730にて抽出された欠陥候補領域DCRAk以外の欠陥候補領域を抽出分裂真欠陥と分類する。   Referring to FIG. 17 again, in step S1740, CPU 1510 sets defect candidate area DCRAk as a candidate area (extracted true defect) as a defect corresponding to taught true defect TRDi. In step S1750, CPU 1510 classifies the defect candidate regions other than defect candidate region DCRAk extracted in step S1730 as an extracted split true defect.

ステップS1760にて、CPU1510は、すべての教示真欠陥について対応する欠陥候補領域の存在の確認を行なったか否かを判断する。CPU1510が、そのような確認を行なったと判断すると(ステップS1760にてYES)、処理はステップS1770に移される。そうでない場合には(ステップS1760にてNO)、処理はステップS1710に戻される。   In step S1760, CPU 1510 determines whether or not the existence of corresponding defect candidate areas has been confirmed for all taught true defects. If CPU 1510 determines that such confirmation has been made (YES in step S1760), the process proceeds to step S1770. If not (NO in step S1760), the process returns to step S1710.

ステップS1770にて、CPU1510は、抽出真欠陥とも抽出分裂真欠陥とも判定されていない欠陥候補領域を、抽出擬似欠陥に分類する。その後、処理はメイン処理(図16)に戻される。   In step S1770, CPU 1510 classifies the defect candidate areas that are not determined as the extracted true defect or the extracted split true defect as the extracted pseudo defect. Thereafter, the process returns to the main process (FIG. 16).

図18を参照して、本実施の形態に係る画像処理アルゴリズム評価装置における評価の方法について説明する。図18は、欠陥候補領域の特徴量としての面積とコントラストとによって規定される特徴量空間を表わす図である。特徴量空間には、投影点1810,1820がそれぞれプロットされる。投影点1810と投影点1820との間には、予め設定された判定基準に従う閾値曲線1840が示される。   With reference to FIG. 18, an evaluation method in the image processing algorithm evaluation apparatus according to the present embodiment will be described. FIG. 18 is a diagram illustrating a feature amount space defined by the area and the contrast as the feature amount of the defect candidate region. Projection points 1810 and 1820 are plotted in the feature amount space. Between the projection point 1810 and the projection point 1820, a threshold curve 1840 according to a preset criterion is shown.

投影点1810は、たとえば図3に示される欠陥候補領域312に対応する。投影点1820は、欠陥候補領域332に対応する。   Projection point 1810 corresponds to defect candidate region 312 shown in FIG. 3, for example. Projection point 1820 corresponds to defect candidate region 332.

このようにして特徴量空間にプロットされている各欠陥候補領域の投影点を表わす情報に基づいて、上記のような分離度Dを表わす算式に基づいて、画像処理アルゴリズムの評価値が算出される。   In this way, the evaluation value of the image processing algorithm is calculated based on the formula representing the degree of separation D as described above based on the information representing the projection points of the defect candidate areas plotted in the feature amount space. .

次に、図19を参照して、本実施の形態に係る画像処理アルゴリズム生成装置について説明する。図19は、画像処理アルゴリズム生成装置1900が有する機能の構成を表わすブロック図である。画像処理アルゴリズム生成装置1900は、当該装置の使用者が、入力する画像データに基づいて、画像処理を実行するためのアルゴリズムを導出することを支援する。   Next, an image processing algorithm generation apparatus according to the present embodiment will be described with reference to FIG. FIG. 19 is a block diagram illustrating a functional configuration of image processing algorithm generation apparatus 1900. The image processing algorithm generation apparatus 1900 assists a user of the apparatus in deriving an algorithm for performing image processing based on input image data.

画像処理アルゴリズム生成装置1900は、外部から画像データの入力を受付ける画像データ入力部1910と、入力されたデータに基づいて画像処理アルゴリズムを生成する画像処理アルゴリズム管理部1912と、画像処理アルゴリズム生成装置1900において格納されているデータを表示する表示部1930とを備える。画像処理アルゴリズム管理部1912は、画像データ入力部1910を介して入力された画像データを格納する画像データベース1920と、画像データベース1920に予め格納されているパラメータを、入力される指示に基づいて変更する初期パラメータ設定部1921と、画像データベース1920に格納されている原画像に対する処理の設定対象となるデータの入力を受付ける設定部1922と、予め準備された複数のフィルタのいずれかを組合せることにより画像処理アルゴリズムを生成する画像処理アルゴリズム生成部1923と、生成された画像処理アルゴリズムの評価を行なう画像処理アルゴリズム評価部1924と、入力された画像データに対して予め設定された基準を満足する画像処理アルゴリズムが生成されたか否かを判断する画像処理アルゴリズム生成完了判断部1925とを含む。   The image processing algorithm generation device 1900 includes an image data input unit 1910 that accepts input of image data from the outside, an image processing algorithm management unit 1912 that generates an image processing algorithm based on the input data, and an image processing algorithm generation device 1900. And a display unit 1930 for displaying data stored therein. The image processing algorithm management unit 1912 changes the image database 1920 storing the image data input via the image data input unit 1910 and the parameters stored in advance in the image database 1920 based on the input instruction. An image is obtained by combining an initial parameter setting unit 1921, a setting unit 1922 that accepts input of data to be set for processing on an original image stored in the image database 1920, and a plurality of filters prepared in advance. An image processing algorithm generation unit 1923 that generates a processing algorithm, an image processing algorithm evaluation unit 1924 that evaluates the generated image processing algorithm, and an image processing algorithm that satisfies a preset criterion for input image data Whether has been generated And an image processing algorithm generating completion determining unit 1925 for determining.

本実施の形態に係る画像処理アルゴリズム生成装置1900は、たとえば図15に示されるような構成を有するコンピュータシステム1500によって具体的に実現される。す
なわち、上記の各処理を実現するソフトウェアがコンピュータシステム1500の各ハードウェアによって協働して実行されることにより、コンピュータシステム1500は、画像処理アルゴリズム生成装置1900として機能する。各ハードウェアの動作は前述の動作と同一である。したがって、ここではコンピュータシステム1500についての詳細な説明は繰り返さない。
An image processing algorithm generation apparatus 1900 according to the present embodiment is specifically realized by a computer system 1500 having a configuration as shown in FIG. In other words, the computer system 1500 functions as the image processing algorithm generation apparatus 1900 by the software that implements the above-described processes being executed in cooperation by the hardware of the computer system 1500. The operation of each hardware is the same as that described above. Therefore, detailed description of computer system 1500 will not be repeated here.

図20を参照して、画像処理アルゴリズム生成装置1900の制御構造について説明する。以下の説明では、画像処理アルゴリズム生成装置1900は、コンピュータシステム1500によって実現されるものとして説明する。図20は、画像処理アルゴリズム生成装置1900として機能するコンピュータシステム1500のCPU1510が実行する処理の手順を表わすフローチャートである。   With reference to FIG. 20, a control structure of image processing algorithm generation apparatus 1900 will be described. In the following description, the image processing algorithm generation apparatus 1900 will be described as being realized by the computer system 1500. FIG. 20 is a flowchart showing a procedure of processing executed by CPU 1510 of computer system 1500 functioning as image processing algorithm generation apparatus 1900.

ステップS2002にて、CPU1510は、画像データ入力部1910として機能するマウス1510あるいはキーボード1530を介したデータの入力を受け付けて、初期パラメータを設定する。初期パラメータは、RAM1510において予め確保された領域に格納される。ステップS2004にて、CPU1510は、原画像と目標画像との入力を受け付けて、RAM1540あるいはハードディスク1550において確保された領域に格納する。原画像と目標画像とは、たとえば通信IF1590、CD−ROM1562などを介して取得される。   In step S2002, CPU 1510 accepts data input via mouse 1510 or keyboard 1530 functioning as image data input unit 1910, and sets initial parameters. The initial parameters are stored in an area secured in advance in the RAM 1510. In step S2004, CPU 1510 receives the input of the original image and the target image and stores them in an area secured in RAM 1540 or hard disk 1550. The original image and the target image are acquired via, for example, the communication IF 1590, the CD-ROM 1562, and the like.

ステップS2006にて、CPU1510は、設定された初期パラメータと予めハードディスク1550に準備されたフィルタとを用いてM個の初期画像処理アルゴリズムを生成する。初期パラメータは、各世代の個体数M、交叉確率Pc、突然変異確率Pm、画像処理を終了させるための終了条件、次世代に追加する優良個体数g(1)、次世代に追加するランダム生成個体数g(2)、1つの個体の画像処理フィルタ上の最大値Lとを含む。本実施の形態においては、個体数M=100、交叉確率Pc=95%、突然変異確率Pm=5%、優良個体数g(1)=1、ランダム生成個体数g(2)=1、最大値L=8とする。また、上記の終了条件は、最良の個体の評価値が1000以上であること、あるいは生成されたアルゴリズムの世代を特定する世代IDが100以上であることのいずれかを満足することである。世代IDは、初期パラメータの設定時に初期化され、0が設定される。   In step S2006, CPU 1510 generates M initial image processing algorithms using the set initial parameters and a filter prepared in hard disk 1550 in advance. The initial parameters are the number M of individuals in each generation, the crossover probability Pc, the mutation probability Pm, the termination condition for ending the image processing, the number of excellent individuals added to the next generation g (1), and the random generation added to the next generation. The number of individuals g (2) includes the maximum value L on the image processing filter of one individual. In the present embodiment, the number of individuals M = 100, crossover probability Pc = 95%, mutation probability Pm = 5%, number of excellent individuals g (1) = 1, number of randomly generated individuals g (2) = 1, maximum Let the value L = 8. The termination condition is to satisfy either that the evaluation value of the best individual is 1000 or more, or that the generation ID specifying the generation of the generated algorithm is 100 or more. The generation ID is initialized when the initial parameter is set, and 0 is set.

ステップS2008にて、CPU1510は、以下のループ処理を個体数だけ、すなわちM回実行するためのカウンタとして用いられる変数mを初期化し、0に設定する。また、変数mは、個体のIDに相当する。   In step S2008, the CPU 1510 initializes a variable m used as a counter for executing the following loop processing by the number of individuals, that is, M times, and sets it to 0. The variable m corresponds to the individual ID.

ステップS2010にて、CPU1510は、生成されたM個の画像処理アルゴリズムのうち第m番目の画像処理アルゴリズムの評価を行なう。この評価は、図16に示されるステップS1610からステップS1628を繰り返すことにより実現される。   In step S2010, CPU 1510 evaluates the m-th image processing algorithm among the generated M image processing algorithms. This evaluation is realized by repeating steps S1610 to S1628 shown in FIG.

ステップS2012にて、CPU1510は、画像処理アルゴリズムIDmを1カウントアップする。ステップS2014にて、CPU1510は、変数mの値が個体数Mよりも小さいか否かを判断する。変数mの値が個体数Mの値よりも小さい場合には(ステップS2014にてYES)、処理はステップS2016に移される。そうでない場合には(ステップS2014にてNO)、処理はステップS2010に戻される。   In step S2012, CPU 1510 increments image processing algorithm IDm by one. In step S2014, CPU 1510 determines whether or not the value of variable m is smaller than the number of individuals M. If the value of variable m is smaller than the value of individual number M (YES in step S2014), the process proceeds to step S2016. If not (NO in step S2014), the process returns to step S2010.

ステップS2016にて、CPU1510は、M個すべての個体の中から最良の個体すなわち画像処理アルゴリズムを決定する。ここでは、前述のように多目的最適化問題に従う一般的な評価関数を用いているため、M個の個体のうち最も大きな評価値を有する個体が最良の個体として決定される。   In step S2016, the CPU 1510 determines the best individual, that is, an image processing algorithm from among all M individuals. Here, since the general evaluation function according to the multi-objective optimization problem is used as described above, the individual having the largest evaluation value among the M individuals is determined as the best individual.

ステップS2018にて、CPU1510は、予め設定された終了条件が成立しているか否かを判断する。終了条件が成立している場合には(ステップS2018にてYES)、処理は終了する。そうでない場合には(ステップS2018にてNO)、処理はステップS2020に移される。   In step S2018, CPU 1510 determines whether or not a preset end condition is satisfied. If the end condition is satisfied (YES in step S2018), the process ends. If not (NO in step S2018), the process proceeds to step S2020.

ステップS2020にて、CPU1510は、画像処理アルゴリズム1923として次世代に属する個体群(画像処理アルゴリズム群)を生成する。この処理は、一般に「世代交代」や「遺伝的操作」と称される処理に相当し、遺伝的アルゴリズムにおいても同様に称される。   In step S2020, CPU 1510 generates an individual group (image processing algorithm group) belonging to the next generation as image processing algorithm 1923. This process corresponds to a process generally referred to as “generation change” or “genetic operation”, and is also referred to in the genetic algorithm.

そこで、図21および図22を参照して、遺伝的操作の詳細について説明する。図21は、3つの個体2110,2120,2130のフィルタの構成を表わす図である。個体2110(個体I_1)は、フィルタ2112と、フィルタ2114と、フィルタ2111と、フィルタ2117と、フィルタ2118とを含む。個体2120(個体I_2)は、フィルタ2115と、フィルタ2112と、フィルタ2113と、フィルタ2111と、フィルタ2116と、フィルタ2115と、フィルタ2127と、フィルタ2118とを含む。   Therefore, the details of the genetic operation will be described with reference to FIGS. 21 and 22. FIG. 21 is a diagram illustrating a filter configuration of three individuals 2110, 2120, and 2130. The individual 2110 (individual I_1) includes a filter 2112, a filter 2114, a filter 2111, a filter 2117, and a filter 2118. The individual 2120 (individual I_2) includes a filter 2115, a filter 2112, a filter 2113, a filter 2111, a filter 2116, a filter 2115, a filter 2127, and a filter 2118.

個体2130(個体I_3)は、フィルタ2111と、フィルタ2113と、フィルタ2116と、フィルタ2114と、フィルタ2112と、フィルタ2137と、フィルタ2118とを含む。フィルタ2111から2116において白丸の中に示される数字は、図9のテーブル900に示されるフィルタのID910を有する各フィルタに対応する。フィルタ2117,2127,2137は、それぞれ2値化処理のために使用される閾値を表わす。フィルタ2118は、ノイズを除去する処理のためのフィルタである。   The individual 2130 (individual I_3) includes a filter 2111, a filter 2113, a filter 2116, a filter 2114, a filter 2112, a filter 2137, and a filter 2118. The numbers shown in white circles in the filters 2111 to 2116 correspond to the filters having the filter ID 910 shown in the table 900 of FIG. Filters 2117, 2127, and 2137 represent threshold values used for binarization processing, respectively. The filter 2118 is a filter for processing to remove noise.

図22は、第N世代に属するフィルタと第N+1世代に属するフィルタとを表わす図である。すなわち第N世代に属する画像処理アルゴリズム2220は、フィルタ2112と、フィルタ2111と、フィルタ2227と、フィルタ2118とを含む。また画像処理アルゴリズム2230は、フィルタ2113と、フィルタ2112と、フィルタ2112と、フィルタ2111と、フィルタ2113と、フィルタ2137と、フィルタ2118とを含む。   FIG. 22 is a diagram illustrating filters belonging to the Nth generation and filters belonging to the (N + 1) th generation. That is, the image processing algorithm 2220 belonging to the Nth generation includes a filter 2112, a filter 2111, a filter 2227, and a filter 2118. The image processing algorithm 2230 includes a filter 2113, a filter 2112, a filter 2112, a filter 2111, a filter 2113, a filter 2137, and a filter 2118.

第N+1世代に属する画像処理アルゴリズム2240は、フィルタ2112と、フィルタ2111と、フィルタ2112と、フィルタ2111と、フィルタ2113と、フィルタ2137と、フィルタ2118とを含む。同世代に属する画像処理アルゴリズム2250は、フィルタ2113と、フィルタ2112と、フィルタ2113と、フィルタ2112と、フィルタ2111と、フィルタ2227と、フィルタ2118とを含む。各画像処理アルゴリズムにおける特性は、前述のフィルタの配列に従って定まる。   The image processing algorithm 2240 belonging to the (N + 1) th generation includes a filter 2112, a filter 2111, a filter 2112, a filter 2111, a filter 2113, a filter 2137, and a filter 2118. The image processing algorithm 2250 belonging to the same generation includes a filter 2113, a filter 2112, a filter 2113, a filter 2112, a filter 2111, a filter 2227, and a filter 2118. The characteristics of each image processing algorithm are determined according to the filter arrangement described above.

図22において、各画像処理アルゴリズムのフィルタ列では、交叉点2220が、2番目のフィルタと3番目のフィルタとの間に規定されている。以下、第N世代から第N+1世代を生成する場合について説明する。まず、最初に第N+1世代に属する個体(画像処理アルゴリズムの数が0の状態)から処理は開始される。個体は順次追加して生成され、個体数がM個になったとき、処理は終了する。   In FIG. 22, in the filter row of each image processing algorithm, a crossing point 2220 is defined between the second filter and the third filter. Hereinafter, a case where the N + 1th generation is generated from the Nth generation will be described. First, processing is started from an individual belonging to the (N + 1) th generation (the number of image processing algorithms is 0). Individuals are added and generated sequentially, and the process ends when the number of individuals reaches M.

次に、交叉について説明する。交叉の態様の1つである1点交叉は、第N世代に属する2つの個体(たとえば画像処理アルゴリズム2220,2230)を各個体の中のいずれかの位置(交叉点2210)で切断し、切断によって生成された部位を他方の部位と交換することにより、第N+1世代に属する2つの新しい個体(たとえば画像処理アルゴリズ
ム2240,2250)を生成するものである。
Next, crossover will be described. One-point crossover, which is one aspect of crossover, is performed by cutting two individuals belonging to the Nth generation (for example, image processing algorithms 2220 and 2230) at any position (crossover point 2210) in each individual. By exchanging the part generated by the other part with the other part, two new individuals (for example, image processing algorithms 2240 and 2250) belonging to the (N + 1) th generation are generated.

図22に示される例では、交叉点2210は、2番目と3番目のフィルタの間に設定されているため、第1番目および第2番目のフィルタは、第N世代に属する個体および第N+1世代に属する個体のいずれにも含まれる。一方、第3番目以降のフィルタは、前述のように他の個体のフィルタと交換されるため、第N世代に属する個体と第N+1世代に属する個体との間では第3番目以降のフィルタの構成は入れ替わっている。   In the example shown in FIG. 22, since the crossing point 2210 is set between the second and third filters, the first and second filters are the individuals belonging to the Nth generation and the N + 1th generation. Included in any of the individuals belonging to. On the other hand, since the third and subsequent filters are replaced with filters of other individuals as described above, the configuration of the third and subsequent filters between the individuals belonging to the Nth generation and the individuals belonging to the (N + 1) th generation. Has been replaced.

次に、図23を参照して、遺伝的操作における突然変異について説明する。図23は、第N世代に属する個体と遺伝的操作における突然変異によって生成されたN+1世代に属する個体とを表わす図である。   Next, mutations in genetic manipulation will be described with reference to FIG. FIG. 23 is a diagram showing individuals belonging to the Nth generation and individuals belonging to the (N + 1) th generation generated by mutation in the genetic operation.

第N世代に属する個体である画像処理アルゴリズム2310は、フィルタ2112と、フィルタ2111と、フィルタ2113と、フィルタ2112と、フィルタ2111と、フィルタ2127と、フィルタ2118とを含む。第N+1世代に属する個体である画像処理フィルタ2320は、フィルタ2112と、フィルタ2111と、フィルタ2111と、フィルタ2112と、フィルタ2111と、フィルタ2327と、フィルタ2118とを含む。   An image processing algorithm 2310 that is an individual belonging to the Nth generation includes a filter 2112, a filter 2111, a filter 2113, a filter 2112, a filter 2111, a filter 2127, and a filter 2118. An image processing filter 2320 that is an individual belonging to the (N + 1) th generation includes a filter 2112, a filter 2111, a filter 2111, a filter 2112, a filter 2111, a filter 2327, and a filter 2118.

ここで突然変異とは、第N世代に属する1つの個体における任意の位置(突然変異点)を選択し、選択された位置における画像処理フィルタの種類を、利用可能な他の画像処理フィルタ(すなわちテーブル900において規定されている画像処理フィルタ)に変更することにより、第N+1世代に属する新しい個体である画像処理アルゴリズムを生成することをいう。図23に示される例では、第N世代に属する画像処理アルゴリズム2310において、第3番目の画像処理フィルタであるフィルタ2113と、第6番目の画像処理フィルタであるフィルタ2127とにそれぞれ突然変異点2312,2314が設定されている。突然変異点2312においては、フィルタ2113がフィルタ2111に変更されている。突然変異点2314においては、2値化処理のための閾値の値が「185」から「116」に変更されている。   Here, the mutation means that an arbitrary position (mutation point) in one individual belonging to the Nth generation is selected, and the type of image processing filter at the selected position is changed to another available image processing filter (that is, By changing to an image processing filter defined in the table 900, it means generating an image processing algorithm that is a new individual belonging to the (N + 1) th generation. In the example shown in FIG. 23, in the image processing algorithm 2310 belonging to the Nth generation, a mutation point 2312 is added to each of a filter 2113 that is a third image processing filter and a filter 2127 that is a sixth image processing filter. , 2314 are set. At the mutation point 2312, the filter 2113 is changed to the filter 2111. At the mutation point 2314, the threshold value for the binarization process is changed from “185” to “116”.

なお、図23に示される例から明らかなように、突然変異点の数は1つに限られず、突然変異の確率に基づいて複数の突然変異点が設定される場合がある。2値化処理のための閾値に対応する位置が突然変異点に設定された場合には、当該閾値の値は0から255の範囲でランダムに決定される。ここでランダムに決定されるとは、たとえば予め準備された乱数発生器によって生成される乱数の値に応じて決定されることをいう。   As is clear from the example shown in FIG. 23, the number of mutation points is not limited to one, and a plurality of mutation points may be set based on the probability of mutation. When the position corresponding to the threshold value for binarization processing is set at the mutation point, the threshold value is randomly determined in the range of 0 to 255. Here, “determined randomly” means to be determined according to the value of a random number generated by a random number generator prepared in advance, for example.

遺伝的操作には、前述の交叉、突然変異の他に、第N世代に属する優秀な個体である画像処理アルゴリズムを、第N+1世代にg(1)個追加する処理と、第N世代に属する個体の情報を全く利用せず、新たに画像処理フィルタをランダムに選択し、新たな画像処理アルゴリズムを生成したg(2)個の個体を第N+1世代に追加するものとがある。このような操作によって、第N+1世代に属するM個の個体が生成される。   In addition to the above-described crossover and mutation, genetic operations include a process of adding g (1) image processing algorithms, which are excellent individuals belonging to the Nth generation, to the (N + 1) th generation, and belonging to the Nth generation. There is a method in which g (2) individuals that have generated a new image processing algorithm are added to the (N + 1) th generation by randomly selecting an image processing filter without using individual information at all. By such an operation, M individuals belonging to the (N + 1) th generation are generated.

以上のようにして、本実施の形態に係る画像処理アルゴリズムによると、より適切に、真欠陥と擬似欠陥とを分離することができる。また、真欠陥と擬似欠陥との分離度に関し誤った評価を行うことなく、画像処理のための時間の増大を防止できる画像処理アルゴリズムを評価するための画像処理アルゴリズム評価装置を提供することができる。   As described above, according to the image processing algorithm according to the present embodiment, true defects and pseudo defects can be more appropriately separated. Further, it is possible to provide an image processing algorithm evaluation apparatus for evaluating an image processing algorithm that can prevent an increase in time for image processing without performing erroneous evaluation on the degree of separation between a true defect and a pseudo defect. .

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図され
る。
The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.

本発明は、画像検査装置、画像変換装置、画像認識装置、パターンマッチング装置、画像を用いた位置決め装置、画像認識機能付き自律ロボット、画像認識機能付き産業用ロボット等に利用可能である。   The present invention is applicable to an image inspection device, an image conversion device, an image recognition device, a pattern matching device, a positioning device using an image, an autonomous robot with an image recognition function, an industrial robot with an image recognition function, and the like.

原画像100の構成を表わす図である。2 is a diagram illustrating a configuration of an original image 100. FIG. 真欠陥110を含む領域を断面AA−AA’で切断した部位における濃度の分布を表わす図である。It is a figure showing distribution of the density | concentration in the site | part which cut | disconnected the area | region containing the true defect 110 by the cross section AA-AA '. 原画像100に対して画像変換、2値化処理、ノイズ除去を行なうことにより生成された画像300を表わす図である。It is a figure showing the image 300 produced | generated by performing image conversion, a binarization process, and noise removal with respect to the original image 100. FIG. 面積とコントラストとに従って画像300において検出された領域の特徴量をプロットした図である。It is the figure which plotted the feature-value of the area | region detected in the image 300 according to the area and contrast. 図1に示される原画像100に対してノイズを除去することにより生成された画像500を表わす図である。It is a figure showing the image 500 produced | generated by removing noise with respect to the original image 100 shown by FIG. 原画像100を用いて欠陥候補領域のコントラストを算出する際の欠陥候補存在領域が表わされた画像600を表わす図である。It is a figure showing the image 600 in which the defect candidate presence area at the time of calculating the contrast of a defect candidate area | region using the original image 100 was represented. 画像600を用いて算出したコントラストと当該画像に含まれる欠陥の面積とを使用する特徴量空間を表わす図である。It is a figure showing the feature-value space which uses the contrast calculated using the image 600, and the area of the defect contained in the said image. 2つの欠陥候補領域を連結して生成される欠陥候補領域810を含む画像800を表わす図である。It is a figure showing the image 800 containing the defect candidate area | region 810 produced | generated by connecting two defect candidate areas. 画像処理アルゴリズムを実現するためのフィルタの構成を表わすテーブル900である。It is the table 900 showing the structure of the filter for implement | achieving an image processing algorithm. 検査対象を撮影することにより生成された原画像1000を表わす図である。It is a figure showing the original image 1000 produced | generated by imaging | photography the test object. 画像1100の概略を表わす図である。1 is a diagram showing an outline of an image 1100. FIG. 特徴量空間を表わす図である。It is a figure showing feature-value space. 画像処理装置の対象となる目標画像1300を表わす図である。It is a figure showing the target image 1300 used as the object of an image processing apparatus. 画像処理アルゴリズム評価装置1400の機能の構成を表わすブロック図である。FIG. 11 is a block diagram illustrating a functional configuration of an image processing algorithm evaluation apparatus 1400. 画像処理アルゴリズム評価装置を実現するコンピュータシステム1500ハードウェア構成を表わすブロック図である。It is a block diagram showing the computer system 1500 hardware constitutions which realize an image processing algorithm evaluation device. 画像処理アルゴリズム評価装置として機能するコンピュータシステム1500が実行する処理の手順を表わすフローチャートである。It is a flowchart showing the procedure of the process which the computer system 1500 which functions as an image processing algorithm evaluation apparatus performs. 判定処理(S1700)の手順を表わすフローチャートである。It is a flowchart showing the procedure of a determination process (S1700). 欠陥候補領域の特徴量としての面積とコントラストとによって規定される特徴量空間を表わす図である。It is a figure showing the feature-value space prescribed | regulated by the area and contrast as a feature-value of a defect candidate area | region. 画像処理アルゴリズム生成装置1900が有する機能の構成を表わすブロック図である。FIG. 11 is a block diagram illustrating a functional configuration of an image processing algorithm generation apparatus 1900. 画像処理アルゴリズム生成装置1900として機能するコンピュータシステム1500のCPU1510が実行する処理の手順を表わすフローチャートである。12 is a flowchart illustrating a procedure of processing executed by CPU 1510 of computer system 1500 functioning as image processing algorithm generation apparatus 1900. 3つの個体2110,2120,2130のフィルタの構成を表わす図である。It is a figure showing the structure of the filter of three individuals 2110, 2120, 2130. 第N世代に属するフィルタと第N+1世代に属するフィルタとを表わす図である。It is a figure showing the filter which belongs to the Nth generation, and the filter which belongs to the (N + 1) th generation. 第N世代に属する個体と遺伝的操作における突然変異によって生成されたN+1世代に属する個体とを表わす図である。It is a figure showing the individual which belongs to the N + 1 generation and the individual which belongs to the N + 1 generation generated by the mutation in genetic manipulation.

符号の説明Explanation of symbols

100 原画像、110 真欠陥、120 擬似欠陥、300 画像、310,320,332 欠陥候補存在領域、312,322,332 欠陥候補領域、410,420,430 投影点、440 閾値曲線。   100 original image, 110 true defect, 120 pseudo defect, 300 image, 310, 320, 332 defect candidate existence area, 312, 322, 332 defect candidate area, 410, 420, 430 projection point, 440 threshold curve.

Claims (13)

被写体を撮像した原画像の入力と、前記原画像中の欠陥領域を示す目標画像の入力とを受け付ける入力手段と、
前記原画像に適用される画像処理アルゴリズムを決定するアルゴリズム決定手段と、
前記原画像に前記画像処理アルゴリズムに基づく画像処理を施すことにより画像処理後の画像を作成する作成手段と、
前記画像処理後の画像に基づいて欠陥候補領域を決定する領域決定手段と、
前記欠陥候補領域の欠陥候補特徴量を算出する第1の算出手段と、
前記欠陥候補特徴量に基づいて画像処理アルゴリズムを評価する評価手段と、
前記原画像中に存在する1つの欠陥領域が複数の前記欠陥候補領域として検出された場合に、前記複数の欠陥候補領域に基づいて、前記原画像中に存在する1つの欠陥領域に対する1つの欠陥特徴量を算出する第2の算出手段とを備える、画像処理アルゴリズム評価装置。
Input means for receiving an input of an original image obtained by imaging a subject and an input of a target image indicating a defective area in the original image;
Algorithm determination means for determining an image processing algorithm applied to the original image;
Creating means for creating an image after image processing by applying image processing based on the image processing algorithm to the original image;
Area determination means for determining a defect candidate area based on the image after the image processing;
First calculation means for calculating a defect candidate feature amount of the defect candidate area;
An evaluation means for evaluating an image processing algorithm based on the defect candidate feature amount;
When one defect region existing in the original image is detected as a plurality of defect candidate regions, one defect for one defect region existing in the original image is based on the plurality of defect candidate regions. An image processing algorithm evaluation apparatus comprising: a second calculation unit that calculates a feature amount.
前記作成手段は、前記画像処理後の画像として2値化画像を作成する、請求項1に記載の画像処理アルゴリズム評価装置。   The image processing algorithm evaluation apparatus according to claim 1, wherein the creating unit creates a binarized image as the image after the image processing. 前記第2の算出手段は、前記複数の欠陥候補領域の中から、前記目標画像中で示されている原画像中の欠陥領域との一致度が最も高い1つの欠陥候補領域を決定して、前記原画像中に存在する1つの欠陥領域に対する1つの欠陥特徴量を算出する、請求項1または請求項2に記載の画像処理アルゴリズム評価装置。   The second calculation means determines one defect candidate area having the highest degree of coincidence with the defect area in the original image shown in the target image from the plurality of defect candidate areas, The image processing algorithm evaluation apparatus according to claim 1, wherein one defect feature amount for one defect region existing in the original image is calculated. 前記評価手段は、
前記欠陥候補特徴量を特徴量空間に対応付けるマッピング手段と、
前記特徴量空間中において抽出の対象となる欠陥領域を表す点と、前記欠陥領域を表わす点以外の点との分離度を算出する分離度算出手段と、
前記分離度に基づいて画像処理アルゴリズムの評価値を算出する評価値算出手段とを含み、
前記マッピング手段は、前記原画像中に存在する1つの欠陥領域が複数の前記欠陥候補領域として検出された時に、前記目標画像中で示されている原画像中の欠陥領域との一致度が最も高い欠陥候補領域から算出される欠陥候補特徴量のみを前記特徴量空間に対応付け、
前記分離度算出手段は、前記複数の欠陥候補領域に含まれる他の欠陥候補特徴量は前記特徴量空間に対応付けることなく前記分離度を算出する、請求項1から3のいずれかに記載の画像処理アルゴリズム評価装置。
The evaluation means includes
Mapping means for associating the defect candidate feature quantity with a feature quantity space;
A degree-of-separation calculating means for calculating a degree of separation between a point representing a defect region to be extracted in the feature amount space and a point other than the point representing the defect region;
Evaluation value calculation means for calculating an evaluation value of an image processing algorithm based on the degree of separation,
The mapping means has the highest degree of coincidence with the defect area in the original image indicated in the target image when one defect area existing in the original image is detected as a plurality of defect candidate areas. Only the defect candidate feature amount calculated from the high defect candidate region is associated with the feature amount space,
The image according to claim 1, wherein the degree-of-separation calculating unit calculates the degree of separation without associating other defect candidate feature amounts included in the plurality of defect candidate regions with the feature amount space. Processing algorithm evaluation device.
前記評価手段は、
前記欠陥候補特徴量を特徴量空間に対応付けるマッピング手段と、
抽出の対象となる欠陥領域を表す特徴量空間中の点とそれ以外の点との分離度を算出する分離度算出手段と、
前記分離度を用いて画像処理アルゴリズムの評価値を算出する手段とを含み、
前記分離度算出手段は、
前記原画像中に存在する1つの欠陥領域が複数の欠陥候補領域として検出された場合に、前記目標画像中で示されている原画像中の欠陥領域との一致度が最も高い欠陥候補領域から算出される欠陥候補特徴量を補正する補正手段と、
前記補正手段による補正により導出された補正欠陥候補特徴量のみを前記特徴量空間に対応付ける手段と、
前記複数の欠陥候補領域に含まれる他の欠陥候補特徴量を前記特徴量空間に対応付けることなく前記分離度を算出する手段とを含む、請求項1から4のいずれかに記載の画像処
理アルゴリズム評価装置。
The evaluation means includes
Mapping means for associating the defect candidate feature quantity with a feature quantity space;
A degree-of-separation calculating means for calculating a degree of separation between a point in the feature amount space representing a defect area to be extracted and other points;
Means for calculating an evaluation value of an image processing algorithm using the degree of separation,
The separation degree calculating means includes
When one defect region existing in the original image is detected as a plurality of defect candidate regions, the defect candidate region having the highest degree of coincidence with the defect region in the original image indicated in the target image Correction means for correcting the calculated defect candidate feature amount;
Means for associating only the corrected defect candidate feature quantity derived by correction by the correction means with the feature quantity space;
5. The image processing algorithm evaluation according to claim 1, further comprising: means for calculating the degree of separation without associating other defect candidate feature amounts included in the plurality of defect candidate regions with the feature amount space. apparatus.
前記特徴量算出手段は、前記原画像からコントラストを算出する、請求項1から5のいずれかに記載の画像処理アルゴリズム評価装置。   The image processing algorithm evaluation apparatus according to claim 1, wherein the feature amount calculation unit calculates a contrast from the original image. 前記作成手段は、
前記画像処理後の画像として2値化画像を作成する手段と、
前記画像処理アルゴリズムに基づく画像処理を施す過程において入力画像が2値化画像になる前の2値化前画像を保存する手段とを含み、
前記第1の算出手段は、前記2値化前画像からコントラストを算出する、請求項1から5に記載の画像処理アルゴリズム評価装置。
The creating means includes
Means for creating a binarized image as an image after the image processing;
Means for storing an image before binarization before the input image becomes a binarized image in the process of performing image processing based on the image processing algorithm;
The image processing algorithm evaluation apparatus according to claim 1, wherein the first calculation unit calculates a contrast from the pre-binarized image.
前記第1の算出手段は、
前記原画像または前記2値化前画像から欠陥候補特徴量を算出する過程で、それぞれの欠陥候補領域について欠陥候補領域よりも大きい面積を有する欠陥候補存在領域を設定する手段と、
前記原画像または前記2値化前画像中の欠陥候補存在領域内で2値化処理を実施する手段と、
2値化処理後の欠陥候補存在領域から欠陥候補特徴量を算出する手段とを含む、請求項1から7のいずれかに記載の画像処理アルゴリズム評価装置。
The first calculation means includes
Means for setting a defect candidate existence area having an area larger than the defect candidate area for each defect candidate area in the process of calculating the defect candidate feature amount from the original image or the pre-binarization image;
Means for performing binarization processing in a defect candidate existing area in the original image or the pre-binarization image;
The image processing algorithm evaluation apparatus according to claim 1, further comprising means for calculating a defect candidate feature amount from a defect candidate existing area after binarization processing.
請求項1から8のいずれかに記載の画像処理アルゴリズム評価装置と、
評価結果に基づいて画像処理アルゴリズムを生成する生成手段とを備える、画像処理アルゴリズムの生成装置。
The image processing algorithm evaluation device according to any one of claims 1 to 8,
An image processing algorithm generation apparatus, comprising: generation means for generating an image processing algorithm based on an evaluation result.
請求項9に記載の画像処理アルゴリズム生成装置と、
生成された画像処理アルゴリズムを用いて被写体を検査する検査手段とを備える、画像検査装置。
An image processing algorithm generation device according to claim 9,
An image inspection apparatus comprising: inspection means for inspecting a subject using a generated image processing algorithm.
被写体を撮像した原画像の入力と、前記原画像中の欠陥領域を示す目標画像の入力とを受け付けるステップと、
前記原画像に適用される画像処理アルゴリズムを決定するステップと、
前記原画像に前記画像処理アルゴリズムに基づく画像処理を施すことによって画像処理後の画像を作成するステップと、
前記画像処理後の画像に基づいて欠陥候補領域を決定するステップと、
前記欠陥候補領域の欠陥候補特徴量を算出するステップと、
前記欠陥候補特徴量に基づいて画像処理アルゴリズムを評価するステップと、
前記原画像中に存在する1つの欠陥領域が複数の前記欠陥候補領域として検出された場合に、前記複数の欠陥候補領域に基づいて原画像中に存在する1つの欠陥領域に対する1つの欠陥特徴量を算出するステップとを備える、画像処理アルゴリズム評価方法。
Receiving an input of an original image obtained by imaging a subject and an input of a target image indicating a defective area in the original image;
Determining an image processing algorithm to be applied to the original image;
Creating an image after image processing by applying image processing based on the image processing algorithm to the original image;
Determining a defect candidate region based on the image after the image processing;
Calculating a defect candidate feature amount of the defect candidate region;
Evaluating an image processing algorithm based on the defect candidate feature quantity;
When one defect area existing in the original image is detected as a plurality of defect candidate areas, one defect feature amount for one defect area existing in the original image based on the plurality of defect candidate areas Calculating an image processing algorithm.
請求項11に記載の画像処理アルゴリズム評価方法と、
評価結果に基づいて画像処理アルゴリズムを生成する生成ステップとを備える、画像処理アルゴリズムの生成方法。
An image processing algorithm evaluation method according to claim 11,
An image processing algorithm generation method comprising: a generation step of generating an image processing algorithm based on an evaluation result.
請求項12に記載の画像処理アルゴリズム生成方法と、
生成された画像処理アルゴリズムを用いて被写体を検査する検査ステップとを備える、画像検査方法。
An image processing algorithm generation method according to claim 12,
An image inspection method comprising: an inspection step of inspecting a subject using the generated image processing algorithm.
JP2006015574A 2006-01-24 2006-01-24 Image processing algorithm evaluation apparatus, image processing algorithm creation apparatus, image inspection apparatus, method for evaluating image processing algorithm, method for creating image processing algorithm, and method for inspecting image Pending JP2007199865A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006015574A JP2007199865A (en) 2006-01-24 2006-01-24 Image processing algorithm evaluation apparatus, image processing algorithm creation apparatus, image inspection apparatus, method for evaluating image processing algorithm, method for creating image processing algorithm, and method for inspecting image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006015574A JP2007199865A (en) 2006-01-24 2006-01-24 Image processing algorithm evaluation apparatus, image processing algorithm creation apparatus, image inspection apparatus, method for evaluating image processing algorithm, method for creating image processing algorithm, and method for inspecting image

Publications (1)

Publication Number Publication Date
JP2007199865A true JP2007199865A (en) 2007-08-09

Family

ID=38454450

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006015574A Pending JP2007199865A (en) 2006-01-24 2006-01-24 Image processing algorithm evaluation apparatus, image processing algorithm creation apparatus, image inspection apparatus, method for evaluating image processing algorithm, method for creating image processing algorithm, and method for inspecting image

Country Status (1)

Country Link
JP (1) JP2007199865A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010257257A (en) * 2009-04-24 2010-11-11 Nikon Corp Apparatus and method for processing hereditary, and program
JP2010262407A (en) * 2009-04-30 2010-11-18 Nikon Corp Genetic processor, genetic processing method, and program
US8942465B2 (en) 2011-12-13 2015-01-27 General Electric Company Methods and systems for processing images for inspection of an object
JP2015018484A (en) * 2013-07-12 2015-01-29 株式会社Ihi Evaluation method and evaluation device
CN115847398A (en) * 2022-11-09 2023-03-28 武汉理工大学 Robot intelligent processing method and system based on region

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN6010070826, 柳瀬正和、上田泰広、山本修平、井殿多聞、重山吉偉、中村淳良, "機械学習に基づく画像認識システムの提案", 電気学会産業システム情報化研究会資料, 20051125, IIS−05巻、11−20号, 17−22頁, JP *
JPN7010004052, Yasuhiro Ueda, et al., "Conceptual framework design for integrated visual inspection system", Machine Vision and its Optomechatronic Applications, Proceedings of SPIE, Vol. 5603, pp.128−137, 20041025 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010257257A (en) * 2009-04-24 2010-11-11 Nikon Corp Apparatus and method for processing hereditary, and program
JP2010262407A (en) * 2009-04-30 2010-11-18 Nikon Corp Genetic processor, genetic processing method, and program
US8942465B2 (en) 2011-12-13 2015-01-27 General Electric Company Methods and systems for processing images for inspection of an object
JP2015018484A (en) * 2013-07-12 2015-01-29 株式会社Ihi Evaluation method and evaluation device
CN115847398A (en) * 2022-11-09 2023-03-28 武汉理工大学 Robot intelligent processing method and system based on region

Similar Documents

Publication Publication Date Title
US11797886B2 (en) Image processing device, image processing method, and image processing program
US9679354B2 (en) Duplicate check image resolution
US9176043B2 (en) Cell image analysis apparatus, cell image analysis method, and program
JP2011145791A (en) Classifier learning image production program, method and system
JP2000137804A (en) Method and system for abnormality detection of digital image and storage medium for same
US20190065995A1 (en) Information processing apparatus and method of controlling information processing apparatus
KR20090109047A (en) Image processor and image processing method and recording medium
JP2007199865A (en) Image processing algorithm evaluation apparatus, image processing algorithm creation apparatus, image inspection apparatus, method for evaluating image processing algorithm, method for creating image processing algorithm, and method for inspecting image
JP2006309405A (en) Meter recognition system, meter recognition method, and meter recognition program
CN113269752A (en) Image detection method, device terminal equipment and storage medium
Ji et al. Uncertainty-guided learning for improving image manipulation detection
JP2006085616A (en) Image processing algorithm evaluation method and device, image processing algorithm generation method and device, program and program recording medium
CN112750065B (en) Carrier object processing and watermark embedding method, device and electronic equipment
US20240331418A1 (en) Image processing device, image processing method, and recording medium
JP2009104244A (en) Information processor and method, and program
US12099580B2 (en) Information processing apparatus, control method for information processing apparatus, and storage medium
CN115374517A (en) Testing method and device for wiring software, electronic equipment and storage medium
JP2020003879A (en) Information processing device, information processing method, watermark detection device, watermark detection method, and program
JP2012209639A (en) Image processing apparatus and image processing program
JP7537518B2 (en) IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM
JP2004038530A (en) Image processing method, program used for executing the method and image processor
CN107346543B (en) Blood vessel center line processing method and device, terminal and storage medium
JP6770227B2 (en) Image processing device, image area detection method and image area detection program
EP2573694A1 (en) Conversion method and system
JP2007017264A (en) Method and device for evaluating image processing algorithm, method and device for generating image processing algorithm, program, and program recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101214

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110412