JP2006048370A - Method for recognizing pattern, method for generating teaching data to be used for the method and pattern recognition apparatus - Google Patents

Method for recognizing pattern, method for generating teaching data to be used for the method and pattern recognition apparatus Download PDF

Info

Publication number
JP2006048370A
JP2006048370A JP2004228392A JP2004228392A JP2006048370A JP 2006048370 A JP2006048370 A JP 2006048370A JP 2004228392 A JP2004228392 A JP 2004228392A JP 2004228392 A JP2004228392 A JP 2004228392A JP 2006048370 A JP2006048370 A JP 2006048370A
Authority
JP
Japan
Prior art keywords
data
teaching data
teaching
defect
pattern recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004228392A
Other languages
Japanese (ja)
Inventor
Seiji Hata
清治 秦
Hiroyuki Watanabe
裕之 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kagawa University NUC
Futec Inc
Original Assignee
Kagawa University NUC
Futec Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kagawa University NUC, Futec Inc filed Critical Kagawa University NUC
Priority to JP2004228392A priority Critical patent/JP2006048370A/en
Publication of JP2006048370A publication Critical patent/JP2006048370A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a pattern recognition method for generating defective data and compensating shortage to improve a recognition ratio and a teaching data generating method to be used for the pattern recognition method. <P>SOLUTION: An appearance inspection apparatus for performing learning on the basis of many teaching data stored in a teaching file, recognizing a pattern and judging a defect is provided with a teaching data generation device 40 for generating new teaching data by deforming one data, the teaching data generation device 40 generates new teaching data by deforming specific teaching data which has the small number of data out of many teaching data stored in the teaching file 35, replenishes the generated teaching data to the teaching file to recognize defects in the teaching data. When teaching data to be generated are image data, affine transformation including the enlargement, contraction and rotation of an image and attribute conversion including brightness, contrast and edge intensity are executed to generate new teaching data. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、パターン認識方法、それに用いられる教示データ生成方法およびパターン認識装置に関する。さらに詳しくは、カメラを用いて印刷物や無地面(紙、フィルム、金属など)の対象物を撮像し、パターン認識やパターン分類をすることにより、製品や部品の外観欠陥の検査や類別を行う装置に広く適用されるパターン認識方法、それに用いられる教示データ生成方法およびパターン認識装置に関する。   The present invention relates to a pattern recognition method, a teaching data generation method used therefor, and a pattern recognition apparatus. More specifically, a device that inspects and classifies appearance defects of products and parts by capturing images of printed matter and solid objects (paper, film, metal, etc.) using a camera, and pattern recognition and pattern classification. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a pattern recognition method widely applied to the present invention, a teaching data generation method used therefor, and a pattern recognition apparatus.

例えば、印刷欠陥等の検査は、かつては人の手により行われていたが、パターン認識を応用した外観検査装置が導入され効果を上げてきている。しかし、検査装置の多くは対象の良否の判定を行うのみで、そのままでは不良の発生を抑えたり修正したりするためには役立たない。そこで、印刷欠陥をパターン認識したうえで、欠陥の種類を分別し、さらに発生原因を推定して、その結果を早期にフィードバックすることのできる検査装置の開発が求められている。   For example, print defects and the like have been inspected by human hands before, but an appearance inspection apparatus using pattern recognition has been introduced and has been effective. However, many of the inspection apparatuses only determine the quality of the object, and are not useful for suppressing or correcting the occurrence of defects. Therefore, there is a demand for the development of an inspection apparatus capable of recognizing a print defect, classifying the defect type, estimating the cause of occurrence, and feeding back the result at an early stage.

ところで、印刷物の欠陥検査の場合、図13に示すような「穴」、「しみ」、「凸」、「すじ」などの印刷欠陥は多くの場合、同一種であっても形状や大きさなど特徴量の変動が大きいので、このような欠陥の認識システムの開発は、画像処理専門家の多大な労力を要する作業となっている。
そこで、外観検査システムは、非専門家でも簡単に操作でき、実例を示しながら自動的にシステム構成を行う学習型システムに対する期待が大きくなっている。
By the way, in the case of defect inspection of printed matter, the print defect such as “hole”, “stain”, “convex”, “streaks” as shown in FIG. Since the variation of the feature amount is large, the development of such a defect recognition system is a work that requires a great deal of labor of an image processing specialist.
Therefore, the appearance inspection system can be easily operated even by non-experts, and there is an increasing expectation for a learning type system that automatically configures the system while showing actual examples.

特許文献1の技術は、上記に応えるものであり、印刷欠陥の種別ごとの特徴を言語または図形記号のようなメディアを用いて欠陥記述として指示し、この支持された欠陥記述をメンバシップ関数でファジー処理し、このファジー処理を行うファジー推論部の出力を、前記ファジー推論部を入力層とする階層形ニューラルネットワークに入力して、このネットワークにより前記検出により得た欠陥の種別を判定するようにしている。このように、あらかじめ画像の特徴ごとに記述用のクラス名を登録しておくことで、新しい欠陥の登録を感覚的な言葉で記述でき、またその記述を元に、ネットワークの構造を設計し、設計どおりのネットワークを構成するための教示もすることができる。その結果、数種類の欠陥について、高い認識率を得ることができた。   The technique of Patent Document 1 responds to the above. The feature for each type of printing defect is indicated as a defect description using a medium such as a language or a graphic symbol, and the supported defect description is expressed by a membership function. Fuzzy processing is performed, and the output of the fuzzy reasoning unit that performs this fuzzy processing is input to a hierarchical neural network having the fuzzy reasoning unit as an input layer, and the type of defect obtained by the detection is determined by this network. ing. In this way, by registering the class name for description for each feature of the image in advance, new defect registration can be described in sensory terms, and based on the description, the network structure is designed, Teaching for configuring a network as designed can also be provided. As a result, a high recognition rate could be obtained for several types of defects.

しかし、上記従来技術は欠陥の発生頻度が高い印刷欠陥については、十分な認識率を示すが、発生頻度が低い印刷欠陥については、他の欠陥と比べてデータ数が少なくなるため、教示が十分に行えずにその欠陥の認識率が低下するという問題が指摘されている。   However, the above prior art shows a sufficient recognition rate for printing defects with high occurrence frequency of defects, but the number of data for the printing defects with low occurrence frequency is lower than other defects, so teaching is sufficient. However, it has been pointed out that the defect recognition rate is lowered.

特開平7−333170号JP-A-7-333170

本発明は上記事情に鑑み、発生頻度の低い等の理由によりデータ数が少ない場合であっても高い認識率を達成できるパターン認識方法、それに用いられる教示データ生成方法およびパターン認識装置を提供することを目的とする。   In view of the above circumstances, the present invention provides a pattern recognition method capable of achieving a high recognition rate even when the number of data is small due to low occurrence frequency or the like, and a teaching data generation method and a pattern recognition device used therefor With the goal.

第1発明のパターン認識方法は、教示ファイルに格納されている多数の教示データに基づいて学習し、パターン認識をするパターン認識方法であって、前記教示ファイル中の多数の教示データのうち、データ数の少ない特定の教示データについては、その特定の教示データを変形して生成した新たな教示データを補充してパターン認識させることを特徴とする。
第2発明のパターン認識方法は、第1発明において、前記パターン認識方法が、パターン分類を行うものであって、その分類クラス毎の教示データ数に偏りがある場合に、データ数の少ない教示データを変形して、新たな教示データを生成することを特徴とする。
第3発明の教示データ生成方法は、生成すべき教示データが画像データであるとき、画像の拡大、縮小、回転を含むアフィン変換と、明るさ、コントラスト、エッジ強度を含む属性変換を行うことにより、新たな教示データを生成することを特徴とする。
第4発明のパターン認識装置は、教示ファイルに格納されている多数の教示データに基づいて学習し、パターン認識をするパターン認識装置であって、一のデータを変形して新たな教示データを生成する教示データ生成装置を備えており、前記教示ファイル中の多数の教示データのうち、データ数の少ない特定の教示データについては、前記教示データ生成装置により、前記特定の教示データを変形して新たな教示データを生成し、その生成された教示データを前記教示ファイルに補充してパターン認識させることを特徴とする。
第5発明のパターン認識装置は、第4発明において、前記教示データ生成装置が、前記パターン認識装置に内蔵されていることを特徴とする。
第6発明のパターン認識装置は、第5発明において、前記教示データ生成装置が、前記パターン認識装置とは独立して存在して、ネットワークで接続されていることを特徴とする。
A pattern recognition method according to a first aspect of the present invention is a pattern recognition method that learns and recognizes a pattern based on a large number of teaching data stored in a teaching file, and includes data among a large number of teaching data in the teaching file. The specific teaching data with a small number is characterized by supplementing new teaching data generated by transforming the specific teaching data and recognizing the pattern.
A pattern recognition method according to a second aspect of the present invention is the pattern recognition method according to the first aspect, wherein the pattern recognition method performs pattern classification and there is a bias in the number of teaching data for each classification class. Is modified to generate new teaching data.
When the teaching data to be generated is image data, the teaching data generation method of the third invention performs affine transformation including enlargement, reduction, and rotation of the image and attribute conversion including brightness, contrast, and edge strength. And generating new teaching data.
A pattern recognition device according to a fourth aspect of the present invention is a pattern recognition device that learns and recognizes patterns based on a large number of teaching data stored in a teaching file, and generates new teaching data by modifying one data. Among the many teaching data in the teaching file, the specific teaching data with a small number of data is transformed by the teaching data generating device to change the specific teaching data. The teaching data is generated, and the generated teaching data is supplemented to the teaching file for pattern recognition.
The pattern recognition device according to a fifth aspect of the present invention is the pattern recognition device according to the fourth aspect, wherein the teaching data generation device is built in the pattern recognition device.
According to a sixth aspect of the present invention, there is provided a pattern recognition apparatus according to the fifth aspect, wherein the teaching data generation apparatus exists independently of the pattern recognition apparatus and is connected by a network.

本発明によれば、データ数が少ないものには、それを変形した教示データを補充してデータ数を増やせるので、パターン認識に際し、高い認識率を達成できる。
また、新たな教示データの生成には、アフィン変換と属性変換により、適正なパターンの変形データが得られるので、変形データの生成が容易である。
According to the present invention, since the number of data can be increased by supplementing teaching data obtained by transforming the data having a small number of data, a high recognition rate can be achieved at the time of pattern recognition.
Also, since new teaching data can be generated by affine transformation and attribute transformation, deformation data having an appropriate pattern can be obtained, so that deformation data can be easily generated.

つぎに、本発明の実施形態を図面に基づき説明する。
本発明の特徴は、パターン認識の実施に適用される教示データの生成技術にあり、その生成技術は印刷欠陥等の外観検査や紙、フィルム、金属などの無地面の欠陥の検出に用いられるパターン認識装置に適用される。本明細書でいうパターン認識は、広く上記の検査に利用される認識技術をいう。つぎに本発明を説明する前に適用対象である印刷欠陥の外観検査装置を説明しておく。
図1は本発明が適用されるパターン認識装置の一種である外観検査装置のブロック図である。図1における印刷物mはローラからローラに巻取られるようになっており、検査対象となる同一の印刷パターンが複数個、印刷物mの長手方向(流れ方向)に沿って一定の間隔で配置されて印刷されている。外観検査装置は、この印刷物m上の印刷欠陥を検出して判定するもので、カメラCと認識装置Aとから構成されている。
カメラCは、印刷物mの例えば上方に設置されている。このカメラCは、複数の光電変換素子、例えばCCD(charge coupled device)素子を1列(ライン状)に整列して構成した撮像手段であり、撮像信号Sを認識装置Aへ出力するようになっている。
本発明において重要な教示データ生成装置40は前記認識装置Aに接続されたり、組込まれたりするのであるが、その詳細は後述する。
Next, an embodiment of the present invention will be described with reference to the drawings.
A feature of the present invention is a teaching data generation technique applied to pattern recognition. The generation technique is a pattern used for appearance inspection such as printing defects and detection of ground defects such as paper, film, and metal. Applied to recognition device. The pattern recognition referred to in this specification refers to a recognition technique widely used for the above inspection. Next, before describing the present invention, an appearance inspection apparatus for printing defects which is an application target will be described.
FIG. 1 is a block diagram of an appearance inspection apparatus which is a type of pattern recognition apparatus to which the present invention is applied. The printed matter m in FIG. 1 is wound from roller to roller, and a plurality of identical printed patterns to be inspected are arranged at regular intervals along the longitudinal direction (flow direction) of the printed matter m. It is printed. The appearance inspection apparatus detects and determines a printing defect on the printed matter m, and includes a camera C and a recognition apparatus A.
The camera C is installed above the printed matter m, for example. The camera C is an image pickup means configured by arranging a plurality of photoelectric conversion elements, for example, CCD (charge coupled device) elements in one row (line shape), and outputs an image pickup signal S to the recognition device A. ing.
The teaching data generation device 40 important in the present invention is connected to or incorporated in the recognition device A, and details thereof will be described later.

前記認識装置Aは、処理部10と判定部30とを備えている。
前記処理部10は、カメラCから出力される信号(撮像信号S)を処理して印刷物mの各印刷パターンに含まれる欠陥を抽出するとともに、その処理結果に基づいて抽出された欠陥を表示器20に表示させる。
また、判定部30は処理部10に接続されており、処理部10での処理結果を元に欠陥の種別を判定する。この判定部30にはパーソナルコンピュータ等により構成された、教示データ生成装置40が接続されているが、この教示データ生成装置40は入力手段も兼ねるものであって、判定部30に対する初期教示の操作等各種の操作が行われるようになっている。なお、41はモニタである。
The recognition device A includes a processing unit 10 and a determination unit 30.
The processing unit 10 processes a signal (imaging signal S) output from the camera C to extract defects included in each print pattern of the printed matter m, and displays the defects extracted based on the processing results. 20 is displayed.
The determination unit 30 is connected to the processing unit 10 and determines the type of defect based on the processing result in the processing unit 10. A teaching data generation device 40 configured by a personal computer or the like is connected to the determination unit 30. The teaching data generation device 40 also serves as an input unit, and an initial teaching operation for the determination unit 30 is performed. Various operations such as these are performed. Reference numeral 41 denotes a monitor.

図2に基づき、処理部10の具体的構成を説明する。
処理部10は、A/D変換器11と、1周期分画像メモリ12と、比較回路13と、相違部検出回路14とを備えている。前記カメラCから出力される撮像信号SはA/D変換器11に入力され、カメラCの各画素毎の(多値の)ディジタルデータに変換され、このデータは1周期分画像メモリ12と比較回路13とにそれぞれ出力される。
A specific configuration of the processing unit 10 will be described with reference to FIG.
The processing unit 10 includes an A / D converter 11, an image memory 12 for one period, a comparison circuit 13, and a different part detection circuit 14. The imaging signal S output from the camera C is input to the A / D converter 11 and converted into (multivalued) digital data for each pixel of the camera C. This data is compared with the image memory 12 for one period. And output to the circuit 13 respectively.

1周期分画像メモリ12は、前記印刷パターンの1周期分に相当するカメラCからの出力データ(画像データ)を記憶する。このメモリ12に記憶された画像は標準画像A(図3参照)である。この標準画像Aには、予め準備され登録された欠陥がない印刷パターンについての正常な画像が用いられる。なお、同一印刷パターンが続く場合に、その印刷パターンを用いてもよい。   The image memory 12 for one cycle stores output data (image data) from the camera C corresponding to one cycle of the print pattern. The image stored in the memory 12 is a standard image A (see FIG. 3). As this standard image A, a normal image of a print pattern prepared and registered in advance without any defect is used. When the same print pattern continues, the print pattern may be used.

比較回路13は、リアルの撮像画像B(図3参照)として入力されるカメラCからの画像データに対応するアドレスの画像データを、1周期分画像メモリ12に記憶された1周期前の標準画像Aのデータの中から読み出して重ね合わせて比較するものであり、相違部検出回路14は比較回路13からの出力を受けて標準画像Aと撮像画像Bとの間の相違部を検出し、その相違部を解析するようになっている。
つまり、図3に示すように処理部10は、標準画像Aと撮像画像Bとを重ね合わせて比較し、両画像A,B間の相違部を抽出し、検出された相違部のうち欠陥についての画像部分のみを判定部30に出力する。
The comparison circuit 13 stores the image data at the address corresponding to the image data from the camera C input as the real captured image B (see FIG. 3) in the standard image one cycle before stored in the image memory 12 for one cycle. A difference portion detection circuit 14 receives an output from the comparison circuit 13 and detects a difference portion between the standard image A and the captured image B. The difference part is analyzed.
That is, as illustrated in FIG. 3, the processing unit 10 superimposes and compares the standard image A and the captured image B, extracts a difference between the images A and B, and detects a defect among the detected differences. Only the image portion is output to the determination unit 30.

図2に示すように判定部30は、特徴値抽出回路31と、複数のファジー回路32と、ニューラルネットワーク33と、初期設定回路34と、教示用ファイル35とを備えている。   As shown in FIG. 2, the determination unit 30 includes a feature value extraction circuit 31, a plurality of fuzzy circuits 32, a neural network 33, an initial setting circuit 34, and a teaching file 35.

前記特徴値抽出回路31は、処理部10で抽出されて特徴値抽出回路31に入力される欠陥画像を2値画像化して、この欠陥画像を数値的に評価するための特徴値を計算により求める回路である。
欠陥の特徴値としては、その面積(大きさ)、円形度、直線度、矩形度、明るさ、コントラスト、エッジ強度等である。
大きさ特徴値は、欠陥の総画素数により求め、円形度特徴値は、前記面積と欠陥の周囲長との比により求め、直線度特徴値は欠陥の長軸長と短軸長との比により求め、矩形度特徴値は、欠陥の長軸長と短軸長の積で表される欠陥に外接するボックス面積と前記欠陥の面積との比により求められる。また、明るさ特徴値は欠陥の重心位置の明るさを求め、コントラスト特徴値およびエッジ強度特徴値は、いずれも周囲との関係を認識するために求められる。
The feature value extraction circuit 31 converts the defect image extracted by the processing unit 10 and input to the feature value extraction circuit 31 into a binary image, and calculates a feature value for numerical evaluation of the defect image by calculation. Circuit.
The feature value of the defect includes its area (size), circularity, linearity, rectangularity, brightness, contrast, edge strength, and the like.
The size feature value is obtained from the total number of pixels of the defect, the circularity feature value is obtained from the ratio of the area to the perimeter of the defect, and the linearity feature value is a ratio of the major axis length to the minor axis length of the defect. The rectangularity characteristic value is obtained from the ratio of the area of the box circumscribing the defect represented by the product of the major axis length and the minor axis length of the defect and the area of the defect. Further, the brightness feature value determines the brightness at the center of gravity of the defect, and both the contrast feature value and the edge strength feature value are determined for recognizing the relationship with the surroundings.

前記特徴値抽出回路31は、特徴値の種類に応じた数の出力端を有し、これら出力端にはそれぞれ別々にファジー回路32が接続されている。これらファジー回路32は、ニューラルネットワーク33の入力層をなし、内部関数としてファジー推論のメンバーシップ関数を持つとともに、特徴値が入力されると、それに対応するクラス値(所属度値)を出力する。例えば、欠陥の面積特徴値で代表して(以下同じ)説明すれば、面積は「大きい」、「やや大きい」、「中くらい」、「やや小さい」、「小さい」等の5段階のクラス(クラス1〜クラス3、…クラスn)の所属度に分けられ、特徴値抽出回路31から入力された面積特徴値が前記5段階のどのクラスに当たるのかを判定し、それをニューラルネットワーク33に出力する。   The feature value extraction circuit 31 has a number of output terminals corresponding to the type of feature value, and a fuzzy circuit 32 is separately connected to each of these output terminals. These fuzzy circuits 32 constitute an input layer of the neural network 33, have a fuzzy reasoning membership function as an internal function, and output a class value (affiliation value) corresponding to a feature value input thereto. For example, if the area characteristic value of the defect is described as a representative (hereinafter the same), the area is classified into five classes (“large”, “slightly large”, “medium”, “slightly small”, “small”, etc.) Class 1 to class 3,... Class n) are determined according to which class the area feature value input from the feature value extraction circuit 31 corresponds to, and is output to the neural network 33. .

前記ニュ−ラルネットワーク33は2段構成となっている。すなわち、2段ニューラルネットワーク(以下2段NNと略す)は、1段目に欠陥の種類を分類するFNNがあり、ここで欠陥の種類を分類する。2段目には1段目のFNNの出力層ユニット数と同じ数だけの(以下、NNと略す)があり、1段目の分類結果に対応したNNのみが動作する。ここではそれぞれ欠陥の大きさ等のレベルを分類する。NNの入力値は1段目、2段目ともに同じものが使用されている。なお、この構成は一例であり、1段目も2段目もNNで構成するなど、任意の構成をとってよい。   The neural network 33 has a two-stage configuration. That is, a two-stage neural network (hereinafter abbreviated as “two-stage NN”) has an FNN that classifies defect types in the first stage, and classifies defect types here. In the second stage, there are as many as the number of output layer units of the first stage FNN (hereinafter abbreviated as NN), and only the NN corresponding to the classification result in the first stage operates. Here, levels such as the size of defects are classified. The same input value is used for the first and second stages of NN. Note that this configuration is an example, and an arbitrary configuration may be adopted such that the first stage and the second stage are configured by NN.

2段NNの処理の流れを図4に基づき説明する。最初に欠陥画像に対してフィルタ処理を行い特徴値を抽出する。その特徴値を1段目のFNNに入力し(101)、動作させる。これにより欠陥の種類が分類される(102)。次に、1段目で分類された欠陥の種類に対応したレベル分類NNを起動して、欠陥のレベルを分類する(103)。例えば、1段目のFNNが、ある欠陥画像を「しみ」欠陥と分類した場合は、2段目の「しみ」欠陥レベル分類NNを起動する(103)。この結果、欠陥種類とその欠陥のレベルが分類されることになる(104)。   The process flow of the two-stage NN will be described with reference to FIG. First, a filtering process is performed on the defect image to extract a feature value. The feature value is input to the first-stage FNN (101) and operated. As a result, the types of defects are classified (102). Next, the level classification NN corresponding to the defect type classified in the first stage is activated to classify the defect level (103). For example, when the first stage FNN classifies a certain defect image as a “stain” defect, the second stage “stain” defect level classification NN is activated (103). As a result, the defect type and the level of the defect are classified (104).

上記のニュ−ラルネットワーク33の詳細を説明する。
(1段目FNNの概要)
(1)FNNの構成
FNNは、三層構造のパーセプトロン型NNの前段にファジー推論部を持った構造である。なお、入力値には欠陥画像からフィルタ処理によって抽出された「面積」、「明るさ」、「円形度」などの特徴値を用いる。
(2)ファジー推論部の働き
人間が用いる「大きい」、「小さい」などの感覚的な表現には、数値的な厳密さがないので、これをファジー推論の応用により「大きい」、「小さい」などの言葉に置き換える。
ファジー推論部はNNの入力層に直結しており、メンバーシップ関数により特徴表現へのクラス値に変換する。この関数は予め設定された各特徴記述間の境界値をもとに生成する。
(3)中間層ユニット
FNNでは、中間層のユニット数は欠陥の特徴表現の数により決定する。また、全体をバックプロパゲーション法で教示する前に、初期教示により中間層の教示を行い、中間層のユニット構成の方向を指定する。初期教示とは、中間層にも教示データを与えて入力層から中間層、中間層から出力層の教示を行うことを指す。
(4)出力層ユニット
出力層のユニット数は欠陥の種類数に対応する。ここで判断された欠陥の種類に応じて、その欠陥専用のレベル分類NNを起動する。
Details of the above-described neural network 33 will be described.
(Outline of first stage FNN)
(1) Configuration of FNN FNN has a structure having a fuzzy inference part in front of a three-layer perceptron type NN. Note that feature values such as “area”, “brightness”, and “circularity” extracted from the defect image by filtering are used as input values.
(2) Function of the fuzzy reasoning part Since there are no numerical rigorous expressions that humans use, such as “large” and “small”, these are expressed as “large” and “small” by applying fuzzy reasoning. Replace with words such as
The fuzzy inference unit is directly connected to the NN input layer, and converts it into a class value into a feature expression by a membership function. This function is generated based on the boundary value between each feature description set in advance.
(3) Intermediate layer unit In FNN, the number of intermediate layer units is determined by the number of feature representations of defects. Further, before teaching the whole by the back propagation method, the intermediate layer is taught by the initial teaching, and the unit configuration direction of the intermediate layer is designated. The initial teaching indicates that teaching data is also given to the intermediate layer to teach the intermediate layer from the input layer and the output layer from the intermediate layer.
(4) Output layer units The number of units in the output layer corresponds to the number of types of defects. In accordance with the type of defect determined here, the level classification NN dedicated to the defect is activated.

(2段目レベル分類NNの概要)
(1)レベル分類NNの構成
2段目レベル分類NNは、入力、中間、出力層の3層構造である。最初に1段目の分類結果に対応する2段目レベル分類NNを1つだけ起動する。起動した欠陥レベル分類NNは、1段目で使用した入力データと同じデータを受け取り、欠陥のレベルが分類される。
2段目にFNNを使用しない理由は、2段目のレベル分類NNは、1種類の欠陥中のレベルを分類しなければならないため、正確な値が必要になることに起因する。
(2)レベル分類NNの入力層の動作
各欠陥のレベル分類NNの入力値には、1段目FNNで用いた入力値と同じ値を用いる。よって入力層のユニット数は、入力値の数と同じとなる。しかし、各入力値のとる範囲は異なるためそのまま入力できない。そのため、ここでは各入力値のとる最大値で割ることによって入力値が0から1の範囲となるように正規化を行う。
(3)レベル分類NNの出力層の動作
出力層のユニット数は、レベル分類対象となる欠陥の最大レベル数と同じとなる。ここで分類した結果が、2段NNの分類結果となる。
(Outline of second level classification NN)
(1) Configuration of level classification NN The second level classification NN has a three-layer structure of an input layer, an intermediate layer, and an output layer. First, only one second level classification NN corresponding to the first level classification result is activated. The activated defect level classification NN receives the same data as the input data used in the first stage, and classifies the defect level.
The reason why the FNN is not used in the second stage is that the level classification NN in the second stage needs to classify the level in one type of defect, and therefore requires an accurate value.
(2) Operation of input layer of level classification NN The same value as the input value used in the first stage FNN is used as the input value of the level classification NN of each defect. Therefore, the number of units in the input layer is the same as the number of input values. However, since the range of each input value is different, it cannot be input as it is. Therefore, here, normalization is performed so that the input value is in the range of 0 to 1 by dividing by the maximum value taken by each input value.
(3) Operation of output layer of level classification NN The number of units of the output layer is the same as the maximum number of levels of defects to be level classified. The result of classification here is the classification result of the two-stage NN.

以上のように、判定部30は、ファジー推論部とニューラルネットワークとを組合わせてなるファジーニューラルネットワークであり、このネットワークは三層の階層形ニューラルネットワークとなっている。この階層形ニューラルネットワークにおいて、その入力層はファジー推論部としての各ファジー回路32で形成され、中間層は欠陥の欠陥記述に対応する各ネットワーク前段回路で形成され、出力層は欠陥の種別に対応した出力をするネットワーク後段回路で形成されている。   As described above, the determination unit 30 is a fuzzy neural network formed by combining a fuzzy inference unit and a neural network, and this network is a three-layer hierarchical neural network. In this hierarchical neural network, the input layer is formed by each fuzzy circuit 32 as a fuzzy inference unit, the intermediate layer is formed by each preceding circuit of the network corresponding to the defect description of the defect, and the output layer corresponds to the type of defect. Network post-stage circuit that outputs the output.

図2に示すように、ニュ−ラルネットワーク33の後段回路は前記欠陥の特徴値にそれぞれ対応した数の出力端42a,42b,42c…42nを有しており、これらから各欠陥についてのクラスの所属度を表す数値が出力される。こうして各出力端は42a,42b,42c…42nから出力される数値は0〜1.0であるから、その出力値が1.0に近いほど、実際にその欠陥種別である可能性が高いものと判断できる。そして、例えば出力端42aはインク跳ねによる欠陥に、出力端42bはドクター傷による欠陥に、出力端42cは掠れによる欠陥に、出力端42dは虫の混入による欠陥に、出力端42eは虫以外のごみの混入による欠陥に、出力端42fは汚れによる欠陥等にそれぞれ振り当てられている。   As shown in FIG. 2, the post-stage circuit of the neural network 33 has a number of output terminals 42a, 42b, 42c... 42n corresponding to the feature values of the defects. A numerical value indicating the degree of affiliation is output. Thus, since the numerical values output from the output terminals 42a, 42b, 42c,... 42n are 0 to 1.0, it can be determined that the closer the output value is to 1.0, the higher the possibility of actually being the defect type. For example, the output end 42a is a defect due to ink splash, the output end 42b is a defect due to a doctor flaw, the output end 42c is a defect due to drowning, the output end 42d is a defect due to insect mixing, and the output end 42e is other than a bug. The output end 42f is allocated to a defect due to dirt, etc., due to a defect due to dust contamination.

以上のように判定部30が構成されているから、ネットワーク前段回路、後段回路の各ウェイト付け回路のウェイト値を初期教示により学習させておけば、期待通りの欠陥判定を行えるはずである。
なお、既述のように選択された特徴の種別やそのクラスの数は、判定部30の構成に対応付けられているが、その対応付けは学習により行う必要がある。また、この学習は、初期教示と稼働中教示(ニューラルネットワークにて通常行われているバックプロパゲーション法)の2段階に分けて実行されるが、前記「対応付け」は初期教示の過程で行われる。
Since the determination unit 30 is configured as described above, if the weight values of the weighting circuits of the network front-stage circuit and the rear-stage circuit are learned by the initial teaching, the defect determination as expected can be performed.
Note that the type of feature and the number of classes selected as described above are associated with the configuration of the determination unit 30, but the association needs to be performed by learning. This learning is performed in two stages, initial teaching and in-service teaching (back propagation method normally performed in a neural network). The “association” is performed during the initial teaching process. Is called.

初期教示においては、対応する特徴のみに反応するように中間層のユニットに対し、欠陥についての欠陥記述を教示し、同時に中間層に教示信号どおりの出力を設定して、出力層のユニットに対して判定結果を教示する。
上記の初期教示と稼働中教示は図2および図3に示す教示用ファイル35に蓄えられた欠陥画像を用いて行われる。この教示用ファイルに蓄えられた欠陥画像が、頻度の多い欠陥についても頻度の少ない欠陥についても充分な数だけあれば高い欠陥認識率を達成できるのであるが、頻度の少ない欠陥については欠陥画像が少ないので、欠陥認識率も低下することは既述のとおりである。
In the initial teaching, the defect description about the defect is taught to the unit of the intermediate layer so that it reacts only to the corresponding feature, and at the same time, the output according to the teaching signal is set in the intermediate layer, and the unit of the output layer is set. Teach the judgment result.
The initial teaching and the teaching during operation are performed using the defect images stored in the teaching file 35 shown in FIGS. A high defect recognition rate can be achieved if there are a sufficient number of defect images stored in this teaching file for both frequent and infrequent defects. As described above, the defect recognition rate also decreases because of the small number.

そこで、発生頻度の低い欠陥の認識率を高めるため、その欠陥のデータ数を増やすのであるが、その方法が本発明であって、発生頻度の低い欠陥の特徴記述から欠陥データを生成することを特徴とする。   Therefore, in order to increase the recognition rate of defects with low occurrence frequency, the number of data of the defect is increased. However, the method is the present invention, and defect data is generated from feature descriptions of defects with low occurrence frequency. Features.

つぎに、本発明における教示データの生成方法を説明する。
図5に示すように、最初に生成元となる欠陥画像を複数個選択する(201)。もちろん、選択される欠陥画像は発生頻度の低い欠陥の画像である。そして、次に、その欠陥の特徴を記述する(202)。次にその記述内容から欠陥生成を行う(203)。最後に生成した欠陥画像を人に提示して正しい欠陥画像を選ぶ(204)、という手順で行う。
Next, a method for generating teaching data according to the present invention will be described.
As shown in FIG. 5, first, a plurality of defect images to be generated are selected (201). Of course, the selected defect image is an image of a defect having a low occurrence frequency. Next, the feature of the defect is described (202). Next, defect generation is performed from the description contents (203). The last defect image generated is presented to a person and the correct defect image is selected (204).

以下では、印刷欠陥のうち「すじ」欠陥が、実際には発生頻度が低かったので、このすじ欠陥について、教示データ生成方法を、図6および図7に基づき説明する。
(欠陥特徴記述ステップ202)
記述に用いる特徴としては、「明るさ」「エッジ」「長さ」「幅」「面積」「方向」の6種類を用いる。例えば、図6の符号Xで示す元画像を、教示データ生成装置40によって、符号Zで示す画面のように、「明るさは暗い、エッジは鮮明、長さはやや短い、幅は広い、方向は不定」と記述して欠陥生成を行う。
(欠陥生成ステップ203)
このように記述して行くと、図6の符号Yに示すように生成画像が生成される。生成された欠陥画像に基づいて変形処理を行うと、例えば図7に示すように、不足分を大幅に補った多くの画像データとなる。
In the following, since the frequency of occurrence of “streaks” defects among printing defects is low, a teaching data generation method for these streaks will be described with reference to FIGS. 6 and 7.
(Defect feature description step 202)
As the features used for the description, six types of “brightness”, “edge”, “length”, “width”, “area”, and “direction” are used. For example, the teaching image generating apparatus 40 converts the original image indicated by the symbol X in FIG. 6 into the screen indicated by the symbol Z, “the brightness is dark, the edge is clear, the length is slightly short, the width is wide, the direction Defects are generated by writing “Undefined”.
(Defect generation step 203)
When described in this way, a generated image is generated as indicated by a symbol Y in FIG. When the deformation process is performed based on the generated defect image, for example, as shown in FIG. 7, a large amount of image data that greatly compensates for the shortage is obtained.

ここで、前記特徴記述ステップ202と欠陥生成ステップ203の詳細を説明する。
(1)明るさ処理
明るさ処理は、つぎの式で表される。
g(x,y)=Th+s(f(x,y)−Th)・・・(1)
ここで、fは入力画像の輝度値、gは出力画像の輝度値で、Thは入力画像の周囲5pixelの輝度の平均値である。sは「非常に明るい」「暗い」等の記述内容によって取る値の範囲が決まっており、その範囲内からランダムに選ばれる。
(2)エッジ処理
エッジ処理は強調する場合とぼかす場合とで処理が異なる。
強調する場合の処理は、まず注目画素とその周囲の9点より最大の値を抜き出した画像と最小を抜き出した画像を作成する。これらをそれぞれfmax,fminとする。この2つの画像と元画像を比較してつぎの処理を行う。
max(x,y)−f(x,y)>f(x,y)−fmin(x,y)のとき
g(x,y)=f(x,y)−s(f(x,y)−fmin(x,y))・・・(2)
max(x,y)−f(x,y)≦f(x,y)−fmin(x,y)のとき
g(x,y)=f(x,y)+s(fmax(x,y)−f(x,y))・・・(3)
ぼかす場合はつぎの式を用いる。

Figure 2006048370
Figure 2006048370
(3)長さ・幅・面積・方向処理
長さ・幅処理は画像の縦と横に対してアフィン変換を用いた拡大縮小処理を行えばよい。ただし、このとき欠陥の面積が記述で指定された範囲を越えないようにする。方向処理も同様にアフィン変換を用いて回転処理を行えばよい。 Here, details of the feature description step 202 and the defect generation step 203 will be described.
(1) Brightness processing Brightness processing is expressed by the following equation.
g (x, y) = Th + s (f (x, y) −Th) (1)
Here, f is the luminance value of the input image, g is the luminance value of the output image, and Th is the average value of the luminance of 5 pixels around the input image. The range of values to be taken is determined by the description contents such as “very bright” and “dark”, and s is randomly selected from the range.
(2) Edge processing Edge processing differs depending on whether it is emphasized or blurred.
In the process of emphasizing, first, an image in which the maximum value is extracted from the target pixel and its surrounding nine points and an image in which the minimum value is extracted are created. Let these be f max and f min , respectively. The following processing is performed by comparing the two images with the original image.
When f max (x, y) −f (x, y)> f (x, y) −f min (x, y) g (x, y) = f (x, y) −s (f (x , Y) −f min (x, y)) (2)
When f max (x, y) −f (x, y) ≦ f (x, y) −f min (x, y) g (x, y) = f (x, y) + s (f max (x , Y) -f (x, y)) (3)
When blurring, use the following formula.
Figure 2006048370
Figure 2006048370
(3) Length / Width / Area / Direction Processing In length / width processing, enlargement / reduction processing using affine transformation may be performed on the vertical and horizontal sides of an image. At this time, however, the defect area should not exceed the range specified in the description. Similarly, the direction processing may be performed by rotating using affine transformation.

本発明の教示データ生成方法において、図5に示すステップ201〜203で不足教示データが完成すれば、それでよく、もしコンピュータ処理のみでは非現実的な欠陥データが生ずるときは、人為的に不適格な欠陥データを除くステップ(204)を入れればよい。
このようにして完成した不足分の欠陥データDを図3に示す教示用のファイル35に蓄積してやれば、以後は発生頻度の低い欠陥に対しても充分多くの欠陥パターンに基づく教示内容によって、後述するごとく、欠陥の種類とレベルを高精度で認識することができるようになる。
In the teaching data generation method of the present invention, it is sufficient if the insufficient teaching data is completed in steps 201 to 203 shown in FIG. 5, and if unrealistic defect data is generated only by computer processing, it is unqualified artificially. A step (204) for removing unnecessary defect data may be included.
If the deficient defect data D completed in this way is accumulated in the teaching file 35 shown in FIG. 3, it will be described later according to teaching contents based on a sufficiently large number of defect patterns even for defects with low occurrence frequency. As a result, the type and level of the defect can be recognized with high accuracy.

上記の教示データを生成するための教示データ生成装置40としては、欠陥の元画像となる画像データを取込んで、特徴記述に基づき、明るさ処理やエッジ処理、長さ・幅・面積・方向処理を行う機能を有していれば足りる。
また、この教示データ生成装置40は、図2に示すように外観検査装置に組込んだものでもよいが、独立した装置として構成し、別に設けてある外観検査装置に接続してデータ送信してもよい。
The teaching data generation device 40 for generating the teaching data takes in image data as an original image of the defect, and based on the feature description, brightness processing, edge processing, length / width / area / direction It suffices to have a function for processing.
The teaching data generation device 40 may be incorporated in the appearance inspection device as shown in FIG. 2, but is configured as an independent device and is connected to the separately provided appearance inspection device to transmit data. Also good.

つぎに、本発明により教示データを補充した場合の有効性を、実験データにより説明する。
(1)実験方法
入力および教示データとして、実際に製造ラインで欠陥分類を行って得られたデータを用いた。使用したデータの欠陥種類数は28種類(凸欠陥5レベル、穴欠陥5レベル、ムラ欠陥4レベル、凹欠陥5レベル、凹欠陥(黒)、すじ欠陥5レベル、汚れ欠陥3レベル)である。しかし、すじ欠陥だけは全データ中にすじ欠陥レベル3の1つしか存在しなかったため使用可能な欠陥の種類は24種類であった。そして、その中から欠陥のデータ数が250個以上ある場合は50個、5個以上の場合は、データ数の5分の1個、5個未満のときは1個を抜き出して教示データを作成した。そして、抜き出したデータが50個未満のものに対して、欠陥生成を行い50個にした。その結果、教示データは欠陥生成を行った場合は7種類1200個、生成を行わない場合は7種類652個のデータとなった。教示データの詳細を図12の表5に示す。
教示回数は、1段目のFNNは、初期教示500回、バックプロパゲーション5000回を実行した。2段目のNNは、ネットワークごとにバックプロパゲーションを5000回実行した。その後、学習させたNNを教示データ、全データに対して動作させ、元の人間が分類した結果と一致しているか否かを調べた。
NNの中間層のユニット数は、入力層のユニット数と同じとする。また、FNNの入力の分割数は4とし、ファジー関数に用いる値は、入力の最大値/5×n(n=1〜4)とした。
比較のため、以下の4つのNN構成について認識率を調べた。
構成1:2段NN・欠陥生成を行う
構成2:2段NN・欠陥生成を行わない
構成3:FNN一段のみ・欠陥生成を行う
構成4:FNN一段のみ・欠陥生成を行わない
なお、欠陥レベルはその種類によっては人間でもレベルを特定することが困難な場合もあることを考え、レベルが±1ずれた場合も正解とみなした場合のデータを示すことにした。
(2)結果
構成1から4の実験結果をそれぞれ図8〜図11の表1から表4までに示す。
(3)考察
欠陥生成を行った構成(表1,表3)と欠陥生成を行っていない構成(表2,表4)の実験結果を比較すると、欠陥生成を行った場合はデータ全体の認識率は低下している(表2中の97.38%から表1中の97.2%へ低下、表4中の78.93%から表3中の77.48%へ低下)が、各欠陥ごとの認識率の平均は向上している(表2中の72.38%から表1中の88.21%へ向上、表4中の58.36%から表3中の71.95%へ向上)ことがわかる。データ全体に対する認識率が低下した原因については、データ数の少ない欠陥の認識率は向上したが、データ数の多い欠陥の認識率が低下してしまったためと考えられる。平均認識率が向上した原因は、データ数の少ない欠陥の認識向上率がデータ数の多い欠陥の認識低下率より大きかったためと考えられる。また今回使用したデータ中では1つしかなかったすじ欠陥を欠陥生成ありの場合は認識できて、欠陥生成なしの場合では認識できていない。実際の製造ラインでは致命的な欠陥ほど発生頻度は低いと考えられるため、発生頻度が低い欠陥の認識率が向上する欠陥生成は有効であると考えられる。
次にFNNと欠陥生成を組み合わせた場合(表3)と、2段NNと欠陥生成を組み合わせた場合(表1)のデータ全体に対する認識率と平均認識率を比較すると、FNNは欠陥生成を行うとデータ全体に対する認識率が約1.5%低下している(表4中の78.93%から表3中の77.48%へ低下)のに対し、2段NNは約0.4%しか低下していない(表2中の97.38%から表1中の97.02%へ低下)。またFNNは欠陥生成を行うと平均認識率が約14%向上している(表4中の58.36%から表3中の71.95%へ向上)のに対し、2段NNは約16%向上している(表2中の72.38%から表1中の88.21%へ向上)。このことから2段NNと欠陥生成を組み合わせるとデータ全体に対する認識率の低下を抑え、欠陥ごとの認識率の平均を大きく向上させることができると考えられる。
なお、表2および表4の実験結果より2段NNのデータ全体に対する認識率は約97%(表2参照)、一方FNNの認識率は約79%(表4参照)となっている。このことから2段NNはFNNよりも高い認識率を示すことが確認できる。
Next, the effectiveness when the teaching data is supplemented according to the present invention will be described using experimental data.
(1) Experimental method As input and teaching data, data obtained by actually classifying defects on the production line was used. The number of defect types used in the data is 28 (convex defect 5 level, hole defect 5 level, mura defect 4 level, concave defect 5 level, concave defect (black), streak defect 5 level, dirt defect 3 level). However, only one streak defect was present in all data, and only one streak defect level 3 was present, so 24 types of defects were usable. And if there are more than 250 defect data, 50, 5 or more, 1/5 of the number of data, and if less than 5, create 1 teaching data did. Then, defect generation was performed on the extracted data with less than 50 pieces to make 50 pieces. As a result, the teaching data is 7 types of 1200 data when the defect is generated, and 7 types of 652 data when the defect is not generated. Details of the teaching data are shown in Table 5 of FIG.
Regarding the number of teachings, the first stage FNN performed initial teaching 500 times and backpropagation 5000 times. The second-stage NN performed backpropagation 5000 times for each network. After that, the learned NN was operated on the teaching data and all the data, and it was examined whether or not it matched with the result classified by the original person.
The number of units in the NN intermediate layer is the same as the number of units in the input layer. In addition, the number of divisions of the FNN input is 4, and the value used for the fuzzy function is the maximum value of the input / 5 × n (n = 1 to 4).
For comparison, recognition rates were examined for the following four NN configurations.
Configuration 1: Two-stage NN and defect generation Configuration 2: Two-stage NN and defect generation are not performed Configuration 3: Only one FNN stage and defect generation are performed Configuration 4: Only one FNN stage and defect generation are not performed Defect level Considering that it may be difficult for humans to specify the level depending on the type, we decided to show data when the level is deviated by ± 1 and it is considered as a correct answer.
(2) Results The experimental results of configurations 1 to 4 are shown in Tables 1 to 4 in FIGS.
(3) Consideration Comparing the experimental results of the configurations that generated defects (Tables 1 and 3) and the configurations that did not generate defects (Tables 2 and 4), the recognition of the entire data when defects were generated The rate is decreasing (from 97.38% in Table 2 to 97.2% in Table 1 and from 78.93% in Table 4 to 77.48% in Table 3), but the average recognition rate for each defect is It can be seen that it has improved (from 72.38% in Table 2 to 88.21% in Table 1, from 58.36% in Table 4 to 71.95% in Table 3). The reason why the recognition rate with respect to the entire data has decreased is that the recognition rate of defects with a small number of data has improved, but the recognition rate of defects with a large number of data has decreased. The reason why the average recognition rate is improved is considered to be that the recognition improvement rate of the defect having a small number of data is larger than the recognition reduction rate of the defect having a large number of data. Further, only one streak defect in the data used this time can be recognized when a defect is generated, and cannot be recognized when no defect is generated. In an actual production line, it is considered that the frequency of occurrence of a fatal defect is lower, so that it is considered effective to generate a defect that improves the recognition rate of a defect having a lower frequency of occurrence.
Next, when FNN and defect generation are combined (Table 3) and when two-stage NN and defect generation are combined (Table 1), the recognition rate and the average recognition rate for the entire data are compared, and FNN generates defects. However, the recognition rate for the entire data has decreased by about 1.5% (down from 78.93% in Table 4 to 77.48% in Table 3), while the second-stage NN has only decreased by about 0.4% (Table 2). From 97.38% to 97.02% in Table 1). In addition, when FNN generates defects, the average recognition rate has improved by about 14% (from 58.36% in Table 4 to 71.95% in Table 3), whereas 2-stage NN has improved by about 16%. (Up from 72.38% in Table 2 to 88.21% in Table 1) From this, it is considered that combining the two-stage NN and defect generation can suppress a decrease in the recognition rate with respect to the entire data and greatly improve the average recognition rate for each defect.
From the experimental results in Tables 2 and 4, the recognition rate for the entire data of the two-stage NN is about 97% (see Table 2), while the recognition rate for FNN is about 79% (see Table 4). From this, it can be confirmed that the two-stage NN shows a higher recognition rate than the FNN.

本発明は、カメラを用いて対象物を撮像し、パターン認識を行う装置、方法であれば、その使用目的や用途を問わず、例えば、製品や部品の外観欠陥の検査や類別を行う装置に広く適用可能である。したがって、印刷物の外観検査や紙、フィルム、金属などの無地面の検査などに適用できる。   The present invention is an apparatus and method for imaging an object using a camera and performing pattern recognition, for example, to an apparatus for inspecting and classifying appearance defects of products and parts regardless of the purpose or use thereof. Widely applicable. Therefore, it can be applied to the appearance inspection of printed matter and the inspection of the ground such as paper, film and metal.

本発明に係る教示データ生成装置が適用される外観検査装置Aのブロック図である。1 is a block diagram of an appearance inspection apparatus A to which a teaching data generation apparatus according to the present invention is applied. 図1における外観検査装置Aの処理部10と判定部30のブロック図である。It is a block diagram of the process part 10 and the determination part 30 of the external appearance inspection apparatus A in FIG. 図2における処理部10と判定部30の機能説明図である。It is function explanatory drawing of the process part 10 and the determination part 30 in FIG. 図2におけるニューラルネットワーク33の処理フロー説明図である。FIG. 3 is an explanatory diagram of a processing flow of the neural network 33 in FIG. 2. 本発明における教示データ生成方法のフローチャートである。It is a flowchart of the teaching data generation method in this invention. 教示データ生成方法における欠陥特徴記述ステップの説明図である。It is explanatory drawing of the defect feature description step in a teaching data generation method. 教示データ生成方法における欠陥生成ステップの説明図である。It is explanatory drawing of the defect production | generation step in a teaching data production | generation method. 教示データ補充後の認識率を示す表であり、2段NN・教示データ生成ありの場合の表である。It is a table | surface which shows the recognition rate after teaching data replenishment, and is a table | surface in the case of 2 steps | paragraphs NN and teaching data generation. 教示データ補充後の認識率を示す表であり、2段NN・教示データ生成なしの場合の表である。It is a table | surface which shows the recognition rate after teaching data replenishment, and is a table | surface when there is no 2nd stage NN and teaching data generation. 教示データ補充後の認識率を示す表であり、FNN一段のみ・教示データ生成ありの場合の表である。It is a table | surface which shows the recognition rate after teaching data supplementation, and is a table | surface in the case of only one stage of FNN and teaching data generation. 教示データ補充後の認識率を示す表であり、FNN一段のみ・教示データ生成なしの場合の表である。It is a table | surface which shows the recognition rate after teaching data replenishment, and is a table | surface when only FNN 1 step | paragraph and there is no teaching data generation. 全教示データを示す表である。It is a table | surface which shows all the teaching data. 印刷欠陥を示す説明図である。It is explanatory drawing which shows a printing defect.

符号の説明Explanation of symbols

C カメラ
10 処理部
30 判定部
31 特徴値抽出回路
32 ファジー回路
33 ニューラルネットワーク
35 教示用ファイル
40 教示データ生成装置
C camera 10 processing unit 30 determination unit 31 feature value extraction circuit 32 fuzzy circuit 33 neural network 35 teaching file 40 teaching data generation device

Claims (6)

教示ファイルに格納されている多数の教示データに基づいて学習し、パターン認識をするパターン認識方法であって、
前記教示ファイル中の多数の教示データのうち、データ数の少ない特定の教示データについては、その特定の教示データを変形して生成した新たな教示データを補充してパターン認識させる
ことを特徴とするパターン認識方法。
A pattern recognition method for learning and pattern recognition based on a large number of teaching data stored in a teaching file,
Of the large number of teaching data in the teaching file, specific teaching data having a small number of data is supplemented with new teaching data generated by modifying the specific teaching data, and pattern recognition is performed. Pattern recognition method.
前記パターン認識方法が、パターン分類を行うものであって、その分類クラス毎の教示データ数に偏りがある場合に、データ数の少ない教示データを変形して、新たな教示データを生成する
ことを特徴とする請求項1記載のパターン認識方法。
When the pattern recognition method performs pattern classification and there is a bias in the number of teaching data for each classification class, the teaching data with a small number of data is transformed to generate new teaching data. The pattern recognition method according to claim 1, wherein:
生成すべき教示データが画像データであるとき、
画像の拡大、縮小、回転を含むアフィン変換と、
明るさ、コントラスト、エッジ強度を含む属性変換を行うことにより、
新たな教示データを生成する
ことを特徴とする教示データ生成方法。
When the teaching data to be generated is image data,
Affine transformation including image enlargement, reduction, rotation,
By performing attribute conversion including brightness, contrast, and edge strength,
A teaching data generation method characterized by generating new teaching data.
教示ファイルに格納されている多数の教示データに基づいて学習し、パターン認識をするパターン認識装置であって、
一のデータを変形して新たな教示データを生成する教示データ生成装置を備えており、
前記教示ファイル中の多数の教示データのうち、データ数の少ない特定の教示データについては、前記教示データ生成装置により、前記特定の教示データを変形して新たな教示データを生成し、その生成された教示データを前記教示ファイルに補充してパターン認識させる
ことを特徴とするパターン認識装置。
A pattern recognition device that learns based on a large number of teaching data stored in a teaching file and performs pattern recognition,
A teaching data generation device that generates new teaching data by transforming one data;
Among the many teaching data in the teaching file, for the specific teaching data with a small number of data, the teaching data generation device transforms the specific teaching data and generates new teaching data. A pattern recognition apparatus for recognizing a pattern by supplementing the taught data with the taught data.
前記教示データ生成装置が、前記パターン認識装置に内蔵されている
ことを特徴とする請求項4記載のパターン認識装置。
The pattern recognition apparatus according to claim 4, wherein the teaching data generation apparatus is built in the pattern recognition apparatus.
前記教示データ生成装置が、前記パターン認識装置とは独立して存在して、ネットワークで接続されている
ことを特徴とする請求項4記載のパターン認識装置。
5. The pattern recognition apparatus according to claim 4, wherein the teaching data generation apparatus exists independently of the pattern recognition apparatus and is connected by a network.
JP2004228392A 2004-08-04 2004-08-04 Method for recognizing pattern, method for generating teaching data to be used for the method and pattern recognition apparatus Pending JP2006048370A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004228392A JP2006048370A (en) 2004-08-04 2004-08-04 Method for recognizing pattern, method for generating teaching data to be used for the method and pattern recognition apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004228392A JP2006048370A (en) 2004-08-04 2004-08-04 Method for recognizing pattern, method for generating teaching data to be used for the method and pattern recognition apparatus

Publications (1)

Publication Number Publication Date
JP2006048370A true JP2006048370A (en) 2006-02-16

Family

ID=36026846

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004228392A Pending JP2006048370A (en) 2004-08-04 2004-08-04 Method for recognizing pattern, method for generating teaching data to be used for the method and pattern recognition apparatus

Country Status (1)

Country Link
JP (1) JP2006048370A (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163608A (en) * 2004-12-03 2006-06-22 Olympus Corp Sorting device and method
JP2006337152A (en) * 2005-06-01 2006-12-14 Sharp Corp Method and apparatus for forming teaching image, method and apparatus for forming image processing algorithm, image inspecting method, image inspecting device, program and recording medium
JP2007329779A (en) * 2006-06-09 2007-12-20 Fuji Xerox Co Ltd Defect classification system, image forming apparatus and defect classification program
JP2014511530A (en) * 2011-02-24 2014-05-15 スリーエム イノベイティブ プロパティズ カンパニー Non-uniformity detection system in web-based materials
US9710877B2 (en) 2012-12-28 2017-07-18 Fujitsu Limited Image processing apparatus and feature detection method
WO2017203600A1 (en) * 2016-05-24 2017-11-30 株式会社日立ハイテクノロジーズ Defect classification device and defect classification method
CN108226182A (en) * 2018-01-25 2018-06-29 东莞市科隆威自动化设备有限公司 Solar battery sheet printing checking device
JP2018169672A (en) * 2017-03-29 2018-11-01 三菱電機インフォメーションシステムズ株式会社 Method of creating teacher image, computer and program
CN109685756A (en) * 2017-10-16 2019-04-26 乐达创意科技有限公司 Image feature automatic identifier, system and method
WO2019182145A1 (en) * 2018-03-23 2019-09-26 株式会社日本製鋼所 Injection molding machine system
JP2021002270A (en) * 2019-06-24 2021-01-07 株式会社Jvcケンウッド Image recognition learning device, image recognition learning method, image recognition learning program and terminal device
KR102346676B1 (en) * 2021-07-23 2022-01-03 주원씨엔시 주식회사 Method for creating damage figure using the deep learning-based damage image classification of facility
WO2022019390A1 (en) * 2020-07-23 2022-01-27 주식회사 어반베이스 Device and method for training object analysis model on basis of data augmentation
JP7141772B1 (en) 2021-12-02 2022-09-26 株式会社岩崎電機製作所 IMAGE INSPECTION APPARATUS, IMAGE INSPECTION METHOD AND IMAGE INSPECTION PROGRAM
US11961161B2 (en) 2018-07-31 2024-04-16 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163608A (en) * 2004-12-03 2006-06-22 Olympus Corp Sorting device and method
JP2006337152A (en) * 2005-06-01 2006-12-14 Sharp Corp Method and apparatus for forming teaching image, method and apparatus for forming image processing algorithm, image inspecting method, image inspecting device, program and recording medium
JP2007329779A (en) * 2006-06-09 2007-12-20 Fuji Xerox Co Ltd Defect classification system, image forming apparatus and defect classification program
JP4631809B2 (en) * 2006-06-09 2011-02-16 富士ゼロックス株式会社 Defect classification system, image forming apparatus, and defect classification program
JP2014511530A (en) * 2011-02-24 2014-05-15 スリーエム イノベイティブ プロパティズ カンパニー Non-uniformity detection system in web-based materials
US9710877B2 (en) 2012-12-28 2017-07-18 Fujitsu Limited Image processing apparatus and feature detection method
TWI647442B (en) * 2016-05-24 2019-01-11 日立全球先端科技股份有限公司 Defect classification device and defect classification method
US10810733B2 (en) 2016-05-24 2020-10-20 Hitachi High-Tech Corporation Defect classification apparatus and defect classification method
KR20180113572A (en) * 2016-05-24 2018-10-16 가부시키가이샤 히다치 하이테크놀로지즈 Defect classification apparatus and defect classification method
WO2017203600A1 (en) * 2016-05-24 2017-11-30 株式会社日立ハイテクノロジーズ Defect classification device and defect classification method
KR102195029B1 (en) 2016-05-24 2020-12-28 주식회사 히타치하이테크 Defect Classification Device and Defect Classification Method
JP2018169672A (en) * 2017-03-29 2018-11-01 三菱電機インフォメーションシステムズ株式会社 Method of creating teacher image, computer and program
CN109685756A (en) * 2017-10-16 2019-04-26 乐达创意科技有限公司 Image feature automatic identifier, system and method
CN108226182A (en) * 2018-01-25 2018-06-29 东莞市科隆威自动化设备有限公司 Solar battery sheet printing checking device
CN111886121A (en) * 2018-03-23 2020-11-03 株式会社日本制钢所 Injection molding machine system
JP2019166702A (en) * 2018-03-23 2019-10-03 株式会社日本製鋼所 Injection molding machine system that adjusts molding conditions by machine learning device
WO2019182145A1 (en) * 2018-03-23 2019-09-26 株式会社日本製鋼所 Injection molding machine system
US11961161B2 (en) 2018-07-31 2024-04-16 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
JP2021002270A (en) * 2019-06-24 2021-01-07 株式会社Jvcケンウッド Image recognition learning device, image recognition learning method, image recognition learning program and terminal device
WO2022019390A1 (en) * 2020-07-23 2022-01-27 주식회사 어반베이스 Device and method for training object analysis model on basis of data augmentation
KR102346676B1 (en) * 2021-07-23 2022-01-03 주원씨엔시 주식회사 Method for creating damage figure using the deep learning-based damage image classification of facility
JP7141772B1 (en) 2021-12-02 2022-09-26 株式会社岩崎電機製作所 IMAGE INSPECTION APPARATUS, IMAGE INSPECTION METHOD AND IMAGE INSPECTION PROGRAM
JP2023082341A (en) * 2021-12-02 2023-06-14 株式会社岩崎電機製作所 Image inspection device, image inspection method, and image inspection program

Similar Documents

Publication Publication Date Title
Sezer et al. Detection of solder paste defects with an optimization‐based deep learning model using image processing techniques
CN110274908B (en) Defect inspection apparatus, defect inspection method, and computer-readable recording medium
CN109781733B (en) Defect inspection apparatus, defect inspection method, and computer-readable storage medium
CN106875373B (en) Mobile phone screen MURA defect detection method based on convolutional neural network pruning algorithm
CN110033471B (en) Frame line detection method based on connected domain analysis and morphological operation
JP2006048370A (en) Method for recognizing pattern, method for generating teaching data to be used for the method and pattern recognition apparatus
JP6869490B2 (en) Defect inspection equipment, defect inspection methods, and their programs
EP1805715B1 (en) A method and system for processing video data
Khare et al. A blind deconvolution model for scene text detection and recognition in video
CN110675368B (en) Cell image semantic segmentation method integrating image segmentation and classification
JP2020160616A (en) Generation device and computer program and generation method
JP6549396B2 (en) Region detection apparatus and region detection method
Islam et al. Capsule image segmentation in pharmaceutical applications using edge-based techniques
JP2007130329A (en) Appearance inspection method by image
TWI743837B (en) Training data increment method, electronic apparatus and computer-readable medium
CN114897816A (en) Mask R-CNN mineral particle identification and particle size detection method based on improved Mask
JP2008175588A (en) Visual examination device
CN113034488A (en) Visual detection method of ink-jet printed matter
CN114255212A (en) FPC surface defect detection method and system based on CNN
JP3414844B2 (en) Defect pattern type determination method and device
CN114972246A (en) Die-cutting product surface defect detection method based on deep learning
US12008799B2 (en) Classification system and learning system
KR102430946B1 (en) System and method for diagnosing small bowel preparation scale
CN112150494A (en) Terahertz human body security inspection image display enhancement method and system
CN116958113A (en) Product detection method, device, equipment and storage medium