JP2006011574A - Support device for registration of teacher data - Google Patents

Support device for registration of teacher data Download PDF

Info

Publication number
JP2006011574A
JP2006011574A JP2004184412A JP2004184412A JP2006011574A JP 2006011574 A JP2006011574 A JP 2006011574A JP 2004184412 A JP2004184412 A JP 2004184412A JP 2004184412 A JP2004184412 A JP 2004184412A JP 2006011574 A JP2006011574 A JP 2006011574A
Authority
JP
Japan
Prior art keywords
defect type
teacher data
feature
registered
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004184412A
Other languages
Japanese (ja)
Other versions
JP4462411B2 (en
Inventor
Mitsunari Miyamoto
晃成 宮本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2004184412A priority Critical patent/JP4462411B2/en
Publication of JP2006011574A publication Critical patent/JP2006011574A/en
Application granted granted Critical
Publication of JP4462411B2 publication Critical patent/JP4462411B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To avoid loss of learning processing time based on registration of incorrect teacher data, in a defect type discrimination system having a neural network. <P>SOLUTION: A support device for registration of teacher data is provided with: a collation means which collates a feature quantity string of defect type names inputted by an input means with a feature quantity string corresponding to each of two or more defect type names registered in a database by quantization unit defined for each pictorial feature beforehand; a computing means which when the result of collation by the collation means indicates that there is no registered feature quantity string matching the feature quantity string of the inputted defect type name, computes a matching degree in quantization unit between the feature quantity string of the inputted defect type name and the average value of a feature quantity string previously registered as the feature quantity string of the defect type name thereof; and a presentation means which presents the matching degree computed by the computing means. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

この発明は、欠陥種別判別システム(例えば、連続抄紙ライン等に適用)を構成するニューラルネットワークに含まれる各種演算係数を最適化するための学習処理に必要な教師データの登録操作を支援するために使用される教師データの登録支援装置に関する。   The present invention supports registration operation of teacher data necessary for learning processing for optimizing various arithmetic coefficients included in a neural network constituting a defect type discrimination system (for example, applied to a continuous paper making line). The present invention relates to a registration support apparatus for teacher data to be used.

検査対象物(例えば、抄紙ラインを流れる帯状紙等)を撮影することにより得られた画像中から切り出された欠陥相当画像から二値化画像を生成する二値化画像生成手段と、二値化画像生成手段により生成された二値化画像から様々な画像的特徴のそれぞれに関する特徴量を抽出する特徴量抽出手段と、特徴量抽出手段により抽出された様々な画像的特徴のそれぞれに関する特徴量に基づいて欠陥種別(虫、淡い欠陥、黒点、穴、薄破れ等)を判別するニューラルネットワークとを有する欠陥種別判別システムは、従来より知られている(例えば、特許文献1参照)。   A binarized image generating means for generating a binarized image from a defect-corresponding image cut out from an image obtained by photographing an inspection object (for example, a strip of paper flowing through a papermaking line); A feature amount extracting means for extracting a feature amount relating to each of various image features from the binarized image generated by the image generating means, and a feature amount relating to each of the various image features extracted by the feature amount extracting means. 2. Description of the Related Art A defect type discrimination system having a neural network that discriminates a defect type (insect, light defect, black spot, hole, thin tear, etc.) based on the conventional type is known (see, for example, Patent Document 1).

この種の欠陥種別判別システムにおける欠陥種別判別精度を上げるためには、ニューラルネットワークに含まれる各ニューロンの演算係数(例えば、結合係数W、ニューロン状態Sの判定閾値等)を最適化せねばならない。この最適化のための学習処理は、操作者により登録された教師データ(欠陥種別名とそれに対応する入力特徴量列)に基づいて学習処理を実行することにより実現される。   In order to increase the defect type discrimination accuracy in this type of defect type discrimination system, it is necessary to optimize the calculation coefficient (for example, the coupling coefficient W, the determination threshold value of the neuron state S) of each neuron included in the neural network. The learning process for the optimization is realized by executing the learning process based on the teacher data (defect type name and the input feature quantity string corresponding to the teacher data) registered by the operator.

従来、教師データの登録処理は、与えられた入力特徴量列に対応する欠陥種別名を入力すると言った操作により行われている。このとき、与えられた入力特徴量列に相当する欠陥種別名の判定は、画面上に表示された欠陥相当画像に基づく操作者の視覚的判断に委ねられていた。
特開平10−302049号公報
Conventionally, the registration process of teacher data is performed by an operation of inputting a defect type name corresponding to a given input feature amount sequence. At this time, the determination of the defect type name corresponding to the given input feature quantity sequence is left to the operator's visual determination based on the defect-corresponding image displayed on the screen.
Japanese Patent Laid-Open No. 10-302049

しかしながら、欠陥相当画像とそれに対応する欠陥種別名との間には必ずしも厳密に一義的な関係は存在しないため、上述の視覚的判断にのみ頼った欠陥種別名の判定方法にあっては、欠陥種別名の視覚的な判断誤りにより、不適切な教師データを登録する虞があった。このような誤った教師データが登録されると、ニューロンの演算係数最適化のための学習演算処理において、いつまで経っても学習演算処理が収束せずに、無駄に時間が費やされる結果となる。殊に、この種の学習演算処理は、各ニューロンの結合係数や閾値を僅かずつ変更しては、規定の演算動作を繰り返すものであるから、教師データが正しく登録されたとしても、数十分程度はかかるものであり、誤った教師データを与えることによる時間の損失は、作業能率の大幅な低下に繋がりかねない。   However, since there is not necessarily a strictly unambiguous relationship between the defect-equivalent image and the corresponding defect type name, the defect type name determination method that relies only on the above-mentioned visual judgment is There is a risk that inappropriate teacher data may be registered due to a visual judgment error of the type name. If such erroneous teacher data is registered, in the learning calculation process for optimizing the calculation coefficient of the neuron, the learning calculation process does not converge any time and results in wasted time. In particular, this kind of learning calculation process repeats the specified calculation operation by changing the coupling coefficient and threshold value of each neuron slightly, so even if the teacher data is registered correctly, it is several tens of minutes. The degree of time is such that loss of time due to giving incorrect teacher data can lead to a significant reduction in work efficiency.

この発明は、上述の問題点に着目してなされたものであり、その目的とするところは、この種のニューラルネットワークを含む欠陥種別判別システムにおいて、誤った教師データを登録することに基づく学習処理時間のロスを回避することが可能な教師データの登録支援装置を提供することにある。   The present invention has been made paying attention to the above-mentioned problems, and the object of the present invention is a learning process based on registering erroneous teacher data in a defect type discrimination system including this type of neural network. An object of the present invention is to provide a teacher data registration support apparatus capable of avoiding time loss.

この発明のさらに他の目的並びに作用効果については、明細書の以下の説明を参照することにより、当業者であれば容易に理解されるであろう。   Still other objects and operational effects of the present invention will be easily understood by those skilled in the art by referring to the following description of the specification.

この発明の教師データの登録支援装置は、検査対象物を撮影することにより得られた画像中から切り出された欠陥相当画像から二値化画像を生成する二値化画像生成手段と、二値化画像生成手段により生成された二値化画像から様々な画像的特徴のそれぞれに関する特徴量を抽出する特徴量抽出手段と、特徴量抽出手段により抽出された様々な画像的特徴のそれぞれに関する特徴量に基づいて欠陥種別を判別するニューラルネットワークとを有する欠陥種別判別システムにおいて、前記ニューラルネットワークに含まれる各種演算係数を最適化するための学習処理に必要な教師データの登録操作を支援するために使用される。   A teacher data registration support apparatus according to the present invention includes a binarized image generating unit that generates a binarized image from a defect-corresponding image cut out from an image obtained by photographing an inspection object, and binarization A feature amount extracting means for extracting a feature amount relating to each of various image features from the binarized image generated by the image generating means, and a feature amount relating to each of the various image features extracted by the feature amount extracting means. In a defect type discrimination system having a neural network for discriminating a defect type based on it, it is used to support a registration operation of teacher data necessary for learning processing for optimizing various calculation coefficients included in the neural network. The

この教師データの登録支援装置は、既に登録済みの教師データに相当する欠陥種別名並びにその特徴量列が登録されたデータベースと、新たに登録するための教師データに相当する欠陥種別名並びにその特徴量列を入力するための入力手段と、入力手段により入力された欠陥種別名の特徴量列とデータベースに登録された複数の欠陥種別名のそれぞれに対応する特徴量列とを、予め各画像的特徴毎に定義された量子化単位にて照合する照合手段と、照合手段による照合の結果、入力された欠陥種別名の特徴量列と一致する登録済特徴量列が存在しないときには、入力された欠陥種別名の特徴量列とその欠陥種別名の特徴量列として既に登録されている特徴量列の平均値との量子化単位における一致度を算出する演算手段と、演算手段により算出された一致度を操作者に提示する提示手段と、を含んでいる。   The teacher data registration support apparatus includes a database in which a defect type name corresponding to already registered teacher data and a feature amount sequence thereof are registered, a defect type name corresponding to teacher data to be newly registered, and a feature thereof. An input means for inputting a quantity sequence, a feature quantity sequence of defect type names input by the input means, and a feature quantity sequence corresponding to each of a plurality of defect type names registered in the database The collation means that collates with the quantization unit defined for each feature, and the result of the collation by the collation means is that there is no registered feature quantity sequence that matches the feature quantity string of the input defect type name. A calculation means for calculating a degree of coincidence in a quantization unit between a feature value string of a defect type name and an average value of a feature value string already registered as a feature value string of the defect type name; And presenting means for presenting the degree of coincidence is the operator, contains.

このような構成によれば、照合手段による照合の結果、入力された欠陥種別名の特徴量列と一致する登録済特徴量列が存在しないときに、新たな登録が可能となることに加えて、登録に先立って、その教師データ(欠陥種別名とその特徴量列)の確かさが一致度として操作者に提示されるため、欠陥種別名に相応しくない特徴量列が教師データとして誤って登録され、それにより学習処理に支障を来すと言った不具合が回避される。   According to such a configuration, when there is no registered feature quantity sequence that matches the feature quantity string of the input defect type name as a result of collation by the collation means, new registration is possible. Prior to registration, the certainty of the teacher data (defect type name and its feature quantity string) is presented to the operator as the degree of coincidence, so a feature quantity string that does not match the defect type name is erroneously registered as teacher data. As a result, the problem of impeding the learning process is avoided.

この発明の教師データの登録支援装置にあっては、さらに、照合手段により量子化単位における照合一致が判定された登録済み特徴量列に対応する欠陥種別名が入力された特徴量列に対応する欠陥種別名と不一致のときには所定の出力動作を行う出力手段と、を含んでいてもよい。   In the teacher data registration support apparatus according to the present invention, it further corresponds to the feature quantity sequence in which the defect type name corresponding to the registered feature quantity sequence for which collation matching is determined in the quantization unit by the collation means is input. Output means for performing a predetermined output operation when the defect type name does not match.

このような構成によれば、照合手段により量子化単位における照合一致が判定された登録済み特徴量列に対応する欠陥種別名が、入力された特徴量列に対応する欠陥種別名と不一致のときには、所定の出力動作を行う出力手段を含んでいるため、特徴量列同士がほぼ同一であるにも拘わらず、それら二つの欠陥相当画像に対して異なる欠陥種別を誤って割り当てようとしたときには、その旨を示す所定の出力動作が行われることとなり、それに基づいて操作者は自己の判断の誤りに気がつくことができる。   According to such a configuration, when the defect type name corresponding to the registered feature value sequence for which the matching match in the quantization unit is determined by the matching unit does not match the defect type name corresponding to the input feature value sequence. In addition, since it includes output means for performing a predetermined output operation, when trying to mistakenly assign different defect types to these two defect-corresponding images even though the feature amount sequences are almost the same, A predetermined output operation indicating that effect is performed, and based on this, the operator can notice an error in his / her judgment.

上述の装置にあっては、所定の出力動作が、操作者に対する警告動作であってもよい。このような構成によれば、特徴量列同士がほぼ同一であるにも拘わらず、それら二つの欠陥相当画像に対して異なる欠陥種別を割り当てようとしたときには、その旨を示す警告動作が行われることとなり、それに基づいて操作者は自己の判断の誤りに気がつくことができる。ここで、警告動作には、ブザーやランプの点灯のほか、画像表示器の画面上に警告文を表示すること、等を含めることができる。   In the above-described apparatus, the predetermined output operation may be a warning operation for the operator. According to such a configuration, when different feature types are assigned to the two defect-corresponding images even though the feature amount sequences are substantially the same, a warning operation indicating that effect is performed. Based on this, the operator can notice an error in his judgment. Here, the warning operation can include displaying a warning text on the screen of the image display, in addition to turning on the buzzer and the lamp.

上述の装置にあっては、所定の出力動作が、操作者に対する、欠陥種別名の不一致に係る二つの特徴量列に相当する図表の提示であってもよい。このような構成によれば、それら二つの特徴量列をより詳細に照合することにより、操作者は欠陥種別名の割り当て適否を判断することができる。   In the above-described apparatus, the predetermined output operation may be presentation of a chart corresponding to two feature amount sequences related to the mismatch of the defect type name to the operator. According to such a configuration, the operator can determine whether or not to assign the defect type name by collating these two feature amount sequences in more detail.

上述の装置にあっては、各図表にはその基礎とされた欠陥相当画像が付加されていてもよい。このような構成によれば、欠陥相当画像同士の照合により、操作者は欠陥種別名の割り当て適否をより厳密に判断することができる。   In the above-described apparatus, a defect-equivalent image based on the chart may be added to each chart. According to such a configuration, the operator can more strictly determine the suitability of the defect type name assignment by comparing the defect equivalent images.

上述の装置にあっては、提示される図表がレーダチャートであってもよい。このような構成によれば、特徴量列を構成する各特徴量同士の比較を視覚を通じてより精密に行なうことにより、操作者は欠陥種別名の割り当て適否を判断することができる。   In the above apparatus, the presented chart may be a radar chart. According to such a configuration, the operator can determine whether or not to assign the defect type name by more accurately comparing each feature amount constituting the feature amount sequence through vision.

上述の各装置において、前記検査対象物は連続製造工程に置かれたシート状物体(例えば、鋼板やフィルム等)であってもよい。特に、前記シート状物体が連続抄紙ラインに置かれた帯状紙であるときには、食品向け用途の紙における品質向上に寄与するところが大きいと言う利点がある。なお、照合手段により量子化単位における照合一致が判定された登録済み特微量列に対応ずる欠陥種別名が、入力された特微量列に対応する欠陥種別名と一致するときには、入力された欠陥種別名の特微量列とその欠陥種別名の特微量列として既に登録されている特微量列の平均値との量子化単位における一致度を算出し、算出された一致度を創作者に提示してもよい。   In each apparatus described above, the inspection object may be a sheet-like object (for example, a steel plate or a film) placed in a continuous manufacturing process. In particular, when the sheet-like object is a belt-like paper placed on a continuous paper making line, there is an advantage that it greatly contributes to quality improvement in paper for food use. In addition, when the defect type name corresponding to the registered special feature column for which the matching match in the quantization unit is determined by the matching unit matches the defect type name corresponding to the input special feature column, the input defect type Calculate the degree of coincidence in the quantization unit between the special quantity column of the name and the average value of the special quantity column already registered as the special quantity column of the defect type name, and present the calculated degree of coincidence to the creator Also good.

本発明によれば、この種のニューラルネットワークを有する欠陥種別判別システムにおいて、誤った教師データを登録することに基づく学習処理時間のロスを回避することができる。   According to the present invention, in the defect type discrimination system having this type of neural network, it is possible to avoid a loss of learning processing time based on registering erroneous teacher data.

以下に、この発明の好適な実施の一形態を添付図面を参照しながら詳細に説明する。連続抄紙ラインと本発明装置との関係を示すシステム構成図が図1に示されている。   In the following, a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings. A system configuration diagram showing the relationship between the continuous paper making line and the apparatus of the present invention is shown in FIG.

同図において、1は連続抄紙ラインの後段に備え付けられているワインダマシン、2はワインダ操業支援装置、3はシート検査装置である。当業者にはよく知られているように、ワインダ操業支援装置2を構成するWCSサーバPC5はプログラマブル・コントローラ(PLC)4を介してワインダマシン1の動作を制御する。シート検査装置3にはカメラ、光源、画像処理(欠陥検出)ボード、各種処理PCが含まれており、そこで検出した欠陥の情報や画像データがデータ処理PC6のデータベースに保存される。同時に、このデータはWCSサーバPC5にも保存される。これらの画像データを用いて欠陥の種別判別が行われる。   In the figure, reference numeral 1 denotes a winder machine provided at the subsequent stage of the continuous paper making line, 2 denotes a winder operation support device, and 3 denotes a sheet inspection device. As is well known to those skilled in the art, the WCS server PC 5 constituting the winder operation support apparatus 2 controls the operation of the winder machine 1 via a programmable controller (PLC) 4. The sheet inspection apparatus 3 includes a camera, a light source, an image processing (defect detection) board, and various processing PCs, and information on detected defects and image data are stored in a database of the data processing PC 6. At the same time, this data is also stored in the WCS server PC5. The type of defect is determined using these image data.

WCSサーバPC5は、本発明の欠陥種別判別システムを構成する。すなわち、この欠陥種別判別システムは、検査対象物である紙の表面を撮影することにより得られた画像中から切り出された欠陥相当画像から2値化画像を生成する2値化画像生成手段と、2値化画像生成手段により生成された2値化画像から様々な画像的特徴のそれぞれに関する特徴量を抽出する特徴量抽出手段と、特徴量抽出手段により抽出された様々な画像的特徴のそれぞれに関する特徴量に基づいて欠陥種別を判別するニューラルネットワークとを含んでいる。   The WCS server PC5 constitutes the defect type discrimination system of the present invention. That is, the defect type discrimination system includes a binarized image generating unit that generates a binarized image from a defect-corresponding image cut out from an image obtained by photographing the surface of paper that is an inspection object; A feature amount extracting means for extracting feature amounts relating to each of various image features from the binarized image generated by the binarized image generating means, and each of various image features extracted by the feature amount extracting means. And a neural network that discriminates the defect type based on the feature amount.

より具体的には、欠陥種別判別システムの構成図が図2に示されている。同図において、検査対象物を撮影することにより得られた画像中から切り出された欠陥画像10は、欠陥色の判別部11において、明または暗画像と明暗混合画像とに分類される。   More specifically, a block diagram of the defect type discrimination system is shown in FIG. In the figure, a defect image 10 cut out from an image obtained by photographing an inspection object is classified into a bright or dark image and a light / dark mixed image in a defect color discrimination unit 11.

明暗混合画像は、明側画像2値化部12と暗側画像2値化部14とに並列に供給される。明側画像2値化部12は、明暗混合画像の中で明側画像の2値化処理を担う。同様に、暗側画像2値化部14は、明暗混合画像中の暗側画像の2値化処理を担う。これら明側及び暗側画像2値化部12,14から得られる2値化画像は、2値化画像合成部15において合成され、特徴抽出の基礎となる最終的な2値化画像が求められる。一方、欠陥色の判別部11において分類された明または暗画像は、画像2値化部13に送られ、ここで2値化画像に変換される。こうして2値化画像合成部15及び画像2値化部13にて得られた2値化画像は、画像前処理部16へと送られる。   The bright / dark mixed image is supplied in parallel to the bright side image binarization unit 12 and the dark side image binarization unit 14. The bright side image binarization unit 12 performs a binarization process of the bright side image in the bright and dark mixed image. Similarly, the dark side image binarization unit 14 is responsible for binarization processing of the dark side image in the light / dark mixed image. The binarized images obtained from the bright side and dark side image binarizing units 12 and 14 are synthesized in the binarized image synthesizing unit 15 to obtain a final binarized image that is a basis for feature extraction. . On the other hand, the bright or dark image classified by the defect color discrimination unit 11 is sent to the image binarization unit 13 where it is converted into a binarized image. The binarized images thus obtained by the binarized image composition unit 15 and the image binarization unit 13 are sent to the image preprocessing unit 16.

画像前処理部16は、先の処理で生成された2値化画像に対し、所定の前処理を行う。この前処理は特徴量抽出のためのものである。すなわち、画像前処理部16において前処理された2値化画像は特徴量抽出部17へと送られ、ここで濃淡特徴量及び形状特徴量が抽出される。   The image preprocessing unit 16 performs predetermined preprocessing on the binarized image generated by the previous processing. This preprocessing is for feature quantity extraction. That is, the binarized image preprocessed by the image preprocessing unit 16 is sent to the feature amount extraction unit 17, where the grayscale feature amount and the shape feature amount are extracted.

1次ニューラルネットワーク判別処理部18は、特徴量抽出部17によって抽出された形状特徴量及び濃淡特徴量に基づき、欠陥種別判別を行う。こうして、種別判別出力21が生成出力される。   The primary neural network discrimination processing unit 18 performs defect type discrimination based on the shape feature value and the light and shade feature value extracted by the feature value extraction unit 17. In this way, the type determination output 21 is generated and output.

一方、この実施形態においては、さらに2次ニューラルネットワーク判別処理部20が設けられる。この2次ニューラルネットワーク判別処理部20は、画像前処理部16から得られる濃淡ヒストグラムと1次ニューラルネットワーク判別処理部18からの処理結果データに基づき、さらに別の切り口から、欠陥種別判別処理を実行する。   On the other hand, in this embodiment, a secondary neural network discrimination processing unit 20 is further provided. The secondary neural network discrimination processing unit 20 executes a defect type discrimination process from another point of view based on the density histogram obtained from the image preprocessing unit 16 and the processing result data from the primary neural network discrimination processing unit 18. To do.

こうして得られた1次ニューラルネットワーク判別処理部18の判別結果、並びに、2次ニューラルネットワーク判別処理部20の判別結果、に基づいて最終的な欠陥種別判別出力21が生成される。尚、例外処理部19は、画像前処理部16の前処理結果に基づき、例外処理信号を生成する。この例外処理信号が種別判別出力21となる。また、ここで言う種別判別出力21としては、虫、淡い欠陥、黒点、穴、薄破れ等が含まれている。   Based on the discrimination result of the primary neural network discrimination processing unit 18 and the discrimination result of the secondary neural network discrimination processing unit 20 obtained in this way, a final defect type discrimination output 21 is generated. The exception processing unit 19 generates an exception processing signal based on the preprocessing result of the image preprocessing unit 16. This exception processing signal becomes the type determination output 21. The type discrimination output 21 mentioned here includes insects, light defects, black spots, holes, thin tears, and the like.

このような欠陥種別判別システムによれば、連続抄紙ラインのオペレータは、種別判別出力21によって、連続抄紙ライン上を流れる帯状紙の何れの箇所に、虫、淡い欠陥、黒点、穴、薄破れ等の欠陥が存在するかを確実に認識することができる。そして、この判別結果に基づき、ワインダマシンを逆転するなどによって、その欠陥箇所を探査し、これを適宜除去する。   According to such a defect type discriminating system, the operator of the continuous paper making line can use the type discriminating output 21 to place an insect, a light defect, a black spot, a hole, a thin tear, etc. on any part of the belt that flows on the continuous paper making line. It is possible to reliably recognize whether there is a defect. Then, based on the determination result, the defect portion is searched by, for example, reversing the winder machine and removed as appropriate.

この種の欠陥種別判別システムにおける欠陥種別判別精度を上げるためには、ニューラルネットワーク18,20に含まれる各ニューロンの演算係数(例えば、結合係数W、ニューロン状態Sの判定閾値等)を最適化せねばならない。この最適化のための学習処理は、操作者により登録された教師データ(欠陥種別名とそれに対応する入力特徴量列)に基づいて学習処理を実行することにより実現される。本発明の教師データの登録支援装置は、前記ニューラルネットワークに含まれる各種演算係数を最適化するための学習処理に必要な教師データの登録操作を支援するものである。   In order to increase the defect type discrimination accuracy in this type of defect type discrimination system, the operation coefficients (for example, the coupling coefficient W, the determination threshold value of the neuron state S, etc.) of each neuron included in the neural networks 18 and 20 are optimized. I have to. The learning process for the optimization is realized by executing the learning process based on the teacher data (defect type name and the input feature quantity string corresponding to the teacher data) registered by the operator. The teacher data registration support apparatus of the present invention supports a teacher data registration operation necessary for a learning process for optimizing various calculation coefficients included in the neural network.

この教師データの登録支援装置は、先に述べたように、既に登録済みの教師データに相当する欠陥種別名並びにその特徴量列が登録されたデータベースと、新たに登録するための教師データに相当する欠陥種別名並びにその特徴量列を入力するための入力手段と、入力手段により入力された欠陥種別名の特徴量列とデータベースに登録された複数の欠陥種別名のそれぞれに対応する特徴量列とを、予め各画像的特徴毎に定義された量子化単位にて照合する照合手段と、照合手段による照合の結果、入力された欠陥種別名の特徴量列と一致する登録済特徴量列が存在しないときには、入力された欠陥種別名の特徴量列とその欠陥種別名の特徴量列として既に登録されている特徴量列の平均値との量子化単位における一致度を算出する演算手段と、演算手段により算出された一致度を操作者に提示する提示手段と、照合手段により量子化単位における照合一致が判定された登録済み特徴量列に対応する欠陥種別名が入力された特徴量列に対応する欠陥種別名と不一致のときには所定の出力動作を行う出力手段とを含んでいる。   As described above, this teacher data registration support device corresponds to a database in which defect type names and feature quantity sequences corresponding to already registered teacher data are registered, and teacher data to be newly registered. Input means for inputting the defect type name and the feature quantity sequence thereof, the feature quantity sequence of the defect type name input by the input means, and the feature quantity sequence corresponding to each of the plurality of defect type names registered in the database Are collated in a quantization unit defined in advance for each image feature, and as a result of collation by the collating unit, a registered feature quantity sequence that matches the feature quantity string of the input defect type name is An arithmetic means for calculating a degree of coincidence in a quantization unit between the input feature quantity sequence of the defect type name and the average value of the feature quantity sequence already registered as the feature quantity sequence of the defect type name; Presenting means for presenting the degree of coincidence calculated by the computing means to the operator, and a feature quantity sequence in which the defect type name corresponding to the registered feature quantity sequence for which matching matching in the quantization unit is determined by the matching means is input Output means for performing a predetermined output operation when there is a mismatch with the corresponding defect type name.

このような教師データの登録支援装置を実現するための教師データの登録支援処理の詳細が図3のフローチャートに示されている。この教師支援処理は、教師データの入力に応答して実行を開始される。なお、教師データにおける「欠陥種別名」の決定は、画面に表示された欠陥画像に基づく操作者の視覚的な判断に委ねられている。   The details of the teacher data registration support processing for realizing such a teacher data registration support device are shown in the flowchart of FIG. The teacher support process is started in response to input of teacher data. The determination of the “defect type name” in the teacher data is left to the operator's visual judgment based on the defect image displayed on the screen.

すなわち、教師データDが入力されると、当該教師データDの取り込みが行われる(ステップ301)。ここでは、新規に入力される教師データDは欠陥種別名[Name]と特徴量列[c1,c2,…cn]の組合せとして表されている。すなわち、c1が第1特徴、c2が第2特徴、cnが第n特徴として表されている。   That is, when the teacher data D is input, the teacher data D is captured (step 301). Here, newly input teacher data D is represented as a combination of a defect type name [Name] and a feature string [c1, c2,... Cn]. That is, c1 is represented as the first feature, c2 is represented as the second feature, and cn is represented as the nth feature.

次いで、新規に入力される教師データを構成する特徴量列[c1,c2,…cn]とデータベースに格納された各欠陥種別毎の特徴量列[ck1,ck2,…ckn(k=1,2・・・kmax)]との逐一照合処理が実行される。すなわち、まずポインタkを1にセットしたのち(ステップ302)、ポインタkの値を+1づつ更新させながら(ステップ309)、順次登録データDkを読み込み、教師データDの特徴量列[c1,c2,…cn]と登録データの特徴量列[ck1,ck2,…ckn]との照合が行われる(ステップ304)。   Next, a feature quantity sequence [c1, c2,... Cn] constituting newly input teacher data and a feature quantity sequence [ck1, ck2,... Ckn (k = 1, 2) for each defect type stored in the database. ... Kmax)] are executed one by one. That is, first, the pointer k is set to 1 (step 302), the value of the pointer k is updated by +1 (step 309), the registered data Dk is sequentially read, and the feature data string [c1, c2, c2 ... Cn] and the registered data feature quantity sequence [ck1, ck2,... Ckn] are collated (step 304).

このとき、照合結果が不一致のときには(ステップ305NO)、ポインタkの値を+1ずつインクリメントしては(ステップ309)、次の登録データを読み出しては(ステップ303)、両者の照合を行う(ステップ304)。これに対して、両者の一致が判定されたときには(ステップ305YES)、教師データDの欠陥種別名[Name]と登録データDkの欠陥種別名[Namek]との一致がさらに判定される。ここで、両者が一致した場合には(ステップ306YES)、同様にして、ポインタkの値を+1更新しては(ステップ309)、次の登録データDkに関して、照合処理(ステップ304)、一致判定処理(ステップ305)が、ポインタkの値が最終値kmaxに達するまでの間(ステップ308)実行される。   At this time, if the collation results do not match (NO in step 305), the value of the pointer k is incremented by +1 (step 309), the next registered data is read (step 303), and both are collated (step 309). 304). On the other hand, when a match between the two is determined (YES in step 305), a match between the defect type name [Name] of the teacher data D and the defect type name [Namek] of the registered data Dk is further determined. If the two match (YES in step 306), the value of the pointer k is updated by +1 in the same manner (step 309), and collation processing (step 304) is performed for the next registered data Dk. The process (step 305) is executed until the value of the pointer k reaches the final value kmax (step 308).

これに対して、照合結果が一致で(ステップ305)、なおかつ教師データDの欠陥種別名[Name]と登録データDkの欠陥種別名[Namek]とが不一致と判定されると(ステップ306NO)、所定の出力処理が実行される(ステップ307)。   On the other hand, if the collation results match (step 305), and it is determined that the defect type name [Name] of the teacher data D and the defect type name [Namek] of the registered data Dk do not match (NO in step 306). A predetermined output process is executed (step 307).

出力処理の詳細を示す説明図が図4に示されている。この例にあっては、出力処理が開始されると、まずオペレータに対して所定の警告表示及び警告ブザーの鳴動が行われ(ステップ401)、その後オペレータからの図表要求操作を待って(ステップ402)、必要に応じて教師データDと登録データDkとをレーダチャートを用いて左右に並べて表示する処理が実行される(ステップ403)。レーダチャートによる表示態様の詳細については、後に図7を参照して詳細に説明する。   An explanatory diagram showing details of the output processing is shown in FIG. In this example, when the output process is started, a predetermined warning display and a warning buzzer are first sounded to the operator (step 401), and then a chart request operation from the operator is waited (step 402). ) If necessary, a process of displaying the teacher data D and the registered data Dk side by side using a radar chart is executed (step 403). Details of the display mode by the radar chart will be described later in detail with reference to FIG.

図3に戻って、ステップ304における照合処理及びステップ305における一致判別処理は、本発明にあっては、図6及び図7に示されるように、量子化単位において行われる。すなわち、本発明にあっては、図6(a)に示されるように、特徴量0〜0.19,0.2〜0.39,0.4〜0.59,0.6〜0.79,0.8〜1.00といったように、特徴量レンジ0.00〜1.00の間は5段階の量子化区分に分けられており、各段階はレベル1,レベル2,レベル3,レベル4,レベル5といった指標により量子化されている。例えば、欠陥Aについて、特徴量である面積が0.15、面積比が0.55、円形度が0.65、フェレ比が0.85、丸さ度が0.35であると想定すれば、先の量子化単位を用いることによって、面積はレベル1、面積比はレベル3、円形度はレベル4、フェレ比はレベル5、丸さ度はレベル2といったように表すことができる。   Returning to FIG. 3, the collating process in step 304 and the coincidence determining process in step 305 are performed in the quantization unit in the present invention, as shown in FIGS. That is, in the present invention, as shown in FIG. 6A, feature amounts 0 to 0.19, 0.2 to 0.39, 0.4 to 0.59, 0.6 to 0,. 79, 0.8 to 1.00, etc., the feature amount range 0.00 to 1.00 is divided into five levels of quantization, each level being level 1, level 2, level 3, Quantization is performed using indices such as level 4 and level 5. For example, assuming that the defect A has an area of 0.15, an area ratio of 0.55, a circularity of 0.65, a ferret ratio of 0.85, and a roundness of 0.35. By using the previous quantization unit, the area can be expressed as level 1, the area ratio is level 3, the circularity is level 4, the ferret ratio is level 5, the roundness is level 2, and so on.

そして、この量子化単位(レベル1〜レベル5)を用いて、先ほどの照合処理(ステップ304)及び一致判別処理(ステップ305)が実行される。その結果、この照合処理(ステップ304)並びに一致判別処理(ステップ305)は、ある程度の冗長度をもって行われる。すなわち、教師データDの特徴量列[c1,c2,…cn]と登録データDkの特徴量列[ck1,ck2,…ckn]との照合は、0.2幅の冗長性をもたせて行われる。   Then, using this quantization unit (level 1 to level 5), the matching process (step 304) and the match determination process (step 305) are executed. As a result, the matching process (step 304) and the match determination process (step 305) are performed with a certain degree of redundancy. That is, the collation between the feature value sequence [c1, c2,... Cn] of the teacher data D and the feature value sequence [ck1, ck2,... Ckn] of the registered data Dk is performed with 0.2-width redundancy. .

このような構成によれば、照合手段により量子化単位における照合一致が判定された登録済み特徴量列に対応する欠陥種別名が、入力された特徴量列に対応する欠陥種別名と不一致のときには、所定の出力動作を行うようにしたため、特徴量列同士がほぼ同一であるにも拘わらず、それら2つの欠陥相当画像に対して誤って異なる欠陥種別を割り当てようとしたときには、その旨を示す所定の出力動作が行われることとなり、それに基づいて操作者は自己の判断の誤りに気がつくことができ、必要な修正操作が促される。   According to such a configuration, when the defect type name corresponding to the registered feature value sequence for which the matching match in the quantization unit is determined by the matching unit does not match the defect type name corresponding to the input feature value sequence. Since a predetermined output operation is performed, when a defect type is erroneously assigned to these two defect-equivalent images even though the feature amount sequences are almost the same, this is indicated. A predetermined output operation is performed, and based on this, the operator can notice an error in his / her judgment, and a necessary correction operation is prompted.

このことが、図7の照合処理の説明図にさらに詳しく説明されている。同図(a)はデータベース内の登録状態を示している。また、同図(b)はこれから登録しようとする欠陥に関する特徴量列を示している。   This is explained in more detail in the explanatory diagram of the collation processing of FIG. FIG. 4A shows the registration state in the database. FIG. 5B shows a feature amount sequence relating to a defect to be registered.

いま仮に、データベース内には、欠陥A,欠陥B,欠陥Cがすでに3通りずつ登録されており、欠陥Aは特徴量列{(1,3,4,5,2),(1,3,4,5,3),(1,3,4,5,4)}、欠陥Bは特徴量列{(2,3,4,5,1),(2,4,4,5,1),(2,5,4,5,1)}、欠陥Cは特徴量列{(5,5,1,3,2),(5,5,2,2,3),(5,5,1,2,3)}を有する。   Now, suppose that there are already three types of defects A, B, and C in the database, and the defect A is a feature quantity sequence {(1, 3, 4, 5, 2), (1, 3, 4, 5, 3), (1, 3, 4, 5, 4)} and defect B is a feature quantity sequence {(2, 3, 4, 5, 1), (2, 4, 4, 5, 1). , (2, 5, 4, 5, 1)} and defect C are feature quantity sequences {(5, 5, 1, 3, 2), (5, 5, 2, 2, 3), (5, 5, 1, 2, 3)}.

このとき、新たに欠陥Cを登録しようとしたとき、その特徴量列(2,3,4,5,1)が、すでに登録している欠陥Bの特徴量列(2,3,4,5,1)と一致したものと想定する。このとき、両者の特徴量列は量子化単位において一致するのに対し、両者の欠陥種別名は一方が欠陥Bであるのに他方が欠陥Cとなって相違する。   At this time, when a new defect C is to be registered, the feature value sequence (2, 3, 4, 5, 1) is already registered as the feature value sequence (2, 3, 4, 5) of the defect B. , 1). At this time, the feature quantity strings of both coincide with each other in the quantization unit, whereas the defect type names of the two differ in that one is the defect B and the other is the defect C.

このような場合、先に示した図3のフローチャートにおいて、ステップ305は『一致』、かつステップ306は『不一致』と判定され、その結果所定の出力処理が実行される(ステップ307)。そして、先に図4を参照して説明したように、警告表示及び警報ブザーの鳴動(ステップ401)並びにオペレータの要求操作に応じて、教師データDと登録データDkとをレーダチャートにより並べて表示する処理(ステップ403)が実行される。   In such a case, in the flowchart of FIG. 3 described above, step 305 is determined to be “match” and step 306 is determined to be “not match”, and as a result, a predetermined output process is executed (step 307). Then, as described above with reference to FIG. 4, the teacher data D and the registered data Dk are displayed side by side on the radar chart according to the warning display, the alarm buzzer sounding (step 401), and the operation requested by the operator. Processing (step 403) is executed.

このようにして、レーダチャートにより並べて表示された特徴量列の一例が図9に示されている。同図(a)と同図(b)とを比較して明らかなように、レーダチャート902aとレーダチャート902bとでは各特徴量毎の相違が図形上の相違として表されており、そのため両者の特徴別相違点をオペレータは容易に認識することができる。しかも、各レーダチャートのそれぞれ902a,902bには、さらに対象となる欠陥画像901a,901bが付加されているため、欠陥相当画像とそれに対応する特徴別特徴量の値の相違を容易に視覚的に認識することができる。   FIG. 9 shows an example of the feature amount sequence displayed side by side on the radar chart in this way. As is clear from comparison between FIG. 6A and FIG. 6B, the difference between each feature amount is expressed as a graphic difference between the radar chart 902a and the radar chart 902b. The operator can easily recognize the characteristic differences. Moreover, since the target defect images 901a and 901b are further added to the respective radar charts 902a and 902b, the difference between the defect-corresponding image and the value of the feature-specific feature value corresponding thereto can be easily visually confirmed. Can be recognized.

次に、図3に戻って、新規に登録しようとする教師データが既に登録済みの教師データのいずれにも一致しないときには(ステップ308YES)、図5へと進んで、入力された欠陥種別名の特徴量列とその欠陥種別名の特徴量列として既に登録されている特徴量列の平均値との量子化単位における一致度を算出する処理が実行される。   Next, returning to FIG. 3, when the teacher data to be newly registered does not match any of the already registered teacher data (YES in step 308), the process proceeds to FIG. A process of calculating the degree of coincidence in the quantization unit between the feature amount sequence and the average value of the feature amount sequence already registered as the feature amount sequence of the defect type name is executed.

すなわち、先ず最初に、既に登録されている欠陥の中から、これから登録する欠陥に対して設定された欠陥種別の特徴量を求める処理が実行される(ステップ501)。続いて、設定した欠陥種別の各特徴量毎の平均を5段階でレベル分け(量子化)する処理が実行される(ステップ502)。続いて、設定した欠陥種の特徴量の平均とこれから登録する欠陥とでパターン照合を行う処理が実行される(ステップ503)。続いて、照合結果の判定処理が実行される(ステップ504)。   That is, first, a process for obtaining a feature quantity of a defect type set for a defect to be registered is executed from among already registered defects (step 501). Subsequently, a process of leveling (quantizing) the average for each feature amount of the set defect type in five stages is executed (step 502). Subsequently, a process of performing pattern matching between the average of the feature amounts of the set defect types and the defects to be registered is executed (step 503). Subsequently, a collation result determination process is executed (step 504).

ここで、図8(a)に示されるように、欠陥種別名A同士でパターンが100%一致していると判定された場合には(ステップ505)、所定の画面上には、全ての特徴量が一致していることを示す二重丸印が表示される(ステップ508)。また、図8(b)に示されるように、欠陥種別名A同士でパターンが80%以上一致していると判定された場合には(ステップ506)、所定の画面上には、80%の特徴量が一致していることを示す丸印が表示される(ステップ509)。さらに、図8(c)に示されるように、欠陥種別名A同士でパターンが80%以上一致していないと判定された場合には(ステップ507)、所定の画面上には、80%の特徴量が一致していないことを示す×印が表示される(ステップ509)。   Here, as shown in FIG. 8A, when it is determined that the patterns of the defect type names A match 100% (step 505), all the features are displayed on the predetermined screen. A double circle indicating that the amounts match is displayed (step 508). Further, as shown in FIG. 8B, when it is determined that the pattern matches 80% or more between the defect type names A (step 506), 80% is displayed on the predetermined screen. A circle indicating that the feature amounts match is displayed (step 509). Furthermore, as shown in FIG. 8C, when it is determined that the pattern does not match 80% or more between the defect type names A (step 507), 80% of the pattern is displayed on the predetermined screen. A cross indicating that the feature amounts do not match is displayed (step 509).

なお、図9の例にあっては、図9(a)と図9(b)とを比較するだけではなく、図9(a),(b)のそれぞれの中で、これから登録しようとする欠陥の特徴量(レーダチャートの塗りつぶし)と登録済の平均の特徴量(レーダチャートの直線)とを比較するものである。すなわち、同図(a)はこれから登録しようとする特徴量(レーダチャートの塗りつぶし)と登録済の平均の特徴量(レーダチャートの特徴)とが合っていない場合、同図(b)はこれから登録しようとする特徴量(レーダチャートの塗りつぶし)と登録済の平均の特徴量(レーダチャートの直線)とが合っていない場合である。   In the example of FIG. 9, not only comparing FIG. 9 (a) and FIG. 9 (b), but also trying to register in each of FIGS. 9 (a) and 9 (b). The feature amount of the defect (filling of the radar chart) is compared with the registered average feature amount (straight line of the radar chart). That is, if the feature quantity to be registered (the radar chart fill) does not match the registered average feature quantity (radar chart feature), FIG. This is a case where the feature amount to be tried (radar chart fill) does not match the registered average feature amount (radar chart straight line).

以上の説明で明らかなように、本発明の教師データの登録支援装置は、既に登録済みの教師データに相当する欠陥種別名並びにその特徴量列が登録されたデータベース(図7(a)参照)と、新たに登録するための教師データに相当する欠陥種別名並びにその特徴量列(図7(b)参照)を入力するための入力手段と、入力手段により入力された欠陥種別名の特徴量列とデータベースに登録された複数の欠陥種別名のそれぞれに対応する特徴量列とを、予め各画像的特徴毎に定義された量子化単位(図6(a)参照)にて照合する照合手段(図3ステップ304,305参照)と、照合手段による照合の結果、入力された欠陥種別名の特徴量列と一致する登録済特徴量列が存在しないときには(図3ステップ308NO)、入力された欠陥種別名の特徴量列とその欠陥種別名の特徴量列として既に登録されている特徴量列の平均値との量子化単位における一致度を算出する演算手段(図5ステップ501,502,503)と、演算手段により算出された一致度を操作者に提示する提示手段(図5ステップ505〜507、508〜510)とを具備するものであるから、照合手段による照合の結果、入力された欠陥種別名の特徴量列と一致する登録済特徴量列が存在しないときに限り、新たな登録が可能となることに加えて、登録に先立って、その教師データ(欠陥種別名とその特徴量列)の確かさが一致度として操作者に提示されるため、欠陥種別名に相応しくない特徴量列が教師データとして誤って登録され、それにより学習処理に支障を来すと言った不具合が回避される。   As is apparent from the above description, the teacher data registration support apparatus of the present invention is a database in which defect type names corresponding to already registered teacher data and their feature quantity sequences are registered (see FIG. 7A). And an input means for inputting the defect type name corresponding to the teacher data to be newly registered and its feature quantity string (see FIG. 7B), and the feature quantity of the defect type name input by the input means Collation means for collating the column and the feature amount column corresponding to each of the plurality of defect type names registered in the database with a quantization unit (see FIG. 6A) defined in advance for each image feature (See steps 304 and 305 in FIG. 3), and if there is no registered feature value sequence that matches the feature value sequence of the input defect type name as a result of the verification by the verification means (NO in step 308 in FIG. 3), the input Defective species Calculating means (steps 501, 502, and 503 in FIG. 5) for calculating the degree of coincidence in the quantization unit between the feature value sequence of the name and the average value of the feature value sequence already registered as the feature value sequence of the defect type name; And the presenting means (steps 505 to 507 and 508 to 510 in FIG. 5) for presenting the degree of coincidence calculated by the computing means to the operator. Only when there is no registered feature string that matches the feature string of the name, new registration is possible, and in addition to registration, the teacher data (defect type name and its feature string) Since the certainty is presented to the operator as the degree of coincidence, a feature quantity sequence that is not suitable for the defect type name is erroneously registered as teacher data, thereby avoiding the problem of impeding the learning process. .

加えて、この発明の教師データの登録支援装置にあっては、照合手段により量子化単位における照合一致が判定された登録済み特徴量列に対応する欠陥種別名が、入力された特徴量列に対応する欠陥種別名と不一致のときには所定の出力動作を行う出力手段(図3ステップ307参照)とを含んでいる。   In addition, in the teacher data registration support apparatus of the present invention, the defect type name corresponding to the registered feature value sequence for which the matching match in the quantization unit is determined by the matching unit is input to the input feature value sequence. It includes output means (see step 307 in FIG. 3) that performs a predetermined output operation when it does not match the corresponding defect type name.

そのため、照合手段により量子化単位における照合不一致が判定された登録済み特徴量列に対応する欠陥種別名が、入力された特徴量列に対応する欠陥種別名と不一致のときには、所定の出力動作を行う出力手段(ステップ307)を含んでいるため、特徴量列同士がほぼ同一であるにも拘わらず、それら2つの欠陥相当画像に対して異なる欠陥種別を割り当てようとしたときには、その旨を示す所定の出力動作が行われることとなり、それに基づいて操作者は自己の判断の誤りに気がつくことができる。   Therefore, when the defect type name corresponding to the registered feature quantity sequence for which the matching mismatch in the quantization unit is determined by the matching unit does not match the defect type name corresponding to the input feature quantity sequence, a predetermined output operation is performed. Since the output means (step 307) to be performed is included, when different feature types are assigned to the two defect-corresponding images even though the feature amount sequences are substantially the same, this is indicated. A predetermined output operation is performed, and based on this, the operator can notice an error in his / her judgment.

従って、この発明によれば、誤った教師データを登録することに基づく学習処理時間のロスを回避することが可能となる。すなわち、誤った教師データが登録されると、ニューロンの演算係数最適化のための学習演算処理において、いつまでたっても学習演算処理が収束せずに、無駄に時間が費やされる結果となる。殊に、この種の学習演算処理は、各ニューロンの結合係数や閾値を僅かずつ変更しては、規定の演算動作を繰り返すものであるから、教師データが正しく登録されたとしても、数十分程度はかかるものであり、誤った教師データを与えることによる時間の損失は、作業能率の大幅な低下に繋がりかねない。   Therefore, according to the present invention, it is possible to avoid a loss of learning processing time based on registering erroneous teacher data. That is, if incorrect teacher data is registered, in the learning calculation process for optimizing the calculation coefficient of the neuron, the learning calculation process does not converge indefinitely, resulting in wasted time. In particular, this kind of learning calculation process repeats the specified calculation operation by changing the coupling coefficient and threshold value of each neuron slightly, so even if the teacher data is registered correctly, it is several tens of minutes. The degree of time is such that loss of time due to giving incorrect teacher data can lead to a significant reduction in work efficiency.

連続抄紙ラインと本発明装置との関係を示すシステム構成図である。It is a system block diagram which shows the relationship between a continuous paper making line and this invention apparatus. 欠陥種別判別システムの構成図である。It is a block diagram of a defect classification discrimination system. 登録支援処理の説明図(その1)である。It is explanatory drawing (the 1) of a registration assistance process. 出力処理の詳細を示す説明図である。It is explanatory drawing which shows the detail of an output process. 登録支援処理の説明図(その2)である。It is explanatory drawing (the 2) of a registration assistance process. 特徴量のレベル分けの説明図である。It is explanatory drawing of the level division | segmentation of the feature-value. 登録済欠陥と新規登録欠陥との特徴量列照合処理の説明図である。It is explanatory drawing of the feature-value row | line collation process of a registered defect and a newly registered defect. 録済欠陥平均値と新規登録欠陥との特徴量列照合処理の説明図である。It is explanatory drawing of the feature-value row | line collation process of a recorded defect average value and a newly registered defect. レーダチャートの一例を示す説明図である。It is explanatory drawing which shows an example of a radar chart.

符号の説明Explanation of symbols

1 ワインダマシン
2 ワインダ操業支援装置
3 シート検査装置
4 プログラマブル・コントローラ(PLC)
5 WCサーバPC
6 データ処理PC
7 ネットワーク
10 欠陥画像
11 欠陥色の判別部
12 明側画像2値化部
13 画像2値化部
14 暗側画像2値化部
15 2値画像の合成部
16 画像前処理部
17 特徴量抽出部
18 1次ニューラルネットワーク判別処理部
19 例外処理部
20 2次ニューラルネットワーク判別処理部
21 種別判別出力
901a、901b 欠陥相当画像
902a,902b レーダチャート
DESCRIPTION OF SYMBOLS 1 Winder machine 2 Winder operation support apparatus 3 Sheet inspection apparatus 4 Programmable controller (PLC)
5 WC server PC
6 Data processing PC
DESCRIPTION OF SYMBOLS 7 Network 10 Defect image 11 Defect color discrimination | determination part 12 Bright side image binarization part 13 Image binarization part 14 Dark side image binarization part 15 Binary image composition part 16 Image pre-processing part 17 Feature quantity extraction part 18 Primary neural network discrimination processing unit 19 Exception processing unit 20 Secondary neural network discrimination processing unit 21 Type discrimination output 901a, 901b Defect equivalent image 902a, 902b Radar chart

Claims (8)

検査対象物を撮影することにより得られた画像中から切り出された欠陥相当画像から二値化画像を生成する二値化画像生成手段と、二値化画像生成手段により生成された二値化画像から様々な画像的特徴のそれぞれに関する特徴量を抽出する特徴量抽出手段と、特徴量抽出手段により抽出された様々な画像的特徴のそれぞれに関する特徴量に基づいて欠陥種別を判別するニューラルネットワークとを有する欠陥種別判別システムにおいて、
前記ニューラルネットワークに含まれる各種演算係数を最適化するための学習処理に必要な教師データの登録操作を支援するために使用される教師データの登録支援装置であって、
既に登録済みの教師データに相当する欠陥種別名並びにその特徴量列が登録されたデータベースと、
新たに登録するための教師データに相当する欠陥種別名並びにその特徴量列を入力するための入力手段と、
入力手段により入力された欠陥種別名の特徴量列とデータベースに登録された複数の欠陥種別名のそれぞれに対応する特徴量列とを、予め各画像的特徴毎に定義された量子化単位にて照合する照合手段と、
照合手段による照合の結果、入力された欠陥種別名の特徴量列と一致する登録済特徴量列が存在しないときには、入力された欠陥種別名の特徴量列とその欠陥種別名の特徴量列として既に登録されている特徴量列の平均値との量子化単位における一致度を算出する演算手段と、
演算手段により算出された一致度を操作者に提示する提示手段と、
を具備する、ことを特徴とする教師データの登録支援装置。
A binarized image generating unit that generates a binarized image from a defect-corresponding image cut out from an image obtained by photographing the inspection object, and a binarized image generated by the binarized image generating unit A feature quantity extracting means for extracting feature quantities relating to each of various image features from a neural network for determining a defect type based on the feature quantities relating to each of various image features extracted by the feature quantity extracting means. In the defect type identification system that has
A teacher data registration support apparatus used to support a teacher data registration operation necessary for learning processing for optimizing various calculation coefficients included in the neural network,
A database in which defect type names corresponding to already registered teacher data and their feature quantity columns are registered;
An input means for inputting the defect type name corresponding to the teacher data to be newly registered and the feature amount sequence;
A feature amount string of defect type names input by the input means and a feature amount sequence corresponding to each of a plurality of defect type names registered in the database are in a quantization unit defined in advance for each image feature. Matching means for matching;
As a result of the collation by the collation means, when there is no registered feature amount sequence that matches the feature amount sequence of the input defect type name, the feature amount sequence of the input defect type name and the feature amount sequence of the defect type name are A computing means for calculating the degree of coincidence in the quantization unit with the average value of the already registered feature quantity sequence;
Presenting means for presenting the degree of coincidence calculated by the computing means to the operator;
A teacher data registration support apparatus comprising:
照合手段により量子化単位における照合一致が判定された登録済み特徴量列に対応する欠陥種別名が、入力された特徴量列に対応する欠陥種別名と不一致のときには、所定の出力動作を行う出力手段を含む、ことを特徴とする請求項1に記載の教師データの登録支援装置。   Output that performs a predetermined output operation when the defect type name corresponding to the registered feature quantity sequence for which the matching match in the quantization unit is determined by the matching means does not match the defect type name corresponding to the input feature quantity sequence The teacher data registration support apparatus according to claim 1, further comprising: means. 所定の出力動作が、操作者に対する警告動作である、ことを特徴とする請求項2に記載の教師データの登録支援装置。   3. The teacher data registration support apparatus according to claim 2, wherein the predetermined output operation is a warning operation for the operator. 所定の出力動作が、操作者に対する、欠陥種別名の不一致に係る二つの特徴量列に相当する図表の提示である、ことを特徴とする請求項2に記載の教師データの登録支援装置。   The teacher data registration support apparatus according to claim 2, wherein the predetermined output operation is presentation of a chart corresponding to two feature amount sequences related to a mismatch of defect type names to an operator. 各図表にはその基礎とされた欠陥相当画像が付加されている、ことを特徴とする請求項4に記載の教師データの登録支援装置。   5. The teacher data registration support apparatus according to claim 4, wherein a defect equivalent image based on the chart is added to each chart. 提示される図表がレーダチャートである、ことを特徴とする請求項4に記載の教師データの登録支援装置。   The teacher data registration support apparatus according to claim 4, wherein the presented chart is a radar chart. 前記検査対象物が連続製造工程に置かれたシート状物体である、ことを特徴とする請求項1〜7に記載の教師データの登録支援装置。   The teacher data registration support apparatus according to claim 1, wherein the inspection object is a sheet-like object placed in a continuous manufacturing process. 前記シート状物体が連続抄紙ラインに置かれた帯状紙である、ことを特徴とする請求項7に記載の教師データの登録支援装置。   8. The teacher data registration support apparatus according to claim 7, wherein the sheet-like object is a belt-like paper placed on a continuous paper making line.
JP2004184412A 2004-06-23 2004-06-23 Teacher data registration support device Expired - Fee Related JP4462411B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004184412A JP4462411B2 (en) 2004-06-23 2004-06-23 Teacher data registration support device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004184412A JP4462411B2 (en) 2004-06-23 2004-06-23 Teacher data registration support device

Publications (2)

Publication Number Publication Date
JP2006011574A true JP2006011574A (en) 2006-01-12
JP4462411B2 JP4462411B2 (en) 2010-05-12

Family

ID=35778802

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004184412A Expired - Fee Related JP4462411B2 (en) 2004-06-23 2004-06-23 Teacher data registration support device

Country Status (1)

Country Link
JP (1) JP4462411B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009217583A (en) * 2008-03-11 2009-09-24 Toshiba Corp Apparatus and method for pattern recognition
JP2010091401A (en) * 2008-10-08 2010-04-22 Dainippon Screen Mfg Co Ltd Method for assisting data preparation for teacher, and method and device for classifying image
JP2017173098A (en) * 2016-03-23 2017-09-28 株式会社Screenホールディングス Image processing device and image processing method
JP2020159865A (en) * 2019-03-27 2020-10-01 大同特殊鋼株式会社 Quality determination method of metal material surface

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11344450A (en) * 1998-06-03 1999-12-14 Hitachi Ltd Instruction data forming method and defect classifying method and apparatus thereof
JP2000057349A (en) * 1998-08-10 2000-02-25 Hitachi Ltd Method for sorting defect, device therefor and method for generating data for instruction
JP2001156135A (en) * 1999-11-29 2001-06-08 Hitachi Ltd Method and device for sorting defective image and manufacturing method of semiconductor device using them

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11344450A (en) * 1998-06-03 1999-12-14 Hitachi Ltd Instruction data forming method and defect classifying method and apparatus thereof
JP2000057349A (en) * 1998-08-10 2000-02-25 Hitachi Ltd Method for sorting defect, device therefor and method for generating data for instruction
JP2001156135A (en) * 1999-11-29 2001-06-08 Hitachi Ltd Method and device for sorting defective image and manufacturing method of semiconductor device using them

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
中田 雅博: "シート外観検査装置NASPマルチ500の開発", OMRON TECHNICS 第43巻 第2号, vol. 第43巻 第2号, JPN6010003319, 20 June 2003 (2003-06-20), JP, ISSN: 0001521403 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009217583A (en) * 2008-03-11 2009-09-24 Toshiba Corp Apparatus and method for pattern recognition
JP2010091401A (en) * 2008-10-08 2010-04-22 Dainippon Screen Mfg Co Ltd Method for assisting data preparation for teacher, and method and device for classifying image
JP2017173098A (en) * 2016-03-23 2017-09-28 株式会社Screenホールディングス Image processing device and image processing method
JP2020159865A (en) * 2019-03-27 2020-10-01 大同特殊鋼株式会社 Quality determination method of metal material surface
JP7276650B2 (en) 2019-03-27 2023-05-18 大同特殊鋼株式会社 Method for judging quality of metal surface

Also Published As

Publication number Publication date
JP4462411B2 (en) 2010-05-12

Similar Documents

Publication Publication Date Title
CN109961421B (en) Data generating device, data generating method, and data generating recording medium
US10459931B2 (en) Computerized technical authentication and grading system for collectible objects
EP3499418B1 (en) Information processing apparatus, identification system, setting method, and program
US9582872B2 (en) Optical film defect detection method and system thereof
JP4679073B2 (en) Tire unevenness pattern inspection method and tire unevenness pattern inspection apparatus
US7409081B2 (en) Apparatus and computer-readable medium for assisting image classification
CN111091538B (en) Automatic identification and defect detection method and device for pipeline welding seams
JP5228459B2 (en) Inspection group data management system
JP2005293264A (en) Learning type sorting apparatus and learning type sorting method
JP7054436B2 (en) Detection system, information processing device, evaluation method and program
EP3843036A1 (en) Sample labeling method and device, and damage category identification method and device
KR100748628B1 (en) Method And Apparatus For Inspecting Marking Of Semiconductor Device
US20190272627A1 (en) Automatically generating image datasets for use in image recognition and detection
JP4661034B2 (en) Print quality inspection apparatus and method
JP4462411B2 (en) Teacher data registration support device
CN113554645B (en) Industrial anomaly detection method and device based on WGAN
CN107464336B (en) Colorless phosphorescent printed pattern quality online detection method and device
JP2006292615A (en) Visual examination apparatus, visual inspection method, program for making computer function as visual inspection apparatus, and recording medium
JP5045211B2 (en) Character recognition device, appearance inspection device, and character recognition method
KR100538229B1 (en) Method and apparatus for discriminating the class of media for forming image
CN115240031A (en) Method and system for generating plate surface defects based on generation countermeasure network
CN114677331A (en) Pipe defect detection method and device based on fusion of gray level image and depth data
JP3982646B2 (en) Image identification apparatus and method, image detection identification apparatus provided with image identification apparatus, and medium on which image identification program is recorded
US20230419466A1 (en) Method and apparatus for identifying defect grade of bad picture, and storage medium
US20240144661A1 (en) Support device and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100127

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4462411

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100209

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140226

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees