JP2021018149A - Imaging information classification system, imaging information classification method, imaging information classification program, and surface discrimination device - Google Patents

Imaging information classification system, imaging information classification method, imaging information classification program, and surface discrimination device Download PDF

Info

Publication number
JP2021018149A
JP2021018149A JP2019134121A JP2019134121A JP2021018149A JP 2021018149 A JP2021018149 A JP 2021018149A JP 2019134121 A JP2019134121 A JP 2019134121A JP 2019134121 A JP2019134121 A JP 2019134121A JP 2021018149 A JP2021018149 A JP 2021018149A
Authority
JP
Japan
Prior art keywords
imaging information
value
defect
imaging
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019134121A
Other languages
Japanese (ja)
Other versions
JP7388684B2 (en
Inventor
力雄 東谷
Rikio Higashiya
力雄 東谷
良雄 福原
Yoshio Fukuhara
良雄 福原
宗利 今田
Munetoshi Imada
宗利 今田
彰吾 木村
Shogo Kimura
彰吾 木村
遼太 大濱
Ryota Ohama
遼太 大濱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyu Industries Ltd
Original Assignee
Sanyu Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyu Industries Ltd filed Critical Sanyu Industries Ltd
Priority to JP2019134121A priority Critical patent/JP7388684B2/en
Publication of JP2021018149A publication Critical patent/JP2021018149A/en
Application granted granted Critical
Publication of JP7388684B2 publication Critical patent/JP7388684B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

To provide an efficient data set as a learning data set of an artificial intelligence system.SOLUTION: An imaging information classification system inputs imaging information including a surface of an object from an input means, calculates a contrast value and an edge intensity value by a central arithmetic unit (step S100 and step S110), classifies into imaging information in which the surface of the object is normal and imaging information in which the surface of the object is abnormal on the basis of the contrast value and the edge intensity value (step S130), and can classify the imaging information with a clear standard in comparison with a case where human classifies the imaging information. The system can also obtain a data set capable of obtaining a high learning effect when causing artificial intelligence to learn using the classified imaging information.SELECTED DRAWING: Figure 2

Description

本発明は、撮像情報分類システム、撮像情報分類方法、撮像情報分類プログラム及び表面判別装置に関する。 The present invention relates to an imaging information classification system, an imaging information classification method, an imaging information classification program, and a surface discrimination apparatus.

近年の情報処理機能の向上に伴い、ニューラルネットワークを用いた欠陥検査方法が知られている。例えば、特許文献１には、被検査物を異なる光学条件で撮像し複数の検査画像を取得し、取得した複数の検査画像を各々フーリエ変換して複数の検査周波数画像を作成し、作成された複数の検査周波数画像を入力信号としてニューラルネットワークに処理をさせ、ニューラルネットワークの出力信号に基づき被検査物の良否を判定する欠陥検査方法が記載されている。この欠陥検査方法では、光学条件の違いより被検査物表面の形状の違いを表現でき、このような異なる光学条件の複数の検査画像に関して単なる画像データではなくフーリエ変換により検査周波数成分に変換した検査周波数画像データを用いてニューラルネットワークで演算処理を行うことで、複数の欠陥の種類に対応した高精度な欠陥検査が可能となる。 With the improvement of information processing function in recent years, a defect inspection method using a neural network is known. For example, Patent Document 1 is created by imaging an object to be inspected under different optical conditions, acquiring a plurality of inspection images, and Fourier transforming each of the acquired plurality of inspection images to create a plurality of inspection frequency images. A defect inspection method is described in which a neural network is made to process a plurality of inspection frequency images as input signals, and the quality of an inspected object is determined based on the output signals of the neural network. In this defect inspection method, the difference in the shape of the surface of the object to be inspected can be expressed by the difference in the optical conditions, and the inspection in which a plurality of inspection images under such different optical conditions are converted into inspection frequency components by Fourier transform rather than mere image data By performing arithmetic processing with a neural network using frequency image data, highly accurate defect inspection corresponding to a plurality of defect types becomes possible.

特開２００４−１９１１１２号公報JP-A-2004-191112

ところで、ニューラルネットワークを用いて欠陥を検査する場合、予め欠陥に該当するか否かを学習させる必要があるが、多くの場合、この学習における欠陥に該当するか否かの判断は入力者の経験に頼る場合が多く、その学習段階において、欠陥に該当する場合を欠陥に該当しないと入力者が判断していた場合、学習段階において、欠陥の判定が正しく行われていないことになり、結果としてその学習結果を用いた欠陥の判定が正しく行われない可能性があった。 By the way, when inspecting a defect using a neural network, it is necessary to learn in advance whether or not it corresponds to a defect, but in many cases, the judgment of whether or not it corresponds to a defect in this learning is the experience of the input person. In many cases, if the input person determines that a defect is not applicable in the learning stage, the defect is not correctly determined in the learning stage, and as a result, the defect is not determined correctly. There was a possibility that the defect judgment using the learning result was not performed correctly.

本発明は、このような課題に鑑みなされたものであり、人工知能システムに正常と異常との判定を学習させる際、人間の経験による判定よりもより客観的な基準で判定したデータセットを使用することで、人工知能システムによる学習効果を向上させ、人工知能システムによって正常と異常との判定を行う際、判定精度を向上することができる撮像情報分類システム、撮像情報分類プログラム及び撮像情報分類方法を提供することを主目的とする。また、この撮像情報分類システムで分類したデータセットを用いて人工知能システムを学習させることで精度の高い判別ができる表面判別装置を提供することも、目的とする。 The present invention has been made in view of such a problem, and when the artificial intelligence system is made to learn the judgment of normal and abnormal, a data set judged by a more objective standard than the judgment by human experience is used. By doing so, the learning effect of the artificial intelligence system can be improved, and when the artificial intelligence system determines whether it is normal or abnormal, the determination accuracy can be improved. The imaging information classification system, the imaging information classification program, and the imaging information classification method. The main purpose is to provide. Another object of the present invention is to provide a surface discrimination device capable of discriminating with high accuracy by learning an artificial intelligence system using a data set classified by this imaging information classification system.

本発明は、上述の主目的を達成するために以下の手段を採った。 The present invention has taken the following measures to achieve the above-mentioned main object.

本発明の撮像情報分類システムは、
対象物の表面を撮像した撮像情報を入力する入力手段と、
前記撮像情報の所定領域のコントラスト値を算出するコントラスト値算出手段と、
前記撮像情報の所定領域のエッジ強度値を算出するエッジ強度値算出手段と、
前記コントラスト値算出手段が算出した前記コントラスト値と、前記エッジ強度値算出手段が算出した前記エッジ強度値と、に基づいて、前記撮像情報を正常撮像情報と異常撮像情報とに分類する分類手段と、
を備えたことを特徴とする、
ものである。 The imaging information classification system of the present invention
An input means for inputting imaging information obtained by imaging the surface of an object, and
A contrast value calculating means for calculating a contrast value in a predetermined region of the imaging information,
An edge strength value calculating means for calculating an edge strength value of a predetermined region of the imaging information,
A classification means for classifying the imaging information into normal imaging information and abnormal imaging information based on the contrast value calculated by the contrast value calculating means and the edge intensity value calculated by the edge intensity value calculating means. ,
It is characterized by having
It is a thing.

この撮像情報分類システムは、対象物の表面を撮像した撮像情報が入力手段から入力されると、コントラスト値算出手段が撮像情報の所定領域のコントラスト値を算出し、エッジ強度値算出手段が撮像情報の所定領域のエッジ強度値を算出する。続いて、分類手段が、コントラスト値とエッジ強度値に基づいて入力手段から入力された撮像情報を正常撮像情報と異常撮像情報とに分類する。こうすることにより、入力された撮像情報がコントラスト値及びエッジ強度値に基づいて正常撮像情報と異常撮像情報とに分類されるため、人間が分類する場合と比較して、より客観的な基準で分類することができる。言い換えると、分類する人間によって基準にバラツキが生じる可能性を未然に低減することで、正常撮像情報と異常撮像情報とを同一の基準で分類することができる。 In this imaging information classification system, when the imaging information obtained by imaging the surface of an object is input from the input means, the contrast value calculating means calculates the contrast value in a predetermined region of the imaging information, and the edge strength value calculating means acquires the imaging information. Calculate the edge strength value of the predetermined region of. Subsequently, the classification means classifies the imaging information input from the input means based on the contrast value and the edge intensity value into normal imaging information and abnormal imaging information. By doing so, the input imaging information is classified into normal imaging information and abnormal imaging information based on the contrast value and the edge intensity value, so that it is a more objective standard than the case of human classification. Can be categorized. In other words, normal imaging information and abnormal imaging information can be classified according to the same criteria by reducing the possibility that the criteria will vary depending on the person who classifies them.

本発明の撮像情報分類システムにおいて、前記分類手段は、次式（１）で表される欠陥評価値の値が予め定められた閾値以上の場合に、前記撮像情報を正常撮像情報に分類し、前記欠陥評価値の値が予め定められた閾値未満の場合に、前記撮像情報を異常撮像情報に分類することを特徴としてもよい。 In the imaging information classification system of the present invention, the classification means classifies the imaging information into normal imaging information when the value of the defect evaluation value represented by the following equation (1) is equal to or greater than a predetermined threshold value. When the value of the defect evaluation value is less than a predetermined threshold value, the imaging information may be classified into abnormal imaging information.

Ｖ＝（ｍＣ＋ｎＦ）／（ｍ＋ｎ） ・・・（１） V = (mC + nF) / (m + n) ... (1)

上記式（１）中、Ｖは欠陥評価値、Ｃはコントラスト値、Ｆはエッジ強度値、ｍ及びｎは１以上５以下の整数とする。また、ここで「コントラスト値」とは、撮像情報の所定領域における画像の標準偏差に基づく値を意味し、「エッジ強度値」とは、領域内ソーベルヒストグラムの値に基づく値を意味する。 In the above equation (1), V is a defect evaluation value, C is a contrast value, F is an edge strength value, and m and n are integers of 1 or more and 5 or less. Further, here, the "contrast value" means a value based on the standard deviation of the image in a predetermined region of the imaging information, and the "edge intensity value" means a value based on the value of the intra-region Sobel histogram.

こうすることにより、コントラスト値又はエッジ強度値のいずれか一方の基準で分類する場合と比較して、より正確に分類することができる。例えば、欠陥部の境界の輝度勾配が小さい（徐々に輝度が変化する）場合、欠陥部と欠陥周辺部の輝度差はあるが、エッジ強度値が低くなる。このような場合であっても、コントラスト値とエッジ強度値の両方を組み合わせた欠陥評価値に基づいて判定することにより、エッジ強度値だけでは判断しにくい欠陥をより正確に判断することができる。また、例えば、エッジ強度値が高いが撮像情報の全体としてはコントラスト値が低い場合、コントラスト値のみで判定した場合には正しく判定できない可能性があるが、コントラスト値とエッジ強度値の両方を組み合わせた欠陥評価値に基づいて判定することにより、コントラスト値だけでは判断しにくい欠陥をより正確に判断することができる。 By doing so, it is possible to classify more accurately than in the case of classifying by either the contrast value or the edge strength value. For example, when the brightness gradient at the boundary of the defect portion is small (the brightness gradually changes), the edge strength value becomes low although there is a difference in brightness between the defect portion and the peripheral portion. Even in such a case, by making a judgment based on a defect evaluation value that combines both a contrast value and an edge strength value, it is possible to more accurately judge a defect that is difficult to judge only by the edge strength value. Further, for example, when the edge strength value is high but the contrast value as a whole of the imaging information is low, it may not be possible to judge correctly when judging only by the contrast value, but both the contrast value and the edge strength value are combined. By making a judgment based on the defect evaluation value, it is possible to more accurately judge a defect that is difficult to judge only by the contrast value.

また、上記式（１）において、ｍ及びｎの値は、対象物の性質や判定基準に応じて、適宜設定するものであり、コントラスト値やエッジ強度値のいずれを重視するかによって種々の値に定めることができる。このとき、ｍとｎとの比率は、５倍以内であることが好ましい。こうすることにより、コントラスト値とエッジ強度値とを適切な比率で加味することができるため、より正確に判断することができる。 Further, in the above equation (1), the values of m and n are appropriately set according to the properties of the object and the judgment criteria, and various values are set depending on whether the contrast value or the edge strength value is emphasized. Can be specified in. At this time, the ratio of m and n is preferably 5 times or less. By doing so, the contrast value and the edge strength value can be added in an appropriate ratio, so that the judgment can be made more accurately.

本発明の撮像情報分類システムは、前記所定領域の周辺部の平均輝度と欠陥部の最大輝度との差の絶対値、又は、前記所定領域の周辺部の平均輝度と欠陥部の最小輝度との差の絶対値のいずれか大きい方を欠陥輝度差として算出する欠陥輝度差算出手段と、前記分類手段で異常撮像情報に分類された撮像情報における前記欠陥輝度差が、予め定められた所定の閾値以上の場合に当該撮像情報を正常撮像情報と分類し、予め定められた所定の閾値未満の場合に当該撮像情報を異常撮像情報と分類する二次分類手段と、を備えたことを特徴としてもよい。こうすることにより、欠陥評価値のみで評価する場合と比較して、より正確に判断することができる。 In the imaging information classification system of the present invention, the absolute value of the difference between the average brightness of the peripheral portion of the predetermined region and the maximum brightness of the defective portion, or the average brightness of the peripheral portion of the predetermined region and the minimum brightness of the defective portion. The defect brightness difference calculation means that calculates the larger of the absolute values of the differences as the defect brightness difference and the defect brightness difference in the imaging information classified as abnormal imaging information by the classification means are set to a predetermined threshold value. It is also characterized by being provided with a secondary classification means for classifying the imaging information as normal imaging information in the above cases and classifying the imaging information as abnormal imaging information when the threshold value is less than a predetermined threshold value. Good. By doing so, it is possible to make a more accurate judgment as compared with the case of evaluating only by the defect evaluation value.

この態様を採用した本発明の撮像情報分類システムは、前記二次分類手段で異常撮像情報に分類された撮像情報から、１又は複数の欠陥領域を抽出する欠陥領域抽出手段と、前記欠陥領域抽出手段で抽出された前記欠陥領域の面積、フェレ径、回転フェレ径、周囲長、円形度の少なくとも一つを算出する欠陥状態算出手段と、を備えたことを特徴とするものであってもよい。こうすることにより、異常撮像情報と分類された撮像情報において、異常の状態を更に判別することができる。こうすることにより、撮像情報に含まれる異常状態を更に詳細に分類することができるため、例えば、人工知能の学習用データとして使用する際に、より効果的な学習用データとして使用することができる。 The imaging information classification system of the present invention adopting this aspect includes a defect region extraction means for extracting one or a plurality of defective regions from the imaging information classified as abnormal imaging information by the secondary classification means, and the defect region extraction. It may be characterized in that it is provided with a defect state calculating means for calculating at least one of the area, ferre diameter, rotating ferret diameter, peripheral length, and circularity of the defect region extracted by the means. .. By doing so, it is possible to further determine the abnormal state in the imaging information classified as the abnormal imaging information. By doing so, the abnormal state included in the imaging information can be classified in more detail, so that it can be used as more effective learning data when used as learning data for artificial intelligence, for example. ..

本発明の表面判別装置は、
対象物の表面を撮像し、撮像情報を出力する撮像手段と、
上述したいずれかに記載の撮像情報分類システムで分類された撮像情報に基づいて機械学習が行われた人工知能を用いて前記撮像情報に含まれる対象物の表面状態が正常であるか異常であるかを判定する判定手段と、
を備えたことを特徴とする、
ものである。 The surface discrimination apparatus of the present invention
An imaging means that images the surface of an object and outputs imaging information,
The surface state of the object included in the imaging information is normal or abnormal using artificial intelligence that has been machine-learned based on the imaging information classified by the imaging information classification system described in any of the above. Judgment means to determine whether
It is characterized by having
It is a thing.

この表面判別装置は、上述したいずれかに記載の撮像情報分類システムで分類された撮像情報に基づいて機械学習が行われた人工知能を用いて対象物の表面状態を判別するため、高精度で判別することができる。 This surface discrimination device discriminates the surface state of an object using artificial intelligence that has been machine-learned based on the imaging information classified by the imaging information classification system described in any of the above, and therefore has high accuracy. It can be determined.

本発明の撮像情報分類方法は、
対象物の表面を撮像した撮像情報を入力する入力ステップと、
前記撮像情報の所定領域のコントラスト値を算出するコントラスト値算出ステップと、
前記撮像情報の所定領域のエッジ強度値を算出するエッジ強度値算出ステップと、
前記コントラスト値算出ステップで算出した前記コントラスト値と、前記エッジ強度値算出ステップに基づいて算出した前記エッジ強度値と、に基づいて、前記撮像情報を正常撮像情報と異常撮像情報とに分類する分類ステップと、
を備えたことを特徴とする、
ものである。 The imaging information classification method of the present invention
An input step for inputting imaging information that images the surface of an object,
A contrast value calculation step for calculating the contrast value of a predetermined region of the imaging information, and
An edge strength value calculation step for calculating the edge strength value of a predetermined region of the imaging information, and
Classification of the imaging information into normal imaging information and abnormal imaging information based on the contrast value calculated in the contrast value calculation step and the edge intensity value calculated based on the edge intensity value calculation step. Steps and
It is characterized by having
It is a thing.

この撮像情報分類方法は、対象物の表面を撮像した撮像情報が入力手段から入力されると、コントラスト値算出ステップで撮像情報の所定領域のコントラスト値を算出し、エッジ強度値算出ステップで撮像情報の所定領域のエッジ強度値を算出する。続いて、分類ステップでコントラスト値とエッジ強度値に基づいて撮像情報を正常撮像情報と異常撮像情報とに分類する。こうすることにより、入力された撮像情報がコントラスト値及びエッジ強度値に基づいて正常撮像情報と異常撮像情報とに分類されるため、人間が分類する場合と比較して、より客観的な基準で分類することができる。言い換えると、分類する人間によって基準にバラツキが生じる可能性を未然に低減することで、正常撮像情報と異常撮像情報とを同一の基準で分類することができる。 In this imaging information classification method, when the imaging information obtained by imaging the surface of an object is input from the input means, the contrast value of a predetermined region of the imaging information is calculated in the contrast value calculation step, and the imaging information is captured in the edge intensity value calculation step. Calculate the edge strength value of the predetermined region of. Subsequently, in the classification step, the imaging information is classified into normal imaging information and abnormal imaging information based on the contrast value and the edge intensity value. By doing so, the input imaging information is classified into normal imaging information and abnormal imaging information based on the contrast value and the edge intensity value, so that it is a more objective standard than the case of human classification. Can be categorized. In other words, normal imaging information and abnormal imaging information can be classified according to the same criteria by reducing the possibility that the criteria will vary depending on the person who classifies them.

本発明の撮像情報分類プログラムは、上述した情報管理方法の各ステップを１又は２以上のコンピュータに実現させるためのものである。このプログラムは、コンピュータが読み取り可能な記録媒体（例えばハードディスク、ＲＯＭ、ＦＤ、ＣＤ、ＤＶＤ、コンパクトメモリなど）に記録されていてもよいし、伝送媒体（インターネットやＬＡＮなどの通信網）を介してあるコンピュータから別のコンピュータへ配信されてもよいし、その他どのような形で授受されてもよい。このプログラムを一つのコンピュータに実行させるか又は複数のコンピュータに各ステップを分担して実行させれば、上述した撮像情報分類方法の各ステップが実行されるため、上述した撮像情報分類方法と同様の作用効果が得られる。 The imaging information classification program of the present invention is for realizing each step of the above-mentioned information management method on one or more computers. This program may be recorded on a computer-readable recording medium (eg, hard disk, ROM, FD, CD, DVD, compact memory, etc.) or via a transmission medium (communication network such as the Internet or LAN). It may be delivered from one computer to another, or it may be given or received in any other form. If this program is executed by one computer or by a plurality of computers in charge of each step, each step of the above-mentioned imaging information classification method is executed, and thus the same as the above-mentioned imaging information classification method. Action effect can be obtained.

図１は、撮像情報分類システム２０の電気的な接続を示すブロック図である。FIG. 1 is a block diagram showing an electrical connection of the imaging information classification system 20. 図２は、撮像情報分類処理ルーチンの一例を示すフローチャートである。FIG. 2 is a flowchart showing an example of the imaging information classification processing routine. 図３は、表面判別装置４０の電気的な接続を示すブロック図である。FIG. 3 is a block diagram showing an electrical connection of the surface discrimination device 40.

本発明の実施の形態の一例として、撮像情報分類システム２０について、詳しく説明する。以下に説明する実施の形態及び図面は、本発明の実施形態の一部を例示するものであり、これらの構成に限定する目的に使用されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更することができる。なお、各図において対応する構成要素には同一又は類似の符号を付す。また、撮像情報分類システムの処理方法の一例を説明することにより、本発明の撮像情報分類方法及びこのプログラムの一例も明らかにする。 As an example of the embodiment of the present invention, the imaging information classification system 20 will be described in detail. The embodiments and drawings described below exemplify a part of the embodiments of the present invention, are not used for the purpose of limiting to these configurations, and do not deviate from the gist of the present invention. It can be changed as appropriate. The corresponding components in each figure are designated by the same or similar reference numerals. In addition, by explaining an example of the processing method of the imaging information classification system, an example of the imaging information classification method of the present invention and this program will also be clarified.

まず、図１を用いて、本発明の実施の形態の一例である撮像情報分類システム２０の構成の概略について詳しく説明する。ここで、図１は、撮像情報分類システム２０の電気的な接続を示すブロック図である。図１に示すように、撮像情報分類システム２０は、入力手段２２から入力された撮像情報を分類するための汎用型コンピュータであり、各種制御を行う中央演算ユニット３０によって入力手段２２から入力された撮像情報が分類され、記憶手段２４に記憶される。なお、この中央演算ユニット３０は、本発明のコントラスト値算出手段、エッジ強度値算出手段、欠陥輝度差算出手段、分類手段、二次分類手段、欠陥領域抽出手段及び欠陥状態算出手段に相当する。また、ここでは、入力手段２２を有する汎用型コンピュータを一例として説明するが、複数の汎用型コンピュータ及び入力手段２２、記憶手段２４が電気通信回線を利用して接続されたものであればよく、単一又は複数の汎用型コンピュータによって分散処理されるものであってもよい。 First, with reference to FIG. 1, the outline of the configuration of the imaging information classification system 20 which is an example of the embodiment of the present invention will be described in detail. Here, FIG. 1 is a block diagram showing an electrical connection of the imaging information classification system 20. As shown in FIG. 1, the imaging information classification system 20 is a general-purpose computer for classifying the imaging information input from the input means 22, and is input from the input means 22 by the central arithmetic unit 30 that performs various controls. The imaging information is classified and stored in the storage means 24. The central calculation unit 30 corresponds to the contrast value calculation means, the edge strength value calculation means, the defect luminance difference calculation means, the classification means, the secondary classification means, the defect region extraction means, and the defect state calculation means of the present invention. Further, although a general-purpose computer having the input means 22 will be described here as an example, a plurality of general-purpose computers, the input means 22, and the storage means 24 may be connected by using a telecommunication line. It may be distributed by a single or a plurality of general-purpose computers.

中央演算ユニット３０は、ＣＰＵ３１を中心とするマイクロプロセッサとして構成されており、撮像情報を分類するための各種処理プログラム等を記憶したＲＯＭ３２と、一時的に各種データを記憶するＲＡＭ３３と、入力手段２２や記憶手段２４等と接続を可能とするインタフェース３４（以下、「Ｉ／Ｆ３４」と言う。）と、を備え、これらはバス３５を介してお互いに信号のやりとりが可能に接続されている。この中央演算ユニット３０は、入力手段２２から入力された撮像情報を正常な撮像情報と異常な撮像情報とに分類し、記憶手段２４に記憶する。こうすることにより、撮像情報を正常な撮像情報と異常な撮像情報とに分類し、記憶することができる。 The central arithmetic unit 30 is configured as a microprocessor centered on the CPU 31, a ROM 32 that stores various processing programs for classifying imaging information, a RAM 33 that temporarily stores various data, and an input means 22. An interface 34 (hereinafter, referred to as "I / F34") that enables connection with the storage means 24 and the like is provided, and these are connected to each other via a bus 35 so that signals can be exchanged with each other. The central calculation unit 30 classifies the imaging information input from the input means 22 into normal imaging information and abnormal imaging information, and stores the imaging information in the storage means 24. By doing so, the imaging information can be classified into normal imaging information and abnormal imaging information and stored.

次に、こうして構成された本実施の形態の撮像情報分類システム２０の動作、特に、撮像情報分類処理の動作について説明する。ここで、図２は、撮像情報分類処理ルーチンの一例を表すフローチャートである。この撮像情報分類処理ルーチンは、ＲＯＭ３２に予め記憶されており、ＣＰＵ３１が、入力手段２２から撮像情報が入力された際に、繰り返し実行される。 Next, the operation of the image pickup information classification system 20 of the present embodiment configured in this way, particularly the operation of the image pickup information classification process will be described. Here, FIG. 2 is a flowchart showing an example of the imaging information classification processing routine. This imaging information classification processing routine is stored in the ROM 32 in advance, and is repeatedly executed by the CPU 31 when the imaging information is input from the input means 22.

撮像情報分類処理ルーチンが実行されると、ＣＰＵ３１は、撮像情報のコントラスト値（Ｃ）を算出する（ステップＳ１００）。具体的には、撮像情報における所定領域の標準偏差を算出した後、以下の式（２）に示すように、標準偏差の値を１２８で除算し、得た値を（１／２．２）でべき乗することにより、コントラスト値（Ｃ）を算出し、算出した値をＲＡＭ３３に一時的に記憶する。 When the imaging information classification processing routine is executed, the CPU 31 calculates the contrast value (C) of the imaging information (step S100). Specifically, after calculating the standard deviation of a predetermined region in the imaging information, the standard deviation value is divided by 128 as shown in the following equation (2), and the obtained value is (1 / 2.2). The contrast value (C) is calculated by multiplying by a power, and the calculated value is temporarily stored in the RAM 33.

Ｃ＝（標準偏差／１２８）＾（１／２．２） ・・・（２） C = (standard deviation / 128) ^ (1 / 2.2) ... (2)

続いて、ＣＰＵ３１は、ソーベルヒストグラムに基づいてエッジ強度値を算出する（ステップＳ１１０）。具体的には、まず、撮像情報におけるソーベルヒストグラムを求め、得られたヒストグラムについて、輝度値２５５から輝度値０に向かって度数を加算（積分）する。次に、この積分値が閾値を越えた際の輝度値の値をｍａｘＩｎｄｅｘとして、ＲＡＭ３３に一時的に記憶する。続いて、以下の式（３）に示すように、ｍａｘＩｎｄｅｘの値を２５５で除算することにより、エッジ強度値（Ｆ）を算出し、算出した値をＲＡＭ３３に一時的に記憶する。 Subsequently, the CPU 31 calculates the edge strength value based on the Sobel histogram (step S110). Specifically, first, the Sobel histogram in the imaging information is obtained, and the dioptric power is added (integrated) from the luminance value 255 to the luminance value 0 for the obtained histogram. Next, the value of the brightness value when the integrated value exceeds the threshold value is temporarily stored in the RAM 33 as maxIndex. Subsequently, as shown in the following equation (3), the edge strength value (F) is calculated by dividing the value of maxIndex by 255, and the calculated value is temporarily stored in the RAM 33.

Ｆ＝ｍａｘＩｎｄｅｘ／２５５ ・・・（３） F = maxIndex / 255 ... (3)

ここで、ソーベルヒストグラムとは、ソーベルフィルタを用いて入力された画像情報の空間フィルタ処理を行った結果得られたヒストグラムであり、輝度値の度数分布を示すものである。また、ソーベルフィルタとは、中央部からの距離に応じて重み付けを変化させた平滑化フィルタ及び微分フィルタを組み合わせたものである。このソーベルフィルタを用いたソーベルヒストグラムにより、ノイズの影響を低減し、自然な平滑化処理による輪郭を抽出することができる。 Here, the Sobel histogram is a histogram obtained as a result of performing spatial filtering processing of the image information input by using the Sobel filter, and shows the frequency distribution of the luminance value. The sobel filter is a combination of a smoothing filter and a differential filter whose weighting is changed according to the distance from the central portion. The Sobel histogram using this Sobel filter can reduce the influence of noise and extract contours by natural smoothing.

続いて、ＣＰＵ３１は、欠陥評価値を算出する（ステップＳ１２０）。具体的には、ＲＡＭ３３に一時的に記憶したコントラスト値及びエッジ強度値を読み出し、次式（４）により、欠陥評価値（Ｖ）を算出し、ＲＡＭ３３に一時的に記憶する。 Subsequently, the CPU 31 calculates the defect evaluation value (step S120). Specifically, the contrast value and the edge strength value temporarily stored in the RAM 33 are read out, the defect evaluation value (V) is calculated by the following equation (4), and the defect evaluation value (V) is temporarily stored in the RAM 33.

Ｖ＝（ｍＣ＋ｎＦ）／（ｍ＋ｎ） ・・・（４） V = (mC + nF) / (m + n) ... (4)

なお、上記式（４）において、Ｖは欠陥評価値を、ｍ及びｎは１以上５以下の整数を、Ｃはコントラスト値を、Ｆはエッジ強度値をそれぞれ意味する。 In the above equation (4), V means a defect evaluation value, m and n mean an integer of 1 or more and 5 or less, C means a contrast value, and F means an edge strength value.

次に、ＣＰＵ３１は、ＲＡＭ３３に記憶された欠陥評価値と予めＲＡＭ３３に記憶された閾値とを比較し（ステップＳ１３０）、欠陥評価値が予め定められた閾値以上であると判定した場合には、撮像情報とこの撮像情報が正常であることを示す情報とを関連付けて記憶手段２４に記憶し（ステップＳ１８０）、本ルーチンを終了する。こうすることにより、コントラスト値とエッジ強度値に基づいて、入力された撮像情報を対象物の表面が正常な正常撮像情報と対象物の表面に異常を含む異常撮像情報とに分類することができる。このとき、コントラスト値とエッジ強度値とを一定の割合で合算した欠陥評価値に基づいて正常か異常かを判定しているため、コントラスト値又はエッジ強度値のいずれか一方の基準で分類する場合と比較して、より正確に分類することができる。例えば、欠陥部の境界の輝度勾配が小さい（徐々に輝度が変化する）場合、欠陥部と欠陥周辺部の輝度差はあるが、エッジ強度値が低くなる。このような場合であっても、コントラスト値とエッジ強度値の両方を組み合わせた欠陥評価値に基づいて判定することにより、エッジ強度値だけでは判断しにくい欠陥をより正確に判断することができる。また、例えば、エッジ強度値が高いが撮像情報の全体としてはコントラスト値が低い場合、コントラスト値のみで判定した場合には正しく判定できない可能性があるが、コントラスト値とエッジ強度値の両方を組み合わせた欠陥評価値に基づいて判定することにより、コントラスト値だけでは判断しにくい欠陥をより正確に判断することができる。 Next, the CPU 31 compares the defect evaluation value stored in the RAM 33 with the threshold value stored in the RAM 33 in advance (step S130), and when it is determined that the defect evaluation value is equal to or higher than the predetermined threshold value, The imaging information and the information indicating that the imaging information is normal are associated with each other and stored in the storage means 24 (step S180), and this routine is terminated. By doing so, based on the contrast value and the edge intensity value, the input imaging information can be classified into normal imaging information in which the surface of the object is normal and abnormal imaging information including an abnormality in the surface of the object. .. At this time, since it is judged whether it is normal or abnormal based on the defect evaluation value obtained by adding the contrast value and the edge strength value at a constant ratio, when classifying by either the contrast value or the edge strength value. Compared with, it can be classified more accurately. For example, when the brightness gradient at the boundary of the defect portion is small (the brightness gradually changes), the edge strength value becomes low although there is a difference in brightness between the defect portion and the peripheral portion. Even in such a case, by making a judgment based on a defect evaluation value that combines both a contrast value and an edge strength value, it is possible to more accurately judge a defect that is difficult to judge only by the edge strength value. Further, for example, when the edge strength value is high but the contrast value as a whole of the imaging information is low, it may not be possible to judge correctly when judging only by the contrast value, but both the contrast value and the edge strength value are combined. By making a judgment based on the defect evaluation value, it is possible to more accurately judge a defect that is difficult to judge only by the contrast value.

また、上記式（４）において、ｍ及びｎの値は、対象物の性質や判定基準に応じて、適宜設定するものであり、コントラスト値やエッジ強度値のいずれを重視するかによって種々の値に定めることができる。このとき、ｍとｎとの比率は、５倍以内であることが好ましい。こうすることにより、コントラスト値とエッジ強度値とのそれぞれの値が反映されたパラメータとすることができるため、様々な状態の異常を含む場合であっても、より正確に正常撮像情報と異常撮像情報を分類することができる。 Further, in the above equation (4), the values of m and n are appropriately set according to the properties of the object and the judgment criteria, and various values are set depending on whether the contrast value or the edge strength value is emphasized. Can be specified in. At this time, the ratio of m and n is preferably 5 times or less. By doing so, it is possible to make the parameters reflect the respective values of the contrast value and the edge intensity value, so that even if abnormalities in various states are included, normal imaging information and abnormal imaging can be performed more accurately. Information can be categorized.

一方、ステップＳ１３０において、ＲＡＭ３３に記憶された欠陥評価値が予め定められた閾値未満であるとＣＰＵ３１が判定した場合には、ＣＰＵ３１は、欠陥輝度値を算出する（ステップＳ１４０）。具体的には、所定領域の周辺部の平均輝度値と欠陥部の最大輝度との差の絶対値及び所定領域の周辺部の平均輝度値と欠陥部の最小輝度との差の絶対値を算出し、いずれか値の大きい値を欠陥輝度値として、ＲＡＭ３３に一時的に記憶する。なお、ここで、欠陥部とは、欠陥の中央付近と同一の輝度を有する領域を意味し、周辺部とは、欠陥部の周囲の領域であって、欠陥部の外縁から予め定められた所定の距離離れた位置までの領域を意味する。 On the other hand, in step S130, when the CPU 31 determines that the defect evaluation value stored in the RAM 33 is less than a predetermined threshold value, the CPU 31 calculates the defect luminance value (step S140). Specifically, the absolute value of the difference between the average brightness value of the peripheral portion of the predetermined region and the maximum brightness of the defective portion and the absolute value of the difference between the average brightness value of the peripheral portion of the predetermined region and the minimum brightness of the defective portion are calculated. Then, a value having a larger value is temporarily stored in the RAM 33 as a defect luminance value. Here, the defective portion means a region having the same brightness as the vicinity of the center of the defect, and the peripheral portion is a region around the defective portion, which is predetermined from the outer edge of the defective portion. Means the area up to a distance away.

続いて、ＣＰＵ３１は、ＲＡＭ３３に記憶された予め定められた閾値と欠陥輝度値とを比較し（ステップＳ１５０）、欠陥輝度値が予め定められた閾値以上と判定した場合には、撮像情報とこの撮像情報が正常であることを示す情報とを関連付けて記憶手段２４に記憶し（ステップＳ１８０）、本ルーチンを終了する。こうすることにより、欠陥評価値のみで評価する場合と比較して、撮像情報に含まれる対象物が正常か異常かをより正確に判断することができる。 Subsequently, the CPU 31 compares the predetermined threshold value stored in the RAM 33 with the defect luminance value (step S150), and when it is determined that the defect luminance value is equal to or higher than the predetermined threshold value, the imaging information and this The imaging information is stored in the storage means 24 in association with the information indicating that it is normal (step S180), and this routine is terminated. By doing so, it is possible to more accurately determine whether the object included in the imaging information is normal or abnormal, as compared with the case where the evaluation is based only on the defect evaluation value.

一方、ステップＳ１５０において、ＲＡＭ３３に記憶された欠陥輝度値が予め定められた閾値未満であると判定した場合には、ＣＰＵ３１が欠陥状態を算出し（ステップＳ１６０）、欠陥状態と撮像情報とを関連付けて記憶手段２４に記憶し（ステップＳ１７０）、本ルーチンを終了する。具体的には、欠陥領域の個々の面積及び総面積、フェレ径、回転フェレ径、周囲長、円形度をそれぞれ算出する。こうすることにより、異常撮像情報において、どのような異常が含まれているかを表す指標とすることができるため、異常撮像情報を異常状態の属性に応じて、更に分類することができる。こうすることにより、本方法で分類した撮像情報に基づいて人工知能システムの機械学習を行う際、人間が正常か異常かの判断をする場合と比較して判断基準に一貫性があるため、効率的な機械学習を行うことができる。 On the other hand, in step S150, when it is determined that the defect brightness value stored in the RAM 33 is less than a predetermined threshold value, the CPU 31 calculates the defect state (step S160) and associates the defect state with the imaging information. The memory is stored in the storage means 24 (step S170), and this routine is terminated. Specifically, the individual area and total area of the defect region, the ferret diameter, the rotating ferret diameter, the peripheral length, and the circularity are calculated, respectively. By doing so, it is possible to use it as an index indicating what kind of abnormality is included in the abnormal imaging information, so that the abnormal imaging information can be further classified according to the attribute of the abnormal state. By doing so, when machine learning of the artificial intelligence system is performed based on the imaging information classified by this method, the judgment criteria are consistent as compared with the case of judging whether a human is normal or abnormal, so that efficiency is achieved. Machine learning can be performed.

このとき、欠陥領域の個々の面積はそれぞれの欠陥領域の画素数に基づいて算出し、欠陥領域の総面積は、個々の欠陥領域の面積の和を算出することで総面積を算出する。また、フェレ径は、個々の欠陥領域に外接する長方形の縦の長さ及び横の長さを算出し、縦の長さを横の長さで除算することで算出する。更に、回転フェレ径は、回転矩形角度で求めた回転外接矩形の縦の長さ及び横の長さを算出し、縦の長さを横の長さで除算することで算出する。更にまた、円形度は、欠陥領域の中心から欠陥領域の外縁までの平均距離と最大距離をそれぞれ算出する。次に、以下の式（５）及び（６）に基づいて、ＣＲ１及びＣＲ２の値を算出し、いずれか値の小さい方を円形度とする。こうすることにより、面積と周囲長の比率から円形度を算出する方法では濃淡むらや穴等が存在すると正しい円形度を算出することができない場合があるが、本方法で円形度を算出することで、より信頼度の高い円形度を算出することができる。 At this time, the individual areas of the defective regions are calculated based on the number of pixels of each defective region, and the total area of the defective regions is calculated by calculating the sum of the areas of the individual defective regions. The ferret diameter is calculated by calculating the vertical length and the horizontal length of the rectangle circumscribing each defect region, and dividing the vertical length by the horizontal length. Further, the rotation ferret diameter is calculated by calculating the vertical length and the horizontal length of the rotating circumscribing rectangle obtained from the rotating rectangular angle, and dividing the vertical length by the horizontal length. Furthermore, for circularity, the average distance and the maximum distance from the center of the defect region to the outer edge of the defect region are calculated, respectively. Next, the values of CR1 and CR2 are calculated based on the following equations (5) and (6), and the smaller of the values is defined as the circularity. By doing so, the method of calculating the circularity from the ratio of the area and the peripheral length may not be able to calculate the correct circularity if there are uneven shades or holes, but the circularity should be calculated by this method. Therefore, it is possible to calculate a more reliable circularity.

ＣＲ１＝（平均距離）２／（最大距離）２ ・・・（５） CR1 = (average distance) 2 / (maximum distance) 2 ... (5)

ＣＲ２＝（最小距離）２／（平均距離）２ ・・・（６） CR2 = (minimum distance) 2 / (average distance) 2 ... (6)

次に、撮像情報分類システム２０で正常なものと異常なものに分類した撮像情報を用いて機械学習した表面判別装置４０について説明する。この表面判別装置４０は、図３に示すように、対象物の表面を撮像して撮像情報を出力する撮像手段４２と、撮像手段４２から出力された撮像情報に含まれる対象物の表面が正常か異常かを判定する人工知能システムを含む中央演算ユニット５０と、中央演算ユニット５０で判定された判定結果を出力する出力手段４４と、を含む表面判別装置である。この表面判別装置４０は、上述した撮像情報判別システム２０で判別した撮像情報によって人工知能システムを学習させたこと以外は、公知の判別装置を使用することができる。このように、撮像情報判別システム２０を用いて判別した撮像情報を使用することで、人工知能システムの学習効果を高め、高精度で判別することができる。 Next, the surface discrimination device 40 machine-learned using the imaging information classified into normal and abnormal by the imaging information classification system 20 will be described. As shown in FIG. 3, the surface discrimination device 40 has a normal imaging means 42 that images the surface of an object and outputs imaging information, and the surface of the object included in the imaging information output from the imaging means 42 is normal. It is a surface discrimination device including a central calculation unit 50 including an artificial intelligence system for determining whether or not it is abnormal, and an output means 44 for outputting a determination result determined by the central calculation unit 50. As the surface discrimination device 40, a known discrimination device can be used except that the artificial intelligence system is learned by the imaging information discriminated by the image pickup information discrimination system 20 described above. By using the image pickup information discriminated by using the image pickup information discrimination system 20 in this way, the learning effect of the artificial intelligence system can be enhanced and the discrimination can be performed with high accuracy.

中央演算ユニット５０は、ＣＰＵ５１を中心とするマイクロプロセッサとして構成されており、撮像情報を判別するための各種処理プログラム等を記憶したＲＯＭ５２と、一時的に各種データを記憶するＲＡＭ５３と、撮像手段４２や出力手段４４等と接続を可能とするインタフェース５４（以下、「Ｉ／Ｆ５４」と言う。）と、を備え、これらはバス５５を介してお互いに信号のやりとりが可能に接続されている。この中央演算ユニット５０は、撮像手段４２で撮像された撮像情報を正常撮像情報と異常撮像情報とに分類し、出力手段４４で出力する。こうすることにより、撮像情報に含まれる対象物の表面が正常か異常を含むかを判別することができる。 The central arithmetic unit 50 is configured as a microprocessor centered on a CPU 51, and has a ROM 52 that stores various processing programs and the like for discriminating imaging information, a RAM 53 that temporarily stores various data, and an imaging means 42. An interface 54 (hereinafter referred to as “I / F 54”) that enables connection with the output means 44 and the like is provided, and these are connected to each other via a bus 55 so that signals can be exchanged with each other. The central calculation unit 50 classifies the imaging information captured by the imaging means 42 into normal imaging information and abnormal imaging information, and outputs the imaging information to the output means 44. By doing so, it is possible to determine whether the surface of the object included in the imaging information is normal or contains abnormalities.

以上詳述した本実施の形態の撮像情報分類システム２０は、対象物の表面を含む撮像情報を入力手段２２から入力し、中央演算ユニット３０でコントラスト値及びエッジ強度値を算出し、コントラスト値及びエッジ強度値に基づいて対象物の表面が正常な撮像情報と対象物の表面に異常を含む撮像情報とに分類することで、人間が撮像情報を分類する場合と比較して、明確な基準で撮像情報を分類することができる。付言すると、分類した撮像情報を用いて人工知能を学習させる際、高い学習効果が得られるデータセットを得ることができる。 The imaging information classification system 20 of the present embodiment described in detail above inputs imaging information including the surface of the object from the input means 22, calculates the contrast value and the edge intensity value by the central calculation unit 30, and obtains the contrast value and the edge intensity value. By classifying the imaged information that the surface of the object is normal and the imaged information that includes abnormalities on the surface of the object based on the edge strength value, it is a clear standard compared to the case where humans classify the imaged information. Imaging information can be classified. In addition, when learning artificial intelligence using the classified imaging information, it is possible to obtain a data set that can obtain a high learning effect.

また、撮像情報を分類する際、上述した式（１）によって定められる欠陥評価値に基づいて対象物の表面が正常な撮像情報と対象物の表面に異常を含む撮像情報とに分類するため、エッジ強度値又はコントラスト値のみで分類する場合と比較して、より正確に分類することができる。 Further, when classifying the imaging information, in order to classify the imaging information into the imaging information in which the surface of the object is normal and the imaging information in which the surface of the object contains an abnormality based on the defect evaluation value defined by the above equation (1). Compared with the case of classifying only by the edge strength value or the contrast value, it is possible to classify more accurately.

更にまた、欠陥評価値に基づいて対象物の表面に異常を含む撮像情報であると分類された撮像情報に対して、更に欠陥輝度差に基づいて対象物の表面が正常である撮像情報を分類することで、更により正確に分類することができる。 Furthermore, with respect to the imaging information classified as imaging information containing an abnormality on the surface of the object based on the defect evaluation value, the imaging information in which the surface of the object is normal is further classified based on the defect brightness difference. By doing so, it is possible to classify even more accurately.

そして、欠陥輝度差に基づいて分類した際、対象物の表面に異常を含む撮像情報と分類された撮像情報について、面積、フェレ径、回転フェレ径、周囲長、円形度の少なくとも一つを欠陥状態として算出することにより、対象物の表面の異常の傾向についてクラスタリングすることができる。こうすることにより、撮像情報分類システム２０で分類した撮像情報を人工知能システムの学習用データセットとした際、異常の傾向についてクラスタリングされていないデータセットを使用する場合と比較して、より高い学習効果を得ることができる。 Then, when classified based on the defect brightness difference, at least one of the area, the ferret diameter, the rotating ferret diameter, the peripheral length, and the circularity is defective in the imaging information classified as the imaging information including an abnormality on the surface of the object. By calculating as a state, it is possible to cluster the tendency of anomalies on the surface of the object. By doing so, when the imaging information classified by the imaging information classification system 20 is used as the learning data set of the artificial intelligence system, higher learning is performed as compared with the case of using a data set in which the tendency of abnormality is not clustered. The effect can be obtained.

そしてまた、対象物の表面に異常を有するか否かを上述した撮像情報分類システム２０で分類された撮像情報を人工知能システムの学習用データセットとした人工知能を用いて判別することで、表面判別装置４０は、人間が分類したデータセットを用いて学習した場合と比較して、より正確に判別を行うことができる。 Further, whether or not the surface of the object has an abnormality is determined by using artificial intelligence that uses the imaging information classified by the above-mentioned imaging information classification system 20 as the learning data set of the artificial intelligence system. The discrimination device 40 can perform discrimination more accurately than when learning using a data set classified by a human.

なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。 It is needless to say that the present invention is not limited to the above-described embodiment, and can be implemented in various aspects as long as it belongs to the technical scope of the present invention.

例えば、上述した実施の形態では、汎用型コンピュータに備えられた中央演算ユニット３０によって各種制御がなされるものとしたが、例えば、電機通信回線を介した制御によるものであってもよい。この場合も、上述した実施の形態と同様の効果が得られる。 For example, in the above-described embodiment, various controls are performed by the central arithmetic unit 30 provided in the general-purpose computer, but for example, the control may be performed via an electric communication line. In this case as well, the same effect as that of the above-described embodiment can be obtained.

上述した実施の形態では、欠陥の中央付近から同一の輝度を有する領域を欠陥部とすることにしたが、同一の輝度に限定されることなく、所定の輝度範囲内の領域を欠陥部としてもよい。例えば、欠陥の中央付近の輝度とプラスマイナス１の範囲の輝度の領域を欠陥部としてもよい。この場合も、上述した実施の形態と同様の効果が得られる。 In the above-described embodiment, the defect portion has a region having the same brightness from the vicinity of the center of the defect, but the defect portion is not limited to the same brightness, and a region within a predetermined brightness range may be used as the defect portion. Good. For example, the defect portion may be a region of brightness near the center of the defect and brightness in the range of plus or minus 1. In this case as well, the same effect as that of the above-described embodiment can be obtained.

上述した実施の形態で示すように、人工知能分野、特に、人工知能システムの学習用データセットを分類する分類手段として利用することができる。 As shown in the above-described embodiment, it can be used as a classification means for classifying the learning data set of the artificial intelligence field, particularly the artificial intelligence system.

２０…撮像情報分類システム、２２…入力手段、２４…記憶手段、３０…中央演算ユニット、３１…ＣＰＵ、３２…ＲＯＭ、３３…ＲＡＭ、３４…インタフェース、３５…バス、４０…表面判別装置、４２…撮像手段、４４…出力手段、５０…中央演算ユニット、５１…ＣＰＵ、５２…ＲＯＭ、５３…ＲＡＭ、５４…インタフェース、５５…バス。 20 ... Imaging information classification system, 22 ... Input means, 24 ... Storage means, 30 ... Central processing unit, 31 ... CPU, 32 ... ROM, 33 ... RAM, 34 ... Interface, 35 ... Bus, 40 ... Surface discriminating device, 42 ... Imaging means, 44 ... Output means, 50 ... Central processing unit, 51 ... CPU, 52 ... ROM, 53 ... RAM, 54 ... Interface, 55 ... Bus.

Claims (7)

対象物の表面を撮像した撮像情報を入力する入力手段と、
前記撮像情報の所定領域のコントラスト値を算出するコントラスト値算出手段と、
前記撮像情報の所定領域のエッジ強度値を算出するエッジ強度値算出手段と、
前記コントラスト値算出手段が算出した前記コントラスト値と、前記エッジ強度値算出手段が算出した前記エッジ強度値と、に基づいて、前記撮像情報を正常撮像情報と異常撮像情報とに分類する分類手段と、
を備えたことを特徴とする、
撮像情報分類システム。 An input means for inputting imaging information obtained by imaging the surface of an object, and
A contrast value calculating means for calculating a contrast value in a predetermined region of the imaging information,
An edge strength value calculating means for calculating an edge strength value of a predetermined region of the imaging information,
A classification means for classifying the imaging information into normal imaging information and abnormal imaging information based on the contrast value calculated by the contrast value calculating means and the edge intensity value calculated by the edge intensity value calculating means. ,
It is characterized by having
Imaging information classification system. 前記分類手段は、式（１）で表される欠陥評価値の値が予め定められた閾値以上の場合に、前記撮像情報を正常撮像情報に分類し、前記欠陥評価値の値が予め定められた閾値未満の場合に、前記撮像情報を異常撮像情報に分類することを特徴とする、
請求項１に記載の撮像情報分類システム。
Ｖ＝（ｍＣ＋ｎＦ）／（ｍ＋ｎ） ・・・（１）
（ただし、Ｖは欠陥評価値、Ｃはコントラスト値、Ｆはエッジ強度値、ｍ及びｎは１以上５以下の整数とする。） When the value of the defect evaluation value represented by the formula (1) is equal to or greater than a predetermined threshold value, the classification means classifies the imaging information into normal imaging information, and the value of the defect evaluation value is predetermined. When it is less than the threshold value, the imaging information is classified into abnormal imaging information.
The imaging information classification system according to claim 1.
V = (mC + nF) / (m + n) ... (1)
(However, V is a defect evaluation value, C is a contrast value, F is an edge strength value, and m and n are integers of 1 or more and 5 or less.) 請求項１又は２に記載の撮像情報分類システムにおいて、
前記所定領域の周辺部の平均輝度と欠陥部の最大輝度との差の絶対値、又は、前記所定領域の周辺部の平均輝度と欠陥部の最小輝度との差の絶対値のいずれか大きい方を欠陥輝度差として算出する欠陥輝度差算出手段と、
前記分類手段で異常撮像情報に分類された撮像情報における前記欠陥輝度差が、予め定められた所定の閾値以上の場合に当該撮像情報を正常撮像情報に分類し、予め定められた所定の閾値未満の場合に当該撮像情報を異常撮像情報に分類する二次分類手段と、
を備えたことを特徴とする、
撮像情報分類システム。 In the imaging information classification system according to claim 1 or 2.
Whichever is greater, the absolute value of the difference between the average brightness of the peripheral portion of the predetermined region and the maximum brightness of the defective portion, or the absolute value of the difference between the average brightness of the peripheral portion of the predetermined region and the minimum brightness of the defective portion. As a defect brightness difference calculation means, and
When the defect brightness difference in the imaging information classified as abnormal imaging information by the classification means is equal to or greater than a predetermined threshold, the imaging information is classified into normal imaging information and less than a predetermined threshold. In the case of, a secondary classification means for classifying the imaging information into abnormal imaging information, and
It is characterized by having
Imaging information classification system. 請求項３に記載の撮像情報分類システムにおいて、
前記二次分類手段で異常撮像情報に分類された撮像情報から、１又は複数の欠陥領域を抽出する欠陥領域抽出手段と、
前記欠陥領域抽出手段で抽出された前記欠陥領域の面積、フェレ径、回転フェレ径、周囲長、円形度の少なくとも一つを算出する欠陥状態算出手段と、
を備えたことを特徴とする、
撮像情報分類システム。 In the imaging information classification system according to claim 3,
Defect region extraction means for extracting one or more defective regions from the imaging information classified as abnormal imaging information by the secondary classification means, and
A defect state calculating means for calculating at least one of the area, ferret diameter, rotating ferret diameter, peripheral length, and circularity of the defect region extracted by the defect region extracting means.
It is characterized by having
Imaging information classification system. 対象物の表面を撮像し、撮像情報を出力する撮像手段と、
請求項１から４のいずれか１項に記載された撮像情報分類システムで分類された撮像情報に基づいて機械学習が行われた人工知能を用いて前記撮像情報に含まれる対象物の表面状態が正常であるか異常であるかを判定する判定手段と、
を備えたことを特徴とする、
表面判別装置。 An imaging means that images the surface of an object and outputs imaging information,
The surface state of the object included in the imaging information is determined by using artificial intelligence that has been machine-learned based on the imaging information classified by the imaging information classification system according to any one of claims 1 to 4. Judgment means for determining whether it is normal or abnormal,
It is characterized by having
Surface discriminator. 対象物の表面を撮像した撮像情報を入力する入力ステップと、
前記撮像情報の所定領域のコントラスト値を算出するコントラスト値算出ステップと、
前記撮像情報の所定領域のエッジ強度値を算出するエッジ強度値算出ステップと、
前記コントラスト値算出ステップで算出した前記コントラスト値と、前記エッジ強度値算出ステップに基づいて算出した前記エッジ強度値と、に基づいて、前記撮像情報を正常撮像情報と異常撮像情報とに分類する分類ステップと、
を備えたことを特徴とする、
撮像情報分類方法。 An input step for inputting imaging information that images the surface of an object,
A contrast value calculation step for calculating the contrast value of a predetermined region of the imaging information, and
An edge strength value calculation step for calculating the edge strength value of a predetermined region of the imaging information, and
Classification of the imaging information into normal imaging information and abnormal imaging information based on the contrast value calculated in the contrast value calculation step and the edge intensity value calculated based on the edge intensity value calculation step. Steps and
It is characterized by having
Imaging information classification method. 請求項６に記載の各ステップを１又は２以上のコンピュータに実行させる撮像情報分類プログラム。
An imaging information classification program that causes one or more computers to perform each step according to claim 6.
JP2019134121A 2019-07-19 2019-07-19 Imaging information classification system, imaging information classification method, imaging information classification program, and surface discrimination device Active JP7388684B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019134121A JP7388684B2 (en) 2019-07-19 2019-07-19 Imaging information classification system, imaging information classification method, imaging information classification program, and surface discrimination device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019134121A JP7388684B2 (en) 2019-07-19 2019-07-19 Imaging information classification system, imaging information classification method, imaging information classification program, and surface discrimination device

Publications (2)

Publication Number Publication Date
JP2021018149A true JP2021018149A (en) 2021-02-15
JP7388684B2 JP7388684B2 (en) 2023-11-29

Family

ID=74565950

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019134121A Active JP7388684B2 (en) 2019-07-19 2019-07-19 Imaging information classification system, imaging information classification method, imaging information classification program, and surface discrimination device

Country Status (1)

Country Link
JP (1) JP7388684B2 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004294202A (en) * 2003-03-26 2004-10-21 Seiko Epson Corp Defect detection method and device of screen
WO2005075961A1 (en) * 2004-02-03 2005-08-18 Kansai Paint Co., Ltd. Brightness evaluation method and brightness evaluation device
JP2008190872A (en) * 2007-01-31 2008-08-21 Toyota Motor Corp Surface defectiveness detector, surface defectiveness detecting method and program
JP2008292256A (en) * 2007-05-23 2008-12-04 Fuji Xerox Co Ltd Device, method and program for image quality defect detection
JP2012118698A (en) * 2010-11-30 2012-06-21 Fuji Heavy Ind Ltd Image processing system
WO2013161384A1 (en) * 2012-04-25 2013-10-31 オリンパス株式会社 Image processing system, image processing method, and image processing program
JP2017091044A (en) * 2015-11-05 2017-05-25 キヤノン株式会社 Image processing device and image processing method
JP2017215277A (en) * 2016-06-02 2017-12-07 住友化学株式会社 Defect inspection system, film manufacturing device and defect inspection method

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004294202A (en) * 2003-03-26 2004-10-21 Seiko Epson Corp Defect detection method and device of screen
WO2005075961A1 (en) * 2004-02-03 2005-08-18 Kansai Paint Co., Ltd. Brightness evaluation method and brightness evaluation device
JP2008190872A (en) * 2007-01-31 2008-08-21 Toyota Motor Corp Surface defectiveness detector, surface defectiveness detecting method and program
JP2008292256A (en) * 2007-05-23 2008-12-04 Fuji Xerox Co Ltd Device, method and program for image quality defect detection
JP2012118698A (en) * 2010-11-30 2012-06-21 Fuji Heavy Ind Ltd Image processing system
WO2013161384A1 (en) * 2012-04-25 2013-10-31 オリンパス株式会社 Image processing system, image processing method, and image processing program
US20150043805A1 (en) * 2012-04-25 2015-02-12 Olympus Corporation Image processing system, image processing method, and computer-readable recording medium
JP2017091044A (en) * 2015-11-05 2017-05-25 キヤノン株式会社 Image processing device and image processing method
JP2017215277A (en) * 2016-06-02 2017-12-07 住友化学株式会社 Defect inspection system, film manufacturing device and defect inspection method

Also Published As

Publication number Publication date
JP7388684B2 (en) 2023-11-29

Similar Documents

Publication Publication Date Title
US20220269996A1 (en) Information processing apparatus, information processing method, and storage medium
CN109507192B (en) Magnetic core surface defect detection method based on machine vision
EP2754091B1 (en) Measurement of belt wear through edge detection of a raster image
US8498449B2 (en) Eye detecting device, eye detecting method, and program
CN113808138B (en) Artificial intelligence-based wire and cable surface defect detection method
KR101797402B1 (en) Method and apparatus for diagnosing machine defects
US20170330315A1 (en) Information processing apparatus, method for processing information, discriminator generating apparatus, method for generating discriminator, and program
JPWO2019026104A1 (en) Information processing apparatus, information processing program, and information processing method
CN111932510B (en) Method and device for determining image definition
KR102308437B1 (en) Apparatus and method for optimizing external examination of a subject
CN114494256B (en) Electric wire production defect detection method based on image processing
CN113095438A (en) Wafer defect classification method and device, system, electronic equipment and storage medium thereof
Hamad et al. Brain's tumor edge detection on low contrast medical images
JP2018185265A (en) Information processor, method for control, and program
JP2021018149A (en) Imaging information classification system, imaging information classification method, imaging information classification program, and surface discrimination device
WO2016092783A1 (en) Information processing apparatus, method for processing information, discriminator generating apparatus, method for generating discriminator, and program
Chandrappa et al. A novel approach to glaucoma screening using optic nerve head through image fusion and fractal geometry
JP2005040490A (en) Method and apparatus for detecting abnormal shadow, and program
Ramaswamy et al. A depth based approach to glaucoma detection using retinal fundus images
JP5520908B2 (en) Image processing method and image processing apparatus
JP4247993B2 (en) Image inspection apparatus, image inspection method, control program, and readable storage medium
JP2020101900A (en) Image inspection apparatus, learning method for image inspection and image inspection program
US20240344275A1 (en) System and Method for Quantifying a Degree of Fibrillation of Fibers Within Pulp Using Image Processing
CN112381136B (en) Target detection method and device
WO2024181307A1 (en) Information processing system and computer program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230912

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20231013

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231109

R150 Certificate of patent or registration of utility model

Ref document number: 7388684

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150