JP2020173547A - Image inspection system, image inspection device and image inspection program - Google Patents

Image inspection system, image inspection device and image inspection program Download PDF

Info

Publication number
JP2020173547A
JP2020173547A JP2019074235A JP2019074235A JP2020173547A JP 2020173547 A JP2020173547 A JP 2020173547A JP 2019074235 A JP2019074235 A JP 2019074235A JP 2019074235 A JP2019074235 A JP 2019074235A JP 2020173547 A JP2020173547 A JP 2020173547A
Authority
JP
Japan
Prior art keywords
divided images
image
images
parameter
divided
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019074235A
Other languages
Japanese (ja)
Other versions
JP7239824B2 (en
Inventor
岡本 浩明
Hiroaki Okamoto
浩明 岡本
毅 長門
Takeshi Nagato
毅 長門
進 芳賀
Susumu Haga
進 芳賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2019074235A priority Critical patent/JP7239824B2/en
Publication of JP2020173547A publication Critical patent/JP2020173547A/en
Application granted granted Critical
Publication of JP7239824B2 publication Critical patent/JP7239824B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To provide an image inspection system, an image inspection device, and an image inspection program for accurately identifying a component including a defect from an image of the component.SOLUTION: A plurality of first segmented images and a plurality of second segmented images are generated by dividing a plurality of training images for a first size and a second size. Feature amounts corresponding to a plurality of types of parameters are extracted from each of the plurality of first normal segmented images corresponding to a normal state among the plurality of first segmented images and the plurality of second normal segmented images corresponding to the normal state among the plurality of second segmented images, and a first parameter in which the similar relation of the feature amounts between the plurality of first normal segmented images and the plurality of second normal segmented images satisfies a predetermined condition is identified from the plurality of types of parameters. Machine learning of the plurality of first segmented images and the plurality of second segmented images is performed by using the feature amount corresponding to the identified first parameter.SELECTED DRAWING: Figure 6

Description

本発明は、画像検査システム、画像検査装置及び画像検査プログラムに関する。 The present invention relates to an image inspection system, an image inspection device and an image inspection program.

例えば、利用者にサービスを提供する事業者(以下、単に事業者とも呼ぶ)は、利用者に対してサービスの提供を行うための情報処理システムを構築する。具体的に、事業者は、例えば、量産された各部品を撮像した画像から欠陥(例えば、シミ)を含む部品の特定を行う情報処理システムを構築する。 For example, a business operator that provides a service to a user (hereinafter, also simply referred to as a business operator) constructs an information processing system for providing the service to the user. Specifically, the business operator constructs, for example, an information processing system that identifies parts including defects (for example, stains) from images of mass-produced parts.

このような情報処理システムでは、例えば、学習対象の画像(以下、学習画像とも呼ぶ)から抽出した特徴量についての機械学習を行うことによって、教師付き学習モデル(以下、単に学習モデルとも呼ぶ)を生成する。そして、情報処理システムは、検査対象の画像(以下、検査画像とも呼ぶ)から抽出した特徴量を学習モデルに入力することによって、検査画像に対応する部品に欠陥が含まれているか否かを示すスコアを取得する。 In such an information processing system, for example, a supervised learning model (hereinafter, also simply referred to as a learning model) is created by performing machine learning on a feature amount extracted from an image to be learned (hereinafter, also referred to as a learning image). Generate. Then, the information processing system inputs the feature amount extracted from the image to be inspected (hereinafter, also referred to as the inspection image) into the learning model to indicate whether or not the component corresponding to the inspection image contains a defect. Get the score.

これにより、事業者は、取得したスコアを参照することで、量産された各部品の中から欠陥を含む部品の特定を行うことが可能になる(例えば、特許文献1乃至3参照)。 As a result, the business operator can identify the part including the defect from each mass-produced part by referring to the acquired score (see, for example, Patent Documents 1 to 3).

特開2015−041164号公報JP 2015-041164 特開2010−067068号公報Japanese Unexamined Patent Publication No. 2010-067068 特開2010−102690号公報Japanese Unexamined Patent Publication No. 2010-102690

ここで、上記のような学習モデルの生成を行う場合、事業者は、例えば、欠陥を含む部品の学習画像を欠陥のサイズごとに用意する。そして、情報処理システムは、例えば、欠陥のサイズごとの学習画像をそれぞれ用いることにより、欠陥のサイズごとの学習モデルを生成する。これにより、情報処理システムは、検査画像に対応する部品に欠陥が含まれているか否かの判定を精度良く行うことが可能になる。 Here, when generating the learning model as described above, the business operator prepares, for example, a learning image of a part including a defect for each size of the defect. Then, the information processing system generates a learning model for each defect size by using, for example, learning images for each defect size. As a result, the information processing system can accurately determine whether or not the component corresponding to the inspection image contains a defect.

しかしながら、事業者は、欠陥の各サイズに対応する学習画像のそれぞれを十分に用意することができない場合がある。そのため、情報処理システムは、欠陥のサイズごとの学習モデルを網羅的に生成することができず、検査画像に対応する部品に欠陥が含まれているか否かの判定を精度良く行うことができない場合がある。 However, the business operator may not be able to sufficiently prepare each of the learning images corresponding to each size of the defect. Therefore, the information processing system cannot comprehensively generate a learning model for each defect size, and cannot accurately determine whether or not the component corresponding to the inspection image contains a defect. There is.

そこで、一つの側面では、本発明は、部品の画像から欠陥を含む部品を精度良く特定することを可能とする画像検査システム、画像検査装置及び画像検査プログラムを提供することを目的とする。 Therefore, in one aspect, it is an object of the present invention to provide an image inspection system, an image inspection device, and an image inspection program that can accurately identify a part containing a defect from an image of the part.

実施の形態の一態様では、複数の学習画像の機械学習を行う複数の情報処理装置を有する画像検査システムは、前記複数の情報処理装置のそれぞれが、前記複数の学習画像を第1サイズごとに分割することによって複数の第1分割画像を生成し、前記複数の学習画像を前記第1サイズと異なる第2サイズごとに分割することによって複数の第2分割画像を生成する分割画像生成部と、前記複数の第1分割画像のうちの正常状態に対応する複数の第1正常分割画像と、前記複数の第2分割画像のうちの正常状態に対応する複数の第2正常分割画像とのそれぞれから、複数種類のパラメータに対応する特徴量をそれぞれ抽出する特徴量抽出部と、前記複数種類のパラメータから、前記複数の第1正常分割画像と前記複数の第2正常分割画像との間における前記特徴量の類似関係が所定の条件を満たす第1パラメータを特定するパラメータ特定部と、特定した前記第1パラメータに対応する特徴量を用いることによって、前記複数の第1分割画像及び前記複数の第2分割画像の機械学習を行う機械学習実行部と、を有する。 In one aspect of the embodiment, in an image inspection system having a plurality of information processing devices that perform machine learning of a plurality of learned images, each of the plurality of information processing devices performs the plurality of learned images for each first size. A divided image generation unit that generates a plurality of first divided images by dividing and generates a plurality of second divided images by dividing the plurality of learning images into second sizes different from the first size. From each of the plurality of first normally divided images corresponding to the normal state of the plurality of first divided images and the plurality of second normally divided images corresponding to the normal state of the plurality of second divided images. , The feature amount extraction unit that extracts the feature amount corresponding to the plurality of types of parameters, and the feature between the plurality of first normal division images and the plurality of second normal division images from the plurality of types of parameters. The plurality of first divided images and the plurality of second divided images are obtained by using a parameter specifying unit that specifies a first parameter whose quantity similarity satisfies a predetermined condition and a feature amount corresponding to the specified first parameter. It has a machine learning execution unit that performs machine learning of divided images.

一つの側面によれば、部品の画像から欠陥を含む部品を精度良く特定することを可能とする。 According to one aspect, it is possible to accurately identify a part containing a defect from an image of the part.

図1は、情報処理システム10の構成について説明する図である。FIG. 1 is a diagram illustrating a configuration of the information processing system 10. 図2は、欠陥のサイズごとの学習モデルを生成する場合の具体例について説明を行う。FIG. 2 describes a specific example in the case of generating a learning model for each defect size. 図3は、情報処理装置1のハードウエア構成を説明する図である。FIG. 3 is a diagram illustrating a hardware configuration of the information processing device 1. 図4は、情報処理装置1の機能のブロック図である。FIG. 4 is a block diagram of the function of the information processing device 1. 図5は、第1の実施の形態における画像検査処理の概略を説明するフローチャート図である。FIG. 5 is a flowchart illustrating an outline of the image inspection process according to the first embodiment. 図6は、第1の実施の形態における画像検査処理の概略を説明するフローチャート図である。FIG. 6 is a flowchart illustrating an outline of the image inspection process according to the first embodiment. 図7は、第1の実施の形態における画像検査処理の詳細を説明するフローチャート図である。FIG. 7 is a flowchart illustrating the details of the image inspection process according to the first embodiment. 図8は、第1の実施の形態における画像検査処理の詳細を説明するフローチャート図である。FIG. 8 is a flowchart illustrating the details of the image inspection process according to the first embodiment. 図9は、第1の実施の形態における画像検査処理の詳細を説明するフローチャート図である。FIG. 9 is a flowchart illustrating the details of the image inspection process according to the first embodiment. 図10は、第1の実施の形態における画像検査処理の詳細を説明するフローチャート図である。FIG. 10 is a flowchart illustrating the details of the image inspection process according to the first embodiment. 図11は、第1の実施の形態における画像検査処理の詳細を説明するフローチャート図である。FIG. 11 is a flowchart illustrating the details of the image inspection process according to the first embodiment. 図12は、第1の実施の形態における画像検査処理の詳細を説明するフローチャート図である。FIG. 12 is a flowchart illustrating the details of the image inspection process according to the first embodiment. 図13は、第1の実施の形態における画像検査処理の詳細を説明するフローチャート図である。FIG. 13 is a flowchart illustrating the details of the image inspection process according to the first embodiment. 図14は、S22の処理の具体例を説明する図である。FIG. 14 is a diagram illustrating a specific example of the process of S22. 図15は、S23の処理の具体例を説明する図である。FIG. 15 is a diagram illustrating a specific example of the process of S23. 図16は、S34及びS35の処理の具体例を説明する図である。FIG. 16 is a diagram illustrating a specific example of the processing of S34 and S35. 図17は、S34及びS35の処理の具体例を説明する図である。FIG. 17 is a diagram illustrating a specific example of the processing of S34 and S35. 図18は、輝度ヒストグラムに対応する分布の具体例を説明する図である。FIG. 18 is a diagram illustrating a specific example of the distribution corresponding to the luminance histogram. 図19は、勾配ヒストグラムに対応する分布の具体例を説明する図である。FIG. 19 is a diagram illustrating a specific example of the distribution corresponding to the gradient histogram. 図20は、第1の実施の形態における画像検査処理の詳細を説明する図である。FIG. 20 is a diagram illustrating details of the image inspection process according to the first embodiment.

[情報処理システムの構成]
初めに、情報処理システム10の構成について説明を行う。図1は、情報処理システム10の構成について説明する図である。
[Information processing system configuration]
First, the configuration of the information processing system 10 will be described. FIG. 1 is a diagram illustrating a configuration of the information processing system 10.

図1に示すように、情報処理システム10(以下、画像検査システム10とも呼ぶ)は、例えば、1台以上の情報処理装置1(以下、画像検査装置1とも呼ぶ)と、1台以上の操作端末5とを含む。 As shown in FIG. 1, the information processing system 10 (hereinafter, also referred to as an image inspection system 10) includes, for example, one or more information processing devices 1 (hereinafter, also referred to as an image inspection device 1) and one or more operations. Including terminal 5.

操作端末5は、例えば、PC(Personal Computer)であり、事業者が必要な情報の入力等を行う端末である。具体的に、操作端末5は、例えば、部品についての学習画像や検査画像の入力を行う。 The operation terminal 5 is, for example, a PC (Personal Computer), and is a terminal for a business operator to input necessary information or the like. Specifically, the operation terminal 5 inputs, for example, a learning image or an inspection image of a part.

情報処理装置1は、例えば、操作端末5を介して入力された学習画像から抽出した特徴量についての機械学習を行うことによって、学習モデルの生成を行う。そして、情報処理装置1は、例えば、操作端末5を介して入力された検査画像を受け付けた場合、その検査画像から抽出した特徴量を学習モデルに入力する。その後、情報処理装置1は、特徴量の入力に伴って学習モデルから出力されるスコアに基づいて、検査画像に対応する部品に欠陥が含まれているか否かの判定を行う。 The information processing device 1 generates a learning model by, for example, performing machine learning on a feature amount extracted from a learning image input via an operation terminal 5. Then, for example, when the information processing device 1 receives the inspection image input via the operation terminal 5, the feature amount extracted from the inspection image is input to the learning model. After that, the information processing apparatus 1 determines whether or not the component corresponding to the inspection image contains a defect based on the score output from the learning model with the input of the feature amount.

ここで、上記のような学習モデルの生成を行う場合、事業者は、例えば、欠陥を含む部品についての学習画像を欠陥のサイズごとに用意する。そして、情報処理装置1は、例えば、欠陥のサイズごとの学習画像をそれぞれ用いることにより、欠陥のサイズごとの学習モデルを生成する。以下、欠陥のサイズごとの学習モデルを生成する場合の具体例について説明を行う。 Here, when generating the learning model as described above, the business operator prepares, for example, a learning image of a part including a defect for each size of the defect. Then, the information processing device 1 generates a learning model for each defect size by using, for example, learning images for each defect size. Hereinafter, a specific example of generating a learning model for each defect size will be described.

[欠陥のサイズごとの学習モデルの具体例]
図2は、欠陥のサイズごとの学習モデルを生成する場合の具体例について説明を行う。
[Specific example of learning model for each defect size]
FIG. 2 describes a specific example in the case of generating a learning model for each defect size.

具体的に、図2(A)に示す学習画像IM11は、部品IM12を含む画像である。そして、図2(A)に示す部品IM12は、欠陥IM13を含んでいる。また、図2(C)に示す学習画像IM21は、部品IM22を含む画像である。そして、図2(C)に示す部品IM22は、欠陥IM23を含んでいる。 Specifically, the learning image IM11 shown in FIG. 2A is an image including the component IM12. The component IM 12 shown in FIG. 2 (A) includes a defect IM 13. Further, the learning image IM21 shown in FIG. 2C is an image including the component IM22. The component IM22 shown in FIG. 2C includes a defect IM23.

すなわち、図2(A)に示す学習画像IM11は、比較的小さいサイズの欠陥IM13を含む部品IM12についての画像であり、図2(C)に示す学習画像IM21は、比較的大きいサイズの欠陥IM23を含む部品IM22についての画像である。 That is, the learning image IM11 shown in FIG. 2A is an image of the component IM12 including the defect IM13 having a relatively small size, and the learning image IM21 shown in FIG. 2C is a defect IM23 having a relatively large size. It is an image about the component IM22 including.

具体的に、情報処理装置1は、図2(A)に示す学習画像IM11についての学習を行う場合、例えば、学習モデルを生成する欠陥のサイズとして予め定められた複数のサイズのうち、欠陥IM13に対応するサイズ(例えば、欠陥IM13のサイズに最も近いサイズ)を特定する。そして、情報処理装置1は、図2(B)に示すように、特定したサイズに対応するウィンドウサイズWS11ごとに、学習画像IM11を分割して複数の分割画像を生成する。その後、情報処理装置1は、生成した複数の分割画像のそれぞれから抽出した特徴量を用いることによって機械学習を行う。 Specifically, when the information processing apparatus 1 learns about the learning image IM11 shown in FIG. 2A, for example, the defect IM13 is out of a plurality of predetermined sizes as the size of the defect that generates the learning model. (For example, the size closest to the size of the defect IM13) corresponding to is specified. Then, as shown in FIG. 2B, the information processing device 1 divides the learning image IM11 for each window size WS11 corresponding to the specified size to generate a plurality of divided images. After that, the information processing device 1 performs machine learning by using the feature amounts extracted from each of the generated plurality of divided images.

また、情報処理装置1は、図2(C)に示す学習画像IM21についての学習を行う場合、例えば、学習モデルを生成する欠陥のサイズとして予め定められた複数のサイズのうち、欠陥IM23に対応するサイズ(例えば、欠陥IM23のサイズに最も近いサイズ)を特定する。そして、情報処理装置1は、図2(D)に示すように、特定したサイズに対応するウィンドウサイズWS21ごとに、学習画像IM21を分割して複数の分割画像を生成する。その後、情報処理装置1は、生成した複数の分割画像のそれぞれから抽出した特徴量を用いることによって機械学習を行う。 Further, when the information processing apparatus 1 learns about the learning image IM21 shown in FIG. 2C, for example, the information processing device 1 corresponds to the defect IM23 among a plurality of predetermined sizes of the defects for generating the learning model. The size to be processed (for example, the size closest to the size of the defect IM23) is specified. Then, as shown in FIG. 2D, the information processing device 1 divides the learning image IM21 for each window size WS21 corresponding to the specified size to generate a plurality of divided images. After that, the information processing device 1 performs machine learning by using the feature amounts extracted from each of the generated plurality of divided images.

これにより、情報処理装置1は、欠陥のサイズごとの学習モデルをそれぞれ生成することが可能になる。そのため、情報処理装置1は、状況に応じた学習モデルの使い分けを行うことが可能になり、検査画像に対応する部品に欠陥が含まれているか否かの判定を精度良く行うことが可能になる。 As a result, the information processing device 1 can generate a learning model for each defect size. Therefore, the information processing device 1 can use the learning model properly according to the situation, and can accurately determine whether or not the component corresponding to the inspection image contains a defect. ..

しかしながら、事業者は、欠陥の各サイズについての学習画像を十分に用意することができない場合がある。そのため、情報処理装置1は、欠陥のサイズごとの学習モデルを網羅的に生成することができず、検査画像に対応する部品に欠陥が含まれているか否かの判定を精度良く行うことができない場合がある。 However, the operator may not be able to sufficiently prepare learning images for each size of the defect. Therefore, the information processing apparatus 1 cannot comprehensively generate a learning model for each defect size, and cannot accurately determine whether or not the component corresponding to the inspection image contains a defect. In some cases.

そこで、本実施の形態における情報処理装置1は、複数の学習画像を第1サイズごとに分割することによって複数の分割画像(以下、第1分割画像とも呼ぶ)を生成する。また、情報処理装置1は、複数の学習画像を第1サイズと異なる第2サイズごとに分割することによって複数の分割画像(以下、第2分割画像とも呼ぶ)を生成する。 Therefore, the information processing device 1 in the present embodiment generates a plurality of divided images (hereinafter, also referred to as first divided images) by dividing a plurality of learning images for each first size. Further, the information processing device 1 generates a plurality of divided images (hereinafter, also referred to as second divided images) by dividing the plurality of learned images into second sizes different from the first size.

そして、情報処理装置1は、複数の第1分割画像のうちの正常状態に対応する複数の分割画像(以下、第1正常分割画像とも呼ぶ)と、複数の第2分割画像のうちの正常状態に対応する複数の分割画像(以下、第2正常分割画像とも呼ぶ)とのそれぞれから、複数種類のパラメータに対応する特徴量をそれぞれ抽出する。さらに、情報処理装置1は、複数種類のパラメータから、複数の第1正常分割画像と複数の第2正常分割画像との間における特徴量の類似関係が所定の条件を満たすパラメータ(以下、第1パラメータとも呼ぶ)を特定する。 Then, the information processing device 1 includes a plurality of divided images corresponding to the normal state of the plurality of first divided images (hereinafter, also referred to as first normal divided images) and a normal state of the plurality of second divided images. From each of the plurality of divided images corresponding to (hereinafter, also referred to as the second normal divided image), the feature quantities corresponding to the plurality of types of parameters are extracted. Further, in the information processing device 1, a parameter (hereinafter, first) in which the similarity relationship between the plurality of first normally divided images and the plurality of second normally divided images satisfies a predetermined condition from a plurality of types of parameters. (Also called a parameter).

その後、情報処理装置1は、特定した第1パラメータに対応する特徴量を用いることによって、複数の第1分割画像及び複数の第2分割画像の機械学習を行う。 After that, the information processing device 1 performs machine learning of the plurality of first divided images and the plurality of second divided images by using the feature quantities corresponding to the specified first parameter.

すなわち、情報処理装置1は、第1分割画像及び第2分割画像から特徴量の抽出を行うことができるパラメータのうち、欠陥のサイズに依存しない特徴量に対応する第1パラメータを特定する。そして、情報処理装置1は、特定した第1パラメータに対応する特徴量を用いることによって学習画像の機械学習を行う。 That is, the information processing apparatus 1 specifies the first parameter corresponding to the feature amount that does not depend on the size of the defect, among the parameters that can extract the feature amount from the first divided image and the second divided image. Then, the information processing device 1 performs machine learning of the learning image by using the feature amount corresponding to the specified first parameter.

これにより、情報処理装置1は、生成された学習モデルを用いることで、十分な数の学習画像が用意されなかったサイズの欠陥についても精度良く特定することが可能になる。そのため、情報処理装置1は、検査画像に対応する部品に欠陥が含まれているか否かの判定を精度良く行うことが可能になる。 As a result, the information processing apparatus 1 can accurately identify defects of a size for which a sufficient number of training images have not been prepared by using the generated learning model. Therefore, the information processing apparatus 1 can accurately determine whether or not the component corresponding to the inspection image contains a defect.

[情報処理システムのハードウエア構成]
次に、情報処理システム10のハードウエア構成について説明する。図3は、情報処理装置1のハードウエア構成を説明する図である。
[Hardware configuration of information processing system]
Next, the hardware configuration of the information processing system 10 will be described. FIG. 3 is a diagram illustrating a hardware configuration of the information processing device 1.

情報処理装置1は、図3に示すように、プロセッサであるCPU101と、メモリ102と、外部インターフェース(I/Oユニット)103と、記憶媒体104とを有する。各部は、バス105を介して互いに接続される。 As shown in FIG. 3, the information processing device 1 includes a CPU 101 which is a processor, a memory 102, an external interface (I / O unit) 103, and a storage medium 104. The parts are connected to each other via the bus 105.

記憶媒体104は、例えば、部品の画像から欠陥を含む部品を特定する処理(以下、画像検査処理とも呼ぶ)を行うためのプログラム110を記憶するプログラム格納領域(図示しない)を有する。また、記憶媒体104は、例えば、画像検査処理を行う際に用いられる情報を記憶する記憶部130(以下、情報格納領域130とも呼ぶ)を有する。なお、記憶媒体104は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)であってよい。 The storage medium 104 has, for example, a program storage area (not shown) for storing a program 110 for performing a process of identifying a component containing a defect from an image of the component (hereinafter, also referred to as an image inspection process). Further, the storage medium 104 has, for example, a storage unit 130 (hereinafter, also referred to as an information storage area 130) for storing information used when performing an image inspection process. The storage medium 104 may be, for example, an HDD (Hard Disk Drive) or an SSD (Solid State Drive).

CPU101は、記憶媒体104からメモリ102にロードされたプログラム110を実行して画像検査処理を行う。 The CPU 101 executes the program 110 loaded from the storage medium 104 into the memory 102 to perform the image inspection process.

また、外部インターフェース103は、例えば、操作端末5と通信を行う。 Further, the external interface 103 communicates with, for example, the operation terminal 5.

[情報処理システムの機能]
次に、情報処理システム10の機能について説明を行う。図4は、情報処理装置1の機能のブロック図である。
[Information processing system functions]
Next, the function of the information processing system 10 will be described. FIG. 4 is a block diagram of the function of the information processing device 1.

情報処理装置1は、図4に示すように、例えば、CPU101やメモリ102等のハードウエアとプログラム110とが有機的に協働することにより、情報受信部111と、情報管理部112と、分割画像生成部113と、特徴量抽出部114と、パラメータ特定部115と、機械学習実行部116と、スコア取得部117と、異常判定部118と、情報出力部119とを含む各種機能を実現する。 As shown in FIG. 4, the information processing device 1 is divided into an information receiving unit 111 and an information management unit 112 by, for example, the hardware such as the CPU 101 and the memory 102 and the program 110 organically collaborating with each other. Various functions including an image generation unit 113, a feature amount extraction unit 114, a parameter identification unit 115, a machine learning execution unit 116, a score acquisition unit 117, an abnormality determination unit 118, and an information output unit 119 are realized. ..

また、情報処理装置1は、例えば、図4に示すように、学習画像131と、第1分割画像132と、第2分割画像133と、学習モデル134とを情報格納領域130に記憶する。 Further, for example, as shown in FIG. 4, the information processing device 1 stores the learning image 131, the first divided image 132, the second divided image 133, and the learning model 134 in the information storage area 130.

初めに、学習画像131の機械学習(学習モデル134の生成)を行う際の機能について説明を行う。 First, a function for performing machine learning (generation of the learning model 134) of the learning image 131 will be described.

情報受信部111は、例えば、操作端末5から送信された複数の学習画像131(部品についての学習画像)を受信する。 The information receiving unit 111 receives, for example, a plurality of learning images 131 (learning images about parts) transmitted from the operation terminal 5.

情報管理部112は、例えば、情報受信部111が受信した複数の学習画像131を情報格納領域130に記憶する。 The information management unit 112 stores, for example, a plurality of learning images 131 received by the information receiving unit 111 in the information storage area 130.

分割画像生成部113は、例えば、情報格納領域130に記憶された複数の学習画像131を第1サイズごとに分割することによって複数の第1分割画像132を生成する。また、分割画像生成部113は、例えば、情報格納領域130に記憶された複数の学習画像131を第2サイズごとに分割することによって複数の第2分割画像133を生成する。そして、情報管理部112は、例えば、分割画像生成部113が生成した複数の第1分割画像132及び複数の第2分割画像133を情報格納領域130に記憶する。 The divided image generation unit 113 generates a plurality of first divided images 132 by, for example, dividing a plurality of learning images 131 stored in the information storage area 130 for each first size. Further, the divided image generation unit 113 generates a plurality of second divided images 133 by, for example, dividing the plurality of learning images 131 stored in the information storage area 130 for each second size. Then, the information management unit 112 stores, for example, the plurality of first divided images 132 and the plurality of second divided images 133 generated by the divided image generation unit 113 in the information storage area 130.

特徴量抽出部114は、分割画像生成部113が生成した複数の第1分割画像132のうちの複数の第1正常分割画像132aと、分割画像生成部113が生成した複数の第2分割画像133のうちの複数の第2正常分割画像133aとのそれぞれから、複数種類のパラメータに対応する特徴量をそれぞれ抽出する。 The feature amount extraction unit 114 includes a plurality of first normal divided images 132a among the plurality of first divided images 132 generated by the divided image generation unit 113, and a plurality of second divided images 133 generated by the divided image generation unit 113. The feature quantities corresponding to the plurality of types of parameters are extracted from each of the plurality of second normally divided images 133a.

パラメータ特定部115は、特徴量抽出部114が特徴量の抽出を行った複数種類のパラメータから、複数の第1正常分割画像132aと複数の第2正常分割画像133aとの間における特徴量の類似関係が所定の条件を満たす第1パラメータを特定する。 The parameter specifying unit 115 is similar in the feature amount between the plurality of first normal division images 132a and the plurality of second normal division images 133a from the plurality of types of parameters obtained by the feature amount extraction unit 114. Identify a first parameter whose relationship satisfies a predetermined condition.

機械学習実行部116は、パラメータ特定部115が特定した第1パラメータに対応する特徴量を用いることによって、複数の第1分割画像132及び複数の第2分割画像133の機械学習を行う。そして、機械学習実行部116は、情報格納領域130において学習モデル134の生成を行う。 The machine learning execution unit 116 performs machine learning of the plurality of first divided images 132 and the plurality of second divided images 133 by using the feature quantities corresponding to the first parameter specified by the parameter specifying unit 115. Then, the machine learning execution unit 116 generates the learning model 134 in the information storage area 130.

次に、学習モデル134を用いることによって欠陥を含む部品の特定を行う際の機能について説明を行う。 Next, the function for identifying the component including the defect by using the learning model 134 will be described.

情報受信部111は、例えば、操作端末5から送信された検査画像(部品についての検査画像)を受信する。 The information receiving unit 111 receives, for example, an inspection image (inspection image of a part) transmitted from the operation terminal 5.

分割画像生成部113は、情報受信部111が受信した検査画像を所定のサイズごとに分割することによって、複数の分割画像を生成する。具体的に、分割画像生成部113は、事業者が予め指定したサイズごとに、情報受信部111が受信した検査画像の分割を行う。 The divided image generation unit 113 generates a plurality of divided images by dividing the inspection image received by the information receiving unit 111 into predetermined sizes. Specifically, the divided image generation unit 113 divides the inspection image received by the information receiving unit 111 for each size specified in advance by the business operator.

特徴量抽出部114は、分割画像生成部113が生成した複数の分割画像から第1パラメータに対応する特徴量をそれぞれ抽出する。 The feature amount extraction unit 114 extracts the feature amount corresponding to the first parameter from the plurality of divided images generated by the divided image generation unit 113.

スコア取得部117は、分割画像生成部113が生成した複数の分割画像ごとに、特徴量抽出部114が抽出した第1パラメータに対応する特徴量の入力に伴って学習モデル134から出力されるスコアを取得する。すなわち、スコア取得部117は、情報格納領域130に生成された学習モデル134を用いることによって、分割画像生成部113が生成した複数の分割画像ごとのスコアを取得する。 The score acquisition unit 117 outputs the score output from the learning model 134 with the input of the feature amount corresponding to the first parameter extracted by the feature amount extraction unit 114 for each of the plurality of divided images generated by the divided image generation unit 113. To get. That is, the score acquisition unit 117 acquires the score for each of the plurality of divided images generated by the divided image generation unit 113 by using the learning model 134 generated in the information storage area 130.

異常判定部118は、分割画像生成部113が生成した複数の分割画像のうち、スコア取得部117が取得したスコアが閾値以下である分割画像が異常状態にあると判定する。 The abnormality determination unit 118 determines that, of the plurality of divided images generated by the divided image generation unit 113, the divided image whose score acquired by the score acquisition unit 117 is equal to or less than the threshold value is in an abnormal state.

情報出力部119は、例えば、異常状態にある分割画像が含まれていると異常判定部118が判定した場合、情報受信部111が受信した検査画像が異常状態にあることを示す情報を操作端末5に出力する。 For example, when the abnormality determination unit 118 determines that the divided image in the abnormal state is included, the information output unit 119 outputs information indicating that the inspection image received by the information receiving unit 111 is in the abnormal state. Output to 5.

[第1の実施の形態の概略]
次に、第1の実施の形態の概略について説明する。図5及び図6は、第1の実施の形態における画像検査処理の概略を説明するフローチャート図である。
[Outline of the first embodiment]
Next, the outline of the first embodiment will be described. 5 and 6 are flowcharts illustrating an outline of the image inspection process according to the first embodiment.

情報処理装置1は、図5に示すように、機械学習実行タイミングまで待機する(S1のNO)。機械学習実行タイミングは、例えば、事業者が画像検査処理を開始する旨の情報を情報処理装置1に入力したタイミングであってよい。 As shown in FIG. 5, the information processing device 1 waits until the machine learning execution timing (NO in S1). The machine learning execution timing may be, for example, the timing at which the business operator inputs information to the information processing apparatus 1 to start the image inspection process.

そして、機械学習実行タイミングになった場合(S1のYES)、情報処理装置1は、複数の学習画像131を第1サイズごとに分割することによって複数の第1分割画像132を生成する(S2)。また、情報処理装置1は、この場合、複数の学習画像131を第2サイズごとに分割することによって複数の第2分割画像133を生成する(S3)。 Then, when the machine learning execution timing is reached (YES in S1), the information processing device 1 generates a plurality of first divided images 132 by dividing the plurality of learning images 131 for each first size (S2). .. Further, in this case, the information processing apparatus 1 generates a plurality of second divided images 133 by dividing the plurality of learning images 131 for each second size (S3).

続いて、情報処理装置1は、複数の第1分割画像132のうちの正常状態に対応する複数の第1正常分割画像132aと、複数の第2分割画像133のうちの正常状態に対応する複数の第2正常分割画像133aとのそれぞれから、複数種類のパラメータに対応する特徴量をそれぞれ抽出する(S4)。 Subsequently, the information processing apparatus 1 includes a plurality of first normal divided images 132a corresponding to the normal state of the plurality of first divided images 132, and a plurality of first normally divided images 132a corresponding to the normal state of the plurality of second divided images 133. The feature quantities corresponding to the plurality of types of parameters are extracted from each of the second normal divided images 133a (S4).

さらに、情報処理装置1は、図6に示すように、複数種類のパラメータから、複数の第1正常分割画像132aと複数の第2正常分割画像133aとの間における特徴量の類似関係が所定の条件を満たす第1パラメータを特定する(S5)。 Further, as shown in FIG. 6, the information processing apparatus 1 has a predetermined similarity relationship between the plurality of first normal division images 132a and the plurality of second normal division images 133a from a plurality of types of parameters. The first parameter that satisfies the condition is specified (S5).

その後、情報処理装置1は、S5の処理で特定した第1パラメータに対応する特徴量を用いることによって、複数の第1分割画像132及び複数の第2分割画像133の機械学習を行う(S6)。 After that, the information processing apparatus 1 performs machine learning of the plurality of first divided images 132 and the plurality of second divided images 133 by using the feature quantities corresponding to the first parameter specified in the process of S5 (S6). ..

すなわち、情報処理装置1は、第1分割画像132及び第2分割画像133から特徴量の抽出を行うことができるパラメータのうち、欠陥のサイズに依存しない特徴量に対応する第1パラメータを特定する。そして、情報処理装置1は、特定した第1パラメータに対応する特徴量を用いることによって学習画像の機械学習を行う。 That is, the information processing apparatus 1 specifies the first parameter corresponding to the feature amount that does not depend on the size of the defect, among the parameters that can extract the feature amount from the first divided image 132 and the second divided image 133. .. Then, the information processing device 1 performs machine learning of the learning image by using the feature amount corresponding to the specified first parameter.

これにより、情報処理装置1は、生成された学習モデルを用いることで、十分な数の学習画像131が用意されなかったサイズの欠陥についても精度良く特定することが可能になる。そのため、情報処理装置1は、検査画像に対応する部品に欠陥が含まれているか否かの判定を精度良く行うことが可能になる。 As a result, the information processing apparatus 1 can accurately identify defects of a size for which a sufficient number of training images 131 have not been prepared by using the generated learning model. Therefore, the information processing apparatus 1 can accurately determine whether or not the component corresponding to the inspection image contains a defect.

[第1の実施の形態の詳細]
次に、第1の実施の形態の詳細について説明する。図7から図13は、第1の実施の形態における画像検査処理の詳細を説明するフローチャート図である。また、図14から図20は、第1の実施の形態における画像検査処理の詳細を説明する図である。
[Details of the first embodiment]
Next, the details of the first embodiment will be described. 7 to 13 are flowcharts illustrating the details of the image inspection process according to the first embodiment. 14 to 20 are views for explaining the details of the image inspection process according to the first embodiment.

[画像蓄積処理]
初めに、学習画像131の蓄積を行う処理(以下、画像蓄積処理とも呼ぶ)について説明を行う。図7は、画像蓄積処理を説明するフローチャート図である。
[Image storage processing]
First, a process for accumulating the learning image 131 (hereinafter, also referred to as an image accumulating process) will be described. FIG. 7 is a flowchart illustrating the image storage process.

情報処理装置1の情報受信部111は、図7に示すように、学習画像131を受信するまで待機する(S11のNO)。具体的に、情報受信部111は、例えば、学習画像131が操作端末5から送信されるまで待機する。 As shown in FIG. 7, the information receiving unit 111 of the information processing device 1 waits until the learning image 131 is received (NO in S11). Specifically, the information receiving unit 111 waits until, for example, the learning image 131 is transmitted from the operation terminal 5.

そして、学習画像131を受信した場合(S11のYES)、情報処理装置1の情報管理部112は、S11の処理で受信した学習画像131を情報格納領域130に記憶する(S12)。 Then, when the learning image 131 is received (YES in S11), the information management unit 112 of the information processing device 1 stores the learning image 131 received in the process of S11 in the information storage area 130 (S12).

[機械学習処理]
次に、学習画像131の機械学習を行う処理(以下、機械学習処理とも呼ぶ)について説明を行う。図8から図11は、機械学習処理を説明するフローチャート図である。
[Machine learning process]
Next, a process for performing machine learning of the learning image 131 (hereinafter, also referred to as a machine learning process) will be described. 8 to 11 are flowcharts illustrating the machine learning process.

情報管理部112は、図8に示すように、機械学習実行タイミングまで待機する(S21のNO)。 As shown in FIG. 8, the information management unit 112 waits until the machine learning execution timing (NO in S21).

そして、機械学習実行タイミングになった場合(S21のYES)、分割画像生成部113は、情報格納領域130に記憶された複数の学習画像131を第1サイズごとに分割することによって複数の第1分割画像132を生成する(S22)。具体的に、分割画像生成部113は、情報格納領域130に記憶された複数の学習画像131のうちの少なくとも一部の画像について分割を行う。以下、S22の処理の具体例について説明を行う。 Then, when the machine learning execution timing is reached (YES in S21), the divided image generation unit 113 divides the plurality of learning images 131 stored in the information storage area 130 into each of the first sizes, so that the plurality of first images 131 are divided. The divided image 132 is generated (S22). Specifically, the divided image generation unit 113 divides at least a part of the plurality of learning images 131 stored in the information storage area 130. Hereinafter, a specific example of the processing of S22 will be described.

[S22の処理の具体例]
図14は、S22の処理の具体例を説明する図である。図14(A)は、学習画像131に含まれる学習画像IM31に対してS22の処理を行う際の具体例を説明する図であり、図14(B)は、学習画像131に含まれる学習画像IM32に対してS22の処理を行う際の具体例を説明する図である。
[Specific example of processing of S22]
FIG. 14 is a diagram illustrating a specific example of the process of S22. FIG. 14 (A) is a diagram illustrating a specific example when processing S22 with respect to the learning image IM31 included in the learning image 131, and FIG. 14 (B) is a diagram showing a learning image included in the learning image 131. It is a figure explaining the specific example at the time of performing the process of S22 with respect to IM32.

具体的に、分割画像生成部113は、例えば、図14(A)に示すように、学習画像IM31をウィンドウサイズWS31(第1サイズ)ごとに分割することによって、複数の第1分割画像132を生成する。また、分割画像生成部113は、例えば、図14(B)に示すように、学習画像IM32をウィンドウサイズWS31ごとに分割することによって、複数の第1分割画像132を生成する。 Specifically, as shown in FIG. 14A, for example, the divided image generation unit 113 divides the learning image IM31 into windows size WS31 (first size) to divide a plurality of first divided images 132. Generate. Further, the divided image generation unit 113 generates a plurality of first divided images 132 by dividing the learning image IM 32 for each window size WS31, for example, as shown in FIG. 14 (B).

図8に戻り、分割画像生成部113は、情報格納領域130に記憶された複数の学習画像131を第2サイズごとに分割することによって複数の第2分割画像133を生成する(S23)。具体的に、分割画像生成部113は、情報格納領域130に記憶された複数の学習画像131のうちの少なくとも一部の画像について分割を行う。以下、S23の処理の具体例について説明を行う。 Returning to FIG. 8, the divided image generation unit 113 generates a plurality of second divided images 133 by dividing the plurality of learning images 131 stored in the information storage area 130 for each second size (S23). Specifically, the divided image generation unit 113 divides at least a part of the plurality of learning images 131 stored in the information storage area 130. Hereinafter, a specific example of the processing of S23 will be described.

[S23の処理の具体例]
図15は、S23の処理の具体例を説明する図である。図15(A)は、学習画像131に含まれる学習画像IM31に対してS23の処理を行う際の具体例を説明する図であり、図15(B)は、学習画像131に含まれる学習画像IM32に対してS23の処理を行う際の具体例を説明する図である。
[Specific example of processing of S23]
FIG. 15 is a diagram illustrating a specific example of the process of S23. FIG. 15A is a diagram illustrating a specific example when the processing of S23 is performed on the learning image IM31 included in the learning image 131, and FIG. 15B is a diagram showing a learning image included in the learning image 131. It is a figure explaining the specific example at the time of performing the process of S23 with respect to IM32.

具体的に、分割画像生成部113は、例えば、図15(A)に示すように、学習画像IM31をウィンドウサイズWS32(第2サイズ)ごとに分割することによって、複数の第2分割画像133を生成する。また、分割画像生成部113は、例えば、図15(B)に示すように、学習画像IM32をウィンドウサイズWS32ごとに分割することによって、複数の第2分割画像133を生成する。 Specifically, as shown in FIG. 15A, for example, the divided image generation unit 113 divides the learning image IM31 into windows size WS32 (second size) to divide a plurality of second divided images 133. Generate. Further, the divided image generation unit 113 generates a plurality of second divided images 133 by dividing the learning image IM 32 for each window size WS 32, for example, as shown in FIG. 15 (B).

図8に戻り、情報処理装置1の特徴量抽出部114は、S22の処理で生成した複数の第1分割画像132から複数の第1正常分割画像132aを特定する(S24)。 Returning to FIG. 8, the feature amount extraction unit 114 of the information processing apparatus 1 identifies a plurality of first normal divided images 132a from the plurality of first divided images 132 generated in the process of S22 (S24).

具体的に、特徴量抽出部114は、例えば、S22の処理で生成した複数の第1分割画像132のそれぞれについて事業者が付加した状態情報を参照し、S22の処理で生成した複数の第1分割画像132のうち、各画像が正常状態にあることを示す状態情報に対応付けられた画像を第1正常分割画像132aとして特定する。 Specifically, the feature amount extraction unit 114 refers to, for example, the state information added by the business operator for each of the plurality of first divided images 132 generated in the process of S22, and the plurality of firsts generated in the process of S22. Among the divided images 132, the image associated with the state information indicating that each image is in the normal state is specified as the first normal divided image 132a.

そして、特徴量抽出部114は、S23の処理で生成した複数の第2分割画像133から複数の第2正常分割画像133aを特定する(S25)。 Then, the feature amount extraction unit 114 identifies the plurality of second normal divided images 133a from the plurality of second divided images 133 generated in the process of S23 (S25).

具体的に、特徴量抽出部114は、例えば、S23の処理で生成した複数の第2分割画像133のそれぞれについて事業者が付加した状態情報を参照し、S23の処理で生成した複数の第2分割画像133のうち、各画像が正常状態にあることを示す状態情報に対応付けられた画像を第2正常分割画像133aとして特定する。 Specifically, the feature amount extraction unit 114 refers to, for example, the state information added by the business operator for each of the plurality of second divided images 133 generated in the process of S23, and the plurality of second images generated in the process of S23. Among the divided images 133, the image associated with the state information indicating that each image is in the normal state is specified as the second normal divided image 133a.

なお、事業者は、例えば、S22の処理で生成した複数の第1分割画像132のうち、部品の欠陥を含まない画像に対して、各画像が正常状態にあることを示す状態情報を付加するものであってよい。また、事業者は、例えば、S22の処理で生成した複数の第1分割画像132のうち、部品の欠陥の少なくとも一部を含む画像に対して、各画像が異常状態にあることを示す状態情報を付加するものであってよい。 In addition, for example, the business operator adds state information indicating that each image is in a normal state to an image that does not include a defect of a part among a plurality of first divided images 132 generated in the process of S22. It may be a thing. Further, for example, the business operator indicates that, among the plurality of first divided images 132 generated in the process of S22, each image is in an abnormal state with respect to an image including at least a part of a defect of a part. May be added.

続いて、特徴量抽出部114は、図9に示すように、S24の処理等で生成した複数の第1正常分割画像132a及び複数の第2正常分割画像133aのそれぞれから、複数種類のパラメータに対応する特徴量を抽出する(S31)。 Subsequently, as shown in FIG. 9, the feature amount extraction unit 114 sets a plurality of types of parameters from each of the plurality of first normal division images 132a and the plurality of second normal division images 133a generated by the processing of S24 or the like. The corresponding feature amount is extracted (S31).

具体的に、特徴量抽出部114は、例えば、第1分割画像132や第2分割画像133についての平均輝度や輝度分散等に対応する特徴量をそれぞれ抽出する。 Specifically, the feature amount extraction unit 114 extracts, for example, the feature amounts corresponding to the average brightness, the luminance dispersion, and the like of the first divided image 132 and the second divided image 133.

そして、情報処理装置1のパラメータ特定部115は、S31の処理で特徴量の抽出を行ったパラメータごとに、S31の処理で抽出した複数の第1正常分割画像132aの特徴量についての分布を生成する(S32)。 Then, the parameter specifying unit 115 of the information processing apparatus 1 generates a distribution for the feature amounts of the plurality of first normal division images 132a extracted in the process of S31 for each parameter for which the feature amount was extracted in the process of S31. (S32).

また、パラメータ特定部115は、S31の処理で特徴量の抽出を行ったパラメータごとに、S31の処理で抽出した複数の第2正常分割画像133aの特徴量についての分布を生成する(S33)。 In addition, the parameter specifying unit 115 generates a distribution for the feature amounts of the plurality of second normally divided images 133a extracted in the process of S31 for each parameter for which the feature amount was extracted in the process of S31 (S33).

その後、パラメータ特定部115は、S31の処理で特徴量の抽出を行ったパラメータごとに、S32の処理で生成した分布の形状とS33の処理で生成した分布の形状との差を算出する(S34)。 After that, the parameter specifying unit 115 calculates the difference between the shape of the distribution generated in the processing of S32 and the shape of the distribution generated in the processing of S33 for each parameter for which the feature amount has been extracted in the processing of S31 (S34). ).

そして、パラメータ特定部115は、S31の処理で特徴量の抽出を行ったパラメータのうち、S34の処理で算出した差が所定条件を満たす特徴量に対応するパラメータを第1パラメータとして特定する(S35)。以下、S34及びS35の処理の詳細について説明を行う。 Then, the parameter specifying unit 115 specifies as the first parameter a parameter corresponding to the feature amount for which the difference calculated in the processing of S34 satisfies a predetermined condition among the parameters obtained by extracting the feature amount in the processing of S31 (S35). ). Hereinafter, details of the processing of S34 and S35 will be described.

[S34及びS35の処理の詳細]
図11は、S34及びS35の処理の詳細を説明するフローチャート図である。
[Details of processing of S34 and S35]
FIG. 11 is a flowchart illustrating the details of the processes of S34 and S35.

パラメータ特定部115は、図11に示すように、S31の処理で特徴量の抽出を行ったパラメータごとに、S32の処理で生成した分布の基本統計量を算出する(S101)。 As shown in FIG. 11, the parameter specifying unit 115 calculates the basic statistic of the distribution generated in the process of S32 for each parameter for which the feature amount has been extracted in the process of S31 (S101).

具体的に、パラメータ特定部115は、例えば、S31の処理で特徴量の抽出を行ったパラメータに輝度分散が含まれる場合、S32の処理で生成した分布における輝度分散の平均(以下、単に平均μ1とも呼ぶ)と、S32の処理で生成した分布における輝度分散の標準偏差(以下、単に標準偏差ρ1とも呼ぶ)と、S32の処理で生成した分布に対応するヒストグラムの歪度(以下、単に歪度s1とも呼ぶ)と、S32の処理で生成した分布に対応するヒストグラムの尖度(以下、単に尖度k1とも呼ぶ)とを輝度分散に対応する基本統計量として特定する。 Specifically, the parameter specifying unit 115, for example, when the parameter whose feature amount is extracted in the process of S31 includes the brightness variance, the average of the brightness variance in the distribution generated in the process of S32 (hereinafter, simply average μ1). (Also also referred to as), the standard deviation of the brightness variance in the distribution generated by the processing of S32 (hereinafter, also simply referred to as the standard deviation ρ1), and the skewness of the histogram corresponding to the distribution generated by the processing of S32 (hereinafter, simply the skewness). (Also referred to as s1) and the kurtosis of the histogram corresponding to the distribution generated in the process of S32 (hereinafter, also simply referred to as kurtosis k1) are specified as basic statistics corresponding to the brightness variance.

また、パラメータ特定部115は、S31の処理で特徴量の抽出を行ったパラメータごとに、S33の処理で生成した分布の基本統計量を算出する(S102)。 Further, the parameter specifying unit 115 calculates the basic statistic of the distribution generated in the process of S33 for each parameter for which the feature amount has been extracted in the process of S31 (S102).

具体的に、パラメータ特定部115は、例えば、S31の処理で特徴量の抽出を行ったパラメータに輝度分散が含まれる場合、S33の処理で生成した分布における輝度分散の平均(以下、単に平均μ2とも呼ぶ)と、S33の処理で生成した分布における輝度分散の標準偏差(以下、単に標準偏差ρ2とも呼ぶ)と、S33の処理で生成した分布に対応するヒストグラムの歪度(以下、単に歪度s2とも呼ぶ)と、S33の処理で生成した分布に対応するヒストグラムの尖度(以下、単に尖度k2とも呼ぶ)とを輝度分散に対応する基本統計量として特定する。 Specifically, the parameter specifying unit 115, for example, when the parameter whose feature amount is extracted in the process of S31 includes the brightness variance, the average of the brightness variance in the distribution generated in the process of S33 (hereinafter, simply average μ2). (Also also referred to as), the standard deviation of the brightness variance in the distribution generated by the processing of S33 (hereinafter, also simply referred to as the standard deviation ρ2), and the skewness of the histogram corresponding to the distribution generated by the processing of S33 (hereinafter, simply the skewness). (Also also referred to as s2) and the kurtosis of the histogram corresponding to the distribution generated in the process of S33 (hereinafter, also simply referred to as kurtosis k2) are specified as basic statistics corresponding to the brightness variance.

そして、パラメータ特定部115は、S31の処理で特徴量の抽出を行ったパラメータごとに、S101及びS102の処理で算出した基本統計量から、S32の処理で生成した分布とS33の処理で生成した分布との形状の類似度を算出する(S103)。 Then, the parameter specifying unit 115 generated the distribution generated in the processing of S32 and the processing of S33 from the basic statistics calculated in the processing of S101 and S102 for each parameter for which the feature amount was extracted in the processing of S31. The degree of shape similarity with the distribution is calculated (S103).

具体的に、パラメータ特定部115は、例えば、以下の式(1)を用いることによって類似度を算出する。
類似度=|μ1−μ2|+|ρ1−ρ2|+|s1−s2|+|k1−k2| (式1)
Specifically, the parameter specifying unit 115 calculates the degree of similarity by using, for example, the following equation (1).
Similarity = | μ1-μ2 | + | ρ1-ρ2 | + | s1-s2 | + | k1-k2 | (Equation 1)

続いて、パラメータ特定部115は、S103の処理で算出した類似度が高い順に、N個のパラメータを特定する(S104)。 Subsequently, the parameter specifying unit 115 specifies N parameters in descending order of similarity calculated in the process of S103 (S104).

具体的に、パラメータ特定部115は、例えば、以下の式(2)及び式(3)を用いることによってNを算出する。なお、以下の式(2)及び式(3)におけるMは、例えば、S22の処理において第1分割画像132を生成する際に用いた学習画像131(S23の処理において第2分割画像133を生成する際に用いた学習画像131)のデータ数であってよい。
N=M/10+2(M<80) (式2)
N=10(M≧80) (式3)
Specifically, the parameter specifying unit 115 calculates N by using, for example, the following equations (2) and (3). The M in the following equations (2) and (3) is, for example, the learning image 131 used when generating the first divided image 132 in the processing of S22 (generating the second divided image 133 in the processing of S23). It may be the number of data of the learning image 131) used at the time.
N = M / 10 + 2 (M <80) (Equation 2)
N = 10 (M ≧ 80) (Equation 3)

その後、パラメータ特定部115は、S104の処理で特定したN個のパラメータを第1パラメータとして特定する(S105)。 After that, the parameter specifying unit 115 specifies N parameters specified in the process of S104 as the first parameter (S105).

なお、パラメータ特定部115は、S35の処理において、例えば、S32の処理で生成した分布の中心(例えば、分布の中央値、平均値または最頻値)とS33の処理で生成した分布の中心との差が閾値以下である特徴量に対応するパラメータを、第1パラメータとして特定するものであってもよい。また、パラメータ特定部115は、例えば、S32の処理で生成した分布の幅とS33の処理で生成した分布の幅との差が閾値以下である特徴量に対応するパラメータを、第1パラメータとして特定するものであってもよい。以下、分布の中心値の差を用いる場合におけるS34及びS35の処理の具体例について説明を行う。 In the processing of S35, the parameter specifying unit 115 includes, for example, the center of the distribution generated in the processing of S32 (for example, the median value, the average value or the mode value of the distribution) and the center of the distribution generated in the processing of S33. The parameter corresponding to the feature amount whose difference is equal to or less than the threshold value may be specified as the first parameter. Further, the parameter specifying unit 115 specifies, for example, a parameter corresponding to the feature amount in which the difference between the width of the distribution generated in the process of S32 and the width of the distribution generated in the process of S33 is equal to or less than the threshold value as the first parameter. It may be something to do. Hereinafter, a specific example of the processing of S34 and S35 when the difference in the center value of the distribution is used will be described.

[S34及びS35の処理の具体例]
図16及び図17は、S34及びS35の処理の具体例を説明する図である。図16(A)は、パラメータとして平均輝度を採用した場合における第1正常分割画像132aの分布を説明する具体例であり、図16(B)は、パラメータとして平均輝度を採用した場合における第2正常分割画像133aの分布を説明する具体例である。また、図17(A)は、パラメータとして輝度分散を採用した場合における第1正常分割画像132aの分布を説明する具体例であり、図17(B)は、パラメータとして輝度分散を採用した場合における第2正常分割画像133aの分布を説明する具体例である。
[Specific example of processing of S34 and S35]
16 and 17 are diagrams for explaining specific examples of the processes of S34 and S35. FIG. 16A is a specific example for explaining the distribution of the first normal division image 132a when the average luminance is adopted as a parameter, and FIG. 16B is a second when the average luminance is adopted as a parameter. This is a specific example for explaining the distribution of the normally divided image 133a. Further, FIG. 17A is a specific example for explaining the distribution of the first normally divided image 132a when the luminance dispersion is adopted as the parameter, and FIG. 17B is the case where the luminance variance is adopted as the parameter. It is a specific example explaining the distribution of the 2nd normal division image 133a.

具体的に、図16に示す例において、図16(A)の右側に示すヒストグラムにおける中央値は、図16(B)の右側に示すヒストグラムにおける中央値と一致している。そのため、パラメータ特定部115は、この場合、例えば、第1正常分割画像132aの分布の中央値と第2正常分割画像133aの中央値との差が閾値以下であると判定し、平均輝度を第1パラメータとして特定する。 Specifically, in the example shown in FIG. 16, the median value in the histogram shown on the right side of FIG. 16 (A) coincides with the median value in the histogram shown on the right side of FIG. 16 (B). Therefore, in this case, the parameter specifying unit 115 determines, for example, that the difference between the median distribution of the first normally divided image 132a and the median of the second normally divided image 133a is equal to or less than the threshold value, and determines the average brightness. Specify as one parameter.

一方、図17に示す例において、図17(A)の右側に示すヒストグラムにおける中央値は、図17(B)の右側に示すヒストグラムにおける中央値と一致していない。そのため、パラメータ特定部115は、第1分割画像132の分布の中央値と第2分割画像133の中央値との差異が閾値を上回っていると判定した場合、例えば、輝度分散を第1パラメータとして特定しない旨の決定を行う。 On the other hand, in the example shown in FIG. 17, the median value in the histogram shown on the right side of FIG. 17 (A) does not match the median value in the histogram shown on the right side of FIG. 17 (B). Therefore, when the parameter specifying unit 115 determines that the difference between the median distribution of the first divided image 132 and the median of the second divided image 133 exceeds the threshold value, for example, the luminance variance is used as the first parameter. Make a decision not to specify.

なお、特徴量抽出部114は、S31の処理において、例えば、第1分割画像132や第2分割学習画像132についての輝度ヒストグラムや勾配ヒストグラムに対応する特徴量を抽出するものであってもよい。そして、パラメータ特定部115は、S32及びS33の処理において、例えば、輝度ヒストグラムや勾配ヒストグラムに対応する特徴量についての分布を生成するものであってもよい。以下、輝度ヒストグラムに対応する分布の具体例について説明を行う。 In the process of S31, the feature amount extraction unit 114 may extract the feature amount corresponding to the luminance histogram or the gradient histogram of the first divided image 132 or the second divided learning image 132, for example. Then, the parameter specifying unit 115 may generate a distribution for the feature amount corresponding to the luminance histogram or the gradient histogram in the processing of S32 and S33, for example. Hereinafter, a specific example of the distribution corresponding to the luminance histogram will be described.

[輝度ヒストグラムに対応する分布の具体例]
図18は、輝度ヒストグラムに対応する分布の具体例を説明する図である。図18(A)は、第1正常分割画像132aごとの輝度ヒストグラムの具体例であり、図18(B)及び図18(C)は、図18(A)に示す輝度ヒストグラムに対応する分布の具体例である。
[Specific example of distribution corresponding to luminance histogram]
FIG. 18 is a diagram illustrating a specific example of the distribution corresponding to the luminance histogram. FIG. 18A is a specific example of the luminance histogram for each of the first normal division images 132a, and FIGS. 18B and 18C are distributions corresponding to the luminance histogram shown in FIG. 18A. This is a specific example.

具体的に、図18(A)に示す輝度ヒストグラムは、例えば、輝度値が0から63までの間である画素数を示す区画(以下、第1区画とも呼ぶ)と、輝度値が64から127までの間である画素数を示す区画(以下、第2区画とも呼ぶ)と、輝度値が128から191までの間である画素数を示す区画(以下、第3区画とも呼ぶ)と、輝度値が192から255までの間である画素数を示す区画(以下、第4区画とも呼ぶ)とを含む。 Specifically, the luminance histogram shown in FIG. 18 (A) shows, for example, a section showing the number of pixels having a brightness value between 0 and 63 (hereinafter, also referred to as a first section) and a luminance value of 64 to 127. A section indicating the number of pixels between the two (hereinafter, also referred to as a second section), a section indicating the number of pixels having a brightness value between 128 and 191 (hereinafter, also referred to as a third section), and a brightness value. Includes a section (hereinafter, also referred to as a fourth section) indicating the number of pixels in which is between 192 and 255.

そして、特徴量抽出部114は、S31の処理において、例えば、第1正常分割画像132aごとに、第1区画、第2区画、第3区画及び第4区画のそれぞれに対応する画素数を輝度ヒストグラムに対応する特徴量を抽出する。 Then, in the processing of S31, the feature amount extraction unit 114 sets the number of pixels corresponding to each of the first section, the second section, the third section, and the fourth section for each first normal division image 132a as a luminance histogram. The feature amount corresponding to is extracted.

その後、パラメータ特定部115は、S32の処理において、例えば、図18(B)に示すように、第1区画の画素数のそれぞれに対応する第1正常分割画像132aの数を集計することによって、第1正常分割画像132aの輝度ヒストグラムについての分布を生成する。また、パラメータ特定部115は、S33の処理において、例えば、第1区画の画素数のそれぞれに対応する第2正常分割画像133aの数を集計することによって、第2正常分割画像133aの輝度ヒストグラムについての分布(図示しない)を生成する。 After that, in the process of S32, the parameter specifying unit 115 aggregates the number of the first normal division image 132a corresponding to each of the number of pixels in the first section, for example, as shown in FIG. 18B. A distribution for the luminance histogram of the first normally divided image 132a is generated. Further, in the process of S33, the parameter specifying unit 115 obtains the luminance histogram of the second normally divided image 133a by, for example, totaling the number of the second normally divided images 133a corresponding to each of the number of pixels in the first section. Generates a distribution of (not shown).

そして、パラメータ特定部115は、S34及びS35の処理において、第1正常分割画像132aの輝度ヒストグラムについての分布と、第2正常分割画像133aの輝度ヒストグラムについての分布とを用いることによって、第1パラメータの特定を行う。 Then, in the processing of S34 and S35, the parameter specifying unit 115 uses the distribution of the brightness histogram of the first normally divided image 132a and the distribution of the brightness histogram of the second normally divided image 133a to obtain the first parameter. To identify.

なお、パラメータ特定部115は、S31の処理において、例えば、図18(C)に示すように、第4区画の画素数のそれぞれに対応する第1正常分割画像132aの数を集計することによって、第1正常分割画像132aの輝度ヒストグラムについての分布についても生成するものであってもよい。 In the process of S31, the parameter specifying unit 115 counts the number of the first normally divided images 132a corresponding to each of the number of pixels in the fourth section, for example, as shown in FIG. 18C. The distribution of the luminance histogram of the first normally divided image 132a may also be generated.

そして、パラメータ特定部115は、S34及びS35の処理において、複数区画(例えば、第1区画及び第4区画)に対応する輝度ヒストグラムについての分布をそれぞれ用いることによって、第1パラメータの特定を行うものであってもよい。 Then, in the processing of S34 and S35, the parameter specifying unit 115 specifies the first parameter by using the distribution of the luminance histogram corresponding to the plurality of sections (for example, the first section and the fourth section), respectively. It may be.

具体的に、パラメータ特定部115は、例えば、複数区画に対応する分布のそれぞれについて形状の差を算出するものであってよい。そして、パラメータ特定部115は、例えば、複数区画に対応する形状の差のうちの少なくとも1つが所定条件を満たす場合、輝度ヒストグラムを第1パラメータとして特定するものであってよい。また、パラメータ特定部115は、この場合、例えば、輝度ヒストグラムのうち、形状の差が所定条件の満たす区画に対応する輝度ヒストグラムのみを第1パラメータとして特定するものであってもよい。 Specifically, the parameter specifying unit 115 may, for example, calculate the difference in shape for each of the distributions corresponding to the plurality of sections. Then, the parameter specifying unit 115 may specify the luminance histogram as the first parameter when, for example, at least one of the differences in shape corresponding to the plurality of sections satisfies a predetermined condition. Further, in this case, the parameter specifying unit 115 may specify, for example, only the luminance histogram corresponding to the section where the difference in shape satisfies the predetermined condition as the first parameter among the luminance histograms.

[勾配ヒストグラムに対応する分布の具体例]
次に、勾配ヒストグラムに対応する分布の具体例について説明を行う。図19は、勾配ヒストグラムに対応する分布の具体例を説明する図である。図19(A)は、第1正常分割画像132aごとの勾配ヒストグラムの具体例であり、図19(B)及び図19(C)は、図19(A)に示す勾配ヒストグラムに対応する分布の具体例である。
[Specific example of distribution corresponding to gradient histogram]
Next, a specific example of the distribution corresponding to the gradient histogram will be described. FIG. 19 is a diagram illustrating a specific example of the distribution corresponding to the gradient histogram. FIG. 19 (A) is a specific example of the gradient histogram for each of the first normal division images 132a, and FIGS. 19 (B) and 19 (C) show distributions corresponding to the gradient histogram shown in FIG. 19 (A). This is a specific example.

具体的に、図19(A)に示す輝度ヒストグラムは、輝度勾配が0°から45°までの間である画素数を示す区画(以下、第1区画とも呼ぶ)と、輝度勾配が46°から90°までの間である画素数を示す区画(以下、第2区画とも呼ぶ)と、輝度勾配が91°から135°までの間である画素数を示す区画(以下、第3区画とも呼ぶ)と、輝度勾配が136°から180°までの間である画素数を示す区画(以下、第4区画とも呼ぶ)とを含む。 Specifically, the luminance histogram shown in FIG. 19A shows a section showing the number of pixels in which the luminance gradient is between 0 ° and 45 ° (hereinafter, also referred to as the first section) and a luminance gradient from 46 °. A section showing the number of pixels between 90 ° (hereinafter, also referred to as a second section) and a section showing the number of pixels having a brightness gradient between 91 ° and 135 ° (hereinafter, also referred to as a third section). And a section (hereinafter, also referred to as a fourth section) indicating the number of pixels whose luminance gradient is between 136 ° and 180 °.

そして、特徴量抽出部114は、S31の処理において、例えば、第1正常分割画像132aごとに、第1区画、第2区画、第3区画及び第4区画のそれぞれに対応する画素数を勾配ヒストグラムに対応する特徴量を抽出する。 Then, in the processing of S31, the feature amount extraction unit 114 sets the number of pixels corresponding to each of the first section, the second section, the third section, and the fourth section for each first normal division image 132a as a gradient histogram. The feature amount corresponding to is extracted.

その後、パラメータ特定部115は、S32の処理において、例えば、図19(B)に示すように、第1区画の画素数のそれぞれに対応する第1正常分割画像132aの数を集計することによって、第1正常分割画像132aの勾配ヒストグラムについての分布を生成する。また、パラメータ特定部115は、S33の処理において、例えば、第1区画の画素数のそれぞれに対応する第2正常分割画像133aの数を集計することによって、第2正常分割画像133aの勾配ヒストグラムについての分布(図示しない)を生成する。 After that, in the process of S32, the parameter specifying unit 115 aggregates the number of the first normal division image 132a corresponding to each of the number of pixels in the first section, for example, as shown in FIG. 19B. A distribution for the gradient histogram of the first normally divided image 132a is generated. Further, in the process of S33, the parameter specifying unit 115 obtains the gradient histogram of the second normally divided image 133a by, for example, totaling the number of the second normally divided images 133a corresponding to each of the number of pixels in the first section. Generates a distribution of (not shown).

そして、パラメータ特定部115は、S34及びS35の処理において、第1正常分割画像132aの勾配ヒストグラムについての分布と、第2正常分割画像133aの勾配ヒストグラムについての分布とを用いることによって、第1パラメータの特定を行う。 Then, in the processing of S34 and S35, the parameter specifying unit 115 uses the distribution of the gradient histogram of the first normally divided image 132a and the distribution of the gradient histogram of the second normally divided image 133a to obtain the first parameter. To identify.

なお、パラメータ特定部115は、S31の処理において、例えば、図19(C)に示すように、第3区画の画素数のそれぞれに対応する第1正常分割画像132aの数を集計することによって、第1正常分割画像132aの勾配ヒストグラムについての分布についても生成するものであってもよい。 In the process of S31, the parameter specifying unit 115 counts the number of the first normally divided images 132a corresponding to each of the number of pixels in the third section, for example, as shown in FIG. 19C. The distribution of the gradient histogram of the first normally divided image 132a may also be generated.

そして、パラメータ特定部115は、図18で説明した場合と同様に、S34及びS35の処理において、複数区画(例えば、第1区画及び第3区画)に対応する勾配ヒストグラムについての分布をそれぞれ用いることによって、第1パラメータの特定を行うものであってもよい。 Then, the parameter specifying unit 115 uses the distribution for the gradient histogram corresponding to the plurality of partitions (for example, the first partition and the third partition) in the processing of S34 and S35, respectively, as in the case described with reference to FIG. May be used to specify the first parameter.

図10に戻り、特徴量抽出部114は、S22の処理で生成した複数の第1分割画像132から複数の第1異常分割画像132bを特定する(S41)。また、特徴量抽出部114は、S23の処理で生成した複数の第2分割画像133から複数の第2異常分割画像133bを特定する(S42)。 Returning to FIG. 10, the feature amount extraction unit 114 identifies a plurality of first abnormally divided images 132b from the plurality of first divided images 132 generated in the process of S22 (S41). In addition, the feature amount extraction unit 114 identifies a plurality of second abnormally divided images 133b from the plurality of second divided images 133 generated in the process of S23 (S42).

そして、特徴量抽出部114は、S41の処理等で特定した複数の第1異常分割画像132b及び複数の第2異常分割画像133bから、S35の処理で特定した第1パラメータに対応する特徴量を抽出する(S43)。 Then, the feature amount extraction unit 114 extracts the feature amount corresponding to the first parameter specified in the process of S35 from the plurality of first abnormally divided images 132b and the plurality of second abnormally divided images 133b specified in the process of S41 or the like. Extract (S43).

続いて、情報管理部112は、S31の処理において抽出した第1パラメータに対応する特徴量と、各画像が正常状態にあることを示す状態情報とを対応付けた複数の学習データと、S43の処理において抽出した第1パラメータに対応する特徴量と、各画像が異常状態にあることを示す状態情報とを対応付けた複数の学習データとを生成する(S44)。 Subsequently, the information management unit 112 includes a plurality of learning data in which the feature amount corresponding to the first parameter extracted in the process of S31 and the state information indicating that each image is in the normal state are associated with each other, and S43. A plurality of learning data in which the feature amount corresponding to the first parameter extracted in the process and the state information indicating that each image is in an abnormal state are associated with each other are generated (S44).

すなわち、情報管理部112は、S31の処理において複数の第1正常分割画像132a及び複数の第2正常分割画像133aのそれぞれから抽出した第1パラメータに対応する特徴量と、各画像が正常状態にあることを示す状態情報とを対応付けた複数の学習データを生成する。また、情報管理部112は、S43の処理において複数の第1異常分割画像132b及び複数の第2異常分割画像133bのそれぞれから抽出した第1パラメータに対応する特徴量と、各画像が異常状態にあることを示す状態情報とをそれぞれ対応付けた複数の学習データを生成する。 That is, the information management unit 112 brings the feature amounts corresponding to the first parameters extracted from each of the plurality of first normal division images 132a and the plurality of second normal division images 133a in the processing of S31, and each image into a normal state. Generate a plurality of training data associated with the state information indicating that there is. In addition, the information management unit 112 sets the feature amount corresponding to the first parameter extracted from each of the plurality of first abnormally divided images 132b and the plurality of second abnormally divided images 133b in the processing of S43, and each image into an abnormal state. A plurality of learning data associated with the state information indicating the existence are generated.

その後、情報処理装置1の機械学習実行部116は、S44の処理で生成した複数の学習データを用いた機械学習を行うことによって学習モデル134を生成する(S45)。そして、情報処理装置1は、機械学習処理を終了する。 After that, the machine learning execution unit 116 of the information processing apparatus 1 generates the learning model 134 by performing machine learning using the plurality of learning data generated in the process of S44 (S45). Then, the information processing device 1 ends the machine learning process.

すなわち、情報処理装置1は、第1分割画像132及び第2分割画像133から特徴量の抽出を行うことができるパラメータのうち、欠陥のサイズに依存しない特徴量に対応する第1パラメータを特定する。そして、情報処理装置1は、特定した第1パラメータに対応する特徴量を用いることによって機械学習を行う。 That is, the information processing apparatus 1 specifies the first parameter corresponding to the feature amount that does not depend on the size of the defect, among the parameters that can extract the feature amount from the first divided image 132 and the second divided image 133. .. Then, the information processing device 1 performs machine learning by using the feature amount corresponding to the specified first parameter.

これにより、情報処理装置1は、生成された学習モデル134を用いることで、図20に示すように、十分な数の学習画像131が用意されなかったサイズの欠陥についても精度良く特定することが可能になる。そのため、情報処理装置1は、検査画像に対応する部品に欠陥が含まれているか否かの判定を精度良く行うことが可能になる。 As a result, the information processing apparatus 1 can accurately identify defects of a size for which a sufficient number of training images 131 have not been prepared, as shown in FIG. 20, by using the generated learning model 134. It will be possible. Therefore, the information processing apparatus 1 can accurately determine whether or not the component corresponding to the inspection image contains a defect.

なお、パラメータ特定部115は、S34及びS35の処理において、例えば、S31の処理で特徴量の抽出を行ったパラメータごとに、各パラメータに対応する分布のヒストグラムにおける区画ごとのサンプル数を特定し、区画の数を次元とするサンプル数のベクトルを作成するものであってもよい。そして、パラメータ特定部115は、例えば、各パラメータに対応するベクトル間のコサイン類似度を算出することによって、第1パラメータの特定を行うものであってもよい。また、パラメータ特定部115は、例えば、各パラメータに対応するベクトル間のヒストグラム交差法による類似度を算出することによって、第1パラメータの特定を行うものであってもよい。 In the processing of S34 and S35, for example, the parameter specifying unit 115 specifies the number of samples for each section in the histogram of the distribution corresponding to each parameter for each parameter for which the feature amount is extracted in the processing of S31. It may create a vector of the number of samples whose dimension is the number of partitions. Then, the parameter specifying unit 115 may specify the first parameter by, for example, calculating the cosine similarity between the vectors corresponding to each parameter. Further, the parameter specifying unit 115 may specify the first parameter by, for example, calculating the similarity between the vectors corresponding to each parameter by the histogram intersection method.

[異常特定処理]
次に、欠陥を含む部品についての検査画像を特定する処理(以下、異常特定処理とも呼ぶ)について説明を行う。図12及び図13は、異常特定処理を説明するフローチャート図である。
[Abnormality identification processing]
Next, a process for identifying an inspection image of a part containing a defect (hereinafter, also referred to as an abnormality identification process) will be described. 12 and 13 are flowcharts illustrating the abnormality identification process.

情報受信部111は、検査画像(新たな画像)を受信するまで待機する(S51のNO)。具体的に、情報受信部111は、操作端末5から検査画像が送信されるまで待機する。 The information receiving unit 111 waits until the inspection image (new image) is received (NO in S51). Specifically, the information receiving unit 111 waits until the inspection image is transmitted from the operation terminal 5.

そして、検査画像を受信した場合(S51のYES)、分割画像生成部113は、S51の処理で受信した検査画像を所定のサイズごとに分割することによって分割画像を生成する(S52)。この場合、分割画像生成部113は、例えば、S24の処理において用いた第1サイズとS25の処理において用いた第2サイズとの相乗平均を所定のサイズとして用いるものであってよい。 Then, when the inspection image is received (YES in S51), the divided image generation unit 113 generates the divided image by dividing the inspection image received in the process of S51 into predetermined sizes (S52). In this case, the divided image generation unit 113 may use, for example, the geometric mean of the first size used in the processing of S24 and the second size used in the processing of S25 as a predetermined size.

続いて、特徴量抽出部114は、S52の処理で生成した分割画像から、S35の処理で特定した第1パラメータに対応する特徴量を抽出する(S53)。 Subsequently, the feature amount extraction unit 114 extracts the feature amount corresponding to the first parameter specified in the process of S35 from the divided image generated in the process of S52 (S53).

その後、スコア取得部117は、S52の処理で生成した分割画像ごとに、S53の処理で抽出した第1パラメータに対応する特徴量の入力に伴って学習モデル134から出力されるスコアを取得する(S54)。 After that, the score acquisition unit 117 acquires the score output from the learning model 134 with the input of the feature amount corresponding to the first parameter extracted in the process of S53 for each divided image generated in the process of S52 (. S54).

そして、情報処理装置1の異常判定部118は、図13に示すように、S54の処理で取得したスコアから閾値以下のスコアを特定する(S61)。 Then, as shown in FIG. 13, the abnormality determination unit 118 of the information processing apparatus 1 identifies a score below the threshold value from the score acquired in the process of S54 (S61).

その結果、閾値以下のスコアが存在すると判定した場合(S62のYES)、異常判定部118は、S52の処理で生成した分割画像のうち、S61の処理で特定したスコアに対応する分割画像が異常状態にあると判定する(S63)。 As a result, when it is determined that a score equal to or lower than the threshold value exists (YES in S62), the abnormality determination unit 118 abnormalizes the divided image corresponding to the score specified in the processing of S61 among the divided images generated in the processing of S52. It is determined that the state is present (S63).

また、異常判定部118は、この場合、S51の処理で受信した検査画像が異常状態にあると判定する(S64)。すなわち、異常判定部118は、S51の処理で受信した検査画像に対応する部品に欠陥が含まれていると判定する。 Further, in this case, the abnormality determination unit 118 determines that the inspection image received in the process of S51 is in an abnormal state (S64). That is, the abnormality determination unit 118 determines that the component corresponding to the inspection image received in the process of S51 contains a defect.

その後、情報処理装置1の情報出力部119は、例えば、S51の処理で受信した検査画像が異常状態にあることを示す情報を操作端末5に出力する(S64)。 After that, the information output unit 119 of the information processing device 1 outputs, for example, information indicating that the inspection image received in the process of S51 is in an abnormal state to the operation terminal 5 (S64).

そして、情報処理装置1は、異常特定処理を終了する。なお、情報処理装置1は、例えば、S62の処理において、閾値以下のスコアが存在しないと判定した場合についても同様に(S62のNO)、異常特定処理を終了する。 Then, the information processing device 1 ends the abnormality identification process. The information processing device 1 also ends the abnormality identification process in the same manner (NO in S62) even when it is determined that there is no score equal to or lower than the threshold value in the process of S62.

これにより、情報処理装置1は、検査画像に対応する部品に欠陥が含まれているか否かの判定を精度良く行うことが可能になる。 As a result, the information processing apparatus 1 can accurately determine whether or not the component corresponding to the inspection image contains a defect.

以上の実施の形態をまとめると、以下の付記のとおりである。 The above embodiments can be summarized as follows.

(付記1)
複数の学習画像の機械学習を行う複数の情報処理装置を有する画像検査システムであって、
前記複数の情報処理装置のそれぞれは、
前記複数の学習画像を第1サイズごとに分割することによって複数の第1分割画像を生成し、前記複数の学習画像を前記第1サイズと異なる第2サイズごとに分割することによって複数の第2分割画像を生成する分割画像生成部と、
前記複数の第1分割画像のうちの正常状態に対応する複数の第1正常分割画像と、前記複数の第2分割画像のうちの正常状態に対応する複数の第2正常分割画像とのそれぞれから、複数種類のパラメータに対応する特徴量をそれぞれ抽出する特徴量抽出部と、
前記複数種類のパラメータから、前記複数の第1正常分割画像と前記複数の第2正常分割画像との間における前記特徴量の類似関係が所定の条件を満たす第1パラメータを特定するパラメータ特定部と、
特定した前記第1パラメータに対応する特徴量を用いることによって、前記複数の第1分割画像及び前記複数の第2分割画像の機械学習を行う機械学習実行部と、を有する、
ことを特徴とする画像検査システム。
(Appendix 1)
An image inspection system having a plurality of information processing devices that perform machine learning of a plurality of learning images.
Each of the plurality of information processing devices
A plurality of first divided images are generated by dividing the plurality of training images into each first size, and a plurality of second by dividing the plurality of learning images into second sizes different from the first size. A split image generator that generates split images,
From each of the plurality of first normally divided images corresponding to the normal state of the plurality of first divided images and the plurality of second normally divided images corresponding to the normal state of the plurality of second divided images. , A feature amount extraction unit that extracts feature amounts corresponding to multiple types of parameters,
From the plurality of types of parameters, a parameter specifying unit that specifies a first parameter in which the similarity relationship between the plurality of first normal divided images and the plurality of second normally divided images satisfies a predetermined condition. ,
It has a machine learning execution unit that performs machine learning of the plurality of first divided images and the plurality of second divided images by using the feature amount corresponding to the specified first parameter.
An image inspection system characterized by that.

(付記2)
付記1において、
前記特徴量抽出部は、前記複数の第1分割画像のうちの異常状態に対応する複数の第1異常分割画像と、前記複数の第2分割画像のうちの異常状態に対応する複数の第2異常分割画像とのそれぞれから、前記第1パラメータに対応する特徴量をそれぞれ抽出し、
前記機械学習実行部は、前記複数の第1正常分割画像及び前記複数の第2正常分割画像のそれぞれから抽出した前記第1パラメータに対応する特徴量と、各画像が正常状態にあることを示す状態情報とをそれぞれ対応付けた複数の学習データと、前記複数の第1異常分割画像及び前記複数の第2異常分割画像のそれぞれから抽出した前記第1パラメータに対応する特徴量と、各画像が異常状態にあることを示す状態情報とをそれぞれ対応付けた複数の学習データとの機械学習を行う、
ことを特徴とする画像検査システム。
(Appendix 2)
In Appendix 1,
The feature amount extraction unit includes a plurality of first abnormally divided images corresponding to the abnormal state of the plurality of first divided images, and a plurality of second images corresponding to the abnormal state of the plurality of second divided images. The feature quantities corresponding to the first parameter are extracted from each of the abnormally divided images.
The machine learning execution unit indicates that the feature quantities corresponding to the first parameter extracted from each of the plurality of first normal division images and the plurality of second normal division images and that each image is in a normal state. Each image includes a plurality of learning data associated with state information, a feature amount corresponding to the first parameter extracted from each of the plurality of first abnormally divided images and the plurality of second abnormally divided images, and each image. Machine learning is performed with a plurality of learning data associated with state information indicating that the state is abnormal.
An image inspection system characterized by that.

(付記3)
付記1において、
前記パラメータ特定部は、前記複数の第1正常分割画像と前記複数の第2正常分割画像との間における分布の形状の差が所定条件を満たす特徴量に対応するパラメータを前記第1パラメータとして特定する、
ことを特徴とする画像検査システム。
(Appendix 3)
In Appendix 1,
The parameter specifying unit specifies as the first parameter a parameter corresponding to a feature amount in which the difference in the shape of distribution between the plurality of first normal divided images and the plurality of second normally divided images satisfies a predetermined condition. To do,
An image inspection system characterized by that.

(付記4)
付記3において、
前記パラメータ特定部は、前記複数の第1正常分割画像と前記複数の第2正常分割画像との間における分布の中心の差が閾値以下である特徴量に対応するパラメータを前記第1パラメータとして特定する、
ことを特徴とする画像検査システム。
(Appendix 4)
In Appendix 3,
The parameter specifying unit specifies as the first parameter a parameter corresponding to a feature amount in which the difference in the center of distribution between the plurality of first normal divided images and the plurality of second normally divided images is equal to or less than a threshold value. To do,
An image inspection system characterized by that.

(付記5)
付記3において、
前記パラメータ特定部は、前記複数の第1正常分割画像と前記複数の第2正常分割画像との間における分布の幅の差が閾値以下である特徴量に対応するパラメータを前記第1パラメータとして特定する、
ことを特徴とする画像検査システム。
(Appendix 5)
In Appendix 3,
The parameter specifying unit specifies as the first parameter a parameter corresponding to a feature amount in which the difference in the width of the distribution between the plurality of first normal divided images and the plurality of second normally divided images is equal to or less than a threshold value. To do,
An image inspection system characterized by that.

(付記6)
付記2において、
前記機械学習実行部は、前記機械学習を行うことによって学習モデルを生成し、
前記分割画像生成部は、新たな画像を受け付けた場合、前記新たな画像を所定のサイズごとに分割することによって複数の分割画像を生成し、
前記特徴量抽出部は、前記複数の分割画像から前記第1パラメータに対応する特徴量をそれぞれ抽出し、さらに、
前記複数の情報処理装置のそれぞれは、
前記複数の分割画像ごとに、前記第1パラメータに対応する特徴量の入力に伴って前記学習モデルから出力されるスコアを取得するスコア取得部と、
前記複数の分割画像のうち、取得した前記スコアが閾値以下である分割画像が異常状態にあると判定する異常判定部と、を有する、
ことを特徴とする画像検査システム。
(Appendix 6)
In Appendix 2,
The machine learning execution unit generates a learning model by performing the machine learning,
When a new image is received, the divided image generation unit generates a plurality of divided images by dividing the new image into predetermined sizes.
The feature amount extraction unit extracts each feature amount corresponding to the first parameter from the plurality of divided images, and further
Each of the plurality of information processing devices
A score acquisition unit that acquires a score output from the learning model with the input of a feature amount corresponding to the first parameter for each of the plurality of divided images.
Among the plurality of divided images, the divided image having the acquired score equal to or lower than the threshold value has an abnormality determining unit for determining that the divided image is in an abnormal state.
An image inspection system characterized by that.

(付記7)
付記6において、さらに、
前記複数の情報処理装置のそれぞれは、
前記異常状態にある分割画像が前記複数の分割画像に含まれていると判定した場合、前記新たな画像が異常状態にあることを示す情報を出力する情報出力部を有する、
ことを特徴とする画像検査システム。
(Appendix 7)
In Appendix 6, further
Each of the plurality of information processing devices
When it is determined that the divided image in the abnormal state is included in the plurality of divided images, it has an information output unit that outputs information indicating that the new image is in the abnormal state.
An image inspection system characterized by that.

(付記8)
複数の学習画像を第1サイズごとに分割することによって複数の第1分割画像を生成し、前記複数の学習画像を前記第1サイズと異なる第2サイズごとに分割することによって複数の第2分割画像を生成する分割画像生成部と、
前記複数の第1分割画像のうちの正常状態に対応する複数の第1正常分割画像と、前記複数の第2分割画像のうちの正常状態に対応する複数の第2正常分割画像とのそれぞれから、複数種類のパラメータに対応する特徴量をそれぞれ抽出する特徴量抽出部と、
前記複数種類のパラメータから、前記複数の第1正常分割画像と前記複数の第2正常分割画像との間における前記特徴量の類似関係が所定の条件を満たす第1パラメータを特定するパラメータ特定部と、
特定した前記第1パラメータに対応する特徴量を用いることによって、前記複数の第1分割画像及び前記複数の第2分割画像の機械学習を行う機械学習実行部と、を有する、
ことを特徴とする画像検査装置。
(Appendix 8)
A plurality of first divided images are generated by dividing a plurality of training images into each first size, and a plurality of second divisions are performed by dividing the plurality of training images into second sizes different from the first size. A split image generator that generates an image and
From each of the plurality of first normally divided images corresponding to the normal state of the plurality of first divided images and the plurality of second normally divided images corresponding to the normal state of the plurality of second divided images. , A feature amount extraction unit that extracts feature amounts corresponding to multiple types of parameters,
From the plurality of types of parameters, a parameter specifying unit that specifies a first parameter in which the similarity relationship between the plurality of first normal divided images and the plurality of second normally divided images satisfies a predetermined condition. ,
It has a machine learning execution unit that performs machine learning of the plurality of first divided images and the plurality of second divided images by using the feature amount corresponding to the specified first parameter.
An image inspection device characterized in that.

(付記9)
付記8において、
前記特徴量抽出部は、前記複数の第1分割画像のうちの異常状態に対応する複数の第1異常分割画像と、前記複数の第2分割画像のうちの異常状態に対応する複数の第2異常分割画像とのそれぞれから、前記第1パラメータに対応する特徴量をそれぞれ抽出し、
前記機械学習実行部は、前記複数の第1正常分割画像及び前記複数の第2正常分割画像のそれぞれから抽出した前記第1パラメータに対応する特徴量と、各画像が正常状態にあることを示す状態情報とをそれぞれ対応付けた複数の学習データと、前記複数の第1異常分割画像及び前記複数の第2異常分割画像のそれぞれから抽出した前記第1パラメータに対応する特徴量と、各画像が異常状態にあることを示す状態情報とをそれぞれ対応付けた複数の学習データとの機械学習を行う、
ことを特徴とする画像検査装置。
(Appendix 9)
In Appendix 8,
The feature amount extraction unit includes a plurality of first abnormally divided images corresponding to the abnormal state of the plurality of first divided images, and a plurality of second images corresponding to the abnormal state of the plurality of second divided images. The feature quantities corresponding to the first parameter are extracted from each of the abnormally divided images.
The machine learning execution unit indicates that the feature quantities corresponding to the first parameter extracted from each of the plurality of first normal division images and the plurality of second normal division images and that each image is in a normal state. Each image includes a plurality of learning data associated with state information, a feature amount corresponding to the first parameter extracted from each of the plurality of first abnormally divided images and the plurality of second abnormally divided images, and each image. Machine learning is performed with a plurality of learning data associated with state information indicating that the state is abnormal.
An image inspection device characterized in that.

(付記10)
付記9において、
前記機械学習実行部は、前記機械学習を行うことによって学習モデルを生成し、
前記分割画像生成部は、新たな画像を受け付けた場合、前記新たな画像を所定のサイズごとに分割することによって複数の分割画像を生成し、
前記特徴量抽出部は、前記複数の分割画像から前記第1パラメータに対応する特徴量をそれぞれ抽出し、さらに、
前記複数の分割画像ごとに、前記第1パラメータに対応する特徴量の入力に伴って前記学習モデルから出力されるスコアを取得するスコア取得部と、
前記複数の分割画像のうち、取得した前記スコアが閾値以下である分割画像が異常状態にあると判定する異常判定部と、を有する、
ことを特徴とする画像検査装置。
(Appendix 10)
In Appendix 9,
The machine learning execution unit generates a learning model by performing the machine learning,
When a new image is received, the divided image generation unit generates a plurality of divided images by dividing the new image into predetermined sizes.
The feature amount extraction unit extracts each feature amount corresponding to the first parameter from the plurality of divided images, and further
A score acquisition unit that acquires a score output from the learning model with the input of a feature amount corresponding to the first parameter for each of the plurality of divided images.
Among the plurality of divided images, the divided image having the acquired score equal to or lower than the threshold value has an abnormality determining unit for determining that the divided image is in an abnormal state.
An image inspection device characterized in that.

(付記11)
複数の学習画像を第1サイズごとに分割することによって複数の第1分割画像を生成し、前記複数の学習画像を前記第1サイズと異なる第2サイズごとに分割することによって複数の第2分割画像を生成し、
前記複数の第1分割画像のうちの正常状態に対応する複数の第1正常分割画像と、前記複数の第2分割画像のうちの正常状態に対応する複数の第2正常分割画像とのそれぞれから、複数種類のパラメータに対応する特徴量をそれぞれ抽出し、
前記複数種類のパラメータから、前記複数の第1正常分割画像と前記複数の第2正常分割画像との間における前記特徴量の類似関係が所定の条件を満たす第1パラメータを特定し、
特定した前記第1パラメータに対応する特徴量を用いることによって、前記複数の第1分割画像及び前記複数の第2分割画像の機械学習を行う、
処理をコンピュータに実行させることを特徴とする画像検査プログラム。
(Appendix 11)
A plurality of first divided images are generated by dividing a plurality of training images into each first size, and a plurality of second divisions are performed by dividing the plurality of training images into second sizes different from the first size. Generate an image and
From each of the plurality of first normally divided images corresponding to the normal state of the plurality of first divided images and the plurality of second normally divided images corresponding to the normal state of the plurality of second divided images. , Extract the features corresponding to multiple types of parameters
From the plurality of types of parameters, a first parameter is specified in which the similarity relationship between the plurality of first normal division images and the plurality of second normal division images satisfies a predetermined condition.
By using the feature quantity corresponding to the specified first parameter, machine learning of the plurality of first divided images and the plurality of second divided images is performed.
An image inspection program characterized by having a computer perform processing.

(付記12)
付記11において、さらに、
前記複数の第1分割画像のうちの異常状態に対応する複数の第1異常分割画像と、前記複数の第2分割画像のうちの異常状態に対応する複数の第2異常分割画像とのそれぞれから、前記第1パラメータに対応する特徴量をそれぞれ抽出する、
処理をコンピュータに実行させ、
前記機械学習を行う処理では、前記複数の第1正常分割画像及び前記複数の第2正常分割画像のそれぞれから抽出した前記第1パラメータに対応する特徴量と、各画像が正常状態にあることを示す状態情報とをそれぞれ対応付けた複数の学習データと、前記複数の第1異常分割画像及び前記複数の第2異常分割画像のそれぞれから抽出した前記第1パラメータに対応する特徴量と、各画像が異常状態にあることを示す状態情報とをそれぞれ対応付けた複数の学習データとの機械学習を行う、
ことを特徴とする画像検査プログラム。
(Appendix 12)
In Appendix 11, further
From each of the plurality of first abnormally divided images corresponding to the abnormal state of the plurality of first divided images and the plurality of second abnormally divided images corresponding to the abnormal state of the plurality of second divided images. , Each feature quantity corresponding to the first parameter is extracted.
Let the computer do the work
In the process of performing machine learning, the feature amount corresponding to the first parameter extracted from each of the plurality of first normal division images and the plurality of second normal division images, and the fact that each image is in a normal state. A plurality of learning data associated with the indicated state information, a feature amount corresponding to the first parameter extracted from each of the plurality of first abnormally divided images and the plurality of second abnormally divided images, and each image. Performs machine learning with a plurality of training data associated with state information indicating that is in an abnormal state.
An image inspection program characterized by that.

(付記13)
付記12において、
前記機械学習を行う処理では、前記機械学習を行うことによって学習モデルを生成し、さらに、
新たな画像を受け付けた場合、前記新たな画像を所定のサイズごとに分割することによって複数の分割画像を生成し、
前記複数の分割画像から前記第1パラメータに対応する特徴量をそれぞれ抽出し、
前記複数の分割画像ごとに、前記第1パラメータに対応する特徴量の入力に伴って前記学習モデルから出力されるスコアを取得し、
前記複数の分割画像のうち、取得した前記スコアが閾値以下である分割画像が異常状態にあると判定する、
処理をコンピュータに実行させることを特徴とする画像検査プログラム。
(Appendix 13)
In Appendix 12,
In the process of performing machine learning, a learning model is generated by performing the machine learning, and further,
When a new image is received, a plurality of divided images are generated by dividing the new image into predetermined sizes.
The feature quantities corresponding to the first parameter are extracted from the plurality of divided images, respectively.
For each of the plurality of divided images, a score output from the learning model is acquired with the input of the feature amount corresponding to the first parameter.
Among the plurality of divided images, it is determined that the divided image whose score is equal to or less than the threshold value is in an abnormal state.
An image inspection program characterized by having a computer perform processing.

1:情報処理装置 5:操作端末
NW:ネットワーク 10:情報処理システム
1: Information processing device 5: Operation terminal NW: Network 10: Information processing system

Claims (9)

複数の学習画像の機械学習を行う複数の情報処理装置を有する画像検査システムであって、
前記複数の情報処理装置のそれぞれは、
前記複数の学習画像を第1サイズごとに分割することによって複数の第1分割画像を生成し、前記複数の学習画像を前記第1サイズと異なる第2サイズごとに分割することによって複数の第2分割画像を生成する分割画像生成部と、
前記複数の第1分割画像のうちの正常状態に対応する複数の第1正常分割画像と、前記複数の第2分割画像のうちの正常状態に対応する複数の第2正常分割画像とのそれぞれから、複数種類のパラメータに対応する特徴量をそれぞれ抽出する特徴量抽出部と、
前記複数種類のパラメータから、前記複数の第1正常分割画像と前記複数の第2正常分割画像との間における前記特徴量の類似関係が所定の条件を満たす第1パラメータを特定するパラメータ特定部と、
特定した前記第1パラメータに対応する特徴量を用いることによって、前記複数の第1分割画像及び前記複数の第2分割画像の機械学習を行う機械学習実行部と、を有する、
ことを特徴とする画像検査システム。
An image inspection system having a plurality of information processing devices that perform machine learning of a plurality of learning images.
Each of the plurality of information processing devices
A plurality of first divided images are generated by dividing the plurality of training images into each first size, and a plurality of second by dividing the plurality of learning images into second sizes different from the first size. A split image generator that generates split images,
From each of the plurality of first normally divided images corresponding to the normal state of the plurality of first divided images and the plurality of second normally divided images corresponding to the normal state of the plurality of second divided images. , A feature amount extraction unit that extracts feature amounts corresponding to multiple types of parameters,
From the plurality of types of parameters, a parameter specifying unit that specifies a first parameter in which the similarity relationship between the plurality of first normal divided images and the plurality of second normally divided images satisfies a predetermined condition. ,
It has a machine learning execution unit that performs machine learning of the plurality of first divided images and the plurality of second divided images by using the feature amount corresponding to the specified first parameter.
An image inspection system characterized by that.
請求項1において、
前記特徴量抽出部は、前記複数の第1分割画像のうちの異常状態に対応する複数の第1異常分割画像と、前記複数の第2分割画像のうちの異常状態に対応する複数の第2異常分割画像とのそれぞれから、前記第1パラメータに対応する特徴量をそれぞれ抽出し、
前記機械学習実行部は、前記複数の第1正常分割画像及び前記複数の第2正常分割画像のそれぞれから抽出した前記第1パラメータに対応する特徴量と、各画像が正常状態にあることを示す状態情報とをそれぞれ対応付けた複数の学習データと、前記複数の第1異常分割画像及び前記複数の第2異常分割画像のそれぞれから抽出した前記第1パラメータに対応する特徴量と、各画像が異常状態にあることを示す状態情報とをそれぞれ対応付けた複数の学習データとの機械学習を行う、
ことを特徴とする画像検査システム。
In claim 1,
The feature amount extraction unit includes a plurality of first abnormally divided images corresponding to the abnormal state of the plurality of first divided images, and a plurality of second images corresponding to the abnormal state of the plurality of second divided images. The feature quantities corresponding to the first parameter are extracted from each of the abnormally divided images.
The machine learning execution unit indicates that the feature quantities corresponding to the first parameter extracted from each of the plurality of first normal division images and the plurality of second normal division images and that each image is in a normal state. Each image includes a plurality of learning data associated with state information, a feature amount corresponding to the first parameter extracted from each of the plurality of first abnormally divided images and the plurality of second abnormally divided images, and each image. Machine learning is performed with a plurality of learning data associated with state information indicating that the state is abnormal.
An image inspection system characterized by that.
請求項1において、
前記パラメータ特定部は、前記複数の第1正常分割画像と前記複数の第2正常分割画像との間における分布の形状の差が所定条件を満たす特徴量に対応するパラメータを前記第1パラメータとして特定する、
ことを特徴とする画像検査システム。
In claim 1,
The parameter specifying unit specifies as the first parameter a parameter corresponding to a feature amount in which the difference in the shape of distribution between the plurality of first normal divided images and the plurality of second normally divided images satisfies a predetermined condition. To do,
An image inspection system characterized by that.
請求項3において、
前記パラメータ特定部は、前記複数の第1正常分割画像と前記複数の第2正常分割画像との間における分布の中心の差が閾値以下である特徴量に対応するパラメータを前記第1パラメータとして特定する、
ことを特徴とする画像検査システム。
In claim 3,
The parameter specifying unit specifies as the first parameter a parameter corresponding to a feature amount in which the difference in the center of distribution between the plurality of first normal divided images and the plurality of second normally divided images is equal to or less than a threshold value. To do,
An image inspection system characterized by that.
請求項3において、
前記パラメータ特定部は、前記複数の第1正常分割画像と前記複数の第2正常分割画像との間における分布の幅の差が閾値以下である特徴量に対応するパラメータを前記第1パラメータとして特定する、
ことを特徴とする画像検査システム。
In claim 3,
The parameter specifying unit specifies as the first parameter a parameter corresponding to a feature amount in which the difference in the width of the distribution between the plurality of first normal divided images and the plurality of second normally divided images is equal to or less than a threshold value. To do,
An image inspection system characterized by that.
請求項2において、
前記機械学習実行部は、前記機械学習を行うことによって学習モデルを生成し、
前記分割画像生成部は、新たな画像を受け付けた場合、前記新たな画像を所定のサイズごとに分割することによって複数の分割画像を生成し、
前記特徴量抽出部は、前記複数の分割画像から前記第1パラメータに対応する特徴量をそれぞれ抽出し、さらに、
前記複数の情報処理装置のそれぞれは、
前記複数の分割画像ごとに、前記第1パラメータに対応する特徴量の入力に伴って前記学習モデルから出力されるスコアを取得するスコア取得部と、
前記複数の分割画像のうち、取得した前記スコアが閾値以下である分割画像が異常状態にあると判定する異常判定部と、を有する、
ことを特徴とする画像検査システム。
In claim 2,
The machine learning execution unit generates a learning model by performing the machine learning,
When a new image is received, the divided image generation unit generates a plurality of divided images by dividing the new image into predetermined sizes.
The feature amount extraction unit extracts each feature amount corresponding to the first parameter from the plurality of divided images, and further
Each of the plurality of information processing devices
A score acquisition unit that acquires a score output from the learning model in response to input of a feature amount corresponding to the first parameter for each of the plurality of divided images.
Among the plurality of divided images, the divided image having the acquired score equal to or lower than the threshold value has an abnormality determining unit for determining that the divided image is in an abnormal state.
An image inspection system characterized by that.
請求項6において、さらに、
前記複数の情報処理装置のそれぞれは、
前記異常状態にある分割画像が前記複数の分割画像に含まれていると判定した場合、前記新たな画像が異常状態にあることを示す情報を出力する情報出力部を有する、
ことを特徴とする画像検査システム。
In claim 6, further
Each of the plurality of information processing devices
When it is determined that the divided image in the abnormal state is included in the plurality of divided images, it has an information output unit that outputs information indicating that the new image is in the abnormal state.
An image inspection system characterized by that.
複数の学習画像を第1サイズごとに分割することによって複数の第1分割画像を生成し、前記複数の学習画像を前記第1サイズと異なる第2サイズごとに分割することによって複数の第2分割画像を生成する分割画像生成部と、
前記複数の第1分割画像のうちの正常状態に対応する複数の第1正常分割画像と、前記複数の第2分割画像のうちの正常状態に対応する複数の第2正常分割画像とのそれぞれから、複数種類のパラメータに対応する特徴量をそれぞれ抽出する特徴量抽出部と、
前記複数種類のパラメータから、前記複数の第1正常分割画像と前記複数の第2正常分割画像との間における前記特徴量の類似関係が所定の条件を満たす第1パラメータを特定するパラメータ特定部と、
特定した前記第1パラメータに対応する特徴量を用いることによって、前記複数の第1分割画像及び前記複数の第2分割画像の機械学習を行う機械学習実行部と、を有する、
ことを特徴とする画像検査装置。
A plurality of first divided images are generated by dividing a plurality of training images into each first size, and a plurality of second divisions are performed by dividing the plurality of training images into second sizes different from the first size. A split image generator that generates an image and
From each of the plurality of first normally divided images corresponding to the normal state of the plurality of first divided images and the plurality of second normally divided images corresponding to the normal state of the plurality of second divided images. , A feature amount extraction unit that extracts feature amounts corresponding to multiple types of parameters,
From the plurality of types of parameters, a parameter specifying unit that specifies a first parameter in which the similarity relationship between the plurality of first normal divided images and the plurality of second normally divided images satisfies a predetermined condition. ,
It has a machine learning execution unit that performs machine learning of the plurality of first divided images and the plurality of second divided images by using the feature amount corresponding to the specified first parameter.
An image inspection device characterized in that.
複数の学習画像を第1サイズごとに分割することによって複数の第1分割画像を生成し、前記複数の学習画像を前記第1サイズと異なる第2サイズごとに分割することによって複数の第2分割画像を生成し、
前記複数の第1分割画像のうちの正常状態に対応する複数の第1正常分割画像と、前記複数の第2分割画像のうちの正常状態に対応する複数の第2正常分割画像とのそれぞれから、複数種類のパラメータに対応する特徴量をそれぞれ抽出し、
前記複数種類のパラメータから、前記複数の第1正常分割画像と前記複数の第2正常分割画像との間における前記特徴量の類似関係が所定の条件を満たす第1パラメータを特定し、
特定した前記第1パラメータに対応する特徴量を用いることによって、前記複数の第1分割画像及び前記複数の第2分割画像の機械学習を行う、
処理をコンピュータに実行させることを特徴とする画像検査プログラム。
A plurality of first divided images are generated by dividing a plurality of training images into each first size, and a plurality of second divisions are performed by dividing the plurality of training images into second sizes different from the first size. Generate an image and
From each of the plurality of first normally divided images corresponding to the normal state of the plurality of first divided images and the plurality of second normally divided images corresponding to the normal state of the plurality of second divided images. , Extract the features corresponding to multiple types of parameters
From the plurality of types of parameters, a first parameter is specified in which the similarity relationship between the plurality of first normal division images and the plurality of second normal division images satisfies a predetermined condition.
Machine learning of the plurality of first-divided images and the plurality of second-divided images is performed by using the feature quantities corresponding to the specified first parameter.
An image inspection program characterized by having a computer perform processing.
JP2019074235A 2019-04-09 2019-04-09 Image inspection system, image inspection device and image inspection program Active JP7239824B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019074235A JP7239824B2 (en) 2019-04-09 2019-04-09 Image inspection system, image inspection device and image inspection program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019074235A JP7239824B2 (en) 2019-04-09 2019-04-09 Image inspection system, image inspection device and image inspection program

Publications (2)

Publication Number Publication Date
JP2020173547A true JP2020173547A (en) 2020-10-22
JP7239824B2 JP7239824B2 (en) 2023-03-15

Family

ID=72831449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019074235A Active JP7239824B2 (en) 2019-04-09 2019-04-09 Image inspection system, image inspection device and image inspection program

Country Status (1)

Country Link
JP (1) JP7239824B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023095520A1 (en) * 2021-11-29 2023-06-01 富士フイルム株式会社 Training data generation device, training data generation method, program, and defect inspection device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004038885A (en) * 2002-07-08 2004-02-05 Adoin Kenkyusho:Kk Image feature learning type defect detection method, defect detection device and defect detection program
JP2016114592A (en) * 2014-12-12 2016-06-23 キヤノン株式会社 Information processing device, information processing method, and program
JP2017211259A (en) * 2016-05-25 2017-11-30 株式会社シーイーシー Inspection device, inspection method and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004038885A (en) * 2002-07-08 2004-02-05 Adoin Kenkyusho:Kk Image feature learning type defect detection method, defect detection device and defect detection program
JP2016114592A (en) * 2014-12-12 2016-06-23 キヤノン株式会社 Information processing device, information processing method, and program
JP2017211259A (en) * 2016-05-25 2017-11-30 株式会社シーイーシー Inspection device, inspection method and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023095520A1 (en) * 2021-11-29 2023-06-01 富士フイルム株式会社 Training data generation device, training data generation method, program, and defect inspection device

Also Published As

Publication number Publication date
JP7239824B2 (en) 2023-03-15

Similar Documents

Publication Publication Date Title
US10572512B2 (en) Detection method and information processing device
US8549478B2 (en) Graphical user interface input element identification
EP2854053A1 (en) Defect prediction method and device
JP2017058838A (en) Information processing apparatus, test system, information processing method, and program
US20190018397A1 (en) Plan generation apparatus, plan generation method, and computer readable medium
CN103606221B (en) Fault automatic diagnostic method of counter and device
CN111666187B (en) Method and apparatus for detecting abnormal response time
WO2019087803A1 (en) Image processing device, image processing method, and recording medium
CN116108393B (en) Power sensitive data classification and classification method and device, storage medium and electronic equipment
US20200019855A1 (en) Data analysis device, data analysis method and data analysis program
CN109685805B (en) Image segmentation method and device
CN112685324A (en) Method and system for generating test scheme
JP2017102865A (en) Information processing device, information processing method and program
CN112995535A (en) Method, apparatus, device and storage medium for processing video
CN113268403A (en) Time series analysis and prediction method, device, equipment and storage medium
JP2020173547A (en) Image inspection system, image inspection device and image inspection program
US20190066285A1 (en) Image inspection apparatus, image inspection method, and image inspection program
US10467745B2 (en) Abnormality detection device, abnormality detection method and non-transitory computer-readable recording medium
CN113657249A (en) Training method, prediction method, device, electronic device, and storage medium
US11093463B2 (en) Missing value imputation device, missing value imputation method, and missing value imputation program
US10152674B2 (en) Accelerated decision tree execution
CN110390344B (en) Alternative frame updating method and device
CN110852384A (en) Medical image quality detection method, device and storage medium
JP2008009938A (en) Moving image data processor, moving image data processing method, moving image data processing program and storage medium recording the program
Kusa et al. Vombat: A tool for visualising evaluation measure behaviour in high-recall search tasks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220111

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230126

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230213

R150 Certificate of patent or registration of utility model

Ref document number: 7239824

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150