JP7289658B2

JP7289658B2 - Classification device, classification method, classification program, and inspection device

Info

Publication number: JP7289658B2
Application number: JP2019010485A
Authority: JP
Inventors: 公紀黒澤; 正寛岩崎; 青劉; 和宏渡部
Original assignee: Fujikura Ltd
Current assignee: Fujikura Ltd
Priority date: 2018-09-07
Filing date: 2019-01-24
Publication date: 2023-06-12
Anticipated expiration: 2039-01-24
Also published as: JP7161948B2; JP2020042757A; JP7236292B2; JP2020042755A; JP2020042001A; JP7213701B2; JP2020042754A

Description

本発明は、画像に被写体として含まれる物品の状態を分類する分類装置、分類方法、及び分類プログラムに関する。また、物品の一括検査を行う検査装置に関する。 The present invention relates to a classification device, a classification method, and a classification program for classifying the state of an article included as a subject in an image. The present invention also relates to an inspection device for batch inspection of articles.

画像に被写体として含まれる物品の状態を、コンピュータを用いて分類する技術が広く用いられている。例えば、特許文献１には、検査画像に被写体として含まれる基板の状態（欠陥の有無等）を、コンピュータを用いて分類する技術が開示されている。 A technique for classifying the state of an article included in an image as a subject using a computer is widely used. For example, Patent Literature 1 discloses a technique of classifying the state (existence of defects, etc.) of a substrate included as an object in an inspection image using a computer.

特開２００６－２６６８７２号公報（２００６年１０月５日公開）Japanese Patent Application Laid-Open No. 2006-266872 (published on October 5, 2006)

複数の物品の状態を効率的に分類するためには、これらの物品の各々を被写体として含む複数の画像を参照する構成を採用するよりも、これらの物品を被写体として含む単一の画像を参照する構成を採用する方が効率的である。しかしながら、後者の構成を採用する場合、物品の個数に応じて参照する画像の解像度を高くする必要がある。なぜなら、参照する画像における一物品あたりの解像度が、所望の分類精度を得るために必要な解像度以上であることが要求されるからである。 In order to efficiently classify the status of multiple items, rather than adopting a configuration that refers to multiple images that include each of these items, we refer to a single image that includes these items as the subject. It is more efficient to adopt a configuration that However, when adopting the latter configuration, it is necessary to increase the resolution of the image to be referred to according to the number of articles. This is because the resolution per article in the reference image is required to be higher than or equal to the resolution required to obtain the desired classification accuracy.

しかしながら、参照する画像の解像度が高くなるほど、処理に要するメモリの容量が大きくなると共に、処理に要する時間が長くなる（処理速度が遅くなる）という問題がある。特に、物品の一括検査を行う場合、すなわち、各物品に存在する微細な欠陥に着目して各物品の状態を分類する場合、参照する画像における一物品あたりの解像度を更に高くする必要があるため、このような問題が顕著に現れる。 However, there is a problem that the higher the resolution of the image to be referred to, the larger the memory capacity required for processing and the longer the time required for processing (the processing speed slows down). In particular, when performing a batch inspection of articles, that is, when classifying the state of each article by focusing on minute defects present in each article, it is necessary to further increase the resolution of each article in the image to be referred to. , such a problem appears prominently.

本発明は、上記の問題に鑑みてなされたものであり、その目的は、処理の精度を犠牲にすることなく、処理に要するメモリの容量が小さく、かつ、処理に要する時間の短い分類装置、分類方法、分類プログラム、及び検査装置を実現することにある。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a classification device that requires a small amount of memory for processing and a short time for processing, without sacrificing processing accuracy. An object is to realize a classification method, a classification program, and an inspection device.

上記の課題を解決するために、本発明の一態様に係る分類装置は、複数の物品を被写体として共通に含む高解像度画像及び低解像度画像を参照して、上記複数の物品の各々の状態を分類する分類装置であって、各物品が被写体として含まれている上記高解像度画像上の領域を特定する特定処理を、上記低解像度画像を参照して実行する特定部と、各物品の状態を分類する分類処理を、該物品が被写体として含まれている領域として上記特定部にて特定された上記高解像度画像上の領域を選択的に参照することによって実行する分類器と、を備えている。 In order to solve the above problems, a classification device according to an aspect of the present invention refers to a high-resolution image and a low-resolution image that commonly include a plurality of articles as subjects, and determines the state of each of the plurality of articles. A classifying device for classifying, comprising: a specifying unit for specifying a region on the high-resolution image in which each article is included as a subject by referring to the low-resolution image; a classifier that executes classification processing by selectively referring to the area on the high-resolution image identified by the identification unit as an area containing the article as a subject. .

上記の課題を解決するために、本発明の一態様に係る分類方法は、複数の物品を被写体として共通に含む高解像度画像及び低解像度画像を参照して、上記複数の物品の各々の状態を分類する分類方法であって、各物品が被写体として含まれている上記高解像度画像上の領域を特定する特定処理を、上記低解像度画像を参照して実行する特定ステップと、各物品の状態を分類する分類処理を、該物品が被写体として含まれている領域として上記特定ステップにて特定された上記高解像度画像上の領域を選択的に参照することによって実行する分類ステップと、を備えている。 In order to solve the above problems, a classification method according to an aspect of the present invention refers to a high-resolution image and a low-resolution image that commonly include a plurality of articles as subjects to determine the state of each of the plurality of articles. A classification method for classifying, comprising: a specifying step of performing a specifying process of specifying a region on the high-resolution image in which each article is included as a subject with reference to the low-resolution image; a classification step of executing classification processing by selectively referring to the area on the high-resolution image identified in the identification step as an area containing the article as a subject. .

上記の課題を解決するために、本発明の一態様に係る分類プログラムは、コンピュータを請求項１～５の何れか１項に記載の分類装置として動作させる分類プログラムであって、上記コンピュータを上記分類装置の各部として機能させる。 In order to solve the above problems, a classification program according to one aspect of the present invention is a classification program that causes a computer to operate as the classification device according to any one of claims 1 to 5, wherein the computer operates as the classification device described above. It functions as each part of the classification device.

上記の構成によれば、各物品が被写体として含まれている高解像度画像上の領域を特定する特定処理において、高解像度画像よりも解像度の低い低解像度画像が参照される。このため、高解像度画像を参照して特定処理を実行する場合と比較して、特定処理に要するメモリの容量を小さくすると共に、特定処理に要する時間を短くすることができる。更に、上記の構成によれば、各物品の状態を分類する分類処理において、高解像度画像の一部分（該物品が被写体として含まれている領域として、特定処理により特定された領域）が選択的に参照される。このため、高解像度画像全体を参照して分類処理を実行する場合と比較して、分類処理に要するメモリの容量を小さくすると共に、分類処理に要する時間を短くすることができる。また、低解像度画像を参照して分類処理を実行する場合と比較して、分類精度を高くすることができる。したがって、上記の構成によれば、分類精度を犠牲にすることなく、特定処理及び分類処理に要するメモリの容量を小さくすると共に、特定処理及び分類処理に要する時間を短くすることができる。 According to the above configuration, the low-resolution image having a resolution lower than that of the high-resolution image is referred to in the identification process for identifying the area on the high-resolution image in which each article is included as a subject. Therefore, compared to the case of executing the specific processing with reference to the high-resolution image, the memory capacity required for the specific processing can be reduced and the time required for the specific processing can be shortened. Furthermore, according to the above configuration, in the classification process for classifying the state of each article, a portion of the high-resolution image (the area identified by the identification process as the area containing the article as a subject) is selectively selected. Referenced. For this reason, the memory capacity required for the classification process can be reduced and the time required for the classification process can be shortened as compared with the case where the classification process is performed by referring to the entire high-resolution image. In addition, classification accuracy can be increased compared to the case of executing classification processing with reference to low-resolution images. Therefore, according to the above configuration, it is possible to reduce the memory capacity required for the identification processing and the classification processing, and shorten the time required for the identification processing and the classification processing, without sacrificing the classification accuracy.

本発明の一態様に係る分類装置において、上記特定部は、各物品が被写体として含まれている領域を特定する特定処理を、上記低解像度画像を入力とし、該物品が被写体として含まれている領域を出力とする学習済みモデルを用いて実行する、ことが好ましい。 In the classification device according to an aspect of the present invention, the identification unit performs identification processing for identifying an area in which each article is included as a subject, and the low-resolution image is input, and the article is included as the subject. It is preferable to use a trained model whose output is the region.

上記の構成によれば、各物品が被写体として含まれている領域を、より精度よく特定することができる。 According to the above configuration, it is possible to more accurately identify a region in which each article is included as a subject.

本発明の一態様に係る分類装置において、上記分類器は、各物品の状態を分類する分類処理を、上記高解像度画像から切り出された部分画像であって、該物品が被写体として含まれている領域として上記特定部にて特定された上記高解像度画像上の領域を含む部分画像を入力とし、該物品の状態を示す予め定められた複数のクラスの何れかを出力とする学習済みモデルを用いて実行する、ことが好ましい。 In the classification device according to an aspect of the present invention, the classifier performs a classification process for classifying the state of each article as a partial image cut out from the high-resolution image, the article being included as a subject. Using a trained model that receives as an input a partial image including the area on the high-resolution image specified by the specifying unit as the area, and outputs one of a plurality of predetermined classes indicating the state of the article. preferably run

上記の構成によれば、各物品をより精度よく分類することができる。 According to the above configuration, each article can be classified with higher accuracy.

本発明の一態様に係る分類装置において、上記高解像度画像よりも解像度の低い上記低解像度画像を生成する生成処理を、上記高解像度画像を参照して実行する生成部を更に備えている、ことが好ましい。 The classification device according to an aspect of the present invention further comprising a generation unit that refers to the high-resolution image and executes generation processing for generating the low-resolution image having a resolution lower than that of the high-resolution image. is preferred.

上記の構成によれば、高解像度画像及び低解像度画像を入力することなく、高解像度画像を入力するだけで、上述した効果を奏する。 According to the above configuration, the above effects can be obtained only by inputting a high-resolution image without inputting a high-resolution image and a low-resolution image.

本発明の一態様に係る分類装置において、上記複数の物品を被写体として含む画像と共に、上記分類処理の結果をディスプレイに表示させる表示部を更に備えている、ことが好ましい。 It is preferable that the classification apparatus according to the aspect of the present invention further includes a display section for displaying an image including the plurality of articles as subjects and a result of the classification processing on a display.

上記の構成によれば、ユーザに、分類処理の結果をわかりやすく提示することができる。 According to the above configuration, it is possible to present the result of the classification process to the user in an easy-to-understand manner.

上記の課題を解決するために、本発明の一態様に係る検査装置、上述した分類装置を用いて、上記複数の物品の一括検査を行う。 In order to solve the above problems, the plurality of articles are collectively inspected using the inspection apparatus according to one aspect of the present invention and the above-described classification apparatus.

上記の構成によれば、検査精度を犠牲にすることなく、処理に要するメモリの容量を小さくすると共に、処理に要する時間を短くすることができる。 According to the above configuration, the memory capacity required for processing can be reduced and the time required for processing can be shortened without sacrificing inspection accuracy.

本発明の一態様によれば、分類精度を犠牲にすることなく、処理に要するメモリの容量が小さく、かつ、処理に要する時間の短い分類装置、分類方法、及び分類プログラムを実現することができる。また、本発明の一態様によれば、検査精度を犠牲にすることなく、処理に要するメモリの容量が小さく、かつ、処理に要する時間の短い検査装置を実現することができる。 According to one aspect of the present invention, it is possible to realize a classification device, a classification method, and a classification program that require a small amount of memory for processing and a short time for processing without sacrificing classification accuracy. . Further, according to one aspect of the present invention, it is possible to realize an inspection apparatus that requires a small memory capacity for processing and a short time for processing without sacrificing inspection accuracy.

本発明の第１の実施形態に係る分類装置の物理的構成を示すブロック図である。1 is a block diagram showing the physical configuration of a classification device according to a first embodiment of the present invention; FIG. 図１に示す分類装置の機能的構成を示すブロック図である。2 is a block diagram showing the functional configuration of the classification device shown in FIG. 1; FIG. 図１に示す分類装置が実行する分類処理の流れを示すフローチャートである。2 is a flow chart showing the flow of classification processing executed by the classification device shown in FIG. 1; 図３に示す生成ステップにおける生成処理の一例を示す模式図である。4 is a schematic diagram showing an example of generation processing in the generation step shown in FIG. 3; FIG. 図３に示す特定ステップにおける特定処理の一例を示す模式図である。FIG. 4 is a schematic diagram showing an example of specifying processing in the specifying step shown in FIG. 3; FIG. 図３に示す分類ステップにおける分類ステップの一例を示す模式図である。4 is a schematic diagram showing an example of a classification step in the classification step shown in FIG. 3; FIG. 図３に示す表示ステップにおいて表示される表示画面の一例を示す模式図である。4 is a schematic diagram showing an example of a display screen displayed in the display step shown in FIG. 3; FIG. 本発明の第２の実施形態に係る検査装置の機能的構成を示すブロック図である。It is a block diagram showing a functional configuration of an inspection apparatus according to a second embodiment of the present invention. （ａ）は、第２の実施形態の具体例で用いた原画像を示す図である。（ｂ）は、第２の実施形態の具体例で用いた低解像度画像を示す図である。（ｃ）は、第２の実施形態の具体例で用いた部分画像を示す図である。（ｄ）は、第２の実施形態の具体例で表示した結果画像を示す図である。（ｅ）は、第２の実施形態の具体例における特定処理の精度を示す図である。（ｆ）は、第２の実施形態の具体例における分類処理の精度を示す図である。(a) is a diagram showing an original image used in a specific example of the second embodiment. (b) is a diagram showing a low-resolution image used in a specific example of the second embodiment. (c) is a diagram showing a partial image used in a specific example of the second embodiment. (d) is a diagram showing a result image displayed in a specific example of the second embodiment. (e) is a diagram showing the accuracy of specific processing in a specific example of the second embodiment. (f) is a diagram showing the accuracy of classification processing in a specific example of the second embodiment. 本発明の第２の実施形態の実施例１～２及び比較例１～６の比較について概要を説明する図である。FIG. 10 is a diagram for explaining an outline of a comparison between Examples 1 and 2 and Comparative Examples 1 to 6 of the second embodiment of the present invention; （ａ）は、実施例１～２及び比較例１～４において、原画像の画素数に応じたメモリ使用量を比較するグラフである。（ｂ）は、原画像の画素数に応じた処理時間を比較するグラフである。(a) is a graph comparing memory usage according to the number of pixels of an original image in Examples 1-2 and Comparative Examples 1-4. (b) is a graph comparing processing times according to the number of pixels of an original image. （ａ）は、実施例１～２及び比較例１～４において、原画像の画素数に応じた物品の検出数を比較するグラフである。（ｂ）は、物品を含む領域の縦横比に応じた検出正解率を比較するグラフである。(a) is a graph comparing the number of detected articles according to the number of pixels of the original image in Examples 1-2 and Comparative Examples 1-4. (b) is a graph comparing the detection accuracy rate according to the aspect ratio of the area containing the article.

〔第１の実施形態〕
（分類装置の物理的構成）
本発明の第１の実施形態に係る分類装置１の物理的構成について、図１を参照して説明する。図１は、分類装置１の物理的構成を示すブロック図である。 [First embodiment]
(Physical Configuration of Classifier)
A physical configuration of the classification device 1 according to the first embodiment of the present invention will be described with reference to FIG. FIG. 1 is a block diagram showing the physical configuration of the classification device 1. As shown in FIG.

分類装置１は、図１に示すように、バス１０と、主メモリ１１と、プロセッサ１２と、補助メモリ１３と、入出力インターフェース１４と、を備えたコンピュータである。主メモリ１１、プロセッサ１２、補助メモリ１３、及び入出力インターフェース１４は、バス１０を介して互いに接続されている。主メモリ１１としては、例えば、単一又は複数の半導体ＲＡＭ（random access memory）が用いられる。プロセッサ１２としては、例えば、単一又は複数のマイクロプロセッサ、単一又は複数のデジタルシグナルプロセッサ、単一又は複数のマイクロコントローラ、又はこれらの組み合わせが用いられる。補助メモリ１３としては、例えば、単一又は複数のＨＤＤ（Hard Disk Drive）、単一又は複数のＳＳＤ（Solid State Drive）、又はこれらの組み合わせが用いられる。また、補助メモリ１３の一部又は全部は、通信インタフェース（図示せず）を介して接続されたネットワーク上のストレージであってもよい。入出力インターフェース１４としては、例えば、ＵＳＢ（Universal Serial Bus）インターフェース、赤外線やBluetooth（登録商標）等の近距離通信インターフェース、又はこれらの組み合わせが用いられる。 The classification device 1 is a computer comprising a bus 10, a main memory 11, a processor 12, an auxiliary memory 13, and an input/output interface 14, as shown in FIG. Main memory 11 , processor 12 , auxiliary memory 13 and input/output interface 14 are interconnected via bus 10 . As the main memory 11, for example, a single or multiple semiconductor RAM (random access memory) is used. Processor 12 may be, for example, a single or multiple microprocessors, a single or multiple digital signal processors, a single or multiple microcontrollers, or a combination thereof. As the auxiliary memory 13, for example, a single or multiple HDDs (Hard Disk Drives), single or multiple SSDs (Solid State Drives), or a combination thereof is used. Also, part or all of the auxiliary memory 13 may be storage on a network connected via a communication interface (not shown). As the input/output interface 14, for example, a USB (Universal Serial Bus) interface, a short-range communication interface such as infrared rays or Bluetooth (registered trademark), or a combination thereof is used.

入出力インターフェース１４には、例えば、入力装置２０及び出力装置３０が接続される。入力装置２０としては、例えば、キーボード、マウス、タッチパッド、マイク、又はこれらの組み合わせ等が用いられる。出力装置３０としては、例えば、ディスプレイ、プリンタ、スピーカ、又はこれらの組み合わせが用いられる。なお、分類装置１は、ノート型コンピュータのように、入力装置２０として機能するキーボート及びタッチパッド、並びに、出力装置３０として機能するディスプレイを内蔵していてもよい。また、分類装置１は、スマートフォン又はタブレット型コンピュータのように、入力装置２０及び出力装置３０として機能するタッチパネルを内蔵していてもよい。 For example, an input device 20 and an output device 30 are connected to the input/output interface 14 . As the input device 20, for example, a keyboard, mouse, touch pad, microphone, or a combination thereof is used. A display, a printer, a speaker, or a combination thereof is used as the output device 30, for example. Note that the classification device 1 may incorporate a keyboard and touch pad functioning as the input device 20 and a display functioning as the output device 30, like a notebook computer. Further, the classification device 1 may incorporate a touch panel functioning as the input device 20 and the output device 30 like a smart phone or a tablet computer.

補助メモリ１３には、後述する分類処理Ｓ１をプロセッサ１２に実行させるためのプログラムＰが格納されている。プロセッサ１２は、補助メモリ１３に格納されたプログラムＰを主メモリ１１上に展開し、主メモリ１１上に展開されたプログラムＰに含まれる各命令を実行することによって、後述する分類処理Ｓ１に含まれる各ステップを実行する。また、補助メモリ１３には、後述する分類処理Ｓ１を実行するためにプロセッサ１２が参照する各種データが格納されている。 The auxiliary memory 13 stores a program P for causing the processor 12 to execute a classification process S1, which will be described later. The processor 12 expands the program P stored in the auxiliary memory 13 onto the main memory 11, and executes each instruction included in the program P expanded onto the main memory 11, thereby performing a classification process S1 described later. perform each step that is In addition, the auxiliary memory 13 stores various data referred to by the processor 12 in order to execute the classification processing S1, which will be described later.

なお、ここでは、内部記憶媒体である補助メモリ１３に格納されているプログラムＰに従ってプロセッサ１２が後述する分類処理Ｓ１を実行する形態について説明したが、これに限定されない。すなわち、外部記録媒体に格納されているプログラムＰに従ってプロセッサ１２が後述する分類処理Ｓ１を実行する形態を採用してもよい。この場合、外部記録媒体としては、コンピュータが読み取り可能な「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブル論理回路などを用いることができる。あるいは、通信インタフェース（図示せず）を介して接続されるネットワーク上から取得したプログラムＰに従ってプロセッサ１２が後述する分類処理Ｓ１を実施する形態を採用してもよい。この場合、ネットワークとしては、例えば、インターネット、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、又はこれらの少なくとも一部の組み合わせ等などを用いることができる。 Here, a form in which the processor 12 executes the classification processing S1, which will be described later, according to the program P stored in the auxiliary memory 13, which is an internal storage medium, has been described, but the present invention is not limited to this. In other words, a configuration may be employed in which the processor 12 executes the later-described classification processing S1 according to the program P stored in the external recording medium. In this case, as the external recording medium, a computer-readable "non-transitory tangible medium" such as a tape, disk, card, semiconductor memory, or programmable logic circuit can be used. Alternatively, a configuration may be adopted in which the processor 12 performs the classification processing S1, which will be described later, in accordance with a program P obtained from a network connected via a communication interface (not shown). In this case, the network may be, for example, the Internet, a wired LAN (Local Area Network), a wireless LAN, or a combination of at least some of them.

また、ここでは、単一のコンピュータを用いて分類装置１を実現する形態について説明したが、これに限定されない。すなわち、互いに通信可能に構成された複数のコンピュータを用いて分類装置１を実現する形態を採用してもよい。この場合、後述する分類処理Ｓ１を構成する各ステップを、これらのコンピュータにより並列的に実行することが可能になる。 Moreover, here, although the form which implement|achieves the classification device 1 using a single computer was demonstrated, it is not limited to this. That is, a form in which the classification device 1 is realized using a plurality of computers configured to be able to communicate with each other may be employed. In this case, each step constituting the classification processing S1, which will be described later, can be executed in parallel by these computers.

（分類装置の機能的構成）
分類装置１の機能的構成について、図２を参照して説明する。図２は、分類装置１の機能的構成を示すブロック図である。 (Functional configuration of classification device)
A functional configuration of the classification device 1 will be described with reference to FIG. FIG. 2 is a block diagram showing the functional configuration of the classification device 1. As shown in FIG.

分類装置１は、図２に示すように、生成部１０１と、特定部１０２と、分類器１０３と、表示部１０４とを備えている。これらのブロックは、上述したプロセッサ１２が上述したプログラムＰの命令を実行することにより実現される機能ブロックである。分類装置１には、複数の物品を被写体として含む画像（以下、「原画像」とも記載する）が入力される。原画像は、特許請求の範囲における「高解像度画像」の一例である。 The classification device 1 includes a generation unit 101, an identification unit 102, a classifier 103, and a display unit 104, as shown in FIG. These blocks are functional blocks implemented by executing the instructions of the program P described above by the processor 12 described above. An image including a plurality of articles as subjects (hereinafter also referred to as an “original image”) is input to the classification device 1 . An original image is an example of a "high-resolution image" in the claims.

生成部１０１は、原画像よりも解像度の低い低解像度画像を生成する生成処理を、分類装置１に入力された原画像を参照して実行するブロックである。例えば、生成部１０１は、原画像から低解像度画像を生成する生成処理を、原画像を縮小又は粗視化することによって実行する。なお、生成する低解像度画像の解像度は、予め定められた特定の解像度（例えば、５１２ピクセル×５１２ピクセル）であってもよいし、原画像の解像度に応じて定められた解像度（例えば、原画像の解像度の１／８）であってもよいし、入力装置２０から入力されたユーザ指定の解像度であってもよい。 The generation unit 101 is a block that refers to the original image input to the classification device 1 and executes generation processing for generating a low-resolution image having a resolution lower than that of the original image. For example, the generation unit 101 performs generation processing for generating a low-resolution image from an original image by reducing or coarsening the original image. The resolution of the low-resolution image to be generated may be a predetermined specific resolution (eg, 512 pixels x 512 pixels), or a resolution determined according to the resolution of the original image (eg, original image 1/8 of the resolution of 1/8), or the resolution specified by the user input from the input device 20 .

特定部１０２は、各物品が被写体として含まれている原画像上の領域を特定する特定処理を、生成部１０１にて生成された低解像度画像を参照して実行するブロックである。例えば、特定部１０２は、各物品が被写体として含まれている領域を特定する特定処理を、機械学習により構築された学習済みモデル（以下、「第１モデル」と記載する）を用いて実行する。第１モデルの入力は、生成部１０１にて生成された低解像度画像である。第１モデルの出力は、各物品が被写体として含まれている領域である。第１モデルとしては、例えば、ＹＯＬＯ（You Look Only Once）やＳＳＤ（Single Shot Multibox Detector）など、物体検出用のＣＮＮ（Convolutional Neural Network）を用いることができる。第１モデルを構成する係数群は、補助メモリ１３に格納されている。 The specifying unit 102 is a block that refers to the low-resolution image generated by the generating unit 101 and executes a specifying process of specifying a region on the original image in which each article is included as a subject. For example, the identifying unit 102 uses a learned model constructed by machine learning (hereinafter referred to as a "first model") to perform identification processing for identifying an area in which each article is included as a subject. . The input of the first model is the low resolution image generated by the generation unit 101 . The output of the first model is the region containing each item as an object. As the first model, for example, CNN (Convolutional Neural Network) for object detection such as YOLO (You Look Only Once) and SSD (Single Shot Multibox Detector) can be used. A coefficient group forming the first model is stored in the auxiliary memory 13 .

分類器１０３は、各物品の状態を分類する分類処理を、該物品が被写体として含まれている領域として特定部１０２にて特定された原画像上の領域を選択的に参照して実行するブロックである。例えば、分類器１０３は、各物品の状態を分類する分類処理を、機械学習により構築された学習済みモデル（以下、「第２モデル」と記載）を用いて実行する。第２モデルの入力は、原画像から切り出された部分画像であって、各物品が被写体として含まれている領域として特定部１０２にて特定された原画像上の領域を含む部分画像である。第２モデルの出力は、各物品の状態を示すクラスとして、予め定められたクラスの何れかである。第２モデルとしては、例えば、物体分類用のＣＮＮ（Convolutional Nural Network）を用いることができる。第２モデルを構成する係数群は、補助メモリ１３に格納されている。 The classifier 103 selectively refers to the area on the original image specified by the specifying unit 102 as the area in which the article is included as a subject, and executes the classification process for classifying the state of each article. is. For example, the classifier 103 uses a learned model constructed by machine learning (hereinafter referred to as “second model”) to perform classification processing for classifying the state of each article. The input of the second model is a partial image cut out from the original image, which includes the area on the original image specified by the specifying unit 102 as the area containing each article as a subject. The output of the second model is one of the classes predetermined as classes indicating the state of each article. As the second model, for example, a CNN (Convolutional Neural Network) for object classification can be used. A coefficient group forming the second model is stored in the auxiliary memory 13 .

表示部１０４は、分類器１０３による分類処理の結果（例えば、各物品の状態を示すクラス）を、複数の物品を被写体として含む出力画像と共にディスプレイ（出力装置３０）に表示する表示処理を実行するブロックである。なお、表示部１０４がディスプレイに表示する出力画像は、複数の物品を被写体として含む画像であればよく、その解像度は任意である。例えば、出力画像は、原画像であってもよいし、低解像度画像であってもよい。 The display unit 104 executes display processing for displaying the result of the classification processing by the classifier 103 (for example, a class indicating the state of each article) on the display (output device 30) together with an output image including a plurality of articles as subjects. is a block. Note that the output image displayed on the display by the display unit 104 may be an image including a plurality of articles as subjects, and its resolution is arbitrary. For example, the output image may be an original image or a low resolution image.

（分類処理の流れ）
分類装置１が実行する分類処理Ｓ１の流れについて、図３～図７を参照して説明する。 (Flow of classification processing)
The flow of the classification process S1 executed by the classification device 1 will be described with reference to FIGS. 3 to 7. FIG.

図３は、分類処理Ｓ１の流れを示すフローチャートである。分類処理Ｓ１は、分類装置１に原画像が入力されることにより開始する。分類処理Ｓ１は、図３に示すように、生成ステップＳ１０１と、特定ステップＳ１０２と、分類ステップＳ１０３と、表示ステップＳ１０４と、を含んでいる。 FIG. 3 is a flow chart showing the flow of the classification process S1. The classification process S1 is started when an original image is input to the classification device 1 . The classification process S1 includes a generation step S101, a specification step S102, a classification step S103, and a display step S104, as shown in FIG.

生成ステップＳ１０１は、原画像よりも解像度の低い低解像度画像を生成する生成処理を、分類装置１に入力された原画像を参照して生成部１０１が実行するステップである。 The generation step S101 is a step in which the generation unit 101 refers to the original image input to the classification device 1 and executes generation processing for generating a low-resolution image having a resolution lower than that of the original image.

図４は、生成ステップＳ１０１における生成処理の一例を示す模式図である。図４においては、原画像ＩＭＧ１として、１３個の物品Ｏ１～Ｏ１３を撮像して得られた画像を例示している。生成部１０１は、原画像ＩＭＧ１を縮小又は粗視化することにより、原画像ＩＭＧ１よりも解像度の低い低解像度画像ＩＭＧ２を生成する。低解像度画像ＩＭＧ２は、原画像ＩＭＧ１と同様、１３個の物品Ｏ１～Ｏ１３を被写体として含む画像となる。 FIG. 4 is a schematic diagram showing an example of generation processing in the generation step S101. In FIG. 4, images obtained by imaging 13 articles O1 to O13 are exemplified as the original image IMG1. The generator 101 reduces or coarse-grains the original image IMG1 to generate a low-resolution image IMG2 having a resolution lower than that of the original image IMG1. Similar to the original image IMG1, the low-resolution image IMG2 is an image including 13 articles O1 to O13 as subjects.

特定ステップＳ１０２は、各物品が被写体として含まれている原画像上の領域を特定する特定処理を、生成ステップＳ１０１にて生成された低解像度画像を参照して特定部１０２が実行するステップである。本実施形態において、この特定処理は、上述したように、機械学習により構築された第１モデルを用いて実行される。 The specifying step S102 is a step in which the specifying unit 102 executes specifying processing for specifying an area on the original image in which each article is included as a subject, with reference to the low-resolution image generated in the generating step S101. . In this embodiment, this identification process is performed using the first model constructed by machine learning, as described above.

図５は、特定ステップＳ１０２における特定処理の一例を示す模式図である。図５においては、低解像度画像ＩＭＧ２として、１３個の物品Ｏ１～Ｏ１３を被写体として含む画像を例示している。まず、特定部１０２は、低解像度画像ＩＭＧ２を第１モデルに入力する。第１モデルは、各物品Ｏｉ（ｉ＝１，２，…，１３）が被写体として含まれている低解像度画像ＩＭＧ２上の領域Ａ２ｉを出力する。次に、特定部１０２は、低解像度画像ＩＭＧ２上の各領域Ａ２ｉを、原画像ＩＭＧ１及び低解像度画像ＩＭＧ２間の解像度の比率に基づいて、原画像ＩＭＧ１上の領域Ａ１ｉに変換する。これにより、各物品Ｏｉが被写体として含まれている原画像ＩＭＧ１上の領域Ａ１ｉが得られる。 FIG. 5 is a schematic diagram showing an example of identification processing in identification step S102. In FIG. 5, an image including 13 articles O1 to O13 as subjects is illustrated as the low-resolution image IMG2. First, the specifying unit 102 inputs the low-resolution image IMG2 to the first model. The first model outputs an area A2i on the low-resolution image IMG2 in which each article Oi (i=1, 2, . . . , 13) is included as a subject. Next, the specifying unit 102 converts each area A2i on the low-resolution image IMG2 to an area A1i on the original image IMG1 based on the resolution ratio between the original image IMG1 and the low-resolution image IMG2. As a result, an area A1i on the original image IMG1 including each article Oi as a subject is obtained.

分類ステップＳ１０３は、各物品の状態を分類する分類処理を、該物品が被写体として含まれている領域として特定ステップＳ１０２にて特定された原画像上の領域を選択的に参照して分類器１０３が実行するステップである。本実施形態において、この分類処理は、上述したように、機械学習により構築された第２モデルを用いて実行される。 The classification step S103 performs classification processing for classifying the state of each article by selectively referring to the area on the original image identified in the identification step S102 as the area containing the article as a subject. is the step performed by In this embodiment, this classification process is performed using the second model constructed by machine learning, as described above.

図６は、分類ステップＳ１０３における分類処理の一例を示す模式図である。まず、分類器１０３は、特定ステップＳ１０２にて特定された各領域Ａ１ｉを含む部分画像ＩＭＧ３ｉを、原画像ＩＭＧ１から切り出す。図６においては、部分画像ＩＭＧ３ｉとして、１３枚の部分画像ＩＭＧ３１～ＩＭＧ３１３を例示している。次に、分類器１０３は、各部分画像ＩＭＧ３ｉを第２モデルに入力する。第２モデルは、各物品Ｏｉの状態を示す情報ｏｕｔ１を出力する。ここでは、物品の状態を示す３つのクラスＡ、Ｂ、Ｃが予め定められているものとする。図６では、情報ｏｕｔ１が「クラスＡ」を表しており、物品Ｏ１は、「クラスＡ」に分類されている。また、情報ｏｕｔ１３が「クラスＣ」表しており、物品Ｏ１３は、「クラスＣ」に分類されている。 FIG. 6 is a schematic diagram showing an example of classification processing in the classification step S103. First, the classifier 103 cuts out a partial image IMG3i including each area A1i specified in the specifying step S102 from the original image IMG1. In FIG. 6, 13 partial images IMG31 to IMG313 are illustrated as the partial image IMG3i. The classifier 103 then inputs each partial image IMG3i into the second model. The second model outputs information out1 indicating the state of each article Oi. Here, it is assumed that three classes A, B, and C indicating the state of articles are determined in advance. In FIG. 6, information out1 represents "class A", and article O1 is classified into "class A". Information out13 represents "class C", and article O13 is classified into "class C".

表示ステップＳ１０４は、分類ステップＳ１０３における分類処理の結果（本実施形態において、各物品の状態を表すクラス）を、複数の物品を被写体として含む出力画像と共にディスプレイ（出力装置３０）に表示する表示処理を、表示部１０４が実行するステップである。 A display step S104 is a display process for displaying the result of the classification processing in the classification step S103 (in this embodiment, a class representing the state of each article) on the display (output device 30) together with an output image including a plurality of articles as subjects. are steps executed by the display unit 104 .

図７は、表示ステップＳ１０４において表示部１０４によりディスプレイに表示される表示画面の一例を示す模式図である。図７に示す表示画面には、低解像度画像ＩＭＧ２と、情報ｏｕｔ１～ｏｕｔ１３（分類ステップＳ１０３における分類処理の結果）と、が含まれている。表示画面において、各情報ｏｕｔｉは、対応する物品Ｏｉとの関連付けが認識可能な表示態様で表示されることが望ましい。図７に例示した表示画面においては、各情報ｏｕｔｉを、対応する物品Ｏｉに重畳することによって、上述した関連付けが認識可能となっている。ただし、関連付けが認識可能な表示態様は、他の態様であってもよい。 FIG. 7 is a schematic diagram showing an example of a display screen displayed on the display by the display unit 104 in the display step S104. The display screen shown in FIG. 7 includes a low-resolution image IMG2 and information out1 to out13 (results of classification processing in classification step S103). On the display screen, each piece of information outi is desirably displayed in a display mode in which the association with the corresponding article Oi can be recognized. On the display screen illustrated in FIG. 7, the above association can be recognized by superimposing each piece of information outi on the corresponding article Oi. However, the display manner in which the association can be recognized may be another manner.

（分類装置の効果）
以上のように、分類装置１によれば、各物品が被写体として含まれている原画像上の領域を特定する特定処理において、原画像よりも解像度の低い低解像度画像が参照される。このため、原画像を参照して特定処理を実行する場合と比較して、特定処理に要するメモリの容量を小さくすると共に、特定処理に要する時間を短くすることができる。更に、分類装置１によれば、各物品の状態を分類する分類処理において、原画像の一部（該物品が被写体として含まれている領域として、特定処理により特定された領域）が選択的に参照される。このため、原画像全体を参照して分類処理を実行する場合と比較して、分類処理に要するメモリの容量を小さくすると共に、分類処理に要する時間を短くすることができる。また、低解像度画像を参照して分類処理を実行する場合と比較して、分類処理の精度を高くすることができる。したがって、分類装置１によれば、分類処理の精度を犠牲にすることなく、特定処理及び分類処理に要するメモリの容量を小さくすると共に、特定処理及び分類処理に要する時間を短くすることができる。 (Effect of classification device)
As described above, according to the classification device 1, a low-resolution image having a resolution lower than that of the original image is referred to in the identification process of identifying an area on the original image in which each article is included as a subject. Therefore, compared to the case where the original image is referred to and the specific processing is executed, the memory capacity required for the specific processing can be reduced and the time required for the specific processing can be shortened. Furthermore, according to the classification device 1, in the classification process for classifying the state of each article, a part of the original image (the area specified by the specifying process as the area containing the article as a subject) is selectively Referenced. For this reason, the memory capacity required for the classification process can be reduced and the time required for the classification process can be shortened as compared with the case where the classification process is executed by referring to the entire original image. In addition, it is possible to improve the accuracy of the classification process as compared with the case of executing the classification process by referring to the low-resolution image. Therefore, according to the classification device 1, it is possible to reduce the amount of memory required for the identification processing and the classification processing and shorten the time required for the identification processing and the classification processing without sacrificing the accuracy of the classification processing.

（変形例１）
本実施形態においては、分類処理においてその一部を選択的に参照する画像を原画像とする構成を採用しているが、本発明は、これに限定されない。すなわち、分類処理においてその一部を選択的に参照する画像は、低解像度画像よりも解像度の高い画像であって、低解像度画像と共通の物品を被写体として含む画像（特許請求の範囲における「高解像度画像」）であればよい。例えば、分類処理においてその一部を選択的に参照する画像は、低解像度画像よりも解像度が高く、かつ、原画像よりも解像度の低い高解像度画像であり得る（分類処理に適した解像度の高解像度画像であることが好ましい）。この場合、生成部１０１は、低解像度画像及び高解像度画像を原画像から生成する。 (Modification 1)
In the present embodiment, a configuration is adopted in which an image, a part of which is selectively referred to in the classification process, is used as the original image, but the present invention is not limited to this. That is, the image whose part is selectively referred to in the classification process is an image with a higher resolution than the low-resolution image, and an image that includes the same article as the low-resolution image as a subject ("high resolution" in the scope of claims). resolution image"). For example, the image whose part is selectively referred to in the classification process may be a high resolution image having a higher resolution than the low resolution image and a lower resolution than the original image (a high resolution image suitable for the classification process). resolution image is preferred). In this case, the generation unit 101 generates a low-resolution image and a high-resolution image from the original image.

（変形例２）
本実施形態においては、分類処理においてその一部を選択的に参照する高解像度画像（原画像）を外部から取得すると共に、特定処理において参照する低解像度画像を高解像度画像（原画像）から生成する構成を採用しているが、本発明は、これに限定されない。例えば、分類処理においてその一部を選択的に参照する高解像度画像、及び、特定処理において参照する低解像度画像の両方を外部から取得する構成を採用してもよい。この場合、生成部１０１は、省略される。 (Modification 2)
In this embodiment, a high-resolution image (original image) that is partially referred to in the classification process is obtained from the outside, and a low-resolution image that is referred to in the specific process is generated from the high-resolution image (original image). However, the present invention is not limited to this. For example, a configuration may be adopted in which both a high-resolution image, a part of which is selectively referred to in the classification process, and a low-resolution image, which is referred to in the specific process, are externally acquired. In this case, the generator 101 is omitted.

（変形例３）
本実施形態においては、機械学習により得られた第１モデルを用いて特定処理を実行する構成を採用しているが、本発明は、これに限定されない。例えば、テンプレートマッチングや二値化処理など、ルールベースの物体検出アルゴリズムを用いて特定処理を実行する構成を採用してもよい。テンプレートマッチングを用いる場合、特定部１０２は、例えば、低解像度画像における各領域をテンプレート画像（対象となる物品が被写体として含まれている画像）と比較し、一致度が高い領域を、物品を被写体として含む領域として特定する。また、二値化処理を用いる場合は、特定部１０２は、低解像度画像の画素値を輝度閾値により二値化し、得られた白黒画像における白（又は黒）領域を、物品を被写体として含む領域として特定する。 (Modification 3)
Although the present embodiment adopts a configuration in which the specific process is executed using the first model obtained by machine learning, the present invention is not limited to this. For example, a configuration in which specific processing is executed using a rule-based object detection algorithm such as template matching or binarization processing may be employed. When using template matching, for example, the identifying unit 102 compares each region in the low-resolution image with a template image (an image that includes the target article as a subject), and selects regions with a high degree of matching as objects. identified as a region containing as Further, when using the binarization process, the specifying unit 102 binarizes the pixel values of the low-resolution image using a brightness threshold, and converts the white (or black) area in the obtained black-and-white image to the area including the article as the subject. Identify as

（変形例４）
本実施形態においては、機械学習により得られた第２モデルを用いて分類処理を実行する構成を採用しているが、本発明は、これに限定されない。例えば、特徴量比較など、ルールベースの物体分類アルゴリズムを用いて分類処理を実行する構成を採用してもよい。特徴量比較を用いる場合、分類器１０３は、高解像度画像において各物品が被写体として含まれている領域から予め定められた特徴量を算出し、算出した特徴量に応じて該物品の状態を分類する。 (Modification 4)
Although this embodiment adopts a configuration in which a second model obtained by machine learning is used to perform classification processing, the present invention is not limited to this. For example, a configuration may be adopted in which classification processing is performed using a rule-based object classification algorithm such as feature amount comparison. When feature amount comparison is used, the classifier 103 calculates a predetermined feature amount from an area in which each article is included as a subject in the high-resolution image, and classifies the state of the article according to the calculated feature amount. do.

〔実施形態２〕
本実施形態では、実施形態１に係る分類装置１を用いて、複数の物品の一括検査を行う検査装置２を構成する実施形態について説明する。 [Embodiment 2]
In this embodiment, the classifying apparatus 1 according to the first embodiment is used to configure an inspection apparatus 2 that collectively inspects a plurality of articles.

図８は、検査装置２の機能的構成を示すブロック図である。なお、検査装置２の物理的構成については、図１を参照して説明した分類装置１と同様であるため、詳細な説明を省略する。 FIG. 8 is a block diagram showing the functional configuration of the inspection device 2. As shown in FIG. The physical configuration of the inspection device 2 is the same as that of the classification device 1 described with reference to FIG. 1, so detailed description thereof will be omitted.

図８に示すように、検査装置２は、分類装置１を含む。すなわち、検査装置２は、複数の物品の一括検査を行う検査装置であって、生成部１０１と、特定部１０２と、分類器１０３と、を備えている。また、検査装置２は、さらに、表示部１０４を備えている。 As shown in FIG. 8, inspection device 2 includes classification device 1 . That is, the inspection device 2 is an inspection device that collectively inspects a plurality of articles, and includes a generation unit 101 , a specification unit 102 and a classifier 103 . Moreover, the inspection device 2 further includes a display section 104 .

生成部１０１は、検査対象となる複数の物品を被写体として含む画像を原画像（特許請求の範囲における「高解像度画像」の一例）として、該原画像よりも解像度の低い低解像度画像を生成する生成処理を実行する。特定部１０２は、各物品が被写体として含まれている原画像上の領域を特定する特定処理を、生成部１０１にて生成された低解像度画像を参照して実行する。分類器１０３は、各物品の状態を分類する分類処理を、特定部１０２にて特定された原画像上の領域であって、該物品が被写体として含まれている原画像上の領域を選択的に参照して実行する。これにより、特定部１０２が参照する画像は、低解像画像となり、分類器が参照する画像は、原画像の一部分となる。表示部１０４は、分類器１０３による分類処理の結果（例えば、各物品の状態を示すクラス）を、低解像度画像と共にディスプレイに表示する。 The generation unit 101 generates a low-resolution image having a resolution lower than that of the original image, using an image including a plurality of articles to be inspected as objects as an original image (an example of a "high-resolution image" in the scope of claims). Execute the generation process. The identification unit 102 performs identification processing for identifying a region on the original image in which each article is included as a subject, with reference to the low-resolution image generated by the generation unit 101 . The classifier 103 performs classification processing for classifying the state of each article by selectively selecting an area on the original image specified by the specifying unit 102 and containing the article as a subject. Refer to and execute. As a result, the image referred to by the identifying unit 102 is a low-resolution image, and the image referred to by the classifier is a portion of the original image. The display unit 104 displays the result of the classification processing by the classifier 103 (for example, the class indicating the state of each article) together with the low-resolution image on the display.

特定部１０２は、各物品が被写体として含まれている領域を特定する特定処理を、機械学習により構築された第１モデルを用いて実行する。第１モデルの入力は、生成部１０１にて生成された低解像度画像である。第１モデルの出力は、各物品が被写体として含まれている領域である。分類器１０３は、各物品の状態を分類する分類処理を、機械学習により構築された第２モデルを用いて実行する。第２モデルの入力は、検査対象となる各物品が被写体として含まれている部分画像である。第２モデルの出力は、検査結果を表す予め定められた複数のクラスの何れかである。検査結果を表す複数のクラスは、物品の状態が正常であることを示す「良」と、異常であることを示す「否」と、の２つのクラスであってもよい。また、正常な状態及び異常な状態の少なくとも一方に複数の種別を設けた３つ以上のクラスであってもよい。 The specifying unit 102 uses the first model constructed by machine learning to perform specifying processing for specifying a region in which each article is included as a subject. The input of the first model is the low resolution image generated by the generation unit 101 . The output of the first model is the region containing each item as an object. The classifier 103 performs classification processing for classifying the state of each article using the second model constructed by machine learning. The input of the second model is a partial image containing each article to be inspected as an object. The output of the second model is any of a plurality of predefined classes representing inspection results. The plurality of classes representing the inspection results may be two classes, "good" indicating that the state of the article is normal, and "fail" indicating that the state of the article is abnormal. Also, there may be three or more classes in which at least one of the normal state and the abnormal state is provided with a plurality of types.

検査装置２による検査処理の流れは、図３を参照して説明した分類処理Ｓ１の流れと同様である。ただし、ステップＳ１０１において、入力される原画像が検査対象となる複数の物品を被写体として含む画像である点と、ステップＳ１０４において、分類処理の結果として一括検査の結果を表示する点が異なる。それ以外の処理については、分類処理Ｓ１と同様であるため、詳細な説明を省略する。 The flow of inspection processing by the inspection device 2 is the same as the flow of the classification processing S1 described with reference to FIG. However, in step S101, the input original image is an image including a plurality of articles to be inspected as objects, and in step S104, the results of batch inspection are displayed as the results of classification processing. Since other processes are the same as the classification process S1, detailed description thereof will be omitted.

（具体例）
検査装置２の具体例について、図９を参照して説明する。本具体例では、特定部１０２が用いる第１モデルとして、ＳＳＤ（Single Shot Multibox Detector）を利用した。このＳＳＤは、低解像度画像における任意の領域を入力として、物品が「あり」又は「なし（背景）」の何れかを出力するよう、或いは、物品が「あり」の領域を出力するように、予め機械学習されたものである。また、分類器１０３が用いる第２モデルとして、ＣＮＮ（Convolutional neural network）を利用した。このＣＮＮは、部分画像を入力として、予め定めた良品１クラス、不良品５クラスの合計６クラスの何れかを出力するよう、予め機械学習されたものである。 (Concrete example)
A specific example of the inspection device 2 will be described with reference to FIG. In this specific example, an SSD (Single Shot Multibox Detector) is used as the first model used by the identifying unit 102 . This SSD takes an arbitrary area in a low-resolution image as an input, and outputs either "with" an article or "without (background)" an article, or outputs an area with an "existing" article. It is machine-learned in advance. A CNN (Convolutional neural network) was used as the second model used by the classifier 103 . This CNN is machine-learned in advance so as to output one of a total of six classes, one class of good products and five classes of bad products, from a partial image as an input.

図９（ａ）は、本具体例で用いた原画像を示す図である。本具体例では、原画像として、複数の圧着端子を被写体として含む４６００×３５００ピクセルの高解像度画像を用いた。当該原画像は、圧着端子の微細な異常を検査するために、高解像度で撮像されたものである。 FIG. 9A is a diagram showing the original image used in this specific example. In this specific example, a high-resolution image of 4600×3500 pixels including a plurality of crimp terminals as subjects was used as the original image. The original image is taken with a high resolution in order to inspect for minute abnormalities in the crimp terminal.

図９（ｂ）は、図９（ａ）に示した高解像度画像を原画像として、生成部１０１によって生成された低解像度画像を示す図である。実施例１では、低解像度画像の解像度は、５１２×５１２ピクセルとした。また、図９（ｂ）に示す低解像度画像には、各物品を被写体として含む領域を示す白線の矩形が重畳されている。各領域は、特定部１０２によって原画像上の領域を特定する特定処理の過程で特定された。 FIG. 9(b) is a diagram showing a low-resolution image generated by the generation unit 101 using the high-resolution image shown in FIG. 9(a) as the original image. In Example 1, the resolution of the low-resolution image was set to 512×512 pixels. Also, on the low-resolution image shown in FIG. 9B, rectangles with white lines are superimposed to indicate areas including each article as a subject. Each area is specified by the specifying unit 102 in the process of specifying the area on the original image.

図９（ｃ）は、分類器１０３によって用いられた部分画像の１つを示す図である。当該部分画像は、図９（ｂ）に示す低解像度画像上の領域の何れかに対応する原画像上の領域が、原画像から切り出された画像である。当該部分画像のサイズは、６００×４００ピクセルであった。当該部分画像が第１モデルに入力されることにより、当該部分画像に被写体として含まれる圧着端子の検査結果クラスが判定された。 FIG. 9(c) shows one of the partial images used by the classifier 103. FIG. The partial image is an image in which a region on the original image corresponding to one of the regions on the low-resolution image shown in FIG. 9B is cut out from the original image. The size of the partial image was 600×400 pixels. By inputting the partial image into the first model, the inspection result class of the crimp terminal included in the partial image as a subject is determined.

図９（ｄ）は、表示部１０４によって表示された、分類処理の結果を示す図である。図９（ｄ）では、図９（ｂ）に示した低解像度画像上の各領域を示す矩形を、検査結果クラスに応じた色で塗り分けることにより、各圧着端子と検査結果クラスとの関連付けを認識可能に表示してもよい。 FIG. 9D is a diagram showing the result of the classification process displayed by the display unit 104. As shown in FIG. In FIG. 9(d), each crimp terminal is associated with an inspection result class by coloring rectangles indicating respective areas on the low-resolution image shown in FIG. 9(b) with colors corresponding to inspection result classes. may be recognizably displayed.

図９（ｅ）は、本具体例の特定部１０２による特定処理（物体検出）の精度を説明する図である。図９（ｂ）の低解像度画像において、目視により物品の実体「あり」と判断された領域のうち、ＡＩ（Artificial Intelligence）検出（すなわち、特定部１０２による特定処理）によって物品「あり」と特定された比率は１００％であった。また、目視により実体「なし」（すなわち、背景）と判断された領域のうち、ＡＩ検出によって物品「あり」と特定された比率は０％であった。 FIG. 9E is a diagram for explaining the accuracy of the identification processing (object detection) by the identification unit 102 of this specific example. In the low-resolution image of FIG. 9(b), among the areas where it is visually determined that there is an actual article, AI (Artificial Intelligence) detection (i.e., identification processing by the identification unit 102) specifies that the article is present. The ratio used was 100%. In addition, the percentage of areas where the substance "absent" (that is, the background) was visually determined to be "existing" by AI detection was 0%.

図９（ｆ）は、本具体例の分類器１０３による分類処理（クラス判定）の精度を説明する図である。ＡＩ判定（すなわち、分類器１０３による分類処理）により判定された検査結果クラスが、人の判定による検査結果クラスと一致した比率は１００％であった。 FIG. 9F is a diagram for explaining the accuracy of classification processing (class determination) by the classifier 103 of this specific example. The test result class determined by AI determination (that is, the classification process by the classifier 103) matched the test result class determined by humans at a rate of 100%.

（実施例１～２及び比較例１～６の評価）
次に、実施例１～２及び比較例１～６の比較について、図１０を参照して説明する。 (Evaluation of Examples 1-2 and Comparative Examples 1-6)
Next, a comparison of Examples 1-2 and Comparative Examples 1-6 will be described with reference to FIG.

実施例１～２は、分類装置１を含む検査装置２の実施例であり、特定処理で利用する学習済みモデルを異ならせて実施した例である。実施例１～２では、特定処理に何れの学習済みモデルを用いる場合も、低解像度画像を参照している。 Examples 1 and 2 are examples of the inspection device 2 including the classification device 1, and are examples in which different learned models are used in the specific processing. In Examples 1 and 2, the low-resolution image is referred to when any trained model is used for the specific process.

実施例１では、特定処理で用いる第１モデルとして、ＳＳＤを利用した。 In Example 1, SSD was used as the first model used in the specific process.

実施例２では、特定処理で用いる第１モデルとして、ＹＯＬＯ（You only look once）ｖ３を利用した。 In Example 2, YOLO (You only look once) v3 was used as the first model used in the specific process.

なお、実施例１～２では、何れも、分類処理で用いる第２モデルとして、ＣＮＮを利用した。また、実施例１～２で用いた低解像度画像の解像度は、何れも３００×３００ピクセルとした。 In Examples 1 and 2, CNN was used as the second model used in the classification process. Also, the resolution of the low-resolution images used in Examples 1 and 2 was 300×300 pixels.

比較例１～６は、分類装置１を用いずに、原画像を入力として各物品の検査結果クラスを出力する検査装置の例である。 Comparative Examples 1 to 6 are examples of inspection apparatuses that do not use the classification apparatus 1, but output an inspection result class of each article by inputting an original image.

比較例１～２の検査装置は、原画像を入力として各物品の検査結果クラスを出力する処理を、検査装置２のように特定処理と分類処理とに分けずに、学習済みモデルを用いて一括して行う一括処理を実行するよう構成した。また、比較例１～２では、一括処理で利用する学習済みモデルを異ならせて構成した。 The inspection apparatuses of Comparative Examples 1 and 2 do not divide the process of inputting the original image into the inspection result class of each article and outputting the inspection result class of each article into a specific process and a classification process as in the inspection apparatus 2, but using a learned model. Configured to execute batch processing. Also, in Comparative Examples 1 and 2, different trained models are used in batch processing.

比較例３～６の検査装置は、原画像を入力として各物品の検査結果クラスを出力する処理を、特定処理と分類処理とに分けて行うが、特定処理において、検査装置２のように低解像度画像を参照せずに、原画像を参照するよう構成した。比較例３～４は、特定処理で利用する学習済みモデルを異ならせて構成した。比較例５～６は、特定処理において学習済みモデルによらない手法を用いた。 In the inspection apparatuses of Comparative Examples 3 to 6, the process of inputting the original image and outputting the inspection result class of each article is divided into the identification process and the classification process. It is configured to refer to the original image without referencing the resolution image. Comparative Examples 3 and 4 are configured with different trained models used in specific processing. Comparative Examples 5 and 6 used a method that does not rely on a trained model in specific processing.

比較例１では、一括処理で用いる学習済みモデルとして、ＳＳＤを利用した。 In Comparative Example 1, an SSD was used as a trained model used in batch processing.

比較例２では、一括処理で用いる学習済みモデルとして、ＹＯＬＯｖ３を利用した。 In Comparative Example 2, YOLOv3 was used as a trained model used in batch processing.

比較例３では、原画像を参照した特定処理で用いる学習済みモデルとして、ＳＳＤを利用した。 In Comparative Example 3, an SSD was used as a trained model used in the specific process with reference to the original image.

比較例４では、原画像を参照した特定処理で用いる学習済みモデルとして、ＹＯＬＯｖ３を利用した。 In Comparative Example 4, YOLOv3 was used as the trained model used in the specific process with reference to the original image.

比較例５では、特定処理として、二値化処理を用いた。 In Comparative Example 5, binarization processing was used as the specific processing.

比較例６では、特定処理として、テンプレートマッチングを用いた。なお、比較例３～６では、分類処理で用いる学習済みモデルとして、ＣＮＮを利用した。 In Comparative Example 6, template matching was used as the identification process. In Comparative Examples 3 to 6, CNN was used as a trained model used in the classification process.

なお、上述した実施例１～２、比較例１～６では、各検査装置を、ＣＰＵ（Central Processing Unit）「ｉ７－８７５０Ｈ」、ＧＰＵ（Graphics Processing Unit）「ＧＴＸ１０５０Ｔい（４ＧＢ）」、メモリ「３２Ｇ」、ＯＳ（Operating System）「Windows（登録商標） 10」を有するコンピュータを用いて実現した。 In Examples 1 and 2 and Comparative Examples 1 to 6 described above, each inspection device is a CPU (Central Processing Unit) "i7-8750H", a GPU (Graphics Processing Unit) "GTX1050T (4 GB)", a memory " 32G" and OS (Operating System) "Windows (registered trademark) 10".

実施例１～２、比較例１～６の処理結果に対する評価について説明する。具体的には、各評価項目について、「○：全部の状況で処理できる」、「△：一部の状況で処理できる」、「×：処理できない」との評価を行った。 Evaluation of the processing results of Examples 1 and 2 and Comparative Examples 1 to 6 will be described. Specifically, each evaluation item was evaluated as follows: “○: can be processed under all conditions”, “Δ: can be processed under some conditions”, and “×: cannot be processed”.

評価項目「画像サイズ」は、大きな画像サイズの原画像への対応に対する評価を表す。当該評価は、実施例１～２及び比較例１～６に、それぞれ複数サイズの原画像を入力することにより行った。実施例１～２、比較例５～６は「○」であり、比較例１～４は「△」である。評価項目「画像サイズ」の詳細については、図面を変えて後述する。 The evaluation item "image size" represents evaluation of correspondence to the original image of large image size. The evaluation was performed by inputting original images of a plurality of sizes to each of Examples 1-2 and Comparative Examples 1-6. Examples 1 and 2 and Comparative Examples 5 and 6 are "○", and Comparative Examples 1 and 4 are "Δ". Details of the evaluation item "image size" will be described later with a different drawing.

したがって、高解像度の原画像が入力される場合、大きな画像サイズに対応可能な実施例１～２、比較例５～６が好適である。 Therefore, when a high-resolution original image is input, Examples 1 and 2 and Comparative Examples 5 and 6, which can handle large image sizes, are preferable.

評価項目「背景」は、背景のパターン（例えば、黒、迷彩等）を変化させた際の物体検出性能に対する評価を表す。当該評価は、実施例１～２及び比較例１～６に、背景のパターン等が異なる複数の原画像を入力することにより行った。実施例１～２、比較例１～４、６は「○」であり、比較例５は「△」である。 The evaluation item “background” represents the evaluation of the object detection performance when the background pattern (eg, black, camouflage, etc.) is changed. The evaluation was performed by inputting a plurality of original images having different background patterns and the like to Examples 1-2 and Comparative Examples 1-6. Examples 1 to 2 and Comparative Examples 1 to 4 and 6 are "○", and Comparative Example 5 is "Δ".

したがって、背景のパターンが多様である場合、実施例１、２、比較例１～４、６が好適である。 Therefore, when the background patterns are diverse, Examples 1 and 2 and Comparative Examples 1 to 4 and 6 are suitable.

評価項目「重なり等」は、重なり合う物品の検出性能に対する評価を表す。当該評価は、実施例１～２及び比較例１～６に、被写体として含まれる物品の領域が重なり合う原画像を入力することにより行った。実施例１～２、比較例１～４は「○」であり、比較例５～６は「△」である。 The evaluation item “overlapping, etc.” represents an evaluation of the detection performance of overlapping articles. The evaluation was carried out by inputting original images in which areas of articles included as subjects are overlapped in Examples 1-2 and Comparative Examples 1-6. Examples 1 and 2 and Comparative Examples 1 and 4 are marked with "◯", and Comparative Examples 5 and 6 are marked with "Δ".

したがって、検査対象の物品を含む領域が重なり合う原画像を用いる場合には、実施例１～２、比較例１～４が好適である。 Therefore, when using original images in which areas including articles to be inspected overlap, Examples 1 and 2 and Comparative Examples 1 and 4 are suitable.

評価項目「相似」は、各物品を含む領域の形状が同一かつサイズが均一でない場合の物品の検出性能に対する評価を表す。当該評価は、実施例１～２及び比較例１～６に、被写体として含まれる各物品の領域の形状が同一かつサイズが均一でない原画像を入力することにより行った。実施例１～２、比較例１～５は「○」であり、比較例６は「×」である。 The evaluation item “similarity” represents an evaluation of the detection performance of an article when the shape of the area containing each article is the same and the size is not uniform. The evaluation was performed by inputting original images in which the shapes of the areas of the articles included as subjects were the same and the sizes were not uniform in Examples 1-2 and Comparative Examples 1-6. Examples 1 to 2 and Comparative Examples 1 to 5 are "O", and Comparative Example 6 is "X".

したがって、各物品を含む領域サイズが均一でない原画像を用いる場合には、実施例１～２、比較例１～５が好適である。 Accordingly, Examples 1 and 2 and Comparative Examples 1 and 5 are suitable when using an original image in which the area size including each article is not uniform.

評価項目「形」は、各物品の形状が均一でない場合の物品の検出性能に対する評価を表す。当該評価は、実施例１～２及び比較例１～６に、被写体として含まれる各物品の形状が均一でない原画像を入力することにより行った。実施例１～２、比較例１～５は「○」であり、比較例６は「×」である。 The evaluation item “shape” represents an evaluation of the detection performance of articles when the articles are not uniform in shape. The evaluation was performed by inputting original images in which the shapes of articles included as subjects were not uniform in Examples 1-2 and Comparative Examples 1-6. Examples 1 to 2 and Comparative Examples 1 to 5 are "O", and Comparative Example 6 is "X".

したがって、各物品の形状が均一でない原画像を用いる場合には、実施例１～２、比較例１～５が好適である。 Accordingly, Examples 1 and 2 and Comparative Examples 1 and 5 are suitable when using original images in which the shape of each article is not uniform.

評価項目「色等」は、各物品の色等が均一でない場合の物品の検出性能に対する評価を表す。当該評価は、実施例１～２及び比較例１～６に、被写体として含まれる各物品の色等が均一でない原画像を入力することにより行った。実施例１～２、比較例１～４、６は「○」であり、比較例５は「△」である。 The evaluation item “color, etc.” represents an evaluation of the detection performance of an article when the color, etc. of each article is not uniform. The evaluation was performed by inputting an original image in which the colors and the like of each article included as a subject were not uniform in Examples 1-2 and Comparative Examples 1-6. Examples 1 to 2 and Comparative Examples 1 to 4 and 6 are "○", and Comparative Example 5 is "Δ".

したがって、各物品の色等が均一でない原画像を用いる場合には、実施例１～２、比較例１～４、６が好適である。 Therefore, Examples 1-2 and Comparative Examples 1-4 and 6 are suitable when using original images in which the colors and the like of each article are not uniform.

評価項目「形×色」は、各物品の形状及び色が均一でない場合の物品の検出性能に対する評価を表す。当該評価は、実施例１～２及び比較例１～６に、被写体として含まれる各物品の形状及び色が均一でない原画像を入力することにより行った。実施例１～２、比較例３～４は「○」であり、比較例１～２は「△」であり、比較例５～６は「×」である。 The evaluation item "shape x color" represents an evaluation of the detection performance of an article when the shape and color of each article are not uniform. The evaluation was carried out by inputting original images in which the shapes and colors of articles included as subjects were not uniform in Examples 1-2 and Comparative Examples 1-6. Examples 1 and 2 and Comparative Examples 3 and 4 are "○", Comparative Examples 1 and 2 are "Δ", and Comparative Examples 5 and 6 are "X".

したがって、各物品の形状及び色が均一でない原画像を用いる場合には、実施例１～２、比較例３～４が好適である。 Accordingly, Examples 1 and 2 and Comparative Examples 3 and 4 are suitable when using original images in which the shape and color of each article are not uniform.

評価項目「速度」は、大きな画像サイズの原画像が入力された場合の処理速度に対する評価を表す。当該評価は、実施例１～２及び比較例１～６に、画像サイズが異なる複数の原画像を入力することにより行った。実施例１～２、比較例５～６は「○」であり、比較例１～４は「△」である。評価項目「速度」の詳細については、図面を変えて後述する。 The evaluation item "speed" represents an evaluation of the processing speed when a large image size original image is input. The evaluation was performed by inputting a plurality of original images having different image sizes to Examples 1-2 and Comparative Examples 1-6. Examples 1 and 2 and Comparative Examples 5 and 6 are "○", and Comparative Examples 1 and 4 are "Δ". The details of the evaluation item "speed" will be described later with different drawings.

したがって、高解像度の原画像が入力される場合、実施例１～２、比較例５～６が好適である。 Therefore, when a high-resolution original image is input, Examples 1 and 2 and Comparative Examples 5 and 6 are preferable.

次に、評価項目「画像サイズ」の詳細を、図１１（ａ）を参照して説明する。図１１（ａ）は、実施例１～２、比較例１～４について、原画像の画像サイズに応じたメモリ使用量を比較したグラフである。当該グラフによれば、比較例１～４は、実施例１～２に対して、原画像の画像サイズが約１０^６を超えると、画像サイズが大きいほど多くのメモリを使用している。 Next, details of the evaluation item "image size" will be described with reference to FIG. FIG. 11(a) is a graph comparing memory usage according to the image size of the original image for Examples 1-2 and Comparative Examples 1-4. According to the graph, when the image size of the original image exceeds about 10 ⁶ , the larger the image size, the more memory is used in Comparative Examples 1-4 than in Examples 1-2.

次に、評価項目「速度」の詳細を、図１１（ｂ）を参照して説明する。図１１（ｂ）は、実施例１～２、比較例１～４について、原画像の画像サイズに応じた処理時間を比較したグラフである。当該グラフによれば、比較例１～４は、実施例１～２に対して、原画像の画像サイズが約１０^６を超えると、画像サイズが大きいほど処理時間が長くなる。 Next, the details of the evaluation item "speed" will be described with reference to FIG. 11(b). FIG. 11B is a graph comparing the processing times according to the image size of the original image for Examples 1-2 and Comparative Examples 1-4. According to the graph, in Comparative Examples 1 to 4, when the image size of the original image exceeds about 10 ⁶ , the larger the image size, the longer the processing time becomes compared to the Examples 1 and 2.

図１２（ａ）は、特定処理においてＳＳＤを利用する場合（例えば実施例１）、及びＹＯＬＯｖ３を利用する場合（例えば実施例２）について、原画像の画像サイズに応じた物品の検出数を比較したグラフである。画像サイズが１０^４を超える場合、ＹＯＬＯｖ３の方が、ＳＳＤに比べて検出数が多くなっている。 FIG. 12(a) compares the number of articles detected according to the image size of the original image when SSD is used in the specific process (e.g., Example 1) and when YOLOv3 is used (e.g., Example 2). is a graph. When the image size exceeds 10 ⁴ , YOLOv3 has a larger number of detections than SSD.

図１２（ｂ）は、特定処理においてＳＳＤを利用する場合（例えば実施例１）、及びＹＯＬＯｖ３を利用する場合（例えば実施例２）について、物品が被写体として含まれる領域の縦横比に応じた物品の検出正解率を比較したグラフである。当該グラフによれば、ＳＳＤの検出正解率は、縦横比に関わらず１００％である。また、ＹＯＬＯｖ３の検出正解率は、縦横比が１．２以上の場合１００％である。また、ＹＯＬＯｖ３の検出正解率は、縦横比が１．２未満の場合、縦横比が小さいほど（すなわち、正方形に近いほど）約５０％を下限に低下する。したがって、縦横比が１．２以上の場合、ＳＳＤ及びＹＯＬＯｖ３のどちらを用いてもよいが、縦横比が１．２未満の場合、ＹＯＬＯｖ３よりもＳＳＤを用いることが好ましい。 FIG. 12(b) shows a case where an SSD is used in the specific process (for example, Example 1) and a case where YOLOv3 is used (for example, Example 2). It is a graph comparing the detection accuracy rate of . According to the graph, the SSD detection accuracy rate is 100% regardless of the aspect ratio. Also, the detection accuracy rate of YOLOv3 is 100% when the aspect ratio is 1.2 or more. In addition, when the aspect ratio is less than 1.2, the detection accuracy rate of YOLOv3 decreases to a lower limit of about 50% as the aspect ratio becomes smaller (that is, closer to a square). Therefore, when the aspect ratio is 1.2 or more, either SSD or YOLOv3 may be used, but when the aspect ratio is less than 1.2, it is preferable to use SSD rather than YOLOv3.

以上、図１０～図１２に示したように、比較例１～６は、一部の評価項目について好適とは言えないが、実施例１～２は、上述した全ての評価項目について好適である。したがって、実施例１～２は、比較例１～６と比較して、優れていることがわかる。また、図９に示したように、４６００×３５００ピクセルの原画像を用いる場合、画像サイズが１０^６を超えるため、実施例１～２を用いることにより、メモリ使用量を抑え、高速に処理できる。また、図９に示したように、検査対象の物品（圧着端子）を含む領域が縦横比１．２以上の長方形である場合、実施例１、２のどちらを用いても構わない。また、実施形態１の変形例３で述べたように、実施例１、２の特定処理において、ＳＳＤ又はＹＯＬＯｖ３を用いる代わりに、テンプレートマッチングや二値化処理など、学習済みモデルによらない手法を用いてもよい。 As described above, as shown in FIGS. 10 to 12, Comparative Examples 1 to 6 are not suitable for some of the evaluation items, but Examples 1 and 2 are suitable for all of the evaluation items described above. . Therefore, it can be seen that Examples 1-2 are superior to Comparative Examples 1-6. Also, as shown in FIG. 9, when using an original image of 4600×3500 pixels, the image size exceeds 10 ⁶ . . Moreover, as shown in FIG. 9, when the area including the article to be inspected (crimp terminal) is a rectangle having an aspect ratio of 1.2 or more, either of Embodiments 1 and 2 may be used. Further, as described in Modification 3 of Embodiment 1, in the identification processing of Examples 1 and 2, instead of using SSD or YOLOv3, a technique that does not rely on a trained model, such as template matching or binarization, is used. may be used.

なお、実施形態２の検査装置２は、圧着端子の代わりに、半導体レーザチップやプリント回路基板などを検査対象とすることもできる。 The inspection apparatus 2 of Embodiment 2 can also inspect a semiconductor laser chip, a printed circuit board, or the like instead of the crimp terminal.

また、実施形態１の分類装置１は、複数の車両を被写体として含む原画像を入力として、各車両の車種クラスを判別する用途に用いることができる。 Further, the classification device 1 of Embodiment 1 can be used to determine the vehicle type class of each vehicle by inputting an original image including a plurality of vehicles as objects.

〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 [Additional notes]
The present invention is not limited to the above-described embodiments, but can be modified in various ways within the scope of the claims, and can be obtained by appropriately combining technical means disclosed in different embodiments. is also included in the technical scope of the present invention.

１分類装置
２検査装置
２０入力装置
３０出力装置
１０バス
１１主メモリ
１２プロセッサ
１３補助メモリ
１４入出力インターフェース
１０１生成部
１０２特定部
１０３分類器
１０４表示部 1 classification device 2 inspection device 20 input device 30 output device 10 bus 11 main memory 12 processor 13 auxiliary memory 14 input/output interface 101 generation unit 102 identification unit 103 classifier 104 display unit

Claims

In order to perform a batch inspection of a plurality of articles that are separate objects of the same type, a single high-resolution image and a single low-resolution image that commonly include the plurality of articles as subjects are referred to, and the inspection of the plurality of articles is performed. A classifier for classifying each state, comprising:
a specifying unit that refers to the low-resolution image and executes specifying processing for specifying a region on the high-resolution image in which each article is included as a subject;
A single classification process for classifying the state of each article by selectively referring to the area on the high-resolution image specified by the specifying unit as the area containing the article as a subject. a classifier ;
The classifier performs a classification process for classifying the state of each article, the partial image cut out from the high-resolution image, and the area specified by the specifying unit as an area including the article as a subject. Execute using a trained model that takes as input a partial image including an area on the high-resolution image and outputs any of a plurality of predetermined classes indicating the state of the article,
The plurality of predetermined classes are at least one non-defective product class indicating that the condition of the product is normal, and at least one defective product class indicating that the product condition is abnormal.
A classification device characterized by:

The identification unit performs identification processing for identifying an area in which each article is included as a subject, using a learned model that receives the low-resolution image as an input and outputs an area in which the article is included as an object. Execute,
2. The classification device according to claim 1, characterized in that:

further comprising a generation unit that performs generation processing for generating the low-resolution image having a resolution lower than that of the high-resolution image with reference to the high-resolution image;
3. The classification device according to claim 1 or 2 , characterized in that:

A display unit for outputting the result of the classification process to a display together with the image including the plurality of articles as subjects,
The classification device according to any one of claims 1 to 3 , characterized in that:

In order to collectively inspect a plurality of articles that are separate objects of the same type, a single high-resolution unit that includes the plurality of articles as objects in common using a classification device that includes a specific unit and a single classifier. A classification method for classifying the state of each of the plurality of articles with reference to an image and a single low-resolution image,
a specifying step in which the specifying unit executes specifying processing for specifying a region on the high-resolution image in which each article is included as a subject, with reference to the low-resolution image;
The single classifier selectively refers to the region on the high-resolution image identified in the identifying step as a region containing the article as a subject in the classification process for classifying the state of each article. a classification step performed by
The classifier performs a classification process for classifying the state of each article, the partial image cut out from the high-resolution image, and the area specified by the specifying unit as an area including the article as a subject. Execute using a trained model that takes as input a partial image including an area on the high-resolution image and outputs any of a plurality of predetermined classes indicating the state of the article,
The plurality of predetermined classes are at least one non-defective product class indicating that the condition of the product is normal, and at least one defective product class indicating that the product condition is abnormal.
A classification method characterized by:

A classification program that causes a computer to operate as the classification apparatus according to any one of claims 1 to 4 , wherein the computer functions as each part of the classification apparatus.

5. An inspection apparatus characterized by using the sorting apparatus according to any one of claims 1 to 4 to collectively inspect the plurality of articles.