JP2020042754A - Classification device, classification method, classification program, and inspection device - Google Patents
Classification device, classification method, classification program, and inspection device Download PDFInfo
- Publication number
- JP2020042754A JP2020042754A JP2019010485A JP2019010485A JP2020042754A JP 2020042754 A JP2020042754 A JP 2020042754A JP 2019010485 A JP2019010485 A JP 2019010485A JP 2019010485 A JP2019010485 A JP 2019010485A JP 2020042754 A JP2020042754 A JP 2020042754A
- Authority
- JP
- Japan
- Prior art keywords
- classification
- article
- resolution image
- image
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、画像に被写体として含まれる物品の状態を分類する分類装置、分類方法、及び分類プログラムに関する。また、物品の一括検査を行う検査装置に関する。 The present invention relates to a classification device, a classification method, and a classification program for classifying the state of an article included as a subject in an image. The present invention also relates to an inspection device that performs a batch inspection of articles.
画像に被写体として含まれる物品の状態を、コンピュータを用いて分類する技術が広く用いられている。例えば、特許文献１には、検査画像に被写体として含まれる基板の状態（欠陥の有無等）を、コンピュータを用いて分類する技術が開示されている。 2. Description of the Related Art A technique for classifying a state of an article included in an image as a subject using a computer is widely used. For example, Patent Literature 1 discloses a technique of classifying a state of a board (whether or not there is a defect) included in a test image as a subject using a computer.
複数の物品の状態を効率的に分類するためには、これらの物品の各々を被写体として含む複数の画像を参照する構成を採用するよりも、これらの物品を被写体として含む単一の画像を参照する構成を採用する方が効率的である。しかしながら、後者の構成を採用する場合、物品の個数に応じて参照する画像の解像度を高くする必要がある。なぜなら、参照する画像における一物品あたりの解像度が、所望の分類精度を得るために必要な解像度以上であることが要求されるからである。 In order to efficiently classify the state of a plurality of articles, rather than employing a configuration in which a plurality of images including each of these articles as subjects is referred, a single image including these articles as subjects is referred to. It is more efficient to adopt such a configuration. However, when the latter configuration is adopted, it is necessary to increase the resolution of the image to be referred to according to the number of articles. This is because it is required that the resolution per article in the referenced image is higher than the resolution required to obtain the desired classification accuracy.
しかしながら、参照する画像の解像度が高くなるほど、処理に要するメモリの容量が大きくなると共に、処理に要する時間が長くなる（処理速度が遅くなる）という問題がある。特に、物品の一括検査を行う場合、すなわち、各物品に存在する微細な欠陥に着目して各物品の状態を分類する場合、参照する画像における一物品あたりの解像度を更に高くする必要があるため、このような問題が顕著に現れる。 However, there is a problem that as the resolution of the image to be referred to increases, the capacity of the memory required for processing increases, and the time required for processing increases (processing speed decreases). In particular, when performing a collective inspection of articles, that is, when classifying the state of each article by focusing on minute defects existing in each article, it is necessary to further increase the resolution per article in the referenced image. Such a problem appears remarkably.
本発明は、上記の問題に鑑みてなされたものであり、その目的は、処理の精度を犠牲にすることなく、処理に要するメモリの容量が小さく、かつ、処理に要する時間の短い分類装置、分類方法、分類プログラム、及び検査装置を実現することにある。 The present invention has been made in view of the above-described problems, and its object is to reduce the memory capacity required for processing and reduce the time required for processing without sacrificing processing accuracy. It is to implement a classification method, a classification program, and an inspection device.
上記の課題を解決するために、本発明の一態様に係る分類装置は、複数の物品を被写体として共通に含む高解像度画像及び低解像度画像を参照して、上記複数の物品の各々の状態を分類する分類装置であって、各物品が被写体として含まれている上記高解像度画像上の領域を特定する特定処理を、上記低解像度画像を参照して実行する特定部と、各物品の状態を分類する分類処理を、該物品が被写体として含まれている領域として上記特定部にて特定された上記高解像度画像上の領域を選択的に参照することによって実行する分類器と、を備えている。 In order to solve the above-described problem, a classification device according to one embodiment of the present invention refers to a high-resolution image and a low-resolution image that include a plurality of articles as subjects in common, and determines a state of each of the plurality of articles. A classifying device for classifying, a specifying unit that executes a specifying process for specifying an area on the high-resolution image in which each article is included as a subject with reference to the low-resolution image, and a state of each article. A classifier that performs a classification process for classifying by selectively referring to a region on the high-resolution image specified by the specifying unit as a region where the article is included as a subject. .
上記の課題を解決するために、本発明の一態様に係る分類方法は、複数の物品を被写体として共通に含む高解像度画像及び低解像度画像を参照して、上記複数の物品の各々の状態を分類する分類方法であって、各物品が被写体として含まれている上記高解像度画像上の領域を特定する特定処理を、上記低解像度画像を参照して実行する特定ステップと、各物品の状態を分類する分類処理を、該物品が被写体として含まれている領域として上記特定ステップにて特定された上記高解像度画像上の領域を選択的に参照することによって実行する分類ステップと、を備えている。 In order to solve the above-described problem, a classification method according to one embodiment of the present invention refers to a high-resolution image and a low-resolution image that include a plurality of articles as subjects in common, and determines a state of each of the plurality of articles. A classifying method for classifying, wherein a specific step of specifying a region on the high-resolution image in which each article is included as a subject with reference to the low-resolution image; and A classifying step of performing a classifying process for classifying by selectively referring to a region on the high-resolution image specified in the specifying step as a region where the article is included as a subject. .
上記の課題を解決するために、本発明の一態様に係る分類プログラムは、コンピュータを請求項１〜５の何れか１項に記載の分類装置として動作させる分類プログラムであって、上記コンピュータを上記分類装置の各部として機能させる。 In order to solve the above problem, a classification program according to one embodiment of the present invention is a classification program that causes a computer to operate as the classification device according to any one of Claims 1 to 5, It functions as each part of the classification device.
上記の構成によれば、各物品が被写体として含まれている高解像度画像上の領域を特定する特定処理において、高解像度画像よりも解像度の低い低解像度画像が参照される。このため、高解像度画像を参照して特定処理を実行する場合と比較して、特定処理に要するメモリの容量を小さくすると共に、特定処理に要する時間を短くすることができる。更に、上記の構成によれば、各物品の状態を分類する分類処理において、高解像度画像の一部分（該物品が被写体として含まれている領域として、特定処理により特定された領域）が選択的に参照される。このため、高解像度画像全体を参照して分類処理を実行する場合と比較して、分類処理に要するメモリの容量を小さくすると共に、分類処理に要する時間を短くすることができる。また、低解像度画像を参照して分類処理を実行する場合と比較して、分類精度を高くすることができる。したがって、上記の構成によれば、分類精度を犠牲にすることなく、特定処理及び分類処理に要するメモリの容量を小さくすると共に、特定処理及び分類処理に要する時間を短くすることができる。 According to the above configuration, in the specifying process for specifying the region on the high-resolution image in which each article is included as a subject, a low-resolution image having a lower resolution than the high-resolution image is referred to. Therefore, compared to the case where the specific processing is executed with reference to the high-resolution image, the memory capacity required for the specific processing can be reduced, and the time required for the specific processing can be shortened. Further, according to the above configuration, in the classification processing for classifying the state of each article, a part of the high-resolution image (the area specified by the specific processing as the area where the article is included as a subject) is selectively. Referenced. Therefore, compared to the case where the classification process is executed by referring to the entire high-resolution image, the memory capacity required for the classification process can be reduced, and the time required for the classification process can be shortened. In addition, the classification accuracy can be increased as compared with the case where the classification processing is executed with reference to the low-resolution image. Therefore, according to the above configuration, it is possible to reduce the memory capacity required for the identification processing and the classification processing and to shorten the time required for the identification processing and the classification processing without sacrificing the classification accuracy.
本発明の一態様に係る分類装置において、上記特定部は、各物品が被写体として含まれている領域を特定する特定処理を、上記低解像度画像を入力とし、該物品が被写体として含まれている領域を出力とする学習済みモデルを用いて実行する、ことが好ましい。 In the classification device according to an aspect of the present invention, the specifying unit may perform a specifying process of specifying a region in which each article is included as a subject, the low-resolution image being input, and the article being included as a subject. It is preferable to execute using a learned model that outputs a region.
上記の構成によれば、各物品が被写体として含まれている領域を、より精度よく特定することができる。 According to the above configuration, it is possible to more accurately specify a region where each article is included as a subject.
本発明の一態様に係る分類装置において、上記分類器は、各物品の状態を分類する分類処理を、上記高解像度画像から切り出された部分画像であって、該物品が被写体として含まれている領域として上記特定部にて特定された上記高解像度画像上の領域を含む部分画像を入力とし、該物品の状態を示す予め定められた複数のクラスの何れかを出力とする学習済みモデルを用いて実行する、ことが好ましい。 In the classification device according to one aspect of the present invention, the classifier is a partial image cut out from the high-resolution image, the classification processing for classifying the state of each article, and the article is included as a subject. Using a learned model in which a partial image including the area on the high-resolution image specified by the specifying unit as an area is input, and any one of a plurality of predetermined classes indicating the state of the article is output. It is preferable to execute it.
上記の構成によれば、各物品をより精度よく分類することができる。 According to the above configuration, each article can be classified with higher accuracy.
本発明の一態様に係る分類装置において、上記高解像度画像よりも解像度の低い上記低解像度画像を生成する生成処理を、上記高解像度画像を参照して実行する生成部を更に備えている、ことが好ましい。 The classification device according to an aspect of the present invention, further includes a generation unit configured to execute a generation process of generating the low-resolution image having a lower resolution than the high-resolution image with reference to the high-resolution image. Is preferred.
上記の構成によれば、高解像度画像及び低解像度画像を入力することなく、高解像度画像を入力するだけで、上述した効果を奏する。 According to the above configuration, the above-described effects can be obtained only by inputting a high-resolution image without inputting a high-resolution image and a low-resolution image.
本発明の一態様に係る分類装置において、上記複数の物品を被写体として含む画像と共に、上記分類処理の結果をディスプレイに表示させる表示部を更に備えている、ことが好ましい。 The classification device according to an aspect of the present invention preferably further includes a display unit that displays a result of the classification processing on a display together with the image including the plurality of articles as subjects.
上記の構成によれば、ユーザに、分類処理の結果をわかりやすく提示することができる。 According to the above configuration, the result of the classification process can be presented to the user in an easily understandable manner.
上記の課題を解決するために、本発明の一態様に係る検査装置、上述した分類装置を用いて、上記複数の物品の一括検査を行う。 In order to solve the above problems, a plurality of articles are inspected collectively by using the inspection device according to one embodiment of the present invention and the above-described classification device.
上記の構成によれば、検査精度を犠牲にすることなく、処理に要するメモリの容量を小さくすると共に、処理に要する時間を短くすることができる。 According to the above configuration, the memory capacity required for processing can be reduced and the time required for processing can be reduced without sacrificing inspection accuracy.
本発明の一態様によれば、分類精度を犠牲にすることなく、処理に要するメモリの容量が小さく、かつ、処理に要する時間の短い分類装置、分類方法、及び分類プログラムを実現することができる。また、本発明の一態様によれば、検査精度を犠牲にすることなく、処理に要するメモリの容量が小さく、かつ、処理に要する時間の短い検査装置を実現することができる。 According to one embodiment of the present invention, it is possible to realize a classification device, a classification method, and a classification program that require a small memory capacity for processing and have a short processing time without sacrificing classification accuracy. . Further, according to one embodiment of the present invention, an inspection device in which the memory capacity required for processing is small and the processing time is short can be realized without sacrificing inspection accuracy.
〔第１の実施形態〕
（分類装置の物理的構成）
本発明の第１の実施形態に係る分類装置１の物理的構成について、図１を参照して説明する。図１は、分類装置１の物理的構成を示すブロック図である。
[First Embodiment]
(Physical configuration of classification device)
A physical configuration of the classification device 1 according to the first embodiment of the present invention will be described with reference to FIG. FIG. 1 is a block diagram illustrating a physical configuration of the classification device 1.
分類装置１は、図１に示すように、バス１０と、主メモリ１１と、プロセッサ１２と、補助メモリ１３と、入出力インターフェース１４と、を備えたコンピュータである。主メモリ１１、プロセッサ１２、補助メモリ１３、及び入出力インターフェース１４は、バス１０を介して互いに接続されている。主メモリ１１としては、例えば、単一又は複数の半導体ＲＡＭ（random access memory）が用いられる。プロセッサ１２としては、例えば、単一又は複数のマイクロプロセッサ、単一又は複数のデジタルシグナルプロセッサ、単一又は複数のマイクロコントローラ、又はこれらの組み合わせが用いられる。補助メモリ１３としては、例えば、単一又は複数のＨＤＤ（Hard Disk Drive）、単一又は複数のＳＳＤ（Solid State Drive）、又はこれらの組み合わせが用いられる。また、補助メモリ１３の一部又は全部は、通信インタフェース（図示せず）を介して接続されたネットワーク上のストレージであってもよい。入出力インターフェース１４としては、例えば、ＵＳＢ（Universal Serial Bus）インターフェース、赤外線やBluetooth（登録商標）等の近距離通信インターフェース、又はこれらの組み合わせが用いられる。 The classification device 1 is a computer including a bus 10, a main memory 11, a processor 12, an auxiliary memory 13, and an input / output interface 14, as shown in FIG. The main memory 11, the processor 12, the auxiliary memory 13, and the input / output interface 14 are connected to each other via the bus 10. As the main memory 11, for example, a single or a plurality of semiconductor random access memories (RAMs) are used. As the processor 12, for example, a single or a plurality of microprocessors, a single or a plurality of digital signal processors, a single or a plurality of microcontrollers, or a combination thereof is used. As the auxiliary memory 13, for example, a single or a plurality of HDDs (Hard Disk Drives), a single or a plurality of SSDs (Solid State Drives), or a combination thereof is used. A part or all of the auxiliary memory 13 may be a storage on a network connected via a communication interface (not shown). As the input / output interface 14, for example, a USB (Universal Serial Bus) interface, a short-range communication interface such as infrared rays or Bluetooth (registered trademark), or a combination thereof is used.
入出力インターフェース１４には、例えば、入力装置２０及び出力装置３０が接続される。入力装置２０としては、例えば、キーボード、マウス、タッチパッド、マイク、又はこれらの組み合わせ等が用いられる。出力装置３０としては、例えば、ディスプレイ、プリンタ、スピーカ、又はこれらの組み合わせが用いられる。なお、分類装置１は、ノート型コンピュータのように、入力装置２０として機能するキーボート及びタッチパッド、並びに、出力装置３０として機能するディスプレイを内蔵していてもよい。また、分類装置１は、スマートフォン又はタブレット型コンピュータのように、入力装置２０及び出力装置３０として機能するタッチパネルを内蔵していてもよい。 For example, an input device 20 and an output device 30 are connected to the input / output interface 14. As the input device 20, for example, a keyboard, a mouse, a touch pad, a microphone, a combination thereof, or the like is used. As the output device 30, for example, a display, a printer, a speaker, or a combination thereof is used. Note that the classification device 1 may include a keyboard and a touchpad functioning as the input device 20 and a display functioning as the output device 30 like a notebook computer. Further, the classification device 1 may include a touch panel that functions as the input device 20 and the output device 30 like a smartphone or a tablet computer.
補助メモリ１３には、後述する分類処理Ｓ１をプロセッサ１２に実行させるためのプログラムＰが格納されている。プロセッサ１２は、補助メモリ１３に格納されたプログラムＰを主メモリ１１上に展開し、主メモリ１１上に展開されたプログラムＰに含まれる各命令を実行することによって、後述する分類処理Ｓ１に含まれる各ステップを実行する。また、補助メモリ１３には、後述する分類処理Ｓ１を実行するためにプロセッサ１２が参照する各種データが格納されている。 The auxiliary memory 13 stores a program P for causing the processor 12 to execute a later-described classification process S1. The processor 12 expands the program P stored in the auxiliary memory 13 on the main memory 11 and executes each instruction included in the program P expanded on the main memory 11 so as to be included in a classification process S1 described later. Perform each step. Further, the auxiliary memory 13 stores various data that the processor 12 refers to to execute the below-described classification processing S1.
なお、ここでは、内部記憶媒体である補助メモリ１３に格納されているプログラムＰに従ってプロセッサ１２が後述する分類処理Ｓ１を実行する形態について説明したが、これに限定されない。すなわち、外部記録媒体に格納されているプログラムＰに従ってプロセッサ１２が後述する分類処理Ｓ１を実行する形態を採用してもよい。この場合、外部記録媒体としては、コンピュータが読み取り可能な「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブル論理回路などを用いることができる。あるいは、通信インタフェース（図示せず）を介して接続されるネットワーク上から取得したプログラムＰに従ってプロセッサ１２が後述する分類処理Ｓ１を実施する形態を採用してもよい。この場合、ネットワークとしては、例えば、インターネット、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、又はこれらの少なくとも一部の組み合わせ等などを用いることができる。 In addition, here, the mode in which the processor 12 executes the later-described classification processing S1 according to the program P stored in the auxiliary memory 13 which is an internal storage medium has been described, but is not limited thereto. That is, a mode in which the processor 12 executes a classification process S1 described later according to the program P stored in the external recording medium may be adopted. In this case, as the external recording medium, a computer-readable “temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, or a programmable logic circuit can be used. Alternatively, an embodiment may be adopted in which the processor 12 performs a later-described classification process S1 according to a program P acquired from a network connected via a communication interface (not shown). In this case, as the network, for example, the Internet, a wired LAN (Local Area Network), a wireless LAN, a combination of at least a part of them, and the like can be used.
また、ここでは、単一のコンピュータを用いて分類装置１を実現する形態について説明したが、これに限定されない。すなわち、互いに通信可能に構成された複数のコンピュータを用いて分類装置１を実現する形態を採用してもよい。この場合、後述する分類処理Ｓ１を構成する各ステップを、これらのコンピュータにより並列的に実行することが可能になる。 In addition, here, the form in which the classification device 1 is realized using a single computer has been described, but the present invention is not limited to this. That is, a mode in which the classification device 1 is realized using a plurality of computers configured to be able to communicate with each other may be adopted. In this case, it is possible for these computers to execute the steps constituting the later-described classification processing S1 in parallel.
（分類装置の機能的構成）
分類装置１の機能的構成について、図２を参照して説明する。図２は、分類装置１の機能的構成を示すブロック図である。
(Functional configuration of classification device)
The functional configuration of the classification device 1 will be described with reference to FIG. FIG. 2 is a block diagram illustrating a functional configuration of the classification device 1.
分類装置１は、図２に示すように、生成部１０１と、特定部１０２と、分類器１０３と、表示部１０４とを備えている。これらのブロックは、上述したプロセッサ１２が上述したプログラムＰの命令を実行することにより実現される機能ブロックである。分類装置１には、複数の物品を被写体として含む画像（以下、「原画像」とも記載する）が入力される。原画像は、特許請求の範囲における「高解像度画像」の一例である。 As shown in FIG. 2, the classification device 1 includes a generation unit 101, a specification unit 102, a classifier 103, and a display unit 104. These blocks are functional blocks realized by the processor 12 executing the instructions of the program P described above. An image including a plurality of articles as subjects (hereinafter, also referred to as an “original image”) is input to the classification device 1. The original image is an example of the “high-resolution image” in the claims.
生成部１０１は、原画像よりも解像度の低い低解像度画像を生成する生成処理を、分類装置１に入力された原画像を参照して実行するブロックである。例えば、生成部１０１は、原画像から低解像度画像を生成する生成処理を、原画像を縮小又は粗視化することによって実行する。なお、生成する低解像度画像の解像度は、予め定められた特定の解像度（例えば、５１２ピクセル×５１２ピクセル）であってもよいし、原画像の解像度に応じて定められた解像度（例えば、原画像の解像度の１／８）であってもよいし、入力装置２０から入力されたユーザ指定の解像度であってもよい。 The generation unit 101 is a block that executes a generation process of generating a low-resolution image having a lower resolution than the original image with reference to the original image input to the classification device 1. For example, the generation unit 101 executes a generation process of generating a low-resolution image from an original image by reducing or coarse-graining the original image. The resolution of the low-resolution image to be generated may be a predetermined specific resolution (for example, 512 pixels × 512 pixels), or may be a resolution determined according to the resolution of the original image (for example, the original image). 1/8) or a user-specified resolution input from the input device 20.
特定部１０２は、各物品が被写体として含まれている原画像上の領域を特定する特定処理を、生成部１０１にて生成された低解像度画像を参照して実行するブロックである。例えば、特定部１０２は、各物品が被写体として含まれている領域を特定する特定処理を、機械学習により構築された学習済みモデル（以下、「第１モデル」と記載する）を用いて実行する。第１モデルの入力は、生成部１０１にて生成された低解像度画像である。第１モデルの出力は、各物品が被写体として含まれている領域である。第１モデルとしては、例えば、ＹＯＬＯ（You Look Only Once）やＳＳＤ（Single Shot Multibox Detector）など、物体検出用のＣＮＮ（Convolutional Neural Network）を用いることができる。第１モデルを構成する係数群は、補助メモリ１３に格納されている。 The specifying unit 102 is a block that executes a specifying process of specifying a region on the original image in which each article is included as a subject with reference to the low-resolution image generated by the generating unit 101. For example, the specifying unit 102 executes a specifying process of specifying a region in which each article is included as a subject using a learned model (hereinafter, referred to as a “first model”) constructed by machine learning. . The input of the first model is the low-resolution image generated by the generation unit 101. The output of the first model is an area where each article is included as a subject. As the first model, for example, a CNN (Convolutional Neural Network) for object detection, such as YOLO (You Look Only Once) or SSD (Single Shot Multibox Detector), can be used. The coefficient group forming the first model is stored in the auxiliary memory 13.
分類器１０３は、各物品の状態を分類する分類処理を、該物品が被写体として含まれている領域として特定部１０２にて特定された原画像上の領域を選択的に参照して実行するブロックである。例えば、分類器１０３は、各物品の状態を分類する分類処理を、機械学習により構築された学習済みモデル（以下、「第２モデル」と記載）を用いて実行する。第２モデルの入力は、原画像から切り出された部分画像であって、各物品が被写体として含まれている領域として特定部１０２にて特定された原画像上の領域を含む部分画像である。第２モデルの出力は、各物品の状態を示すクラスとして、予め定められたクラスの何れかである。第２モデルとしては、例えば、物体分類用のＣＮＮ（Convolutional Nural Network）を用いることができる。第２モデルを構成する係数群は、補助メモリ１３に格納されている。 A block that performs a classification process of classifying the state of each article by selectively referring to an area on the original image specified by the specifying unit 102 as an area including the article as a subject. It is. For example, the classifier 103 executes a classification process for classifying the state of each article using a learned model constructed by machine learning (hereinafter, referred to as a “second model”). The input of the second model is a partial image cut out from the original image, and is a partial image including a region on the original image specified by the specifying unit 102 as a region where each article is included as a subject. The output of the second model is one of predetermined classes as a class indicating the state of each article. As the second model, for example, a CNN (Convolutional Nural Network) for object classification can be used. The coefficient group forming the second model is stored in the auxiliary memory 13.
表示部１０４は、分類器１０３による分類処理の結果（例えば、各物品の状態を示すクラス）を、複数の物品を被写体として含む出力画像と共にディスプレイ（出力装置３０）に表示する表示処理を実行するブロックである。なお、表示部１０４がディスプレイに表示する出力画像は、複数の物品を被写体として含む画像であればよく、その解像度は任意である。例えば、出力画像は、原画像であってもよいし、低解像度画像であってもよい。 The display unit 104 executes a display process of displaying the result of the classification process by the classifier 103 (for example, a class indicating the state of each article) on a display (output device 30) together with an output image including a plurality of articles as subjects. It is a block. Note that the output image displayed on the display by the display unit 104 may be an image including a plurality of articles as subjects, and the resolution is arbitrary. For example, the output image may be an original image or a low-resolution image.
（分類処理の流れ）
分類装置１が実行する分類処理Ｓ１の流れについて、図３〜図７を参照して説明する。
(Flow of classification process)
The flow of the classification process S1 performed by the classification device 1 will be described with reference to FIGS.
図３は、分類処理Ｓ１の流れを示すフローチャートである。分類処理Ｓ１は、分類装置１に原画像が入力されることにより開始する。分類処理Ｓ１は、図３に示すように、生成ステップＳ１０１と、特定ステップＳ１０２と、分類ステップＳ１０３と、表示ステップＳ１０４と、を含んでいる。 FIG. 3 is a flowchart showing the flow of the classification process S1. The classification process S1 starts when an original image is input to the classification device 1. As shown in FIG. 3, the classification process S1 includes a generation step S101, a specification step S102, a classification step S103, and a display step S104.
生成ステップＳ１０１は、原画像よりも解像度の低い低解像度画像を生成する生成処理を、分類装置１に入力された原画像を参照して生成部１０１が実行するステップである。 The generation step S101 is a step in which the generation unit 101 executes a generation process of generating a low-resolution image having a lower resolution than the original image with reference to the original image input to the classification device 1.
図４は、生成ステップＳ１０１における生成処理の一例を示す模式図である。図４においては、原画像ＩＭＧ１として、１３個の物品Ｏ１〜Ｏ１３を撮像して得られた画像を例示している。生成部１０１は、原画像ＩＭＧ１を縮小又は粗視化することにより、原画像ＩＭＧ１よりも解像度の低い低解像度画像ＩＭＧ２を生成する。低解像度画像ＩＭＧ２は、原画像ＩＭＧ１と同様、１３個の物品Ｏ１〜Ｏ１３を被写体として含む画像となる。 FIG. 4 is a schematic diagram illustrating an example of the generation processing in the generation step S101. FIG. 4 illustrates an image obtained by imaging 13 articles O1 to O13 as the original image IMG1. The generation unit 101 generates a low-resolution image IMG2 having a lower resolution than the original image IMG1 by reducing or coarse-graining the original image IMG1. The low-resolution image IMG2 is an image including 13 articles O1 to O13 as subjects as in the case of the original image IMG1.
特定ステップＳ１０２は、各物品が被写体として含まれている原画像上の領域を特定する特定処理を、生成ステップＳ１０１にて生成された低解像度画像を参照して特定部１０２が実行するステップである。本実施形態において、この特定処理は、上述したように、機械学習により構築された第１モデルを用いて実行される。 The specifying step S102 is a step in which the specifying unit 102 executes a specifying process of specifying a region on the original image in which each article is included as a subject with reference to the low-resolution image generated in the generation step S101. . In the present embodiment, this specific processing is executed using the first model constructed by machine learning, as described above.
図５は、特定ステップＳ１０２における特定処理の一例を示す模式図である。図５においては、低解像度画像ＩＭＧ２として、１３個の物品Ｏ１〜Ｏ１３を被写体として含む画像を例示している。まず、特定部１０２は、低解像度画像ＩＭＧ２を第１モデルに入力する。第１モデルは、各物品Ｏｉ（ｉ＝１，２，…，１３）が被写体として含まれている低解像度画像ＩＭＧ２上の領域Ａ２ｉを出力する。次に、特定部１０２は、低解像度画像ＩＭＧ２上の各領域Ａ２ｉを、原画像ＩＭＧ１及び低解像度画像ＩＭＧ２間の解像度の比率に基づいて、原画像ＩＭＧ１上の領域Ａ１ｉに変換する。これにより、各物品Ｏｉが被写体として含まれている原画像ＩＭＧ１上の領域Ａ１ｉが得られる。 FIG. 5 is a schematic diagram illustrating an example of the specifying process in the specifying step S102. FIG. 5 illustrates an image including 13 articles O1 to O13 as subjects as the low-resolution image IMG2. First, the specifying unit 102 inputs the low resolution image IMG2 to the first model. The first model outputs an area A2i on the low-resolution image IMG2 in which each article Oi (i = 1, 2,..., 13) is included as a subject. Next, the specifying unit 102 converts each area A2i on the low-resolution image IMG2 into an area A1i on the original image IMG1 based on the resolution ratio between the original image IMG1 and the low-resolution image IMG2. Thus, an area A1i on the original image IMG1 in which each article Oi is included as a subject is obtained.
分類ステップＳ１０３は、各物品の状態を分類する分類処理を、該物品が被写体として含まれている領域として特定ステップＳ１０２にて特定された原画像上の領域を選択的に参照して分類器１０３が実行するステップである。本実施形態において、この分類処理は、上述したように、機械学習により構築された第２モデルを用いて実行される。 In the classification step S103, a classification process for classifying the state of each article is performed by selectively referring to the area on the original image identified in the identification step S102 as an area where the article is included as a subject. Are the steps to be performed. In the present embodiment, this classification processing is executed using the second model constructed by machine learning, as described above.
図６は、分類ステップＳ１０３における分類処理の一例を示す模式図である。まず、分類器１０３は、特定ステップＳ１０２にて特定された各領域Ａ１ｉを含む部分画像ＩＭＧ３ｉを、原画像ＩＭＧ１から切り出す。図６においては、部分画像ＩＭＧ３ｉとして、１３枚の部分画像ＩＭＧ３１〜ＩＭＧ３１３を例示している。次に、分類器１０３は、各部分画像ＩＭＧ３ｉを第２モデルに入力する。第２モデルは、各物品Ｏｉの状態を示す情報ｏｕｔ１を出力する。ここでは、物品の状態を示す３つのクラスＡ、Ｂ、Ｃが予め定められているものとする。図６では、情報ｏｕｔ１が「クラスＡ」を表しており、物品Ｏ１は、「クラスＡ」に分類されている。また、情報ｏｕｔ１３が「クラスＣ」表しており、物品Ｏ１３は、「クラスＣ」に分類されている。 FIG. 6 is a schematic diagram illustrating an example of the classification process in the classification step S103. First, the classifier 103 cuts out the partial image IMG3i including each region A1i specified in the specifying step S102 from the original image IMG1. FIG. 6 illustrates 13 partial images IMG31 to IMG313 as the partial images IMG3i. Next, the classifier 103 inputs each partial image IMG3i to the second model. The second model outputs information out1 indicating the state of each article Oi. Here, it is assumed that three classes A, B, and C indicating the state of the article are predetermined. In FIG. 6, the information out1 indicates “class A”, and the article O1 is classified into “class A”. The information out13 indicates “class C”, and the article O13 is classified into “class C”.
表示ステップＳ１０４は、分類ステップＳ１０３における分類処理の結果（本実施形態において、各物品の状態を表すクラス）を、複数の物品を被写体として含む出力画像と共にディスプレイ（出力装置３０）に表示する表示処理を、表示部１０４が実行するステップである。 The display step S104 is a display process of displaying, on a display (output device 30), the result of the classification process in the classification step S103 (in this embodiment, a class representing the state of each article) together with an output image including a plurality of articles as subjects. Is executed by the display unit 104.
図７は、表示ステップＳ１０４において表示部１０４によりディスプレイに表示される表示画面の一例を示す模式図である。図７に示す表示画面には、低解像度画像ＩＭＧ２と、情報ｏｕｔ１〜ｏｕｔ１３（分類ステップＳ１０３における分類処理の結果）と、が含まれている。表示画面において、各情報ｏｕｔｉは、対応する物品Ｏｉとの関連付けが認識可能な表示態様で表示されることが望ましい。図７に例示した表示画面においては、各情報ｏｕｔｉを、対応する物品Ｏｉに重畳することによって、上述した関連付けが認識可能となっている。ただし、関連付けが認識可能な表示態様は、他の態様であってもよい。 FIG. 7 is a schematic diagram illustrating an example of a display screen displayed on the display by the display unit 104 in the display step S104. The display screen illustrated in FIG. 7 includes a low-resolution image IMG2 and information out1 to out13 (the result of the classification process in the classification step S103). On the display screen, it is desirable that each information outi be displayed in a display mode in which the association with the corresponding article Oi can be recognized. In the display screen illustrated in FIG. 7, the above-described association can be recognized by superimposing each information outi on the corresponding article Oi. However, the display mode in which the association can be recognized may be another mode.
（分類装置の効果）
以上のように、分類装置１によれば、各物品が被写体として含まれている原画像上の領域を特定する特定処理において、原画像よりも解像度の低い低解像度画像が参照される。このため、原画像を参照して特定処理を実行する場合と比較して、特定処理に要するメモリの容量を小さくすると共に、特定処理に要する時間を短くすることができる。更に、分類装置１によれば、各物品の状態を分類する分類処理において、原画像の一部（該物品が被写体として含まれている領域として、特定処理により特定された領域）が選択的に参照される。このため、原画像全体を参照して分類処理を実行する場合と比較して、分類処理に要するメモリの容量を小さくすると共に、分類処理に要する時間を短くすることができる。また、低解像度画像を参照して分類処理を実行する場合と比較して、分類処理の精度を高くすることができる。したがって、分類装置１によれば、分類処理の精度を犠牲にすることなく、特定処理及び分類処理に要するメモリの容量を小さくすると共に、特定処理及び分類処理に要する時間を短くすることができる。
(Effect of classification device)
As described above, according to the classification device 1, in the specifying process of specifying the region on the original image in which each article is included as a subject, a low-resolution image having a lower resolution than the original image is referred to. Therefore, as compared with the case where the specific processing is executed with reference to the original image, the memory capacity required for the specific processing can be reduced, and the time required for the specific processing can be shortened. Furthermore, according to the classification device 1, in the classification processing for classifying the state of each article, a part of the original image (the area specified by the specific processing as the area where the article is included as a subject) is selectively. Referenced. Therefore, as compared with the case where the classification process is executed by referring to the entire original image, the memory capacity required for the classification process can be reduced, and the time required for the classification process can be shortened. Further, the accuracy of the classification process can be increased as compared with the case where the classification process is executed with reference to the low-resolution image. Therefore, according to the classification device 1, the memory capacity required for the specific processing and the classification processing can be reduced and the time required for the specific processing and the classification processing can be shortened without sacrificing the accuracy of the classification processing.
（変形例１）
本実施形態においては、分類処理においてその一部を選択的に参照する画像を原画像とする構成を採用しているが、本発明は、これに限定されない。すなわち、分類処理においてその一部を選択的に参照する画像は、低解像度画像よりも解像度の高い画像であって、低解像度画像と共通の物品を被写体として含む画像（特許請求の範囲における「高解像度画像」）であればよい。例えば、分類処理においてその一部を選択的に参照する画像は、低解像度画像よりも解像度が高く、かつ、原画像よりも解像度の低い高解像度画像であり得る（分類処理に適した解像度の高解像度画像であることが好ましい）。この場合、生成部１０１は、低解像度画像及び高解像度画像を原画像から生成する。
(Modification 1)
In the present embodiment, a configuration is adopted in which an image that selectively refers to a part of the image in the classification processing is used as the original image, but the present invention is not limited to this. That is, an image that selectively refers to a part of the image in the classification process is an image having a higher resolution than the low-resolution image, and includes an image including an object common to the low-resolution image as a subject (“high-resolution image” in the claims). Resolution image "). For example, an image that selectively refers to a part of the image in the classification process may be a high-resolution image having a higher resolution than the low-resolution image and a lower resolution than the original image (a high-resolution image suitable for the classification process). It is preferably a resolution image). In this case, the generation unit 101 generates a low-resolution image and a high-resolution image from the original image.
（変形例２）
本実施形態においては、分類処理においてその一部を選択的に参照する高解像度画像（原画像）を外部から取得すると共に、特定処理において参照する低解像度画像を高解像度画像（原画像）から生成する構成を採用しているが、本発明は、これに限定されない。例えば、分類処理においてその一部を選択的に参照する高解像度画像、及び、特定処理において参照する低解像度画像の両方を外部から取得する構成を採用してもよい。この場合、生成部１０１は、省略される。
(Modification 2)
In the present embodiment, a high-resolution image (original image) that selectively refers to a part of the image in the classification process is obtained from the outside, and a low-resolution image to be referenced in the specific process is generated from the high-resolution image (original image). However, the present invention is not limited to this. For example, a configuration may be adopted in which both a high-resolution image that selectively refers to a part of the classification process and a low-resolution image that is referenced in the specific process are externally obtained. In this case, the generation unit 101 is omitted.
（変形例３）
本実施形態においては、機械学習により得られた第１モデルを用いて特定処理を実行する構成を採用しているが、本発明は、これに限定されない。例えば、テンプレートマッチングや二値化処理など、ルールベースの物体検出アルゴリズムを用いて特定処理を実行する構成を採用してもよい。テンプレートマッチングを用いる場合、特定部１０２は、例えば、低解像度画像における各領域をテンプレート画像（対象となる物品が被写体として含まれている画像）と比較し、一致度が高い領域を、物品を被写体として含む領域として特定する。また、二値化処理を用いる場合は、特定部１０２は、低解像度画像の画素値を輝度閾値により二値化し、得られた白黒画像における白（又は黒）領域を、物品を被写体として含む領域として特定する。
(Modification 3)
In the present embodiment, the configuration in which the specific processing is executed using the first model obtained by the machine learning is adopted, but the present invention is not limited to this. For example, a configuration may be adopted in which a specific process is executed using a rule-based object detection algorithm, such as template matching or binarization. When template matching is used, the specifying unit 102 compares, for example, each area in the low-resolution image with a template image (an image in which a target article is included as a subject), Specified as an area that includes When the binarization process is used, the specifying unit 102 binarizes the pixel values of the low-resolution image using a luminance threshold, and sets a white (or black) area in the obtained monochrome image as an area including an article as a subject. To be specified.
（変形例４）
本実施形態においては、機械学習により得られた第２モデルを用いて分類処理を実行する構成を採用しているが、本発明は、これに限定されない。例えば、特徴量比較など、ルールベースの物体分類アルゴリズムを用いて分類処理を実行する構成を採用してもよい。特徴量比較を用いる場合、分類器１０３は、高解像度画像において各物品が被写体として含まれている領域から予め定められた特徴量を算出し、算出した特徴量に応じて該物品の状態を分類する。
(Modification 4)
In the present embodiment, the configuration in which the classification process is performed using the second model obtained by the machine learning is adopted, but the present invention is not limited to this. For example, a configuration may be adopted in which classification processing is performed using a rule-based object classification algorithm, such as a feature amount comparison. When using the feature amount comparison, the classifier 103 calculates a predetermined feature amount from a region where each article is included as a subject in the high-resolution image, and classifies the state of the article according to the calculated feature amount. I do.
〔実施形態２〕
本実施形態では、実施形態１に係る分類装置１を用いて、複数の物品の一括検査を行う検査装置２を構成する実施形態について説明する。
[Embodiment 2]
In the present embodiment, an embodiment will be described in which an inspection device 2 that performs a batch inspection of a plurality of articles using the classification device 1 according to the first embodiment is configured.
図８は、検査装置２の機能的構成を示すブロック図である。なお、検査装置２の物理的構成については、図１を参照して説明した分類装置１と同様であるため、詳細な説明を省略する。 FIG. 8 is a block diagram illustrating a functional configuration of the inspection device 2. The physical configuration of the inspection device 2 is the same as that of the classification device 1 described with reference to FIG.
図８に示すように、検査装置２は、分類装置１を含む。すなわち、検査装置２は、複数の物品の一括検査を行う検査装置であって、生成部１０１と、特定部１０２と、分類器１０３と、を備えている。また、検査装置２は、さらに、表示部１０４を備えている。 As shown in FIG. 8, the inspection device 2 includes a classification device 1. That is, the inspection device 2 is an inspection device that performs a collective inspection of a plurality of articles, and includes a generation unit 101, a specification unit 102, and a classifier 103. The inspection device 2 further includes a display unit 104.
生成部１０１は、検査対象となる複数の物品を被写体として含む画像を原画像（特許請求の範囲における「高解像度画像」の一例）として、該原画像よりも解像度の低い低解像度画像を生成する生成処理を実行する。特定部１０２は、各物品が被写体として含まれている原画像上の領域を特定する特定処理を、生成部１０１にて生成された低解像度画像を参照して実行する。分類器１０３は、各物品の状態を分類する分類処理を、特定部１０２にて特定された原画像上の領域であって、該物品が被写体として含まれている原画像上の領域を選択的に参照して実行する。これにより、特定部１０２が参照する画像は、低解像画像となり、分類器が参照する画像は、原画像の一部分となる。表示部１０４は、分類器１０３による分類処理の結果（例えば、各物品の状態を示すクラス）を、低解像度画像と共にディスプレイに表示する。 The generation unit 101 generates, as an original image (an example of a “high-resolution image” in the claims) an image including a plurality of articles to be inspected as subjects, generates a low-resolution image having a lower resolution than the original image. Execute generation processing. The specifying unit 102 executes a specifying process of specifying a region on the original image in which each article is included as a subject with reference to the low-resolution image generated by the generating unit 101. The classifier 103 selectively performs a classification process for classifying the state of each article on an area on the original image specified by the specifying unit 102 and on the original image in which the article is included as a subject. Refer to and execute. Thereby, the image referred to by the specifying unit 102 is a low-resolution image, and the image referred to by the classifier is a part of the original image. The display unit 104 displays the result of the classification process by the classifier 103 (for example, a class indicating the state of each article) on a display together with the low-resolution image.
特定部１０２は、各物品が被写体として含まれている領域を特定する特定処理を、機械学習により構築された第１モデルを用いて実行する。第１モデルの入力は、生成部１０１にて生成された低解像度画像である。第１モデルの出力は、各物品が被写体として含まれている領域である。分類器１０３は、各物品の状態を分類する分類処理を、機械学習により構築された第２モデルを用いて実行する。第２モデルの入力は、検査対象となる各物品が被写体として含まれている部分画像である。第２モデルの出力は、検査結果を表す予め定められた複数のクラスの何れかである。検査結果を表す複数のクラスは、物品の状態が正常であることを示す「良」と、異常であることを示す「否」と、の２つのクラスであってもよい。また、正常な状態及び異常な状態の少なくとも一方に複数の種別を設けた３つ以上のクラスであってもよい。 The specifying unit 102 performs a specifying process of specifying a region in which each article is included as a subject, using a first model constructed by machine learning. The input of the first model is the low-resolution image generated by the generation unit 101. The output of the first model is an area where each article is included as a subject. The classifier 103 executes a classification process for classifying the state of each article using a second model constructed by machine learning. The input of the second model is a partial image in which each object to be inspected is included as a subject. The output of the second model is one of a plurality of predetermined classes representing inspection results. The plurality of classes representing the inspection results may be two classes of "good" indicating that the state of the article is normal and "no" indicating that the article is abnormal. Further, three or more classes in which a plurality of types are provided in at least one of a normal state and an abnormal state may be used.
検査装置２による検査処理の流れは、図３を参照して説明した分類処理Ｓ１の流れと同様である。ただし、ステップＳ１０１において、入力される原画像が検査対象となる複数の物品を被写体として含む画像である点と、ステップＳ１０４において、分類処理の結果として一括検査の結果を表示する点が異なる。それ以外の処理については、分類処理Ｓ１と同様であるため、詳細な説明を省略する。 The flow of the inspection process by the inspection device 2 is the same as the flow of the classification process S1 described with reference to FIG. However, the difference is that the input original image is an image including a plurality of articles to be inspected as subjects in step S101, and that the result of the batch inspection is displayed as the result of the classification process in step S104. Other processes are the same as those in the classification process S1, and a detailed description thereof will be omitted.
（具体例）
検査装置２の具体例について、図９を参照して説明する。本具体例では、特定部１０２が用いる第１モデルとして、ＳＳＤ（Single Shot Multibox Detector）を利用した。このＳＳＤは、低解像度画像における任意の領域を入力として、物品が「あり」又は「なし（背景）」の何れかを出力するよう、或いは、物品が「あり」の領域を出力するように、予め機械学習されたものである。また、分類器１０３が用いる第２モデルとして、ＣＮＮ（Convolutional neural network）を利用した。このＣＮＮは、部分画像を入力として、予め定めた良品１クラス、不良品５クラスの合計６クラスの何れかを出力するよう、予め機械学習されたものである。
(Concrete example)
A specific example of the inspection device 2 will be described with reference to FIG. In this specific example, an SSD (Single Shot Multibox Detector) is used as the first model used by the specifying unit 102. This SSD receives an arbitrary area in a low-resolution image as input and outputs either “present” or “absent (background)” of the article, or outputs an area of “present” of the article. It has been machine-learned in advance. As a second model used by the classifier 103, a CNN (Convolutional neural network) was used. The CNN is machine-learned in advance so as to output one of a predetermined 6 non-defective class and a non-defective class with a partial image as an input.
図９（ａ）は、本具体例で用いた原画像を示す図である。本具体例では、原画像として、複数の圧着端子を被写体として含む４６００×３５００ピクセルの高解像度画像を用いた。当該原画像は、圧着端子の微細な異常を検査するために、高解像度で撮像されたものである。 FIG. 9A is a diagram showing an original image used in this specific example. In this specific example, a high-resolution image of 4600 × 3500 pixels including a plurality of crimp terminals as subjects is used as an original image. The original image was taken at a high resolution in order to inspect a fine abnormality of the crimp terminal.
図９（ｂ）は、図９（ａ）に示した高解像度画像を原画像として、生成部１０１によって生成された低解像度画像を示す図である。実施例１では、低解像度画像の解像度は、５１２×５１２ピクセルとした。また、図９（ｂ）に示す低解像度画像には、各物品を被写体として含む領域を示す白線の矩形が重畳されている。各領域は、特定部１０２によって原画像上の領域を特定する特定処理の過程で特定された。 FIG. 9B is a diagram illustrating a low-resolution image generated by the generation unit 101 using the high-resolution image illustrated in FIG. 9A as an original image. In the first embodiment, the resolution of the low-resolution image is set to 512 × 512 pixels. Further, in the low resolution image shown in FIG. 9B, a white line rectangle indicating an area including each article as a subject is superimposed. Each area was specified by the specifying unit 102 in the process of specifying the area on the original image.
図９（ｃ）は、分類器１０３によって用いられた部分画像の１つを示す図である。当該部分画像は、図９（ｂ）に示す低解像度画像上の領域の何れかに対応する原画像上の領域が、原画像から切り出された画像である。当該部分画像のサイズは、６００×４００ピクセルであった。当該部分画像が第１モデルに入力されることにより、当該部分画像に被写体として含まれる圧着端子の検査結果クラスが判定された。 FIG. 9C is a diagram illustrating one of the partial images used by the classifier 103. The partial image is an image in which a region on the original image corresponding to any of the regions on the low-resolution image shown in FIG. 9B is cut out from the original image. The size of the partial image was 600 × 400 pixels. By inputting the partial image to the first model, the inspection result class of the crimp terminal included as the subject in the partial image was determined.
図９（ｄ）は、表示部１０４によって表示された、分類処理の結果を示す図である。図９（ｄ）では、図９（ｂ）に示した低解像度画像上の各領域を示す矩形を、検査結果クラスに応じた色で塗り分けることにより、各圧着端子と検査結果クラスとの関連付けを認識可能に表示してもよい。 FIG. 9D is a diagram showing a result of the classification process displayed by the display unit 104. In FIG. 9D, the rectangles indicating the respective areas on the low-resolution image shown in FIG. 9B are painted in different colors according to the inspection result class, thereby associating each crimp terminal with the inspection result class. May be displayed so as to be recognizable.
図９（ｅ）は、本具体例の特定部１０２による特定処理（物体検出）の精度を説明する図である。図９（ｂ）の低解像度画像において、目視により物品の実体「あり」と判断された領域のうち、ＡＩ（Artificial Intelligence）検出（すなわち、特定部１０２による特定処理）によって物品「あり」と特定された比率は１００％であった。また、目視により実体「なし」（すなわち、背景）と判断された領域のうち、ＡＩ検出によって物品「あり」と特定された比率は０％であった。 FIG. 9E is a diagram for explaining the accuracy of the specifying process (object detection) by the specifying unit 102 of this specific example. In the low-resolution image of FIG. 9B, an area is determined as “present” by AI (Artificial Intelligence) detection (that is, specific processing by the specifying unit 102) in an area visually determined to be “present” of the article. The percentage obtained was 100%. In addition, in the area visually determined to be “absent” (that is, background), the proportion of articles “present” by AI detection was 0%.
図９（ｆ）は、本具体例の分類器１０３による分類処理（クラス判定）の精度を説明する図である。ＡＩ判定（すなわち、分類器１０３による分類処理）により判定された検査結果クラスが、人の判定による検査結果クラスと一致した比率は１００％であった。 FIG. 9F is a diagram illustrating the accuracy of the classification process (class determination) by the classifier 103 of this specific example. The rate at which the test result class determined by the AI determination (that is, the classification process by the classifier 103) matched the test result class determined by the human was 100%.
（実施例１〜２及び比較例１〜６の評価）
次に、実施例１〜２及び比較例１〜６の比較について、図１０を参照して説明する。
(Evaluation of Examples 1-2 and Comparative Examples 1-6)
Next, comparison between Examples 1 and 2 and Comparative Examples 1 to 6 will be described with reference to FIG.
実施例１〜２は、分類装置１を含む検査装置２の実施例であり、特定処理で利用する学習済みモデルを異ならせて実施した例である。実施例１〜２では、特定処理に何れの学習済みモデルを用いる場合も、低解像度画像を参照している。 The first and second embodiments are examples of the inspection device 2 including the classification device 1 and are examples in which the learned model used in the specific process is different. In the first and second embodiments, the low-resolution image is referred to when any of the learned models is used for the specific processing.
実施例１では、特定処理で用いる第１モデルとして、ＳＳＤを利用した。 In the first embodiment, the SSD is used as the first model used in the specific processing.
実施例２では、特定処理で用いる第１モデルとして、ＹＯＬＯ（You only look once）ｖ３を利用した。 In the second embodiment, YOLO (You only look once) v3 is used as the first model used in the specific processing.
なお、実施例１〜２では、何れも、分類処理で用いる第２モデルとして、ＣＮＮを利用した。また、実施例１〜２で用いた低解像度画像の解像度は、何れも３００×３００ピクセルとした。 In Examples 1 and 2, CNN was used as the second model used in the classification process. The resolution of the low-resolution images used in Examples 1 and 2 was 300 × 300 pixels.
比較例１〜６は、分類装置１を用いずに、原画像を入力として各物品の検査結果クラスを出力する検査装置の例である。 Comparative Examples 1 to 6 are examples of an inspection device that outputs an inspection result class of each article using an original image as input without using the classification device 1.
比較例１〜２の検査装置は、原画像を入力として各物品の検査結果クラスを出力する処理を、検査装置２のように特定処理と分類処理とに分けずに、学習済みモデルを用いて一括して行う一括処理を実行するよう構成した。また、比較例１〜２では、一括処理で利用する学習済みモデルを異ならせて構成した。 The inspection apparatuses of Comparative Examples 1 and 2 use the learned model without dividing the processing of outputting the inspection result class of each article with the original image as input into the specific processing and the classification processing as in the inspection apparatus 2. It is configured to execute batch processing that is performed collectively. In Comparative Examples 1 and 2, the learned models used in the batch processing are configured to be different.
比較例３〜６の検査装置は、原画像を入力として各物品の検査結果クラスを出力する処理を、特定処理と分類処理とに分けて行うが、特定処理において、検査装置２のように低解像度画像を参照せずに、原画像を参照するよう構成した。比較例３〜４は、特定処理で利用する学習済みモデルを異ならせて構成した。比較例５〜６は、特定処理において学習済みモデルによらない手法を用いた。 The inspection devices of Comparative Examples 3 to 6 perform the process of outputting the inspection result class of each article using the original image as input, as a specific process and a classification process. The original image is referred to without referring to the resolution image. Comparative Examples 3 and 4 were configured with different learned models used in the specific processing. In Comparative Examples 5 and 6, a method that does not rely on the learned model in the specific processing was used.
比較例１では、一括処理で用いる学習済みモデルとして、ＳＳＤを利用した。 In Comparative Example 1, an SSD was used as a learned model used in the batch processing.
比較例２では、一括処理で用いる学習済みモデルとして、ＹＯＬＯｖ３を利用した。 In Comparative Example 2, YOLOv3 was used as the learned model used in the batch processing.
比較例３では、原画像を参照した特定処理で用いる学習済みモデルとして、ＳＳＤを利用した。 In Comparative Example 3, an SSD was used as a learned model used in the specific processing with reference to the original image.
比較例４では、原画像を参照した特定処理で用いる学習済みモデルとして、ＹＯＬＯｖ３を利用した。 In Comparative Example 4, YOLOv3 was used as a learned model used in the specific processing with reference to the original image.
比較例５では、特定処理として、二値化処理を用いた。 In Comparative Example 5, a binarization process was used as the specific process.
比較例６では、特定処理として、テンプレートマッチングを用いた。なお、比較例３〜６では、分類処理で用いる学習済みモデルとして、ＣＮＮを利用した。 In Comparative Example 6, template matching was used as the specific processing. In Comparative Examples 3 to 6, CNN was used as a learned model used in the classification process.
なお、上述した実施例１〜２、比較例１〜６では、各検査装置を、ＣＰＵ（Central Processing Unit）「ｉ７−８７５０Ｈ」、ＧＰＵ（Graphics Processing Unit）「ＧＴＸ１０５０Ｔい（４ＧＢ）」、メモリ「３２Ｇ」、ＯＳ（Operating System）「Windows（登録商標） 10」を有するコンピュータを用いて実現した。 In Examples 1 and 2 and Comparative Examples 1 to 6 described above, each of the inspection devices is a CPU (Central Processing Unit) “i7-8750H”, a GPU (Graphics Processing Unit) “GTX1050T (4 GB)”, and a memory “ 32G "and an OS (Operating System)" Windows (registered trademark) 10 ".
実施例１〜２、比較例１〜６の処理結果に対する評価について説明する。具体的には、各評価項目について、「○：全部の状況で処理できる」、「△：一部の状況で処理できる」、「×：処理できない」との評価を行った。 Evaluation of the processing results of Examples 1 and 2 and Comparative Examples 1 to 6 will be described. Specifically, each evaluation item was evaluated as “○: can be processed in all situations”, “△: can be processed in some situations”, and “×: cannot be processed”.
評価項目「画像サイズ」は、大きな画像サイズの原画像への対応に対する評価を表す。当該評価は、実施例１〜２及び比較例１〜６に、それぞれ複数サイズの原画像を入力することにより行った。実施例１〜２、比較例５〜６は「○」であり、比較例１〜４は「△」である。評価項目「画像サイズ」の詳細については、図面を変えて後述する。 The evaluation item “image size” represents an evaluation for the correspondence to a large image size original image. The evaluation was performed by inputting original images of a plurality of sizes to Examples 1 and 2 and Comparative Examples 1 to 6, respectively. Examples 1 and 2 and Comparative Examples 5 and 6 are “○”, and Comparative Examples 1 to 4 are “Δ”. Details of the evaluation item “image size” will be described later with reference to another drawing.
したがって、高解像度の原画像が入力される場合、大きな画像サイズに対応可能な実施例１〜２、比較例５〜６が好適である。 Therefore, when a high-resolution original image is input, the first and second embodiments and the comparative examples 5 and 6, which can handle a large image size, are preferable.
評価項目「背景」は、背景のパターン（例えば、黒、迷彩等）を変化させた際の物体検出性能に対する評価を表す。当該評価は、実施例１〜２及び比較例１〜６に、背景のパターン等が異なる複数の原画像を入力することにより行った。実施例１〜２、比較例１〜４、６は「○」であり、比較例５は「△」である。 The evaluation item “background” represents the evaluation of the object detection performance when the background pattern (for example, black, camouflage, etc.) is changed. The evaluation was performed by inputting a plurality of original images having different background patterns and the like into Examples 1 and 2 and Comparative Examples 1 to 6. Examples 1 and 2 and Comparative Examples 1 to 4 and 6 are “○”, and Comparative Example 5 is “Δ”.
したがって、背景のパターンが多様である場合、実施例１、２、比較例１〜４、６が好適である。 Therefore, when the background pattern is various, Examples 1 and 2 and Comparative Examples 1 to 4 and 6 are preferable.
評価項目「重なり等」は、重なり合う物品の検出性能に対する評価を表す。当該評価は、実施例１〜２及び比較例１〜６に、被写体として含まれる物品の領域が重なり合う原画像を入力することにより行った。実施例１〜２、比較例１〜４は「○」であり、比較例５〜６は「△」である。 The evaluation item “overlap or the like” represents an evaluation of the detection performance of the overlapping articles. The evaluation was performed by inputting the original images in which the regions of the articles included as the subjects overlapped in Examples 1 and 2 and Comparative Examples 1 to 6. Examples 1 and 2 and Comparative Examples 1 to 4 are “○”, and Comparative Examples 5 to 6 are “Δ”.
したがって、検査対象の物品を含む領域が重なり合う原画像を用いる場合には、実施例１〜２、比較例１〜４が好適である。 Therefore, when using the original images in which the areas including the articles to be inspected overlap, the first and second embodiments and the first to fourth comparative examples are preferable.
評価項目「相似」は、各物品を含む領域の形状が同一かつサイズが均一でない場合の物品の検出性能に対する評価を表す。当該評価は、実施例１〜２及び比較例１〜６に、被写体として含まれる各物品の領域の形状が同一かつサイズが均一でない原画像を入力することにより行った。実施例１〜２、比較例１〜５は「○」であり、比較例６は「×」である。 The evaluation item “similar” indicates an evaluation of the detection performance of an article when the shape of the area including each article is the same and the size is not uniform. The evaluation was performed by inputting the original images in which the shape of the region of each article included as a subject is not the same and the size is not uniform in Examples 1 and 2 and Comparative Examples 1 to 6. Examples 1 and 2 and Comparative Examples 1 to 5 are “○”, and Comparative Example 6 is “X”.
したがって、各物品を含む領域サイズが均一でない原画像を用いる場合には、実施例１〜２、比較例１〜５が好適である。 Therefore, when an original image having a non-uniform area size including each article is used, Examples 1 and 2 and Comparative Examples 1 to 5 are preferable.
評価項目「形」は、各物品の形状が均一でない場合の物品の検出性能に対する評価を表す。当該評価は、実施例１〜２及び比較例１〜６に、被写体として含まれる各物品の形状が均一でない原画像を入力することにより行った。実施例１〜２、比較例１〜５は「○」であり、比較例６は「×」である。 The evaluation item “shape” represents an evaluation of the detection performance of an article when the shape of each article is not uniform. The evaluation was performed by inputting an original image in which the shape of each article included as a subject is not uniform in Examples 1 and 2 and Comparative Examples 1 to 6. Examples 1 and 2 and Comparative Examples 1 to 5 are “○”, and Comparative Example 6 is “X”.
したがって、各物品の形状が均一でない原画像を用いる場合には、実施例１〜２、比較例１〜５が好適である。 Therefore, when using original images in which the shape of each article is not uniform, Examples 1 and 2 and Comparative Examples 1 to 5 are preferable.
評価項目「色等」は、各物品の色等が均一でない場合の物品の検出性能に対する評価を表す。当該評価は、実施例１〜２及び比較例１〜６に、被写体として含まれる各物品の色等が均一でない原画像を入力することにより行った。実施例１〜２、比較例１〜４、６は「○」であり、比較例５は「△」である。 The evaluation item “color etc.” represents an evaluation of the detection performance of the article when the color etc. of each article is not uniform. The evaluation was performed by inputting an original image in which the color and the like of each article included as a subject were not uniform in Examples 1 and 2 and Comparative Examples 1 to 6. Examples 1 and 2 and Comparative Examples 1 to 4 and 6 are “○”, and Comparative Example 5 is “Δ”.
したがって、各物品の色等が均一でない原画像を用いる場合には、実施例１〜２、比較例１〜４、６が好適である。 Therefore, when using original images in which the color of each article is not uniform, Examples 1-2 and Comparative Examples 1-4, 6 are preferred.
評価項目「形×色」は、各物品の形状及び色が均一でない場合の物品の検出性能に対する評価を表す。当該評価は、実施例１〜２及び比較例１〜６に、被写体として含まれる各物品の形状及び色が均一でない原画像を入力することにより行った。実施例１〜２、比較例３〜４は「○」であり、比較例１〜２は「△」であり、比較例５〜６は「×」である。 The evaluation item “shape × color” indicates the evaluation of the detection performance of the article when the shape and color of each article are not uniform. The evaluation was performed by inputting an original image in which the shape and color of each article included as a subject were not uniform in Examples 1 and 2 and Comparative Examples 1 to 6. Examples 1 and 2 and Comparative Examples 3 and 4 are “○”, Comparative Examples 1 and 2 are “Δ”, and Comparative Examples 5 and 6 are “X”.
したがって、各物品の形状及び色が均一でない原画像を用いる場合には、実施例１〜２、比較例３〜４が好適である。 Therefore, when using original images in which the shape and color of each article are not uniform, Examples 1 and 2 and Comparative Examples 3 and 4 are preferable.
評価項目「速度」は、大きな画像サイズの原画像が入力された場合の処理速度に対する評価を表す。当該評価は、実施例１〜２及び比較例１〜６に、画像サイズが異なる複数の原画像を入力することにより行った。実施例１〜２、比較例５〜６は「○」であり、比較例１〜４は「△」である。評価項目「速度」の詳細については、図面を変えて後述する。 The evaluation item “speed” represents an evaluation of the processing speed when an original image having a large image size is input. The evaluation was performed by inputting a plurality of original images having different image sizes to Examples 1 and 2 and Comparative Examples 1 to 6. Examples 1 and 2 and Comparative Examples 5 and 6 are “○”, and Comparative Examples 1 to 4 are “Δ”. Details of the evaluation item “speed” will be described later by changing the drawing.
したがって、高解像度の原画像が入力される場合、実施例１〜２、比較例５〜６が好適である。 Therefore, when a high-resolution original image is input, Examples 1 and 2 and Comparative Examples 5 to 6 are preferable.
次に、評価項目「画像サイズ」の詳細を、図１１（ａ）を参照して説明する。図１１（ａ）は、実施例１〜２、比較例１〜４について、原画像の画像サイズに応じたメモリ使用量を比較したグラフである。当該グラフによれば、比較例１〜４は、実施例１〜２に対して、原画像の画像サイズが約１０６を超えると、画像サイズが大きいほど多くのメモリを使用している。 Next, details of the evaluation item “image size” will be described with reference to FIG. FIG. 11A is a graph comparing the memory usage according to the image size of the original image in Examples 1 and 2 and Comparative Examples 1 to 4. According to the graph, Comparative Examples 1 to 4, with respect to Examples 1-2, the image size of the original image are used above about 106, more memory as image size is large.
次に、評価項目「速度」の詳細を、図１１（ｂ）を参照して説明する。図１１（ｂ）は、実施例１〜２、比較例１〜４について、原画像の画像サイズに応じた処理時間を比較したグラフである。当該グラフによれば、比較例１〜４は、実施例１〜２に対して、原画像の画像サイズが約１０６を超えると、画像サイズが大きいほど処理時間が長くなる。 Next, details of the evaluation item “speed” will be described with reference to FIG. FIG. 11B is a graph comparing the processing time according to the image size of the original image in Examples 1 and 2 and Comparative Examples 1 to 4. According to the graph, Comparative Examples 1 to 4, with respect to Examples 1-2, the image size of the original image is greater than about 106, as image size is large processing time is prolonged.
図１２（ａ）は、特定処理においてＳＳＤを利用する場合（例えば実施例１）、及びＹＯＬＯｖ３を利用する場合（例えば実施例２）について、原画像の画像サイズに応じた物品の検出数を比較したグラフである。画像サイズが１０４を超える場合、ＹＯＬＯｖ３の方が、ＳＳＤに比べて検出数が多くなっている。 FIG. 12A compares the number of detected articles according to the image size of the original image when the SSD is used in the specific processing (for example, Example 1) and when YOLOv3 is used (for example, Example 2). It is the graph which did. If the image size exceeds 10 4, who YOLOv3 is, the detection number is increasingly compared to SSD.
図１２（ｂ）は、特定処理においてＳＳＤを利用する場合（例えば実施例１）、及びＹＯＬＯｖ３を利用する場合（例えば実施例２）について、物品が被写体として含まれる領域の縦横比に応じた物品の検出正解率を比較したグラフである。当該グラフによれば、ＳＳＤの検出正解率は、縦横比に関わらず１００％である。また、ＹＯＬＯｖ３の検出正解率は、縦横比が１．２以上の場合１００％である。また、ＹＯＬＯｖ３の検出正解率は、縦横比が１．２未満の場合、縦横比が小さいほど（すなわち、正方形に近いほど）約５０％を下限に低下する。したがって、縦横比が１．２以上の場合、ＳＳＤ及びＹＯＬＯｖ３のどちらを用いてもよいが、縦横比が１．２未満の場合、ＹＯＬＯｖ３よりもＳＳＤを用いることが好ましい。 FIG. 12B shows an article according to the aspect ratio of a region where an article is included as a subject when the SSD is used in the specific processing (for example, Example 1) and when YOLOv3 is used (for example, Example 2). 5 is a graph comparing the detection correct answer rates of. According to the graph, the detection accuracy rate of the SSD is 100% regardless of the aspect ratio. The detection accuracy rate of YOLOv3 is 100% when the aspect ratio is 1.2 or more. When the aspect ratio is less than 1.2, the detection accuracy rate of YOLOv3 is reduced to about 50% as the aspect ratio is smaller (ie, as the shape is closer to a square). Therefore, when the aspect ratio is 1.2 or more, either SSD or YOLOv3 may be used, but when the aspect ratio is less than 1.2, it is preferable to use SSD rather than YOLOv3.
以上、図１０〜図１２に示したように、比較例１〜６は、一部の評価項目について好適とは言えないが、実施例１〜２は、上述した全ての評価項目について好適である。したがって、実施例１〜２は、比較例１〜６と比較して、優れていることがわかる。また、図９に示したように、４６００×３５００ピクセルの原画像を用いる場合、画像サイズが１０６を超えるため、実施例１〜２を用いることにより、メモリ使用量を抑え、高速に処理できる。また、図９に示したように、検査対象の物品（圧着端子）を含む領域が縦横比１．２以上の長方形である場合、実施例１、２のどちらを用いても構わない。また、実施形態１の変形例３で述べたように、実施例１、２の特定処理において、ＳＳＤ又はＹＯＬＯｖ３を用いる代わりに、テンプレートマッチングや二値化処理など、学習済みモデルによらない手法を用いてもよい。 As described above, as shown in FIGS. 10 to 12, Comparative Examples 1 to 6 are not suitable for some evaluation items, but Examples 1 and 2 are suitable for all the evaluation items described above. . Therefore, it turns out that Examples 1-2 are excellent compared with Comparative Examples 1-6. Further, as shown in FIG. 9, the case of using the original image of 4600 × 3500 pixels, the image size is above 106, by using the Examples 1-2, reducing the memory usage, it can be processed at high speed . In addition, as shown in FIG. 9, when the region including the article (crimp terminal) to be inspected is a rectangle having an aspect ratio of 1.2 or more, either of the first and second embodiments may be used. Further, as described in the third modification of the first embodiment, in the specific processing of the first and second embodiments, instead of using SSD or YOLOv3, a method that does not rely on a trained model, such as template matching or binarization processing, is used. May be used.
なお、実施形態２の検査装置２は、圧着端子の代わりに、半導体レーザチップやプリント回路基板などを検査対象とすることもできる。 Note that the inspection device 2 of the second embodiment can also inspect a semiconductor laser chip, a printed circuit board, or the like instead of the crimp terminal.
また、実施形態１の分類装置１は、複数の車両を被写体として含む原画像を入力として、各車両の車種クラスを判別する用途に用いることができる。 In addition, the classification device 1 according to the first embodiment can be used for the purpose of determining the vehicle type class of each vehicle by inputting an original image including a plurality of vehicles as subjects.
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
[Appendix]
The present invention is not limited to the embodiments described above, and various modifications are possible within the scope shown in the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. Is also included in the technical scope of the present invention.
１ 分類装置
２ 検査装置
２０ 入力装置
３０ 出力装置
１０ バス
１１ 主メモリ
１２ プロセッサ
１３ 補助メモリ
１４ 入出力インターフェース
１０１ 生成部
１０２ 特定部
１０３ 分類器
１０４ 表示部
DESCRIPTION OF SYMBOLS 1 Classifying device 2 Inspection device 20 Input device 30 Output device 10 Bus 11 Main memory 12 Processor 13 Auxiliary memory 14 Input / output interface 101 Generating part 102 Identifying part 103 Classifier 104 Display part
Claims (8)
各物品が被写体として含まれている上記高解像度画像上の領域を特定する特定処理を、上記低解像度画像を参照して実行する特定部と、
各物品の状態を分類する分類処理を、該物品が被写体として含まれている領域として上記特定部にて特定された上記高解像度画像上の領域を選択的に参照することによって実行する分類器と、を備えている、
ことを特徴とする分類装置。 A classification device that classifies a state of each of the plurality of articles by referring to a high-resolution image and a low-resolution image including a plurality of articles as subjects in common,
A specifying unit that specifies a region on the high-resolution image in which each article is included as a subject with reference to the low-resolution image;
A classifier that performs a classification process of classifying the state of each article by selectively referring to an area on the high-resolution image specified by the specifying unit as an area where the article is included as a subject; Has,
A classification device characterized by the above-mentioned.
ことを特徴とする請求項１に記載の分類装置。 The specifying unit performs a specifying process of specifying a region in which each article is included as a subject using a learned model in which the low-resolution image is input and an area in which the article is included as a subject is output. Execute,
The classification device according to claim 1, wherein:
ことを特徴とする請求項１又は２に記載の分類装置。 The classifier performs a classification process for classifying the state of each article, the partial image cut out from the high-resolution image, and the article identified by the identification unit as an area including the article as a subject. A partial image including a region on the high-resolution image is input and executed using a learned model that outputs any of a plurality of predetermined classes indicating the state of the article.
The classification device according to claim 1 or 2, wherein:
ことを特徴とする請求項１〜３の何れか１項に記載の分類装置。 A generation unit that executes the generation process of generating the low-resolution image having a lower resolution than the high-resolution image with reference to the high-resolution image,
The classification device according to claim 1, wherein:
ことを特徴とする請求項１〜４の何れか１項に記載の分類装置。 The image processing apparatus further includes a display unit that outputs a result of the classification process to a display together with the image including the plurality of articles as subjects.
The classification device according to any one of claims 1 to 4, wherein:
各物品が被写体として含まれている上記高解像度画像上の領域を特定する特定処理を、上記低解像度画像を参照して実行する特定ステップと、
各物品の状態を分類する分類処理を、該物品が被写体として含まれている領域として上記特定ステップにて特定された上記高解像度画像上の領域を選択的に参照することによって実行する分類ステップと、を備えている、
ことを特徴とする分類方法。 A classification method for classifying the state of each of the plurality of articles by referring to a high-resolution image and a low-resolution image including a plurality of articles in common as subjects,
A specifying process of specifying a region on the high-resolution image in which each article is included as a subject by executing the specifying process with reference to the low-resolution image;
A classification step of performing a classification process of classifying the state of each article by selectively referring to the area on the high-resolution image identified in the identification step as an area where the article is included as a subject; Has,
A classification method characterized in that:
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018168190 | 2018-09-07 | ||
| JP2018168190 | 2018-09-07 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020042754A true JP2020042754A (en) | 2020-03-19 |
| JP7289658B2 JP7289658B2 (en) | 2023-06-12 |
Family
ID=69798090
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019010485A Active JP7289658B2 (en) | 2018-09-07 | 2019-01-24 | Classification device, classification method, classification program, and inspection device |
| JP2019010486A Active JP7161948B2 (en) | 2018-09-07 | 2019-01-24 | Machine learning device, machine learning method, machine learning program, and inspection device |
| JP2019014623A Active JP7213701B2 (en) | 2018-09-07 | 2019-01-30 | Machining equipment, machining method, machining program, and inspection equipment |
| JP2019042990A Active JP7236292B2 (en) | 2018-09-07 | 2019-03-08 | Evaluation device, evaluation method, evaluation program, and inspection device |
Family Applications After (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019010486A Active JP7161948B2 (en) | 2018-09-07 | 2019-01-24 | Machine learning device, machine learning method, machine learning program, and inspection device |
| JP2019014623A Active JP7213701B2 (en) | 2018-09-07 | 2019-01-30 | Machining equipment, machining method, machining program, and inspection equipment |
| JP2019042990A Active JP7236292B2 (en) | 2018-09-07 | 2019-03-08 | Evaluation device, evaluation method, evaluation program, and inspection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (4) | JP7289658B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020218513A1 (en) * | 2019-04-26 | 2020-10-29 | 株式会社前川製作所 | Feature point recognition system and recognition method |
| JP2021193549A (en) * | 2020-06-05 | 2021-12-23 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | Method and apparatus for recognizing table, electronic device, storage medium, and computer program |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022185432A1 (en) * | 2021-03-03 | 2022-09-09 | Ｈｅｒｏｚ株式会社 | Image recognition learning system, image recognition learning method, image recognition learning program, image recognition machine learning unit, and image recognition system |
| JP7453931B2 (en) | 2021-03-12 | 2024-03-21 | 株式会社豊田中央研究所 | Learning data generation device, anomaly detection device, anomaly detection system, and anomaly detection program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011137780A (en) * | 2010-01-04 | 2011-07-14 | Nec Corp | Image diagnosis method, image diagnosis device, and image diagnosis program |
| JP2012225768A (en) * | 2011-04-20 | 2012-11-15 | Hitachi High-Technologies Corp | Defect sorting method and defect sorting system |
| JP2018107759A (en) * | 2016-12-28 | 2018-07-05 | ソニーセミコンダクタソリューションズ株式会社 | Image processing device, image processing method, and image processing system |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE60234571D1 (en) * | 2001-01-23 | 2010-01-14 | Health Discovery Corp | COMPUTER-ASSISTED IMAGE ANALYSIS |
| JP4553300B2 (en) * | 2004-09-30 | 2010-09-29 | Ｋｄｄｉ株式会社 | Content identification device |
| JP4849596B2 (en) * | 2005-12-08 | 2012-01-11 | 独立行政法人情報通信研究機構 | Question answering apparatus, question answering method, and question answering program |
| JP5075083B2 (en) * | 2008-10-08 | 2012-11-14 | 大日本スクリーン製造株式会社 | Teacher data creation support method, image classification method, and image classification apparatus |
| JP6277818B2 (en) * | 2014-03-26 | 2018-02-14 | 日本電気株式会社 | Machine learning apparatus, machine learning method, and program |
| JP6401648B2 (en) * | 2015-03-31 | 2018-10-10 | 株式会社Ｓｃｒｅｅｎホールディングス | Defect classification apparatus and defect classification method |
| US10878320B2 (en) * | 2015-07-22 | 2020-12-29 | Qualcomm Incorporated | Transfer learning in neural networks |
| JP6584250B2 (en) * | 2015-09-10 | 2019-10-02 | 株式会社Ｓｃｒｅｅｎホールディングス | Image classification method, classifier configuration method, and image classification apparatus |
| JP6530688B2 (en) * | 2015-09-25 | 2019-06-12 | 株式会社Ｓｃｒｅｅｎホールディングス | Classifier construction method, image classification method, classifier construction apparatus and image classification apparatus |
| JP6531036B2 (en) * | 2015-12-08 | 2019-06-12 | 株式会社Ｓｃｒｅｅｎホールディングス | Teacher data creation support method, image classification method, teacher data creation support device and image classification device |
| JP6377050B2 (en) * | 2015-12-18 | 2018-08-22 | ヤフー株式会社 | Learning device, learning method, and learning program |
| JP6333871B2 (en) * | 2016-02-25 | 2018-05-30 | ファナック株式会社 | Image processing apparatus for displaying an object detected from an input image |
| US11580398B2 (en) * | 2016-10-14 | 2023-02-14 | KLA-Tenor Corp. | Diagnostic systems and methods for deep learning models configured for semiconductor applications |
| JP6387477B1 (en) * | 2017-06-23 | 2018-09-05 | 株式会社Ｒｉｓｔ | Inspection device, inspection method, and inspection program |
| JP7036401B2 (en) * | 2018-04-27 | 2022-03-15 | Ａｗｌ株式会社 | Learning server, image collection support system for insufficient learning, and image estimation program for insufficient learning |
-
2019
- 2019-01-24 JP JP2019010485A patent/JP7289658B2/en active Active
- 2019-01-24 JP JP2019010486A patent/JP7161948B2/en active Active
- 2019-01-30 JP JP2019014623A patent/JP7213701B2/en active Active
- 2019-03-08 JP JP2019042990A patent/JP7236292B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011137780A (en) * | 2010-01-04 | 2011-07-14 | Nec Corp | Image diagnosis method, image diagnosis device, and image diagnosis program |
| JP2012225768A (en) * | 2011-04-20 | 2012-11-15 | Hitachi High-Technologies Corp | Defect sorting method and defect sorting system |
| JP2018107759A (en) * | 2016-12-28 | 2018-07-05 | ソニーセミコンダクタソリューションズ株式会社 | Image processing device, image processing method, and image processing system |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020218513A1 (en) * | 2019-04-26 | 2020-10-29 | 株式会社前川製作所 | Feature point recognition system and recognition method |
| JP2021193549A (en) * | 2020-06-05 | 2021-12-23 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | Method and apparatus for recognizing table, electronic device, storage medium, and computer program |
| US11636699B2 (en) | 2020-06-05 | 2023-04-25 | Beijing Baidu Netcom Science and Technology Co., Ltd | Method and apparatus for recognizing table, device, medium |
| JP7299939B2 (en) | 2020-06-05 | 2023-06-28 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | Table recognition method and device, electronic device, storage medium and computer program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7236292B2 (en) | 2023-03-09 |
| JP2020042001A (en) | 2020-03-19 |
| JP2020042757A (en) | 2020-03-19 |
| JP7289658B2 (en) | 2023-06-12 |
| JP2020042755A (en) | 2020-03-19 |
| JP7213701B2 (en) | 2023-01-27 |
| JP7161948B2 (en) | 2022-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7289658B2 (en) | Classification device, classification method, classification program, and inspection device | |
| JP6924413B2 (en) | Data generator, data generation method and data generation program | |
| US20210374940A1 (en) | Product defect detection method, device and system | |
| JP6936958B2 (en) | Data generator, data generation method and data generation program | |
| CN111044525B (en) | Product defect detection method, device and system | |
| US11379955B2 (en) | Electronic device, image processing method thereof, and computer-readable recording medium | |
| US10235761B2 (en) | Method and apparatus for segmenting object in image | |
| JP2017211259A (en) | Inspection device, inspection method and program | |
| JP2016115331A (en) | Identifier generator, identifier generation method, quality determination apparatus, quality determination method and program | |
| JP2015041164A (en) | Image processor, image processing method and program | |
| US11347962B2 (en) | Electronic apparatus, method for processing image and computer-readable recording medium | |
| TWI731442B (en) | Electronic apparatus and object information recognition method by using touch data thereof | |
| CN111695615A (en) | Vehicle damage assessment method and device based on artificial intelligence, electronic equipment and medium | |
| US20190385016A1 (en) | Device that updates recognition model and method of updating recognition model | |
| JP2020135659A (en) | Parameter determination method, parameter determination device, and program | |
| JP7118365B2 (en) | Image inspection device | |
| TWI780670B (en) | Method and system for generating human factor characteristics and method and system for generating action recognition module | |
| US20240104908A1 (en) | Evaluation method | |
| US10789697B2 (en) | Devices, systems, and methods for spatial-neighborhood consistency in feature detection in image data | |
| WO2024090054A1 (en) | Image processing method, program, and image processing device | |
| TWI715252B (en) | Electronic apparatus and object information recognition method by using touch data thereof | |
| US20220237902A1 (en) | Conversion device, conversion learning device, conversion method, conversion learning method, conversion program, and conversion learning program | |
| EP4141811A1 (en) | Image processing method | |
| JP2023151315A (en) | Quality control system and quality control program | |
| KR20230029409A (en) | Method, electronic device and operating method of electronic device for manufacture of semiconductor device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211129 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220921 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221130 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230131 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230424 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20230424 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230502 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230530 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230531 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7289658 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |