JP2020102111A - Information processing device and visual inspection device - Google Patents

Information processing device and visual inspection device Download PDF

Info

Publication number
JP2020102111A
JP2020102111A JP2018241171A JP2018241171A JP2020102111A JP 2020102111 A JP2020102111 A JP 2020102111A JP 2018241171 A JP2018241171 A JP 2018241171A JP 2018241171 A JP2018241171 A JP 2018241171A JP 2020102111 A JP2020102111 A JP 2020102111A
Authority
JP
Japan
Prior art keywords
image
inspection
divided
learning
symmetrical portion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018241171A
Other languages
Japanese (ja)
Inventor
直高 青山
Naotaka Aoyama
直高 青山
豊田 幹夫
Mikio Toyoda
幹夫 豊田
和寛 東
Kazuhiro Azuma
和寛 東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018241171A priority Critical patent/JP2020102111A/en
Publication of JP2020102111A publication Critical patent/JP2020102111A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

To improve inspection accuracy when visually inspecting an inspection object using a learning model.SOLUTION: A symmetrical part image is extracted from an image for learning that is obtained by imaging the same type of an object as an inspection object, and the symmetrical part image is halved in a symmetrical direction to generate divided images, the divided images being further inverted to generate inverted images. One of the divided images and an inverted image from the other of the divided images obtained by inversion are acquired as teaching data for one side of the symmetrical part of the inspection object. Also, the other of the divided images and an inverted image from the one of the divided images obtained by inversion are acquired as teaching data for the other side of the symmetrical part of the inspection object. Then, machine learning is executed on the basis of the acquired teaching data, and a learning model used for the visual inspection of the inspection object is generated thereby.SELECTED DRAWING: Figure 3

Description

本発明は、情報処理装置および外観検査装置に関する。
に関する。
The present invention relates to an information processing device and a visual inspection device.
Regarding

従来、検査対象を撮像した画像を用いて該検査対象の外観を検査する検査装置に関し様々な技術が開発されている。例えば、特許文献1には、検査装置において、検査対象の撮像画像を複数の撮像分割画像に分割して検査を行うための技術が開示されている。この特許文献1に記載の技術では、学習用画像を複数に分割することで得られる複数の学習用分割画像の各々について機械学習することで特徴量を抽出する。さらに、抽出された特徴量に基づいて、複数の撮像分割画像の各々を分類する。そして、分類された複数の撮像分割画像に基づいて検査対象の良否を判定する。 Conventionally, various techniques have been developed for an inspection apparatus that inspects the appearance of the inspection target using an image of the inspection target. For example, Patent Literature 1 discloses a technique for performing an inspection in an inspection apparatus by dividing a captured image of an inspection target into a plurality of captured divided images. In the technique described in Patent Document 1, a feature amount is extracted by performing machine learning on each of a plurality of learning divided images obtained by dividing the learning image into a plurality of images. Further, each of the plurality of captured divided images is classified based on the extracted feature amount. Then, the quality of the inspection object is determined based on the plurality of classified imaged divided images.

特開2017−211259号公報JP, 2017-212159, A

検査対象物と同種の物体を撮像することで得られる学習用画像を教師データとして機械学習を行うことで構築された学習モデルを用いて、検査対象物の外観の検査を行うことが考えられる。このとき、検査精度を向上させるためには、より多くの教師データに基づいて学習モデルを構築する必要がある。 It is conceivable to inspect the appearance of the inspection target by using a learning model constructed by performing machine learning using a learning image obtained by capturing an object of the same type as the inspection target as teacher data. At this time, in order to improve the inspection accuracy, it is necessary to construct a learning model based on more teacher data.

本発明は、上記のような問題に鑑みてなされたものであって、学習モデルを用いて検査対象物の外観検査を行うときの検査精度を向上させることが可能な技術を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique capable of improving inspection accuracy when performing a visual inspection of an inspection target using a learning model. And

本発明の第1の態様に係る情報処理装置は、検査対象物と同種の物体を撮像することで得られる学習用画像を教師データとして機械学習を行うことで、検査対象物の外観検査に用いる学習モデルを生成する情報処理装置において、前記学習用画像から、前記物体における左右対称または上下対称の部分である対称部分の画像を抽出するとともに、前記対称部分の画像をその対称方向において二分割することで分割画像を生成し、さらに、前記分割画像における一方側の画像および他方側の画像それぞれを反転させることで反転画像を生成する第1画像処理部と、前記分割画像における一方側の画像、および、前記分割画像における他方側の画像を反転させた前記反転画像を、前記対称部分における一方側についての前記教師データとして取得するとともに、前記分割画像における他方側の画像、および、前記分割画像における一方側の画像を反転させた前記反転画像を、前記対称部分における他方側についての前記教師データとして取得し、取得した前記教師データに基づいて機械学習を行うことで前記学習モデルを生成する学習部と、を備える。 The information processing apparatus according to the first aspect of the present invention is used for appearance inspection of an inspection target object by performing machine learning using learning images obtained by capturing an object of the same type as the inspection target object as teacher data. In an information processing device for generating a learning model, an image of a symmetrical portion which is a symmetrical portion or a vertically symmetrical portion of the object is extracted from the learning image, and the image of the symmetrical portion is divided into two in the symmetrical direction. A divided image is thereby generated, and further, a first image processing unit that generates a reversed image by reversing the image on one side and the image on the other side in the divided image, and an image on one side in the divided image, And, the inverted image obtained by inverting the image on the other side in the divided image is acquired as the teacher data for one side in the symmetrical portion, and the image on the other side in the divided image, and in the divided image. A learning unit that acquires the inverted image obtained by inverting the image on one side as the teacher data for the other side in the symmetrical portion, and performs the machine learning based on the acquired teacher data to generate the learning model. And

本発明に係る情報処理装置は、検査対象物と同種の物体を撮像することで得られる学習用画像を教師データとして機械学習を行うことで、検査対象物の外観検査に用いる学習モデルを生成する。この場合、教師データとなり得る学習用画像をより多く取得することで、学習モデルの精度を向上させることができる。 The information processing apparatus according to the present invention performs learning by machine learning using a learning image obtained by imaging an object of the same type as the inspection object to generate a learning model used for appearance inspection of the inspection object. .. In this case, the accuracy of the learning model can be improved by acquiring more learning images that can serve as teacher data.

そして、本発明に係る情報処理装置においては、第1画像処理部が、学習モデルを生成するための学習用画像から、撮像した物体における対称部分の画像を抽出する。ここで、撮像した物体の対称部分は、すなわち、検査対象物における左右対称または上下対称の部分である。なお、検査対象物における対称部分は、該検査対象物の設計値等に基づいて抽出することができる。 Then, in the information processing device according to the present invention, the first image processing unit extracts an image of a symmetrical portion of the imaged object from the learning image for generating the learning model. Here, the symmetric portion of the imaged object is a symmetrical portion or a vertically symmetrical portion of the inspection object. The symmetrical portion of the inspection object can be extracted based on the design value of the inspection object or the like.

また、第1画像処理部は、抽出した対称部分の画像をその対称方向において二分割することで分割画像を取得する。つまり、対称部分が左右対称の部分である場合は、対称部分の画像を右側部分の画像と左側部分の画像とに分割する。また、対称部分が上下対称の部分である場合は、対称部分の画像を上側部分の画像と左側部分の画像とに分割する。さらに、第1画像処理部は、分割画像における一方側の画像および他方側の画像それぞれを反転させることで反転画像を生成する。 Further, the first image processing unit acquires a divided image by dividing the extracted image of the symmetrical portion into two in the symmetrical direction. That is, when the symmetrical portion is a left-right symmetrical portion, the image of the symmetrical portion is divided into the image on the right side and the image on the left side. When the symmetrical portion is a vertically symmetrical portion, the image of the symmetrical portion is divided into the upper portion image and the left portion image. Furthermore, the first image processing unit inverts the image on one side and the image on the other side in the divided image to generate an inverted image.

そして、学習部が、分割画像における一方側の画像、および、該分割画像における他方側の画像を反転させた反転画像を、対称部分における一方側についての教師データとして取得する。つまり、撮像した物体の対称部分の画像を二分割したときの一方側の画像である一方側の分割画像と、撮像した物体の対称部分の画像を二分割したときの他方側の画像である他方側の分割画像を反転させた反転画像とを、該対称部分の一方側の外観検査に用いる特徴量を抽出するための教師データとして取得する。 Then, the learning unit acquires an image on one side of the divided image and an inverted image obtained by inverting the image on the other side of the divided image as teacher data for one side of the symmetrical portion. That is, one divided image that is one side image when the image of the symmetrical portion of the captured object is divided into two, and the other side image when the image of the symmetrical portion of the captured object is divided into two. An inverted image obtained by inverting the divided image on the side is acquired as teacher data for extracting the feature amount used for the visual inspection of the one side of the symmetrical portion.

また、学習部は、分割画像における他方側の画像、および、該分割画像における一方側の画像を反転させた反転画像を、対称部分における他方側についての教師データとして取得する。つまり、撮像した物体の対称部分の画像を二分割したときの他方側の画像である他方側の分割画像と、撮像した物体の対称部分の画像を二分割したときの一方側の画像である一方側の分割画像を反転させた反転画像とを、該対称部分の他方側の外観検査に用いる特徴量を抽出するための教師データとして取得する。 Further, the learning unit acquires the image on the other side of the divided image and the inverted image obtained by inverting the image on the one side of the divided image as the teacher data for the other side of the symmetrical portion. That is, one of the divided image on the other side, which is the image on the other side when the image of the symmetrical portion of the captured object is divided into two, and the image on the one side, when the image of the symmetrical portion of the captured object is divided into two. An inverted image obtained by inverting the divided image on the side is acquired as teacher data for extracting the feature amount used for the visual inspection on the other side of the symmetrical portion.

ここで、検査対象物の対称部分における一方の部分と他方の部分との外観は、該検査対象物の設計上は当然のことながら同一である。したがって、検査対象物と同種の物体(撮像した物体)の設計上は、該物体の対称部分における一方の部分の画像と他方の部分の画像とを、いずれか一方を反転させて重ね合わせた場合、両者は一致することになる。したがって、分割画像における一方側の画像を反転させた反転画像を検査対象物の対称部分における他方側についての教師データとして用いることができ、また、該分割画像における他方側の画像を反転させた反転画像を該対称部分における一方側についての教師データとして用いることができる。 Here, the appearances of one part and the other part of the symmetrical portion of the inspection object are, of course, the same in designing the inspection object. Therefore, in designing an object of the same type as the inspection object (imaged object), when one of the image of the symmetrical portion of the object and the image of the other portion are inverted and overlapped, , Both will be the same. Therefore, an inverted image obtained by inverting the image on one side in the divided image can be used as teacher data for the other side in the symmetrical portion of the inspection object, and the inverted image obtained by inverting the image on the other side in the divided image can be used. The image can be used as teacher data for one side of the symmetrical portion.

そして、上記のように、分割画像における一方側の画像および他方側の画像それぞれの反転画像を教師データとして追加することで、学習モデルを構築するための教師データを増加させることができる。その結果、学習モデルの精度を向上させることができ、以て、学習モデルを用いて検査対象物の外観検査を行うときの検査精度を向上させることができる。 Then, as described above, it is possible to increase the teacher data for constructing the learning model by adding the inverted images of the one side image and the other side image in the divided image as the teacher data. As a result, the accuracy of the learning model can be improved, and thus the inspection accuracy when performing the visual inspection of the inspection object using the learning model can be improved.

また、本発明の第2の態様に係る外観検査装置は、第1の態様に係る情報処理装置によって生成された前記学習モデルを用いて、検査対象物の外観検査を行う外観検査装置であって、前記検査対象物を撮像することで得られる検査対象画像から、前記検査対象物における左右対称または上下対称の部分である対称部分の画像を抽出するとともに、前記検査対象画像から抽出された前記対称部分の画像をその対称方向において二分割することで分割画像を生成する第2画像処理部と、前記検査対象画像から生成された前記分割画像を検査データとして取得し、取得した前記検査データを前記学習モデルに入力することで、前記検査対象物における前記対称部分の外観について合否を判別する検査部と、を備える。 An appearance inspection apparatus according to a second aspect of the present invention is an appearance inspection apparatus that performs an appearance inspection of an inspection object using the learning model generated by the information processing apparatus according to the first aspect. From the inspection object image obtained by imaging the inspection object, an image of a symmetrical portion which is a symmetrical portion or a vertically symmetrical portion of the inspection object is extracted, and the symmetry extracted from the inspection object image A second image processing unit that generates a divided image by dividing the partial image into two in the symmetric direction, the divided image generated from the inspection target image is acquired as inspection data, and the acquired inspection data is acquired. An inspection unit that determines whether the appearance of the symmetrical portion of the inspection object is acceptable by inputting the learning model.

また、本発明の第3の態様に係る情報処理方法は、検査対象物と同種の物体を撮像することで得られる学習用画像を教師データとして機械学習を行うことで、検査対象物の外観検査に用いる学習モデルを生成する情報処理方法において、前記学習用画像から、前記物体における左右対称または上下対称の部分である対称部分の画像を抽出するステップと、前記対称部分の画像をその対称方向において二分割することで分割画像を生成するステップと、前記分割画像における一方側の画像および他方側の画像それぞれを反転させることで反転画像を生成するステップと、前記分割画像における一方側の画像、および、前記分割画像における他方側の画像を反転させた前記反転画像を、前記対称部分における一方側についての前記教師データとして取得するとともに、前記分割画像における他方側の画像、および、前記分割画像における一方側の画像を反転させた前記反転画像を、前記対称部分における他方側についての前記教師データとして取得するステップと、取得した前記教師データに基づいて機械学習を行うことで前記学習モデルを生成するステップと、を有する。 The information processing method according to the third aspect of the present invention uses the learning image obtained by imaging an object of the same type as the inspection target as machine data to perform machine learning, thereby performing an appearance inspection of the inspection target. In the information processing method for generating the learning model used for, from the learning image, a step of extracting an image of a symmetrical portion which is a symmetrical portion or a vertically symmetrical portion of the object, and the image of the symmetrical portion in the symmetrical direction. A step of generating a divided image by dividing the image into two, a step of generating an inverted image by inverting each of the image on one side and the image on the other side in the divided image, an image on one side in the divided image, and , The inverted image obtained by inverting the image on the other side in the divided image is acquired as the teacher data for one side in the symmetrical portion, and the image on the other side in the divided image, and one in the divided image Acquiring the inverted image obtained by inverting the image on the side as the teacher data for the other side in the symmetrical portion, and generating the learning model by performing machine learning based on the acquired teacher data. And.

本発明によれば、学習モデルを用いて検査対象物の外観検査を行うときの検査精度を向上させることができる。 According to the present invention, it is possible to improve the inspection accuracy when performing the visual inspection of the inspection target using the learning model.

実施形態に係る車両検査装置の機能構成の概略を示すブロック図である。It is a block diagram which shows the outline of a function structure of the vehicle inspection device which concerns on embodiment. 機械学習を行うときに画像処理部において実行される画像処理の一例について説明するための図である。It is a figure for explaining an example of image processing performed in an image processing part when performing machine learning. 車両検査装置において機械学習が行われる際の処理のフローを示すフローチャートである。It is a flow chart which shows a flow of processing when machine learning is performed in a vehicle inspection device. 車両検査装置において検査対象の車両の外観検査が行われる際の処理のフローを示すフローチャートである。It is a flow chart which shows a flow of processing at the time of performing a visual inspection of a vehicle under inspection in a vehicle inspection device.

以下、本発明の具体的な実施形態について図面に基づいて説明する。本実施例に記載されている構成部品の寸法、材質、形状、その相対配置等は、特に記載がない限りは発明の技術的範囲をそれらのみに限定する趣旨のものではない。 Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. The dimensions, materials, shapes, relative arrangements, and the like of the components described in this embodiment are not intended to limit the technical scope of the invention to these unless otherwise specified.

<実施形態>
(車両検査装置の構成)
本実施形態では、本発明を車両の外観を検査する車両検査装置に適用している。つまり、本実施形態では、「車両」が「検査対象物」に相当する。ここで、本実施形態に係る車両検査装置の機能構成について図1に基づいて説明する。図1は、本実施形態に係る車両検査装置の機能構成の概略を示すブロック図である。車両検査装置100は、撮像装置200によって撮像される検査対象の車両の画像(検査対象画像)に基づいて該車両の外観検査を行う装置である。また、車両検査装置100は、検査対象の車両と同種の車両を撮像することで得られる学習用画像に基づいて機械学習を行うことで、該検査対象の車両の外観検査に用いる学習モデルを生成する機能を有する。
<Embodiment>
(Structure of vehicle inspection device)
In the present embodiment, the present invention is applied to a vehicle inspection device that inspects the appearance of a vehicle. That is, in this embodiment, the “vehicle” corresponds to the “inspection object”. Here, the functional configuration of the vehicle inspection device according to the present embodiment will be described based on FIG. 1. FIG. 1 is a block diagram showing an outline of a functional configuration of a vehicle inspection device according to this embodiment. The vehicle inspection device 100 is a device that performs an appearance inspection of the vehicle on the basis of an image of the vehicle to be inspected (inspection target image) captured by the image capturing device 200. In addition, the vehicle inspection device 100 performs machine learning based on a learning image obtained by capturing an image of a vehicle of the same type as the vehicle to be inspected, thereby generating a learning model to be used for the appearance inspection of the vehicle to be inspected. Have the function to

車両検査装置100は、CPUやDSP等のプロセッサと、読み込み専用メモリ(ROM)、ランダムアクセスメモリ(RAM)等の主記憶部と、EPROM、ハードディスクドライブ(HDD)、リムーバブルメディア等の補助記憶部と、を有するコンピュータを含んで構成される。ここで、リムーバブルメディアは、例えば、USBメモリやSDカード等のフラッシュメモリ、あるいは、CD−ROMやDVDディスク、ブルーレイディスクのようなディスク記録媒体である。 The vehicle inspection device 100 includes a processor such as a CPU and a DSP, a main storage unit such as a read-only memory (ROM) and a random access memory (RAM), and an auxiliary storage unit such as an EPROM, a hard disk drive (HDD), and a removable medium. , And a computer having. Here, the removable medium is, for example, a flash memory such as a USB memory or an SD card, or a disc recording medium such as a CD-ROM, a DVD disc, or a Blu-ray disc.

また、車両検査装置100においては、プロセッサが、補助記憶部に記憶されたプログラムを主記憶部にロードして実行することによって、後述するような各種の機能を実現することができる。ただし、車両検査装置100における一部または全部の機能はASICやFPGAのようなハードウェア回路によって実現されてもよい。また、撮像装置200としては、車両の検査を行う作業者に装着されるウェアラブルカメラ等を用いることができる。 Further, in the vehicle inspection device 100, the processor loads the program stored in the auxiliary storage unit into the main storage unit and executes the program, so that various functions described below can be realized. However, some or all of the functions of the vehicle inspection device 100 may be implemented by a hardware circuit such as an ASIC or FPGA. Further, as the imaging device 200, a wearable camera or the like worn by an operator who inspects the vehicle can be used.

車両検査装置100と撮像装置200とは、ネットワークを介して相互に接続される。このネットワークには、例えば、インターネット等の世界規模の公衆通信網であるWAN(Wide Area Network)や、携帯電話等の電話通信網が採用されてもよい。また、Bluetooth(登録商標)LowEnergy規格や、WiFi(登録商標)等の通信規格を利用してネットワークを構築してもよい。 The vehicle inspection device 100 and the imaging device 200 are connected to each other via a network. For this network, for example, a WAN (Wide Area Network), which is a world-wide public communication network such as the Internet, or a telephone communication network such as a mobile phone may be adopted. In addition, a network may be constructed by using a communication standard such as Bluetooth (registered trademark) Low Energy standard or WiFi (registered trademark).

車両検査装置100は、画像処理部110、学習部120、および検査部130を有している。画像処理部110は、撮像装置200によって撮像された検査対象画像に対して外観検査のために必要な画像処理を行う機能を有する。また、画像処理部110は、撮像装置200によって撮像された学習用画像に対して機械学習のために必要な画像処理を行う機能も有する。なお、検査対象画像および学習用画像は、例えば、JPEG(Joint Photographic Experts Group)、ビットマップ画像(bitmap image / bitmap graphics)、GIF(Graphics Interchange Format)等のデータ形式で表された画像である。 The vehicle inspection device 100 includes an image processing unit 110, a learning unit 120, and an inspection unit 130. The image processing unit 110 has a function of performing image processing necessary for a visual inspection on an inspection target image captured by the image capturing apparatus 200. The image processing unit 110 also has a function of performing image processing necessary for machine learning on the learning image captured by the imaging device 200. The inspection target image and the learning image are, for example, a JPEG (Joint Photographic Experts Group), a bitmap image (bitmap image), a GIF (Graphics Interchange Format) data format table, or the like.

画像処理部110は、画像処理における各種の処理を実行する機能部として、画像取得部111、対称部抽出部112、分割画像生成部113、および反転画像生成部114を有している。なお、これらの機能部において実行される処理の詳細については後述する。 The image processing unit 110 includes an image acquisition unit 111, a symmetric portion extraction unit 112, a divided image generation unit 113, and a reverse image generation unit 114 as functional units that execute various processes in image processing. The details of the processing executed by these functional units will be described later.

学習部120は、画像処理部110において必要な画像処理が行われた学習用画像を用いて機械学習を行うことで学習モデルを生成する機能を有する。学習部120は、機械学習における各種の処理を実行する機能部として、教師データ取得部121、および学習モデル生成部122を有している。また、検査部130は、画像処理部110において必要な画像処理が行われた検査対象画像を、学習部120において生成された学習モデルに入力することで、検査対象の車両の外観検査を行う機能を有する。検査部130は、外観検査における各種の処理を実行する機能部として、学習モデル記憶部131、検査データ取得部132、および判別部133を有している。なお、学習部120および検査部130の各機能部において実行される処理の詳細についても後述する。 The learning unit 120 has a function of generating a learning model by performing machine learning using the learning image that has undergone the necessary image processing in the image processing unit 110. The learning unit 120 has a teacher data acquisition unit 121 and a learning model generation unit 122 as functional units that execute various processes in machine learning. In addition, the inspection unit 130 inputs the inspection target image, which has undergone the necessary image processing in the image processing unit 110, into the learning model generated in the learning unit 120 to perform the appearance inspection of the inspection target vehicle. Have. The inspection unit 130 includes a learning model storage unit 131, an inspection data acquisition unit 132, and a determination unit 133 as functional units that execute various processes in the appearance inspection. The details of the processing executed by each functional unit of the learning unit 120 and the inspection unit 130 will also be described later.

(機械学習)
ここで、車両検査装置100において、車両の外観検査に用いる学習モデルを生成すべく機械学習を行うときに、画像処理部110および学習部120で実行される処理について説明する。先ず、機械学習を行うときに画像処理部110において実行される画像処理について、図1に加え、図2に基づいて説明する。図2は、機械学習を行うときに画像処理部110において実行される画像処理の一例について説明するための図である。図2は、車両のバックドアを含む車体背面の外観検査に用いる学習モデルを生成するための機械学習を行うときの画像処理の流れを示している。
(Machine learning)
Here, in the vehicle inspection device 100, a process executed by the image processing unit 110 and the learning unit 120 when the machine learning is performed to generate the learning model used for the visual inspection of the vehicle will be described. First, image processing executed in the image processing unit 110 when performing machine learning will be described based on FIG. 2 in addition to FIG. FIG. 2 is a diagram for explaining an example of image processing executed in the image processing unit 110 when performing machine learning. FIG. 2 shows a flow of image processing when performing machine learning for generating a learning model used for appearance inspection of a vehicle body rear surface including a back door of a vehicle.

機械学習が行われるときには、検査対象の車両と同種の車両が撮像装置200によって撮像されることで学習用画像が撮像される。そして、画像処理部110における画像取得部111が、撮像装置200によって撮像された学習用画像を取得する。図2(a)は、
画像取得部111によって取得された学習用画像Im1(車両背面の画像)を示している。
When machine learning is performed, a learning image is captured by capturing an image of a vehicle of the same type as the vehicle to be inspected by the image capturing device 200. Then, the image acquisition unit 111 in the image processing unit 110 acquires the learning image captured by the imaging device 200. Figure 2(a) shows
The learning image Im1 (image on the rear surface of the vehicle) acquired by the image acquisition unit 111 is illustrated.

画像処理部110における対称部抽出部112は、画像取得部111によって取得された学習用画像から、車両における対称部分の画像を抽出する。ここで、対称部分とは、車両における左右対称または上下対称の部分である。図2(b)は、図2(a)に示す学習用画像Im1から、対称部抽出部112によって抽出された対称部分の画像Im2(車体背面の画像)を示している。ここで、車両の設計上は、車体背面は左右対称となっている。そのため、対称部抽出部112は、車体背面の画像Im2を車両における対称部分の画像として抽出する。なお、検査対象の車両の設計値に関する設計情報を車両検査装置100に予め記憶させておいてもよい。そして、対称部抽出部112は、記憶された設計情報に基づいて車両における対称部分を選択し、選択した対称部分の画像を学習用画像から抽出してもよい。 The symmetric portion extraction unit 112 of the image processing unit 110 extracts an image of a symmetric portion of the vehicle from the learning image acquired by the image acquisition unit 111. Here, the symmetrical portion is a portion that is symmetrical in the vehicle or vertically symmetrical in the vehicle. FIG. 2B shows an image Im2 (image on the rear surface of the vehicle body) of the symmetrical portion extracted by the symmetrical portion extraction unit 112 from the learning image Im1 shown in FIG. 2A. Here, in terms of vehicle design, the back surface of the vehicle body is symmetrical. Therefore, the symmetrical portion extraction unit 112 extracts the image Im2 on the back surface of the vehicle body as an image of a symmetrical portion of the vehicle. Note that design information regarding design values of the vehicle to be inspected may be stored in the vehicle inspection device 100 in advance. Then, the symmetrical portion extraction unit 112 may select a symmetrical portion of the vehicle based on the stored design information and extract the image of the selected symmetrical portion from the learning image.

画像処理部110における分割画像生成部113は、対称部抽出部112によって抽出された車両における対称部分の画像をその対称方向において二分割することで分割画像を生成する。図2(c)は、図2(b)に示す対称部分の画像である車体背面の画像Im2を、右側部分と左側部分とに分割した分割画像Im3、Im4を示している。このように、対称部分が左右対称の部分である場合は、分割画像生成部113は、対称部分の画像を右側部分の画像と左側部分の画像とに分割する。また、対称部分が上下対称の部分である場合は、分割画像生成部113は、対称部分の画像を上側部分の画像と左側部分の画像とに分割する。 The divided image generation unit 113 in the image processing unit 110 divides the image of the symmetrical portion of the vehicle extracted by the symmetrical portion extraction unit 112 into two in the symmetrical direction to generate a divided image. FIG. 2C shows divided images Im3 and Im4 obtained by dividing the image Im2 on the rear surface of the vehicle body, which is the image of the symmetrical portion shown in FIG. 2B, into a right side portion and a left side portion. As described above, when the symmetrical portion is a left-right symmetrical portion, the divided image generation unit 113 divides the image of the symmetrical portion into the image of the right side portion and the image of the left side portion. If the symmetrical portion is a vertically symmetrical portion, the divided image generation unit 113 divides the image of the symmetrical portion into an image of the upper portion and an image of the left portion.

画像処理部110における反転画像生成部114は、分割画像生成部113によって生成された分割画像それぞれを反転させることで反転画像を生成する。図2(d)は、図2(c)に示す対称部分の右側部分の分割画像Im3を反転させた反転画像Im5、および、図2(c)に示す対称部分の右側部分の分割画像Im4を反転させた反転画像Im6を示している。このように、分割画像が対称部分の画像を右側部分の画像と左側部分の画像に分割させた画像である場合は、反転画像生成部114は各分割画像を左右方向に反転させる。一方、分割画像が対称部分の画像を上側部分の画像と下側部分の画像に分割させた画像である場合は、反転画像生成部114は各分割画像を上下方向に反転させる。 The reverse image generation unit 114 in the image processing unit 110 generates a reverse image by inverting each of the divided images generated by the divided image generation unit 113. 2D shows an inverted image Im5 obtained by inverting the divided image Im3 on the right side of the symmetrical portion shown in FIG. 2C, and an divided image Im4 on the right side of the symmetrical portion shown in FIG. 2C. The reversed image Im6 which was reversed is shown. In this way, when the divided image is an image obtained by dividing the image of the symmetrical portion into the image of the right side portion and the image of the left side portion, the reverse image generation unit 114 reverses each divided image in the horizontal direction. On the other hand, when the divided image is an image obtained by dividing the image of the symmetrical portion into the image of the upper portion and the image of the lower portion, the reverse image generation unit 114 reverses each divided image in the vertical direction.

なお、以下の説明においては、分割画像生成部113によって生成された分割画像における、一方側の画像を「第1分割画像」と称し、他方側の画像を「第2分割画像」と称する場合もある。また、反転画像生成部114によって生成された反転画像における、第1分割画像を反転させた方の画像を「第1反転画像」と称し、第2分割画像を反転させた方の画像を「第2反転画像」と称する場合もある。例えば、図2(c)における分割画像Im3を第1分割画像とした場合、図2(d)における反転画像Im5が第1反転画像に相当する。また、図2(c)における分割画像Im4を第2分割画像とした場合、図2(d)における反転画像Im6が第2反転画像に相当する。 In the following description, in the divided images generated by the divided image generating unit 113, one side image may be referred to as “first divided image” and the other side image may be referred to as “second divided image”. is there. Further, in the reverse image generated by the reverse image generating unit 114, the image obtained by inverting the first divided image is referred to as “first inverted image”, and the image obtained by inverting the second divided image is referred to as “first image”. It may also be referred to as "two-inverted image". For example, when the divided image Im3 in FIG. 2C is the first divided image, the reverse image Im5 in FIG. 2D corresponds to the first reverse image. When the divided image Im4 in FIG. 2C is the second divided image, the reverse image Im6 in FIG. 2D corresponds to the second reverse image.

次に、機械学習を行うときに学習部120において実行される学習モデル生成処理について説明する。学習部120における教師データ取得部121は、画像処理部110における画像処理によって生成された分割画像および反転画像を、機械学習のための教師データとして取得する。より詳細には、教師データ取得部121は、分割画像生成部113によって生成された第1分割画像、および、反転画像生成部114によって生成された第2反転画像を、車両の対称部分における一方側についての教師データとして取得する。つまり、教師データ取得部121は、車両における対称部分の一方側の外観検査に用いる特徴量を抽出するための教師データとして第1分割画像および第2反転画像を取得する。また、教師データ取得部121は、分割画像生成部113によって生成された第2分割画像、
および、反転画像生成部114によって生成された第1反転画像を、車両の対称部分における他方側についての教師データとして取得する。つまり、教師データ取得部121は、車両における対称部分の他方側の外観検査に用いる特徴量を抽出するための教師データとして第2分割画像および第1反転画像を取得する。
Next, a learning model generation process executed by the learning unit 120 when performing machine learning will be described. The teacher data acquisition unit 121 in the learning unit 120 acquires the divided image and the inverted image generated by the image processing in the image processing unit 110 as teacher data for machine learning. More specifically, the teacher data acquisition unit 121 uses the first divided image generated by the divided image generation unit 113 and the second inverted image generated by the inverted image generation unit 114 as one side in the symmetrical portion of the vehicle. Is acquired as teacher data. That is, the teacher data acquisition unit 121 acquires the first divided image and the second inverted image as teacher data for extracting the feature amount used for the visual inspection of the one side of the symmetrical portion of the vehicle. Further, the teacher data acquisition unit 121 uses the second divided image generated by the divided image generation unit 113,
Also, the first reverse image generated by the reverse image generating unit 114 is acquired as teacher data for the other side of the symmetrical portion of the vehicle. That is, the teacher data acquisition unit 121 acquires the second divided image and the first inverted image as teacher data for extracting the feature amount used for the visual inspection on the other side of the symmetrical portion of the vehicle.

したがって、例えば、画像処理装置100によって図2に示すような画像処理が行われた場合、教師データ取得部121は、第1分割画像である分割画像Im3および第2反転画像である反転画像Im6を、車体背面の右側部分の外観検査に用いる特徴量を抽出するための教師データとして取得し、第2分割画像である分割画像Im4および第1反転画像である反転画像Im5を、車体背面の左側部分の外観検査に用いる特徴量を抽出するための教師データとして取得する。 Therefore, for example, when the image processing apparatus 100 performs image processing as shown in FIG. 2, the teacher data acquisition unit 121 determines the divided image Im3 that is the first divided image and the inverted image Im6 that is the second inverted image. , The divided image Im4 which is the second divided image and the inverted image Im5 which is the first inverted image, are acquired as teacher data for extracting the feature amount used for the appearance inspection of the right side portion of the vehicle body rear surface. It is acquired as teacher data for extracting the feature amount used for the appearance inspection of the.

図2に示す車両において、対称部分である車体背面の右側部分と左側部分との外観は、設計上は同一である。つまり、車両の設計上は、車体背面の右側部分の画像と、車体背面の左側部分の画像を反転させた画像と、を重ね合わせた場合、両者は一致することになる。また、車両の設計上は、車体背面の左側部分の画像と、車体背面の右側部分の画像を反転させた画像と、を重ね合わせた場合、両者は一致することになる。そのため、車体背面の右側部分を撮像した分割画像Im3のみならず、車体背面の左側部分を撮像した分割画像Im4の反転画像Im6も、車体背面の右側部分についての教師データとして用いることができる。また、車体背面の左側部分を撮像した分割画像Im4のみならず、車体背面の右側部分を撮像した分割画像Im3の反転画像Im5も、車体背面の左側部分についての教師データとして用いることができる。 In the vehicle shown in FIG. 2, the appearances of the right side portion and the left side portion of the vehicle body rear surface, which are symmetrical portions, are the same in design. That is, in terms of vehicle design, when an image of the right side portion of the rear surface of the vehicle body and an image obtained by inverting the image of the left side portion of the vehicle body are overlapped, the two are in agreement. Further, in terms of vehicle design, when an image of the left side portion of the back of the vehicle body and an image obtained by inverting the image of the right side portion of the vehicle body are overlapped, the two are in agreement. Therefore, not only the divided image Im3 obtained by capturing the right side portion of the vehicle body rear surface, but also the inverted image Im6 of the divided image Im4 obtained by capturing the left side portion of the vehicle body can be used as teacher data for the right side portion of the vehicle body rear surface. Further, not only the divided image Im4 obtained by capturing the left side portion of the vehicle body rear surface but also the inverted image Im5 of the divided image Im3 obtained by capturing the right side portion of the vehicle body rear surface can be used as teacher data for the left side portion of the vehicle body rear surface.

そして、学習部120における学習モデル生成部122は、教師データ取得部121が取得した教師データに基づいて、車両の外観検査に用いる学習モデルを生成する。つまり、車両の対称部分については、分割画像および反転画像を教師データとして学習モデルを生成する。 Then, the learning model generation unit 122 in the learning unit 120 generates a learning model used for the visual inspection of the vehicle based on the teacher data acquired by the teacher data acquisition unit 121. That is, for the symmetrical portion of the vehicle, the learning model is generated using the divided image and the inverted image as teacher data.

上記によれば、車両の外観検査に用いる学習モデルを構築するための機械学習において、車両の対称部分の撮像画像を分割した分割画像のみならず、該分割画像における一方側の画像および他方側の画像それぞれの反転画像を教師データとして用いることで、該学習モデルを構築するための教師データを増加させることができる。その結果、学習モデルの精度を向上させることができる。 According to the above, in machine learning for constructing the learning model used for the visual inspection of the vehicle, not only the divided images obtained by dividing the imaged image of the symmetrical portion of the vehicle but also the image on one side and the image on the other side of the divided image. By using the inverted image of each image as the teacher data, it is possible to increase the teacher data for constructing the learning model. As a result, the accuracy of the learning model can be improved.

以下、車両検査装置100において機械学習が行われる際の処理のフローについて、図3に示すフローチャートに基づいて説明する。なお、本フローにおけるS101〜S104の処理は画像処理部110によって実行され、S105およびS106の処理は学習部120によって実行される。 Hereinafter, a flow of processing when machine learning is performed in the vehicle inspection device 100 will be described based on the flowchart shown in FIG. The processing of S101 to S104 in this flow is executed by the image processing unit 110, and the processing of S105 and S106 is executed by the learning unit 120.

本フローでは、S101において、画像取得部111が、撮像装置200によって撮像された車両の画像を学習用画像として取得する。次に、S102において、対称部抽出部112が、画像取得部111によって取得された学習用画像から、車両における対称部分の画像を抽出する。次に、S103において、分割画像生成部113が、対称部抽出部112によって抽出された画像を対称方向に二分割することで分割画像を生成する。次に、S104において、反転画像生成部114が、分割画像生成部113によって生成された各反転画像を反転させることで反転画像を生成する。 In this flow, in S101, the image acquisition unit 111 acquires the image of the vehicle captured by the image capturing apparatus 200 as a learning image. Next, in S102, the symmetrical portion extraction unit 112 extracts an image of a symmetrical portion of the vehicle from the learning image acquired by the image acquisition unit 111. Next, in S103, the divided image generation unit 113 generates a divided image by dividing the image extracted by the symmetric portion extraction unit 112 into two in the symmetric direction. Next, in S104, the reverse image generation unit 114 generates a reverse image by inverting each reverse image generated by the divided image generation unit 113.

次に、S105において、教師データ取得部121が、分割画像生成部113によって生成された分割画像、および、反転画像生成部114によって生成された反転画像を教師データとして取得する。次に、S106において、学習モデル生成部122が、教師デー
タ取得部121によって取得された各教師データ(すなわち、分割画像および反転画像)に基づいて、車両の外観検査に用いる学習モデルを生成する。
Next, in S105, the teacher data acquisition unit 121 acquires, as the teacher data, the divided image generated by the divided image generation unit 113 and the inverted image generated by the inverted image generation unit 114. Next, in S106, the learning model generation unit 122 generates a learning model used for the visual inspection of the vehicle based on each teacher data (that is, the divided image and the inverted image) acquired by the teacher data acquisition unit 121.

そして、上記フローが実行されることで学習モデル生成部122によって学習モデルが生成されると、該学習モデルが、検査部130の学習モデル記憶部131に記憶される。 Then, when a learning model is generated by the learning model generation unit 122 by executing the above flow, the learning model is stored in the learning model storage unit 131 of the inspection unit 130.

(外観検査)
次に、車両検査装置100において、検査対象の車両の外観検査を行うときに、画像処理部110および検査部130で実行される処理について説明する。検査対象の車両の外観検査が行われるときには、該検査対象の車両が撮像装置200によって撮像されることで検査対象画像が撮像される。そして、画像処理部110における画像取得部111が、撮像装置200によって撮像された検査対象画像を取得する。
(Visual inspection)
Next, in the vehicle inspection device 100, a process executed by the image processing unit 110 and the inspection unit 130 when the appearance inspection of the inspection target vehicle is performed will be described. When the visual inspection of the vehicle to be inspected is performed, the image of the vehicle to be inspected is captured by the image capturing device 200, and thus the image to be inspected is captured. Then, the image acquisition unit 111 in the image processing unit 110 acquires the inspection target image captured by the imaging device 200.

画像取得部111によって検査対象画像が取得されると、対称部抽出部112が、該検査対象画像から、車両における対称部分の画像を抽出する。そして、対称部抽出部112によって、検査対象画像から、車両における対称部分の画像が抽出されると、分割画像生成部113が、該対称部分の画像をその対称方向において二分割することで分割画像を生成する。このように、検査対象の車両の外観検査が行われるときに、画像処理部110の画像取得部111、対称部抽出部112、および分割画像生成部113で検査対象画像に対して実行される各処理は、上述した機械学習が行われるときに画像処理部110のそれぞれの機能部で学習用画像に対して実行される処理と同様である。 When the image acquisition unit 111 acquires the inspection target image, the symmetrical portion extraction unit 112 extracts an image of a symmetrical portion of the vehicle from the inspection target image. Then, when the image of the symmetrical portion of the vehicle is extracted from the inspection target image by the symmetrical portion extracting unit 112, the divided image generating unit 113 divides the image of the symmetrical portion into two in the symmetrical direction, and thus the divided image is obtained. To generate. As described above, when the visual inspection of the vehicle to be inspected is performed, the image acquisition unit 111, the symmetric portion extraction unit 112, and the divided image generation unit 113 of the image processing unit 110 perform the inspection target images. The processing is similar to the processing executed on the learning image by each functional unit of the image processing unit 110 when the above-described machine learning is performed.

そして、画像処理部110において検査対象画像に対して上記のような画像処理が実行されると、検査部130における検査データ取得部132が、該画像処理によって生成された分割画像を、検査対象の車両の外観検査のための検査データとして取得する。また、検査データ取得部132によって検査データが取得されると、判別部133が、学習モデル記憶部131に記憶されている学習モデルに該検査データを入力することで、検査対象の車両における対称部分の外観について合否を判別する。つまり、検査対象の車両の対称部分における一方側および他方側それぞれの外観について合否が判別される。 Then, when the image processing unit 110 performs the above-described image processing on the inspection target image, the inspection data acquisition unit 132 in the inspection unit 130 sets the divided image generated by the image processing to the inspection target image. Acquired as inspection data for vehicle visual inspection. When the inspection data acquisition unit 132 acquires the inspection data, the determination unit 133 inputs the inspection data into the learning model stored in the learning model storage unit 131, so that the symmetrical portion of the vehicle to be inspected Pass/Fail is determined regarding the appearance. That is, the pass/fail is determined for the appearances on one side and the other side of the symmetrical portion of the vehicle to be inspected.

これによれば、学習用画像に基づいて生成された分割画像および反転画像を教師データとして用いて構築された学習モデルによって検査対象の車両の外観検査を行うことができる。つまり、より精度の高い学習モデルによって車両の外観検査を行うことができる。したがって、車両の外観検査の検査精度を向上させることができる。 According to this, the visual inspection of the vehicle to be inspected can be performed by the learning model constructed by using the divided image and the inverted image generated based on the learning image as the teacher data. That is, it is possible to perform a visual inspection of the vehicle using a learning model with higher accuracy. Therefore, the inspection accuracy of the visual inspection of the vehicle can be improved.

以下、車両検査装置100において検査対象の車両の外観検査が行われる際の処理のフローについて、図4に示すフローチャートに基づいて説明する。なお、本フローにおけるS201〜S203の処理は画像処理部110によって実行され、S204およびS205の処理は検査部130によって実行される。 Hereinafter, a flow of processing when the vehicle inspection device 100 performs an appearance inspection of a vehicle to be inspected will be described based on a flowchart shown in FIG. The processing of S201 to S203 in this flow is executed by the image processing unit 110, and the processing of S204 and S205 is executed by the inspection unit 130.

本フローでは、S201において、画像取得部111が、撮像装置200によって撮像された検査対象の車両の画像を検査対象画像として取得する。次に、S202において、対称部抽出部112が、画像取得部111によって取得された検査対象画像から、検査対象の車両における対称部分の画像を抽出する。次に、S203において、分割画像生成部113が、対称部抽出部112によって抽出された画像を対称方向に二分割することで分割画像を生成する。 In this flow, in S201, the image acquisition unit 111 acquires the image of the vehicle as the inspection target captured by the image capturing apparatus 200 as the inspection target image. Next, in S202, the symmetrical portion extraction unit 112 extracts an image of a symmetrical portion in the vehicle to be inspected from the inspection object image acquired by the image acquisition unit 111. Next, in S203, the divided image generation unit 113 generates a divided image by dividing the image extracted by the symmetric portion extraction unit 112 into two in the symmetric direction.

次に、S204において、検査データ取得部132が、分割画像生成部113によって生成された分割画像を検査データとして取得する。次に、S205において、判別部133が、検査データ取得部132によって取得された各検査データ(すなわち、分割画像)
を、学習モデル記憶部131に記憶されている学習モデルに入力することで、検査対象の車両における対称部分の外観について合否を判別する。
Next, in S204, the inspection data acquisition unit 132 acquires the divided image generated by the divided image generation unit 113 as inspection data. Next, in S205, the determination unit 133 causes each inspection data item acquired by the inspection data acquisition unit 132 (that is, the divided image).
Is input to the learning model stored in the learning model storage unit 131 to determine whether the appearance of the symmetrical portion of the vehicle to be inspected is acceptable or not.

なお、車両検査装置100は、上記フローを実行することで得られた、検査対象の車両の外観検査の結果(すなわち、合否判定結果)を報知するための報知処理をさらに実行してもよい。 The vehicle inspection device 100 may further execute a notification process for notifying the result of the appearance inspection of the vehicle to be inspected (that is, the pass/fail judgment result) obtained by executing the above flow.

本実施形態においては、画像処理部110が本発明の第1の態様に係る「第1画像処理部」として機能し、学習部120が本発明の第1の態様に係る「学習部」として機能する。また、本実施形態においては、画像処理部110が本発明の第2の態様に係る「第2画像処理部」としても機能し、検査部130が本発明の第2の態様に係る「検査部」として機能する。つまり、本実施形態においては、車両検査装置100が、本発明に係る「情報処理装置」および「外観検査装置」と含んで構成されている。ただし、本発明に係る「情報処理装置」および「外観検査装置」は、必ずしも一つの装置として構成される必要はなく、それぞれが別の装置として構成されてもよい。また、本発明に係る「検査対象物」は、「車両」に限られるものではなく、その外観において対称部分が含まれる物体であればよい。例えば、車両に組み付ける一部品の外観検査のために本発明を適用してもよい。 In the present embodiment, the image processing unit 110 functions as the “first image processing unit” according to the first aspect of the present invention, and the learning unit 120 functions as the “learning unit” according to the first aspect of the present invention. To do. Further, in the present embodiment, the image processing unit 110 also functions as the “second image processing unit” according to the second aspect of the present invention, and the inspection unit 130 is the “inspection unit” according to the second aspect of the present invention. Function as". That is, in the present embodiment, the vehicle inspection device 100 is configured to include the “information processing device” and the “appearance inspection device” according to the present invention. However, the “information processing device” and the “appearance inspection device” according to the present invention do not necessarily have to be configured as one device, and may be configured as different devices. Further, the “inspection object” according to the present invention is not limited to the “vehicle”, and may be any object that includes a symmetrical portion in its appearance. For example, the present invention may be applied to the appearance inspection of one component to be assembled in a vehicle.

<その他の実施形態>
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施し得る。また、本開示において説明した処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
<Other embodiments>
The above-described embodiment is merely an example, and the present invention can be appropriately modified and implemented without departing from the scope of the invention. Further, the processes and means described in the present disclosure can be freely combined and implemented as long as there is no technical contradiction.

また、1つの装置が行うものとして説明した処理が、複数の装置によって分担して実行されてもよい。あるいは、異なる装置が行うものとして説明した処理が、1つの装置によって実行されても構わない。コンピュータシステムにおいて、各機能をどのようなハードウェア構成によって実現するかは柔軟に変更可能である。 Further, the processing described as being performed by one device may be shared and executed by a plurality of devices. Alternatively, the processing described as being performed by different devices may be performed by one device. In the computer system, it is possible to flexibly change the hardware configuration to realize each function.

100・・車両検査装置
110・・画像処理部
111・・画像取得部
112・・対称部抽出部
113・・分割画像生成部
114・・反転画像生成部
120・・学習部
121・・教師データ取得部
122・・学習モデル生成部
130・・検査部
131・・学習モデル記憶部
132・・検査データ取得部
133・・判別部
200・・撮像装置
100..Vehicle inspection device 110..image processing unit 111..image acquisition unit 112...symmetry part extraction unit 113..divided image generation unit 114..inverted image generation unit 120..learning unit 121..teacher data acquisition Unit 122 learning model generation unit 130 inspection unit 131 learning model storage unit 132 inspection data acquisition unit 133 discrimination unit 200 imaging device

Claims (3)

検査対象物と同種の物体を撮像することで得られる学習用画像を教師データとして機械学習を行うことで、検査対象物の外観検査に用いる学習モデルを生成する情報処理装置において、
前記学習用画像から、前記物体における左右対称または上下対称の部分である対称部分の画像を抽出するとともに、前記対称部分の画像をその対称方向において二分割することで分割画像を生成し、さらに、前記分割画像における一方側の画像および他方側の画像それぞれを反転させることで反転画像を生成する第1画像処理部と、
前記分割画像における一方側の画像、および、前記分割画像における他方側の画像を反転させた前記反転画像を、前記対称部分における一方側についての前記教師データとして取得するとともに、前記分割画像における他方側の画像、および、前記分割画像における一方側の画像を反転させた前記反転画像を、前記対称部分における他方側についての前記教師データとして取得し、取得した前記教師データに基づいて機械学習を行うことで前記学習モデルを生成する学習部と、
を備える情報処理装置。
In an information processing device that generates a learning model used for appearance inspection of an inspection target by performing machine learning using a learning image obtained by capturing an object of the same type as the inspection target as teacher data,
From the learning image, while extracting an image of a symmetrical portion which is a symmetrical portion or a vertically symmetrical portion of the object, a divided image is generated by dividing the image of the symmetrical portion into two in the symmetrical direction, and further, A first image processing unit that generates an inverted image by inverting each of the image on one side and the image on the other side in the divided image;
The image on one side in the divided image and the inverted image obtained by inverting the image on the other side in the divided image are acquired as the teacher data for one side in the symmetrical portion, and the other side in the divided image is acquired. Image and the inverted image obtained by inverting the image on one side of the divided image as the teacher data for the other side of the symmetrical portion, and performing machine learning based on the acquired teacher data. And a learning unit that generates the learning model with
An information processing apparatus including.
請求項1に記載の情報処理装置によって生成された前記学習モデルを用いて、検査対象物の外観検査を行う外観検査装置であって、
前記検査対象物を撮像することで得られる検査対象画像から、前記検査対象物における左右対称または上下対称の部分である対称部分の画像を抽出するとともに、前記検査対象画像から抽出された前記対称部分の画像をその対称方向において二分割することで分割画像を生成する第2画像処理部と、
前記検査対象画像から生成された前記分割画像を検査データとして取得し、取得した前記検査データを前記学習モデルに入力することで、前記検査対象物における前記対称部分の外観について合否を判別する検査部と、
を備える外観検査装置。
An appearance inspection apparatus that performs an appearance inspection of an inspection object using the learning model generated by the information processing apparatus according to claim 1.
From an inspection target image obtained by imaging the inspection target, an image of a symmetric portion that is a left-right symmetric or a vertical symmetric portion of the inspection target is extracted, and the symmetric portion extracted from the inspection target image A second image processing unit that generates a divided image by dividing the image of 2 into two in the symmetric direction,
An inspection unit that determines whether the appearance of the symmetrical portion of the inspection target is acceptable by acquiring the divided image generated from the inspection target image as inspection data and inputting the acquired inspection data to the learning model. When,
Appearance inspection device equipped with.
検査対象物と同種の物体を撮像することで得られる学習用画像を教師データとして機械学習を行うことで、検査対象物の外観検査に用いる学習モデルを生成する情報処理方法において、
前記学習用画像から、前記物体における左右対称または上下対称の部分である対称部分の画像を抽出するステップと、
前記対称部分の画像をその対称方向において二分割することで分割画像を生成するステップと、
前記分割画像における一方側の画像および他方側の画像それぞれを反転させることで反転画像を生成するステップと、
前記分割画像における一方側の画像、および、前記分割画像における他方側の画像を反転させた前記反転画像を、前記対称部分における一方側についての前記教師データとして取得するとともに、前記分割画像における他方側の画像、および、前記分割画像における一方側の画像を反転させた前記反転画像を、前記対称部分における他方側についての前記教師データとして取得するステップと、
取得した前記教師データに基づいて機械学習を行うことで前記学習モデルを生成するステップと、
を有する情報処理方法。

In an information processing method for generating a learning model used for appearance inspection of an inspection target by performing machine learning using a learning image obtained by capturing an object of the same type as the inspection target as teacher data,
From the learning image, a step of extracting an image of a symmetrical portion which is a symmetrical portion or a vertically symmetrical portion of the object,
Generating a divided image by dividing the image of the symmetrical portion into two in the symmetric direction,
Generating an inverted image by inverting each of the image on one side and the image on the other side in the divided image;
The image on one side in the divided image and the inverted image obtained by inverting the image on the other side in the divided image are acquired as the teacher data for one side in the symmetrical portion, and the other side in the divided image is acquired. And an image obtained by inverting the image on one side in the divided image as the teacher data for the other side in the symmetrical portion,
Generating the learning model by performing machine learning based on the acquired teacher data,
An information processing method including.

JP2018241171A 2018-12-25 2018-12-25 Information processing device and visual inspection device Pending JP2020102111A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018241171A JP2020102111A (en) 2018-12-25 2018-12-25 Information processing device and visual inspection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018241171A JP2020102111A (en) 2018-12-25 2018-12-25 Information processing device and visual inspection device

Publications (1)

Publication Number Publication Date
JP2020102111A true JP2020102111A (en) 2020-07-02

Family

ID=71139659

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018241171A Pending JP2020102111A (en) 2018-12-25 2018-12-25 Information processing device and visual inspection device

Country Status (1)

Country Link
JP (1) JP2020102111A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022259520A1 (en) * 2021-06-11 2022-12-15 株式会社Subaru Image processing device and vehicle
WO2023074183A1 (en) * 2021-10-28 2023-05-04 パナソニックIpマネジメント株式会社 Learning support system, appearance inspecting device, updating device for appearance inspection software, and method for updating appearance inspection model
WO2023074184A1 (en) * 2021-10-28 2023-05-04 パナソニックIpマネジメント株式会社 Annotation assistance system and training assistance system that is for model for inspecting appearance and that uses said annotation assistance system
WO2023195107A1 (en) * 2022-04-06 2023-10-12 日本電気株式会社 Object evaluation device, object evaluation method, and recording medium
WO2023238565A1 (en) * 2022-06-07 2023-12-14 富士フイルム株式会社 Data processing device, data processing method, and program

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022259520A1 (en) * 2021-06-11 2022-12-15 株式会社Subaru Image processing device and vehicle
JP7480436B2 (en) 2021-06-11 2024-05-09 株式会社Subaru Image processing device and vehicle
WO2023074183A1 (en) * 2021-10-28 2023-05-04 パナソニックIpマネジメント株式会社 Learning support system, appearance inspecting device, updating device for appearance inspection software, and method for updating appearance inspection model
WO2023074184A1 (en) * 2021-10-28 2023-05-04 パナソニックIpマネジメント株式会社 Annotation assistance system and training assistance system that is for model for inspecting appearance and that uses said annotation assistance system
WO2023195107A1 (en) * 2022-04-06 2023-10-12 日本電気株式会社 Object evaluation device, object evaluation method, and recording medium
WO2023238565A1 (en) * 2022-06-07 2023-12-14 富士フイルム株式会社 Data processing device, data processing method, and program

Similar Documents

Publication Publication Date Title
JP2020102111A (en) Information processing device and visual inspection device
Prasanna et al. Automated crack detection on concrete bridges
JP5919538B2 (en) Object detection apparatus and object detection method
JP2019050376A5 (en)
TW201035543A (en) Method and system for determining a defect during charged particle beam inspection of a sample
JP2014514048A5 (en)
CN111640123B (en) Method, device, equipment and medium for generating background-free image
JP5987114B2 (en) High resolution image generation apparatus, high resolution image generation method, and high resolution image generation program
JP2014063478A (en) Image processor and the method thereof
JP2013200648A (en) Edge extraction method of gray image, edge extraction device and edge extraction program of gray image
JP2016053763A (en) Image processor, image processing method and program
JP6643301B2 (en) Defect inspection device and defect inspection method
JP2018041201A (en) Display control program, display control method and information processing device
JP2020067669A (en) Information processing apparatus, and program
JP2016115313A (en) Super-resolution device and program
Kikuchi et al. A data structure for triangular dissection of multi-resolution images
US20160342833A1 (en) Text Extraction From Graphical User Interface Content
MacEachren Distributed cognition: A conceptual framework for understanding map-based reasoning
JP6242196B2 (en) Image processing apparatus, image processing apparatus control method, and program
Boonbrahm et al. Transforming 2D human data into 3D model for augmented reality applications
US10685238B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP2019175350A (en) Structure inspection system, structure inspection device, and structure inspection method
JP2006048665A5 (en)
CN111382615A (en) Image detection method
Lee et al. Text detection in video sequence using 1-D DCT