JP2020102111A - Information processing device and visual inspection device - Google Patents
Information processing device and visual inspection device Download PDFInfo
- Publication number
- JP2020102111A JP2020102111A JP2018241171A JP2018241171A JP2020102111A JP 2020102111 A JP2020102111 A JP 2020102111A JP 2018241171 A JP2018241171 A JP 2018241171A JP 2018241171 A JP2018241171 A JP 2018241171A JP 2020102111 A JP2020102111 A JP 2020102111A
- Authority
- JP
- Japan
- Prior art keywords
- image
- inspection
- divided
- learning
- symmetrical portion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、情報処理装置および外観検査装置に関する。
に関する。
The present invention relates to an information processing device and a visual inspection device.
Regarding
従来、検査対象を撮像した画像を用いて該検査対象の外観を検査する検査装置に関し様々な技術が開発されている。例えば、特許文献1には、検査装置において、検査対象の撮像画像を複数の撮像分割画像に分割して検査を行うための技術が開示されている。この特許文献1に記載の技術では、学習用画像を複数に分割することで得られる複数の学習用分割画像の各々について機械学習することで特徴量を抽出する。さらに、抽出された特徴量に基づいて、複数の撮像分割画像の各々を分類する。そして、分類された複数の撮像分割画像に基づいて検査対象の良否を判定する。
Conventionally, various techniques have been developed for an inspection apparatus that inspects the appearance of the inspection target using an image of the inspection target. For example,
検査対象物と同種の物体を撮像することで得られる学習用画像を教師データとして機械学習を行うことで構築された学習モデルを用いて、検査対象物の外観の検査を行うことが考えられる。このとき、検査精度を向上させるためには、より多くの教師データに基づいて学習モデルを構築する必要がある。 It is conceivable to inspect the appearance of the inspection target by using a learning model constructed by performing machine learning using a learning image obtained by capturing an object of the same type as the inspection target as teacher data. At this time, in order to improve the inspection accuracy, it is necessary to construct a learning model based on more teacher data.
本発明は、上記のような問題に鑑みてなされたものであって、学習モデルを用いて検査対象物の外観検査を行うときの検査精度を向上させることが可能な技術を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique capable of improving inspection accuracy when performing a visual inspection of an inspection target using a learning model. And
本発明の第1の態様に係る情報処理装置は、検査対象物と同種の物体を撮像することで得られる学習用画像を教師データとして機械学習を行うことで、検査対象物の外観検査に用いる学習モデルを生成する情報処理装置において、前記学習用画像から、前記物体における左右対称または上下対称の部分である対称部分の画像を抽出するとともに、前記対称部分の画像をその対称方向において二分割することで分割画像を生成し、さらに、前記分割画像における一方側の画像および他方側の画像それぞれを反転させることで反転画像を生成する第1画像処理部と、前記分割画像における一方側の画像、および、前記分割画像における他方側の画像を反転させた前記反転画像を、前記対称部分における一方側についての前記教師データとして取得するとともに、前記分割画像における他方側の画像、および、前記分割画像における一方側の画像を反転させた前記反転画像を、前記対称部分における他方側についての前記教師データとして取得し、取得した前記教師データに基づいて機械学習を行うことで前記学習モデルを生成する学習部と、を備える。 The information processing apparatus according to the first aspect of the present invention is used for appearance inspection of an inspection target object by performing machine learning using learning images obtained by capturing an object of the same type as the inspection target object as teacher data. In an information processing device for generating a learning model, an image of a symmetrical portion which is a symmetrical portion or a vertically symmetrical portion of the object is extracted from the learning image, and the image of the symmetrical portion is divided into two in the symmetrical direction. A divided image is thereby generated, and further, a first image processing unit that generates a reversed image by reversing the image on one side and the image on the other side in the divided image, and an image on one side in the divided image, And, the inverted image obtained by inverting the image on the other side in the divided image is acquired as the teacher data for one side in the symmetrical portion, and the image on the other side in the divided image, and in the divided image. A learning unit that acquires the inverted image obtained by inverting the image on one side as the teacher data for the other side in the symmetrical portion, and performs the machine learning based on the acquired teacher data to generate the learning model. And
本発明に係る情報処理装置は、検査対象物と同種の物体を撮像することで得られる学習用画像を教師データとして機械学習を行うことで、検査対象物の外観検査に用いる学習モデルを生成する。この場合、教師データとなり得る学習用画像をより多く取得することで、学習モデルの精度を向上させることができる。 The information processing apparatus according to the present invention performs learning by machine learning using a learning image obtained by imaging an object of the same type as the inspection object to generate a learning model used for appearance inspection of the inspection object. .. In this case, the accuracy of the learning model can be improved by acquiring more learning images that can serve as teacher data.
そして、本発明に係る情報処理装置においては、第1画像処理部が、学習モデルを生成するための学習用画像から、撮像した物体における対称部分の画像を抽出する。ここで、撮像した物体の対称部分は、すなわち、検査対象物における左右対称または上下対称の部分である。なお、検査対象物における対称部分は、該検査対象物の設計値等に基づいて抽出することができる。 Then, in the information processing device according to the present invention, the first image processing unit extracts an image of a symmetrical portion of the imaged object from the learning image for generating the learning model. Here, the symmetric portion of the imaged object is a symmetrical portion or a vertically symmetrical portion of the inspection object. The symmetrical portion of the inspection object can be extracted based on the design value of the inspection object or the like.
また、第1画像処理部は、抽出した対称部分の画像をその対称方向において二分割することで分割画像を取得する。つまり、対称部分が左右対称の部分である場合は、対称部分の画像を右側部分の画像と左側部分の画像とに分割する。また、対称部分が上下対称の部分である場合は、対称部分の画像を上側部分の画像と左側部分の画像とに分割する。さらに、第1画像処理部は、分割画像における一方側の画像および他方側の画像それぞれを反転させることで反転画像を生成する。 Further, the first image processing unit acquires a divided image by dividing the extracted image of the symmetrical portion into two in the symmetrical direction. That is, when the symmetrical portion is a left-right symmetrical portion, the image of the symmetrical portion is divided into the image on the right side and the image on the left side. When the symmetrical portion is a vertically symmetrical portion, the image of the symmetrical portion is divided into the upper portion image and the left portion image. Furthermore, the first image processing unit inverts the image on one side and the image on the other side in the divided image to generate an inverted image.
そして、学習部が、分割画像における一方側の画像、および、該分割画像における他方側の画像を反転させた反転画像を、対称部分における一方側についての教師データとして取得する。つまり、撮像した物体の対称部分の画像を二分割したときの一方側の画像である一方側の分割画像と、撮像した物体の対称部分の画像を二分割したときの他方側の画像である他方側の分割画像を反転させた反転画像とを、該対称部分の一方側の外観検査に用いる特徴量を抽出するための教師データとして取得する。 Then, the learning unit acquires an image on one side of the divided image and an inverted image obtained by inverting the image on the other side of the divided image as teacher data for one side of the symmetrical portion. That is, one divided image that is one side image when the image of the symmetrical portion of the captured object is divided into two, and the other side image when the image of the symmetrical portion of the captured object is divided into two. An inverted image obtained by inverting the divided image on the side is acquired as teacher data for extracting the feature amount used for the visual inspection of the one side of the symmetrical portion.
また、学習部は、分割画像における他方側の画像、および、該分割画像における一方側の画像を反転させた反転画像を、対称部分における他方側についての教師データとして取得する。つまり、撮像した物体の対称部分の画像を二分割したときの他方側の画像である他方側の分割画像と、撮像した物体の対称部分の画像を二分割したときの一方側の画像である一方側の分割画像を反転させた反転画像とを、該対称部分の他方側の外観検査に用いる特徴量を抽出するための教師データとして取得する。 Further, the learning unit acquires the image on the other side of the divided image and the inverted image obtained by inverting the image on the one side of the divided image as the teacher data for the other side of the symmetrical portion. That is, one of the divided image on the other side, which is the image on the other side when the image of the symmetrical portion of the captured object is divided into two, and the image on the one side, when the image of the symmetrical portion of the captured object is divided into two. An inverted image obtained by inverting the divided image on the side is acquired as teacher data for extracting the feature amount used for the visual inspection on the other side of the symmetrical portion.
ここで、検査対象物の対称部分における一方の部分と他方の部分との外観は、該検査対象物の設計上は当然のことながら同一である。したがって、検査対象物と同種の物体(撮像した物体)の設計上は、該物体の対称部分における一方の部分の画像と他方の部分の画像とを、いずれか一方を反転させて重ね合わせた場合、両者は一致することになる。したがって、分割画像における一方側の画像を反転させた反転画像を検査対象物の対称部分における他方側についての教師データとして用いることができ、また、該分割画像における他方側の画像を反転させた反転画像を該対称部分における一方側についての教師データとして用いることができる。 Here, the appearances of one part and the other part of the symmetrical portion of the inspection object are, of course, the same in designing the inspection object. Therefore, in designing an object of the same type as the inspection object (imaged object), when one of the image of the symmetrical portion of the object and the image of the other portion are inverted and overlapped, , Both will be the same. Therefore, an inverted image obtained by inverting the image on one side in the divided image can be used as teacher data for the other side in the symmetrical portion of the inspection object, and the inverted image obtained by inverting the image on the other side in the divided image can be used. The image can be used as teacher data for one side of the symmetrical portion.
そして、上記のように、分割画像における一方側の画像および他方側の画像それぞれの反転画像を教師データとして追加することで、学習モデルを構築するための教師データを増加させることができる。その結果、学習モデルの精度を向上させることができ、以て、学習モデルを用いて検査対象物の外観検査を行うときの検査精度を向上させることができる。 Then, as described above, it is possible to increase the teacher data for constructing the learning model by adding the inverted images of the one side image and the other side image in the divided image as the teacher data. As a result, the accuracy of the learning model can be improved, and thus the inspection accuracy when performing the visual inspection of the inspection object using the learning model can be improved.
また、本発明の第2の態様に係る外観検査装置は、第1の態様に係る情報処理装置によって生成された前記学習モデルを用いて、検査対象物の外観検査を行う外観検査装置であって、前記検査対象物を撮像することで得られる検査対象画像から、前記検査対象物における左右対称または上下対称の部分である対称部分の画像を抽出するとともに、前記検査対象画像から抽出された前記対称部分の画像をその対称方向において二分割することで分割画像を生成する第2画像処理部と、前記検査対象画像から生成された前記分割画像を検査データとして取得し、取得した前記検査データを前記学習モデルに入力することで、前記検査対象物における前記対称部分の外観について合否を判別する検査部と、を備える。 An appearance inspection apparatus according to a second aspect of the present invention is an appearance inspection apparatus that performs an appearance inspection of an inspection object using the learning model generated by the information processing apparatus according to the first aspect. From the inspection object image obtained by imaging the inspection object, an image of a symmetrical portion which is a symmetrical portion or a vertically symmetrical portion of the inspection object is extracted, and the symmetry extracted from the inspection object image A second image processing unit that generates a divided image by dividing the partial image into two in the symmetric direction, the divided image generated from the inspection target image is acquired as inspection data, and the acquired inspection data is acquired. An inspection unit that determines whether the appearance of the symmetrical portion of the inspection object is acceptable by inputting the learning model.
また、本発明の第3の態様に係る情報処理方法は、検査対象物と同種の物体を撮像することで得られる学習用画像を教師データとして機械学習を行うことで、検査対象物の外観検査に用いる学習モデルを生成する情報処理方法において、前記学習用画像から、前記物体における左右対称または上下対称の部分である対称部分の画像を抽出するステップと、前記対称部分の画像をその対称方向において二分割することで分割画像を生成するステップと、前記分割画像における一方側の画像および他方側の画像それぞれを反転させることで反転画像を生成するステップと、前記分割画像における一方側の画像、および、前記分割画像における他方側の画像を反転させた前記反転画像を、前記対称部分における一方側についての前記教師データとして取得するとともに、前記分割画像における他方側の画像、および、前記分割画像における一方側の画像を反転させた前記反転画像を、前記対称部分における他方側についての前記教師データとして取得するステップと、取得した前記教師データに基づいて機械学習を行うことで前記学習モデルを生成するステップと、を有する。 The information processing method according to the third aspect of the present invention uses the learning image obtained by imaging an object of the same type as the inspection target as machine data to perform machine learning, thereby performing an appearance inspection of the inspection target. In the information processing method for generating the learning model used for, from the learning image, a step of extracting an image of a symmetrical portion which is a symmetrical portion or a vertically symmetrical portion of the object, and the image of the symmetrical portion in the symmetrical direction. A step of generating a divided image by dividing the image into two, a step of generating an inverted image by inverting each of the image on one side and the image on the other side in the divided image, an image on one side in the divided image, and , The inverted image obtained by inverting the image on the other side in the divided image is acquired as the teacher data for one side in the symmetrical portion, and the image on the other side in the divided image, and one in the divided image Acquiring the inverted image obtained by inverting the image on the side as the teacher data for the other side in the symmetrical portion, and generating the learning model by performing machine learning based on the acquired teacher data. And.
本発明によれば、学習モデルを用いて検査対象物の外観検査を行うときの検査精度を向上させることができる。 According to the present invention, it is possible to improve the inspection accuracy when performing the visual inspection of the inspection target using the learning model.
以下、本発明の具体的な実施形態について図面に基づいて説明する。本実施例に記載されている構成部品の寸法、材質、形状、その相対配置等は、特に記載がない限りは発明の技術的範囲をそれらのみに限定する趣旨のものではない。 Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. The dimensions, materials, shapes, relative arrangements, and the like of the components described in this embodiment are not intended to limit the technical scope of the invention to these unless otherwise specified.
<実施形態>
(車両検査装置の構成)
本実施形態では、本発明を車両の外観を検査する車両検査装置に適用している。つまり、本実施形態では、「車両」が「検査対象物」に相当する。ここで、本実施形態に係る車両検査装置の機能構成について図1に基づいて説明する。図1は、本実施形態に係る車両検査装置の機能構成の概略を示すブロック図である。車両検査装置100は、撮像装置200によって撮像される検査対象の車両の画像(検査対象画像)に基づいて該車両の外観検査を行う装置である。また、車両検査装置100は、検査対象の車両と同種の車両を撮像することで得られる学習用画像に基づいて機械学習を行うことで、該検査対象の車両の外観検査に用いる学習モデルを生成する機能を有する。
<Embodiment>
(Structure of vehicle inspection device)
In the present embodiment, the present invention is applied to a vehicle inspection device that inspects the appearance of a vehicle. That is, in this embodiment, the “vehicle” corresponds to the “inspection object”. Here, the functional configuration of the vehicle inspection device according to the present embodiment will be described based on FIG. 1. FIG. 1 is a block diagram showing an outline of a functional configuration of a vehicle inspection device according to this embodiment. The vehicle inspection device 100 is a device that performs an appearance inspection of the vehicle on the basis of an image of the vehicle to be inspected (inspection target image) captured by the image capturing
車両検査装置100は、CPUやDSP等のプロセッサと、読み込み専用メモリ(ROM)、ランダムアクセスメモリ(RAM)等の主記憶部と、EPROM、ハードディスクドライブ(HDD)、リムーバブルメディア等の補助記憶部と、を有するコンピュータを含んで構成される。ここで、リムーバブルメディアは、例えば、USBメモリやSDカード等のフラッシュメモリ、あるいは、CD−ROMやDVDディスク、ブルーレイディスクのようなディスク記録媒体である。 The vehicle inspection device 100 includes a processor such as a CPU and a DSP, a main storage unit such as a read-only memory (ROM) and a random access memory (RAM), and an auxiliary storage unit such as an EPROM, a hard disk drive (HDD), and a removable medium. , And a computer having. Here, the removable medium is, for example, a flash memory such as a USB memory or an SD card, or a disc recording medium such as a CD-ROM, a DVD disc, or a Blu-ray disc.
また、車両検査装置100においては、プロセッサが、補助記憶部に記憶されたプログラムを主記憶部にロードして実行することによって、後述するような各種の機能を実現することができる。ただし、車両検査装置100における一部または全部の機能はASICやFPGAのようなハードウェア回路によって実現されてもよい。また、撮像装置200としては、車両の検査を行う作業者に装着されるウェアラブルカメラ等を用いることができる。
Further, in the vehicle inspection device 100, the processor loads the program stored in the auxiliary storage unit into the main storage unit and executes the program, so that various functions described below can be realized. However, some or all of the functions of the vehicle inspection device 100 may be implemented by a hardware circuit such as an ASIC or FPGA. Further, as the
車両検査装置100と撮像装置200とは、ネットワークを介して相互に接続される。このネットワークには、例えば、インターネット等の世界規模の公衆通信網であるWAN(Wide Area Network)や、携帯電話等の電話通信網が採用されてもよい。また、Bluetooth(登録商標)LowEnergy規格や、WiFi(登録商標)等の通信規格を利用してネットワークを構築してもよい。
The vehicle inspection device 100 and the
車両検査装置100は、画像処理部110、学習部120、および検査部130を有している。画像処理部110は、撮像装置200によって撮像された検査対象画像に対して外観検査のために必要な画像処理を行う機能を有する。また、画像処理部110は、撮像装置200によって撮像された学習用画像に対して機械学習のために必要な画像処理を行う機能も有する。なお、検査対象画像および学習用画像は、例えば、JPEG(Joint Photographic Experts Group)、ビットマップ画像(bitmap image / bitmap graphics)、GIF(Graphics Interchange Format)等のデータ形式で表された画像である。
The vehicle inspection device 100 includes an
画像処理部110は、画像処理における各種の処理を実行する機能部として、画像取得部111、対称部抽出部112、分割画像生成部113、および反転画像生成部114を有している。なお、これらの機能部において実行される処理の詳細については後述する。
The
学習部120は、画像処理部110において必要な画像処理が行われた学習用画像を用いて機械学習を行うことで学習モデルを生成する機能を有する。学習部120は、機械学習における各種の処理を実行する機能部として、教師データ取得部121、および学習モデル生成部122を有している。また、検査部130は、画像処理部110において必要な画像処理が行われた検査対象画像を、学習部120において生成された学習モデルに入力することで、検査対象の車両の外観検査を行う機能を有する。検査部130は、外観検査における各種の処理を実行する機能部として、学習モデル記憶部131、検査データ取得部132、および判別部133を有している。なお、学習部120および検査部130の各機能部において実行される処理の詳細についても後述する。
The
(機械学習)
ここで、車両検査装置100において、車両の外観検査に用いる学習モデルを生成すべく機械学習を行うときに、画像処理部110および学習部120で実行される処理について説明する。先ず、機械学習を行うときに画像処理部110において実行される画像処理について、図1に加え、図2に基づいて説明する。図2は、機械学習を行うときに画像処理部110において実行される画像処理の一例について説明するための図である。図2は、車両のバックドアを含む車体背面の外観検査に用いる学習モデルを生成するための機械学習を行うときの画像処理の流れを示している。
(Machine learning)
Here, in the vehicle inspection device 100, a process executed by the
機械学習が行われるときには、検査対象の車両と同種の車両が撮像装置200によって撮像されることで学習用画像が撮像される。そして、画像処理部110における画像取得部111が、撮像装置200によって撮像された学習用画像を取得する。図2(a)は、
画像取得部111によって取得された学習用画像Im1(車両背面の画像)を示している。
When machine learning is performed, a learning image is captured by capturing an image of a vehicle of the same type as the vehicle to be inspected by the
The learning image Im1 (image on the rear surface of the vehicle) acquired by the
画像処理部110における対称部抽出部112は、画像取得部111によって取得された学習用画像から、車両における対称部分の画像を抽出する。ここで、対称部分とは、車両における左右対称または上下対称の部分である。図2(b)は、図2(a)に示す学習用画像Im1から、対称部抽出部112によって抽出された対称部分の画像Im2(車体背面の画像)を示している。ここで、車両の設計上は、車体背面は左右対称となっている。そのため、対称部抽出部112は、車体背面の画像Im2を車両における対称部分の画像として抽出する。なお、検査対象の車両の設計値に関する設計情報を車両検査装置100に予め記憶させておいてもよい。そして、対称部抽出部112は、記憶された設計情報に基づいて車両における対称部分を選択し、選択した対称部分の画像を学習用画像から抽出してもよい。
The symmetric
画像処理部110における分割画像生成部113は、対称部抽出部112によって抽出された車両における対称部分の画像をその対称方向において二分割することで分割画像を生成する。図2(c)は、図2(b)に示す対称部分の画像である車体背面の画像Im2を、右側部分と左側部分とに分割した分割画像Im3、Im4を示している。このように、対称部分が左右対称の部分である場合は、分割画像生成部113は、対称部分の画像を右側部分の画像と左側部分の画像とに分割する。また、対称部分が上下対称の部分である場合は、分割画像生成部113は、対称部分の画像を上側部分の画像と左側部分の画像とに分割する。
The divided
画像処理部110における反転画像生成部114は、分割画像生成部113によって生成された分割画像それぞれを反転させることで反転画像を生成する。図2(d)は、図2(c)に示す対称部分の右側部分の分割画像Im3を反転させた反転画像Im5、および、図2(c)に示す対称部分の右側部分の分割画像Im4を反転させた反転画像Im6を示している。このように、分割画像が対称部分の画像を右側部分の画像と左側部分の画像に分割させた画像である場合は、反転画像生成部114は各分割画像を左右方向に反転させる。一方、分割画像が対称部分の画像を上側部分の画像と下側部分の画像に分割させた画像である場合は、反転画像生成部114は各分割画像を上下方向に反転させる。
The reverse
なお、以下の説明においては、分割画像生成部113によって生成された分割画像における、一方側の画像を「第1分割画像」と称し、他方側の画像を「第2分割画像」と称する場合もある。また、反転画像生成部114によって生成された反転画像における、第1分割画像を反転させた方の画像を「第1反転画像」と称し、第2分割画像を反転させた方の画像を「第2反転画像」と称する場合もある。例えば、図2(c)における分割画像Im3を第1分割画像とした場合、図2(d)における反転画像Im5が第1反転画像に相当する。また、図2(c)における分割画像Im4を第2分割画像とした場合、図2(d)における反転画像Im6が第2反転画像に相当する。
In the following description, in the divided images generated by the divided
次に、機械学習を行うときに学習部120において実行される学習モデル生成処理について説明する。学習部120における教師データ取得部121は、画像処理部110における画像処理によって生成された分割画像および反転画像を、機械学習のための教師データとして取得する。より詳細には、教師データ取得部121は、分割画像生成部113によって生成された第1分割画像、および、反転画像生成部114によって生成された第2反転画像を、車両の対称部分における一方側についての教師データとして取得する。つまり、教師データ取得部121は、車両における対称部分の一方側の外観検査に用いる特徴量を抽出するための教師データとして第1分割画像および第2反転画像を取得する。また、教師データ取得部121は、分割画像生成部113によって生成された第2分割画像、
および、反転画像生成部114によって生成された第1反転画像を、車両の対称部分における他方側についての教師データとして取得する。つまり、教師データ取得部121は、車両における対称部分の他方側の外観検査に用いる特徴量を抽出するための教師データとして第2分割画像および第1反転画像を取得する。
Next, a learning model generation process executed by the
Also, the first reverse image generated by the reverse
したがって、例えば、画像処理装置100によって図2に示すような画像処理が行われた場合、教師データ取得部121は、第1分割画像である分割画像Im3および第2反転画像である反転画像Im6を、車体背面の右側部分の外観検査に用いる特徴量を抽出するための教師データとして取得し、第2分割画像である分割画像Im4および第1反転画像である反転画像Im5を、車体背面の左側部分の外観検査に用いる特徴量を抽出するための教師データとして取得する。
Therefore, for example, when the image processing apparatus 100 performs image processing as shown in FIG. 2, the teacher
図2に示す車両において、対称部分である車体背面の右側部分と左側部分との外観は、設計上は同一である。つまり、車両の設計上は、車体背面の右側部分の画像と、車体背面の左側部分の画像を反転させた画像と、を重ね合わせた場合、両者は一致することになる。また、車両の設計上は、車体背面の左側部分の画像と、車体背面の右側部分の画像を反転させた画像と、を重ね合わせた場合、両者は一致することになる。そのため、車体背面の右側部分を撮像した分割画像Im3のみならず、車体背面の左側部分を撮像した分割画像Im4の反転画像Im6も、車体背面の右側部分についての教師データとして用いることができる。また、車体背面の左側部分を撮像した分割画像Im4のみならず、車体背面の右側部分を撮像した分割画像Im3の反転画像Im5も、車体背面の左側部分についての教師データとして用いることができる。 In the vehicle shown in FIG. 2, the appearances of the right side portion and the left side portion of the vehicle body rear surface, which are symmetrical portions, are the same in design. That is, in terms of vehicle design, when an image of the right side portion of the rear surface of the vehicle body and an image obtained by inverting the image of the left side portion of the vehicle body are overlapped, the two are in agreement. Further, in terms of vehicle design, when an image of the left side portion of the back of the vehicle body and an image obtained by inverting the image of the right side portion of the vehicle body are overlapped, the two are in agreement. Therefore, not only the divided image Im3 obtained by capturing the right side portion of the vehicle body rear surface, but also the inverted image Im6 of the divided image Im4 obtained by capturing the left side portion of the vehicle body can be used as teacher data for the right side portion of the vehicle body rear surface. Further, not only the divided image Im4 obtained by capturing the left side portion of the vehicle body rear surface but also the inverted image Im5 of the divided image Im3 obtained by capturing the right side portion of the vehicle body rear surface can be used as teacher data for the left side portion of the vehicle body rear surface.
そして、学習部120における学習モデル生成部122は、教師データ取得部121が取得した教師データに基づいて、車両の外観検査に用いる学習モデルを生成する。つまり、車両の対称部分については、分割画像および反転画像を教師データとして学習モデルを生成する。
Then, the learning
上記によれば、車両の外観検査に用いる学習モデルを構築するための機械学習において、車両の対称部分の撮像画像を分割した分割画像のみならず、該分割画像における一方側の画像および他方側の画像それぞれの反転画像を教師データとして用いることで、該学習モデルを構築するための教師データを増加させることができる。その結果、学習モデルの精度を向上させることができる。 According to the above, in machine learning for constructing the learning model used for the visual inspection of the vehicle, not only the divided images obtained by dividing the imaged image of the symmetrical portion of the vehicle but also the image on one side and the image on the other side of the divided image. By using the inverted image of each image as the teacher data, it is possible to increase the teacher data for constructing the learning model. As a result, the accuracy of the learning model can be improved.
以下、車両検査装置100において機械学習が行われる際の処理のフローについて、図3に示すフローチャートに基づいて説明する。なお、本フローにおけるS101〜S104の処理は画像処理部110によって実行され、S105およびS106の処理は学習部120によって実行される。
Hereinafter, a flow of processing when machine learning is performed in the vehicle inspection device 100 will be described based on the flowchart shown in FIG. The processing of S101 to S104 in this flow is executed by the
本フローでは、S101において、画像取得部111が、撮像装置200によって撮像された車両の画像を学習用画像として取得する。次に、S102において、対称部抽出部112が、画像取得部111によって取得された学習用画像から、車両における対称部分の画像を抽出する。次に、S103において、分割画像生成部113が、対称部抽出部112によって抽出された画像を対称方向に二分割することで分割画像を生成する。次に、S104において、反転画像生成部114が、分割画像生成部113によって生成された各反転画像を反転させることで反転画像を生成する。
In this flow, in S101, the
次に、S105において、教師データ取得部121が、分割画像生成部113によって生成された分割画像、および、反転画像生成部114によって生成された反転画像を教師データとして取得する。次に、S106において、学習モデル生成部122が、教師デー
タ取得部121によって取得された各教師データ(すなわち、分割画像および反転画像)に基づいて、車両の外観検査に用いる学習モデルを生成する。
Next, in S105, the teacher
そして、上記フローが実行されることで学習モデル生成部122によって学習モデルが生成されると、該学習モデルが、検査部130の学習モデル記憶部131に記憶される。
Then, when a learning model is generated by the learning
(外観検査)
次に、車両検査装置100において、検査対象の車両の外観検査を行うときに、画像処理部110および検査部130で実行される処理について説明する。検査対象の車両の外観検査が行われるときには、該検査対象の車両が撮像装置200によって撮像されることで検査対象画像が撮像される。そして、画像処理部110における画像取得部111が、撮像装置200によって撮像された検査対象画像を取得する。
(Visual inspection)
Next, in the vehicle inspection device 100, a process executed by the
画像取得部111によって検査対象画像が取得されると、対称部抽出部112が、該検査対象画像から、車両における対称部分の画像を抽出する。そして、対称部抽出部112によって、検査対象画像から、車両における対称部分の画像が抽出されると、分割画像生成部113が、該対称部分の画像をその対称方向において二分割することで分割画像を生成する。このように、検査対象の車両の外観検査が行われるときに、画像処理部110の画像取得部111、対称部抽出部112、および分割画像生成部113で検査対象画像に対して実行される各処理は、上述した機械学習が行われるときに画像処理部110のそれぞれの機能部で学習用画像に対して実行される処理と同様である。
When the
そして、画像処理部110において検査対象画像に対して上記のような画像処理が実行されると、検査部130における検査データ取得部132が、該画像処理によって生成された分割画像を、検査対象の車両の外観検査のための検査データとして取得する。また、検査データ取得部132によって検査データが取得されると、判別部133が、学習モデル記憶部131に記憶されている学習モデルに該検査データを入力することで、検査対象の車両における対称部分の外観について合否を判別する。つまり、検査対象の車両の対称部分における一方側および他方側それぞれの外観について合否が判別される。
Then, when the
これによれば、学習用画像に基づいて生成された分割画像および反転画像を教師データとして用いて構築された学習モデルによって検査対象の車両の外観検査を行うことができる。つまり、より精度の高い学習モデルによって車両の外観検査を行うことができる。したがって、車両の外観検査の検査精度を向上させることができる。 According to this, the visual inspection of the vehicle to be inspected can be performed by the learning model constructed by using the divided image and the inverted image generated based on the learning image as the teacher data. That is, it is possible to perform a visual inspection of the vehicle using a learning model with higher accuracy. Therefore, the inspection accuracy of the visual inspection of the vehicle can be improved.
以下、車両検査装置100において検査対象の車両の外観検査が行われる際の処理のフローについて、図4に示すフローチャートに基づいて説明する。なお、本フローにおけるS201〜S203の処理は画像処理部110によって実行され、S204およびS205の処理は検査部130によって実行される。
Hereinafter, a flow of processing when the vehicle inspection device 100 performs an appearance inspection of a vehicle to be inspected will be described based on a flowchart shown in FIG. The processing of S201 to S203 in this flow is executed by the
本フローでは、S201において、画像取得部111が、撮像装置200によって撮像された検査対象の車両の画像を検査対象画像として取得する。次に、S202において、対称部抽出部112が、画像取得部111によって取得された検査対象画像から、検査対象の車両における対称部分の画像を抽出する。次に、S203において、分割画像生成部113が、対称部抽出部112によって抽出された画像を対称方向に二分割することで分割画像を生成する。
In this flow, in S201, the
次に、S204において、検査データ取得部132が、分割画像生成部113によって生成された分割画像を検査データとして取得する。次に、S205において、判別部133が、検査データ取得部132によって取得された各検査データ(すなわち、分割画像)
を、学習モデル記憶部131に記憶されている学習モデルに入力することで、検査対象の車両における対称部分の外観について合否を判別する。
Next, in S204, the inspection
Is input to the learning model stored in the learning
なお、車両検査装置100は、上記フローを実行することで得られた、検査対象の車両の外観検査の結果(すなわち、合否判定結果)を報知するための報知処理をさらに実行してもよい。 The vehicle inspection device 100 may further execute a notification process for notifying the result of the appearance inspection of the vehicle to be inspected (that is, the pass/fail judgment result) obtained by executing the above flow.
本実施形態においては、画像処理部110が本発明の第1の態様に係る「第1画像処理部」として機能し、学習部120が本発明の第1の態様に係る「学習部」として機能する。また、本実施形態においては、画像処理部110が本発明の第2の態様に係る「第2画像処理部」としても機能し、検査部130が本発明の第2の態様に係る「検査部」として機能する。つまり、本実施形態においては、車両検査装置100が、本発明に係る「情報処理装置」および「外観検査装置」と含んで構成されている。ただし、本発明に係る「情報処理装置」および「外観検査装置」は、必ずしも一つの装置として構成される必要はなく、それぞれが別の装置として構成されてもよい。また、本発明に係る「検査対象物」は、「車両」に限られるものではなく、その外観において対称部分が含まれる物体であればよい。例えば、車両に組み付ける一部品の外観検査のために本発明を適用してもよい。
In the present embodiment, the
<その他の実施形態>
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施し得る。また、本開示において説明した処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
<Other embodiments>
The above-described embodiment is merely an example, and the present invention can be appropriately modified and implemented without departing from the scope of the invention. Further, the processes and means described in the present disclosure can be freely combined and implemented as long as there is no technical contradiction.
また、1つの装置が行うものとして説明した処理が、複数の装置によって分担して実行されてもよい。あるいは、異なる装置が行うものとして説明した処理が、1つの装置によって実行されても構わない。コンピュータシステムにおいて、各機能をどのようなハードウェア構成によって実現するかは柔軟に変更可能である。 Further, the processing described as being performed by one device may be shared and executed by a plurality of devices. Alternatively, the processing described as being performed by different devices may be performed by one device. In the computer system, it is possible to flexibly change the hardware configuration to realize each function.
100・・車両検査装置
110・・画像処理部
111・・画像取得部
112・・対称部抽出部
113・・分割画像生成部
114・・反転画像生成部
120・・学習部
121・・教師データ取得部
122・・学習モデル生成部
130・・検査部
131・・学習モデル記憶部
132・・検査データ取得部
133・・判別部
200・・撮像装置
100..
Claims (3)
前記学習用画像から、前記物体における左右対称または上下対称の部分である対称部分の画像を抽出するとともに、前記対称部分の画像をその対称方向において二分割することで分割画像を生成し、さらに、前記分割画像における一方側の画像および他方側の画像それぞれを反転させることで反転画像を生成する第1画像処理部と、
前記分割画像における一方側の画像、および、前記分割画像における他方側の画像を反転させた前記反転画像を、前記対称部分における一方側についての前記教師データとして取得するとともに、前記分割画像における他方側の画像、および、前記分割画像における一方側の画像を反転させた前記反転画像を、前記対称部分における他方側についての前記教師データとして取得し、取得した前記教師データに基づいて機械学習を行うことで前記学習モデルを生成する学習部と、
を備える情報処理装置。 In an information processing device that generates a learning model used for appearance inspection of an inspection target by performing machine learning using a learning image obtained by capturing an object of the same type as the inspection target as teacher data,
From the learning image, while extracting an image of a symmetrical portion which is a symmetrical portion or a vertically symmetrical portion of the object, a divided image is generated by dividing the image of the symmetrical portion into two in the symmetrical direction, and further, A first image processing unit that generates an inverted image by inverting each of the image on one side and the image on the other side in the divided image;
The image on one side in the divided image and the inverted image obtained by inverting the image on the other side in the divided image are acquired as the teacher data for one side in the symmetrical portion, and the other side in the divided image is acquired. Image and the inverted image obtained by inverting the image on one side of the divided image as the teacher data for the other side of the symmetrical portion, and performing machine learning based on the acquired teacher data. And a learning unit that generates the learning model with
An information processing apparatus including.
前記検査対象物を撮像することで得られる検査対象画像から、前記検査対象物における左右対称または上下対称の部分である対称部分の画像を抽出するとともに、前記検査対象画像から抽出された前記対称部分の画像をその対称方向において二分割することで分割画像を生成する第2画像処理部と、
前記検査対象画像から生成された前記分割画像を検査データとして取得し、取得した前記検査データを前記学習モデルに入力することで、前記検査対象物における前記対称部分の外観について合否を判別する検査部と、
を備える外観検査装置。 An appearance inspection apparatus that performs an appearance inspection of an inspection object using the learning model generated by the information processing apparatus according to claim 1.
From an inspection target image obtained by imaging the inspection target, an image of a symmetric portion that is a left-right symmetric or a vertical symmetric portion of the inspection target is extracted, and the symmetric portion extracted from the inspection target image A second image processing unit that generates a divided image by dividing the image of 2 into two in the symmetric direction,
An inspection unit that determines whether the appearance of the symmetrical portion of the inspection target is acceptable by acquiring the divided image generated from the inspection target image as inspection data and inputting the acquired inspection data to the learning model. When,
Appearance inspection device equipped with.
前記学習用画像から、前記物体における左右対称または上下対称の部分である対称部分の画像を抽出するステップと、
前記対称部分の画像をその対称方向において二分割することで分割画像を生成するステップと、
前記分割画像における一方側の画像および他方側の画像それぞれを反転させることで反転画像を生成するステップと、
前記分割画像における一方側の画像、および、前記分割画像における他方側の画像を反転させた前記反転画像を、前記対称部分における一方側についての前記教師データとして取得するとともに、前記分割画像における他方側の画像、および、前記分割画像における一方側の画像を反転させた前記反転画像を、前記対称部分における他方側についての前記教師データとして取得するステップと、
取得した前記教師データに基づいて機械学習を行うことで前記学習モデルを生成するステップと、
を有する情報処理方法。
In an information processing method for generating a learning model used for appearance inspection of an inspection target by performing machine learning using a learning image obtained by capturing an object of the same type as the inspection target as teacher data,
From the learning image, a step of extracting an image of a symmetrical portion which is a symmetrical portion or a vertically symmetrical portion of the object,
Generating a divided image by dividing the image of the symmetrical portion into two in the symmetric direction,
Generating an inverted image by inverting each of the image on one side and the image on the other side in the divided image;
The image on one side in the divided image and the inverted image obtained by inverting the image on the other side in the divided image are acquired as the teacher data for one side in the symmetrical portion, and the other side in the divided image is acquired. And an image obtained by inverting the image on one side in the divided image as the teacher data for the other side in the symmetrical portion,
Generating the learning model by performing machine learning based on the acquired teacher data,
An information processing method including.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018241171A JP2020102111A (en) | 2018-12-25 | 2018-12-25 | Information processing device and visual inspection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018241171A JP2020102111A (en) | 2018-12-25 | 2018-12-25 | Information processing device and visual inspection device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020102111A true JP2020102111A (en) | 2020-07-02 |
Family
ID=71139659
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018241171A Pending JP2020102111A (en) | 2018-12-25 | 2018-12-25 | Information processing device and visual inspection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020102111A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022259520A1 (en) * | 2021-06-11 | 2022-12-15 | 株式会社Subaru | Image processing device and vehicle |
WO2023074183A1 (en) * | 2021-10-28 | 2023-05-04 | パナソニックIpマネジメント株式会社 | Learning support system, appearance inspecting device, updating device for appearance inspection software, and method for updating appearance inspection model |
WO2023074184A1 (en) * | 2021-10-28 | 2023-05-04 | パナソニックIpマネジメント株式会社 | Annotation assistance system and training assistance system that is for model for inspecting appearance and that uses said annotation assistance system |
WO2023195107A1 (en) * | 2022-04-06 | 2023-10-12 | 日本電気株式会社 | Object evaluation device, object evaluation method, and recording medium |
WO2023238565A1 (en) * | 2022-06-07 | 2023-12-14 | 富士フイルム株式会社 | Data processing device, data processing method, and program |
-
2018
- 2018-12-25 JP JP2018241171A patent/JP2020102111A/en active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022259520A1 (en) * | 2021-06-11 | 2022-12-15 | 株式会社Subaru | Image processing device and vehicle |
JP7480436B2 (en) | 2021-06-11 | 2024-05-09 | 株式会社Subaru | Image processing device and vehicle |
WO2023074183A1 (en) * | 2021-10-28 | 2023-05-04 | パナソニックIpマネジメント株式会社 | Learning support system, appearance inspecting device, updating device for appearance inspection software, and method for updating appearance inspection model |
WO2023074184A1 (en) * | 2021-10-28 | 2023-05-04 | パナソニックIpマネジメント株式会社 | Annotation assistance system and training assistance system that is for model for inspecting appearance and that uses said annotation assistance system |
WO2023195107A1 (en) * | 2022-04-06 | 2023-10-12 | 日本電気株式会社 | Object evaluation device, object evaluation method, and recording medium |
WO2023238565A1 (en) * | 2022-06-07 | 2023-12-14 | 富士フイルム株式会社 | Data processing device, data processing method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020102111A (en) | Information processing device and visual inspection device | |
Prasanna et al. | Automated crack detection on concrete bridges | |
JP5919538B2 (en) | Object detection apparatus and object detection method | |
JP2019050376A5 (en) | ||
TW201035543A (en) | Method and system for determining a defect during charged particle beam inspection of a sample | |
JP2014514048A5 (en) | ||
CN111640123B (en) | Method, device, equipment and medium for generating background-free image | |
JP5987114B2 (en) | High resolution image generation apparatus, high resolution image generation method, and high resolution image generation program | |
JP2014063478A (en) | Image processor and the method thereof | |
JP2013200648A (en) | Edge extraction method of gray image, edge extraction device and edge extraction program of gray image | |
JP2016053763A (en) | Image processor, image processing method and program | |
JP6643301B2 (en) | Defect inspection device and defect inspection method | |
JP2018041201A (en) | Display control program, display control method and information processing device | |
JP2020067669A (en) | Information processing apparatus, and program | |
JP2016115313A (en) | Super-resolution device and program | |
Kikuchi et al. | A data structure for triangular dissection of multi-resolution images | |
US20160342833A1 (en) | Text Extraction From Graphical User Interface Content | |
MacEachren | Distributed cognition: A conceptual framework for understanding map-based reasoning | |
JP6242196B2 (en) | Image processing apparatus, image processing apparatus control method, and program | |
Boonbrahm et al. | Transforming 2D human data into 3D model for augmented reality applications | |
US10685238B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP2019175350A (en) | Structure inspection system, structure inspection device, and structure inspection method | |
JP2006048665A5 (en) | ||
CN111382615A (en) | Image detection method | |
Lee et al. | Text detection in video sequence using 1-D DCT |