JP2021051404A - Quality determination system, server and quality determination method - Google Patents

Quality determination system, server and quality determination method Download PDF

Info

Publication number
JP2021051404A
JP2021051404A JP2019172373A JP2019172373A JP2021051404A JP 2021051404 A JP2021051404 A JP 2021051404A JP 2019172373 A JP2019172373 A JP 2019172373A JP 2019172373 A JP2019172373 A JP 2019172373A JP 2021051404 A JP2021051404 A JP 2021051404A
Authority
JP
Japan
Prior art keywords
learning model
machine learning
unit
machine
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019172373A
Other languages
Japanese (ja)
Other versions
JP7006954B2 (en
Inventor
裕弓 田中
Hiroyumi TANAKA
裕弓 田中
貴史 津田
Takashi Tsuda
貴史 津田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
RIYOOWA KK
Original Assignee
RIYOOWA KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by RIYOOWA KK filed Critical RIYOOWA KK
Priority to JP2019172373A priority Critical patent/JP7006954B2/en
Priority to PCT/JP2020/035653 priority patent/WO2021054478A1/en
Publication of JP2021051404A publication Critical patent/JP2021051404A/en
Application granted granted Critical
Publication of JP7006954B2 publication Critical patent/JP7006954B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

To provide a quality determination system, a server, and a program capable of determining the quality of a component of a transport machine, even when an Internet communication speed is limited.SOLUTION: A quality determination system 10 includes: a server 30 that processes an image of a component 14 of a transport machine taken in advance, and creates teaching data for constructing a machine learning model; a machine learning model reception unit 402 that downloads a machine learning model constructed by a machine learning model construction service 80; an imaging unit 60 that captures an image of the component 14 of the transport machine in a pre-shipment inspection process; and a transmission unit 408 that transmits operation information relating to the operating state of the imaging unit 60. The imaging unit 60 includes: a storage unit 604 that stores the machine learning model downloaded by the machine learning model reception unit 402; and a determination unit 606 that determines the quality of the component 14 of the transport machine on the basis of the machine learning model stored in the storage unit 604. The transmission unit 408 transmits the operation information to the server 30.SELECTED DRAWING: Figure 1

Description

本発明は、良否判定システム、サーバ及びプログラムに関する。 The present invention relates to a quality determination system, a server and a program.

特許文献１には、人工知能による機械学習を利用したサービスを提供するサービス提供システムが記載されている。このサービス提供システムは、人工知能による機械学習を利用したサービスを提供するサービス提供システムであって、ユーザから送られてくる情報を基にした学習データを入力して機械学習によりモデル化した一般的なモデルを生成するための機械学習手段と、ユーザから送られてくる情報に基づいて前記一般的なモデルを当該ユーザに適したモデルにパーソナライズ化するためのパーソナライズ化手段と、前記パーソナライズ化されたモデルを用いて当該ユーザにパーソナライズ化されたサービスを提供するサービス提供手段と、を備え、前記ユーザから送られてくる情報を前記機械学習と前記パーソナライズ化との両方に利用する。 Patent Document 1 describes a service providing system that provides a service using machine learning by artificial intelligence. This service providing system is a service providing system that provides services using machine learning by artificial intelligence, and is a general model modeled by machine learning by inputting learning data based on information sent from users. Machine learning means for generating various models, personalization means for personalizing the general model to a model suitable for the user based on the information sent from the user, and the personalized means. A service providing means for providing a personalized service to the user by using a model is provided, and the information sent from the user is used for both the machine learning and the personalization.

特開２０１６−４８４１７号公報Japanese Unexamined Patent Publication No. 2016-48417

本発明は、インターネットの通信速度が制限された状態であっても、輸送機械の部品の良否を判定できる良否判定システムを提供することを目的とする。 An object of the present invention is to provide a quality determination system capable of determining the quality of parts of a transportation machine even when the communication speed of the Internet is limited.

請求項１に記載の発明は、予め撮像された輸送機械の部品の画像を処理し、該輸送機械の部品の良否を判定するための機械学習モデルを構築するための教示データを作成するサーバと、
クラウドコンピューティングサービスとして提供され前記機械学習モデルを構築する機械学習モデル構築サービスが、前記教示データに基づいて構築した前記機械学習モデルをダウンロードする機械学習モデル受信部と、
出荷前の検査工程にて、前記輸送機械の部品の画像を撮像する撮像部と、
前記撮像部の稼働状態に関する稼働情報を送信する送信部と、を備え、
前記撮像部が、前記機械学習モデル受信部がダウンロードした前記機械学習モデルを記憶する記憶部と、
前記記憶部に記憶された前記機械学習モデルに基づいて、前記輸送機械の部品の良否を判定する判定部と、を有し、
前記送信部が、前記稼働情報を前記サーバに送信する良否判定システムである。 The invention according to claim 1 is a server that processes an image of a part of a transport machine imaged in advance and creates teaching data for constructing a machine learning model for determining the quality of the part of the transport machine. ,
A machine learning model receiving unit that downloads the machine learning model constructed based on the teaching data by the machine learning model construction service provided as a cloud computing service and constructing the machine learning model.
An imaging unit that captures images of the parts of the transportation machine in the inspection process before shipment.
A transmission unit for transmitting operation information regarding the operation state of the imaging unit is provided.
The imaging unit stores the machine learning model downloaded by the machine learning model receiving unit, and a storage unit.
It has a determination unit for determining the quality of parts of the transportation machine based on the machine learning model stored in the storage unit.
The transmission unit is a quality determination system that transmits the operation information to the server.

請求項２に記載の発明は、請求項１記載の良否判定システムにおいて、
前記稼働情報が、前記撮像部が前記画像の撮像を開始してから終了するまでの時間の情報である。 The invention according to claim 2 is the quality determination system according to claim 1.
The operation information is information on the time from when the imaging unit starts imaging the image to when it ends.

請求項３に記載の発明は、請求項１記載の良否判定システムにおいて、
前記稼働情報が、前記撮像部が撮像した前記画像の枚数の情報である。 The invention according to claim 3 is the quality determination system according to claim 1.
The operation information is information on the number of images captured by the imaging unit.

請求項４に記載の発明は、請求項２又は３記載の良否判定システムが備えるサーバである。 The invention according to claim 4 is a server provided in the quality determination system according to claim 2 or 3.

請求項５に記載の発明は、予め撮像された輸送機械の部品の画像を処理し、該輸送機械の部品の良否を判定するための機械学習モデルを構築するための教示データを作成するサーバにインターネットを介して接続されるとともに前記機械学習モデルを記憶する記憶部及び該機械学習モデルに基づいて前記輸送機械の部品の良否を判定する判定部を有し、出荷前の検査工程にて、前記輸送機械の部品の画像を撮像する撮像部に接続された制御装置を、
クラウドコンピューティングサービスとして提供され前記機械学習モデルを構築する機械学習モデル構築サービスが、前記教示データに基づいて構築した前記機械学習モデルをダウンロードする受信手段、
ダウンロードした前記機械学習モデルを前記記憶部に送信する第１の送信手段、
前記サーバに前記撮像部の稼働状態に関する稼働情報を送信する第２の送信手段、として機能させるプログラムである。 The invention according to claim 5 is a server that processes images of parts of a transport machine imaged in advance and creates teaching data for constructing a machine learning model for determining the quality of the parts of the transport machine. It has a storage unit that is connected via the Internet and stores the machine learning model, and a determination unit that determines the quality of parts of the transport machine based on the machine learning model. A control device connected to an imaging unit that captures images of transport machine parts,
A receiving means for downloading the machine learning model constructed based on the teaching data by the machine learning model construction service provided as a cloud computing service and constructing the machine learning model.
A first transmission means for transmitting the downloaded machine learning model to the storage unit,
This is a program that functions as a second transmission means for transmitting operation information regarding the operation state of the imaging unit to the server.

請求項６に記載の発明は、輸送機械の部品の良否を判定するための機械学習モデルを構築するための教示データを作成するサーバと、
クラウドコンピューティングサービスとして提供され前記機械学習モデルを構築する機械学習モデル構築サービスに接続された機械学習モデル受信部と、
前記機械学習モデル受信部がダウンロードした前記機械学習モデルを記憶する記憶部、前記記憶部に記憶された前記機械学習モデルに基づいて、前記輸送機械の部品の良否を判定する判定部及び前記輸送機械の部品の画像を撮像するカメラ部を有する撮像部と、
前記撮像部の稼働状態に関する稼働情報を送信する送信部と、を備えた良否判定システムの良否判定方法であって、
前記サーバが、予め撮像された輸送機械の部品の画像を処理し、前記教示データを作成するステップと、
前記機械学習モデル受信部が、機械学習モデル構築サービスが前記教示データに基づいて構築した前記機械学習モデルをダウンロードするステップと、
前記記憶部が、ダウンロードされた前記機械学習モデルを記憶するステップと、
出荷前の検査工程にて、前記カメラ部が、前記輸送機械の部品の画像を撮像し、前記判定部が、前記カメラ部が撮像した前記画像及び前記記憶部に記憶された前記機械学習モデルに基づいて、前記輸送機械の部品の良否を判定するステップと、
前記送信部が、前記稼働情報を前記サーバに送信するステップと、を含む良否判定方法である。 The invention according to claim 6 comprises a server for creating teaching data for constructing a machine learning model for determining the quality of parts of a transportation machine.
A machine learning model receiver provided as a cloud computing service and connected to a machine learning model construction service that builds the machine learning model,
A storage unit that stores the machine learning model downloaded by the machine learning model receiving unit, a determination unit that determines the quality of parts of the transport machine based on the machine learning model stored in the storage unit, and the transport machine. An imaging unit having a camera unit that captures images of parts of
It is a quality determination method of a quality determination system including a transmission unit that transmits operation information regarding the operation state of the imaging unit.
A step in which the server processes an image of a part of a transportation machine imaged in advance and creates the teaching data.
A step in which the machine learning model receiver downloads the machine learning model constructed by the machine learning model construction service based on the teaching data.
A step in which the storage unit stores the downloaded machine learning model,
In the inspection process before shipment, the camera unit captures an image of the parts of the transport machine, and the determination unit captures the image captured by the camera unit and the machine learning model stored in the storage unit. Based on the step of determining the quality of the parts of the transportation machine,
This is a pass / fail determination method including a step in which the transmission unit transmits the operation information to the server.

本発明によれば、インターネットの通信速度が制限された状態であっても、輸送機械の部品の良否を判定できる良否判定システム、サーバ及びプログラムを提供できる。 According to the present invention, it is possible to provide a quality determination system, a server and a program capable of determining the quality of parts of a transportation machine even when the communication speed of the Internet is limited.

本発明の一実施の形態に係る良否判定システムの構成図である。It is a block diagram of the quality judgment system which concerns on one Embodiment of this invention. 同良否判定システムが備えるパソコンの説明図である。It is explanatory drawing of the personal computer provided in the same quality judgment system. 同良否判定システムが備えるサーバの説明図である。It is explanatory drawing of the server provided in the same quality judgment system. 同良否判定システムが備えるパソコンの説明図である。It is explanatory drawing of the personal computer provided in the same quality judgment system. 同良否判定システムが備える撮像部の説明図である。It is explanatory drawing of the image pickup part provided in the same quality determination system. 同良否判定システムの動作を示すフロー図である。It is a flow chart which shows the operation of the same quality judgment system.

続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。なお、図において、説明に関連しない部分は図示を省略する場合がある。 Subsequently, an embodiment embodying the present invention will be described with reference to the attached drawings, and the present invention will be understood. In the figure, parts not related to the description may be omitted.

本発明の一実施の形態に係る良否判定システム１０（図１参照）は、機械学習により、ユーザの製造設備１２にて製造された検査対象１４の外観の良否を判定することができる。この外観の良否は、欠陥の有無により判定される。検査対象１４は、例えば、自動車や航空機等の輸送機械の部品及び食品である。
この良否判定システム１０による良否判定サービスは、サービス提供会社によって、製造設備１２を保有するユーザに対して提供される。 The quality determination system 10 (see FIG. 1) according to the embodiment of the present invention can determine the quality of the appearance of the inspection target 14 manufactured by the user's manufacturing equipment 12 by machine learning. The quality of this appearance is judged by the presence or absence of defects. The inspection target 14 is, for example, parts and food of a transportation machine such as an automobile or an aircraft.
The pass / fail judgment service by the pass / fail judgment system 10 is provided by the service provider to the user who owns the manufacturing equipment 12.

良否判定システム１０は、図１に示すように、パソコン２０、サーバ３０、パソコン４０、ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）５０及び撮像部６０を備えている。
パソコン２０、サーバ３０、及びパソコン４０はインターネットＮを介して互いに接続されている。 As shown in FIG. 1, the quality determination system 10 includes a personal computer 20, a server 30, a personal computer 40, a PLC (Programmable Logical Controller) 50, and an imaging unit 60.
The personal computer 20, the server 30, and the personal computer 40 are connected to each other via the Internet N.

パソコン２０は、製造設備１２を保有するユーザ又はサービス提供会社によって管理され、図２に示すように、教示データ作成部２０２を有している。
教示データ作成部（教示データ作成手段の一例）２０２は、機械学習モデルを構築するための検査対象１４の教示データを作成できる。
なお、パソコン２０は、パソコン２０にて実行されるプログラムによって、教示データ作成手段として機能する。パソコン２０は、スマートフォン等の携帯端末であってもよい。 The personal computer 20 is managed by a user who owns the manufacturing equipment 12 or a service provider, and has a teaching data creation unit 202 as shown in FIG.
The teaching data creating unit (an example of teaching data creating means) 202 can create teaching data of the inspection target 14 for constructing a machine learning model.
The personal computer 20 functions as a teaching data creating means by a program executed by the personal computer 20. The personal computer 20 may be a mobile terminal such as a smartphone.

サーバ３０は、サービス提供会社によって管理され、図３に示すように、前処理部３０２、送信部３０４、検証部３０６及び管理部３０８を有している。
前処理部（前処理手段の一例）３０２は、教示データ作成部２０２が作成した教示データを前処理し、前処理後の教示データを作成する。この前処理は、精度が高い機械学習モデルを構築するために必要な処理であり、例えば画像データに対する最適なフィルタ処理である。
送信部（送信手段の一例）３０４は、ユーザの操作により生成された前処理後の教示データを機械学習モデル構築サービス８０（図１参照）にアップロードできる。 The server 30 is managed by a service provider, and has a preprocessing unit 302, a transmission unit 304, a verification unit 306, and a management unit 308, as shown in FIG.
The pre-processing unit (an example of the pre-processing means) 302 pre-processes the teaching data created by the teaching data creating unit 202 and creates the teaching data after the pre-processing. This preprocessing is a process necessary for constructing a highly accurate machine learning model, and is, for example, an optimum filter process for image data.
The transmission unit (an example of transmission means) 304 can upload the preprocessed teaching data generated by the user's operation to the machine learning model construction service 80 (see FIG. 1).

ここで、機械学習モデル構築サービス８０は、クラウドコンピューティングサービスとして提供され、アップロードされた教示データに基づいて、機械学習モデルを構築できる。この機械学習モデル構築サービス８０は、例えば、Ｇｏｏｇｌｅ Ｃｌｏｕｄ Ｐｌａｔｆｏｒｍ（ＧＣＰ）にて提供されるＣｌｏｕｄ ＡｕｔｏＭＬ Ｖｉｓｉｏｎである。 Here, the machine learning model construction service 80 is provided as a cloud computing service, and a machine learning model can be constructed based on the uploaded teaching data. The machine learning model construction service 80 is, for example, a Cloud AutoML Vision provided by Google Cloud Platform (GCP).

検証部（検証手段の一例）３０６（図３参照）は、機械学習モデル構築サービス８０が構築した学習済みの機械学習モデルの良否を検証できる。
管理部（管理手段の一例）３０８は、良否判定システム１０の状態を管理できる。詳細には、管理部３０８は、撮像部６０（図１参照）の稼働状態に関する稼働情報を記録できる。この稼働情報については後述する。 The verification unit (an example of verification means) 306 (see FIG. 3) can verify the quality of the trained machine learning model constructed by the machine learning model construction service 80.
The management unit (an example of management means) 308 can manage the state of the quality determination system 10. Specifically, the management unit 308 can record operation information regarding the operating state of the imaging unit 60 (see FIG. 1). This operation information will be described later.

なお、サーバ３０は、サーバ３０にて実行されるプログラムによって、前処理手段、送信手段、検証手段、及び管理手段として機能する。 The server 30 functions as a preprocessing means, a transmitting means, a verification means, and a management means by a program executed by the server 30.

パソコン（制御装置の一例）４０は、ＰＬＣ５０の上位コントローラであり、ユーザによって管理される。
パソコン４０は、図４に示すように、機械学習モデル受信部４０２、制御部４０４、第１の送信部４０６及び第２の送信部４０８を有している。 The personal computer (an example of the control device) 40 is a higher-level controller of the PLC 50 and is managed by the user.
As shown in FIG. 4, the personal computer 40 has a machine learning model receiving unit 402, a control unit 404, a first transmitting unit 406, and a second transmitting unit 408.

機械学習モデル受信部（受信手段の一例）４０２は、機械学習モデル構築サービス８０が構築した機械学習モデルをダウンロードできる。その際、機械学習モデルのダウンロードは、セキュア通信によりなされる。
制御部（制御手段の一例）４０４は、ＰＬＣ５０及び撮像部６０を制御できる。
第１の送信部（第１の送信手段の一例）４０６は、ダウンロードした機械学習モデルを撮像部６０に送信できる。
第２の送信部（第２の送信手段の一例）４０８は、撮像部６０の稼働状態に関する稼働情報を前記サーバ３０に送信できる。この稼働情報は、例えば、撮像部６０が前記画像の撮像を開始してから終了するまでの時間の情報である。稼働情報は、撮像部６０が撮像した前記画像の枚数の情報であってもよい。 The machine learning model receiving unit (an example of receiving means) 402 can download the machine learning model constructed by the machine learning model construction service 80. At that time, the machine learning model is downloaded by secure communication.
The control unit (an example of the control means) 404 can control the PLC 50 and the imaging unit 60.
The first transmission unit (an example of the first transmission means) 406 can transmit the downloaded machine learning model to the imaging unit 60.
The second transmission unit (an example of the second transmission means) 408 can transmit operation information regarding the operation state of the image pickup unit 60 to the server 30. This operation information is, for example, information on the time from when the imaging unit 60 starts capturing the image to when it ends. The operation information may be information on the number of images captured by the imaging unit 60.

なお、パソコン４０は、パソコン４０にて実行されるプログラムによって、受信手段、制御手段、第１の送信手段及び第２の送信手段として機能する。
また、１台のパソコン４０が機械学習モデル受信部４０２、制御部４０４、第１の送信部４０６及び第２の送信部４０８を全て有していることに限定されるものではなく、各部が互いに接続された複数のパソコンに分かれて存在していてもよい。 The personal computer 40 functions as a receiving means, a controlling means, a first transmitting means, and a second transmitting means by a program executed by the personal computer 40.
Further, one personal computer 40 is not limited to having all of the machine learning model receiving unit 402, the control unit 404, the first transmitting unit 406, and the second transmitting unit 408, and each unit is not limited to having each other. It may exist separately in a plurality of connected personal computers.

ＰＬＣ５０は、ユーザによって管理され、図１に示すように、検査対象１４を製造する製造設備１２を制御するコントローラである。 The PLC 50 is a controller managed by a user and controls a manufacturing facility 12 that manufactures an inspection target 14, as shown in FIG.

撮像部６０は、ユーザによって管理され、製造設備１２に設置される。撮像部６０は、製造設備１２によって製造された出荷前の検査対象１４の画像を撮像できる。
撮像部６０は、図５に示すように、カメラ部６０２、記憶部６０４及び判定部６０６を有している。 The imaging unit 60 is managed by the user and installed in the manufacturing equipment 12. The imaging unit 60 can capture an image of the inspection target 14 before shipment manufactured by the manufacturing equipment 12.
As shown in FIG. 5, the imaging unit 60 includes a camera unit 602, a storage unit 604, and a determination unit 606.

カメラ部６０２は、検査対象１４の画像を撮像し、撮像した画像データを取得できる。
記憶部６０４は、パソコン４０の第１の送信部４０６から送信された機械学習モデルを記憶できる。
判定部６０６は、判定部６０６は、カメラ部６０２が撮像した検査対象１４の画像データ及び記憶部６０４に記憶された機械学習モデルに基づいて、検査対象１４の欠陥の有無、すなわち、検査対象１４の良否を判定できる。判定部６０６は、機械学習モデルによる演算処理を高速に行うことができ、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により少なくとも構成されている。 The camera unit 602 can capture an image of the inspection target 14 and acquire the captured image data.
The storage unit 604 can store the machine learning model transmitted from the first transmission unit 406 of the personal computer 40.
The determination unit 606 is based on the image data of the inspection target 14 captured by the camera unit 602 and the machine learning model stored in the storage unit 604, and the determination unit 606 indicates the presence or absence of defects in the inspection target 14, that is, the inspection target 14 Can be judged as good or bad. The determination unit 606 can perform arithmetic processing by the machine learning model at high speed, and is at least configured by, for example, a GPU (Graphics Processing Unit).

次に、良否判定システム１０の動作（検査対象１４の良否判定方法）について説明する。良否判定システム１０は、以下のステップＳ１〜Ｓ７に従って動作する。ただし、可能な場合には、各ステップＳ１〜Ｓ７は順番を入れ替えて実施されてもよいし、並行して実施されてもよい。 Next, the operation of the pass / fail determination system 10 (the pass / fail determination method of the inspection target 14) will be described. The pass / fail determination system 10 operates according to the following steps S1 to S7. However, if possible, the steps S1 to S7 may be performed in a different order or may be performed in parallel.

（ステップＳ１）
パソコン２０（図１参照）の教示データ作成部２０２（図２参照）が、撮像部６０が撮像した検査対象１４の画像データに基づいて、教示データとなる検査対象１４の画像データを複数作成する。
教示データは、規定の欠陥を含む検査対象１４の複数の画像データ及び規定の欠陥を含まない検査対象１４の複数の画像データ群である。なお、欠陥の種類には、例えば、傷、ボイド、汚れ、及び異物混入等があり、検査対象とすべき欠陥は、検査対象１４によって異なる。
作成された複数の検査対象１４の画像は、図示しない記憶手段に記憶され、サーバ３０に送信される。
教示データは、教示データ作成部２０２が作成することに代えて、予め準備された検査対象１４の画像データに基づいて手作業により作成されてもよい。 (Step S1)
The teaching data creation unit 202 (see FIG. 2) of the personal computer 20 (see FIG. 1) creates a plurality of image data of the inspection target 14 as teaching data based on the image data of the inspection target 14 imaged by the imaging unit 60. ..
The teaching data is a plurality of image data of the inspection target 14 including the specified defect and a plurality of image data groups of the inspection target 14 not including the specified defect. The types of defects include, for example, scratches, voids, stains, foreign matter contamination, and the like, and the defects to be inspected differ depending on the inspection target 14.
The created images of the plurality of inspection targets 14 are stored in a storage means (not shown) and transmitted to the server 30.
The teaching data may be manually created based on the image data of the inspection target 14 prepared in advance, instead of being created by the teaching data creating unit 202.

（ステップＳ２）
サーバ３０の前処理部３０２（図３参照）が、パソコン２０が生成した検査対象１４の画像を前処理し、前処理後の教示データを作成する。
その後、ユーザの操作により、送信部３０４が、前処理後の教示データを機械学習モデル構築サービス８０にアップロードする。
ノウハウが必要な教示データの前処理をユーザではなくサービス提供業者が行うので、ユーザは簡単に機械学習モデルによる良否判定システム１０を導入できる。
（ステップＳ３） (Step S2)
The preprocessing unit 302 (see FIG. 3) of the server 30 preprocesses the image of the inspection target 14 generated by the personal computer 20 and creates teaching data after the preprocessing.
After that, the transmission unit 304 uploads the preprocessed teaching data to the machine learning model construction service 80 by the operation of the user.
Since the service provider, not the user, preprocesses the teaching data that requires know-how, the user can easily introduce the pass / fail judgment system 10 based on the machine learning model.
(Step S3)

機械学習モデル構築サービス８０によって機械学習モデルが構築される。
構築された学習済みの機械学習モデルは、サーバ３０の検証部３０６によってモデルの精度が検証される。
なお、精度が悪い場合には、前ステップＳ２に戻り、前処理部３０２は、検査対象１４の画像を異なる方法で前処理する。
（ステップＳ４） A machine learning model is constructed by the machine learning model construction service 80.
The accuracy of the constructed machine learning model is verified by the verification unit 306 of the server 30.
If the accuracy is poor, the process returns to the previous step S2, and the preprocessing unit 302 preprocesses the image of the inspection target 14 by a different method.
(Step S4)

ユーザの操作により、パソコン４０の機械学習モデル受信部４０２（図４参照）が、機械学習モデル構築サービス８０によって構築された学習済みの機械学習モデルをダウンロードする。
（ステップＳ５） By the operation of the user, the machine learning model receiving unit 402 (see FIG. 4) of the personal computer 40 downloads the trained machine learning model constructed by the machine learning model construction service 80.
(Step S5)

撮像部６０の記憶部６０４（図５参照）が、機械学習モデル受信部４０２によってダウンロードされた機械学習モデルを記憶する。
（ステップＳ６） The storage unit 604 (see FIG. 5) of the imaging unit 60 stores the machine learning model downloaded by the machine learning model receiving unit 402.
(Step S6)

パソコン４０の制御部４０４（図４参照）がＰＬＣ５０及び撮像部６０を制御し、製造設備１２（図１参照）にて製造された検査対象１４の良否を判定する。
詳細には、出荷前の検査工程にて、撮像部６０のカメラ部６０２（図５参照）が検査対象１４の画像を撮像し、判定部６０６が、撮像された画像及び記憶部６０４に記憶された機械学習モデルに基づいて、検査対象１４に欠陥が存在するか否かを検査し、欠陥がない場合は良品と判定し、欠陥がある場合には不良品と判定する。
（ステップＳ７） The control unit 404 (see FIG. 4) of the personal computer 40 controls the PLC 50 and the imaging unit 60, and determines the quality of the inspection target 14 manufactured by the manufacturing equipment 12 (see FIG. 1).
Specifically, in the inspection process before shipment, the camera unit 602 (see FIG. 5) of the imaging unit 60 images the image of the inspection target 14, and the determination unit 606 stores the captured image and the storage unit 604. Based on the machine learning model, it is inspected whether or not the inspection target 14 has a defect, and if there is no defect, it is determined as a non-defective product, and if there is a defect, it is determined as a defective product.
(Step S7)

パソコン４０の制御部４０４（図４参照）が、撮像部６０の稼働状態に関する稼働情報をサーバ３０に送信する。送信された稼働情報はサーバ３０の記憶部（不図示）に記憶され、良否判定システム１０の稼働状態がサーバ３０にて一元的に管理される。 The control unit 404 (see FIG. 4) of the personal computer 40 transmits the operation information regarding the operating state of the imaging unit 60 to the server 30. The transmitted operation information is stored in a storage unit (not shown) of the server 30, and the operation state of the quality determination system 10 is centrally managed by the server 30.

このように、本実施の形態に係る良否判定システム１０は、機械学習モデルがクラウド上ではなく撮像部６０の記憶部６０４（図５参照）に記憶されるので、パソコン４０がインターネットＮに接続されていなかったり、所定の通信速度が得られなかったりするような通信速度が制限された状態であっても、検査対象１４の外観の良否を判定できる。
なお、良否判定システム１０は、撮像部６０の種類によっては、検査対象１４の外観ではなく、内部の状態の良否を判定することも可能である。 As described above, in the pass / fail judgment system 10 according to the present embodiment, the machine learning model is stored not in the cloud but in the storage unit 604 (see FIG. 5) of the imaging unit 60, so that the personal computer 40 is connected to the Internet N. Even in a state where the communication speed is limited such that the communication speed is not obtained or a predetermined communication speed cannot be obtained, it is possible to determine whether the appearance of the inspection target 14 is good or bad.
Depending on the type of the imaging unit 60, the quality determination system 10 can determine the quality of the internal state of the inspection target 14 instead of the appearance.

以上、本発明の実施の形態を説明したが、本発明は、前述の形態に限定されるものでなく、要旨を逸脱しない条件の変更等は全て本発明の適用範囲である。 Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and all changes in conditions that do not deviate from the gist are within the scope of the present invention.

１０ 良否判定システム
１２ 製造設備
１４ 検査対象
２０ パソコン
３０ サーバ
４０ パソコン
６０ 撮像部
８０ 機械学習モデル構築サービス
２０２ 教示データ作成部
３０２ 前処理部
３０４ 送信部
３０６ 検証部
３０８ 管理部
４０２ 機械学習モデル受信部
４０４ 制御部
４０６ 第１の送信部
４０８ 第２の送信部
６０２ カメラ部
６０４ 記憶部
６０６ 判定部
Ｎ インターネット
10 Good / bad judgment system 12 Manufacturing equipment 14 Inspection target 20 Computer 30 Server 40 Computer 60 Imaging unit 80 Machine learning model construction service 202 Teaching data creation unit 302 Preprocessing unit 304 Transmission unit 306 Verification unit 308 Management unit 402 Machine learning model reception unit 404 Control unit 406 First transmission unit 408 Second transmission unit 602 Camera unit 604 Storage unit 606 Judgment unit N Internet

本発明は、良否判定システム、サーバ及び良否判定方法に関する。 The present invention relates to a quality determination system, a server, and a quality determination method .

特許文献１には、人工知能による機械学習を利用したサービスを提供するサービス提供システムが記載されている。このサービス提供システムは、人工知能による機械学習を利用したサービスを提供するサービス提供システムであって、ユーザから送られてくる情報を基にした学習データを入力して機械学習によりモデル化した一般的なモデルを生成するための機械学習手段と、ユーザから送られてくる情報に基づいて前記一般的なモデルを当該ユーザに適したモデルにパーソナライズ化するためのパーソナライズ化手段と、前記パーソナライズ化されたモデルを用いて当該ユーザにパーソナライズ化されたサービスを提供するサービス提供手段と、を備え、前記ユーザから送られてくる情報を前記機械学習と前記パーソナライズ化との両方に利用する。 Patent Document 1 describes a service providing system that provides a service using machine learning by artificial intelligence. This service providing system is a service providing system that provides services using machine learning by artificial intelligence, and is a general model modeled by machine learning by inputting learning data based on information sent from users. Machine learning means for generating various models, personalization means for personalizing the general model to a model suitable for the user based on the information sent from the user, and the personalized means. A service providing means for providing a personalized service to the user by using a model is provided, and the information sent from the user is used for both the machine learning and the personalization.

特開２０１６−４８４１７号公報Japanese Unexamined Patent Publication No. 2016-48417

本発明は、ユーザが簡単に導入できる、検査対象の良否を判定する良否判定システム、サーバ及び良否判定方法を提供することを目的とする。 The present invention, users can easily introduce, quality determination system for determining the quality of the inspection object, and an object thereof is to provide a server and quality determination method.

請求項１に記載の発明は、ユーザに対し検査対象の良否を判定する良否判定サービスを提供するサービス提供会社によって管理されるサーバと、前記ユーザによって管理され、前記サーバにインターネットを介して接続された制御装置と、前記ユーザによって管理され、前記検査対象を製造する製造設備に設けられ、前記制御装置によって制御され、該検査対象を撮像する撮像部と、を備えた良否判定システムであって、前記サーバが、予め撮像された検査対象の画像をフィルタ処理し、該検査対象の良否を判定する機械学習モデルを構築するための教示データを作成する前処理部と、クラウドコンピューティングサービスとして提供され前記機械学習モデルを構築する機械学習モデル構築サービスが前記教示データに基づいて構築した該機械学習モデルの精度を検証する検証部と、前記撮像部の稼働状態に関する稼働情報を管理する管理部と、を有し、前記制御装置が、前記機械学習モデルをダウンロードする機械学習モデル受信部と、前記撮像部の稼働状態に関する稼働情報を前記管理部に送信する送信部と、を有し、前記撮像部が、出荷前の検査工程にて、前記検査対象の画像を撮像するカメラ部と、前記機械学習モデル受信部がダウンロードした前記機械学習モデルを記憶する記憶部と、ＧＰＵによって少なくとも構成され、前記記憶部に記憶された前記機械学習モデルに基づいて、前記検査対象の良否を判定する判定部と、を有する良否判定システムである。 The invention according to claim 1 is a server managed by a service provider that provides a quality judgment service for determining the quality of an inspection target to a user, and a server managed by the user and connected to the server via the Internet. A quality determination system including a control device, an imaging unit controlled by the user, provided in a manufacturing facility that manufactures the inspection target, and controlled by the control device to image the inspection target. the server, the image of the inspection object which is captured in advance filters, a preprocessing unit for creating teaching data for building the quality to that machinery learning model determination of the test object, as a cloud computing services a verification unit for machine learning model building services offered to build the machine learning model to verify the accuracy of the machine learning model constructed on the basis of the teaching data, management unit for managing the operation information about the operation state of the imaging unit When have, wherein the controller includes a machine learning model receiver downloading the machine learning model, and a transmission unit for transmitting the operation information about the operation state of the imaging unit to the management unit, wherein The imaging unit is composed of at least a GPU, a camera unit that captures the image to be inspected in the inspection process before shipment, a storage unit that stores the machine learning model downloaded by the machine learning model receiving unit, and a GPU. on the basis of the stored the machine learning model in the storage unit, a quality determination system for chromatic and a judging section that judges acceptability of said object.

請求項２に記載の発明は、請求項１記載の良否判定システムにおいて、前記制御装置が、前記前処理部が作成した前記教示データを前記機械学習モデル構築サービスにアップロードする送信部を更に有する。 The invention according to claim 2 further includes a transmission unit in which the control device uploads the teaching data created by the preprocessing unit to the machine learning model construction service in the quality determination system according to claim 1.

請求項３に記載の発明は、請求項２記載の良否判定システムにおいて、前記制御装置が、前記製造設備を制御するコントローラの上位コントローラである。 According to the third aspect of the present invention, in the quality determination system according to the second aspect, the control device is a higher-level controller of a controller that controls the manufacturing equipment.

請求項４に記載の発明は、請求項２又は３記載の良否判定システムにおいて、前記稼働情報が、前記撮像部が前記画像の撮像を開始してから終了するまでの時間の情報又は前記撮像部が撮像した前記画像の枚数の情報である。 According to a fourth aspect of the present invention, in the quality determination system according to the second or third aspect, the operation information is information on the time from the start to the end of the image pickup by the image pickup unit or the image pickup unit. Is information on the number of images captured by.

請求項５に記載の発明は、請求項１〜４のいずれか１項に記載の良否判定システムが備えるサーバである。The invention according to claim 5 is a server provided in the quality determination system according to any one of claims 1 to 4.

請求項６に記載の発明は、請求項１〜４のいずれか１項に記載の良否判定システムによる検査対象の良否判定方法であって、前記前処理部が、予め撮像された前記検査対象の画像を処理し、前記教示データを作成する第１のステップと、前記検証部が、前記機械学習モデル構築サービスが前記教示データに基づいて構築した前記機械学習モデルを検証する第２のステップと、前記機械学習モデル受信部が、前記機械学習モデルをダウンロードする第３のステップと、前記記憶部が、ダウンロードされた前記機械学習モデルを記憶する第４のステップと、出荷前の検査工程にて、前記カメラ部が、前記検査対象の画像を撮像し、前記判定部が、前記カメラ部が撮像した前記画像及び前記記憶部に記憶された前記機械学習モデルに基づいて、前記検査対象の良否を判定する第５のステップと、前記送信部が、前記稼働情報を前記管理部に送信する第６のステップと、を含み、前記第２のステップにて検証された前記機械学習モデルの精度が悪い場合に、前記検査対処の画像を異なる方法で処理することにより前記第１のステップが実行される良否判定方法である。 The invention according to claim 6 is a method for determining the quality of an inspection target by the quality determination system according to any one of claims 1 to 4, wherein the preprocessing unit captures a pre-image of the inspection target . A first step of processing an image and creating the teaching data, and a second step of the verification unit verifying the machine learning model constructed by the machine learning model construction service based on the teaching data. the machine learning model receiving unit, and a third step of downloading pre-SL machine learning model, said storage unit, a fourth step of storing the machine learning model that has been downloaded, the pre-shipment in the inspection process The camera unit captures the image of the inspection target , and the determination unit determines the quality of the inspection target based on the image captured by the camera unit and the machine learning model stored in the storage unit. a fifth step of determining, the transmitting unit, the sixth steps, only contains the second accuracy of the machine learning model that has been validated by sending the operation information to the management unit This is a quality determination method in which the first step is executed by processing the inspection coping image in a different method when it is bad.

本発明によれば、ユーザが簡単に導入できる、検査対象の良否を判定する良否判定システム、サーバ及び良否判定方法を提供できる。 According to the present invention, the user can easily introduce, quality determination system for determining the quality of the test object, can provide a server and quality determination method.

本発明の一実施の形態に係る良否判定システムの構成図である。It is a block diagram of the quality judgment system which concerns on one Embodiment of this invention. 同良否判定システムが備えるパソコンの説明図である。It is explanatory drawing of the personal computer provided in the same quality judgment system. 同良否判定システムが備えるサーバの説明図である。It is explanatory drawing of the server provided in the same quality judgment system. 同良否判定システムが備えるパソコンの説明図である。It is explanatory drawing of the personal computer provided in the same quality judgment system. 同良否判定システムが備える撮像部の説明図である。It is explanatory drawing of the image pickup part provided in the same quality determination system. 同良否判定システムの動作を示すフロー図である。It is a flow chart which shows the operation of the same quality judgment system.

続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。なお、図において、説明に関連しない部分は図示を省略する場合がある。 Subsequently, an embodiment embodying the present invention will be described with reference to the attached drawings, and the present invention will be understood. In the figure, parts not related to the description may be omitted.

本発明の一実施の形態に係る良否判定システム１０（図１参照）は、機械学習により、ユーザの製造設備１２にて製造された検査対象１４の外観の良否を判定することができる。この外観の良否は、欠陥の有無により判定される。検査対象１４は、例えば、自動車や航空機等の輸送機械の部品及び食品である。
この良否判定システム１０による良否判定サービスは、サービス提供会社によって、製造設備１２を保有するユーザに対して提供される。 The quality determination system 10 (see FIG. 1) according to the embodiment of the present invention can determine the quality of the appearance of the inspection target 14 manufactured by the user's manufacturing equipment 12 by machine learning. The quality of this appearance is judged by the presence or absence of defects. The inspection target 14 is, for example, parts and food of a transportation machine such as an automobile or an aircraft.
The pass / fail judgment service by the pass / fail judgment system 10 is provided by the service provider to the user who owns the manufacturing equipment 12.

良否判定システム１０は、図１に示すように、パソコン２０、サーバ３０、パソコン４０、ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）５０及び撮像部６０を備えている。
パソコン２０、サーバ３０、及びパソコン４０はインターネットＮを介して互いに接続されている。 As shown in FIG. 1, the quality determination system 10 includes a personal computer 20, a server 30, a personal computer 40, a PLC (Programmable Logical Controller) 50, and an imaging unit 60.
The personal computer 20, the server 30, and the personal computer 40 are connected to each other via the Internet N.

パソコン２０は、製造設備１２を保有するユーザ又はサービス提供会社によって管理され、図２に示すように、教示データ作成部２０２を有している。
教示データ作成部（教示データ作成手段の一例）２０２は、機械学習モデルを構築するための検査対象１４の教示データを作成できる。
なお、パソコン２０は、パソコン２０にて実行されるプログラムによって、教示データ作成手段として機能する。パソコン２０は、スマートフォン等の携帯端末であってもよい。 The personal computer 20 is managed by a user who owns the manufacturing equipment 12 or a service provider, and has a teaching data creation unit 202 as shown in FIG.
The teaching data creating unit (an example of teaching data creating means) 202 can create teaching data of the inspection target 14 for constructing a machine learning model.
The personal computer 20 functions as a teaching data creating means by a program executed by the personal computer 20. The personal computer 20 may be a mobile terminal such as a smartphone.

サーバ３０は、サービス提供会社によって管理され、図３に示すように、前処理部３０２、送信部３０４、検証部３０６及び管理部３０８を有している。
前処理部（前処理手段の一例）３０２は、教示データ作成部２０２が作成した教示データを前処理し、前処理後の教示データを作成する。この前処理は、精度が高い機械学習モデルを構築するために必要な処理であり、例えば画像データに対する最適なフィルタ処理である。
送信部（送信手段の一例）３０４は、ユーザの操作により生成された前処理後の教示データを機械学習モデル構築サービス８０（図１参照）にアップロードできる。 The server 30 is managed by a service provider, and has a preprocessing unit 302, a transmission unit 304, a verification unit 306, and a management unit 308, as shown in FIG.
The pre-processing unit (an example of the pre-processing means) 302 pre-processes the teaching data created by the teaching data creating unit 202 and creates the teaching data after the pre-processing. This preprocessing is a process necessary for constructing a highly accurate machine learning model, and is, for example, an optimum filter process for image data.
The transmission unit (an example of transmission means) 304 can upload the preprocessed teaching data generated by the user's operation to the machine learning model construction service 80 (see FIG. 1).

ここで、機械学習モデル構築サービス８０は、クラウドコンピューティングサービスとして提供され、アップロードされた教示データに基づいて、機械学習モデルを構築できる。この機械学習モデル構築サービス８０は、例えば、Ｇｏｏｇｌｅ Ｃｌｏｕｄ Ｐｌａｔｆｏｒｍ（ＧＣＰ）にて提供されるＣｌｏｕｄ ＡｕｔｏＭＬ Ｖｉｓｉｏｎである。 Here, the machine learning model construction service 80 is provided as a cloud computing service, and a machine learning model can be constructed based on the uploaded teaching data. The machine learning model construction service 80 is, for example, a Cloud AutoML Vision provided by Google Cloud Platform (GCP).

検証部（検証手段の一例）３０６（図３参照）は、機械学習モデル構築サービス８０が構築した学習済みの機械学習モデルの良否を検証できる。
管理部（管理手段の一例）３０８は、良否判定システム１０の状態を管理できる。詳細には、管理部３０８は、撮像部６０（図１参照）の稼働状態に関する稼働情報を記録できる。この稼働情報については後述する。 The verification unit (an example of verification means) 306 (see FIG. 3) can verify the quality of the trained machine learning model constructed by the machine learning model construction service 80.
The management unit (an example of management means) 308 can manage the state of the quality determination system 10. Specifically, the management unit 308 can record operation information regarding the operating state of the imaging unit 60 (see FIG. 1). This operation information will be described later.

なお、サーバ３０は、サーバ３０にて実行されるプログラムによって、前処理手段、送信手段、検証手段、及び管理手段として機能する。 The server 30 functions as a preprocessing means, a transmitting means, a verification means, and a management means by a program executed by the server 30.

パソコン（制御装置の一例）４０は、ＰＬＣ５０の上位コントローラであり、ユーザによって管理される。
パソコン４０は、図４に示すように、機械学習モデル受信部４０２、制御部４０４、第１の送信部４０６及び第２の送信部４０８を有している。 The personal computer (an example of the control device) 40 is a higher-level controller of the PLC 50 and is managed by the user.
As shown in FIG. 4, the personal computer 40 has a machine learning model receiving unit 402, a control unit 404, a first transmitting unit 406, and a second transmitting unit 408.

機械学習モデル受信部（受信手段の一例）４０２は、機械学習モデル構築サービス８０が構築した機械学習モデルをダウンロードできる。その際、機械学習モデルのダウンロードは、セキュア通信によりなされる。
制御部（制御手段の一例）４０４は、ＰＬＣ５０及び撮像部６０を制御できる。
第１の送信部（第１の送信手段の一例）４０６は、ダウンロードした機械学習モデルを撮像部６０に送信できる。
第２の送信部（第２の送信手段の一例）４０８は、撮像部６０の稼働状態に関する稼働情報をサーバ３０の管理部３０８に送信できる。この稼働情報は、例えば、撮像部６０が画像の撮像を開始してから終了するまでの時間の情報である。稼働情報は、撮像部６０が撮像した画像の枚数の情報であってもよい。 The machine learning model receiving unit (an example of receiving means) 402 can download the machine learning model constructed by the machine learning model construction service 80. At that time, the machine learning model is downloaded by secure communication.
The control unit (an example of the control means) 404 can control the PLC 50 and the imaging unit 60.
The first transmission unit (an example of the first transmission means) 406 can transmit the downloaded machine learning model to the imaging unit 60.
The second transmission unit (an example of a second transmission unit) 408 may transmit the operation information regarding operating status of the imaging unit 60 to the management unit 308 of the servers 30. The operation information is, for example, the time information from the start to the end of the imaging of the imaging unit 60 Gae image. Operation information, the imaging unit 60 may be information in the number of images captured.

なお、パソコン４０は、パソコン４０にて実行されるプログラムによって、受信手段、制御手段、第１の送信手段及び第２の送信手段として機能する。
また、１台のパソコン４０が機械学習モデル受信部４０２、制御部４０４、第１の送信部４０６及び第２の送信部４０８を全て有していることに限定されるものではなく、各部が互いに接続された複数のパソコンに分かれて存在していてもよい。 The personal computer 40 functions as a receiving means, a controlling means, a first transmitting means, and a second transmitting means by a program executed by the personal computer 40.
Further, one personal computer 40 is not limited to having all of the machine learning model receiving unit 402, the control unit 404, the first transmitting unit 406, and the second transmitting unit 408, and each unit is not limited to having each other. It may exist separately in a plurality of connected personal computers.

ＰＬＣ５０は、ユーザによって管理され、図１に示すように、検査対象１４を製造する製造設備１２を制御するコントローラである。 The PLC 50 is a controller managed by a user and controls a manufacturing facility 12 that manufactures an inspection target 14, as shown in FIG.

撮像部６０は、ユーザによって管理され、製造設備１２に設置される。撮像部６０は、製造設備１２によって製造された出荷前の検査対象１４の画像を撮像できる。
撮像部６０は、図５に示すように、カメラ部６０２、記憶部６０４及び判定部６０６を有している。 The imaging unit 60 is managed by the user and installed in the manufacturing equipment 12. The imaging unit 60 can capture an image of the inspection target 14 before shipment manufactured by the manufacturing equipment 12.
As shown in FIG. 5, the imaging unit 60 includes a camera unit 602, a storage unit 604, and a determination unit 606.

カメラ部６０２は、検査対象１４の画像を撮像し、撮像した画像データを取得できる。
記憶部６０４は、パソコン４０の第１の送信部４０６から送信された機械学習モデルを記憶できる。
判定部６０６は、カメラ部６０２が撮像した検査対象１４の画像データ及び記憶部６０４に記憶された機械学習モデルに基づいて、検査対象１４の欠陥の有無、すなわち、検査対象１４の良否を判定できる。判定部６０６は、機械学習モデルによる演算処理を高速に行うことができ、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により少なくとも構成されている。 The camera unit 602 can capture an image of the inspection target 14 and acquire the captured image data.
The storage unit 604 can store the machine learning model transmitted from the first transmission unit 406 of the personal computer 40.
Determine tough 606, based on the machine learning model camera unit 602 is stored in the image data and the storage unit 604 to be inspected 14 picked up, the presence or absence of a defect of the inspection object 14, i.e., determine the quality of the inspection target 14 it can. The determination unit 606 can perform arithmetic processing by the machine learning model at high speed, and is at least configured by, for example, a GPU (Graphics Processing Unit).

次に、良否判定システム１０の動作（検査対象１４の良否判定方法）について説明する。良否判定システム１０は、以下のステップＳ１〜Ｓ７に従って動作する。ただし、可能な場合には、各ステップＳ１〜Ｓ７は順番を入れ替えて実施されてもよいし、並行して実施されてもよい。 Next, the operation of the pass / fail determination system 10 (the pass / fail determination method of the inspection target 14) will be described. The pass / fail determination system 10 operates according to the following steps S1 to S7. However, if possible, the steps S1 to S7 may be performed in a different order or may be performed in parallel.

（ステップＳ１）
パソコン２０（図１参照）の教示データ作成部２０２（図２参照）が、撮像部６０が撮像した検査対象１４の画像データに基づいて、教示データとなる検査対象１４の画像データを複数作成する。
教示データは、規定の欠陥を含む検査対象１４の複数の画像データ及び規定の欠陥を含まない検査対象１４の複数の画像データ群である。なお、欠陥の種類には、例えば、傷、ボイド、汚れ、及び異物混入等があり、検査対象とすべき欠陥は、検査対象１４によって異なる。
作成された複数の検査対象１４の画像は、図示しない記憶手段に記憶され、サーバ３０に送信される。
教示データは、教示データ作成部２０２が作成することに代えて、予め準備された検査対象１４の画像データに基づいて手作業により作成されてもよい。 (Step S1)
The teaching data creation unit 202 (see FIG. 2) of the personal computer 20 (see FIG. 1) creates a plurality of image data of the inspection target 14 as teaching data based on the image data of the inspection target 14 imaged by the imaging unit 60. ..
The teaching data is a plurality of image data of the inspection target 14 including the specified defect and a plurality of image data groups of the inspection target 14 not including the specified defect. The types of defects include, for example, scratches, voids, stains, foreign matter contamination, and the like, and the defects to be inspected differ depending on the inspection target 14.
The created images of the plurality of inspection targets 14 are stored in a storage means (not shown) and transmitted to the server 30.
The teaching data may be manually created based on the image data of the inspection target 14 prepared in advance, instead of being created by the teaching data creating unit 202.

（ステップＳ２）
サーバ３０の前処理部３０２（図３参照）が、パソコン２０が生成した検査対象１４の画像を前処理し、前処理後の教示データを作成する。
その後、ユーザの操作により、送信部３０４が、前処理後の教示データを機械学習モデル構築サービス８０にアップロードする。
ノウハウが必要な教示データの前処理をユーザではなくサービス提供業者が行うので、ユーザは簡単に機械学習モデルによる良否判定システム１０を導入できる。
（ステップＳ３） (Step S2)
The preprocessing unit 302 (see FIG. 3) of the server 30 preprocesses the image of the inspection target 14 generated by the personal computer 20 and creates teaching data after the preprocessing.
After that, the transmission unit 304 uploads the preprocessed teaching data to the machine learning model construction service 80 by the operation of the user.
Since the service provider, not the user, preprocesses the teaching data that requires know-how, the user can easily introduce the pass / fail judgment system 10 based on the machine learning model.
(Step S3)

機械学習モデル構築サービス８０によって機械学習モデルが構築される。
構築された学習済みの機械学習モデルは、サーバ３０の検証部３０６によってモデルの精度が検証される。
なお、精度が悪い場合には、前ステップＳ２に戻り、前処理部３０２は、検査対象１４の画像を異なる方法で前処理する。
（ステップＳ４） A machine learning model is constructed by the machine learning model construction service 80.
The accuracy of the constructed machine learning model is verified by the verification unit 306 of the server 30.
If the accuracy is poor, the process returns to the previous step S2, and the preprocessing unit 302 preprocesses the image of the inspection target 14 by a different method.
(Step S4)

ユーザの操作により、パソコン４０の機械学習モデル受信部４０２（図４参照）が、機械学習モデル構築サービス８０によって構築された学習済みの機械学習モデルをダウンロードする。
（ステップＳ５） By the operation of the user, the machine learning model receiving unit 402 (see FIG. 4) of the personal computer 40 downloads the trained machine learning model constructed by the machine learning model construction service 80.
(Step S5)

撮像部６０の記憶部６０４（図５参照）が、機械学習モデル受信部４０２によってダウンロードされた機械学習モデルを記憶する。
（ステップＳ６） The storage unit 604 (see FIG. 5) of the imaging unit 60 stores the machine learning model downloaded by the machine learning model receiving unit 402.
(Step S6)

パソコン４０の制御部４０４（図４参照）がＰＬＣ５０及び撮像部６０を制御し、製造設備１２（図１参照）にて製造された検査対象１４の良否を判定する。
詳細には、出荷前の検査工程にて、撮像部６０のカメラ部６０２（図５参照）が検査対象１４の画像を撮像し、判定部６０６が、撮像された画像及び記憶部６０４に記憶された機械学習モデルに基づいて、検査対象１４に欠陥が存在するか否かを検査し、欠陥がない場合は良品と判定し、欠陥がある場合には不良品と判定する。
（ステップＳ７） The control unit 404 (see FIG. 4) of the personal computer 40 controls the PLC 50 and the imaging unit 60, and determines the quality of the inspection target 14 manufactured by the manufacturing equipment 12 (see FIG. 1).
Specifically, in the inspection process before shipment, the camera unit 602 (see FIG. 5) of the imaging unit 60 images the image of the inspection target 14, and the determination unit 606 stores the captured image and the storage unit 604. Based on the machine learning model, it is inspected whether or not the inspection target 14 has a defect, and if there is no defect, it is determined as a non-defective product, and if there is a defect, it is determined as a defective product.
(Step S7)

パソコン４０の制御部４０４（図４参照）が、撮像部６０の稼働状態に関する稼働情報をサーバ３０に送信する。送信された稼働情報はサーバ３０の記憶部（不図示）に記憶され、良否判定システム１０の稼働状態がサーバ３０の管理部３０８にて一元的に管理される。 The control unit 404 (see FIG. 4) of the personal computer 40 transmits the operation information regarding the operating state of the imaging unit 60 to the server 30. The transmitted operation information is stored in a storage unit (not shown) of the server 30, and the operation state of the quality determination system 10 is centrally managed by the management unit 308 of the server 30.

このように、本実施の形態に係る良否判定システム１０は、機械学習モデルがクラウド上ではなく撮像部６０の記憶部６０４（図５参照）に記憶されるので、パソコン４０がインターネットＮに接続されていなかったり、所定の通信速度が得られなかったりするような通信速度が制限された状態であっても、検査対象１４の外観の良否を判定できる。
なお、良否判定システム１０は、撮像部６０の種類によっては、検査対象１４の外観ではなく、内部の状態の良否を判定することも可能である。 As described above, in the pass / fail judgment system 10 according to the present embodiment, the machine learning model is stored not in the cloud but in the storage unit 604 (see FIG. 5) of the imaging unit 60, so that the personal computer 40 is connected to the Internet N. Even in a state where the communication speed is limited such that the communication speed is not obtained or a predetermined communication speed cannot be obtained, it is possible to determine whether the appearance of the inspection target 14 is good or bad.
Depending on the type of the imaging unit 60, the quality determination system 10 can determine the quality of the internal state of the inspection target 14 instead of the appearance.

以上、本発明の実施の形態を説明したが、本発明は、前述の形態に限定されるものでなく、要旨を逸脱しない条件の変更等は全て本発明の適用範囲である。 Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and all changes in conditions that do not deviate from the gist are within the scope of the present invention.

１０ 良否判定システム
１２ 製造設備
１４ 検査対象
２０ パソコン
３０ サーバ
４０ パソコン
６０ 撮像部
８０ 機械学習モデル構築サービス
２０２ 教示データ作成部
３０２ 前処理部
３０４ 送信部
３０６ 検証部
３０８ 管理部
４０２ 機械学習モデル受信部
４０４ 制御部
４０６ 第１の送信部
４０８ 第２の送信部
６０２ カメラ部
６０４ 記憶部
６０６ 判定部
Ｎ インターネット 10 Good / bad judgment system 12 Manufacturing equipment 14 Inspection target 20 Computer 30 Server 40 Computer 60 Imaging unit 80 Machine learning model construction service 202 Teaching data creation unit 302 Preprocessing unit 304 Transmission unit 306 Verification unit 308 Management unit 402 Machine learning model reception unit 404 Control unit 406 First transmission unit 408 Second transmission unit 602 Camera unit 604 Storage unit 606 Judgment unit N Internet

Claims (6)

予め撮像された輸送機械の部品の画像を処理し、該輸送機械の部品の良否を判定するための機械学習モデルを構築するための教示データを作成するサーバと、
クラウドコンピューティングサービスとして提供され前記機械学習モデルを構築する機械学習モデル構築サービスが前記教示データに基づいて構築した前記機械学習モデルをダウンロードする機械学習モデル受信部と、
出荷前の検査工程にて、前記輸送機械の部品の画像を撮像する撮像部と、
前記撮像部の稼働状態に関する稼働情報を送信する送信部と、を備え、
前記撮像部が、前記機械学習モデル受信部がダウンロードした前記機械学習モデルを記憶する記憶部と、
前記記憶部に記憶された前記機械学習モデルに基づいて、前記輸送機械の部品の良否を判定する判定部と、を有し、
前記送信部が、前記稼働情報を前記サーバに送信する良否判定システム。 A server that processes images of transport machine parts captured in advance and creates teaching data for constructing a machine learning model for determining the quality of the transport machine parts.
A machine learning model receiver provided as a cloud computing service and downloading the machine learning model constructed by the machine learning model construction service that constructs the machine learning model based on the teaching data, and a machine learning model receiver that downloads the machine learning model.
An imaging unit that captures images of the parts of the transportation machine in the inspection process before shipment.
A transmission unit for transmitting operation information regarding the operation state of the imaging unit is provided.
The imaging unit stores the machine learning model downloaded by the machine learning model receiving unit, and a storage unit.
It has a determination unit for determining the quality of parts of the transportation machine based on the machine learning model stored in the storage unit.
A quality determination system in which the transmission unit transmits the operation information to the server. 請求項１記載の良否判定システムにおいて、
前記稼働情報が、前記撮像部が前記画像の撮像を開始してから終了するまでの時間の情報である良否判定システム。 In the quality determination system according to claim 1,
A quality determination system in which the operation information is information on the time from when the imaging unit starts imaging the image to when it ends. 請求項１記載の良否判定システムにおいて、
前記稼働情報が、前記撮像部が撮像した前記画像の枚数の情報である良否判定システム。 In the quality determination system according to claim 1,
A quality determination system in which the operation information is information on the number of images captured by the imaging unit. 請求項２又は３記載の良否判定システムが備えるサーバ。 A server included in the pass / fail judgment system according to claim 2 or 3. 予め撮像された輸送機械の部品の画像を処理し、該輸送機械の部品の良否を判定するための機械学習モデルを構築するための教示データを作成するサーバにインターネットを介して接続されるとともに前記機械学習モデルを記憶する記憶部及び該機械学習モデルに基づいて前記輸送機械の部品の良否を判定する判定部を有し、出荷前の検査工程にて、前記輸送機械の部品の画像を撮像する撮像部に接続された制御装置を、
クラウドコンピューティングサービスとして提供され前記機械学習モデルを構築する機械学習モデル構築サービスが、前記教示データに基づいて構築した前記機械学習モデルをダウンロードする受信手段、
ダウンロードした前記機械学習モデルを前記記憶部に送信する第１の送信手段、
前記サーバに前記撮像部の稼働状態に関する稼働情報を送信する第２の送信手段、として機能させるプログラム。 It is connected to a server via the Internet that processes images of transport machine parts captured in advance and creates teaching data for constructing a machine learning model for determining the quality of the transport machine parts. It has a storage unit that stores the machine learning model and a determination unit that determines the quality of the parts of the transport machine based on the machine learning model, and captures an image of the parts of the transport machine in the inspection process before shipment. The control device connected to the imaging unit,
A receiving means for downloading the machine learning model constructed based on the teaching data by the machine learning model construction service provided as a cloud computing service and constructing the machine learning model.
A first transmission means for transmitting the downloaded machine learning model to the storage unit,
A program that functions as a second transmission means for transmitting operation information regarding the operation state of the imaging unit to the server. 輸送機械の部品の良否を判定するための機械学習モデルを構築するための教示データを作成するサーバと、
クラウドコンピューティングサービスとして提供され前記機械学習モデルを構築する機械学習モデル構築サービスに接続された機械学習モデル受信部と、
前記機械学習モデル受信部がダウンロードした前記機械学習モデルを記憶する記憶部、前記記憶部に記憶された前記機械学習モデルに基づいて、前記輸送機械の部品の良否を判定する判定部及び前記輸送機械の部品の画像を撮像するカメラ部を有する撮像部と、
前記撮像部の稼働状態に関する稼働情報を送信する送信部と、を備えた良否判定システムの良否判定方法であって、
前記サーバが、予め撮像された輸送機械の部品の画像を処理し、前記教示データを作成するステップと、
前記機械学習モデル受信部が、機械学習モデル構築サービスが前記教示データに基づいて構築した前記機械学習モデルをダウンロードするステップと、
前記記憶部が、ダウンロードされた前記機械学習モデルを記憶するステップと、
出荷前の検査工程にて、前記カメラ部が、前記輸送機械の部品の画像を撮像し、前記判定部が、前記カメラ部が撮像した前記画像及び前記記憶部に記憶された前記機械学習モデルに基づいて、前記輸送機械の部品の良否を判定するステップと、
前記送信部が、前記稼働情報を前記サーバに送信するステップと、を含む良否判定方法。
A server that creates teaching data for building a machine learning model for judging the quality of parts of a transportation machine, and
A machine learning model receiver provided as a cloud computing service and connected to a machine learning model construction service that builds the machine learning model,
A storage unit that stores the machine learning model downloaded by the machine learning model receiving unit, a determination unit that determines the quality of parts of the transport machine based on the machine learning model stored in the storage unit, and the transport machine. An imaging unit having a camera unit that captures images of parts of
It is a quality determination method of a quality determination system including a transmission unit that transmits operation information regarding the operation state of the imaging unit.
A step in which the server processes an image of a part of a transportation machine imaged in advance and creates the teaching data.
A step in which the machine learning model receiver downloads the machine learning model constructed by the machine learning model construction service based on the teaching data.
A step in which the storage unit stores the downloaded machine learning model,
In the inspection process before shipment, the camera unit captures an image of the parts of the transport machine, and the determination unit captures the image captured by the camera unit and the machine learning model stored in the storage unit. Based on the step of determining the quality of the parts of the transportation machine,
A pass / fail determination method including a step in which the transmission unit transmits the operation information to the server.
JP2019172373A 2019-09-22 2019-09-22 Pass / Fail Judgment System, Server and Pass / Fail Judgment Method Active JP7006954B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019172373A JP7006954B2 (en) 2019-09-22 2019-09-22 Pass / Fail Judgment System, Server and Pass / Fail Judgment Method
PCT/JP2020/035653 WO2021054478A1 (en) 2019-09-22 2020-09-21 Quality determination system, server and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019172373A JP7006954B2 (en) 2019-09-22 2019-09-22 Pass / Fail Judgment System, Server and Pass / Fail Judgment Method

Publications (2)

Publication Number Publication Date
JP2021051404A true JP2021051404A (en) 2021-04-01
JP7006954B2 JP7006954B2 (en) 2022-01-24

Family

ID=74883588

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019172373A Active JP7006954B2 (en) 2019-09-22 2019-09-22 Pass / Fail Judgment System, Server and Pass / Fail Judgment Method

Country Status (2)

Country Link
JP (1) JP7006954B2 (en)
WO (1) WO2021054478A1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08114556A (en) * 1994-10-13 1996-05-07 Nippon Chemicon Corp Electronic part inspecting method using neural net
JP2008147443A (en) * 2006-12-11 2008-06-26 Olympus Corp Process control system, and process control method
JP2016062524A (en) * 2014-09-22 2016-04-25 日本電気株式会社 Data processing system, data processing method and data processing program
JP2018152063A (en) * 2017-03-14 2018-09-27 オムロン株式会社 Device, method, and program for evaluating learning results
WO2019026104A1 (en) * 2017-07-31 2019-02-07 富士通株式会社 Information processing device, information processing program, and information processing method
JP2019091249A (en) * 2017-11-15 2019-06-13 オムロン株式会社 Defect inspection device, defect inspecting method, and program thereof
JP2019101807A (en) * 2017-12-04 2019-06-24 大日本印刷株式会社 Device, secure element, program, information processing system, and information processing method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08114556A (en) * 1994-10-13 1996-05-07 Nippon Chemicon Corp Electronic part inspecting method using neural net
JP2008147443A (en) * 2006-12-11 2008-06-26 Olympus Corp Process control system, and process control method
JP2016062524A (en) * 2014-09-22 2016-04-25 日本電気株式会社 Data processing system, data processing method and data processing program
JP2018152063A (en) * 2017-03-14 2018-09-27 オムロン株式会社 Device, method, and program for evaluating learning results
WO2019026104A1 (en) * 2017-07-31 2019-02-07 富士通株式会社 Information processing device, information processing program, and information processing method
JP2019091249A (en) * 2017-11-15 2019-06-13 オムロン株式会社 Defect inspection device, defect inspecting method, and program thereof
JP2019101807A (en) * 2017-12-04 2019-06-24 大日本印刷株式会社 Device, secure element, program, information processing system, and information processing method

Also Published As

Publication number Publication date
JP7006954B2 (en) 2022-01-24
WO2021054478A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
US11361385B2 (en) Application facilitated claims damage estimation
US11625791B1 (en) Feedback loop in mobile damage assessment and claims processing
US9824453B1 (en) Three dimensional image scan for vehicle
US10572944B1 (en) Claims damage estimation using enhanced display
CA2976582C (en) Method and device for remotely inspecting the state of an aircraft engine
US20140121806A1 (en) Mobility Product Traceability Building System and Production Line Operation Controlling Method
EP3754603A1 (en) Apparatus and methods for augmented reality vehicle condition inspection
EP1444651A2 (en) Method and system for producing update frequency of means
TW202004574A (en) Artificial intelligence recheck system and method thereof
EP3754604A1 (en) Apparatus and methods for augmented reality measuring of equipment
CN111527387B (en) Method and system for identifying damage to a component
WO2021054478A1 (en) Quality determination system, server and program
CN116783625A (en) Method and apparatus for optical quality control during manufacture of circuit boards
CN112238455B (en) Parameter adjusting method and device for robot and server
US20030225611A1 (en) Electronic source inspection process
WO2021221030A1 (en) Quality determination system, quality determination method, server, and program
CN113168295A (en) Apparatus and method for performing a calibration test of printing on an article
CN114556383A (en) Model generation device, estimation device, model generation method, and model generation program
JP2022043134A5 (en)
CN113409317B (en) Defect detection method, electronic device, device and computer readable storage medium
CN109982048B (en) Method and device for acquiring vehicle conditions
CN109658335B (en) Image processing method, device, storage medium and electronic equipment
KR102473141B1 (en) Method and system for determining good/defective products using artificial intelligence-based PLC module
JP7199395B2 (en) Data collection and judgment system, judgment device, data collection and judgment device, program
JP7029201B1 (en) Object inspection equipment, inspection programs, and systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200619

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200619

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201006

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210202

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210430

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210727

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210728

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210909

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211224

R150 Certificate of patent or registration of utility model

Ref document number: 7006954

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150