JP2023047003A - 機械学習システム、学習データ収集方法及び学習データ収集プログラム - Google Patents
機械学習システム、学習データ収集方法及び学習データ収集プログラム Download PDFInfo
- Publication number
- JP2023047003A JP2023047003A JP2021155888A JP2021155888A JP2023047003A JP 2023047003 A JP2023047003 A JP 2023047003A JP 2021155888 A JP2021155888 A JP 2021155888A JP 2021155888 A JP2021155888 A JP 2021155888A JP 2023047003 A JP2023047003 A JP 2023047003A
- Authority
- JP
- Japan
- Prior art keywords
- image
- inspected
- product
- learning
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims description 36
- 238000013480 data collection Methods 0.000 title claims description 9
- 238000007689 inspection Methods 0.000 claims abstract description 123
- 238000004519 manufacturing process Methods 0.000 claims abstract description 67
- 238000003860 storage Methods 0.000 claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000007781 pre-processing Methods 0.000 claims abstract description 30
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 19
- 238000003384 imaging method Methods 0.000 claims abstract description 9
- 238000004321 preservation Methods 0.000 claims 2
- 238000005520 cutting process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000704 physical effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000009966 trimming Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
【課題】従来のシステムでは、検査及び学習データの収集のためのシステムの複雑化を避けることが出来ない問題があった。【解決手段】本発明の機械学習システムは、製品を撮影して製品画像を取得する撮像部２０と、製品画像に対して製品の検査対象部位の位置及び範囲を示す設定ファイルに基づき検査対象部位の画像を切り出して検査対象部位画像を生成し、生成した検査対象部位画像を画像保存部１３に保存する前処理部１１と、製品の仕様を記述した生産指示情報により良否判定対象であることが示された良否判定対象物の検査対象部位画像に対して人工知能を適用した良否判定処理を行う検査処理部１５と、を有し、画像保存部１３に保存された検査対象部位画像のうち、生産指示情報により良否判定対象ではない学習対象物と指定された製品に関する検査対象部位画像を、人工知能に適用される学習モデルの学習用データとして画像保存部１３に蓄積する。【選択図】図１
Description
本発明は、機械学習システム、学習データ収集方法及び学習データ収集プログラムに関し、例えば、検査対象物を撮影した画像を用いて検査対象物の形状認識を行う人工知能で用いられる学習モデルを生成する機械学習システム、学習データ収集方法及び機械学習プログラムに関する。
自動車の生産ラインでは、組み付けられた製品が仕様通りに組み付けが出来ているかを検査する検査工程において、画像を用いた検査をすることがある。このような検査において、近年、人工知能を用いて検査対象物を含む画像から検査対象物の良否判定を行う技術が提案されている。このような認識及び検査技術の一例が特許文献１に開示されている。
特許文献１に記載の学習装置は、学習装置は、製品のサンプルを撮像して画像データを取得するカメラと、サンプルの物性情報を取得する物性情報取得部と、学習モデルを生成する演算部とを備える。演算部は、物性情報とカテゴリとを関連付けるルール情報に基づいてサンプルのカテゴリを特定し、特定したカテゴリと画像データとを関連付けて教師データを生成し、教師データを用いた機械学習によって学習モデルを生成するように構成されている。学習モデルは、サンプルの画像データの入力に対してサンプルのカテゴリを出力する。
しかしながら、特許文献１に記載の技術では、物性情報を得るために単に画像を取得するカメラ以外の別のセンサを設けなければならず、システムが複雑化或いは高コスト化かし、さらに汎用性にも失われることになる。
本発明は、このような問題を解決するためになされたものであり、システム構成の簡易化を目的とするものである。
本発明にかかる機械学習システムの一態様は、製品を撮影して製品画像を取得する撮像部と、前記製品画像に対して前記製品の検査対象部位の位置及び範囲を示す設定ファイルに基づき前記検査対象部位の画像を切り出して検査対象部位画像を生成し、生成した検査対象部位画像を画像保存部に保存する前処理部と、前記製品の仕様を記述した生産指示情報により良否判定対象であることが示された良否判定対象物の前記検査対象部位画像に対して人工知能を適用した良否判定処理を行う検査処理部と、を有し、前記画像保存部に保存された前記検査対象部位画像のうち、前記生産指示情報により良否判定対象ではない学習対象物と指定された製品に関する前記検査対象部位画像を、前記人工知能に適用される学習モデルの学習用データとして前記画像保存部に蓄積する。
本発明にかかる学習データ収集方法の一態様は、生産ラインにおいて製品の良否判定処理を行う検査装置を用いて人工知能に適用する学習モデルの作成に利用する学習データの収集方法であって、生産ラインを流れる製品を撮影して製品画像を取得する撮像処理と、前記製品画像に対して前記製品の検査対象部位の位置及び範囲を示す設定ファイルに基づき前記検査対象部位の画像を切り出して検査対象部位画像を生成し、生成した検査対象部位画像を画像保存部に保存する前処理と、前記製品の仕様を記述した生産指示情報により良否判定対象であることが示された良否判定対象物の前記検査対象部位画像に対して人工知能を適用した良否判定処理を行う検査処理と、を行い、前記画像保存部に保存された前記検査対象部位画像のうち、前記生産指示情報により良否判定対象ではない学習対象物と指定された製品に関する前記検査対象部位画像を、前記学習モデルの学習用データとして前記画像保存部に蓄積する。
本発明にかかる学習データ収集プログラムの一態様は、生産ラインにおいて製品の良否判定処理を行う検査装置内に設けられる演算部で実行され、前記検査装置を用いて人工知能に適用する学習モデルの作成に利用する学習データの収集を行う学習データ収集プログラムであって、生産ラインを流れる製品を撮影して製品画像を取得する撮像処理と、前記製品画像に対して前記製品の検査対象部位の位置及び範囲を示す設定ファイルに基づき前記検査対象部位の画像を切り出して検査対象部位画像を生成し、生成した検査対象部位画像を画像保存部に保存する前処理と、前記製品の仕様を記述した生産指示情報により良否判定対象であることが示された良否判定対象物の前記検査対象部位画像に対して人工知能を適用した良否判定処理を行う検査処理と、を行い、前記画像保存部に保存された前記検査対象部位画像のうち、前記生産指示情報により良否判定対象ではない学習対象物と指定された製品に関する前記検査対象部位画像を、前記学習モデルの学習用データとして前記画像保存部に蓄積する。
本発明にかかる機械学習システム、学習データ収集方法及び学習データ収集プログラムでは、検査処理を行うシステム上で学習モデルの生成に利用する学習用データの収集を行う。
本発明により、本発明にかかる機械学習システム、学習データ収集方法及び学習データ収集プログラムでは、システム構成の簡易化することができる。
説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
また、上述したプログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
実施の形態１
まず、図１に実施の形態１にかかる機械学習システム１の概略図を示す。図１に示すように、実施の形態１にかかる機械学習システム１は、学習モデルを利用する人工知能により製品の良否判定を行う検査装置１０を備える。そして、機械学習システム１では、検査対象とする製品として、実際に生産される良否判定対象物と、検査に利用される学習モデルが未だ作成されていない学習対象物と、を同じ生産ライン上に流し、良否判定対象物に対しては良否判定しつつ、学習対象物に対しては学習モデルの生成に利用する学習用データを収集する。
まず、図１に実施の形態１にかかる機械学習システム１の概略図を示す。図１に示すように、実施の形態１にかかる機械学習システム１は、学習モデルを利用する人工知能により製品の良否判定を行う検査装置１０を備える。そして、機械学習システム１では、検査対象とする製品として、実際に生産される良否判定対象物と、検査に利用される学習モデルが未だ作成されていない学習対象物と、を同じ生産ライン上に流し、良否判定対象物に対しては良否判定しつつ、学習対象物に対しては学習モデルの生成に利用する学習用データを収集する。
実施の形態１にかかる機械学習システム１について詳細に説明する。図１に示すように、実施の形態１にかかる機械学習システム１は、検査装置１０、撮像部（例えばカメラ２０）、生産指示サーバー３０を有する。ここで、検査装置１０、カメラ２０、生産指示サーバー３０は、図１では、離れた位置の独立した構成として記載したが、これら装置は、１つの装置として実装されていても良い。なお、生産指示サーバー３０については、検査装置１０とは通信回線を介して情報の送受信を行う構成であることが多い。カメラ２０は、生産ラインを流れる製品を撮影して製品画像を取得する。そして、この製品には、良否判定対象物と学習対象物とが含まれる。
検査装置１０は、前処理部１１、設定ファイル保存部１２、画像保存部１３、学習モデル保存部１４、検査処理部１５、表示部１６、学習モデル生成部１７を有する。ここで、設定ファイル保存部１２、画像保存部１３、学習モデル保存部１４は、例えば、コンピュータのハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置である。また、前処理部１１、検査処理部１５、表示部１６、学習モデル生成部１７は、コンピュータの演算部で実行されるプログラムにより実現可能である。また、学習モデル生成部１７については、例えば、クラウドサーバー上に配置されていても良い。
前処理部１１は、製品画像に対して製品の検査対象部位の位置及び範囲を示す設定ファイルに基づき検査対象部位の画像を切り出して検査対象部位画像を生成し、生成した検査対象部位画像を画像保存部１３に保存する。ここで、設定ファイルは、予め作業者が作成して設定ファイル保存部１２に保存されている。また、より具体的には、前処理部１１は、生産指示サーバー３０から生産指示情報を読み込み、当該生産指示情報に記述されている製品情報に対応する設定ファイルを設定ファイル保存部１２から読み込む。
ここで、生産指示情報と設定ファイルについて詳細に説明する。なお、以下の説明では、製品として車両、或いは、車両の構成部品を、検査対象製品とする例について説明する。また、生産指示情報と設定ファイルは、いずれも作業者が事前に作成して生産指示サーバー３０及び設定ファイル保存部１２に保存しておくものである。
まず、図２に実施の形態１にかかる機械学習システムで利用される生産指示情報の一例を示す。図２に示す例は、塗色が白色の車種Ｅ１に関するものである。図２に示すように、生産指示情報は、製品（例えば、車種）毎に設けられ、生産指示サーバー３０は生産ラインの流れに応じて、その時検査すべき車種の生産指示情報を適宜前処理部１１に送信する。図２に示す例では、生産指示情報は、車種と塗色を車種情報とし、当該車種に関連する製品仕様を車種情報が記述される。この製品仕様には、製品に組み付けられている部品の有無、部品の種類が記述される。実施の形態１にかかる機械学習システム１では、製品仕様に記述された部位を検査対象部位とし、検査対象部位毎に良否判定を行う。また、実施の形態１にかかる機械学習システム１では、生産指示情報に検査指示フラグが示される。この検査指示フラグは、検査対象部位毎に検査対象、未学習のいずれの状態かを示すものである。
続いて、図３に実施の形態１にかかる機械学習システムで利用される設定ファイルの記述内容の一例を示す。図３に示す例は、図２に示した車種Ｅ１に対応する設定ファイルの一部を示すものである。図３に示すように、設定ファイルでは、前処理部１１が取得した製品画像から検査対象部位が含まれる領域を切り出すためのトリミング座標と、学習モデルが保存されている場所を示す学習モデルパスと、前処理部１１が切り出し処理により生成した検査対象部位画像を保存する画像保存パスと、が検査対象部位毎に記述される。
ここで、前処理部１１における前処理について図４を参照して説明する。そこで、図４に実施の形態１にかかる機械学習システムの前処理を説明する図を示す。図４に示す例は、カメラ２０が取得した製品画像に対して前処理部１１が設定ファイルに基づき切り出し処理を行ったものである。図４に示すように、前処理部１１は、設定ファイルに記載されたトリミング座標に基づきエンブレム等の検査対象部位が含まれる部分の切り出し画像を検査対象部位画像として生成する。そして、前処理部１１は、生成した検査対象部位画像を設定ファイルに記述された画像保存パスに保存する。
エンブレムを例に取ると、前処理部１１は、図３の設定ファイルで示されたトリミング座標からエンブレムが含まれる領域の範囲を切り出してエンブレムの検査対象部位画像を生成する。そして、検査処理部１５は、製品の仕様を記述した生産指示情報により良否判定対象であることが示された良否判定対象物の検査対象部位画像に対して人工知能を適用した良否判定処理を行う。より具体的には、検査処理部１５は、画像保存部１３に保存された検査対象部位毎に学習モデルを選択し、選択した学習モデルを用いた人工知能により検査対象部位が生産指示情報で示されている仕様に合致しているかを判定する。表示部１６は、検査処理部１５による検査結果を作業者に表示する、作業者が検査装置１０を操作するためのユーザーインタフェースを表示する。
なお、検査処理部１５は、前処理部１１により検査対象部位画像が生成された場合、全ての検査対象部位画像に対して検査を行うが、学習対象物に関しては検査をスキップする。これにより、本来正しい製品が生産指示情報と検査結果との誤った不一致結果により不良品と判定されることを防ぐ。
学習モデル生成部１７は、生産指示情報において学習対象とされた検査対象部位画像を画像保存部１３から読み出し、読み出した検査対象部位画像を入力とし、生産指示情報を教師データとする機械学習により学習対象の検査対象部位画像を判別可能な学習モデルを生成する。これにより、学習モデル生成部１７が生成した学習モデルを適用した人工知能は、学習対象の検査対象部位画像が入力された場合に生産指示情報で示される部位の仕様を出力することが可能になる。また、学習モデル生成部１７は、生成した学習モデルを設定ファイルに記述された学習モデル保存パス（例えば、学習モデル保存部１４内の格納領域）に保存する。
続いて、実施の形態１にかかる機械学習システム１の動作について説明する。そこで、図５に実施の形態１にかかる機械学習システム１の動作を説明するフローチャートを示す。なお、図５では、検査対象とする製品として、実際に生産される良否判定対象物と、検査に利用される学習モデルが未だ作成されていない学習対象物と、が同じ生産ラインに流れて来た場合の機械学習システム１の動作を示した。また、図５に示す機械学習システム１の動作では、良否判定対象物に対しては良否判定しつつ、学習対象物に対しては学習モデルの生成に利用する学習用データを収集し、収集した学習用データを用いた学習を行う場合を示した。しかし、学習用データを用いた学習処理については、機械学習システム１の検査装置１０とは異なる装置で行っても良い。
図５に示すように、実施の形態１にかかる機械学習システム１では、まず、検査装置１０が生産指示サーバー３０から送信されてきた生産指示情報を読み込む（ステップＳ１０）。なお、機械学習システム１では、前処理部１１、検査処理部１５及び学習モデル生成部１７が生産指示情報をそれぞれ読み込む。
次いで、前処理部１１が設定ファイル保存部１２に保存されている設定ファイルを読み込む（ステップＳ１１）。その後、前処理部１１がカメラ２０を用いて製品画像を撮影して（ステップＳ１２）、ステップＳ１０で読み込んだ生産指示情報に記載された車種に対応する設定ファイルを読み込み、撮影した製品画像から検査対象部位を切り出した検査対象部位画像を生成する。また、前処理部１１は生成した検査対象部位画像を画像保存部１３に保存する（ステップＳ１３）。
このステップＳ１０～Ｓ１３の処理は、検査装置１０を用いた検査処理及び学習用データ収集処理で共通して行われる。つまり、機械学習システム１では検査と学習用データの収集とで前処理部１１を共通して利用する。
続いて、実施の形態１にかかる機械学習システム１では、検査処理部１５が画像保存部１３に保存されている検査対象部位画像を読み出して検査を実施する。このとき、検査処理部１５は、ステップＳ１０で読み込んだ生産指示情報を参照し、読み込んだ検査対象部位画像の検査指示フラグを参照し、検査指示フラグが検査となっていれば検査処理を行い、未学習となっていれば検査処理を実施せずに次の検査対象検出部位画像を読み込む。つまり、検査処理部１５は、読み込んだ検査対象部位画像が良否判定対象の部品であるか否かを判定し、当該判定が真であれば検査処理を実施し、当該判定が否であれば検査を実施しない（ステップＳ１４）。
ステップＳ１４のＹＥＳの枝に続く検査処理では、検査処理部１５は、設定ファイルで指定された学習モデル保存パスを参照して、読み出した学習モデルを用いて検査対象部位画像に対してＡＩ検査を行う（ステップＳ１５）。なお、検査処理部１５は、１つの製品画像に含まれる全ての検査対象部位画像に対して検査処理を行った上で検査結果を出力する。そして、検査処理部１５では、生産指示情報と検査結果とが一致した場合には、検査した製品は良品であると判断し（ステップＳ１６のＹＥＳの枝）、生産指示情報に記載された車種、部品、及び仕様ごとに設定ファイルの保存パスで指定された場所に画像を保存する（ステップＳ１７）。このステップＳ１７で保存される画像は生産ログとして保存されるものである。また、ステップＳ１６において、生産指示情報と検査結果とが不一致であった場合（ステップＳ１６のＮＯの枝）、検査処理部１５は、表示部１６に不良品が発生したことの警告を発した後に（ステップＳ１８）、生産ログの為の画像を保存する（ステップＳ１７）。
一方、ステップＳ１４のＮＯの枝に続く処理では、学習処理が行われる。学習処理では、学習モデル生成部１７が学習実行タイミングか否かを判断する（ステップＳ１９）。実施の形態１にかかる機械学習システム１では、予め設定された周期（例えば、６ヶ月から１年の周期）、或いは、作業者やシステムから指定されたタイミングで、学習モデル生成部１７に学習モデルの生成、及び、学習モデルの再学習を実行させる。そして、所定の学習タイミングであると学習モデル生成部１７が判断した場合（ステップＳ１９のＹＥＳの枝）、学習モデル生成部１７は、製品指示情報を教師データとし、設定ファイルの保存パスで指定された場所に保存された検査対象部位画像を入力として学習モデルを生成する（ステップＳ２０）。なお、学習モデル生成部１７は、車種と検査対象部位との組み合わせ毎に学習モデルを生成する。
そして、ステップＳ１７の処理の後、ステップＳ１９で未だ学習実行タイミングでないと判断した場合（ステップＳ１９のＮＯの枝）、ステップＳ２０の処理の後は次の検査製品の為の処理を再度ステップＳ１０から行う。
上記説明より、実施の形態１にかかる機械学習システム１では、製品の検査で利用する検査装置１０の前処理部１１を用いて学習モデルの生成に用いる学習用データの収集を行う事で、学習用データの生成のために別途システムを準備する必要がなく、システム構成を簡易にすることが出来る。
また、実施の形態１にかかる機械学習システム１では、検査対象の製品が流れる生産ラインに学習対象の部品を、検査対象製品とともに流すことで学習用データを収集できるため、学習用データを収集するためのラインを別途設ける必要がないため、システム構成を簡易にすることができる。また、実施の形態１にかかる機械学習システム１は、実際に生産が行われる生産ラインに学習対象の製品を流して学習用データを収集するため実際の検査と学習状態とで画像取得条件を一致させることができるため、部品検出精度の高い学習モデルを生成することができる。
また、実施の形態１にかかる機械学習システム１では、製品画像から検査対象部位画像の切り出しを前処理部１１を用いてコンピュータ処理により実施できるため、作業者が手作業で学習用データの検査対象部位画像を生成する必要がながく、学習用データの収集を効率化することができる。
また、実施の形態１にかかる機械学習システム１では、撮像部として光学カメラのみで検査対象部位の検査を実施することができるため、複数の種類のセンサを設置する等のシステム構成の複雑化を防ぐことができる。
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。
１ 機械学習システム
１０ 検査装置
１１ 前処理部
１２ 設定ファイル保存部
１３ 画像保存部
１４ 学習モデル保存部
１５ 検査処理部
１６ 表示部
１７ 学習モデル生成部
２０ カメラ
３０ 生産指示サーバー
１０ 検査装置
１１ 前処理部
１２ 設定ファイル保存部
１３ 画像保存部
１４ 学習モデル保存部
１５ 検査処理部
１６ 表示部
１７ 学習モデル生成部
２０ カメラ
３０ 生産指示サーバー
Claims (9)
- 製品を撮影して製品画像を取得する撮像部と、
前記製品画像に対して前記製品の検査対象部位の位置及び範囲を示す設定ファイルに基づき前記検査対象部位の画像を切り出して検査対象部位画像を生成し、生成した検査対象部位画像を画像保存部に保存する前処理部と、
前記製品の仕様を記述した生産指示情報により良否判定対象であることが示された良否判定対象物の前記検査対象部位画像に対して人工知能を適用した良否判定処理を行う検査処理部と、を有し、
前記画像保存部に保存された前記検査対象部位画像のうち、前記生産指示情報により良否判定対象ではない学習対象物と指定された製品に関する前記検査対象部位画像を、前記人工知能に適用される学習モデルの学習用データとして前記画像保存部に蓄積する機械学習システム。 - 前記学習用データを入力とし、学習対象物に関する前記生産指示情報を教師データとして前記学習対象物の良否判定に用いる前記学習モデルを生成する学習モデル生成部をさらに有する請求項１に記載の機械学習システム。
- 前記学習モデルは、前記検査対象部位毎に設けられ、
前記生産指示情報には、前記検査対象部位毎に検査対象、未学習のいずれの状態かを示す検査指示フラグが含まれ、
前記検査処理部は、
前記画像保存部に新たに追加された前記検査対象部位画像を読み込み、前記検査対象部位に対応した前記学習モデルを読み込み、前記良否判定処理を行い、
前記生産指示情報において検査指示フラグが未学習となっている部位に関しては前記良否判定処理をスキップする請求項２に記載の機械学習システム。 - 前記前処理部は、前記検査対象部位画像を前記生産指示情報と関連付けて前記画像保存部に保存する請求項１乃至３のいずれか１項に記載の機械学習システム。
- 前記前処理部は、前記生産指示情報に基づき前記製品に対応した設定ファイルを設定ファイル保存部から読み込み、前記設定ファイルに記述されたファイルパスに前記検査対象部位画像を保存する請求項１乃至４のいずれか１項に記載の機械学習システム。
- 前記製品は、車両、或いは、車両の一部である請求項１乃至５のいずれか１項に記載の機械学習システム。
- 前記機械学習システムは、生産ラインにおいて前記製品に対して良否判定処理を行うように設定される請求項１乃至６のいずれか１項に記載の機械学習システム。
- 生産ラインにおいて製品の良否判定処理を行う検査装置を用いて人工知能に適用する学習モデルの作成に利用する学習データの収集方法であって、
生産ラインを流れる製品を撮影して製品画像を取得する撮像処理と、
前記製品画像に対して前記製品の検査対象部位の位置及び範囲を示す設定ファイルに基づき前記検査対象部位の画像を切り出して検査対象部位画像を生成し、生成した検査対象部位画像を画像保存部に保存する前処理と、
前記製品の仕様を記述した生産指示情報により良否判定対象であることが示された良否判定対象物の前記検査対象部位画像に対して人工知能を適用した良否判定処理を行う検査処理と、を行い、
前記画像保存部に保存された前記検査対象部位画像のうち、前記生産指示情報により良否判定対象ではない学習対象物と指定された製品に関する前記検査対象部位画像を、前記学習モデルの学習用データとして前記画像保存部に蓄積する学習データ収集方法。 - 生産ラインにおいて製品の良否判定処理を行う検査装置内に設けられる演算部で実行され、前記検査装置を用いて人工知能に適用する学習モデルの作成に利用する学習データの収集を行う学習データ収集プログラムであって、
生産ラインを流れる製品を撮影して製品画像を取得する撮像処理と、
前記製品画像に対して前記製品の検査対象部位の位置及び範囲を示す設定ファイルに基づき前記検査対象部位の画像を切り出して検査対象部位画像を生成し、生成した検査対象部位画像を画像保存部に保存する前処理と、
前記製品の仕様を記述した生産指示情報により良否判定対象であることが示された良否判定対象物の前記検査対象部位画像に対して人工知能を適用した良否判定処理を行う検査処理と、を行い、
前記画像保存部に保存された前記検査対象部位画像のうち、前記生産指示情報により良否判定対象ではない学習対象物と指定された製品に関する前記検査対象部位画像を、前記学習モデルの学習用データとして前記画像保存部に蓄積する学習データ収集プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021155888A JP2023047003A (ja) | 2021-09-24 | 2021-09-24 | 機械学習システム、学習データ収集方法及び学習データ収集プログラム |
| US17/872,594 US20230096532A1 (en) | 2021-09-24 | 2022-07-25 | Machine learning system, learning data collection method and storage medium |
| CN202210900113.1A CN115861161A (zh) | 2021-09-24 | 2022-07-28 | 机器学习系统、学习数据收集方法以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021155888A JP2023047003A (ja) | 2021-09-24 | 2021-09-24 | 機械学習システム、学習データ収集方法及び学習データ収集プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023047003A true JP2023047003A (ja) | 2023-04-05 |
Family
ID=85660411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021155888A Pending JP2023047003A (ja) | 2021-09-24 | 2021-09-24 | 機械学習システム、学習データ収集方法及び学習データ収集プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230096532A1 (ja) |
| JP (1) | JP2023047003A (ja) |
| CN (1) | CN115861161A (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022086892A (ja) * | 2020-11-30 | 2022-06-09 | ブラザー工業株式会社 | 情報処理装置、および、情報処理方法 |
-
2021
- 2021-09-24 JP JP2021155888A patent/JP2023047003A/ja active Pending
-
2022
- 2022-07-25 US US17/872,594 patent/US20230096532A1/en active Pending
- 2022-07-28 CN CN202210900113.1A patent/CN115861161A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20230096532A1 (en) | 2023-03-30 |
| CN115861161A (zh) | 2023-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11449980B2 (en) | System and method for combined automatic and manual inspection | |
| KR102022496B1 (ko) | 비전 이미지 검출을 이용한 공정 관리 및 모니터링 시스템 및 그 방법 | |
| US10699400B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| US9471057B2 (en) | Method and system for position control based on automated defect detection feedback | |
| US10366484B2 (en) | Inspection method, inspection apparatus, processing apparatus, and recording medium for detecting defects of a work | |
| US11189019B2 (en) | Method for detecting defects, electronic device, and computer readable medium | |
| US11521312B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP7034840B2 (ja) | 外観検査装置および方法 | |
| EP3889588A1 (en) | Inspection assistance device, inspection assistance method, and inspection assistance program for concrete structure | |
| CN113222913B (zh) | 一种电路板缺陷检测定位方法、装置和存储介质 | |
| EP3807841A1 (en) | Convolutional neural network based inspection of blade-defects of a wind turbine | |
| CN113284094A (zh) | 获取玻璃基板缺陷信息的方法、装置、存储介质及设备 | |
| JP2023047003A (ja) | 機械学習システム、学習データ収集方法及び学習データ収集プログラム | |
| CN116542984A (zh) | 五金件缺陷检测方法、装置、计算机设备及存储介质 | |
| US20230053085A1 (en) | Part inspection system having generative training model | |
| JP6715282B2 (ja) | 品質監視システム | |
| JP2010151566A (ja) | 粒子画像解析方法及び装置 | |
| KR20240064037A (ko) | 피로 테스트를 통해 물체의 표면 결함 및 브레이크 디스크의 크랙을 인공 지능에 의해 식별 및 특성화하는 방법 | |
| CN115908977A (zh) | 一种图像数据标注方法、装置、电子设备及存储介质 | |
| KR20230036650A (ko) | 영상 패치 기반의 불량 검출 시스템 및 방법 | |
| CN111412941A (zh) | 安装质量的检测方法及装置 | |
| EP2573694A1 (en) | Conversion method and system | |
| WO2023058164A1 (ja) | 行動順序異常検出装置、方法およびプログラム | |
| KR20240020507A (ko) | 펄프몰드 제품의 불량 판정 및 그 방법 | |
| CN112602113B (zh) | 图像判定装置、学习方法及其程序的记录媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240214 |