JP2020027424A - 学習データ生成装置、判別モデル生成装置、及びプログラム - Google Patents

Abstract

【課題】 学習データを容易に生成可能とする。【解決手段】 一実施形態に係る学習データ生成装置は、不良部画像の画像データである不良部データを記憶する不良部データ記憶部と、良品画像の画像データである良品データを記憶する良品データ記憶部と、前記不良部データ、前記良品データ、及び生成パラメータに基づいて、前記良品画像に前記不良部画像を合成した学習画像の画像データである学習データを生成する学習データ生成部と、前記学習データを記憶する学習データ記憶部と、前記生成パラメータを設定する生成パラメータ設定部と、を備える。【選択図】 図２

Description

本発明は、学習データ生成装置、判別モデル生成装置、及びプログラムに関する。

従来、対象物の画像である対象画像の画像データに基づいて、対象物の外観の状態を検査する外観検査が行われている。外観検査の方法として、対象画像の画像データを判別モデルに入力し、当該対象物の状態を判別する方法が知られている。判別モデルは、予め用意された学習データ（対象画像の画像データ）に基づいて、そのパラメータを機械学習することにより生成される。学習データが多いほど、判別精度が高い判別モデルを生成することができる。

特開２００５−１４９５０６号公報 特開２００１−３０７０６７号公報 特開平０６−０７６０６９号公報

しかしながら、一般に、学習データの収集には大きな手間がかかるため、学習データを大量に用意することは困難であった。結果として、判別精度が高い判別モデルを生成することは困難であった。

本発明は、上記の課題に鑑みてなされたものであり、学習データを容易に生成可能とすることを目的とする。

一実施形態に係る学習データ生成装置は、不良部画像の画像データである不良部データを記憶する不良部データ記憶部と、良品画像の画像データである良品データを記憶する良品データ記憶部と、前記不良部データ、前記良品データ、及び生成パラメータに基づいて、前記良品画像に前記不良部画像を合成した学習画像の画像データである学習データを生成する学習データ生成部と、前記学習データを記憶する学習データ記憶部と、前記生成パラメータを設定する生成パラメータ設定部と、を備える。

本発明の各実施形態によれば、学習データを容易に生成することができる。

判別モデル生成装置のハードウェア構成の一例を示す図。 判別モデル生成装置の機能構成の一例を示す図。 不良品画像の一例を示す図。 不良部画像の一例を示す図。 良品画像の一例を示す図。 学習画像の一例を示す図。 学習データの生成方法の一例を示すフローチャート。 判別モデルの生成方法の一例を示すフローチャート。

以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重畳した説明を省略する。

一実施形態に係る判別モデル生成装置１について、図１〜図８を参照して説明する。本実施形態に係る判別モデル生成装置１は、対象物の画像である対象画像の画像データに基づく外観検査に利用される判別モデルを生成する装置である。対象物は、外観検査の対象となる任意の物である。外観検査は、カメラにより対象物を撮影することにより得られた対象画像の画像データに基づいて、当該対象物の外観の状態を検査する任意の検査である。外観検査は、欠陥検査、傷検査、汚れ検査、及び異物検査を含む。判別モデルは、対象画像の画像データに基づいて、当該対象物の状態を判別する任意の数学的モデルである。判別モデルは、学習データに基づいて、パラメータ（以下「判別パラメータ」という。）を機械学習することにより設定される。判別モデルの生成とは、学習データに基づく機械学習により、判別パラメータを最適な値に設定することをいう。本実施形態において、学習データは、後述する学習データ生成装置１１により生成される。判別モデル、学習データ、学習データ生成装置１１について、詳しくは後述する。

まず、判別モデル生成装置１のハードウェア構成について説明する。図１は、判別モデル生成装置１のハードウェア構成の一例を示す図である。図１の判別モデル生成装置１は、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、ＨＤＤ（Hard Disk Drive）１０４と、入力装置１０５と、表示装置１０６と、通信インタフェース１０７と、バス１０８と、を備える。

ＣＰＵ１０１は、プログラムを実行することにより、判別モデル生成装置１の各構成を制御し、判別モデル生成装置１の機能を実現する。ＣＰＵ１０１が実行するプログラムは、ＣＤ（Compact Disk）、ＤＶＤ、フラッシュメモリなどの、コンピュータ読み取り可能な任意の記録媒体に記録され得る。

ＲＯＭ１０２は、ＣＰＵ１０１が実行するプログラムや各種のデータを記憶する。

ＲＡＭ１０３は、ＣＰＵ１０１に作業領域を提供する。

ＨＤＤ１０４は、ＣＰＵ１０１が実行するプログラムや各種のデータを記憶する。判別モデル生成装置１は、ＨＤＤ１０４と共に、又はＨＤＤ１０４の代わりにＳＳＤ（Solid State Drive）を備えてもよい。

入力装置１０５は、ユーザの操作に応じた情報を判別モデル生成装置１に入力する。入力装置１０５は、タッチパッド、キーボード、マウス、及びハードウェアボタンを含む。

表示装置１０６は、ユーザの操作に応じた画面を表示する。表示装置１０６は、液晶ディスプレイ、及び有機ＥＬ（Electro Luminescence）ディスプレイを含む。判別モデル生成装置１は、タッチパッドと表示装置１０６が一体化されたタッチパネルを備えてもよい。

通信インタフェース１０７は、判別モデル生成装置１をインターネットやＬＡＮ（Local Area Network）などのネットワークに接続する。判別モデル生成装置１は、通信インタフェース１０７を介して、ネットワーク上の外部装置と通信する。

バス１０８は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０４、入力装置１０５、表示装置１０６、及び通信インタフェース１０７を相互に接続する。

なお、図１の例では、判別モデル生成装置１が１つのコンピュータにより構成される場合を想定しているが、判別モデル生成装置１は、ネットワークを介して接続された複数のコンピュータからなるシステムとして構成されてもよい。

次に、判別モデル生成装置１の機能構成について説明する。図２は、判別モデル生成装置１の機能構成の一例を示す図である。図２の判別モデル生成装置１は、テストデータ記憶部１２と、前処理部１３と、判別モデル学習部１４と、判別モデル記憶部１５と、判別部１６と、前処理パラメータ学習部１７と、を備える。テストデータ記憶部１２、及び判別モデル記憶部１５は、ＨＤＤ１０４により実現される。前処理部１３、判別モデル学習部１４、判別部１６、及び前処理パラメータ学習部１７は、ＣＰＵ１０１がプログラムを実行することにより実現される。

学習データ生成装置１１は、複数の学習データを生成する装置である。学習データは、対象物の状態を示すラベル（以下単に「ラベル」という。）と対応付けられた、対象画像の画像データである。学習データは、判別パラメータを機械学習（教師あり学習）するために利用される。図２の例では、学習データ生成装置１１は、判別モデル生成装置１の一部として構成されているが、独立した装置として構成されてもよい。また、学習データ生成装置１１は、１つのコンピュータにより構成されてもよいし、ネットワークを介して接続された複数のコンピュータからなるシステムとして構成されてもよい。学習データ生成装置１１について、詳しくは後述する。

テストデータ記憶部１２は、複数のテストデータを記憶する。テストデータは、ラベルと対応付けられた、対象画像の画像データである。テストデータは、予め用意され、テストデータ記憶部１２に記憶される。テストデータは、判別モデルの性能を評価するために利用される。

前処理部１３は、前処理パラメータに基づいて、学習データ及びテストデータに前処理を実行する。前処理は、画像データの一部をマスクするマスク処理、画像データにフィルタを適用するフィルタ処理、及び画像データのコントラストを調整するコントラスト調整処理を含む。フィルタは、移動平均フィルタ、ガウシアンフィルタ、膨張フィルタ、収縮フィルタ、二値化フィルタ、ガンマ補正フィルタ、色調補正フィルタ、エッジ強調フィルタ、及びエッジ抽出フィルタを含む。前処理パラメータは、上記の前処理を実行する際に利用されるパラメータであり、前処理パラメータ学習部１７により設定される。前処理部１３は、前処理を実行した学習データを判別モデル学習部１４に入力する。また、前処理部１３は、前処理を実行したテストデータを判別部１６に入力する。

判別モデル学習部１４は、前処理部１３により前処理された学習データに基づいて、判別パラメータを機械学習（教師あり学習）する。具体的には、判別モデル学習部１４は、判別モデルにより判別される学習データのラベルと、当該学習データに対応付けられたラベルと、の一致率が高まるように、判別パラメータを機械学習する。判別モデル学習部１４は、判別パラメータを学習可能な任意の機械学習方法（アルゴリズム）を利用することができる。機械学習方法は、サポートベクターマシン、決定木、ランダムフォレスト、ニューラルネットワーク、ディープラーニング、及びｋ近傍法を含む。判別モデル学習部１４は、判別パラメータを機械学習すると、当該判別パラメータを判別モデル記憶部１５に保存する。

判別モデル記憶部１５は、対象画像の画像データのラベルを判別するための判別モデルを記憶する。判別モデルは、対象画像の画像データを入力されると、当該画像データのラベルを出力する関数である。上述の通り、判別パラメータは、判別モデル学習部１４により機械学習され、設定される。

判別部１６は、判別モデルに基づいて、前処理部１３により前処理されたテストデータのラベルを判別する。具体的には、判別部１６は、判別モデルにテストデータを入力し、当該テストデータのラベルを出力する。判別部１６は、判別結果を前処理パラメータ学習部１７に入力する。判別結果は、テストデータに対応付けられたラベルと、判別部１６が判別したテストデータのラベルと、を含む。

前処理パラメータ学習部１７は、判別部１６の判別結果に基づいて、前処理パラメータを機械学習（教師あり学習）する。具体的には、前処理パラメータ学習部１７は、テストデータに対応付けられたラベルと、判別部１６が判別したテストデータのラベルと、の一致率が高まるように、前処理パラメータを機械学習する。前処理パラメータ学習部１７は、前処理パラメータを学習可能な任意の機械学習方法（アルゴリズム）を利用することができる。機械学習方法は、サポートベクターマシン、決定木、ランダムフォレスト、ニューラルネットワーク、ディープラーニング、及びｋ近傍法を含む。前処理パラメータ学習部１７は、前処理パラメータを機械学習すると、当該前処理パラメータを記憶する。また、前処理パラメータ学習部１７は、記憶した前処理パラメータを前処理部１３に設定する。

次に、学習データ生成装置１１の機能構成について説明する。図２の学習データ生成装置１１は、不良品データ記憶部１１１と、不良部抽出部１１２と、不良部データ記憶部１１３と、良品データ記憶部１１４と、学習データ生成部１１５と、学習データ記憶部１１６と、生成パラメータ設定部１１７と、を備える。不良品データ記憶部１１１、不良部データ記憶部１１３、良品データ記憶部１１４、及び学習データ記憶部１１６は、ＨＤＤ１０４により実現される。不良部抽出部１１２、学習データ生成部１１５、及び生成パラメータ設定部１１７は、ＣＰＵ１０１がプログラムを実行することにより実現される。

不良品データ記憶部１１１は、少なくとも１つの不良品データを記憶する。不良品データは、不良品の画像である不良品画像の画像データである。不良品は、不良部を有する対象物である。不良部は、外観検査における検査対象であり、欠陥検査における欠陥、傷検査における傷、汚れ検査における汚れ、及び異物検査における異物に相当する。不良品データ記憶部１１１には、不良品をカメラで撮影することにより得られた不良品データが記憶される。

図３は、不良品画像の一例を示す図である。図３の不良品画像は、傷ａを有する飲料缶（不良品）の画像である。不良品データ記憶部１１１には、異なる不良品を撮影して得られる複数の不良品データが記憶されてもよいし、同一の不良品を異なる角度から撮影して得られる複数の不良品データが記憶されてもよい。

不良部抽出部１１２は、不良品データ記憶部１１１に記憶された不良品データから不良部データを抽出する。不良部データは、不良部の画像である不良部画像の画像データである。不良品データからの不良部データの抽出は、不良品画像からの不良部画像の抽出に相当する。不良部抽出部１１２は、入力装置１０５の操作により入力されたユーザからの指示に従って不良部データを抽出してもよいし、予め設定された抽出方法に従って自動的に不良部データを抽出してもよい。また、不良部抽出部１１２は、１つの不良品データから１つの不良部データを抽出してもよいし、複数の不良部データを抽出してもよい。不良部抽出部１１２は、不良部データを抽出すると、当該不良部データを、当該不良部データに対応する不良部の種類（傷、汚れなど）を示すラベルと対応付けて、不良部データ記憶部１１３に保存する。不良部の種類を示すラベルは、対象物の状態を示すラベルに含まれる。不良部抽出部１１２が抽出した不良部データに対応するラベルは、不良部画像に基づいて不良部抽出部１１２により自動的に判別されてもよいし、入力装置１０５を介してユーザにより入力されてもよい。

不良部データ記憶部１１３は、少なくとも１つの不良部データをラベルと対応付けて記憶する。不良部データ記憶部１１３は、不良部抽出部１１２により抽出された不良部データだけを記憶してもよいし、当該不良部データと共に、ＣＧ（Computer Graphics）又はＣＡＤ（Computer Aided Design）により人工的に生成された不良部データを記憶してもよい。人工的に生成された不良部データに対応するラベルは、入力装置１０５を介してユーザにより入力される。

なお、本実施形態において、学習データ生成装置１１は、不良品データ記憶部１１１及び不良部抽出部１１２を備えない構成も可能である。この場合、不良部データ記憶部１１３は、人工的に生成された不良部データや、不良品をカメラで撮影することにより得られた不良品データから予め抽出された不良部データを記憶すればよい。

図４は、不良部画像の一例を示す図である。図４の不良部画像は、図３の不良品画像から抽出された傷ａの画像である。図４の例では、不良部画像にラベルＡが対応付けられる場合を想定している。不良部データ記憶部１１３には、複数種類の不良部の不良部データが記憶されてもよいし、同一種類の不良部の不良部データが複数記憶されてもよい。

良品データ記憶部１１４は、少なくとも１つの良品データを記憶する。良品データは、良品の画像である良品画像の画像データである。良品は、不良部を有しない対象物である。良品データ記憶部１１４には、良品をカメラで撮影することにより得られた良品データが記憶されてもよいし、ＣＧ又はＣＡＤにより人工的に生成された良品データが記憶されてもよい。

図５は、良品画像の一例を示す図である。図５の良品画像は、飲料缶（良品）の画像である。良品データ記憶部１１４には、異なる良品を撮影して得られる複数の良品データが記憶されてもよいし、同一の良品を異なる角度から撮影して得られる複数の良品データが記憶されてもよい。

学習データ生成部１１５は、不良部データ記憶部１１３に記憶された不良部データと、良品データ記憶部１１４に記憶された良品データと、生成パラメータ設定部１１７に設定された生成パラメータと、に基づいて、学習画像の画像データである学習データを生成する。すなわち、学習データ生成部１１５は、不良部画像と、良品画像と、生成パラメータと、に基づいて、学習画像を生成する。より詳細には、学習データ生成部１１５は、良品画像に不良部画像を合成して調整前学習画像を生成し、調整前学習画像を調整して学習画像を生成する。

学習画像（学習データ）は、例えば、不良品画像（不良品データ）を含む。すなわち、学習データ生成部１１５は、良品画像に不良部画像を合成し、不良品画像を生成する。学習データ生成部１１５は、不良品画像を生成すると、当該不良品画像の画像データ（学習データ）を、当該不良品画像に合成された不良部画像に対応するラベルと対応付けて、学習データ記憶部１１６に保存する。例えば、学習データ生成部１１５は、図４の不良部画像と、図５の良品画像と、を合成した不良品画像の画像データを、ラベルＡと対応付けて学習データ記憶部１１６に保存する。学習データ生成部１１５により生成された不良品画像（学習画像）を判別モデルに学習させることにより、判別モデルによるラベルＡの判別精度を向上させることができる。

また、学習画像（学習データ）は、不良品画像（不良品データ）の代わりに、又は不良品画像（不良品データ）と共に、良品画像（良品データ）を含んでもよい。すなわち、学習データ生成部１１５は、良品画像に不良部画像を合成した画像を、良品画像として生成してもよい。理由は以下の通りである。

判別モデルが不良部の有無だけで良品か否かを判別する場合、不良部の大きさにかかわらず、不良部を有する全ての対象物が不良品と判別されることになる。しかしながら、実際には、対象物が不良部を有する場合であっても、当該不良部が十分に小さい場合には、当該対象物を良品と判別してもよい場合が考えられる。このような場合、不良部が十分に小さい場合には、対象物が良品と判別されるように、判別モデルを学習させるのが好ましい。学習データ生成部１１５により、不良部を有する対象物の画像を良品画像として生成し、当該良品画像を判別モデルに学習させることにより、判別モデルに、不良部を有する対象物の中で良品と判別してもよい対象物の範囲、すなわち、良品の範囲を学習させることができる。結果として、判別モデルによるラベルの判別精度を向上させることができる。

学習データ生成部１１５は、良品画像を生成すると、当該良品画像の画像データ（学習データ）を、良品であることを示すラベルＸと対応付けて、学習データ記憶部１１６に保存する。例えば、学習データ生成部１１５は、図４の不良部画像と、図５の良品画像と、を合成した良品画像の画像データを、ラベルＸと対応付けて学習データ記憶部１１６に保存する。学習データ生成部１１５により生成された良品画像（学習画像）を判別モデルに学習させることにより、判別モデルによるラベルＸの判別精度を向上させることができる。

生成パラメータは、学習データの生成方法を示すパラメータである。学習データ生成部１１５は、生成パラメータに従って、学習データ（学習画像）を生成する。生成パラメータは、合成パラメータと、調整パラメータと、を含む。

合成パラメータは、良品データ記憶部１１４に記憶された良品画像に対する不良部画像の合成方法を示すパラメータである。学習データ生成部１１５は、合成パラメータに従って、良品画像に不良部画像を合成し、調整前学習画像を生成する。合成パラメータは、不良部画像の位置、大きさ、角度、形状、色、輝度、コントラスト、及び材質の少なくとも１つを含む。学習データ生成部１１５は、複数の合成パラメータに従って調整前学習画像を生成することにより、１つの良品画像及び１つの不良部画像から、複数の調整前学習画像を生成することができる。

調整パラメータは、調整前学習画像の調整方法を示すパラメータである。学習データ生成部１１５は、調整パラメータに従って、調整前学習画像を調整し、学習画像を生成する。調整パラメータは、調整前学習画像の色、輝度、コントラスト、光源位置、及び材質の少なくとも１つを含む。学習データ生成部１１５は、複数の調整パラメータに従って学習画像を生成することにより、１つの調整前学習画像から、複数の学習画像を生成することができる。

なお、調整パラメータは、判別モデルによる判別対象となる対象物の実際の撮影環境に対応するように設定されるのが好ましい。例えば、判別対象となる対象物が、正面から光を当てた状態で撮影される場合には、調整パラメータの光源位置は、正面に設定されるのが好ましい。このように、調整パラメータを撮影環境に対応させることにより、学習データを、判別モデルに実際に入力される対象物の画像データに近づけることができるため、当該学習データによる判別モデルの学習効果を向上させ、判別モデルの判別精度を向上させることができる。

学習データ記憶部１１６は、学習データ生成部１１５が生成した学習データをラベルと対応付けて記憶する。図６は、学習画像の一例を示す図である。図６の学習画像は、図４の不良部画像と、図５の良品画像と、に基づいて生成された学習画像である。

学習画像Ｉｍ１は、図４の不良部画像を図５の良品画像に合成した不良品画像である。学習画像Ｉｍ１は、図３の不良品画像に相当し、ラベルＡを対応付けられている。学習画像Ｉｍ２は、図４の不良部画像を大きくして図５の良品画像に合成した不良品画像である。学習画像Ｉｍ２は、ラベルＡを対応付けられている。学習画像Ｉｍ３は、図４の不良部画像の角度を変えて図５の良品画像に合成した不良品画像である。学習画像Ｉｍ３は、ラベルＡを対応付けられている。学習画像Ｉｍ４は、図４の不良部画像の色を変えて図５の良品画像に合成した不良品画像である。学習画像Ｉｍ４は、ラベルＡを対応付けられている。学習画像Ｉｍ５は、図４の不良部画像を図５の良品画像に合成した調整前合成画像の輝度を変えた不良品画像である。学習画像Ｉｍ５は、輝度を変えた図３の不良品画像に相当し、ラベルＡを対応付けられている。学習画像Ｉｍ６は、図４の不良部画像を小さくして図５の良品画像に合成した良品画像である。学習画像Ｉｍ６は、ラベルＸを対応付けられている。

図６からわかるように、学習データ生成部１１５は、１つの良品画像及び１つの不良部画像から、複数の異なる学習画像を生成することができる。学習データ記憶部１１６には、学習データ生成部１１５が生成した複数の異なる学習データが記憶される。

生成パラメータ設定部１１７は、学習データ生成部１１５に生成パラメータを設定する。生成パラメータ設定部１１７は、学習データ生成部１１５が生成する学習データごとに、異なる生成パラメータを設定する。生成パラメータ設定部１１７は、学習データごとに、ランダムに選択した生成パラメータを設定してもよいし、予め設定されたルールに従って選択した生成パラメータを設定してもよい。また、生成パラメータ設定部１１７は、表示装置１０６に生成パラメータの入力画面を表示させ、ユーザからの生成パラメータの入力を受け付けてもよい。これにより、ユーザは、判別モデルによる判別対象となる対象物の実際の撮影環境に対応するように調整パラメータを設定する、というように、所望の生成パラメータを設定することができる。

次に、学習データの生成方法について説明する。図７は、学習データの生成方法の一例を示すフローチャートである。

まず、ユーザは、良品をカメラで撮影することにより得られた１つ又は複数の良品データを良品データ記憶部１１４に保存する（ステップＳ１０１）。ユーザは、ＣＧ又はＣＡＤにより人工的に生成された良品データを良品データ記憶部１１４に保存してもよい。良品データ記憶部１１４は、保存された良品データを記憶する。

次に、ユーザは、不良品をカメラで撮影することにより得られた１つ又は複数の不良品データを不良品データ記憶部１１１に保存する（ステップＳ１０２）。ユーザは、ＣＧ又はＣＡＤにより人工的に生成された不良品データを不良品データ記憶部１１１に保存してもよい。不良品データ記憶部１１１は、保存された不良品データを記憶する。

不良品データ記憶部１１１に不良品データが保存されると、不良部抽出部１１２は、不良品データ記憶部１１１から１つ又は複数の不良品データを読み出し、当該不良品データから不良部データを抽出する（ステップＳ１０３）。不良部抽出部１１２は、不良部データを抽出すると、当該不良部データを不良部データ記憶部１１３に保存する（ステップＳ１０４）。不良部データ記憶部１１３は、保存された不良部データを記憶する。

不良部データ記憶部１１３に不良部データが保存されると、生成パラメータ設定部１１７は、学習データ生成部１１５に生成パラメータを設定する（ステップＳ１０５）。

学習データ生成部１１５は、生成パラメータを設定されると、不良部データ記憶部１１３から不良部データを読み出し、良品データ記憶部１１４から良品データを読み出し、生成パラメータに従って、学習データを生成する（ステップＳ１０６）。不良部データ記憶部１１３に複数の不良部データが記憶されている場合、学習データ生成部１１５が読み出す不良部データは、ランダムに選択されてもよいし、予め設定されたルールに従って選択されてもよいし、入力装置１０５の操作により入力されたユーザからの指示に従って選択されてもよい。同様に、良品データ記憶部１１４に複数の良品データが記憶されている場合、学習データ生成部１１５が読み出す良品データは、ランダムに選択されてもよいし、予め設定されたルールに従って選択されてもよいし、入力装置１０５の操作により入力されたユーザからの指示に従って選択されてもよい。学習データ生成部１１５は、学習データを生成すると、当該学習データをラベルと対応付けて学習データ記憶部１１６に保存する（ステップＳ１０７）。学習データ記憶部１１６は、保存された学習データを記憶する。

学習データの生成を終了しない場合（ステップＳ１０８：ＮＯ）、生成パラメータ設定部１１７は、学習データ生成部１１５に次の生成パラメータを設定する（ステップＳ１０５）。以降、学習データの生成が終了するまで、ステップＳ１０５〜Ｓ１０７の処理が繰り返される。これにより、複数の学習データが生成され、学習データ記憶部１１６に保存される。

一方、学習データの生成を終了する場合（ステップＳ１０８：ＹＥＳ）、学習データ生成装置１１は動作を終了する。学習データの生成の終了条件は、例えば、生成する学習データの数であるが、これに限られない。

以上説明した通り、本実施形態によれば、学習データ生成装置１１は、１つの良品画像（良品データ）及び１つの不良部画像（不良部データ）から、複数の学習画像（学習データ）を容易に生成することができる。これにより、大量の学習データを簡単に用意し、判別モデルの学習に利用することができる。結果として、判別モデルの判別精度を向上させることができる。

次に、判別モデルの生成方法について説明する。図８は、判別モデルの生成方法の一例を示すフローチャートである。以下、学習データは生成済みであるものとする。また、学習データ及びテストデータには、それぞれラベルＡ，Ｘのいずれかが対応付けられているものとする。

まず、ユーザは、対象物をカメラで撮影することにより得られた１つ又は複数のテストデータをラベルと対応付けてテストデータ記憶部１２に保存する（ステップＳ２０１）。テストデータ記憶部１２は、保存されたテストデータを記憶する。

次に、ユーザは、判別モデルを判別モデル記憶部１５に保存する（ステップＳ２０２）。この際、判別パラメータは初期値に設定される。判別モデル記憶部１５は、保存された判別モデルを記憶する。

判別モデル記憶部１５に判別モデルが保存されると、前処理パラメータ学習部１７は、前処理部１３に前処理パラメータを設定する（ステップＳ２０３）。

前処理部１３は、前処理パラメータを設定されると、学習データ記憶部１１６から学習対象となる複数の学習データを読み出し、前処理パラメータに従って、当該学習データに前処理を実行する（ステップＳ２０４）。学習対象となる学習データは、前処理部１３により、ランダムに選択されてもよいし、予め設定されたルールに従って選択されてもよいし、入力装置１０５の操作により入力されたユーザからの指示に従って選択されてもよい。また、学習対象となる学習データは、学習データ記憶部１１６に記憶された学習データの全てであってもよいし、一部であってもよい。前処理部１３は、学習データに前処理を実行すると、当該学習データを判別モデル学習部１４に入力する。

判別モデル学習部１４は、前処理を実行された複数の学習データを入力されると、判別モデル記憶部１５から判別モデルを読み出し、入力された複数の学習データに基づいて、判別パラメータを機械学習する（ステップＳ２０５）。判別モデル学習部１４は、機械学習により得られた判別パラメータを判別モデル記憶部１５に保存する（ステップＳ２０６）。判別モデル記憶部１５は、保存された判別パラメータを記憶する。

新たな判別パラメータが保存されると、前処理部１３は、テストデータ記憶部１２からテスト対象となる複数のテストデータを読み出し、前処理パラメータに従って、当該テストデータに前処理を実行する（ステップＳ２０７）。テスト対象となるテストデータは、前処理部１３により、ランダムに選択されてもよいし、予め設定されたルールに従って選択されてもよいし、入力装置１０５の操作により入力されたユーザからの指示に従って選択されてもよい。また、テスト対象となるテストデータは、テストデータ記憶部１２に記憶されたテストデータの全てであってもよいし、一部であってもよい。前処理部１３は、テストデータに前処理を実行すると、当該テストデータを判別部１６に入力する。

判別部１６は、前処理を実行された複数のテストデータを入力されると、判別モデル記憶部１５から新たに保存された判別パラメータを含む判別モデルを読み出し、当該判別モデルに基づいて、入力された複数のテストデータのラベルをそれぞれ判別する（ステップＳ２０８）。判別部１６は、複数のテストデータのラベルを判別すると、判別結果を前処理パラメータ学習部１７に入力する。前処理パラメータ学習部１７は、判別結果を入力されると、当該判別結果をステップＳ２０３で設定した前処理パラメータと対応付けて記憶する。

判別モデルの生成を終了しない場合（ステップＳ２０９：ＮＯ）、前処理パラメータ学習部１７は、前処理部１３に次の前処理パラメータを設定する（ステップＳ２０３）。以降、判別モデルの生成を終了するまで、ステップＳ２０３〜Ｓ２０８の処理が繰り返される。

一方、学習データの生成を終了する場合（ステップＳ２０９：ＹＥＳ）、前処理パラメータ学習部１７は、複数の前処理パラメータの中から、判別結果が最も良い（判別精度が最も高い）ものを最適な前処理パラメータとして選択する（ステップＳ２１０）。前処理パラメータ学習部１７は、選択した前処理パラメータを記憶する。

また、判別モデル記憶部１５は、複数の判別パラメータの中から、判別結果が最も良い（判別精度が最も高い）ものを最適な判別パラメータとして選択する（ステップＳ２１１）。判別モデル記憶部１５は、選択した判別パラメータを記憶する。

その後、判別モデル生成装置１は動作を終了する。判別モデルの生成の終了条件は、例えば、生成する前処理パラメータの候補の数（ステップＳ２０３〜Ｓ２０８の処理のサイクル数）であるが、これに限られない。

以上説明した通り、本実施形態によれば、判別モデル生成装置１は、複数の前処理パラメータについて、判別パラメータの機械学習及び判別結果の取得を自動的に実行し、複数の前処理パラメータの中から最適な前処理パラメータを選択し、複数の判別パラメータの中から最適な判別パラメータを選択することができる。最適な判別パラメータを含む判別モデルを利用し、判別モデルに入力される画像データに最適な前処理パラメータに基づいた前処理を実行することにより、外観検査の検査精度を向上させることができる。

なお、本実施形態において、良品データを利用せずに、不良部データに基づいて学習データを生成することも可能である。具体的には、学習データ生成部１１５は、不良部データ記憶部１１３に記憶された不良部データと、生成パラメータ設定部１１７により設定された生成パラメータと、に基づいて、学習データを生成する。すなわち、学習データ生成部１１５は、不良部画像及び生成パラメータに基づいて学習画像を生成する。より詳細には、学習データ生成部１１５は、不良部画像を調整して学習画像を生成する。不良部画像は、調整前学習画像に相当する。

学習データ生成部１１５は、学習画像（調整された不良部画像）を生成すると、当該学習画像の画像データ（学習データ）を、不良部画像（不良部データ）に対応するラベルと対応付けて、学習データ記憶部１１６に保存する。学習データ生成部１１５により生成された学習画像を判別モデルに学習させることにより、判別モデルによるラベルの判別精度を向上させることができる。

そして、判別モデル学習部１４が前処理部１３により前処理された学習データに基づいて、対象物に含まれる不良部を判別する不良部判別モデルの判別パラメータを機械学習し、判別モデル記憶部１５が不良部判別モデルの判別パラメータを記憶し、判別部１６が不良部判別モデルに基づいて、前処理部１３により前処理されたテストデータのラベル（対象物に含まれる不良部）を判別し、前処理パラメータ学習部１７が判別部１６の判別結果に基づいて、前処理パラメータを機械学習する。

これにより、判別モデル生成装置１は、複数の前処理パラメータについて、判別パラメータの機械学習及び判別結果の取得を自動的に実行し、複数の前処理パラメータの中から最適な前処理パラメータを選択し、複数の判別パラメータの中から最適な判別パラメータを選択することができる。最適な判別パラメータを含む不良部判別モデルを利用し、不良部判別モデルに入力される画像データに最適な前処理パラメータに基づいた前処理を実行することにより、外観検査の検査精度（対象物に含まれる不良部のオブジェクト認識の精度）を向上させることができる。

以上、本発明の好ましい実施形態について詳説したが、本発明は、上述した実施形態に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施形態に種々の変形及び置換を加えることができる。

１：判別モデル生成装置
１１：学習データ生成装置
１２：テストデータ記憶部
１３：前処理部
１４：判別モデル学習部
１５：判別モデル記憶部
１６：判別部
１７：前処理パラメータ学習部
１０１：ＣＰＵ
１０２：ＲＯＭ
１０３：ＲＡＭ
１０４：ＨＤＤ
１０５：入力装置
１０６：表示装置
１０７：通信インタフェース
１０８：バス
１１１：不良品データ記憶部
１１２：不良部抽出部
１１３：不良部データ記憶部
１１４：良品データ記憶部
１１５：学習データ生成部
１１６：学習データ記憶部
１１７：生成パラメータ設定部

Claims (11)

1. 不良部画像の画像データである不良部データを記憶する不良部データ記憶部と、
   良品画像の画像データである良品データを記憶する良品データ記憶部と、
   前記不良部データ、前記良品データ、及び生成パラメータに基づいて、前記良品画像に前記不良部画像を合成した学習画像の画像データである学習データを生成する学習データ生成部と、
   前記学習データを記憶する学習データ記憶部と、
   前記生成パラメータを設定する生成パラメータ設定部と、
   を備える学習データ生成装置。
2. 前記学習画像は、不良品画像を含む
   請求項１に記載の学習データ生成装置。
3. 前記学習画像は、良品画像を含む
   請求項１又は請求項２に記載の学習データ生成装置。
4. 不良品画像の画像データから前記不良部データを抽出する不良部抽出部を更に備え、
   前記不良部データ記憶部は、前記不良部抽出部により抽出された前記不良部データを記憶する
   請求項１から請求項３までのいずれか１項に記載の学習データ生成装置。
5. 前記生成パラメータは、前記不良部画像の位置、大きさ、角度、形状、色、輝度、コントラスト、及び材質の少なくとも１つを含む
   請求項１から請求項４までのいずれか１項に記載の学習データ生成装置。
6. 前記生成パラメータは、前記学習画像の色、輝度、コントラスト、光源位置、及び材質の少なくとも１つを含む
   請求項１から請求項５までのいずれか１項に記載の学習データ生成装置。
7. 前記不良部データ記憶部は、人工的に生成された前記不良部データを記憶する
   請求項１から請求項６までのいずれか１項に記載の学習データ生成装置。
8. 前記良品データ記憶部は、人工的に生成された前記良品データを記憶する
   請求項１から請求項７までのいずれか１項に記載の学習データ生成装置。
9. 不良部画像の画像データである不良部データを記憶する不良部データ記憶部と、
   前記不良部データ及び生成パラメータに基づいて、学習画像の画像データである学習データを生成する学習データ生成部と、
   前記学習データを記憶する学習データ記憶部と、
   前記生成パラメータを設定する生成パラメータ設定部と、
   を備える学習データ生成装置。
10. 請求項１から請求項９までのいずれか１項に記載の学習データ生成装置と、
    前処理パラメータに基づいて、前記学習データに前処理を実行する前処理部と、
    前処理された前記学習データに基づいて、判別モデルのパラメータを機械学習する判別モデル学習部と、
    前記判別モデルに基づいて、対象画像のラベルを判別する判別部と、
    前記判別部による判別結果に基づいて、前記前処理パラメータを機械学習する前処理パラメータ学習部と、
    を備える判別モデル生成装置。
11. 不良部画像の画像データである不良部データを記憶する不良部データ記憶部と、
    良品画像の画像データである良品データを記憶する良品データ記憶部と、
    学習データを記憶する学習データ記憶部と、
    を備えたコンピュータに、
    生成パラメータを設定する工程と、
    前記不良部データ、前記良品データ、及び前記生成パラメータに基づいて、前記良品画像に前記不良部画像を合成した学習画像の画像データである前記学習データを生成する工程と、
    を実行させるためのプログラム。

Images