JP2021026449A - 学習方法、判定方法及びプログラム - Google Patents

Abstract

【課題】学習される教師データに異なる基準を用いて判定が行われたデータが含まれている場合において、自動判定システムの判定精度の低下を抑制する。【解決手段】センサーから取得するセンサー情報を用いて判定を行う判定モデルの学習方法は、対象物に関する情報をセンサー情報として取得することと、センサー情報と、対象物に関連づけられた事前ラベルと、センサー情報と事前ラベルとに関連する判定基準に関する基準情報と、を用いてセンサー情報から対象物のラベルを判定するように判定モデルを学習することと、を備える。【選択図】図１

Description

本開示は、画像を用いた判定等における判定技術に関する。

画像等のセンサー情報を用いた判定では、判定員による官能判定が行われることが多い。官能判定とは、視覚・聴覚・味覚・嗅覚・触覚等の人の感覚を用いて製品の品質を判定する判定を意味する。特に、視覚による外観判定は、品質の維持や保証のために製造現場において実施される判定であり、欠陥の種類が多種多様であることや、検出対象の形態が生産技術と共に変化することなどの要因により、画像処理技術の導入が進んでいる昨今においても自動化が難しい分野とされている。そのため製造現場の自動化が推し進められる中においても、人の感覚に頼って実施される場合が多くあり、生産性向上のボトルネックになっている工程となっている。

一方、深層学習に代表される機械学習技術の発展により、大量の学習データから欠陥画像や良品画像のパターンを学習し、高精度に欠陥分類を実施可能な判定技術が台頭してきている。これにより人の感覚に頼ってきた外観判定工程を機械学習に置き換える取り組みが推し進められている。特許文献１には、人の判定結果を学習して、検査の自動判定を行うシステムが開示されている。

特開２０１２−１８１２０９号公報

ここで、学習される教師データには異なる基準を用いて判定が行われたデータが含まれている場合がある。この場合には、教師データ内で同一のパターンを示す画像に対して「良」と「不良」のラベルが混在する可能性がある。教師データ内で同一のパターンを示す画像に対して「良」と「不良」のラベルが混在する場合には、自動判定システムの判定精度が低下するおそれがある。

本開示の一形態によれば、センサーから取得するセンサー情報を用いて判定を行う判定モデルの学習方法が提供される。この学習方法は、対象物に関する情報をセンサー情報として取得することと、前記センサー情報と、前記対象物に関連づけられた事前ラベルと、前記センサー情報と前記事前ラベルとに関連する判定基準に関する基準情報と、を用いて前記センサー情報から前記対象物のラベルを判定するように前記判定モデルを学習することと、を備える。

第１実施形態における判定システムのブロック図。 第１実施形態における学習方法について説明するフローチャート。 第１実施形態における判定実行部の構成を示す説明図。 第２実施形態において実行されるアノテーションに用いるセンサー情報の抽出処理を説明するフローチャート。 図４のステップＳ２０４の処理を説明するための表。

Ａ．第１実施形態
図１は、第１実施形態における判定システム３００のブロック図である。判定システム３００は、製品、例えばセンサーやアクチュエーター等に用いられる素子、より具体的には半導体や圧電素子等の品質管理に用いられる。本実施形態において、判定システム３００は、圧電素子の品質管理に用いられ、圧電素子の接着層の状態に応じて圧電素子において接着が正常に行われているか否かの判定の為に用いられる。判定システム３００は、判定に用いる判定モデルＤＭを準備する学習装置１００と、判定モデルＤＭを用いて判定を実行する判定装置２００と、を備える。

学習装置１００は、予め準備された教師データＴＤと機械学習モデルを用いて、判定モデルＤＭを学習する装置である。学習装置１００は、コンピューター、例えばパーソナルコンピューターである。学習装置１００は、ＣＰＵやメモリーを有する処理部１１０と、ＳＳＤ等の記憶装置を有する記憶部１２０を備える。教師データＴＤは、外部から入力された後に、記憶部１２０に記憶される。学習に用いられる機械学習モデルは、記憶部１２０に記憶されている。機械学習モデルには、ニューラルネットワークが用いられている。学習装置１００によって学習された判定モデルＤＭは、判定装置２００へと送信される。

教師データＴＤは、センサー情報ＳＩと、基準情報ＲＩと、事前ラベルＬｐと、を含む。教師データＴＤのうち、センサー情報ＳＩと基準情報ＲＩは説明変数であり、事前ラベルＬｐは目的変数である。センサー情報ＳＩは、判定対象に関する情報であり、カメラ等のセンサーの出力情報である。本実施形態では、センサー情報ＳＩは、カメラを用いて撮像された判定対象物の画像情報ＩＭである。

基準情報ＲＩは、センサー情報ＳＩ以外の情報であり、センサー情報ＳＩとラベルＰＬとに関連する判定基準に関する情報である。判定基準は、判定対象に求められる品質に応じて変更される場合がある。例えば、求められる品質がより高くなる場合には、判定基準はより厳しい基準に変更される。このため、教師データＴＤには、異なる判定基準が用いられた期間に取得された複数のデータ群が含まれている場合がある。判定基準の変更は、判定に用いられる基準値の変更に限定されず、例えば検査項目の変更を含んでもよい。基準情報ＲＩは、例えば、センサー情報ＳＩからラベルＰＬを得る際に行われる検査において用いられる判定基準が複数ある場合において、いずれの判定基準が用いられたかを示す情報である。基準情報ＲＩは、例えば、検査が行われた日時や期間を示すデータである。なお、基準情報ＲＩは、基準値の具体的な数値や、用いられた基準値を識別するための識別番号等であってもよい。

事前ラベルＬｐは、判定員がセンサー情報ＳＩを用いて官能判定を行った場合の判定結果を示す情報である。事前ラベルＬｐとしては、例えば、以下のいずれかを用いることができる。
（ａ）良／不良のいずれであるかを示すラベル。
（ｂ）良、不良タイプ１〜ＮのＮ＋１個のいずれであるかを示すラベル。
（ｃ）良、不良ランク１〜ＮのＮ＋１個のいずれであるかを示すラベル。
（ｄ）評価ランク１〜ＮのＮ個のいずれであるかを示すラベル。
ここで、Ｎは２以上の整数である。

判定装置２００は、情報取得部２１０と、判定実行部２２０と、判定結果出力部２３０とを有する。これらの各部は、プロセッサーがコンピュータープログラムを実行することによって実現しても良く、ハードウェア回路で実現してもよい。

情報取得部２１０は、判定装置２００における判定を実行するための入力情報として用いられる情報として、センサー情報ＳＩおよび基準情報ＲＩを取得する。情報取得部２１０によって取得されるセンサー情報ＳＩは、事前ラベルＬｐが設定されていない判定用対象物に関する情報に応じた判定用センサー情報である。

判定実行部２２０は、判定モデルＤＭを用いて、センサー情報ＳＩと基準情報ＲＩとに応じて判定を実行して判定結果であるラベルＰＬを出力する機能を有する。判定モデルＤＭは、学習装置１００による学習によって準備されている。判定実行部２２０は、特徴量算出部２２２と分類器２２４とを有する。特徴量算出部２２２は、センサー情報ＳＩから複数の特徴量を算出する機能を有する。分類器２２４は、特徴量算出部２２２で得られた複数の特徴量を用いて判定結果の分類を行う機能を有する。基準情報ＲＩは、特徴量算出部２２２又は分類器２２４で使用される。

判定結果出力部２３０は、判定実行部２２０で得られた判定結果を出力する機能を有する。判定結果出力部２３０は、例えば表示装置によって実現できる。

図２は、第１実施形態における学習方法について説明するフローチャートである。まず、ステップＳ１０２の処理として、学習装置１００は、機械学習モデルの準備を行う。機械学習モデルの準備は、記憶部１２０に記憶された機械学習モデルが処理部１１０によって読み込まれることによって実行される。ステップＳ１０２の後に、ステップＳ１０４の処理が実行される。

ステップＳ１０４の処理として、学習装置１００は、教師データＴＤの準備を行う。教師データＴＤの準備は、記憶部１２０に記憶された教師データＴＤが処理部１１０によって読み込まれることによって実行される。教師データＴＤのうちセンサー情報ＳＩは、判定員による判定が行われた際に用いられた画像情報ＩＭである。また、教師データＴＤのうち基準情報ＲＩは、判定員による判定が行われた際に用いられた判定基準を示す情報である。教師データＴＤのうち事前ラベルＬｐは、実測の結果であり、具体的には判定員の目視による判定結果を示すデータである。より具体的には、事前ラベルＬｐは、「１」または「０」の良品スコアである。良品スコアが「１」である場合には判定結果は良品であり、良品スコアが「０」である場合には判定結果は不良品である。基準情報ＲＩ及び事前ラベルＬｐは、それぞれ１つのセンサー情報ＳＩに関連づけられている。ステップＳ１０４の後に、ステップＳ１０６の処理が実行される。

ステップＳ１０６の処理として、学習装置１００は、判定モデルＤＭの学習を実行する。判定モデルＤＭの学習は、教師データＴＤを用いた教師あり学習によって行われる。学習によって取得された判定モデルＤＭは、記憶部１２０に記憶される。ステップＳ１０６の処理が完了すると、学習装置１００は、判定モデルＤＭの学習を終了する。

本実施形態において、学習装置１００は、図２に示した判定モデルＤＭの学習として、第１学習と第２学習とを実行する。第１学習は、第２学習の前に行われた学習である。第１学習は、未学習の機械学習モデルを用いた学習でもよく、学習済みの機械学習モデルを用いた学習でもよい。第２学習は、第１学習によって学習された学習済みの機械学習モデルである第１判定モデルを用いた学習であり、第１学習において用いられた第１基準情報とは異なる第２基準情報が教師データに含まれる学習である。第２学習では、基準情報ＲＩとして第２基準情報を含む教師データＴＤを第１判定モデルに学習させることによって、第２判定モデルが作成される。なお、本実施形態では、第２学習が完了する前においては、第１判定モデルが判定モデルＤＭとして用いられ、第２学習が完了した後には、第２判定モデルが判定モデルＤＭとして用いられる。なお、第１学習において用いられる事前ラベルＬｐは第１事前ラベルであり、第２学習において用いられる事前ラベルＬｐは第２事前ラベルである。

第１学習において用いられる第１基準情報と第２学習において用いられる第２基準情報とのそれぞれは、１つの値に限定されない。例えば、第１学習に用いられた教師データに、異なる判定基準が用いられた期間に取得された複数のデータ群が含まれている場合には、第１基準情報は、複数の基準情報ＲＩを含んでいてもよい。

図３は、第１実施形態における判定実行部２２０の構成を示す説明図である。判定実行部２２０は、判定モデルＤＭとしてのニューラルネットワークＮＮを有している。ニューラルネットワークＮＮは、入力層Ｌ１と中間層Ｌ２と全結合層Ｌ３と出力層Ｌ４とを有する。特徴量算出部２２２は、入力層Ｌ１と中間層Ｌ２とで構成されている。分類器２２４は、全結合層Ｌ３と出力層Ｌ４とで構成されている。このニューラルネットワークＮＮは、中間層Ｌ２が畳み込み層として構成されている畳み込みニューラルネットワークである。但し、畳み込みニューラルネットワーク以外のニューラルネットワークを用いても良い。また、ニューラルネットワーク以外の機械学習モデルを用いても良い。

入力層Ｌ１には、センサー情報ＳＩである画像情報ＩＭが入力される。中間層Ｌ２は、畳み込みフィルター層Ｌ２１とプーリング層Ｌ２２とを含む。中間層Ｌ２は、これらの層Ｌ２１，Ｌ２２を複数含んでいても良い。中間層Ｌ２からは、センサー情報ＳＩに応じた複数の特徴量が出力される。これらの複数の特徴量は、全結合層Ｌ３に入力され、全結合層Ｌ３と出力層Ｌ４によって判定結果であるラベルＰＬが算出される。これら全結合層Ｌ３は全結合層を複数含んでいても良い。

分類器２２４は、中間層Ｌ２においてセンサー情報ＳＩから算出された複数の特徴量と、基準情報ＲＩとを入力として判定結果の分類を行う。より具体的には、特徴量算出部２２２は、入力層Ｌ１及び中間層Ｌ２で構成されており、センサー情報ＳＩが入力層Ｌ１に入力され、複数の特徴量が中間層Ｌ２から出力されるように構成されている。また、分類器２２４は、全結合層Ｌ３及び出力層Ｌ４で構成されており、中間層Ｌ２から出力される複数の特徴量と、基準情報ＲＩとが全結合層Ｌ３に入力されるように構成されている。基準情報ＲＩが複数の情報を含む場合には、その個々の情報が全結合層Ｌ３のすべてのノードに入力されるように構成されていることが好ましい。

畳み込み層としての中間層Ｌ２は画像情報ＩＭの特徴抽出を行い、全結合層Ｌ３は抽出した特徴量に基づく分類を実施する。本実施形態では、画像情報ＩＭの特徴量の抽出を行う中間層Ｌ２の構成は変更せずに、基準情報ＲＩの特徴量をベクトル化して全結合層Ｌ３に連結するように構成している。基準情報ＲＩの特徴量のベクトル化は、例えば、基準情報ＲＩをＯｎｅ−ｈｏｔベクトル表現することによって行われる。これにより、２００は、基準情報ＲＩを特徴量として用いて、その数値を分類器２２４の全結合層Ｌ３に入力できるので、単一のニューラルネットワークで複数の基準情報ＲＩを反映することが可能である。

以上説明した第１実施形態によれば、第１基準情報を用いた第１学習によって学習された第１判定モデルに対して、さらに、第２基準情報を用いた第２学習が行われている。このため、本実施形態の学習方法では、第１学習の結果を第２学習に利用することができる。したがって、第２基準情報に対応した判定モデルＤＭを未学習の機械学習モデルを用いて学習するゼロベースで学習する学習方法、例えば能動学習や半教師あり学習を用いる場合と比べて、学習に必要な時間や労力が低減される。

また、第１基準情報と第２基準情報とで判定基準が大きく変更されていない場合には、第１学習における事前ラベルＬｐとセンサー情報ＳＩとの関係と第２学習における事前ラベルＬｐとセンサー情報ＳＩとの関係とに共通性がある。このため、第１学習によって学習された第１判定モデルと第２学習によって学習された第２判定モデルとの間で、センサー情報ＳＩの特徴量の抽出にも共通性がある。これにより、第２基準情報を含む教師データＴＤのみを用いて新たに第２判定モデルを作成する場合よりも、必要となるデータ数が低減される。このため、判定基準が変更された場合であっても、変更後の判定基準に対応した判定モデルＤＭを迅速に作成することが可能である。また、第１学習においてもセンサー情報ＳＩと事前ラベルＬｐとの関係性を考慮した特徴量の抽出が行われている。このため、第２学習に用いる教師データＴＤのみを用いた教師あり学習を行うとともに第１学習に用いたセンサー情報ＳＩを教師なし学習を行う半教師あり学習と比べて、効率的に第２判定モデルの学習が可能である。

また以上説明した第１実施形態によれば、センサー情報ＳＩに加えて、センサー情報ＳＩと事前ラベルＬｐとに関連する判定基準に関する基準情報ＲＩを用いて判定モデルＤＭの学習を行う。このため、教師データＴＤに異なる判定基準を用いて判定が行われたデータ群が含まれている場合であっても、異なる判定基準が基準情報ＲＩとして説明変数としても用いられることから、同一のパターンを示す説明変数に対して目的変数として「良」と「不良」の事前ラベルＬｐが混在しても判定精度の低減が抑制される。また、第２学習を実行する際に、基準情報ＲＩを用いない学習方法、例えば転移学習を用いて再学習を行う場合と比べ、同一のパターンを示す説明変数に対して目的変数として「良」と「不良」の事前ラベルＬｐが混在しても判定精度の低減が抑制される。したがって、同一のパターンを示すセンサー情報ＳＩと基準情報ＲＩとの組み合わせに対して「良」と「不良」の事前ラベルＬｐが混在しても、判定精度の低減が抑制される。

Ｂ．第２実施形態
第２実施形態における判定システム３００では、第１実施形態における判定システム３００と判定モデルＤＭを学習する際の方法が異なる。第２実施形態では、第２学習を実行する際に、新たな判定基準に基づくアノテーションが行われている。以下では、第１実施形態と同様の構成については同様の符号を付し、詳細な説明を省略する。

アノテーションでは、第１学習において用いたセンサー情報ＳＩを用いて判定モデルＤＭの再学習が行われる。アノテーションを行う際には、事前ラベルＬｐが新たに準備される。具体的には、再学習するセンサー情報ＳＩに関して新たな判定基準で判定が行われ、新たな判定の結果が事前ラベルＬｐとして用いられる。本実施形態において、アノテーションは、第１学習において用いられた全てのセンサー情報ＳＩについて行われるのではなく、一部のセンサー情報ＳＩについてのみ行われる。

図４は、第２実施形態において実行されるアノテーションに用いるセンサー情報ＳＩの抽出処理を説明するフローチャートである。抽出処理は、パーソナルコンピューター等の情報処理装置によって実行される。本実施形態において抽出処理は、図１の学習装置１００によって実行される。抽出処理が開始されると、まず、ステップＳ２０２の処理が実行される。

ステップＳ２０２の処理では、第１判定結果および第２判定結果の取得が行われる。第１判定結果として、センサー情報ＳＩに関して第１判定基準における判定結果が取得される。このために具体的には、第１学習および／または第２学習が行われた判定モデルＤＭにセンサー情報ＳＩおよび基準情報ＲＩとしての第１基準情報を入力することによって出力される判定結果が取得される。また、第２判定結果として、センサー情報ＳＩに関して第２判定基準における判定結果が取得される。このために具体的には、第２学習が行われた判定モデルＤＭにセンサー情報ＳＩおよび基準情報ＲＩとしての第２基準情報を入力することによって出力される判定結果が取得される。ステップＳ２０２の処理の後に、ステップＳ２０４の処理が実行される。本実施形態ではステップＳ２０２として、第１判定結果の取得と第２判定結果の取得とが並列に実行されるが、第１判定結果の取得の後に第２判定結果の取得が実行されてもよい。

ステップＳ２０４の処理として、抽出処理が実行される。抽出処理では、第１判定基準から第２判定基準に判定基準が変更されたことによって判定結果が変化するセンサー情報ＳＩが抽出される。本実施形態では、ステップＳ２０４によって抽出されたセンサー情報ＳＩについてのアノテーションが優先的に実行される。

図５は、図４のステップＳ２０４の処理を説明するための表である。図５では、３つのセンサー情報ＳＩが示されている。なお、本実施形態では、事前ラベルＬｐとして、良品スコアが用いられている。事前ラベルＬｐとしての良品スコアは、良品である場合に１と入力され、不良品である場合に０と入力される。このため、判定モデルＤＭによる判定において、ラベルＰＬとしての良品スコアは、１に近い値ほど良品であることを示し、０に近い値ほど不良品であることを示している。本実施形態では、抽出処理では、第１判定結果における良品スコアと第２判定結果における良品スコアとの差分の絶対値である差分スコアの値に応じて、良品スコアの示す判定結果が異なるセンサー情報ＳＩを抽出している。

図５に示した第１センサー情報では、第１基準情報を用いて判定が行われた場合と第２基準情報を用いて判定が行われた場合とで、良品スコアは、良品であることを示している。また、第２センサー情報では、第１基準情報を用いて判定が行われた場合と第２基準情報を用いて判定が行われた場合とで、良品スコアは、不良品であることを示している。このため、第１センサー情報と第２センサー情報とでは、判定基準の変更の前後で判定結果が変化していないことが示されている。

一方、第３センサー情報では、第１基準情報を用いて判定が行われた場合と第２基準情報を用いて判定が行われた場合とで、良品スコアの示す判定結果が異なっている。具体的には、第１基準情報を用いた場合には、第３センサー情報は、良品と判定さる。一方、第２基準情報を用いた場合には、第３センサー情報は、不良品と判定さる。図４のステップＳ２０４の処理では、第３センサー情報のように第１基準情報を用いて判定が行われた場合と第２基準情報を用いて判定が行われた場合とで、良品スコアの示す判定結果が異なるセンサー情報ＳＩが抽出される。

以上説明した第２実施形態によれば、第１実施形態と同様の構成を有す点において、第１実施形態と同様の効果を奏する。さらに、第２実施形態では、第２学習を実行する際に、判定基準変更の対象となる可能性が高いデータにアノテーションが実行されるため、第２判定モデルの判定精度を向上させることができる。

また第２実施形態によれば、アノテーションを実行すべきセンサー情報ＳＩを抽出処理によって抽出することができる。このため、学習効果の高いセンサー情報ＳＩについて優先的に再学習させることができる。したがって、アノテーションが効率的に実行される。

Ｃ．他の実施形態
Ｃ１．第１の他の実施形態
上記実施形態において、センサー情報ＳＩは、画像情報ＩＭであるが、これに限定されない。センサー情報ＳＩは、例えば、音情報や振動情報、匂い情報、味情報等の種々の情報であってもよい。音情報は、例えば打音検査に用いられ、マイク等によって取得される。音情報としては、音波の波形を用いてもよく、フーリエ変換やウェープレット変換を用いて特徴量化して用いてもよい。振動情報は、例えば設備診断技術等に利用される振動法に用いられ、加速度センサーやジャイロセンサー等によって取得される。振動情報には、振動の伝播方向に関する情報が含まれていてもよい。匂情報は、例えば匂による病気の診断に用いられ、匂いセンサーによって取得される。味情報は、例えば、味の相互作用の予測に用いられ、味覚の定量化が可能な味覚センサー等によって取得される。

Ｃ２．第２の他の実施形態
上記実施形態において、第２学習が実行されているが、第２学習は実行されなくてもよい。

Ｃ３．第３の他の実施形態
上記実施形態において、判定システム３００は、学習装置１００と判定装置２００とを備えるが、これに限定されない。判定モデルＤＭの学習の実行と判定の実行とは１つの装置、例えば判定装置２００によって実行されていてもよい。

以上説明した第１から第３の他の実施形態であっても、上記第１実施形態および第２実施形態と同様の構成を有する点において、同様の効果を奏する。

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

（１）本開示の一形態によれば、センサーから取得するセンサー情報を用いて判定を行う判定モデルの学習方法が提供される。この学習方法は、対象物に関する情報をセンサー情報として取得することと、前記センサー情報と、前記対象物に関連づけられた事前ラベルと、前記センサー情報と前記事前ラベルとに関連する判定基準に関する基準情報と、を用いて前記センサー情報から前記対象物のラベルを判定するように前記判定モデルを学習することと、を備える。この学習方法によれば、センサー情報に加えて、センサー情報と事前ラベルとに関連する判定基準に関する基準情報を用いて判定モデルの学習を行う。したがって、判定が行われた時期等によって判定基準が異なる場合であっても、同一のパターンを示すセンサー情報と基準情報との組み合わせに対して「良」と「不良」のラベルが混在する可能性が低減される。

（２）上記形態の学習方法において、前記事前ラベルは、第１事前ラベルであり、前記基準情報は、第１基準情報であり、前記第１基準情報を用いて学習された前記判定モデルを、第１判定モデルとし、前記学習方法は、さらに、前記第１判定モデルに、前記センサー情報と、第２事前ラベルと、前記基準情報を学習させることによって、第２判定モデルを学習することと、を備え、前記第２判定モデルを学習する際には、前記第２事前ラベルに関連する前記基準情報として前記第１基準情報とは異なる第２基準情報が用いられてもよい。この学習方法によれば、第２基準情報を用いて第２判定モデルを学習する場合に、第１判定モデルを用いて学習することができる。このため、未学習の学習モデルを用いて第２判定基準モデルを学習する場合よりも必要となるデータ数を低減することができる。

（３）本開示の一形態によれば、センサーから取得するセンサー情報を用いて判定を行う判定方法が提供される。この判定方法では、上記形態の学習方法によって学習された判定モデルを準備することと、前記事前ラベルが設定されていない判定用対象物に関する情報に応じた判定用センサー情報を出力することと、前記判定用センサー情報と、前記基準情報とを、前記判定モデルに入力し、前記判定用対象物の前記ラベルを判定することと、を備える。この判定方法によれば、上記形態の判定モデルを用いて判定を実行できる。したがって、同一のパターンを示すセンサー情報と基準情報との組み合わせに対して「良」と「不良」のラベルが混在する可能性が低減されるため、判定精度の低下を抑制できる。

（４）本開示の一形態によればセンサーから取得するセンサー情報を用いて判定を行う判定方法が提供される。この判定方法では、上記形態の学習方法によって学習された第２判定モデルを準備することと、前記ラベルが設定されていない判定用対象物に関する情報に応じた判定用センサー情報を出力することと、前記判定用センサー情報と、前記基準情報として前記第１基準情報と前記第２基準情報とのいずれか一方とを、前記第２判定モデルに入力し、前記判定用対象物の前記ラベルを判定することと、を備える。この判定方法によれば、上記形態の判定モデルを用いて判定を実行できる。したがって、同一のパターンを示すセンサー情報と基準情報との組み合わせに対して「良」と「不良」のラベルが混在する可能性が低減されるため、判定精度の低下を抑制できる。

本開示は、学習方法および判定方法以外の種々の形態で実現することも可能である。例えば、コンピューターに上記形態の学習方法を実行させる学習プログラムやコンピューターに上記形態の判定方法を実行させる判定プログラム等のプログラムの形態で実現できる。また、上記形態の学習方法を実行する学習装置や上記形態の判定方法を実行する判定装置等の形態で実現することができる。また、本開示は、学習プログラムや判定プログラム等のプログラムを記録した非一過性の記録媒体にも適用できる。

１００…学習装置、１１０…処理部、１２０…記憶部、２００…判定装置、２１０…情報取得部、２２０…判定実行部、２２２…特徴量算出部、２２４…分類器、２３０…判定結果出力部、３００…判定システム、ＤＭ…判定モデル、Ｌ１…入力層、Ｌ２…中間層、Ｌ２１…フィルター層、Ｌ２２…プーリング層、Ｌ３…全結合層、Ｌ４…出力層、ＮＮ…ニューラルネットワーク、ＲＩ…基準情報、ＰＬ…ラベル、Ｌｐ…事前ラベル、ＳＩ…センサー情報、ＴＤ…教師データ

Claims (5)

1. センサーから取得するセンサー情報を用いて判定を行う判定モデルの学習方法であって、
   対象物に関する情報をセンサー情報として取得することと、
   前記センサー情報と、前記対象物に関連づけられた事前ラベルと、前記センサー情報と前記事前ラベルとに関連する判定基準に関する基準情報と、を用いて前記センサー情報から前記対象物のラベルを判定するように前記判定モデルを学習することと、を備える学習方法。
2. 請求項１に記載の学習方法であって、
   前記事前ラベルは、第１事前ラベルであり、
   前記基準情報は、第１基準情報であり、
   前記第１基準情報を用いて学習された前記判定モデルを、第１判定モデルとし、
   前記学習方法は、さらに、前記第１判定モデルに、前記センサー情報と、第２事前ラベルと、前記基準情報を学習させることによって、第２判定モデルを学習することと、を備え、
   前記第２判定モデルを学習する際には、前記第２事前ラベルに関連する前記基準情報として前記第１基準情報とは異なる第２基準情報が用いられている、学習方法。
3. センサーから取得するセンサー情報を用いて判定を行う判定方法であって、
   請求項１に記載の学習方法によって学習された前記判定モデルを準備することと、
   前記事前ラベルが設定されていない判定用対象物に関する情報に応じた判定用センサー情報を取得することと、
   前記判定用センサー情報と、前記基準情報とを、前記判定モデルに入力し、前記判定用対象物の前記ラベルを判定することと、を備える判定方法。
4. センサーから取得するセンサー情報を用いて判定を行う判定方法であって、
   請求項２に記載の学習方法によって学習された前記第２判定モデルを準備することと、
   前記事前ラベルが設定されていない判定用対象物に関する情報に応じた判定用センサー情報を取得することと、
   前記判定用センサー情報と、前記基準情報として前記第１基準情報と前記第２基準情報とのいずれか一方とを、前記第２判定モデルに入力し、前記判定用対象物の前記ラベルを判定することと、を備える判定方法。
5. センサーから取得するセンサー情報を用いて判定を行う判定モデルを学習する機能をコンピューターに実行させるコンピュータープログラムであって、
   センサーを用いて対象物に関する情報に応じて取得されたセンサー情報と、前記対象物に関連づけられた事前ラベルと、前記センサー情報と前記事前ラベルとに関連する判定基準に関する基準情報と、を用いて前記判定モデルを学習する機能をコンピューターに実行させる、コンピュータープログラム。