JP2021039641A - Re-learning method, and computer program - Google Patents
Re-learning method, and computer program Download PDFInfo
- Publication number
- JP2021039641A JP2021039641A JP2019161823A JP2019161823A JP2021039641A JP 2021039641 A JP2021039641 A JP 2021039641A JP 2019161823 A JP2019161823 A JP 2019161823A JP 2019161823 A JP2019161823 A JP 2019161823A JP 2021039641 A JP2021039641 A JP 2021039641A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- data elements
- input
- feature amount
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本開示は、学習モデルを再学習させる技術に関する。 The present disclosure relates to a technique for retraining a learning model.
従来、特徴量空間の中で、学習データの数が少ない低密度領域を検出して、低密度領域内の学習データを新たに生成して、生成した学習データを用いて学習モデルを再学習させる技術が知られている(特許文献1)。 Conventionally, a low-density region with a small number of training data is detected in the feature space, new training data in the low-density region is generated, and the training model is retrained using the generated training data. The technique is known (Patent Document 1).
従来の技術において、学習データの数が少ない低密度領域内の学習データを一律に生成して、学習モデルを再学習させる場合、ユーザーが意図しない領域、例えば学習モデルの精度向上に寄与する程度が低い低密度領域についても学習データを生成する必要が生じ得る。 In the conventional technique, when the learning data in the low density region where the number of learning data is small is uniformly generated and the learning model is retrained, the degree of contribution to the improvement of the accuracy of the region not intended by the user, for example, the learning model, is It may be necessary to generate training data even for low density regions.
本開示の一形態によれば、複数の第1学習データ要素と、前記複数の第1学習データ要素に関連付けられたラベルと、を用いて学習された学習モデルを再学習する再学習方法が提供される。前記学習モデルは、前記複数の第1学習データ要素と、前記複数の第1学習データ要素のそれぞれの特徴量との対応を表す学習済み生成モデルを含み、前記再学習方法は、前記特徴量を表すための特徴量空間と、前記特徴量に応じて前記特徴量空間上に配置された前記複数の第1学習データ要素とを、表示装置に表示することと、前記特徴量空間上における特定領域を検出するための領域検出条件を満たす前記特定領域を抽出することと、前記特定領域内の前記特徴量を有する複数の第2学習データ要素を、前記ラベルと関連付けて生成することと、生成した前記複数の第2学習データ要素と、前記複数の第2学習データ要素のそれぞれに関連付けられた前記ラベルとを用いて前記学習モデルを再学習することと、を備える。 According to one form of the present disclosure, there is provided a re-learning method for re-learning a learning model learned using a plurality of first learning data elements and labels associated with the plurality of first learning data elements. Will be done. The learning model includes a trained generation model that represents the correspondence between the plurality of first training data elements and the feature amounts of the plurality of first training data elements, and the retraining method uses the feature amounts. Displaying the feature quantity space for representing and the plurality of first learning data elements arranged on the feature quantity space according to the feature quantity on the display device, and a specific region on the feature quantity space. The specific region satisfying the region detection condition for detecting the above is extracted, and a plurality of second learning data elements having the feature amount in the specific region are generated in association with the label. It comprises retraining the training model using the plurality of second training data elements and the labels associated with each of the plurality of second training data elements.
A.第1実施形態:
図1は、本開示の第1実施形態としての機械学習システム10を説明するための図である。図2は、検査対象物39を示す図である。機械学習システム10は、工場などで製造された検査対象物39を検査するシステムに用いられ、コンピューター100のプロセッサーによって実行される。図2に示すように、検査対象物39には製造上、第1種対象物31と、第2種対象物32と、第3種対象物33との3分類が製造され得る。第1種対象物31は、欠けや汚れが無い正常な部品である。第2種対象物32は、欠けがあるが汚れが無い部品である。第3種対象物33は、欠けは無いが汚れがある部品である。
A. First Embodiment:
FIG. 1 is a diagram for explaining a machine learning system 10 as the first embodiment of the present disclosure. FIG. 2 is a diagram showing an
図1に示すように、機械学習システム10は、ディープラーニングのモデルの一つである変分オートエンコーダー(Variational Autoencoder(VAE))を用いたシステムである。機械学習システム10は、入力層12と、エンコーダーである特徴量算出部14と、デコーダーである復元部18と、出力層19と、記憶部106と、を備える。機械学習システム10では、第1学習画像30が入力層12に入力された場合に、第1学習画像30が特徴量Zで表されることで圧縮される。また機械学習システム10では、圧縮されたデータから入力された第1学習画像30と同一の学習画像30Lが出力層19から出力される。第1学習画像30は、検査対象物39をセンサーの一例であるカメラによって検出した第1学習データ要素である。
As shown in FIG. 1, the machine learning system 10 is a system using a variational autoencoder (VAE), which is one of the models of deep learning. The machine learning system 10 includes an
入力層12は、圧縮対象となる第1学習画像30の入力を受け付ける。なお、入力層12に入力する第1学習画像30には、検査対象物39の種類データ要素を関連付けている。種類データ要素は、検査対象物39が第1種対象物31、第2種対象物32、第3種対象物33のいずれであるかを識別するためのデータ要素である。特徴量算出部14は、入力層12に入力された第1学習画像30から複数の特徴を抽出し、抽出した複数の特徴を用いて潜在変数である特徴量Zを算出するニューラルネットワークである。特徴量Zは、学習画像30の次元よりも小さい次元で表される。例えば、特徴量Zは100次元で表される。
The
復元部18は、特徴量Zを入力として元の第1学習画像30としての学習画像30Lを復元するニューラルネットワークである。出力層19は、復元部18によって復元した学習画像30Lを出力する。特徴量算出部14や復元部18は、元の第1学習画像30と同一の学習画像30Lが出力されるように学習されている。なお、特徴量算出部14や復元部18は、ニューラルネットワークに限定されるものではなく、線形回帰やベイズなどの他のアルゴリズムが用いられてもよい。
The
記憶部106は、ROMやRAMなどによって構成されている。記憶部106には、入力層12に入力された第1学習画像30および後述する画像30Iや、特徴量算出部14によって算出された特徴量Zが記憶されている。また、機械学習システム10の入力層12や特徴量算出部14や復元部18や出力層19は、記憶部106に記憶されている。
The
図3は、判定システム20を説明するための図である。判定システム20は、入力された検査対象物39の画像30Iを元に、予め定めた判定条件を用いて判定された判定結果Ruを出力するシステムであり、コンピューター100のプロセッサーによって実行される。画像30Iは、検査対象物39をカメラによって撮像することで取得される。判定結果Ruの分類は、部品として出荷可能な状態を示す「良品」と、出荷不可能な状態を示す「不良品」との2つである。予め定めた判定条件としては、第1判定条件がある。第1判定条件は、第1種対象物31を「良品」と判定し、第2種対象物32と第3種対象物33とを「不良品」と判定する条件である。
FIG. 3 is a diagram for explaining the determination system 20. The determination system 20 is a system that outputs a determination result Ru determined using predetermined determination conditions based on the input image 30I of the
判定システム20は、機械学習システム10の入力層12、特徴量算出部14と、を備える。また判定システム20は、復元部18に代えて判定部22を備える。判定部22は、特徴量算出部14によって算出された特徴量Zを元に、判定結果Ruの分類を行って外部の表示装置50に出力するニューラルネットワークである。表示装置50は、液晶モニターなどの表示機能を有する装置である。
The determination system 20 includes an
判定システム20の学習は、画像30Iを用いた判定を行う前に実行される。判定システム20の学習は、検査対象物39が撮像された複数の第1学習画像30と、複数の第1学習画像30に対応付けられた官能評価結果と、を教師データとして用いて実行される。官能評価結果は、判定員が学習画像30と第1判定条件とを用いて官能判定を行った結果を示す結果ラベルである。第1判定条件を用いたラベルとしての結果ラベルは、上述のごとく、「良品」であることを示す「良品ラベル」と、「不良品」であることを示す「不良品ラベル」とがある。
The learning of the determination system 20 is executed before the determination using the image 30I is performed. The learning of the determination system 20 is executed by using the plurality of
判定部22は、入力された第1学習画像30を元に、入力された第1学習画像30に関連付けられた官能評価結果を判定結果Ruとして出力するように学習する。この第1判定条件と複数の第1学習画像30とを用いて学習した判定システム20を学習モデルとも呼ぶ。学習モデルは、複数の第1学習画像30と、複数の第1学習画像30のそれぞれの特徴量Zとの対応を表す学習済み生成モデル29を含む。学習済み生成モデル29は、入力層12と特徴量算出部14とを含む。記憶部106は、学習モデルの学習に用いられた教師データを記憶する。
The
図4は、学習モデルの再学習方法を示すフローチャートである。図5は、再学習方法を説明するための第1の図である。図6は、再学習方法を説明するための第2の図である。図7は、再学習方法を説明するための第3の図である。図4に示す再学習方法は、複数の第1学習画像30と、複数の第1学習画像30に関連付けられたラベルとを用いて学習された学習モデルを再学習する再学習方法である。
FIG. 4 is a flowchart showing a re-learning method of the learning model. FIG. 5 is a first diagram for explaining a re-learning method. FIG. 6 is a second diagram for explaining the re-learning method. FIG. 7 is a third diagram for explaining the re-learning method. The re-learning method shown in FIG. 4 is a re-learning method for re-learning a learning model learned using a plurality of
図4に示すように、ステップS10において、コンピューター100は、学習済み生成モデル29を用いて第1学習画像30に対応付けて学習画像30の特徴量Zを出力する。具体的には、記憶部106に記憶された複数の第1学習画像30と複数の第1学習画像30に対応した特徴量Zとを表示装置50に出力する。そして、ステップS20において、コンピューター100は、学習用画面60を表示装置50に表示する。図5に示すように、学習用画面60は、特徴量Zを表すための特徴量空間62と、特徴量Zに応じて特徴量空間62上に配置された複数の第1学習画像30と、領域検索条件の入力を受け付ける入力画面71とを備える。すなわち、ステップS20の処理は、コンピューター100が、入力画面71を表示装置50に表示する処理を含む。
As shown in FIG. 4, in step S10, the
一般に機械学習に用いられる第1学習画像30の数は膨大である。よって、図5に示すように、コンピューター100は、学習モデルの学習に用いた複数の第1学習画像30のうちの一部を抽出して、抽出した複数の第1学習画像30と、抽出した第1学習画像30の特徴量Zとを表示装置50に出力してもよい。これにより、ユーザーは特徴量空間62に配置された学習画像30を容易に確認できる。なお、コンピューター100は、学習モデルの学習に用いた複数の学習画像30の全てを、特徴量Zと共に表示装置50に出力してもよい。またコンピューター100は、特徴量Zを特徴量空間62上に可視化して表示装置50に表示させるために、複数次元の特徴量Zを2次元に圧縮する。この圧縮は、例えば、t-SNEというアルゴリズムを用いて実行される。なお、コンピューター100は、複数次元の特徴量Zを、1次元や3次元以上の次元に圧縮してもよい。
The number of
図5に示すように、特徴量空間62は、次元xと次元yの2次元の空間である。特徴量空間62は、特徴量Zに応じて複数のブロック領域Rxyに仕切られている。複数のブロック領域Rxyはそれぞれ、次元xと次元yの範囲量が同じである。本実施形態では、複数のブロック領域Rxyはそれぞれ、次元xの範囲量が0.125であり、次元yの範囲量が0.125である。複数の学習画像30は、特徴量Zに応じて複数のブロック領域Rxyのいずれかに配置される。例えば、左上側に位置する学習画像30aの特徴量Zにおいて、x次元が0.100であり、y次元が0.200であった場合、この特徴量Zを含むブロック領域Rx1y1に学習画像30aが配置される。なお、ユーザーの視認性を向上させるために、コンピューター100は、各ブロック領域Rxyに3つ以下の学習画像30が位置するように記憶部106の学習画像30を選択することが好ましい。本実施形態では、コンピューター100は、各ブロック領域Rxyに1つ以下の学習画像30が位置するように記憶部106の学習画像30を選択する。また、コンピューター100は、第1判定条件下での判定結果Ruを各学習画像30に対応付けて表示してもよい。こうすることで、ユーザーは、特徴量空間62に位置する各学習画像30の判定結果Ruを容易に判別できる。
As shown in FIG. 5, the
入力画面71は、図5に示す領域検出条件の入力を受け付けるための第1条件画面70と、図6に示す再学習の領域の詳細条件を受け付けるための第2条件画面72と、第1条件画面70や第2条件画面72の入力内容を受け付けてコンピューター100に実行させるための決定画面75と、を備える。ステップS20の処理では、図5に示す第1条件画面70と決定画面75とが表示装置50に表示される。第1条件画面70および第2条件画面72の詳細については後述する。
The
図4に示すように、コンピューター100は、ステップS30において、入力画面71を介して領域検索条件の入力を受け付ける。詳細には、図5に示すように、コンピューター100は、第1条件画面70によって領域検索条件の入力を受け付ける。第1条件画面70は、領域検索条件を入力するための、第1詳細画面70a、第2詳細画面70b、および、第3詳細画面70cを有する。第1詳細画面70aと第2詳細画面70bと第3詳細画面70cとは、領域検索条件を入力する条件画面を構成する。
As shown in FIG. 4, the
第1詳細画面70aは、特徴量空間62における特定領域SRの範囲の入力を受け付ける画面である。第1詳細画面70aは、特定領域SRのx次元の範囲とy次元の範囲と1つのブロック領域Rxyを単位として入力する。例えば、図5に示すように、第1詳細画面70aの1つ目の空欄に「3」、2つ目の空欄に「3」が入力された場合、x次元に並んだ3つのブロック領域Rxyとy次元に並んだ3つのブロック領域Rxyとで形成された格子状の領域を形成する合計9つのブロック領域Rxyが特定領域SRの範囲となる。
The first
第2詳細画面70bは、第1詳細画面70aによって受け付けた特定領域SRの範囲内における、第1学習画像30に関連付けられたラベルの分類数の入力を受け付ける画面である。つまり、第2詳細画面70bは、特定領域SRの範囲内の特徴量を有する第1学習画像30のラベルの分類数の条件を受け付ける。分類数の条件を満たすかどうかの対象となる第1学習画像30は、第1学習モデルの学習に用いられた、記憶部106に記憶された学習画像30である。つまり、表示装置50に表示された特徴量空間62上に配置された一部の学習画像30だけが対象ではない。ラベルの分類とは、本実施形態では、「良品ラベル」と「不良品ラベル」の2分類である。本実施形態では、ユーザーは、特定領域SRの条件の一つとして、第2詳細画面70bの空欄に分類数を入力する。図5では、分類数が「2」と入力されているため、第1詳細画面70aに入力された範囲内に、「良品ラベル」が関連付けられた学習画像30と、「不良品ラベル」が関連付けられた学習画像30とが存在することが、領域検索条件の一つの条件となる。
The
第3詳細画面70cは、第1詳細画面70aによって受け付けた特定領域SRの範囲内での第1学習データ要素としての第1学習画像30の密度情報の入力を受け付ける画面である。本実施形態では、第3詳細画面70cは、密度情報の一例であるブロック領域Rxyでのデータ要素数、すなわちブロック領域Rxyでの第1学習画像30の数の入力を受け付ける画面である。密度情報の条件を満たすかどうかの対象となる第1学習画像30は、第1学習モデルの学習に用いられた、記憶部106に記憶された学習画像30である。図5に示す例では、特定領域SRの範囲内の特徴量を有する第1学習画像30の4つ以下であることが、領域検索条件の一つの条件となる。なお、密度情報は、データ要素数に限定されるものではない。例えば、密度情報は、「濃密」、「密」、「疎」、「極疎」などのような特定領域SRの範囲内における第1学習データ要素の密度を表すための複数の段階を示す要素や、第1学習画像30の全データ要素数に対する特定領域SRの範囲内における第1学習画像30のデータ要素数の割合によって構成されていてもよい。複数の段階を示す要素で第3詳細画面70cにおいて入力を受け付ける場合、第3詳細画面70cには、「濃密」、「密」、「疎」、「極疎」のような密度情報を複数の段落に分けた文字画像が表示され、ユーザーは表示された文字画像から所望の一つを選択する。「濃密」、「密」、「疎」、「極疎」の密度は、例えば、第1学習画像30の全データ要素数に対する特定領域SRの範囲内における第1学習画像30のデータ要素数の割合で予め規定されていてもよいし、特定領域SRの範囲内における第1学習画像30の数で予め規定されていてもよい。
The
ユーザーによって第1条件画面70上での入力が行われた後に、決定画面75がカーソルなどのグラフィカルユーザーインターフェース74を用いて押下することで、第1条件画面に入力された領域検索条件がコンピューター100に受け付けられる。これにより、図4のステップS30において、コンピューター100は、受け付けた領域検索条件を満たす特定領域SRを抽出して、表示装置50に表示された特徴量空間62に表示する。例えば、図6に示すように、コンピューター100は、特定領域SRとして第1特定領域SR1と第2特定領域SR2と第3特定領域SR3とを抽出した場合、抽出した第1特定領域SR1〜第3特定領域SR3のそれぞれを太字画像で取り囲むことで表示する。
After the user inputs the input on the first condition screen 70, the determination screen 75 is pressed by using the
また、第1条件画面70に入力された領域検索条件が受け付けられた場合、コンピューター100は、図6に示すように第1条件画面70に代えて第2条件画面72を表示装置50に表示する。図4に示すように、コンピューター100は、ステップS30の次に、ステップS40において、学習モデルを再学習するために用いる特定領域SR、すなわち学習用特定領域LSRの入力を受け付ける。学習用特定領域LSRの入力は、図6に示す第2条件画面72上で行われる。第2条件画面72は、学習用特定領域LSRを入力するための領域入力画面72aと、教師データを構成するラベルを入力するためのラベル設定画面72bとを備える。領域入力画面72aは、ステップS40において抽出された第1特定領域SR1〜第3特定領域SR3のうちで、学習モデルの再学習を行うために用いる第2学習データを生成する領域の入力を受け付けるための画面である。ユーザーは、特徴量空間62上に表示された第1特定領域SR1〜第3特定領域SR3のうちで、学習モデルの再学習に用いる領域を領域入力画面72aに入力する。図6では、領域入力画面72aには第1特定領域SR1が入力されている。なお、領域入力画面72aは、複数の特定領域SRを入力可能である。
When the area search condition input on the first condition screen 70 is accepted, the
また、ステップS40において、コンピューター100は、ラベル設定画面72bにおいて、領域入力画面72aで入力された特定領域SRの範囲内でのラベル設定の入力を受け付ける。具体的には、ユーザーが、ラベル設定画面72bにおいて設定するラベルを「不良品」に設定し、カーソルなどのグラフィカルユーザーインターフェース74で特定領域SR内のブロック領域Rxyを押下することで、押下されたブロック領域Rxyの特徴量については不良品ラベルが関連付けられる。一方で、ユーザーが、ラベル設定画面72bにおいてラベルを「良品」に設定し、グラフィカルユーザーインターフェース74で特定領域SR内のブロック領域Rxyを押下することで、押下されたブロック領域Rxyの特徴量については良品ラベルが関連付けられる。図7に示す例では、コンピューター100は、「良品ラベル」が関連付けられたブロック領域Rxyにはシングルハッチング画像を付し、「不良品ラベル」が関連付けられたブロック領域Rxyにはクロスハッチング画像を付している。図7に示す状態で決定画面75が押下されると、図4に示すようにコンピューター100はステップS60において、複数の第2学習データ要素としての複数の第2学習画像をラベルと関連付けて生成する。具体的には、指定された第1特定領域SR1内の特徴量を有する第2学習画像を、復元部18を用いて生成する。例えば、コンピューター100は、指定された第1特定領域SR1のブロック領域Rxyごとに、異なる特徴量を有する複数の第2学習画像を生成する。生成された複数の第2学習画像には、教師データとしてのラベルが関連付けられている。なお、ステップS60において、コンピューター100は、指定された特定領域SRのうちで、第1学習画像30の数が予め定めた閾値以下のブロック領域Rxyについて、複数の第2学習画像を生成してもよい。また、特定領域SRの各ブロック領域Rxyについて、生成される第2学習画像の数をユーザーが指定してもよい。
Further, in step S40, the
次に、コンピューター100は、ステップS70において、生成した複数の第2学習画像と、複数の第2学習画像のそれぞれに関連付けられたラベルとを用いて、学習モデルを再学習する。具体的には、生成した複数の第2学習画像と、複数の第2学習画像のそれぞれに関連付けられたラベルとを教師データとして判定システム20の入力層12に入力し、入力された第2学習画像に関連付けられたラベルを判定結果Ruとして出力するように学習する。
Next, in step S70, the
上記第1実施形態によれば、領域検出条件の入力を受け付けて、領域検出条件を満たす特定領域SRを用いて再学習を行うための第2学習画像を生成することで、特徴量空間62におけるユーザーの意図した領域の第2学習画像を生成して学習モデルの再学習を行うことができる。また上記第1実施形態によれば、ユーザーは、入力画面71を用いて領域検出条件を入力することで、意図した再学習のための領域をより精度良く指定できる。特に上記第1実施形態によれば、ユーザーは、表示装置50に表示された第1学習画像30が配置された特徴量空間62を参照しながら、第1条件画面70の第1詳細画面70a〜第3詳細画面70cを用いて、意図した再学習のための領域をより一層精度良く指定できる。
According to the first embodiment, by accepting the input of the region detection condition and generating the second learning image for performing re-learning using the specific region SR satisfying the region detection condition, the
B.第2実施形態:
図8は、第2実施形態を説明するための第1の図である。図9は、第2実施形態を説明するための第2の図である。上記第1実施形態との違いは、領域検出条件の一つとして第1学習画像30の種類情報が加えられた点である。その他の構成については第1実施形態と同様の構成であるため、同様の構成については同一符号を付すと共に説明を省略する。
B. Second embodiment:
FIG. 8 is a first diagram for explaining a second embodiment. FIG. 9 is a second diagram for explaining the second embodiment. The difference from the first embodiment is that the type information of the
第2実施形態では、図8に示すように、ステップS30において、入力画面71Aを介して領域検索条件の入力が受け付けられる。入力画面71Aは、第1詳細画面70a、第2詳細画面70b、第3詳細画面70cに加え、第4詳細画面70dを有する。第4詳細画面70dは、ラベルを関連付ける因子となる第1学習画像30の種類に関する情報の入力を受け付ける。第1学習画像30の種類に関する情報とは、第1種対象物31〜第3種対象物33のいずれを撮像した画像であるかを示す情報である。本実施形態では、第1学習画像30の種類に関する情報は、第1種対象物31の第1学習画像30を示す「正常」と、第2種対象物32の第1学習画像30を示す「欠け」と、第3種対象物33の第1学習画像30示す「汚れ」との3つの種類情報を含む。ユーザーは、第4詳細画面70dに特定領域SRに含まれる第1学習画像30の種類を、領域検出条件の一つとして入力する。例えば、第4詳細画面70dに、「正常」と「欠け」が入力された場合には、コンピューター100は、「正常」である第1学習画像30と、「欠け」である第1学習画像30との両方が存在する特定領域SRを抽出する。本実施形態では、第1判定条件下では、「正常」や「汚れ」の第1学習画像30には「良品ラベル」が関連付けられ、「欠け」の第1学習画像30には「不良品ラベル」が関連付けられる。よって、特徴量空間62において、異なるラベルが関連付けられる領域ほど、判定システム20の学習に用いられるデータ要素数を多くすることで、判定システム20の判定精度を向上できる。そこで、ユーザーは、異なるラベルが関連付けられる領域を領域検出条件の一つとして入力することで、ステップS40において、判定システム20の判定精度により寄与する領域が特定領域SRとして抽出される。図8に示す第1条件画面70Aに入力された領域検出条件が実行された場合、コンピューター100は、例えば図9に示すように第1特定領域SR1のみを抽出して表示装置50に表示する。
In the second embodiment, as shown in FIG. 8, in step S30, the input of the area search condition is accepted via the input screen 71A. The input screen 71A has a
上記第2実施形態によれば、また上記第2実施形態によれば、第4詳細画面70dを用いて、ユーザーは意図した再学習のための領域をより一層精度良く指定できる。例えば、ユーザーは、判定システム20の判定結果Ruに影響のある第1学習画像30の種類データ要素、例えば、判定結果が分かれる2つの種類データ要素が混在することを領域検出条件の一つとして設定することで、再学習させた学習モデルの判定精度を向上できる。
According to the second embodiment and according to the second embodiment, the user can specify the intended re-learning area with higher accuracy by using the
C.第3実施形態:
図10は、第3実施形態を説明するための第1の図である。図11は、第3実施形態を説明するための第2の図である。図12は、第3実施形態を説明するための第3の図である。第1実施形態との違いは、領域検出条件の一つとして一致率[%]の閾値が加えられた点である。その他の構成については第1実施形態と同様の構成であるため、同様の構成については同一符号を付すと共に説明を省略する。
C. Third Embodiment:
FIG. 10 is a first diagram for explaining a third embodiment. FIG. 11 is a second diagram for explaining the third embodiment. FIG. 12 is a third diagram for explaining the third embodiment. The difference from the first embodiment is that a threshold value of the match rate [%] is added as one of the region detection conditions. Since the other configurations are the same as those in the first embodiment, the same reference numerals are given and the description thereof will be omitted.
第3実施形態では、図10に示すように、ステップS30において、入力画面71Bを介して領域検索条件の入力が受け付けられる。第1条件画面70Bは、第1詳細画面70a、第2詳細画面70b、第3詳細画面70cに加え、第5詳細画面70eを有する。第5詳細画面70eは、第1詳細画面70aに入力された範囲内において、学習モデルの学習時に用いられたラベルの内容と、学習モデルを用いた判定結果Ruとの一致率に関する情報の入力を受け付ける。つまり、ユーザーは、領域検出条件の一つとして、第5詳細画面70eに0〜100までの数値を入力する。図10に示す例では、一致率が90%以下であることが領域検出条件の一つとして入力されている。
In the third embodiment, as shown in FIG. 10, in step S30, the input of the area search condition is accepted via the input screen 71B. The
ステップS40において、コンピューター100は、入力画面71Bによって入力された領域検索条件を満たす特定領域SRを抽出して表示装置50に表示する。コンピューター100は、領域検出条件の一つである一致率を満たすか否かを以下のように判定する。まず、コンピューター100は、第1詳細画面70a〜第3詳細画面70cに入力された条件を満たす領域である第1候補特定領域CSR1と第2候補特定領域CSR2と第3候補特定領域CSR3とを抽出する。そしてコンピューター100は、抽出した候補特定領域CSR1〜CSR3のそれぞれについて、第5詳細画面70eに入力された一致率の条件を満たすか否かを判定し、一致率の条件を満たす領域を特定領域SRとして抽出する。例えば、図11に示すように、第1候補特定領域CSR1内の特徴量を有する記憶部106に記憶された複数の第1学習画像30について、ラベルの内容と学習モデルによる判定結果Ruとの一致率を算出する。第1候補特定領域CSR1における一致率は95.2%であるため、一致率の条件を満たさない。よって、コンピューター100は、第1候補特定領域CSR1を特定領域SRとして抽出しない。一方で、例えば、第2候補特定領域CSR2や第3候補特定領域CSR3のそれぞれの一致率が90%以下である場合には、コンピューター100は、図12に示すように第2候補特定領域CSR2や第3候補特定領域CSR3を、特定領域SR2,SR3として抽出して表示装置50に表示する。
In step S40, the
上記第3実施形態によれば、上記第1実施形態と同様の構成を有する点において同様の効果を奏する。例えば、第3実施形態によれば、ユーザーの意図した領域の第2学習画像を生成して学習モデルの再学習を行うことができる。また上記第3実施形態によれば、さらに第5詳細画面70eを用いて、ユーザーは意図した再学習のための領域をより一層精度良く指定できる。例えば、ユーザーは、一致率が低い領域を領域検出条件の一つとして設定することで、一致率の高い領域において第2学習画像を生成することを抑制できる。つまり、学習モデルの再学習の為のデータ要素を低減しつつ、判定精度を向上できる再学習を効率良く実行できる。
According to the third embodiment, the same effect is obtained in that it has the same configuration as the first embodiment. For example, according to the third embodiment, it is possible to generate a second learning image of a region intended by the user and relearn the learning model. Further, according to the third embodiment, the user can further accurately specify the intended re-learning area by using the
D.他の実施形態:
D−1.第1の他の実施形態:
上記各実施形態では、入力画面71を表示装置50に表示させることで、ユーザーからの領域検出条件の入力を受け付けていたが、これに限定されるものではない。例えば、コンピューターは、音声認識によってユーザーから領域検出条件の入力を受け付けてもよい。また、入力画面71を介することなく、ユーザーが直線や曲線や円などによって、特徴量空間62上に特定領域SRを入力してもよい。
D. Other embodiments:
D-1. The first other embodiment:
In each of the above embodiments, the
D−2.第2の他の実施形態:
上記第2実施形態と第3実施形態とを組み合わせて実行してもよい。つまり、入力画面71は、第1詳細画面70a〜第5詳細画面70eを有していてもよい。
D-2. Second other embodiment:
The second embodiment and the third embodiment may be combined and executed. That is, the
D−3.第3の他の実施形態:
上記各実施形態では、学習データ要素は、カメラによって検査対象物39を撮像した学習画像30であったが、各種センサーによって取得されるデータ要素であってもよい。例えば、学習データ要素としては、音データ要素や振動データ要素などであってもよい。音データ要素は、例えば打音検査に用いられ、マイク等によって取得されて音波の波形として表される。振動データ要素は、例えば設備診断技術等に利用される振動法に用いられ、加速度センサーやジャイロセンサー等によって取得されて、振動波形として表される。
D-3. Third other embodiment:
In each of the above embodiments, the learning data element is the learning
D−4.第4の他の実施形態:
上記各実施形態では、領域検出条件は、入力画面71,71A,71Bを介してユーザーによって入力されることでコンピューター100が受け付けたが、これに限定されるものではない。例えば、領域検出条件は、予めコンピューター100に設定されていてもよい。
D-4. Fourth Other Embodiment:
In each of the above embodiments, the area detection condition is accepted by the
E.他の形態:
本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
E. Other forms:
The present disclosure is not limited to the above-described embodiment, and can be realized by various configurations within a range not deviating from the gist thereof. For example, the technical features in the embodiments corresponding to the technical features in each form described in the column of the outline of the invention may be used to solve some or all of the above-mentioned problems, or one of the above-mentioned effects. It is possible to replace or combine as appropriate to achieve part or all. Further, if the technical feature is not described as essential in the present specification, it can be deleted as appropriate.
(1)本開示の一形態によれば、複数の第1学習データ要素と、前記複数の第1学習データ要素に関連付けられたラベルと、を用いて学習された学習モデルを再学習する再学習方法が提供される。前記学習モデルは、前記複数の第1学習データ要素と、前記複数の第1学習データ要素のそれぞれの特徴量との対応を表す学習済み生成モデルを含み、前記再学習方法は、前記特徴量を表すための特徴量空間と、前記特徴量に応じて前記特徴量空間上に配置された前記複数の第1学習データ要素とを、表示装置に表示することと、前記特徴量空間上における特定領域を検出するための領域検出条件を満たす前記特定領域を抽出することと、前記特定領域内の前記特徴量を有する複数の第2学習データ要素を、前記ラベルと関連付けて生成することと、生成した前記複数の第2学習データ要素と、前記複数の第2学習データ要素のそれぞれに関連付けられた前記ラベルとを用いて前記学習モデルを再学習することと、を備える。この形態によれば、領域検出条件の入力を受け付けて、領域検出条件を満たす特定領域を用いて再学習を行うための第2学習データ要素を生成することで、特徴量空間におけるユーザーの意図した領域の第2学習データを生成して学習モデルの再学習を行うことができる。 (1) According to one form of the present disclosure, re-learning for re-learning a learning model learned using a plurality of first learning data elements and labels associated with the plurality of first learning data elements. A method is provided. The learning model includes a trained generation model that represents the correspondence between the plurality of first training data elements and the feature amounts of the plurality of first training data elements, and the retraining method uses the feature amounts. Displaying the feature quantity space for representing and the plurality of first learning data elements arranged on the feature quantity space according to the feature quantity on the display device, and a specific region on the feature quantity space. The specific region satisfying the region detection condition for detecting the above is extracted, and a plurality of second learning data elements having the feature amount in the specific region are generated in association with the label. It comprises retraining the training model using the plurality of second training data elements and the labels associated with each of the plurality of second training data elements. According to this form, the user intended in the feature space by accepting the input of the area detection condition and generating the second learning data element for re-learning using the specific area satisfying the area detection condition. The second training data of the region can be generated and the learning model can be retrained.
(2)上記形態であって、さらに、前記領域検出条件の入力を受け付けることを有していてもよい。この形態によれば、ユーザーが領域検出条件を入力できるので、意図した再学習のための領域をより精度良く指定できる。 (2) In the above-mentioned form, it may further have to accept the input of the area detection condition. According to this form, since the user can input the area detection condition, the area for the intended re-learning can be specified more accurately.
(3)上記形態であって、前記入力を受け付けることは、前記領域検出条件の入力を受け付けるための入力画面を表示装置に表示することを含んでもよい。この形態によれば、ユーザーは入力画面を用いて意図した再学習のための領域をより精度良く指定できる。 (3) In the above-described embodiment, accepting the input may include displaying an input screen for accepting the input of the area detection condition on the display device. According to this form, the user can more accurately specify the intended re-learning area using the input screen.
(4)上記形態であって、前記入力画面は、前記特徴量空間における前記特定領域の範囲の入力を受け付ける第1詳細画面と、前記範囲内における前記第1学習データ要素に関連付けられた前記ラベルの分類数の入力を受け付ける第2詳細画面と、前記範囲内での前記第1学習データ要素の密度情報の入力を受け付ける第3詳細画面と、を有してもよい。この形態によれば、第1詳細画面と、第2詳細画面と、第3詳細画面とを用いて、ユーザーは意図した再学習のための領域をより一層精度良く指定できる。 (4) In the above embodiment, the input screen is a first detail screen that accepts input of a range of the specific area in the feature amount space, and a label associated with the first learning data element within the range. It may have a second detail screen that accepts the input of the number of classifications, and a third detail screen that accepts the input of the density information of the first learning data element within the range. According to this form, the user can more accurately specify the intended re-learning area by using the first detail screen, the second detail screen, and the third detail screen.
(5)上記形態であって、前記入力画面は、さらに、前記第1学習データ要素の種類に関する情報の入力を受け付ける第4詳細画面を有してもよい。 (5) In the above embodiment, the input screen may further have a fourth detail screen that accepts input of information regarding the type of the first learning data element.
(6)上記形態であって、前記入力画面は、さらに、前記範囲内の前記特徴量を有する前記第1学習データ要素について、前記学習モデルの学習時に用いられた前記ラベルの内容と、前記学習モデルを用いた判定結果との一致率に関する情報の入力を受け付ける第5詳細画面を有してもよい。この形態によれば、さらに第5詳細画面を用いて、ユーザーは意図した再学習のための領域をより一層精度良く指定できる。 (6) In the above embodiment, the input screen further includes the contents of the label used at the time of learning the learning model and the learning of the first learning data element having the feature amount within the range. It may have a fifth detail screen that accepts input of information regarding the concordance rate with the determination result using the model. According to this form, the user can further accurately specify the intended re-learning area by using the fifth detail screen.
本開示は、上記形態の他に、学習モデルを再学習するためのコンピュータープログラムや、コンピュータープログラムを記録した非一過性の記録媒体、学習モデルを再学習するための再学習装置等の形態で実現することができる。 In addition to the above forms, the present disclosure is in the form of a computer program for re-learning a learning model, a non-transient recording medium on which a computer program is recorded, a re-learning device for re-learning a learning model, and the like. It can be realized.
10…機械学習システム、12…入力層、14…特徴量算出部、18…復元部、19…出力層、20…判定システム、22…判定部、29…生成モデル、30…第1学習画像、30I…画像、30L…学習画像、30a…学習画像、31…第1種対象物、32…第2種対象物、33…第3種対象物、39…検査対象物、50…表示装置、60…学習用画面、62…特徴量空間、70…第1条件画面、70a…第1詳細画面、70b…第2詳細画面、70c…第3詳細画面、70d…第4詳細画面、70e…第5詳細画面、71…入力画面、72…第2条件画面、72a…領域入力画面、72b…ラベル設定画面、74…グラフィカルユーザーインターフェース、75…決定画面、100…コンピューター、106…記憶部、CSR1…第1候補特定領域、CSR2…第2候補特定領域、CSR3…第3候補特定領域、LSR…学習用特定領域、Ru…判定結果、Rxy…ブロック領域、SR…特定領域、SR1…第1特定領域、SR2…第2特定領域、SR3…第3特定領域、
10 ... Machine learning system, 12 ... Input layer, 14 ... Feature amount calculation unit, 18 ... Restoration unit, 19 ... Output layer, 20 ... Judgment system, 22 ... Judgment unit, 29 ... Generation model, 30 ... First learning image, 30I ... image, 30L ... learning image, 30a ... learning image, 31 ...
Claims (7)
前記学習モデルは、前記複数の第1学習データ要素と、前記複数の第1学習データ要素のそれぞれの特徴量との対応を表す学習済み生成モデルを含み、
前記再学習方法は、
前記特徴量を表すための特徴量空間と、前記特徴量に応じて前記特徴量空間上に配置された前記複数の第1学習データ要素とを、表示装置に表示することと、
前記特徴量空間上における特定領域を検出するための領域検出条件を満たす前記特定領域を抽出することと、
前記特定領域内の前記特徴量を有する複数の第2学習データ要素を、前記ラベルと関連付けて生成することと、
生成した前記複数の第2学習データ要素と、前記複数の第2学習データ要素のそれぞれに関連付けられた前記ラベルとを用いて前記学習モデルを再学習することと、を備える、再学習方法。 A re-learning method for re-learning a learning model learned using a plurality of first training data elements and labels associated with the plurality of first training data elements.
The learning model includes a trained generative model that represents the correspondence between the plurality of first training data elements and the feature amounts of the plurality of first training data elements.
The re-learning method is
Displaying the feature amount space for expressing the feature amount and the plurality of first learning data elements arranged on the feature amount space according to the feature amount on the display device.
Extracting the specific region that satisfies the region detection condition for detecting the specific region on the feature space, and
To generate a plurality of second learning data elements having the feature amount in the specific region in association with the label.
A re-learning method comprising re-learning the learning model using the generated plurality of second learning data elements and the labels associated with each of the plurality of second learning data elements.
前記領域検出条件の入力を受け付けること、を有する、再学習方法。 The re-learning method according to claim 1, further
A re-learning method comprising accepting an input of the area detection condition.
前記入力を受け付けることは、前記領域検出条件の入力を受け付けるための入力画面を表示装置に表示することを含む、再学習方法。 The re-learning method according to claim 2.
Receiving the input is a re-learning method including displaying an input screen for receiving the input of the area detection condition on the display device.
前記入力画面は、前記特徴量空間における前記特定領域の範囲の入力を受け付ける第1詳細画面と、前記範囲内における前記第1学習データ要素に関連付けられた前記ラベルの分類数の入力を受け付ける第2詳細画面と、前記範囲内での前記第1学習データ要素の密度情報の入力を受け付ける第3詳細画面と、を有する、再学習方法。 The re-learning method according to claim 3.
The input screen has a first detail screen that accepts input of a range of the specific area in the feature amount space, and a second that accepts input of the number of classifications of the label associated with the first learning data element within the range. A re-learning method including a detail screen and a third detail screen that accepts input of density information of the first learning data element within the range.
前記入力画面は、さらに、前記第1学習データ要素の種類に関する情報の入力を受け付ける第4詳細画面を有する、再学習方法。 The re-learning method according to claim 4.
The re-learning method further comprises a fourth detail screen that accepts input of information regarding the type of the first learning data element.
前記入力画面は、さらに、前記範囲内の前記特徴量を有する前記第1学習データ要素について、前記学習モデルの学習時に用いられた前記ラベルの内容と、前記学習モデルを用いた判定結果との一致率に関する情報の入力を受け付ける第5詳細画面を有する、再学習方法。 The re-learning method according to any one of claims 3 to 5.
The input screen further matches the content of the label used at the time of learning the learning model with the determination result using the learning model for the first learning data element having the feature amount within the range. A re-learning method having a fifth detail screen that accepts input of information about the rate.
前記学習モデルは、前記複数の第1学習データ要素と、前記複数の第1学習データ要素のそれぞれの特徴量との対応を表す学習済み生成モデルを含み、
前記コンピュータープログラムは、
前記特徴量を表すための特徴量空間と、前記特徴量に応じて前記特徴量空間上に配置された前記複数の第1学習データ要素とを、表示装置に表示する機能と、
前記特徴量空間上における特定領域を検出するための領域検出条件を満たす前記特定領域を抽出する機能と、
前記特定領域内の前記特徴量を有する複数の第2学習データ要素を、前記ラベルと関連付けて生成する機能と、
生成した前記複数の第2学習データ要素と、前記複数の第2学習データ要素のそれぞれに関連付けられた前記ラベルとを用いて前記学習モデルを再学習する機能と、をコンピューターに実行させる、コンピュータープログラム。 A computer program for re-learning a learning model learned using a plurality of first training data elements and labels associated with the plurality of first training data elements.
The learning model includes a trained generative model that represents the correspondence between the plurality of first training data elements and the feature amounts of the plurality of first training data elements.
The computer program
A function of displaying the feature amount space for expressing the feature amount and the plurality of first learning data elements arranged on the feature amount space according to the feature amount on a display device.
A function of extracting the specific area satisfying the area detection condition for detecting the specific area in the feature space, and
A function of generating a plurality of second learning data elements having the feature amount in the specific region in association with the label, and
A computer program that causes a computer to execute a function of retraining the learning model using the generated plurality of second training data elements and the label associated with each of the plurality of second training data elements. ..
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019161823A JP2021039641A (en) | 2019-09-05 | 2019-09-05 | Re-learning method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019161823A JP2021039641A (en) | 2019-09-05 | 2019-09-05 | Re-learning method, and computer program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021039641A true JP2021039641A (en) | 2021-03-11 |
Family
ID=74847180
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019161823A Pending JP2021039641A (en) | 2019-09-05 | 2019-09-05 | Re-learning method, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021039641A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022151049A (en) * | 2021-03-26 | 2022-10-07 | 横河電機株式会社 | Device, method and program |
WO2023008171A1 (en) * | 2021-07-30 | 2023-02-02 | 富士フイルム株式会社 | Data creating device, data creation method, program, and recording medium |
-
2019
- 2019-09-05 JP JP2019161823A patent/JP2021039641A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022151049A (en) * | 2021-03-26 | 2022-10-07 | 横河電機株式会社 | Device, method and program |
JP7463996B2 (en) | 2021-03-26 | 2024-04-09 | 横河電機株式会社 | Apparatus, method and program |
WO2023008171A1 (en) * | 2021-07-30 | 2023-02-02 | 富士フイルム株式会社 | Data creating device, data creation method, program, and recording medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7208480B2 (en) | Learning program, detection program, learning device, detection device, learning method and detection method | |
JP6766839B2 (en) | Inspection system, image identification system, identification system, classifier generation system, and learning data generation device | |
KR20230124713A (en) | Fault detection methods, devices and systems | |
JP2018005773A (en) | Abnormality determination device and abnormality determination method | |
CN107004265A (en) | Information processor, the method for processing information, discriminator generating means, the method and program for generating discriminator | |
JP7393313B2 (en) | Defect classification device, defect classification method and program | |
JP7298825B2 (en) | Learning support device, learning device, learning support method, and learning support program | |
CN110910322B (en) | Picture processing method and device, electronic equipment and computer readable storage medium | |
CN111986180A (en) | Face forged video detection method based on multi-correlation frame attention mechanism | |
JP7354063B2 (en) | Classification systems, programs and learning systems | |
JP2020153765A (en) | Inspection device, abnormality detection method, computer program, learning model generation method, and learning model | |
Zhang et al. | An objective quality of experience (QoE) assessment index for retargeted images | |
JP2021039641A (en) | Re-learning method, and computer program | |
CN114445746A (en) | Model training method, railway contact net abnormity detection method and related device | |
TWI443601B (en) | Facial animation system and production method | |
JP2020181532A (en) | Image determination device and image determination method | |
CN113516639A (en) | Panoramic X-ray film-based oral cavity anomaly detection model training method and device | |
CN116309459A (en) | Improved network-based lung nodule detection method, apparatus, device and storage medium | |
JP2020181255A (en) | Image analysis device, image analysis method, and image analysis program | |
CN114419078B (en) | Surface defect region segmentation method and device based on convolutional neural network | |
Hu et al. | Hybrid Pixel‐Level Crack Segmentation for Ballastless Track Slab Using Digital Twin Model and Weakly Supervised Style Transfer | |
JP7414629B2 (en) | Learning data processing device, learning device, learning data processing method, and program | |
JP7527172B2 (en) | Determination device, machine learning device, determination method, machine learning method, program, and method for manufacturing structure | |
JP7198438B2 (en) | OBJECT DETECTION METHOD, OBJECT DETECTION DEVICE AND COMPUTER PROGRAM | |
JP2021026485A (en) | Generation method and computer program |