JP2020154564A - 学習方法、学習プログラムおよび学習装置 - Google Patents

学習方法、学習プログラムおよび学習装置 Download PDF

Info

Publication number
JP2020154564A
JP2020154564A JP2019051244A JP2019051244A JP2020154564A JP 2020154564 A JP2020154564 A JP 2020154564A JP 2019051244 A JP2019051244 A JP 2019051244A JP 2019051244 A JP2019051244 A JP 2019051244A JP 2020154564 A JP2020154564 A JP 2020154564A
Authority
JP
Japan
Prior art keywords
data
learning
recognition
verification
teacher data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019051244A
Other languages
English (en)
Inventor
美穂 村田
Miho Murata
美穂 村田
弘伸 北島
Hironobu Kitajima
弘伸 北島
塩田　哲義
Tetsuyoshi Shioda
哲義 塩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2019051244A priority Critical patent/JP2020154564A/ja
Priority to US16/817,872 priority patent/US20200302240A1/en
Publication of JP2020154564A publication Critical patent/JP2020154564A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

【課題】学習の効率を向上させる。【解決手段】実施形態の学習方法は、学習モデルを生成する処理と、教師データを生成する処理と、学習させる処理とをコンピュータが実行する。学習モデルを生成する処理は、認識対象を含み、認識対象を示すラベルが付与された画像または図形データを学習データとして学習させた学習モデルを生成する。教師データを生成する処理は、生成した学習モデルに対して、画像または図形データを検証データとして入力したときの、検証データごとの認識対象の認識度に基づき、認識対象に関する特徴のばらつきを変えた教師データを生成する。学習させる処理は、生成した教師データを用いて学習モデルを学習させる。【選択図】図２

Description

本発明の実施形態は、学習方法、学習プログラムおよび学習装置に関する。
従来、教師データにより機械学習したニューラルネットワークなどの学習モデルを用いて、種々の情報の分類が行われている。ディープラーニング（ＤＬ）のような機械学習では、大量の教師データを用いるが、実際には大量の教師データを用意することは難しい。そこで、元の教師データを変換してデータを増やす従来技術が知られている。
国際公開第２０１６／１２５５００号 国際公開第２００７／１０５４０９号 特開平５−３２４８７６号公報
しかしながら、上記の従来技術では、元の教師データより一律に教師データが生成されることから、生成した教師データによる学習が効率よく進まない場合があるという問題がある。例えば、学習モデルでの認識が難しいタイプの教師データも、簡単に認識できるタイプの教師データも一律に作成される場合は、認識が難しいところを学習させたくても、学習が思うように進まないこととなる。
１つの側面では、学習の効率を向上させることができる学習方法、学習プログラムおよび学習装置を提供することを目的とする。
第１の案では、学習方法は、学習モデルを生成する処理と、教師データを生成する処理と、学習させる処理とをコンピュータが実行する。学習モデルを生成する処理は、認識対象を含み、認識対象を示すラベルが付与された画像または図形データを学習データとして学習させた学習モデルを生成する。教師データを生成する処理は、生成した学習モデルに対して、画像または図形データを検証データとして入力したときの、検証データごとの認識対象の認識度に基づき、認識対象に関する特徴のばらつきを変えた教師データを生成する。学習させる処理は、生成した教師データを用いて学習モデルを学習させる。
本発明の１実施態様によれば、学習の効率を向上させることができる。
図１は、実施形態にかかる学習装置の機能構成例を示すブロック図である。 図２は、実施形態にかかる学習装置の動作例を説明する説明図である。 図３は、実施形態にかかる学習装置の動作例を示すフローチャートである。 図４は、実施形態にかかる学習装置の動作例を示すフローチャートである。 図５は、変数の刻み方を説明する説明図である。 図６は、学習プログラムを実行するコンピュータの一例を示すブロック図である。
以下、図面を参照して、実施形態にかかる学習方法、学習プログラムおよび学習装置を説明する。実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施形態で説明する学習方法、学習プログラムおよび学習装置は、一例を示すに過ぎず、実施形態を限定するものではない。また、以下の各実施形態は、矛盾しない範囲内で適宜組みあわせてもよい。
図１は、実施形態にかかる学習装置の機能構成例を示すブロック図である。図１に示す学習装置１は、人や車などの認識対象を含み、認識対象を示す正解のラベルが付与された画像または図形データを学習データとし、ニューラルネットワークなどにより種々の情報の分類（認識）を行う学習モデルの学習を行う情報処理装置である。例えば、学習装置１としては、ＰＣ（パーソナルコンピュータ）などのコンピュータを適用できる。
図１に示すように、学習装置１は、データ生成部１０、モデル生成部２０、モデル検証部３０およびパラメータ決定部４０を有する。
データ生成部１０は、学習モデルを作成する学習フェーズに用いる学習データと、学習済みの学習モデルを検証する検証フェーズに用いる検証データとを含む教師データを生成する処理部である。具体的には、データ生成部１０は、生データ入力部１１、パラメータ保持部１２および教師データ生成部１３を有する。
生データ入力部１１は、ユーザが予め用意した教師データ（生データ）の入力を受け付ける。教師付き学習では、人や車などの認識対象を含む生の画像または図形データに、認識対象を示す正解のラベルを付与した教師データをユーザが予め用意する。生データ入力部１１は、例えば、外部の情報処理装置より、ユーザが予め用意した教師データの入力を受け付ける。
なお、ユーザが予め用意した教師データについては、データ拡張により新たに作成した教師データと区別する意味で、生データと呼ぶ場合がある。また、データ拡張により新たに作成した教師データについては、拡張教師データと呼ぶ場合がある。
パラメータ保持部１２は、データ拡張によって生データをもとに新たに教師データ（拡張教師データ）を生成する際のパラメータを保持する。具体的には、パラメータ保持部１２は、パラメータ決定部４０が決定した各種パラメータを内部メモリ等に保持する。
教師データ生成部１３は、パラメータ保持部１２が保持するパラメータをもとに、元とする教師データ（生データ）の間を補間して中間のデータ（画像または図形データ）を生成し、新たな教師データ（拡張教師データ）とするデータ拡張を行う。具体的には、教師データ生成部１３は、検証データごとに計算した認識度をもとに、認識度に高低差のある検証データ間を補間するように決定したパラメータ（詳細は後述する）を参照し、教師データ（生データ）の中で該当する検証データ間の中間データを生成する。
このデータ拡張における補間手法には、アニメーション画像の自動生成などに用いられるモーフィング技術や、オブジェクトの幾何を保つような変形を構成するＡＲＡＰ（As-rigid-as-possible shape interpolation）などを用いることができる。教師データ生成部１３は、上記の補間手法により、元となる教師データ（生データ）に含まれる認識対象に関し、特徴のばらつきを変えた教師データ（拡張教師データ）を生成する。
また、教師データ生成部１３は、ユーザが予め用意した教師データ（生データ）から学習モデルを生成する場合、生データを所定の割合で学習データと検証データとに分割し、学習データについてはモデル生成部２０へ、検証データについてはモデル検証部３０へ出力する。同様に、教師データ生成部１３は、拡張教師データにより学習モデルを再構築する場合、拡張教師データを含む教師データを所定の割合で学習データと検証データに分割し、学習データについてはモデル生成部２０へ、検証データについてはモデル検証部３０へ出力する。なお、教師データ生成部１３は、学習データと、検証データとが互いに重複しないように（例えば学習データ：検証データを８：２とする割合で）、教師データの分割を行う。
モデル生成部２０は、データ生成部１０による学習データを用いて学習モデルを生成する処理部である。具体的には、モデル生成部２０は、学習データ入力部２１、学習実行部２２およびモデル構築部２３を有する。
学習データ入力部２１は、データ生成部１０より学習データの入力を受け付ける。学習実行部２２は、入力された学習データを用いて、ニューラルネットワークなどにより画像または図形データに含まれる対象を認識する学習モデルの学習を行う。
学習モデルとしては、例えば、脳のニューロンを模したユニットを入力層から中間層を経て出力層に至る間に階層的に結合したニューラルネットワークを適用できる。
学習実行部２２は、例えば、学習モデルの入力層に学習データを入力し、演算結果を示す出力値を出力層から出力させる。そして、学習実行部２２は、学習データに付与された正解のラベルと出力値との比較に基づいて、学習モデルにおけるニューラルネットワークの各ノードにおけるパラメータを学習する。より具体的には、学習実行部２２は、出力値と正解のラベルとの比較結果を用いた誤差逆伝播（error Back Propagation：BP）法などによって、ニューラルネットワークのパラメータを学習する。
モデル構築部２３は、ニューラルネットワークの構成などが示されたハイパーパラメータなどにより元となる学習モデルを構築する。学習実行部２２は、モデル構築部２３が構築した学習モデルに対して、学習データを用いた学習を行う。モデル構築部２３は、学習実行部２２による学習済み学習モデルにおける各ノードのパラメータを学習済みモデル記憶部３２に格納する。
モデル検証部３０は、データ生成部１０による検証データを用いて、モデル生成部２０が生成した学習モデルの検証を行う処理部である。具体的には、モデル検証部３０は、検証データ入力部３１、学習済みモデル記憶部３２、検証実行部３３、認識度算出部３４および検証結果出力部３５を有する。
検証データ入力部３１は、データ生成部１０より検証データの入力を受け付ける。学習済みモデル記憶部３２は、モデル検証部３０による学習済み学習モデルに関する情報（例えば、ニューラルネットワークの各ノードにおけるパラメータ）を格納する。
検証実行部３３は、入力された検証データを用いて、学習済みモデル記憶部３２に格納された学習済みの学習モデルを検証する。検証実行部３３は、例えば、学習済みモデル記憶部３２より学習済み学習モデルに関する情報を読み出して学習モデルを構築する。次いで、検証実行部３３は、構築した学習モデルの入力層に検証データを入力し、演算結果を示す出力値を出力層から出力させる。そして、検証実行部３３は、検証データに付与された正解のラベルと出力値とを比較する。
認識度算出部３４は、検証データごとの検証実行部３３における検証をもとに、検証データに含まれる認識対象の認識度を算出する。例えば、認識度算出部３４は、画像や図形データにおける画像認識によるデータ分類の場合と、画像や図形データの中の特定部分の検出の場合とにおいて、それぞれ次のように認識度を算出する。
画像認識によるデータ分類の場合には、例えば、製品を撮影したカメラ画像を学習モデルで学習し、製品の良／不良を認識対象として認識する場合がある。この場合、認識度算出部３４は、ある画像（検証データ）を良／不良のどちらかに分類する際の、ニューラルネットワークの出力関数（例えばソフトマックス関数など）の値から誤差を計算（例えば交差エントロピー誤差など）し、検証データにおける認識対象（良／不要）の認識度を算出する。
一例として、良品の画像（ｔ＝［１，０］）を分類した際の出力関数の値がｙ＝［０．８，０．１］（良品の属する確率０．８、不良品に属する確率０．１）である場合を想定する。この場合の認識度は、認識度＝（１−Ｅ）＊１００＝｛１＋（１＊ｌｎ０．８＋０＊ｌｎ０．１）｝＊１００＝７７．６９％となる。なお、Ｅは、交差エントロピー誤差−Σｎ ｋ＝１ｔｋｌｎｙｋ（ｌｎは底ｅの自然対数）である。また、ｙｋはｋ番目の出力関数の値、ｔｋはｋ番目の検証データの値、ｋは分類数（この例では２）である。
また、特定部分の検出の場合には、例えば、物体が写っている画像を学習モデルで学習し、画像中の人物などを特定する場合がある。この場合、認識度算出部３４は、ＳＳＤ（Single Shot MultiBox Detector）などの物体検知アルゴリズムで使われる損失関数（確信度誤差と位置特定誤差の重み付和）の値から認識度を算出する。例えば、認識度は、認識度＝｛１−（Ｌ（ｘ，ｃ，ｌ，ｇ））｝＊１００となる。なお、ｘ、ｃは、クラスの確信度、ｌは予測位置、ｇは正解位置である。また、損失関数の値、確信度誤差、位置特定誤差については、次の式（１）のとおりである。
Figure 2020154564
検証結果出力部３５は、検証データごとに認識度算出部３４が計算した認識度を検証結果としてパラメータ決定部４０へ出力する。
パラメータ決定部４０は、教師データ生成部１３がデータ拡張により新たな教師データを生成する際のパラメータを決定する処理部である。具体的には、パラメータ決定部４０は、生成割合決定部４１および関数決定部４２を有する。
生成割合決定部４１は、検証データごとの認識度に基づき、元とする教師データ（生データ）の間を補間する際の、中間画像、もしくは中間図形の生成割合を決定する。関数決定部４２は、検証データごとの認識度に基づき、元とする教師データ（生データ）の間の補間に用いる関数を決定する。
例えば、検証データにおける認識度は、認識対象の写り方などにより、学習済み学習モデルでの認識度が高くなる場合もあれば、認識度が低くなる場合もある。したがって、データ拡張では、検証によって認識度が低いと判明した認識対象の学習を進めるために、教師データ（生データ）の中の、認識度に差のある検証データ間を補間して新たな教師データを生成する。
そこで、関数決定部４２は、各検証データの認識度をもとに、認識度に高低差のある検証データの組を求める。次いで、関数決定部４２は、求めた検証データの組において、検証データ間を補間する関数を回帰分析などの手法で求める。例えば、ＡＲＡＰでは、２つの図形の中間図形を生成する、時間を変数とする関数が決まる。関数決定部４２は、このようにして得られた関数を、認識度に高低差のある検証データ間の関係を定義する（データ間を補間する）関数とする。
関数決定部４２は、検証データの組において得られた関数をパラメータの一つとして教師データ生成部１３へ出力する。教師データ生成部１３では、関数の変数である時間を連続的に変化させることで、滑らかに２つの図形（検証データの組）の間を補間する中間画像、もしくは中間図形を生成することができる。
また、生成割合決定部４１は、中間画像、もしくは中間図形の生成元となる検証データの組の認識度をもとに、中間画像、もしくは中間図形の生成割合として、上記の関数における変数の刻み幅を決定する。具体的には、生成割合決定部４１は、関数の変数である時間を等間隔に刻むのではなく、認識度が低い側では刻み幅を狭く、認識度が高い側では刻み幅を広くする。
なお、時間の刻み間隔は、検証データの組において、認識度が低い側から高い側へ線形に増やしてもよいし、指数関数的に増やしてもよいし、シグモイド関数的に増やしてもよい。また、時間の刻み間隔の増やし方は、どの関数（線形、指数関数、シグモイド関数）であっても、その関数の傾きや立ち上がり方を決めるパラメータを、検証データの組における認識度に差に応じて決める。
一例として、時間の刻み間隔の増やし方を指数関数とする場合を説明する。まず、生成割合決定部４１は、中間画像、もしくは中間図形の生成元となる検証データの組の認識度の差を求める。次いで、生成割合決定部４１は、求めた認識度の差をもとに、関数の傾きや立ち上がり方を決めるパラメータを決める。例えば、生成割合決定部４１は、検証データ間の認識度の最高値と最低値の差が所定の閾値よりも大きいときは、認識度が低い側の生成割合が増えるように、指数関数（ｙ＝ａｘ）の指数（ａ）を大きめに設定（指数関数の立ち上がりを急激に）する。
生成割合決定部４１は、検証データの組において得られた関数の変数の刻み幅（刻み間隔の増やし方に関する関数の傾きや立ち上がり方）をパラメータの一つとして教師データ生成部１３へ出力する。教師データ生成部１３では、関数の変数である時間を、刻み幅に応じて変化させることで、２つの図形（検証データの組）の間を補間する中間画像、もしくは中間図形の生成割合を変えることができる。例えば、認識度が低い側では刻み幅を狭く、認識度が高い側では刻み幅を広くすることで、認識度の低い図形形状に近い中間画像、もしくは中間図形がより多く生成されることとなる。
次に、学習装置１の動作の詳細について説明する。図２は、実施形態にかかる学習装置１の動作例を説明する説明図である。図３、４は、実施形態にかかる学習装置１の動作例を示すフローチャートである。
図２、３に示すように、データ生成部１０は、ユーザが予め用意した教師データ（生データ）を取得し（Ｓ１）、取得した教師データをもとに学習データＤ１と検証データＤ２を生成する。
次いで、モデル生成部２０は、学習データＤ１を用いて学習モデルＭ１を生成する学習フェーズを行う（Ｓ２）。次いで、モデル検証部３０は、検証データＤ２を用いてモデル生成部２０が生成した学習モデルＭ１を検証する検証フェーズを行う（Ｓ３）。これにより、学習装置１では、検証データＤ２ごとの学習モデルＭ１における認識度を得る。
次いで、関数決定部４２は、検証データＤ２ごとの認識度に基づき、元とする検証データＤ２間の補間に用いる関数を決定する（Ｓ４）。例えば、関数決定部４２は、各検証データＤ２の認識度をもとに、認識度が一番高い検証データＤ２から一番低い検証データＤ２に変換する際の変換関数を決定する。
次いで、生成割合決定部４１は、中間画像、もしくは中間図形の生成元となる検証データの組の認識度をもとに、中間画像、もしくは中間図形の生成割合、すなわち上記の変換関数における変数の刻み幅を決定する（Ｓ５）。
図５は、変数の刻み方を説明する説明図である。図５において、ｆ（ｔ）は、認識度の高い検証データＤ２と、認識度の低い検証データＤ２との関係を定義する関数（ＡＲＡＰにおいて中間図形を生成する関数など）である。また、ｇ（ｘ）＝ａｘ／ａｎ＊ｇ（ｎ）は、関数ｆ（ｔ）の変数である時間（ｔ）の刻み間隔を決める関数（ｎ：生成するデータ数）である。
図５に示すように、検証データＤ２間の認識度の最高値と最低値の差が大きいケースＣ１では、指数（ａ）を大きめの値（ａ＝２）に設定し、立ち上がりを急激にしている。これに対し、検証データＤ２間の認識度の最高値と最低値の差が小さいケースＣ２では、指数（ａ）を小さめの値（ａ＝１．５）に設定し、立ち上がりをなだらかにしている。したがって、ケースＣ２よりもケースＣ１のほうが，認識度が低い側の刻み幅がより狭くなり、認識度の低い図形形状に近い中間画像、もしくは中間図形がより多く生成されることとなる。
次いで、教師データ生成部１３は、Ｓ４で決定した関数およびＳ５で決定した生成割合（変数の刻み幅）をもとに、元となる検証データの組の間を補間して中間のデータを生成するデータ拡張により、新たな教師データを生成する（Ｓ６）。次いで、モデル生成部２０は、データ拡張による拡張教師データを用いて学習モデルＭ１の学習（再学習）を行い（Ｓ７）、処理を終了する。
なお、学習装置１は、上記のＳ３〜Ｓ７の処理を所定の条件を満たすまで、繰り返してもよい。例えば、学習装置１は、Ｓ３〜Ｓ７の処理について、所定の回数繰り返してもよいし、検証データＤ２による認識度の差が所定値以内となるまで繰り返してもよい。このように、学習装置１は、Ｓ３〜Ｓ７の処理を繰り返すことで、重点的に生成・学習すべきデータのタイプをデータ拡張によって変更しながら学習モデルＭ１の学習を進めることができる。
なお、モデル検証部３０は、認識対象の画像または図形データに対し、生成した学習モデルＭ１を適用して認識結果を得る適用フェーズを行ってもよい。具体的には、図４に示すように、モデル検証部３０は、適用フェーズが開始されると、図３による一連の処理で作成した学習モデルＭ１を学習済みモデル記憶部３２より読み出す（Ｓ１０）。
次いで、モデル検証部３０は、読み出した学習モデルＭ１を利用して認識対象の画像または図形データの認識結果を得る（Ｓ１１）。具体的には、読み出した学習モデルＭ１の入力層に認識対象の画像または図形データを入力し、学習モデルＭ１の出力層より認識結果を示す出力値を得る。
以上のように、学習装置１は、モデル生成部２０と、教師データ生成部１３と、学習実行部２２とを有する。教師データ生成部１３は、認識対象を含み、この認識対象を示すラベルが付与された画像または図形データを学習データとして学習させた学習モデルＭ１を生成する。教師データ生成部１３は、生成した学習モデルＭ１に対して、画像または図形データを検証データとして入力したときの、当該検証データごとの認識対象の認識度に基づき、認識対象に関する特徴のばらつきを変えた教師データを生成する。具体的には、教師データ生成部１３は、認識度に高低差のある検証データ間を補間することで認識対象に関する特徴のばらつきを変えた教師データを生成する。学習実行部２２は、生成した教師データを用いて学習モデルＭ１を再学習させる。このように、学習装置１は、認識対象に関する特徴のばらつきを変えた教師データにより認識が難しいところを学習モデルＭ１に再学習させることで、学習の効率を向上させることができる。
また、教師データ生成部１３は、パラメータ決定部４０が決定したパラメータをもとに、認識度に高低差のある検証データ間の補間に用いる関数の変数を変化させて教師データを生成する際の、変数を変化させる刻み幅を変更する。具体的には、教師データ生成部１３は、変数を変化させる刻み幅を、認識度が低い方よりも認識度が高い方をより広げる。これにより、認識度の低い認識対象に形状が似ている教師データをより多く生成して学習モデルＭ１の再学習を行うので、認識が難しいところの学習を効率よく進めることができる。
なお、上記の実施形態では、学習モデルにおけるニューラルネットワークの学習手法として、誤差逆伝播を例示したが、誤差逆伝播以外にも公知の様々な手法を採用することができる。また、ニューラルネットワークは、例えば入力層、中間層（隠れ層）、出力層から構成される多段構成であり、各層は複数のノードがエッジで結ばれる構造を有する。各層は、「活性化関数」と呼ばれる関数を持ち、エッジは「重み」を持ち、各ノードの値は、前の層のノードの値、接続エッジの重みの値、層が持つ活性化関数から計算される。なお、計算方法については、公知の様々な手法を採用できる。また、機械学習としては、ニューラルネットワーク以外にも、ＳＶＭ（support vector machine）等の各種手法を用いてもよい。
また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、データ生成部１０とパラメータ決定部４０またはモデル生成部２０モデル検証部３０とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものでなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。
さらに、各装置で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウエア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。
ところで、上記の各実施形態で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の各実施形態と同様の機能を有する学習プログラムを実行するコンピュータの一例を説明する。図６は、学習プログラムを実行するコンピュータの一例を示すブロック図である。
図６に示すように、コンピュータ１００は、各種演算処理を実行するＣＰＵ１０１と、データ入力を受け付ける入力装置１０２と、モニタ１０３とを有する。また、コンピュータ１００は、記憶媒体からプログラム等を読み取る媒体読取装置１０４と、各種装置と接続するためのインタフェース装置１０５と、他の情報処理装置等と有線または無線により接続するための通信装置１０６とを有する。また、コンピュータ１００は、各種情報を一時記憶するＲＡＭ１０７と、ハードディスク装置１０８とを有する。また、各装置１０１〜１０８は、バス１０９に接続される。
ハードディスク装置１０８には、図１に示したデータ生成部１０、モデル生成部２０、モデル検証部３０およびパラメータ決定部４０の各処理部と同様の機能を有する学習プログラム１０８Ａが記憶される。また、ハードディスク装置１０８には、データ生成部１０、モデル生成部２０、モデル検証部３０およびパラメータ決定部４０を実現するための各種データが記憶される。入力装置１０２は、例えば、コンピュータ１００の利用者から操作情報等の各種情報の入力を受け付ける。モニタ１０３は、例えば、コンピュータ１００の利用者に対して表示画面等の各種画面を表示する。インタフェース装置１０５は、例えば印刷装置等が接続される。通信装置１０６は、図示しないネットワークと接続され、他の情報処理装置と各種情報をやりとりする。
ＣＰＵ１０１は、ハードディスク装置１０８に記憶された学習プログラム１０８Ａを読み出して、ＲＡＭ１０７に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ１００を図１に示したデータ生成部１０、モデル生成部２０、モデル検証部３０およびパラメータ決定部４０として機能させることができる。
なお、上記の学習プログラム１０８Ａは、ハードディスク装置１０８に記憶されていなくてもよい。例えば、コンピュータ１００が読み取り可能な記憶媒体に記憶された学習プログラム１０８Ａを、コンピュータ１００が読み出して実行するようにしてもよい。コンピュータ１００が読み取り可能な記憶媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置に学習プログラム１０８Ａを記憶させておき、コンピュータ１００がこれらから学習プログラム１０８Ａを読み出して実行するようにしてもよい。
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）認識対象を含み、当該認識対象を示すラベルが付与された画像または図形データを学習データとして学習させた学習モデルを生成し
生成した前記学習モデルに対して、前記画像または図形データを検証データとして入力したときの、当該検証データごとの前記認識対象の認識度に基づき、前記認識対象に関する特徴のばらつきを変えた教師データを生成し、
生成した前記教師データを用いて前記学習モデルを学習させる、
処理をコンピュータが実行することを特徴とする学習方法。
（付記２）前記教師データを生成する処理は、前記認識度に高低差のある検証データ間を補間して前記教師データを生成する、
ことを特徴とする付記１に記載の学習方法。
（付記３）前記教師データを生成する処理は、前記認識度に高低差のある検証データ間の補間に用いる関数の変数を変化させて前記教師データを生成する際に、前記変数を変化させる刻み幅を、前記認識度が低い方よりも前記認識度が高い方をより広げる、
ことを特徴とする付記２に記載の学習方法。
（付記４）前記教師データを生成する処理は、前記画像または図形データの中で、前記学習データとして用いないデータを前記検証データとする、
ことを特徴とする付記１乃至３のいずれか一に記載の学習方法。
（付記５）認識対象を含み、当該認識対象を示すラベルが付与された画像または図形データを学習データとして学習させた学習モデルを生成し、
生成した前記学習モデルに対して、前記画像または図形データを検証データとして入力したときの、当該検証データごとの前記認識対象の認識度に基づき、前記認識対象に関する特徴のばらつきを変えた教師データを生成し、
生成した前記教師データを用いて前記学習モデルを学習させる、
処理をコンピュータに実行させることを特徴とする学習プログラム。
（付記６）前記教師データを生成する処理は、前記認識度に高低差のある検証データ間を補間して前記教師データを生成する、
ことを特徴とする付記５に記載の学習プログラム。
（付記７）前記教師データを生成する処理は、前記認識度に高低差のある検証データ間の補間に用いる関数の変数を変化させて前記教師データを生成する際に、前記変数を変化させる刻み幅を、前記認識度が低い方よりも前記認識度が高い方をより広げる、
ことを特徴とする付記６に記載の学習プログラム。
（付記８）前記教師データを生成する処理は、前記画像または図形データの中で、前記学習データとして用いないデータを前記検証データとする、
ことを特徴とする付記５乃至７のいずれか一に記載の学習プログラム。
（付記９）認識対象を含み、当該認識対象を示すラベルが付与された画像または図形データを学習データとして学習させた学習モデルを生成するモデル生成部と、
生成した前記学習モデルに対して、前記画像または図形データを検証データとして入力したときの、当該検証データごとの前記認識対象の認識度に基づき、前記認識対象に関する特徴のばらつきを変えた教師データを生成する教師データ生成部と、
生成した前記教師データを用いて前記学習モデルを学習させる学習実行部と、
を有することを特徴とする学習装置。
（付記１０）前記教師生成部は、前記認識度に高低差のある検証データ間を補間して前記教師データを生成する、
ことを特徴とする付記９に記載の学習装置。
（付記１１）前記教師データ生成部は、前記認識度に高低差のある検証データ間の補間に用いる関数の変数を変化させて前記教師データを生成する際に、前記変数を変化させる刻み幅を、前記認識度が低い方よりも前記認識度が高い方をより広げる、
ことを特徴とする付記１０に記載の学習装置。
（付記１２）前記教師データを生成する処理は、前記画像または図形データの中で、前記学習データとして用いないデータを前記検証データとする、
ことを特徴とする付記９乃至１１のいずれか一に記載の学習装置。
１…学習装置
１０…データ生成部
１１…生データ入力部
１２…パラメータ保持部
１３…教師データ生成部
２０…モデル生成部
２１…学習データ入力部
２２…学習実行部
２３…モデル構築部
３０…モデル検証部
３１…検証データ入力部
３２…学習済みモデル記憶部
３３…検証実行部
３４…認識度算出部
３５…検証結果出力部
４０…パラメータ決定部
４１…生成割合決定部
４２…関数決定部
１００…コンピュータ
１０１…ＣＰＵ
１０２…入力装置
１０３…モニタ
１０４…媒体読取装置
１０５…インタフェース装置
１０６…通信装置
１０７…ＲＡＭ
１０８…ハードディスク装置
１０８Ａ…学習プログラム
１０９…バス
Ｃ１、Ｃ２…ケース
Ｄ１…学習データ
Ｄ２…検証データ
Ｍ１…学習モデル

Claims (6)

  1. 認識対象を含み、当該認識対象を示すラベルが付与された画像または図形データを学習データとして学習させた学習モデルを生成し、
    生成した前記学習モデルに対して、前記画像または図形データを検証データとして入力したときの、当該検証データごとの前記認識対象の認識度に基づき、前記認識対象に関する特徴のばらつきを変えた教師データを生成し、
    生成した前記教師データを用いて前記学習モデルを学習させる、
    処理をコンピュータが実行することを特徴とする学習方法。
  2. 前記教師データを生成する処理は、前記認識度に高低差のある検証データ間を補間して前記教師データを生成する、
    ことを特徴とする請求項１に記載の学習方法。
  3. 前記教師データを生成する処理は、前記認識度に高低差のある検証データ間の補間に用いる関数の変数を変化させて前記教師データを生成する際に、前記変数を変化させる刻み幅を、前記認識度が低い方よりも前記認識度が高い方をより広げる、
    ことを特徴とする請求項２に記載の学習方法。
  4. 前記教師データを生成する処理は、前記画像または図形データの中で、前記学習データとして用いないデータを前記検証データとする、
    ことを特徴とする請求項１乃至３のいずれか一項に記載の学習方法。
  5. 認識対象を含み、当該認識対象を示すラベルが付与された画像または図形データを学習データとして学習させた学習モデルを生成し、
    生成した前記学習モデルに対して、前記画像または図形データを検証データとして入力したときの、当該検証データごとの前記認識対象の認識度に基づき、前記認識対象に関する特徴のばらつきを変えた教師データを生成し、
    生成した前記教師データを用いて前記学習モデルを学習させる、 処理をコンピュータに実行させることを特徴とする学習プログラム。
  6. 認識対象を含み、当該認識対象を示すラベルが付与された画像または図形データを学習データとして学習させた学習モデルを生成するモデル生成部と、
    生成した前記学習モデルに対して、前記画像または図形データを検証データとして入力したときの、当該検証データごとの前記認識対象の認識度に基づき、前記認識対象に関する特徴のばらつきを変えた教師データを生成する教師データ生成部と、
    生成した前記教師データを用いて前記学習モデルを学習させる学習実行部と、
    を有することを特徴とする学習装置。
JP2019051244A 2019-03-19 2019-03-19 学習方法、学習プログラムおよび学習装置 Pending JP2020154564A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019051244A JP2020154564A (ja) 2019-03-19 2019-03-19 学習方法、学習プログラムおよび学習装置
US16/817,872 US20200302240A1 (en) 2019-03-19 2020-03-13 Learning method, learning device, and non-transitory computer-readable storage medium for storing learning program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019051244A JP2020154564A (ja) 2019-03-19 2019-03-19 学習方法、学習プログラムおよび学習装置

Publications (1)

Publication Number Publication Date
JP2020154564A true JP2020154564A (ja) 2020-09-24

Family

ID=72514506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019051244A Pending JP2020154564A (ja) 2019-03-19 2019-03-19 学習方法、学習プログラムおよび学習装置

Country Status (2)

Country Link
US (1) US20200302240A1 (ja)
JP (1) JP2020154564A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022108213A (ja) * 2021-01-12 2022-07-25 株式会社エクサウィザーズ 情報処理装置、情報処理方法、およびプログラム
JP7412812B2 (ja) 2021-02-24 2024-01-15 アナウト株式会社 手術内容評価システム、手術内容評価方法及びコンピュータプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11880763B2 (en) 2019-09-06 2024-01-23 Intel Corporation Partially-frozen neural networks for efficient computer vision systems
US20230102876A1 (en) * 2021-09-30 2023-03-30 Toshiba Global Commerce Solutions Holdings Corporation Auto-enrollment for a computer vision recognition system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022108213A (ja) * 2021-01-12 2022-07-25 株式会社エクサウィザーズ 情報処理装置、情報処理方法、およびプログラム
JP7412812B2 (ja) 2021-02-24 2024-01-15 アナウト株式会社 手術内容評価システム、手術内容評価方法及びコンピュータプログラム

Also Published As

Publication number Publication date
US20200302240A1 (en) 2020-09-24

Similar Documents

Publication Publication Date Title
JP2020154564A (ja) 学習方法、学習プログラムおよび学習装置
JP6954082B2 (ja) 学習プログラム、予測プログラム、学習方法、予測方法、学習装置および予測装置
KR101193265B1 (ko) 정보 처리 장치, 정보 처리 방법 및 컴퓨터 판독가능 기록매체
JP6646234B2 (ja) プログラム生成装置、プログラム生成方法および生成プログラム
JP7058941B2 (ja) 辞書生成装置、辞書生成方法、及びプログラム
JP4935047B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7151500B2 (ja) 学習方法、学習プログラムおよび学習装置
JP2021071823A (ja) 予測モデル説明方法、予測モデル説明プログラム、予測モデル説明装置
JP2020042001A (ja) 評価装置、評価方法、評価プログラム、及び検査装置
Walmsley et al. An ensemble generation method based on instance hardness
JP2017162069A (ja) 最適化方法、最適化装置、プログラムおよび画像処理装置
JP4987282B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2021096775A (ja) 学習方法、学習プログラムおよび情報処理装置
Zhu et al. Adaptive conformal semi-supervised vector quantization for dissimilarity data
Smith-Miles et al. Meta-learning for data summarization based on instance selection method
Saputra et al. Code coverage similarity measurement using machine learning for test cases minimization
Nalepa et al. Memetic evolution of training sets with adaptive radial basis kernels for support vector machines
Mahzoon et al. Social skill acquisition model through face-to-face interaction: local contingency for open-ended development
Li et al. Generative oversampling and deep forest based minority-class sensitive fault diagnosis approach
US20230385633A1 (en) Training data generation device and method
WO2022244563A1 (ja) 予測装置、学習装置、予測方法、学習方法、予測プログラム及び学習プログラム
WO2023053918A1 (ja) 予測モデル作成方法、予測方法、予測モデル作成装置、予測装置、予測モデル作成プログラム、予測プログラム
JP7224263B2 (ja) モデル生成方法、モデル生成装置及びプログラム
Kordik et al. Building predictive models in two stages with meta-learning templates optimized by genetic programming
JP7404962B2 (ja) 画像処理システム、及び画像処理プログラム