JP2015095212A - 識別器、識別プログラム、及び識別方法 - Google Patents

識別器、識別プログラム、及び識別方法 Download PDF

Info

Publication number
JP2015095212A
JP2015095212A JP2013235810A JP2013235810A JP2015095212A JP 2015095212 A JP2015095212 A JP 2015095212A JP 2013235810 A JP2013235810 A JP 2013235810A JP 2013235810 A JP2013235810 A JP 2013235810A JP 2015095212 A JP2015095212 A JP 2015095212A
Authority
JP
Japan
Prior art keywords
data
identification
unknown
learning
pseudo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013235810A
Other languages
English (en)
Other versions
JP6208552B2 (ja
Inventor
育郎 佐藤
Ikuro Sato
育郎 佐藤
玉津 幸政
Yukimasa Tamatsu
玉津  幸政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Denso IT Laboratory Inc
Original Assignee
Denso Corp
Denso IT Laboratory Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Denso IT Laboratory Inc filed Critical Denso Corp
Priority to JP2013235810A priority Critical patent/JP6208552B2/ja
Priority to US14/540,295 priority patent/US20150134578A1/en
Priority to DE102014223226.0A priority patent/DE102014223226A1/de
Publication of JP2015095212A publication Critical patent/JP2015095212A/ja
Application granted granted Critical
Publication of JP6208552B2 publication Critical patent/JP6208552B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 訓練データを拡張して学習をした上で、未知データの識別をするに際して、未知データをどのクラスに割り当てるかに関するルール(決定則)を改良して、識別性能を向上する。【解決手段】 識別器200は、教師あり学習に基づくパターン識別器であって、未知データに対して、識別モデルを生成する際に訓練データに対して行ったデータ拡張と同じ方法でデータ拡張を行って疑似未知データを生成するデータ拡張部22と、疑似未知データを識別モデルに適用し、それらの結果の期待値に基づいてクラス分類を行う識別部24とを備えている。【選択図】 図8

Description

本発明は、教師あり学習に基づく識別装置、識別プログラム、及び識別方法に関し、より詳しくは、訓練データに対してデータ拡張を行って学習をして生成した識別モデルを用いる識別装置、識別プログラム、及び識別方法に関するものである。
教師あり学習に基づく識別器を構築するには、ターゲット値を伴った訓練データ(教師データともいう)を収取して、それらの入出力関係を機械学習の枠組みによって学習する必要がある。ターゲット値とは、訓練データの出力のことであり、学習時においてはある訓練データを入力させたときに識別器の出力がその訓練データに対応するターゲット値に近づくように学習パラメタの探索が行われる。
このような学習を経て得られた識別器は、その運用時において、学習データには含まれないもののパターンの似ている未知のデータに対して識別を行うことになる。このような識別の対象となる未知のデータ(以下、単に「未知データ」という。)に対する識別能力を汎化能力という。識別器は、高い汎化能力を有することが望まれる。
一般に、訓練データは多ければ多いほど、そのような訓練データを用いて学習された識別器の汎化能力は高くなる。しかし、訓練データの収集には人的コストが発生するため、少ない量の訓練データで高い汎化能力を持たせたいという要求がある。つまり訓練データの分布の密度の低さに対する対処が必要となる。
そこで、P. Y. Simard, D. Steinkraus, J. C. Platt, "Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis", ICDAR 2003.(非特許文献1)やCiresan et al., "Deep Big Simple Neural Nets Excel on Handwritten Digit Recognition", Neural Computation 2010.(非特許文献2)に記載されているようなデータ拡張と呼ばれる発見的方法が提案されてきた。データ拡張とは、サンプルとして与えられているデータに対し、パラメトリックな変形を施すことにより、データの種類を増幅することである。ただし、これらの変形は、元となるデータの所属するクラスに特有の特徴を損なうものであってはならない。
非特許文献1には、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)を使った手書き数字認識の研究が記載されている。非特許文献1では、訓練データに対し「弾性歪み」という変換を施すことにより人為的に大量のデータを生成し(データ拡張)、それを学習する。非特許文献1には、このような学習により、データ拡張のない場合と比較して飛躍的に高い識別性能が得られることが記載されている。
また、非特許文献2には、ニューラルネットワークを使った手書き数字認識の研究が記載されている。非特許文献2では、弾性歪みに加え、回転やスケールの変換を施すことによりデータ拡張を行うことで、非常に高い認識性能を持つことが記載されている。
このように、非特許文献1や非特許文献2では、手書き数字認識の問題において、局所的な弾性歪み、微小回転、微小スケール変化といった変形を適用することにより、数字の特徴を失わないデータ拡張を可能とし、拡張のない場合と比べて高い汎化能力を持たせることに成功している。なお、データ拡張による学習をした上で未知データの識別を行うことは、特に画像認識の分野において慣用されている手法である。
P. Y. Simard, D. Steinkraus, J. C. Platt, "Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis", ICDAR 2003. Ciresan et al., "Deep Big Simple Neural Nets Excel on Handwritten Digit Recognition", Neural Computation 2010.
本発明は、訓練データを拡張して学習をした上で、未知の入力データの識別をするに際して、入力データをどのクラスに割り当てるかに関するルール(決定則)を改良して、識別性能を向上することを目的とする。
従来、データ拡張を行った場合においても、データ拡張を行わない場合においても、決定則そのものは同一のものを使用してきた。本発明では、データ拡張を行った場合とデータ拡張を行わない場合とでは、理論的に最適な決定則が異なるとの知見に基づき、データ拡張時の改良された識別手法を提供する。
本発明の第1の態様は、教師あり学習に基づく識別器であって、未知データに対してデータ拡張を行うデータ拡張部と、前記データ拡張部にて拡張された未知データを識別モデルに適用し、それらの結果を統合してクラス分類を行う識別部とを備えたことを特徴とする。
この構成により、未知データが拡張されて複数の疑似未知データが生成され、それらの識別結果が統合されてクラス分類がされるので、未知データそのものを識別する場合と比較して、識別能力が向上する。
本発明の第2の態様の識別器は、第1の態様の識別器において、前記データ拡張部は、前記識別モデルを生成する際に訓練データに対して行ったデータ拡張と同じ方法で前記未知データに対してデータ拡張を行うことを特徴とする。
この構成により、識別モデルを生成する際の訓練データの拡張と同じ方法で未知データの拡張が行われるので、その分布がクラスの事後分布に重なる可能性が高まり、識別モデルを生成する際に訓練データについてデータ拡張を行った場合における識別能力が向上する。
本発明の第3の態様の識別器は、第1又は第2の態様の識別器において、前記識別部は、前記拡張された未知データを前記識別モデルに適用した結果の期待値に基づいてクラス分類を行うことを特徴とする。
この構成により、識別モデルを生成する際の目的関数を最小にすることを決定則としてクラス分類が行われるので、識別モデルを生成する際に訓練データについてデータ拡張を行った場合における識別能力が向上する。
本発明の第4の態様の識別器は、第1ないし第3のいずれかの態様の識別器において、前記識別部は、前記未知データを前記識別モデルに適用することなく、前記クラス分類を行うことを特徴とする。
この構成により、未知データ自体は識別に用いられることなく、当該未知データのクラス分類が行われる。
本発明の第5の態様の識別器は、第1ないし第4のいずれかの態様の識別器において、前記データ拡張部は、乱数を用いて前記未知データに対してデータ拡張を行うことを特徴とする。
この構成により、未知データが乱数を用いてデータ拡張されるので、その分布がクラスの事後分布に重なる可能性が高まり、識別モデルを生成する際に訓練データについてデータ拡張を行った場合における識別能力が向上する。
本発明の第6の実施の形態は、識別プログラムであって、コンピュータを、教師あり学習に基づく識別器であって、未知データに対してデータ拡張を行うデータ拡張部と、前記データ拡張部にて拡張された未知データを識別モデルに適用し、それらの結果を統合してクラス分類を行う識別部とを備えた識別器として機能させることを特徴とする。
この構成によっても、未知データが拡張されて複数の疑似未知データが生成され、それらの識別結果が統合されてクラス分類がされるので、未知データそのものを識別する場合と比較して、識別能力が向上する。
本発明の第7の実施の形態は、教師あり学習に基づく識別方法であって、未知データに対してデータ拡張を行うデータ拡張ステップと、前記データ拡張部にて拡張された未知データを識別モデルに適用し、それらの結果を統合してクラス分類を行う識別ステップとを含むことを特徴とする。
この構成によっても、未知データが拡張されて複数の疑似未知データが生成され、それらの識別結果が統合されてクラス分類がされるので、未知データそのものを識別する場合と比較して、識別能力が向上する。
本発明によれば、未知データが拡張されて、それらの識別結果が統合されてクラス分類がされるので、未知データそのものを識別する場合と比較して、識別能力を向上できる。
本発明の実施の形態における学習装置の構成を示すブロック図 ある多様体上における、あるクラスのデータ分布(確率密度)を示す図 図2に示すデータ分布に対する訓練データを示す図 手書き数字の訓練データ及びその疑似データの例を示す図 疑似データの分布を示す図 記号の諸定義を示す図 疑似データを学習した結果得られるクラスの事後分布を示す図 本発明の実施の形態における識別器の構成を示すブロック図 本発明の実施の形態における未知データの例を示す図 本発明の実施の形態における疑似未知データの標本分布を示す図 本発明の実施の形態の実験結果を示す図
以下、本発明の実施の形態の学習装置及び識別器について、図面を参照しながら説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。
以下では、画像データ等の未知データに対してクラス分類を行うパターン識別器、及びそのパターン識別器にて用いる識別モデルを学習するための学習装置を例に挙げて本発明の実施の形態を説明する。また、識別モデルとして、フィードフォワード型の多層ニューラルネットワークを採用する場合を説明する。なお、識別モデルとしては、畳み込みニューラルネットワーク等の他のモデルを採用してもよい。
(学習装置)
図1は、本発明の実施の形態の学習装置の構成を示すブロック図である。学習装置100は、訓練データ記憶部11と、データ拡張部12と、変換パラメタ生成部13と、学習部14とを備えている。学習装置100は、コンピュータによって実現される。このコンピュータは、補助記憶部、一時記憶部、演算処理部、入出力部等を備えており、訓練データ記憶部11は、例えば補助記憶部によって実現される。また、データ拡張部12、変換パラメタ生成部13、及び学習部14は、演算処理部が学習プログラムを実行することで実現される。
訓練データ記憶部11には、ターゲット値を伴った訓練データ(以下、「データサンプル」ともいう。)が記憶されている。変換パラメタ生成部13は、データ拡張部12にて訓練データ記憶部11に記憶された訓練データを拡張するための変換パラメタを生成する。データ拡張部12は、変換パラメタ生成部13にて生成された変換パラメタを用いて訓練データ記憶部11に記憶された訓練データに対してパナメトリックな変換を施してデータ拡張を行う。
学習部14は、データ拡張部13にて拡張された訓練データを用いて学習を行い、識別器において用いる識別モデルを生成する。学習部14は、多層ニューラルネットワークのパラメタである各層の重みWを決定する。
データ拡張部12におけるデータ拡張について説明する。図2は、ある多様体上における、あるクラスのデータ分布(確率密度)を示す図である。実際のデータサンプルはこの分布に従う確率変数であり、確率的に生成されることとなる。
図3は、図2に示すデータ分布に対する訓練データを示す図である。図3では、図2に示すデータ分布に対して、訓練データ記憶部11に記憶された訓練データtd1〜td7が示されている。訓練データの個数が無限に近づけば、その確率密度は図2の分布に漸近するが、現実的には限られた数の訓練データしか得られないため、分布の近似精度は荒くならざるを得ない。
データ拡張部12は、訓練データを変換することでデータ数を増大させる。この変換は、データの多様体上におけるデータ点近傍へのパラメトリックな変換である。この変換には、例えば、画像の局所的な歪み、局所的な輝度変化、アフィン変換、ノイズの重畳等が含まれる。図4は、識別モデルが画像による手書き数字認識を行うものである場合の手書き数字の訓練データ(オリジナルデータ)及びその訓練データを拡張して得られた新たなデータ(疑似データ)の例を示す図である。
図5は、疑似データの分布を示す図である。図5において、疑似データの分布は実線で示されている。与えられている訓練データに対して、クラスの特徴を失わない程度に少し変形を加えたとき、それによって生成される疑似データは、もとの訓練データの近傍に位置することになる。
変換パラメタをまとめたものをθとし、変換式をu(x0;θ)とすると、1つの訓練データから無数に疑似データを生成した場合、疑似データは、下式で表される分布を持つことになる。
Figure 2015095212
ここで、Dはデータの次元であり、図2に示すデータ分布の空間の次元に対応している。
学習部14は、拡張された訓練データを学習する。上述のように、本実施の形態では、学習部14は、識別モデルとして、フィードフォワード型の多層ニューラルネットワークを学習する。
学習部14は、出力値とターゲット値が近づくほど低い値をとる目的関数を用いて、この目的関数を最小化する識別モデルのパラメタを探索することで、汎化能力の高い識別モデルを決定する。本実施の形態では、目的関数として、クロスエントロピーを採用する。
まず、記号の諸定義を図6に示す。図6において、al及びxlは以下のとおり定義される。
Figure 2015095212
Figure 2015095212
なお、flは、(劣)微分可能な単調非減少/非増加関数である。
また、出力の次元数はクラス数とする。このときターゲット値は、出力の要素のうちの1つが値1を持ち、その他の要素は0を持つものとする。2クラス分類の場合は、出力を1次元としてもよく、このときターゲット値は0または1をとる。
以下では、まず、データ拡張をしない場合の学習について説明し、それとの比較において、本実施の形態のデータ拡張をする場合の学習について説明する。
データ拡張を行わない場合の目的関数を下式(1)と(1’)に記す。
Figure 2015095212
Figure 2015095212
Figure 2015095212
ここで、iは訓練データのインデクスであり、Cはクラスレベルである。
このように、ニューラルネットワークの出力にソフトマックス関数を施すことにより、ベクトルが正規化されるとともに正の値に変換される。このベクトルに対し、式(1’)で定義されるクロスエントロピーを施すことで、ある訓練サンプルの分類の悪さが定量化される。なお、1次元の出力y(x0 i;W)の場合は、y1(x0 i;W)=y(x0 i;W)、y2(x0 i;W)=1−y(x0 i;W)、t1=t、t2=1−tと変数を置き換えることで式(1)と(1’)を適用できる。
この目的関数の勾配
Figure 2015095212
を計算し、複数のデータサンプルの和を取った勾配を使用して、確率的勾配降下法(SGD:Stochastic Gradient Descent)によってWの要素を下式(2)のとおりに更新する。
Figure 2015095212
この更新は、重みWの各要素(各層の重み)が収束するまで繰り返される。ここで、式(2)のRPEは、Randomly Picked Exampleの略であり、データサンプルを反復ごとにランダムに選ぶことを意味している。
次に、データ拡張を行う本実施の形態の場合について説明する。本実施の形態の目的関数は、下式(3)、(3’)のとおりとなる。
Figure 2015095212
Figure 2015095212
Figure 2015095212
Figure 2015095212
式(3’)では、式(1’)のように訓練データそのものを学習部14に入力するのではなく、訓練データから変換によって派生した人為的データである疑似データをデータ拡張部12で生成して、それらを学習部14に入力する。また、式(3’)では、式(1’)と異なり、変換パラメタに対するクロスエントロピーの期待値が取られている。学習部14は、この目的関数の最適化方法として、確率的勾配降下法を採用する。
具体的手順は次の通りである。データ拡張部12は、訓練データ記憶部11に記憶された訓練データを1つ選択し、また、変換パラメタ生成部14から変換パラメタを複数個分、適当な確率分布に従う乱数によりサンプリングする。データ拡張部12は、これらのパラメタを使って訓練データに対して変換を施すことにより、この1つの訓練データを複数個に拡張する。学習部14は、これら複数個の疑似データを使って勾配
Figure 2015095212
を計算し、複数のデータサンプルの和を取った勾配を使用して、確率的勾配降下法によってWの要素を下式(4)のとおりに更新する。
Figure 2015095212
この更新は、重みWの各要素(各層の重み)が収束するまで繰り返される。ここで、式(4)のRPERDは、Randomly Picked Example with Random Distortionの略であり、乱数によって変形されたデータサンプルの中からデータサンプルを選ぶことを意味する。
なお、通常、多層ニューラルネットワークの重みパラメタの更新には勾配法を出力層側から入力層側へ順番に適用する誤差逆伝搬法が使われる。誤差逆伝搬法も勾配法の一種であるので、確率的勾配降下法が適用可能である。誤差逆伝搬法については、C.M.ビショップ,“パターン認識と機械学習”,シュプリンガー・ジャパンに詳しく記載されている。
図7は、以上のようにしてデータ拡張部12にて生成された疑似データを学習した結果得られるクラスの事後分布を示す図である。図7において、クラスの事後分布は実線で示されている。識別器では、このクラスの事後分布を識別モデルとして使用して識別を行うことになる。このデータ拡張により、図2に示す本来の分布に対する網羅性を高めることができる。
(識別器)
次に、本実施の形態の識別器について説明する。図8は、本実施の形態の識別器の構成を示すブロック図である。識別器200は、データ入力部21と、データ拡張部22と、変換パラメタ生成部23と、識別部24とを備えている。識別器200は、コンピュータによって実現される。このコンピュータは、補助記憶部、一時記憶部、演算処理部、入出力部等を備えており、データ入力部21は、例えば入出力部によって実現される。また、データ拡張部22、変換パラメタ生成部23、及び識別部24は、演算処理部が本発明の実施の形態の識別プログラムを実行することで実現される。
データ入力部21には、学習に使用していないデータであって、未知データが入力される。図9は、未知データud1〜ud5の例を示す図である。図9のような未知データが入力されたとき、データ拡張によって網羅性を高めたことによって正答できる場合も多いが、未知データud5のように、もとの分布の近似精度の限界から誤答する点もあり得る。
そこで、本実施の形態の識別器200では、識別時においても、学習時に行ったものと同様の方法でデータ拡張し、それらに対しての識別結果を適切に統合する。このように、識別時においても乱数を用いてデータを拡張することで、その分布がクラスの事後分布に重なる可能性が高まることから、従来正答できなかった点が正答できる可能性が高くなる。この理由について、以下に詳しく説明する。
データ拡張を行っていない場合には、あるデータが入力されたとき、最も適切なクラス分類方法は、下式(5)を満たすクラスcを選択することである。
Figure 2015095212
この決定則は、データ拡張を行っていない場合の目的関数(1’)を最小化しており、理論上最適である。
従来、データ拡張を行った場合においても、データ拡張を行わない場合と同じ決定則が使用されてきた。即ち、学習の際には式(3’)によって学習をしたとしても、識別の際には、データ拡張を行っていない場合に理論上最適となる式(5)の決定則を用いて識別(クラス分類)が行われてきた。しかしながら、データ拡張を行った場合と行わない場合とでは、理論的に最適な決定則が異なっている。即ち、上式(5)の決定則は、データ拡張をしていない場合の目的関数(1’)を最小化しているが、データ拡張をした場合の目的関数(3’)を最小化するものではない。
データ拡張が行われた場合に、最も適切なクラス分類方法は、下式(6)を満たすクラスcを選択することである。
Figure 2015095212
この決定則は目的関数(3’)を最小化しており、理論上最適である。
以上のように、従来法では、データ拡張用の目的関数を学習時に最小化しているにも関わらず、式(5)の決定則を適用しているため、理論上最適なクラス分類が行えていない。これに対して、本実施の形態の識別器200は、識別時においても変換パラメタに対する出力の対数の期待値をとって識別を行う。
具体的には、データ拡張部22は、変換パラメタ生成部23にて生成された変換パラメタを用いてデータ入力部21に入力された未知データを変換して、複数の疑似未知データを生成する。このときデータ拡張部22で用いる変換パラメタは、識別モデルを生成するための学習の際に使用した分布p(θj)から確率的に生成する。図10は、未知データqd5から生成された疑似未知データの標本分布を示す図である。図10において、未知データqd5の標本分布は実線で示されている。
識別部24は、式(6)の勾配計算を行って、変換パラメタに対する出力の対数の期待値が最大となるクラスレベルを選択する。このように、データ拡張時の最適な決定則を用いることにより、データ収取量が同じ場合で、かつ同じ要領でデータ拡張をした場合であっても、従来よりも高い識別能力を獲得することが可能となる。
上記の実施の形態では、目的関数として、クロスエントロピーを採用したが、目的関数はクロスエントロピーに限られない。以下では、目的関数を誤差の二乗の総和とした場合の決定則について説明する。データの拡張がない場合の目的関数は、下式(7)及び(7’)によって表される。
Figure 2015095212
Figure 2015095212
Figure 2015095212
この目的関数の勾配
Figure 2015095212
を計算し、複数のデータサンプルの和を取った勾配を使用して、確率的勾配降下法によってWの要素を下式(8)のとおりに更新する。この更新は、Wの各要素が収束するまで繰り返される。
Figure 2015095212
次に、上記の例においてデータ拡張を行う本実施の形態の場合について説明する。本実施の形態の目的関数は、下式(9)、(9’)のとおりとなる。
Figure 2015095212
Figure 2015095212
Figure 2015095212
Figure 2015095212
このように、式(9’)では、式(7’)と異なり、変換パラメタに対する誤差の二乗の総和の期待値が取られている。
従来は、決定則として、下式(10)が用いられていた。
Figure 2015095212
しかしながら、この決定則は、データ拡張なしの目的関数(7’)を最小化しているが、データ拡張をした場合の目的関数(9’)を最小化するものではない。そこで、データ拡張をした場合には、下式(11)のように、変換パラメタに対する誤差の二乗の総和の期待値を最小化する決定則を採用する。
Figure 2015095212
データ拡張を行った場合に、式(11)の決定則を用いることにより、上記の実施の形態と同様に、従来よりも高い識別能力を獲得することが可能となる。
以上のように、本実施の形態の識別器200において、データ拡張部22は、未知データに対して、学習時のデータ拡張と同様の方法でデータ拡張を行って疑似未知データを生成し、識別部24は、疑似未知データの期待値に基づいてクラス分類を行う。換言すれば、識別器200は、未知データそのものについてクラス分類を行うのではなく、未知データを拡張してそれらのクラス分類の結果を統合して、クラス分類を行う。即ち、識別器200は、学習を行う際に用いた目的関数を最小化するという決定則によってクラス分類を行う。これにより、与えられた訓練データに対してデータ拡張を行って学習をして識別モデルを生成した場合に、訓練データの収取量が同じであり、かつ同じ要領で訓練データをデータ拡張をした場合の従来法よりも高い識別能力を実現できる。
(実験例)
以下、本実施の形態の学習装置及び識別器を用いて行った実験を説明する。この実験では、以下のように条件を設定した。データセットとして、手書き数字データセット(MNIST、http://yann.lecun.com/exdb/mnist/、図4参照)を用いた。訓練データとしてMNISTの訓練データセット(60,000セット)のうちの6,000セットを用い、テストデータとしてMNISTのテストデータセット(10,000セット)のうちの1,000セットを用いた。識別モデルとしては、フィードフォワード・全結合型6層ニューラルネットワークを用いた。評価基準として、誤識別率を評価した。
学習装置における学習条件として、従来法による識別を行う場合についても、本発明の実施の形態の識別を行う場合にも同一のデータ拡張を適用した。また、生成されたサンプルからは1度しか微分を計算せず、オリジナルサンプルからは一切微分を計算しないこととした。識別器における識別条件として、従来法では、オリジナルサンプルのみを識別し、本発明の実施の形態の識別器では、複数生成されたサンプルより期待値を評価した。なお、本発明の実施の形態の識別器では、オリジナルサンプルそのものは期待値に使用しなかった。
実験結果を図11に示す。図11では、横軸に変換パラメタの種類の数Mをとり、縦軸に誤識別率をとり、従来法を用いた場合の誤識別率も合わせて示している。なお、上述のように、変換パラメタの種類の数Mについては、下式が成り立つ。
Figure 2015095212
図11の結果から、変換パラメタの種類がM=16以上では、従来法でオリジナルサンプルのみを識別した場合よりも誤識別率が低くなっており、本発明の実施の形態の識別時における期待値演算が有効であることがわかる。
本発明は、未知データが拡張されて、それらの識別結果が統合されてクラス分類がされるので、未知データ自体を識別する場合と比較して、識別能力を向上できるという効果を有し、訓練データに対してデータ拡張を行って学習をして生成した識別モデルを用いる識別装置等として有用である。
100 学習装置
11 訓練データ記憶部
12 データ拡張部
13 変換パラメタ生成部
14 学習部
200 識別装置
21 データ入力部
22 データ拡張部
23 変換パラメタ生成部
24 識別部

Claims (7)

  1. 教師あり学習に基づく識別器であって、
    識別の対象となる未知データに対してデータ拡張を行って複数の疑似未知データを生成するデータ拡張部と、
    前記複数の疑似未知データを識別モデルに適用し、それらの結果を統合してクラス分類を行う識別部と、
    を備えたことを特徴とする識別器。
  2. 前記データ拡張部は、前記識別モデルを生成する際に訓練データに対して行ったデータ拡張と同じ方法で前記未知データに対してデータ拡張を行うことを特徴とする請求項1に記載の識別器。
  3. 前記識別部は、前記複数の疑似未知データを前記識別モデルに適用した結果の期待値に基づいてクラス分類を行うことを特徴とする請求項1又は2に記載の識別器。
  4. 前記識別部は、前記未知データを前記識別モデルに適用することなく、前記クラス分類を行うことを特徴とする請求項1ないし3のいずれか一項に記載の識別器。
  5. 前記データ拡張部は、乱数を用いて前記未知データに対してデータ拡張を行うことを特徴とする請求項1ないし4のいずれか一項に記載の識別器。
  6. コンピュータを、
    教師あり学習に基づく識別器であって、
    識別の対象となる未知データに対してデータ拡張を行って複数の疑似未知データを生成するデータ拡張部と、
    前記複数の疑似未知データを識別モデルに適用し、それらの結果を統合してクラス分類を行う識別部と、
    を備えた識別器として機能させることを特徴とする識別プログラム。
  7. 教師あり学習に基づく識別方法であって、
    識別の対象となる未知データに対してデータ拡張を行って複数の疑似未知データを生成するデータ拡張ステップと、
    前記複数の疑似未知データを識別モデルに適用し、それらの結果を統合してクラス分類を行う識別ステップと、
    を含むことを特徴とする識別方法。
JP2013235810A 2013-11-14 2013-11-14 識別器、識別プログラム、及び識別方法 Active JP6208552B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013235810A JP6208552B2 (ja) 2013-11-14 2013-11-14 識別器、識別プログラム、及び識別方法
US14/540,295 US20150134578A1 (en) 2013-11-14 2014-11-13 Discriminator, discrimination program, and discrimination method
DE102014223226.0A DE102014223226A1 (de) 2013-11-14 2014-11-13 Diskriminator, Unterscheidungsprogramm und Unterscheidungsverfahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013235810A JP6208552B2 (ja) 2013-11-14 2013-11-14 識別器、識別プログラム、及び識別方法

Publications (2)

Publication Number Publication Date
JP2015095212A true JP2015095212A (ja) 2015-05-18
JP6208552B2 JP6208552B2 (ja) 2017-10-04

Family

ID=53044671

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013235810A Active JP6208552B2 (ja) 2013-11-14 2013-11-14 識別器、識別プログラム、及び識別方法

Country Status (3)

Country Link
US (1) US20150134578A1 (ja)
JP (1) JP6208552B2 (ja)
DE (1) DE102014223226A1 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017058877A (ja) * 2015-09-15 2017-03-23 株式会社東芝 学習装置、音声検出装置、学習方法およびプログラム
JP2017151933A (ja) * 2016-02-26 2017-08-31 エヌ・ティ・ティ・コミュニケーションズ株式会社 データ分類装置、データ分類方法、及びプログラム
JP2017187840A (ja) * 2016-04-01 2017-10-12 富士ゼロックス株式会社 画像パターン認識装置及びプログラム
WO2018220700A1 (ja) * 2017-05-30 2018-12-06 株式会社日立国際電気 新規学習データセット生成方法、新規学習データセット生成装置および生成された学習データセットを用いた学習方法
JP2019087106A (ja) * 2017-11-08 2019-06-06 Kddi株式会社 学習用データの生成装置、判定装置及びプログラム
JP2019121386A (ja) * 2017-12-28 2019-07-22 ダッソー システムズDassault Systemes 建造物を表現する3dモデルの生成
JPWO2019022242A1 (ja) * 2017-07-28 2019-07-25 国立大学法人大阪大学 快不快の判別
JP2019149148A (ja) * 2017-12-28 2019-09-05 ダッソー システムズDassault Systemes ピクセルワイズ分類器による2dフロアプランのセマンティックセグメンテーション
JP2019197355A (ja) * 2018-05-09 2019-11-14 株式会社東芝 クラスタリング装置、クラスタリング方法およびプログラム
JP2020046883A (ja) * 2018-09-18 2020-03-26 株式会社東芝 分類装置、分類方法およびプログラム
WO2020129617A1 (ja) * 2018-12-19 2020-06-25 パナソニックIpマネジメント株式会社 外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法
JP2020177582A (ja) * 2019-04-22 2020-10-29 株式会社東芝 学習装置、学習方法、プログラムおよび認識装置
JP2020536323A (ja) * 2017-12-18 2020-12-10 三菱電機株式会社 通信システム、及びプライバシーモジュールを適用してデータを変換する方法
JP2021099834A (ja) * 2018-09-18 2021-07-01 株式会社東芝 分類装置、分類方法およびプログラム
CN113167495A (zh) * 2018-12-12 2021-07-23 三菱电机株式会社 空调控制装置和空调控制方法
JP2022506905A (ja) * 2018-11-05 2022-01-17 エッジ ケース リサーチ,インコーポレイテッド 知覚システムを評価するシステム及び方法
WO2022254600A1 (ja) * 2021-06-02 2022-12-08 日本電気株式会社 情報処理装置、情報処理方法、データ製造方法、及びプログラム
US11620480B2 (en) 2018-11-28 2023-04-04 Axell Corporation Learning method, computer program, classifier, and generator
US11842283B2 (en) 2019-06-17 2023-12-12 Axell Corporation Learning method, computer program, classifier, generator, and processing system

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10521718B1 (en) * 2015-09-28 2019-12-31 Google Llc Adversarial training of neural networks
DE102017213119A1 (de) * 2017-07-31 2019-01-31 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln von Anomalien in einem Kommunikationsnetzwerk
JP6766839B2 (ja) * 2018-03-14 2020-10-14 オムロン株式会社 検査システム、画像識別システム、識別システム、識別器生成システム、及び学習データ生成装置
US11669746B2 (en) 2018-04-11 2023-06-06 Samsung Electronics Co., Ltd. System and method for active machine learning
US11461693B2 (en) * 2018-08-20 2022-10-04 United Microelectronics Corp. Training apparatus and training method for providing sample size expanding model
US20210357566A1 (en) * 2018-10-17 2021-11-18 Asml Netherland B.V. Methods for generating characteristic pattern and training machine learning model

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003500766A (ja) * 1999-05-25 2003-01-07 スティーヴン ディー. バーンヒル、 複数支援ベクトルマシンを使用した複数データセットからの知識発見の増強

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003500766A (ja) * 1999-05-25 2003-01-07 スティーヴン ディー. バーンヒル、 複数支援ベクトルマシンを使用した複数データセットからの知識発見の増強

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017058877A (ja) * 2015-09-15 2017-03-23 株式会社東芝 学習装置、音声検出装置、学習方法およびプログラム
US10839288B2 (en) 2015-09-15 2020-11-17 Kabushiki Kaisha Toshiba Training device, speech detection device, training method, and computer program product
JP2017151933A (ja) * 2016-02-26 2017-08-31 エヌ・ティ・ティ・コミュニケーションズ株式会社 データ分類装置、データ分類方法、及びプログラム
US10664727B2 (en) 2016-04-01 2020-05-26 Fuji Xerox Co., Ltd. Image pattern recognition device and recording medium
JP2017187840A (ja) * 2016-04-01 2017-10-12 富士ゼロックス株式会社 画像パターン認識装置及びプログラム
WO2018220700A1 (ja) * 2017-05-30 2018-12-06 株式会社日立国際電気 新規学習データセット生成方法、新規学習データセット生成装置および生成された学習データセットを用いた学習方法
US11551080B2 (en) 2017-05-30 2023-01-10 Hitachi Kokusai Electric Inc. Learning dataset generation method, new learning dataset generation device and learning method using generated learning dataset
JPWO2018220700A1 (ja) * 2017-05-30 2020-01-23 株式会社日立国際電気 新規学習データセット生成方法、新規学習データセット生成装置および生成された学習データセットを用いた学習方法
JP7203388B2 (ja) 2017-07-28 2023-01-13 国立大学法人大阪大学 快不快の判別
JPWO2019022242A1 (ja) * 2017-07-28 2019-07-25 国立大学法人大阪大学 快不快の判別
JP2020073084A (ja) * 2017-07-28 2020-05-14 国立大学法人大阪大学 快不快の判別
JP2019087106A (ja) * 2017-11-08 2019-06-06 Kddi株式会社 学習用データの生成装置、判定装置及びプログラム
JP2020536323A (ja) * 2017-12-18 2020-12-10 三菱電機株式会社 通信システム、及びプライバシーモジュールを適用してデータを変換する方法
JP2019149148A (ja) * 2017-12-28 2019-09-05 ダッソー システムズDassault Systemes ピクセルワイズ分類器による2dフロアプランのセマンティックセグメンテーション
JP7376233B2 (ja) 2017-12-28 2023-11-08 ダッソー システムズ ピクセルワイズ分類器による2dフロアプランのセマンティックセグメンテーション
JP7280039B2 (ja) 2017-12-28 2023-05-23 ダッソー システムズ 建造物を表現する3dモデルの生成
US11636234B2 (en) 2017-12-28 2023-04-25 Dassault Systemes Generating 3D models representing buildings
JP2019121386A (ja) * 2017-12-28 2019-07-22 ダッソー システムズDassault Systemes 建造物を表現する3dモデルの生成
JP2019197355A (ja) * 2018-05-09 2019-11-14 株式会社東芝 クラスタリング装置、クラスタリング方法およびプログラム
JP2020046883A (ja) * 2018-09-18 2020-03-26 株式会社東芝 分類装置、分類方法およびプログラム
JP2021099834A (ja) * 2018-09-18 2021-07-01 株式会社東芝 分類装置、分類方法およびプログラム
JP7272533B2 (ja) 2018-11-05 2023-05-12 エッジ ケース リサーチ,インコーポレイテッド 知覚システムを評価するシステム及び方法
JP2022506905A (ja) * 2018-11-05 2022-01-17 エッジ ケース リサーチ,インコーポレイテッド 知覚システムを評価するシステム及び方法
US11620480B2 (en) 2018-11-28 2023-04-04 Axell Corporation Learning method, computer program, classifier, and generator
CN113167495A (zh) * 2018-12-12 2021-07-23 三菱电机株式会社 空调控制装置和空调控制方法
WO2020129617A1 (ja) * 2018-12-19 2020-06-25 パナソニックIpマネジメント株式会社 外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法
JPWO2020129617A1 (ja) * 2018-12-19 2021-11-04 パナソニックIpマネジメント株式会社 外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法
JP7308461B2 (ja) 2018-12-19 2023-07-14 パナソニックIpマネジメント株式会社 外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法
JP7106486B2 (ja) 2019-04-22 2022-07-26 株式会社東芝 学習装置、学習方法、プログラムおよび情報処理システム
JP2020177582A (ja) * 2019-04-22 2020-10-29 株式会社東芝 学習装置、学習方法、プログラムおよび認識装置
US11842283B2 (en) 2019-06-17 2023-12-12 Axell Corporation Learning method, computer program, classifier, generator, and processing system
WO2022254600A1 (ja) * 2021-06-02 2022-12-08 日本電気株式会社 情報処理装置、情報処理方法、データ製造方法、及びプログラム

Also Published As

Publication number Publication date
US20150134578A1 (en) 2015-05-14
JP6208552B2 (ja) 2017-10-04
DE102014223226A1 (de) 2015-05-21

Similar Documents

Publication Publication Date Title
JP6208552B2 (ja) 識別器、識別プログラム、及び識別方法
Li et al. LGM-Net: Learning to generate matching networks for few-shot learning
Chen et al. Order-free rnn with visual attention for multi-label classification
Zhang et al. A return-cost-based binary firefly algorithm for feature selection
US11816183B2 (en) Methods and systems for mining minority-class data samples for training a neural network
Lines et al. A shapelet transform for time series classification
Tran et al. Overview of particle swarm optimisation for feature selection in classification
Abd-Alsabour A review on evolutionary feature selection
Raje et al. Decentralised firewall for malware detection
Shen et al. Hierarchical Attention Based Spatial-Temporal Graph-to-Sequence Learning for Grounded Video Description.
JP6172317B2 (ja) 混合モデル選択の方法及び装置
Mondal et al. Mini-batch graphs for robust image classification
Du et al. Structure tuning method on deep convolutional generative adversarial network with nondominated sorting genetic algorithm II
Dinesh et al. Reliable evaluation of neural network for multiclass classification of real-world data
Peck et al. Detecting adversarial manipulation using inductive Venn-ABERS predictors
de Sá et al. A hyper-heuristic evolutionary algorithm for learning bayesian network classifiers
Zhang et al. Quadratic graph attention network (Q-GAT) for robust construction of gene regulatory networks
Chen et al. GraphEBM: Energy-based graph construction for semi-supervised learning
Abed Al Raoof et al. Maximizing CNN Accuracy: A Bayesian Optimization Approach with Gaussian Processes
Gomes et al. Pairwise combination of classifiers for ensemble learning on data streams
Chatterjee et al. A bi-fold approach to detect and classify COVID-19 X-ray images and symptom auditor
CN110766338A (zh) 一种基于人工智能和区块链技术eos.io的dpos分叉预测模型方法
Khalid et al. A robust ensemble based approach to combine heterogeneous classifiers in the presence of class label noise
Abdelbari et al. A genetic programming ensemble method for learning dynamical system models
Bertini et al. Imputation of missing data supported by Complete p-Partite attribute-based Decision Graphs

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20151113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170907

R150 Certificate of patent or registration of utility model

Ref document number: 6208552

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250