JP2019046380A - 学習装置、学習方法、学習プログラム、推定装置、推定方法、及び推定プログラム - Google Patents

学習装置、学習方法、学習プログラム、推定装置、推定方法、及び推定プログラム Download PDF

Info

Publication number
JP2019046380A
JP2019046380A JP2017171486A JP2017171486A JP2019046380A JP 2019046380 A JP2019046380 A JP 2019046380A JP 2017171486 A JP2017171486 A JP 2017171486A JP 2017171486 A JP2017171486 A JP 2017171486A JP 2019046380 A JP2019046380 A JP 2019046380A
Authority
JP
Japan
Prior art keywords
class
learning
candidate
identification
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017171486A
Other languages
English (en)
Other versions
JP6883787B2 (ja
Inventor
川口　京子
Kyoko Kawaguchi
京子 川口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2017171486A priority Critical patent/JP6883787B2/ja
Priority to US16/116,954 priority patent/US11514307B2/en
Publication of JP2019046380A publication Critical patent/JP2019046380A/ja
Application granted granted Critical
Publication of JP6883787B2 publication Critical patent/JP6883787B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】本開示は、識別器のより一層の小型化を可能とする学習装置を提供すること。
【解決手段】正解クラスに対応する候補クラスのクラス該当度が他の候補クラスのクラス該当度と比較して最大となるように、第１の識別器Ｄｍ１に対して学習処理を施す第１の学習部１０と、前記学習処理済みの第１の識別器Ｄｍ１を用いて識別対象の識別処理を行い、前記学習処理済みの第１の識別器Ｄｍ１が出力する前記複数の候補クラスのクラス該当度を所定の圧縮ルールに基づいて次元圧縮した値に変換し、前記変換された値と前記識別対象とを関連付けて第２の学習データを生成する学習データ生成部２０と、前記第２の学習データを用いて前記第２の識別器Ｄｍ２に対して学習処理を施す第２の学習部３０と、を備える。
【選択図】図２

Description

本開示は、学習装置、学習方法、学習プログラム、推定装置、推定方法、及び推定プログラムに関する。
従来、識別対象（例えば、画像中の物体の種別や状態）が属するクラスの識別を行う識別器（例えば、ニューラルネットワーク、ＳＶＭ等）が知られている。尚、この種の識別器は、機械学習により、識別機能が付与される。
近年、学習時間の短縮を図るべく、種々の機械学習の手法が検討されており、「ダークナレッジ（Dark knowledge）」と称される手法（Distilling：「蒸留」とも称される）が注目されている（非特許文献１を参照）。ダークナレッジ学習システムは、精度の高い大規模な識別器（以下、「大規模識別器」と称する）の機械学習を行った後に、当該大規模識別器を利用して、小規模な識別器（以下、「小規模識別器」と称する）の機械学習を行うものである。
図１は、ダークナレッジ学習システムについて、簡易的に説明する図である。
ダークナレッジ学習システムにおいては、まず、例えば、画像等の識別対象と正解クラスを関連付けた学習データを用いて、クラス識別法の機械学習によって大規模識別器の機械学習が行われる（ＳＴＥＰ１）。
クラス識別法の機械学習では、正解クラスに対応する候補クラスのクラス該当度が、他の候補クラスのクラス該当度と比較して最大となるように、大規模識別器に対して学習処理を施す。尚、クラス該当度とは、入力された識別対象の情報から推定される当該候補クラスに該当する確率を表す（以下同じ）。
クラス識別法の機械学習では、例えば、Ｓクラスが正解クラスであるとすると、Ｓクラスのクラス該当度が最大の場合には、ネットワークパラメータ（重み係数及びバイアス等）の更新は行わない。一方、Ｔクラスのクラス該当度が最大の場合には、Ｓクラスのクラス該当度が最大になるように、ネットワークパラメータ（重み係数及びバイアス等）の更新を行う。同様に、Ｕクラスのクラス該当度が最大の場合には、Ｓクラスのクラス該当度が最大になるように、ネットワークパラメータ（重み係数及びバイアス等）の更新を行う。尚、Ｓクラスのクラス該当度が最大になるように、ネットワークパラメータの更新を行う際には、ＵクラスやＴクラスのクラス該当度は特に考慮しない。
このような処理を繰り返し実行することによって、大規模識別器は、各候補クラスＳ，Ｔ，Ｕのクラス該当度が、入力された識別対象の特徴に応じたベイズ確率を正確に出力し得る構成となる。
ダークナレッジ学習システムにおいては、次に、学習処理済みの大規模識別器を用いて、小規模識別器用の学習データの生成が行われる（ＳＴＥＰ２）。
この学習データ生成処理は、例えば、学習処理済みの大規模識別器に対して画像を入力し、大規模識別器の各出力素子が出力する各候補クラスのクラス該当度を取得する処理である。そして、入力した画像と各候補クラスＳ，Ｔ，Ｕのクラス該当度を関連付けたデータ（Soft Targetとも称される）を小規模識別器用の学習データとして生成する。
ダークナレッジ学習システムにおいては、次に、ＳＴＥＰ２で生成した小規模識別器用の学習データを用いて、回帰法の機械学習によって小規模識別器の機械学習が行われる（ＳＴＥＰ３）。
回帰法による機械学習では、例えば、小規模識別器のＳクラスのクラス該当度を出力する出力素子、Ｔクラスのクラス該当度を出力する出力素子、Ｕクラスのクラス該当度を出力する出力素子のそれぞれに対して、ＳＴＥＰ２で生成した学習データの値を正解値（各候補クラスＳ，Ｔ，Ｕのクラス該当度）として設定し、当該学習データの画像を入力したときの各出力素子が当該正解値を出力するように、ネットワークパラメータ（重み係数及びバイアス等）の更新を行う。
このような処理を繰り返し実行することによって、小規模識別器の各候補クラスＳ，Ｔ，Ｕの各出力素子は、大規模識別器と同様のクラス該当度を算出し得るようになる。
このように、ダークナレッジ学習システムによれば、大規模識別器に比べて小さい小規模識別器（例えば、中間層の層数が少なく、各中間層の素子数が少ない）で、大規模識別器と同程度の精度の小規模識別器を構成することができる。又、小規模識別器は、回帰法を用いて機械学習を行うことから、より少ない学習データで識別機能を保有し得る。
ところで、学習処理の高速化や識別処理の高速化の観点から、識別器のより一層の小型化要請がある。しかしながら、従来技術に係るダークナレッジ学習システムにおいて生成する小規模識別器では、大規模識別器と同数以上の出力素子が必要となるため、小型化に限界がある。
そこで、本開示は、識別器のより一層の小型化を可能とする学習装置、学習方法、学習プログラム、推定装置、推定方法、及び推定プログラムを提供することを目的とする。
前述した課題を解決する主たる本開示は、
識別対象と当該識別対象の正解クラスとを関連付けた第１の学習データを用いて、第１の識別器が前記識別対象を前記正解クラスおよび他の候補クラスを含む複数の候補クラスに分類する識別処理を行った際に、前記第１の識別器が前記識別処理の結果として出力する前記正解クラスに対応する候補クラスのクラス該当度が前記他の候補クラスのクラス該当度と比較して最大となるように、前記第１の識別器に対して学習処理を施す第１の学習部と、
前記学習処理済みの第１の識別器を用いて識別対象の識別処理を行い、前記学習処理済みの第１の識別器が前記識別処理の結果として出力する前記複数の候補クラスのクラス該当度を所定の圧縮ルールに基づいて次元圧縮した値に変換し、前記変換された値と前記識別対象とを関連付けて第２の学習データを生成する学習データ生成部と、
前記第２の学習データを用いて前記第１の識別器とは異なる第２の識別器が識別対象の識別処理を行った際に、前記第２の識別器が前記識別処理の結果として出力する前記複数の候補クラスのクラス該当度が前記次元圧縮した値となるように、前記第２の識別器に対して学習処理を施す第２の学習部と、
を備える学習装置である。
又、他の局面では、
上記学習装置から取得した前記学習処理済みの第２の識別器を用いて、入力された識別対象の識別処理を行い、前記学習処理済みの第２の識別器が前記識別処理の結果として出力する前記複数の候補クラスの次元圧縮した値と前記所定の圧縮ルールとに基づいて、前記識別対象を前記複数の候補クラスのいずれかに分類する
推定装置である。
又、他の局面では、
識別対象と当該識別対象の正解クラスとを関連付けた第１の学習データを用いて、第１の識別器が前記識別対象を前記正解クラスおよび他の候補クラスを含む複数の候補クラスに分類する識別処理を行った際に、前記第１の識別器が前記識別処理の結果として出力する前記正解クラスに対応する候補クラスのクラス該当度が前記他の候補クラスのクラス該当度と比較して最大となるように、前記第１の識別器に対して学習処理を施し、
前記学習処理済みの第１の識別器を用いて識別対象の識別処理を行い、前記学習処理済みの第１の識別器が前記識別処理の結果として出力する前記複数の候補クラスのクラス該当度を所定の圧縮ルールに基づいて次元圧縮した値に変換し、前記変換された値と前記識別対象とを関連付けて第２の学習データを生成し、
前記第２の学習データを用いて前記第１の識別器とは異なる第２の識別器が識別対象の識別処理を行った際に、前記第２の識別器が前記識別処理の結果として出力する前記複数の候補クラスのクラス該当度が前記次元圧縮した値となるように、前記第２の識別器に対して学習処理を施す、
学習方法である。
又、他の局面では、
上記学習方法で学習処理が施された前記学習処理済みの第２の識別器を用いて、入力された識別対象の識別処理を行い、前記学習処理済みの第２の識別器が前記識別処理の結果として出力する前記複数の候補クラスの次元圧縮した値と前記所定の圧縮ルールとに基づいて、前記識別対象を前記複数の候補クラスのいずれかに分類する
推定方法である。
又、他の局面では、
コンピュータに、
識別対象と当該識別対象の正解クラスとを関連付けた第１の学習データを用いて、第１の識別器が前記識別対象を前記正解クラスおよび他の候補クラスを含む複数の候補クラスに分類する識別処理を行った際に、前記第１の識別器が前記識別処理の結果として出力する前記正解クラスに対応する候補クラスのクラス該当度が前記他の候補クラスのクラス該当度と比較して最大となるように、前記第１の識別器に対して学習処理を施す処理と、
前記学習処理済みの第１の識別器を用いて識別対象の識別処理を行い、前記学習処理済みの第１の識別器が前記識別処理の結果として出力する前記複数の候補クラスのクラス該当度を所定の圧縮ルールに基づいて次元圧縮した値に変換し、前記変換された値と前記識別対象とを関連付けて第２の学習データを生成する処理と、
前記第２の学習データを用いて前記第１の識別器とは異なる第２の識別器が識別対象の識別処理を行った際に、前記第２の識別器が前記識別処理の結果として出力する前記複数の候補クラスのクラス該当度が前記次元圧縮した値となるように、前記第２の識別器に対して学習処理を施す処理と、
を実行させる、学習プログラムである。
又、他の局面では、
コンピュータに、
上記学習プログラムで学習処理が施された前記学習処理済みの第２の識別器を用いて、入力された識別対象の識別処理を行い、前記学習処理済みの第２の識別器が前記識別処理の結果として出力する前記複数の候補クラスの次元圧縮した値と前記所定の圧縮ルールとに基づいて、前記識別対象を前記複数の候補クラスのいずれかに分類する処理
を実行させる、推定プログラムである。
本開示に係る学習装置によれば、識別器のより一層の小型化が可能である。
ダークナレッジ学習システムについて、簡易的に説明する図 第１の実施形態に係る学習装置の全体構成を示すブロック図 第１の実施形態に係る大規模識別器及び小規模識別器について説明する図 第１の実施形態に係る学習装置のハードウェア構成の一例を示す図 第１の実施形態に係る第１の学習部が行う処理の一例を示すフローチャート 第１の実施形態に係る異なるクラス間での識別分離性について説明する図 第１の実施形態に係る圧縮ルールの一例を示す図 第１の実施形態に係る圧縮ルールの一例を示す図 第１の実施形態に係る学習データ生成部が行う処理の一例を示すフローチャート 第１の実施形態に係る第２の学習部が行う学習処理の一例を示すフローチャート 第１の実施形態に係る学習装置の応用例を示す図 第１の実施形態に係る推定装置が行う推定処理の一例を示すフローチャート 第２の実施形態に係る学習装置の構成の一例を示す図 第２の実施形態に係る圧縮ルール生成部が行う動作の一例を示すフローチャート 第２の実施形態に係る圧縮ルール生成部が行う動作の一例を示すフローチャート 第２の実施形態に係る圧縮ルール生成部が行う動作の一例を示すフローチャート 第２の実施形態に係る圧縮ルール生成部が参照するデータテーブル 第２の実施形態の変形例に係る圧縮ルール生成部の処理を模式的に示す図
以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。尚、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
（第１の実施形態）
［学習装置の全体構成］
以下、図２〜図４を参照して、第１の実施形態に係る学習装置１の構成の一例について説明する。
図２は、本実施形態に係る学習装置１の全体構成を示すブロック図である。
本実施形態に係る学習装置１は、大規模識別器Ｄｍ１（本発明の「第１の識別器」に相当する）及び小規模識別器Ｄｍ２（本発明の「第２の識別器」に相当する）に対して学習処理を施す学習装置であって、第１の学習部１０、学習データ生成部２０、及び、第２の学習部３０を備えている。
本実施形態に係る学習装置１は、上記したダークナレッジ学習システムと同様の手法を用いており、第１の学習部１０にて大規模識別器Ｄｍ１の機械学習を行った後に（フェーズＴ１）、学習データ生成部２０にて学習処理済みの大規模識別器Ｄｍ１を利用して小規模識別器Ｄｍ２用の学習データＤｔ２を生成し（フェーズＴ２）、第２の学習部３０にて当該学習データＤｔ２を用いて小規模識別器Ｄｍ２の機械学習を行う（フェーズＴ３）。そして、学習装置１は、最終的に得られた学習処理済みの小規模識別器Ｄｍ２に係るモデルデータを、推定装置２に受け渡し、当該小規模識別器Ｄｍ２を用いた識別処理を実行させる。
図２中のＴ１、Ｔ２、及びＴ３は、本実施形態に係る学習装置１が実行する処理のフェーズを表す。各フェーズＴ１、Ｔ２、Ｔ３は、それぞれ、第１の学習部１０、学習データ生成部２０、及び第２の学習部３０によって各別に実行される。
又、図２中のＤｔ１及びＤｔ２は、それぞれ、大規模識別器Ｄｍ１に対して学習処理を施す際の学習データ（以下、「第１の学習データＤｔ１」と称する）、小規模識別器Ｄｍ２に対して学習処理を施す際の学習データ（以下、「第２の学習データＤｔ２」と称する）を表す。
尚、第１の学習データＤｔ１は、識別対象の画像データＤｔ１ａと正解クラスデータＤｔ１ｂ（正解ラベルとも称される）を関連付けて記憶する。第２の学習データＤｔ２は、画像データＤｔ２ａと一次元圧縮値データＤｔ２ｂ（詳細は後述）を関連付けて記憶する。
又、図２中のＤｍ１及びＤｍ２は、それぞれ、例えば、大規模識別器を構成するニューラルネットワークのモデルデータ（例えば、入力層、中間層及び出力層に関するデータ）、及び小規模識別器を構成するニューラルネットワークのモデルデータである（詳細は後述）。
図３は、本実施形態に係る大規模識別器Ｄｍ１及び小規模識別器Ｄｍ２について説明する図である。
大規模識別器Ｄｍ１及び小規模識別器Ｄｍ２は、例えば、ニューラルネットワークを含んで構成される。但し、大規模識別器Ｄｍ１及び小規模識別器Ｄｍ２としては、ニューラルネットワークに限らず、ＳＶＭ（Support Vector Machine）やベイズ識別器等、他の学習器を用いることもできる。又、大規模識別器Ｄｍ１及び小規模識別器Ｄｍ２としては、その他、アンサンブルモデルが用いられてもよいし、複数種類の識別器が組み合わされて構成されてもよいし、領域分割処理や色分割処理等の前処理部と組み合わされて構成されてもよい。
大規模識別器Ｄｍ１及び小規模識別器Ｄｍ２が識別する「識別対象」は、音声や画像や動画、距離や温度などのセンシングデータ等、任意の対象であってよい。
尚、本実施形態では、一例として、自動車の室内空間を撮影した画像を「識別対象」として、当該画像から、「自動車の助手席に人物が存在する状態（以下、人物クラスａ）」、「自動車の助手席に荷物が置かれている状態（以下、荷物クラスｂ）」及び「自動車の助手席が空席である状態（以下、空席クラスｃ）」の３つの候補クラスのいずれに該当するかを識別する態様について説明する。
本実施形態に係る大規模識別器Ｄｍ１は、識別対象を分類する各候補クラスａ，ｂ，ｃのクラス該当度を出力する複数の出力素子を各別に有している。尚、大規模識別器Ｄｍ１の各出力素子には、確率を表現し得る関数として、例えば、ソフトマックス関数等が用いられる。
大規模識別器Ｄｍ１を用いて識別処理を行う際には、各候補クラスａ，ｂ，ｃのクラス該当度のうち、クラス該当度が最大の候補クラス（図３中では人物クラスａ）が識別対象の識別結果となる。
一方、本実施形態に係る小規模識別器Ｄｍ２は、大規模識別器Ｄｍ１と同様に、識別対象を各候補クラスａ，ｂ，ｃのいずれかに分類するように構成されているが、大規模識別器Ｄｍ１とは異なり、各候補クラスａ，ｂ，ｃのクラス該当度を一次元の値に圧縮した状態（以下、「一次元圧縮値」とも称する）で出力する構成となっている（圧縮については、図７を参照して後述）。尚、小規模識別器Ｄｍ２の出力素子には、連続値を出力し得る関数として、例えば、sigmoid関数等を用いてもよい。
小規模識別器Ｄｍ２を用いて識別処理を行う際には、例えば、一次元圧縮値を各候補クラスａ，ｂ，ｃのクラス該当度に復元し（例えば、一次元圧縮値０．６から、人物クラスａのクラス該当度１．０、荷物クラスｂのクラス該当度０．８、及び空席クラスｃのクラス該当度０．０、のように復元する）、クラス該当度が最大の候補クラスを識別対象が属するクラスと判断する（詳細は後述）。
本実施形態に係る学習装置１は、このように、各候補クラスａ，ｂ，ｃのクラス該当度を一次元の値に圧縮した状態で出力し得る小規模識別器Ｄｍ２を構成することで、当該小規模識別器Ｄｍ２の小型化を図っている。
尚、大規模識別器Ｄｍ１は、小規模識別器Ｄｍ２よりも、中層層の層数や各中間層における素子数が多く設定されている。例えば、大規模識別器Ｄｍ１としては公知のGoogle Net、小規模識別器Ｄｍ２としては公知のAlexNet、Network In Network等を用いることができる。
又、大規模識別器Ｄｍ１及び小規模識別器Ｄｍ２は、例えば、識別対象（入力画像）に対して、畳み込みニューラルネットワークやＨＯＧ抽出処理等の特徴ベクトル抽出処理を行った後、かかる特徴ベクトルに基づいて識別処理を実行する構成となっている。但し、かかる特徴抽出処理は、公知の手法と同様であるから、ここでの詳細な説明は省略する。
図４は、本実施形態に係る学習装置１のハードウェア構成の一例を示す図である。
学習装置１は、主たるコンポーネントとして、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、外部記憶装置（例えば、フラッシュメモリ）１０４、及び通信インターフェイス１０５等を備えたコンピュータである。尚、上記した大規模識別器Ｄｍ１のモデルデータ、小規模識別器Ｄｍ２のモデルデータ、第１の学習データＤｔ１、及び第２の学習データＤｔ２等は、外部記憶装置１０４に記憶されている。
上記した第１の学習部１０、学習データ生成部２０、及び第２の学習部３０は、例えば、ＣＰＵ１０１がＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４等に記憶された制御プログラム（例えば、処理プログラム）や各種データを参照することによって実現される。但し、各機能の一部又は全部は、ＣＰＵによる処理に代えて、又は、これと共に、ＤＳＰ（Digital Signal Processor）による処理によって実現されてもよい。又、同様に、各機能の一部又は全部は、ソフトウェアによる処理に代えて、又は、これと共に、専用のハードウェア回路による処理によって実現されてもよい。
次に、図２、図５〜図１０を参照して、本実施形態に係る学習装置１の各構成について、詳述する。
［第１の学習部］
第１の学習部１０は、第１の学習データＤｔ１を用いて、大規模識別器Ｄｍ１に対して、クラス識別法によって学習処理を施す。
クラス識別法の機械学習については、図１を参照して上記した通りであり、大規模識別器Ｄｍ１が出力する正解クラスに対応する候補クラスのクラス該当度が、他の候補クラスのクラス該当度と比較して最大となるように、当該大規模識別器Ｄｍ１に対して学習処理を施す。
第１の学習部１０が大規模識別器Ｄｍ１の学習処理を行う際には、例えば、交差エントロピーが損失関数として用いられる。そして、公知の誤差逆伝播法等によって、損失関数が最小化するように、ネットワークパラメータ（重み係数、及びバイアス等）の最適化が行われる。
尚、第１の学習データＤｔ１は、上記したように、画像データＤｔ１ａ及び正解クラスデータＤｔ１ｂのデータセットであって、画像データＤｔ１ａ（本実施形態では、自動車の室内空間を撮影した画像）と正解クラスデータＤｔ１ｂ（本実施形態では、人物クラスａ、荷物クラスｂ及び空席クラスｃのいずれか一つ）とが関連付けられた状態で記憶部（例えば、外部記憶装置１０４）に複数記憶されている。
図５は、第１の学習部１０が行う処理の一例を示すフローチャートである。
ステップＳ１１において、第１の学習部１０は、まず、学習処理に用いていない未処理の第１の学習データＤｔ１があるか否かを判定し、未処理の第１の学習データＤｔ１がある場合（Ｓ１１：Ｙｅｓ）、ステップＳ１２に処理を進め、未処理の第１の学習データＤｔ１がない場合（Ｓ１１：Ｎｏ）、第１の学習部１０は、一連の処理を終了するべく、ステップＳ１４に処理を進める。
ステップＳ１２において、第１の学習部１０は、未処理の第１の学習データＤｔ１を記憶部から取得する。
ステップＳ１３において、第１の学習部１０は、第１の学習データＤｔ１を用いて、大規模識別器Ｄｍ１に対して学習処理を施す。尚、この際の学習処理は、上記したように、クラス識別法が用いられ、大規模識別器Ｄｍ１が出力する正解クラスに対応する候補クラスのクラス該当度が他の候補クラスのクラス該当度と比較して最大となるように、当該大規模識別器Ｄｍ１に対して、学習処理を施す。そして、第１の学習部１０は、再度、ステップＳ１１に戻る。
ステップＳ１４において、第１の学習部１０は、学習処理が施された大規模識別器のモデルデータＤｍ１（学習処理済みのネットワークパラメータ）を、例えば、外部記憶装置１０４に格納し、一連の処理を終了する。
大規模識別器Ｄｍ１は、かかる処理によって、識別対象（自動車の室内空間を撮影した画像）について、各候補クラス（人物クラスａ、荷物クラスｂ及び空席クラスｃ）のいずれが尤もらしいかのクラス該当度を出力し得るように、最適化される。
［学習データ生成部］
学習データ生成部２０は、学習処理済みの大規模識別器Ｄｍ１を用いて識別対象の識別処理を行うと共に、所定の圧縮ルールに基づいて、大規模識別器Ｄｍ１が出力する複数の候補クラスそれぞれについてのクラス該当度を次元圧縮した値に変換し、識別対象と関連付けて第２の学習データを生成する。
より詳細には、学習データ生成部２０は、第１の識別処理部２１及び圧縮部２２を含んで構成される。
第１の識別処理部２１は、識別対象の画像（画像データＤｔ２ａ）を学習処理済みの大規模識別器Ｄｍ１に入力して、当該大規模識別器Ｄｍ１を用いた画像解析（例えば、ニューラルネットワークの順伝搬処理）により、当該大規模識別器Ｄｍ１から、各候補クラスａ，ｂ，ｃのクラス該当度を出力する。
尚、第１の識別処理部２１に入力される画像としては、第１の学習データＤｔ１の画像データＤｔ１ａが用いられてもよいし、第１の学習データＤｔ１の画像データＤｔ１ａとは異なる画像が用いられてもよい。
圧縮部２２は、所定の圧縮ルールに基づいて、複数の候補クラスａ，ｂ，ｃそれぞれのクラス該当度を次元圧縮した値（例えば、一次元圧縮値）に変換して、入力画像（第１の識別処理部２１で識別対象とした画像データＤｔ２ａ）とその際の一次元圧縮値データＤｔ２ｂとを関連付けて、小規模識別器Ｄｍ２用の第２の学習データＤｔ２として記憶する。
ここで、図６〜図８を参照して、各候補クラスａ，ｂ，ｃのクラス該当度を次元圧縮する圧縮ルールについて説明する。
図６は、異なるクラス間での識別分離性について説明する図である。
図６Ａは、異なるクラス間でクラス該当度の共分散が大きい状態の一例を表している。又、図６Ｂは、異なるクラス間でのクラス該当度の共分散が小さい状態の一例を表す。
図６Ａ、図６Ｂに示す各点は、学習処理済みの識別器において識別対象を識別した識別結果であり、３つの候補クラスそれぞれについてのクラス該当度を３次元空間上の一点として表したものである。尚、各軸上の目盛りは、クラス該当度を表す。
尚、図６Ａ中の各点は、以下の項目を表す。
点X：正解クラスが候補クラスＸに該当する識別対象を識別した際の各候補クラスのクラス該当度
点Y：正解クラスが候補クラスＹに該当する識別対象を識別した際の各候補クラスのクラス該当度
点Z：正解クラスが候補クラスＺに該当する識別対象を識別した際の各候補クラスのクラス該当度
又、図６Ｂ中の各点は、以下の項目を表す。
点Sitting Human：正解クラスが人物クラスａに該当する識別対象を識別した際の各候補クラスのクラス該当度
点Object：正解クラスが荷物クラスｂに該当する識別対象を識別した際の候補クラスのクラス該当度
点Empty Seat：正解クラスが空席クラスｃに該当する識別対象を識別した際の候補クラスのクラス該当度
識別分離性は、一般に、識別対象を分類する候補クラスの種類等に依拠する。例えば、ある候補クラスと他の候補クラスの画像上の外観が類似していると、識別処理の際にクラス該当度が相関性を有するものとなる。
この点、図６Ａにおいては、３つの候補クラスのクラス該当度が同程度となる点が数多く存在し、例えば、候補クラスＸに該当する識別対象を識別した際に、候補クラスＸのクラス該当度の他に、候補クラスＹのクラス該当度、及び候補クラスＺのクラス該当度も高い値として算出されている。そのため、仮に、かかる候補クラスのクラス該当度を次元圧縮すると、識別分離性が著しく低下するおそれがある。
一方、図６Ｂにおいては、一の候補クラスのクラス該当度と他の候補クラスのクラス該当度が同程度となる領域（相関性が高い領域）が、「人物クラス」と「荷物クラス」の間の領域と、「空席クラス」と「荷物クラス」の間の領域のみとなっている。かかる候補クラスのクラス該当度については、これらの相関性が高い領域を適切に連結することによって、識別分離性を低下させることなく、次元圧縮することが可能である。
かかる観点から、本実施形態において、「次元圧縮する対象の候補クラス」は、より好適には、図６Ｂのように、２つの候補クラス間でのみ類似度が高い場合が生じるものが選択される。換言すると、３以上の候補クラスのクラス該当度が同時に高い値となるようなもの（３以上の候補クラス間で相互に類似度が高いもの）は、候補クラスの選択としては好適ではない。但し、いずれの候補クラスに対しても相関性を有さない候補クラスが含まれていてもよいのは勿論である。
図７、図８は、本実施形態に係る圧縮ルールの一例を示す図である。
図７Ａは、図６Ｂと同様の図である。図７Ｂは、「人物クラスａ」、「荷物クラスｂ」及び「空席クラスｃ」それぞれのクラス該当度を一次元圧縮値（図７Ａの太線矢印を参照。ここでは、０から１の数値範囲のいずれかの値）に圧縮した状態を示している。
図８中には、各候補クラスａ，ｂ，ｃのクラス該当度と一次元圧縮値の関係の具体的な一例を表している。図８中の「クラス」の項目は、画像の実際のクラス（正解クラス）を表す。「クラス該当度」の項目は、大規模識別器Ｄｍ１が当該画像の識別結果として出力する人物クラスａ、荷物クラスｂ及び空席クラスｃそれぞれについてのクラス該当度を表す。「画像の説明」の項目は、当該画像の種類を簡易的に説明したものである。「一次元の値への圧縮」の項目は、一次元圧縮値を示したものである。
本実施形態に係る圧縮ルールでは、例えば、一次元圧縮値の最小値を０、最大値を１として、その間の数値範囲（０〜１）を３分割して、「人物クラス」については１〜０．６７の数値範囲、「荷物クラス」については０．６７〜０．３３の数値範囲、「空席クラス」については０．３３〜０と数値範囲を割り当てている。そして、圧縮ルールにおいては、まず、最大のクラス該当度の候補クラスの数値範囲を選択し、次に、当該数値範囲内において、二番目のクラス該当度の候補クラスを考慮して、当該二番目の候補クラス側に偏位するように一次元圧縮値を決定している。
例えば、典型的な人物画像は、各候補クラスａ，ｂ，ｃのクラス該当度（（人物のクラス該当度，荷物のクラス該当度，空席のクラス該当度）で表す）としては、例えば、（１，０，０）に相当する。この場合の一次元圧縮値は、「人物クラスａ」の数値範囲（１〜０．６７）のうち、「荷物クラスｂ」及び「空席クラスｃ」のクラス該当度が共に０であることから、「１」と算出される。
又、人物のように見える荷物画像は、各候補クラスａ，ｂ，ｃのクラス該当度としては、例えば、（０．８，１，０）に相当する。この場合の一次元圧縮値は、クラス該当度が最大の「荷物クラスｂ」の数値範囲（０．６７〜０．３３）のうち、「人物クラスａ」（二番目にクラス該当度が大きい）のクラス該当度が０．８と大きいことから、「人物クラスａ」の数値範囲（１〜０．６７）側に偏位させて「０．６」と算出される。
他方、荷物のように見える荷物画像は、各候補クラスａ，ｂ，ｃのクラス該当度としては、例えば、（０，１，０．８）に相当する。この場合の一次元圧縮値は、クラス該当度が最大の「荷物クラスｂ」の数値範囲（０．６７〜０．３３）のうち、「空席クラスｃ」（二番目にクラス該当度が大きい）のクラス該当度が０．８と大きいことから、「空席クラスｃ」の数値範囲（０．３３〜０）側に偏位させて「０．４」と算出される。
又、荷物のように見える空席画像は、各候補クラスａ，ｂ，ｃのクラス該当度としては、例えば、（０，０．８，１）に相当する。この場合の一次元圧縮値は、クラス該当度が最大の「空席クラスｃ」の数値範囲（０．３３〜０）のうち、「荷物クラスｂ」（二番目にクラス該当度が大きい）のクラス該当度が０．８と大きいことから、「荷物クラスｂ」の数値範囲（０．６７〜０．３３）側に偏位させて「０．３３」と算出される。
尚、各候補クラスａ，ｂ，ｃの数値範囲は、類似度の高い（識別対象によっては、クラス該当度が共に高くなる場合があることを意味する。以下同じ）候補クラス同士が隣接するように、割り当てられている。ここでは、図６Ｂを参照して説明したように、「人物クラスａ」と「荷物クラスｂ」との類似度が高く、「空席クラスｃ」と「荷物クラスｂ」との類似度が高い。従って、「荷物クラスｂ」の領域（０．６７〜０．３３）が、「人物クラスａ」の領域（１〜０．６７）と「空席クラスｃ」の領域（０．３３〜０）との間に設定されている。
これによって、一次元圧縮値は、「人物クラスａ」の領域（１〜０．６７）と「荷物クラスｂ」の領域（０．６７〜０．３３）の間の０．６６付近の値において、人物にも見え、且つ、荷物にも見える画像を識別した際の「人物クラスａ」のクラス該当度と「荷物クラスｂ」のクラス該当度の共分散状態を表現している。又、一次元圧縮値は、「空席クラスｃ」の領域（０．３３〜０）と「荷物クラスｂ」の領域（０．６７〜０．３３）の間の０．３３付近の値において、空席にも見え、且つ、荷物にも見える画像を識別した際の「空席クラスｃ」のクラス該当度と「荷物クラスｂ」のクラス該当度の共分散状態を表現している。つまり、一次元圧縮値においても、各候補クラスａ，ｂ，ｃのクラス該当度の比較と同等のクラス識別を可能としている。
但し、上記の圧縮ルールは、一例であって、種々に変更可能である。例えば、一次元圧縮値の数値範囲内（ここでは、０〜１）において、特定の候補クラスが占める割合が大きくなるように設定されてもよい。又、一次元圧縮値の数値範囲内（ここでは、０〜１）において、異なるクラス間で相関が生じる領域の占める割合が大きくなるように設定されてもよい。又、上記の圧縮ルールは、クラス該当度が３番目の大きさの候補クラスについても、考慮するものとしてもよい。又、一次元圧縮値を求める際には、各候補クラスａ，ｂ，ｃのクラス該当度と一次元圧縮値を関連付ける関数を用いてもよい。
図９は、学習データ生成部２０が行う処理の一例を示すフローチャートである。
ステップＳ２１においては、学習データ生成部２０は、まず、第２の学習データＤｔ２の対象とする画像データＤｔ２ａのうち、未処理のものがあるか否かを判定し、未処理の画像データＤｔ２ａがある場合（Ｓ２１：Ｙｅｓ）、ステップＳ２２に処理を進め、未処理の画像データＤｔ２ａがない場合（Ｓ２１：Ｎｏ）、学習データ生成部２０は、一連の処理を終了する。
ステップＳ２２においては、学習データ生成部２０（第１の識別処理部２１）は、学習処理済みの大規模識別器Ｄｍ１に対して、画像データＤｔ２ａを入力し、当該大規模識別器Ｄｍ１を用いた画像解析（例えば、ニューラルネットワークの順伝搬処理）によって、各候補クラスａ，ｂ，ｃのクラス該当度を算出する。
ステップＳ２３においては、学習データ生成部２０（圧縮部２２）は、上記した圧縮ルールに従って、各候補クラスａ，ｂ，ｃのクラス該当度を一次元圧縮値に変換する。
ステップＳ２４においては、学習データ生成部２０（圧縮部２２）は、一次元圧縮値データＤｔ２ｂを入力した画像データＤｔ２ａと関連付けて記憶部（例えば、外部記憶装置１０４）に格納する。そして、学習データ生成部２０は、再度、ステップＳ２１に戻って処理を実行する。
学習データ生成部２０は、このような処理を繰り返し実行することによって、第２の学習データＤｔ２（クラス該当度の一次元圧縮値のデータＤｔ２ｂと画像データＤｔ２ａとを関連付けたデータ）を複数生成する。
［第２の学習部］
第２の学習部３０は、第２の学習データＤｔ２を用いて、小規模識別器Ｄｍ２に対して、回帰法によって学習処理を施す。
回帰法の機械学習については、図１を参照して上記した通りであり、小規模識別器Ｄｍ２が識別する識別対象の識別結果が、第２の学習データＤｔ２の一次元圧縮値Ｄｔ２ｂとなるように、小規模識別器Ｄｍ２に対して学習処理を施す。
第２の学習部３０が小規模識別器Ｄｍ２の学習処理を行う際には、例えば、二乗誤差が損失関数として用いられる。そして、公知の誤差逆伝播法等によって、損失関数が最小化するように、ネットワークパラメータ（重み係数、及びバイアス等）の最適化が行われる。
尚、第２の学習データＤｔ２は、上記したように、画像データＤｔ２ａ及び各候補クラスａ，ｂ，ｃのクラス該当度の一次元圧縮値データＤｔ２ｂのデータセットであって、画像データＤｔ２ａ（本実施形態では、自動車の室内空間を撮影した画像）と一次元圧縮値データＤｔ２ｂとが関連付けられた状態で記憶部（例えば、外部記憶装置１０４）に複数記憶されている。
図１０は、第２の学習部３０が行う学習処理の一例を示すフローチャートである。
ステップＳ３１においては、第２の学習部３０は、まず、学習処理に用いていない未処理の第２の学習データＤｔ２があるか否かを判定し、未処理の第２の学習データＤｔ２がある場合（Ｓ３１：Ｙｅｓ）、ステップＳ３２に処理を進め、未処理の第２の学習データＤｔ２がない場合（Ｓ３１：Ｎｏ）、第２の学習部３０は、一連の処理を終了するべく、ステップＳ３４に処理を進める。
ステップＳ３２においては、第２の学習部３０は、未処理の第２の学習データＤｔ２を記憶部から取得する。
ステップＳ３３においては、第２の学習部３０は、第２の学習データＤｔ２を用いて、小規模識別器Ｄｍ２に対して学習処理を施す。尚、この際の学習処理は、上記したように、回帰法が用いられ、小規模識別器Ｄｍ２が出力する出力値が、第２の学習データＤｔ２の一次元圧縮値Ｄｔ２ｂとなるように、小規模識別器Ｄｍ２に対して学習処理を施す。そして、第２の学習部３０は、再度、ステップＳ３１に戻って処理を実行する。
ステップＳ３４においては、第２の学習部３０は、学習処理が施された小規模識別器のモデルデータＤｍ２（学習処理済みのネットワークパラメータ）を、例えば、外部記憶装置１０４に格納する。そして、一連のフローを終了する。
小規模識別器Ｄｍ２は、かかる処理によって、識別対象（自動車の室内空間を撮影した画像）について、各候補クラスａ，ｂ，ｃのクラス該当度に復元可能な一次元圧縮値を出力し得るように最適化される。
［効果］
以上のように、本実施形態に係る学習装置１は、ダークナレッジ学習システムにおいて、学習処理済みの大規模識別器Ｄｍ１を用いて、各候補クラスａ，ｂ，ｃのクラス該当度を次元圧縮した状態にて、小規模識別器Ｄｍ２用の第２の学習データＤｔ２を生成し、これを用いて小規模識別器Ｄｍ２に対して学習処理を施す。
これによって、高い識別性能を確保しつつ、より小型な小規模識別器Ｄｍ２を構成することができる。又、これによって、小規模識別器Ｄｍ２に対して学習処理を施す際の学習データを軽減することも可能となる。
特に、本実施形態に係る学習装置１は、各候補クラスａ，ｂ，ｃの識別処理における相関性を考慮した圧縮ルールを用いて、各候補クラスａ，ｂ，ｃのクラス該当度を次元圧縮する。これによって、小規模識別器Ｄｍ２の高い識別性能を確実に確保することが可能となる。
（第１の実施形態の応用例）
図１１は、第１の実施形態に係る学習装置１の応用例を示す図である。
本実施形態に係る応用例においては、推定装置２が設けられている点で、第１の実施形態と相違する。尚、第１の実施形態と共通する構成については、説明を省略する（以下、他の実施形態についても同様）。
推定装置２は、学習装置１から学習処理済みの小規模識別器Ｄｍ２のモデルデータを取得する。そして、推定装置２は、小規模識別器Ｄｍ２を用いて、入力された識別対象の識別処理を行い、小規模識別器Ｄｍ２が出力する次元圧縮した値と所定の圧縮ルールとに基づいて、識別対象を複数の候補クラスのいずれかに分類する。
尚、推定装置２は、学習装置１と同様に、主たるコンポーネントとして、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、外部記憶装置（例えば、フラッシュメモリ）、及び通信インターフェイス等を備えたコンピュータである。
より詳細には、推定装置２は、入力部４１、第２の識別処理部４２、復元部４３、及び出力部４４を含んで構成される。
入力部４１は、未識別状態の識別対象（例えば、自動車の室内空間を撮影した画像）をカメラ装置等から取得する。
第２の識別処理部４２は、学習処理済みの小規模識別器Ｄｍ２を用いて、入力部４１が取得した識別対象を識別する。
復元部４３は、第２の識別処理部４２が出力する一次元圧縮値を圧縮ルール（図８を参照）に従って各候補クラスａ，ｂ，ｃのクラス該当度に復元する。
出力部４４は、復元部４３が出力する各候補クラスａ，ｂ，ｃのクラス該当度のうち、クラス該当度が最大の候補クラスを選択して、識別結果として外部（例えば、ディスプレイ）に出力する。
尚、本実施形態に係る推定装置２は、一次元圧縮値を各候補クラスａ，ｂ，ｃのクラス該当度に復元する構成とするが、圧縮ルールから直接的に、識別対象を複数の候補クラスａ，ｂ，ｃのいずれかに分類する構成としてもよいのは勿論である。
図１２は、推定装置２が行う推定処理の一例を示すフローチャートである。
ステップＳ４１において、推定装置２は、まず、識別すべき画像データがあるか否かを判定し、識別すべき画像データがある場合（Ｓ４１：Ｙｅｓ）、ステップＳ４２に処理を進め、識別すべき画像データがない場合（Ｓ４１：Ｎｏ）、一連の処理を終了する。
ステップＳ４２において、推定装置２（第２の識別処理部４１）は、学習処理済みの小規模識別器Ｄｍ２に対して、識別すべき画像データを入力し、当該小規模識別器Ｄｍ２を用いた画像解析（例えば、ニューラルネットワークの順伝搬処理）によって、一次元圧縮値を算出する。
ステップＳ４３において、推定装置２（復元部４３）は、第２の識別処理部４２が出力する一次元圧縮値を圧縮ルールに従って各候補クラスａ，ｂ，ｃのクラス該当度に復元する。
ステップＳ４４において、推定装置２（出力部４４）は、復元部４３が出力する各候補クラスａ，ｂ，ｃのクラス該当度のうち、クラス該当度が最大の候補クラスを選択して、識別結果として外部（例えば、ディスプレイ）に出力する。そして、一連の処理を終了する。
推定装置２は、かかる構成によって、学習装置１から取得した学習処理済みの小規模識別器Ｄｍ２のモデルデータを用いて、識別対象を複数の候補クラスのいずれかに分類する。
（第２の実施形態）
図１３は、第２の実施形態に係る学習装置１の構成の一例を示す図である。
本実施形態に係る学習装置１は、上記した圧縮ルールを生成する圧縮ルール生成部５０を有している点で、第１の実施形態と相違する。尚、図１３には、上記した第１の実施形態の応用例と同様に、推定装置２を有する構成を示している。
圧縮ルール生成部５０の処理は、大規模識別器Ｄｍ１に学習処理を施すフェーズＴ１の後であって、且つ、学習処理済みの大規模識別器Ｄｍ１を用いて小規模識別器Ｄｍ２用の学習データＤｔ２を生成するフェーズＴ２前のフェーズＴ２ａにおいて、実行される。
圧縮ルール生成部５０は、第３の識別処理部５１、分析部５２、及び圧縮ルール設定部５３を含んで構成される。
第３の識別処理部５１は、学習処理済みの大規模識別器Ｄｍ１を用いて、識別対象の識別処理を行って、各候補クラスａ，ｂ，ｃのクラス該当度を生成する。
分析部５２は、第３の識別処理部５１が生成した各候補クラスａ，ｂ，ｃのクラス該当度のクラス間における共分散の状態を分析する。
圧縮ルール設定部５３は、分析部５２が生成したクラス間における共分散の状態に基づいて、上記した圧縮ルールＤｒを設定する。
学習データ生成部２０（圧縮部２２）及び、推定装置２の復元部４３は、圧縮ルール設定部５０が設定した圧縮ルールのデータＤｒを参照して、第１の実施形態と同様の処理を実行する。
以下、図１４〜図１７を参照して、圧縮ルール生成部５０が圧縮ルールを生成する際の処理の一例を説明する。
本実施形態に係る圧縮ルール設定部５０は、例えば、第１の学習データＤｔ１と同様の構成を有する第３の学習データＤｔ３（正解クラスデータＤｔ３ｂと画像データＤｔ３ａのデータセット）を用いて、各候補クラスａ，ｂ，ｃのクラス該当度のクラス間における共分散の状態を分析する。
但し、圧縮ルール設定部５０が参照する第３の学習データＤｔ３は、第１の学習データＤｔ１と同一のデータであってもよい。他方、圧縮ルール設定部５０は、正解クラスデータＤｔ３ｂを用いることなく、第３の識別処理部５１が出力する各候補クラスａ，ｂ，ｃのクラス該当度から、直接的にクラス間の共分散を求めてもよい。
図１４〜図１６は、圧縮ルール生成部５０が行う動作の一例を示すフローチャートである。圧縮ルール生成部５０は、候補クラス間の識別分離性の調査Ｓａを行った後（図１５を参照して後述）、クラス該当度の連結位置の調査Ｓｂを行う（図１６を参照して後述）。
図１７は、圧縮ルール生成部５０が参照するデータテーブルである。尚、図１７は、各候補クラスａ，ｂ，ｃのクラス該当度について、正解クラス毎に分散値を算出した一覧表に相当する。尚、分析部５２は、図１７のデータテーブルを用いて、各候補クラスａ，ｂ，ｃのクラス間の相関度合いを分析する。
ステップＳａ１において、まず、第３の識別処理部５１は、学習処理済みの大規模識別器Ｄｍ１に対して第３の学習データＤｔ３の画像データＤｔ３ａを入力して、画像解析（例えば、ニューラルネットワークの順伝搬処理）により、各候補クラスａ，ｂ，ｃのクラス該当度を出力する。
ステップＳａ２において、分析部５２は、ステップＳａ１で生成された各候補クラスａ，ｂ，ｃのクラス該当度を用いて、クラス該当度の分散値を正解クラス毎に算出する（図１７Ａを参照）。
ステップＳａ３において、分析部５２は、正解クラスのときに、各候補クラスａ，ｂ，ｃのクラス該当度の分散値が基準値（例えば、１．０×１０−５）よりも小さいか否かを判定する。そして、分析部５２は、当該分散値が基準値よりも小さい場合（Ｓａ３：Ｙｅｓ）、ステップＳａ４に処理を進める。一方、分析部５２は、当該分散値が基準値よりも小さくない場合（Ｓａ３：Ｎｏ）、ステップＳａ５に処理を進める。
尚、このステップＳａ３においては、分析部５２は、各候補クラスａ，ｂ，ｃの識別分離性の程度を判定しており、正解クラスのときにもいずれかのクラス該当度の分散値が大きい場合には（Ｓａ３：Ｎｏ）、他の候補クラスとの識別分離性の程度が小さく一次元圧縮値に圧縮すると復元することができない状態と判定し得る。
ステップＳａ４において、分析部５２は、不正解クラスのときに、各候補クラスａ，ｂ，ｃのクラス該当度の分散値が基準値（例えば、１．０×１０−５）よりも小さい候補クラスがあるか否かを判定する。そして、分析部５２は、当該分散値が基準値よりも小さいものがある場合（Ｓａ４：Ｙｅｓ）、ステップＳａ６に処理を進める。一方、当該分散値が基準値よりも小さいものがない場合（Ｓａ４：Ｎｏ）、ステップＳａ５に処理を進める。
尚、このステップＳａ４においては、分析部５２は、ステップＳａ３と同様に、各候補クラスａ，ｂ，ｃの識別分離性の程度を判定している。不正解クラスのときに分散値が小さい候補クラスは、正解クラスに対して高いに識別分離性を有することを意味する。つまり、不正解クラスのときに分散値が小さい候補クラスがない場合には（Ｓａ４：Ｎｏ）、他の候補クラスとの識別分離性の程度が小さく一次元圧縮値に圧縮すると復元することができない状態と判定し得る。
ステップＳａ５において、分析部５２は、圧縮ルールの生成が失敗した旨をディスプレイ等に出力し、フローＳａの一連のルーチン処理を終了する。
ステップＳａ６において、分析部５２は、図１７Ａの一覧表中から、正解クラスの項目（Ｎ１）、及び分散値が小さい不正解クラスの項目（Ｎ２）を連結位置から除外し（図１７Ｂを参照）、図１６の連結位置の調査のフローＳｂに移行する。
尚、フローＳｂに移行する際に、図１７Ａの一覧表中で除外されていない項目が、各候補クラスａ，ｂ，ｃのクラス間の相関度合いが高い項目であり、連結すべき位置の候補となる。
ステップＳｂ１において、分析部５２は、各候補クラスａ，ｂ，ｃ中から一の正解クラスを選択する。
ステップＳｂ２において、分析部５２は、図１７Ｂの一覧表中で、当該正解クラスの行において、分散値が基準値（例えば、１．０×１０−５）よりも大きい不正解クラスが２つかを判定する。分析部５２は、例えば、当該不正解クラスが２つである場合（Ｓｂ２：Ｙｅｓ）、ステップＳｂ３に処理を進める。一方、当該不正解クラスが２つでない場合（Ｓｂ２：Ｎｏ）、ステップＳｂ６に処理を進める。
ステップＳｂ３において、分析部５２は、選択された２項目を連結Ｎ３する（図１７Ｃを参照）。
尚、図１７Ｃでは、荷物クラスが正解クラスの行において、人物クラスの候補クラスと空席クラスの候補クラスとを連結している。かかる連結は、荷物クラスと人物クラスが、識別処理において相関性を有していると判断したことを意味する。
ステップＳｂ４において、分析部５２は、Ｎ３で連結した項目が正解・不正解を反転させた関係においても相関性が高いか否かを判定する。分析部５２は、例えば、Ｎ３で連結した項目の正解・不正解を反転させた項目の分散値が基準値（例えば、１．０×１０−５）よりも大きいか否かにより、当該相関性を判定する（例えば、正解クラスが荷物クラスのときの人物クラスに関するクラス該当度の分散と、正解クラスが人物クラスのときの荷物クラスに関するクラス該当度の分散と、が共に高い値かを判定する）。そして、分析部５２は、当該相関性が高い場合（Ｓｂ４：Ｙｅｓ）、ステップＳｂ５に処理を進める。一方、相関性が低い場合（Ｓｂ４：Ｎｏ）、ステップＳｂ６に処理を進める。
ステップＳｂ５において、分析部５２は、ステップＳｂ４で選択された２項目を連結Ｎ４する（図１７Ｄを参照）。
尚、このステップＳｂ４、Ｓｂ５は、ステップＳｂ２、Ｓｂ３で分析した共分散の状態の確認の処理に相当する。例えば、図１７Ｄでは、荷物クラスｂが正解クラスのときの人物クラスａの候補クラスの分散値と、人物クラスａが正解クラスのときの荷物クラスｂの候補クラスの分散値は、共に大きく、両者は相関性を有していると言える。又、荷物クラスｂが正解クラスのときの空席クラスｃの候補クラスの分散値と、空席クラスｃが正解クラスのときの荷物クラスｂの候補クラスの分散値は、共に大きく、両者は相関性を有していると言える。
ステップＳｂ６において、分析部５２は、連結調査が未処理のものがあるか否かを判定し、未処理のものがある場合（Ｓｂ６：Ｙｅｓ）、再度、ステップＳｂ１に戻って処理を繰り返す。未処理のものがない場合（Ｓｂ６：Ｎｏ）、ステップＳｂ７に処理を進める。
ステップＳｂ７において、分析部５２は、連結Ｎ４の個数が（候補クラス数−１）カ所存在するかを判定する（候補クラス数が３の場合には、連結Ｎ４の個数が２カ所存在するか否かを判定する）。そして、分析部５２は、連結Ｎ４の個数が（候補クラス数−１）カ所存在する場合（Ｓｂ７：Ｙｅｓ）、ステップＳｂ８に処理を進める。一方、連結Ｎ４の個数が（候補クラス数−１）カ所に満たない場合（Ｓｂ７：Ｎｏ）、ステップＳｂ９に処理を進める。
尚、ステップＳｂ７の条件が満たされている場合、第１の候補クラスと第２の候補クラスの間（ここでは、人物クラスａと荷物クラスｂの間）、及び、第２の候補クラスと第３の候補クラスの間（ここでは、荷物クラスｂと空席クラスｃの間）においてのみ、識別処理の際に相関性を有すると判断できる。換言すると、各候補クラスａ，ｂ，ｃのクラス該当度を一次元圧縮値として表現可能であることを意味する。
ステップＳｂ８において、圧縮ルール設定部５３は、上記の連結Ｎ３及び連結Ｎ４に基づいて、圧縮ルールを設定する（図１７Ｅを参照）。
圧縮ルール設定部５３は、例えば、連結Ｎ４で連結する順に、各候補クラスａ，ｂ，ｃのクラス該当度の数値範囲を均等に設定する（例えば、空席クラスｃ＝０〜０．３３、荷物クラスｂ＝０．３３〜０．６７、人物クラスａ＝０．６７〜１．０）。そして、圧縮ルール設定部５３は、各候補クラスａ，ｂ，ｃのクラス該当度の数値範囲が、他の候補クラスとの識別処理における相関性（画像中の類似度）が高くなるほど、他の候補クラスの数値範囲との境界側になるように設定する（例えば、人物のように見える荷物画像＝０．６、荷物のように見える人物画像＝０．７）。
圧縮ルール生成部５０は、上記のようにして、第１の実施形態と同様の圧縮ルールを設定することができる。そして、連結位置の調査のフローＳｂのルーチン処理を終了する。
尚、ステップＳｂ９においては、圧縮ルール生成部５０は、圧縮ルールの生成が失敗した旨をディスプレイ等に出力し、一連のフローを終了する。
以上のように、本実施形態に係る学習装置１によれば、学習処理済みの大規模識別器Ｄｍ１を用いて、複数の候補クラスａ，ｂ，ｃそれぞれについてのクラス該当度のクラス間の相関度合いを分析し、その結果を用いて圧縮ルールを生成する。
これによって、識別処理において相関性を有する候補クラスが明確でない場合等、事前に圧縮ルールを設定していない場合にも、適切な圧縮ルールを生成することが可能となる。
又、本実施形態に係る学習装置１によれば、正解クラス毎の複数の候補クラスａ，ｂ，ｃそれぞれについてのクラス該当度の分散として、クラス間の相関度合いを算出する。従って、クラス間の相関度合いを容易に分析することが可能となる。
尚、本実施形態においては、推定装置２は、学習装置１から、学習処理済みの小規模識別器Ｄｍ２のモデルデータに加えて、圧縮ルールのデータＤｒを取得して、識別対象を複数の候補クラスのいずれかに分類する構成となる。
（第２の実施形態の変形例）
本実施形態に係る圧縮ルール生成部５０は、候補クラス数が４つの場合にも、適用し得るのは勿論である。
図１８は、圧縮ルール生成部５０の処理を模式的に示す図である。尚、図１８は、図１７と同様に、圧縮ルール生成部５０が参照するデータテーブルであり、各候補クラスＡ，Ｂ，Ｃ，Ｄのクラス該当度について、正解クラス毎に分散値を算出した一覧表に相当する。
この際に圧縮ルール生成部５０が行う具体的な処理は、図１４乃至図１６のフローチャートと同様であるからここでの説明は詳細な省略する。
圧縮ルール生成部５０は、まず、各候補クラスＡ，Ｂ，Ｃ，Ｄのクラス該当度を用いて、クラス該当度の分散値を正解クラス毎に算出する（図１８Ａを参照）。
次に、圧縮ルール生成部５０は、は、図１８Ａの一覧表中から、正解クラスの項目（Ｎ１）、及び分散値が小さい不正解クラスの項目（Ｎ２）を連結位置から除外する（図１８Ｂを参照）。
次に、圧縮ルール生成部５０は、図１８Ｂの一覧表中で、当該正解クラスの行において、分散値が大きい不正解クラスが２つのものを連結（Ｎ３）する（図１８Ｃを参照）。
次に、圧縮ルール生成部５０は、図１８Ｃの一覧表中で、Ｎ３で連結した項目について、正解・不正解を反転させた関係において相関性が高い場合（共分散している場合）、２項目を連結（Ｎ４）する（図１８Ｃを参照）。
このようにして生成した連結Ｎ４の個数が、（候補クラス数−１）カ所（ここでは、３カ所）である場合、第１の候補クラスと第２の候補クラスの間（ここでは、ＡクラスとＢクラスの間）、第２の候補クラスと第３の候補クラスの間（ここでは、ＢクラスとＣクラスの間）、及び、第３の候補クラスと第４の候補クラスの間（ここでは、ＣクラスとＤクラスの間）においてのみ、識別処理の際に相関性を有すると判断できる。従って、各候補クラスＡ，Ｂ，Ｃ，Ｄのクラス該当度を一次元圧縮値として表現可能であることを意味する。
圧縮ルール生成部５０は、このようにして、候補クラス数が３クラスの場合と同様に、圧縮ルールを設定することができる（図１８Ｄを参照）。
（その他の実施形態）
本発明は、上記実施形態に限らず、種々に変形態様が考えられる。
上記実施形態では、小規模識別器Ｄｍ２の一例として、単一の識別対象のクラスのみを識別する態様を示した。しかしながら、小規模識別器Ｄｍ２は、複数の識別対象のクラスを識別可能に構成してもよい。例えば、小規模識別器Ｄｍ２は、一枚の入力画像から、助手席の空席状態に関する候補クラス（例えば、助手席が「人物クラス」、「荷物クラス」又は「空席クラス」）のクラス該当度を出力する出力素子に加えて、車中に存在する人の総数に関する候補クラス（例えば、「２人有りクラス」、「３人有りクラス」又は「４人有りクラス」）のクラス該当度を出力する出力素子を有する構成としてもよい。本発明によれば、学習データの軽減等を図ることができるため、かかる態様においては、他の識別対象のクラスを識別する素子への干渉を低減することにもつながる。
又、上記実施形態では、圧縮ルールの一例として、複数の候補クラスのクラス該当度を一次元の値に圧縮する態様を示したが、二次元等の値に圧縮する構成としてもよい。その場合、複数の候補クラスのクラス該当度を二次元座標上の一点に変換すればよい。尚、かかる態様においても、圧縮ルールは、複数の候補クラスそれぞれについて、識別処理において相関性を有する候補クラス同士が隣接するように、次元圧縮した値の数値範囲を割り当て、複数の候補クラスそれぞれについてのクラス該当度に基づいて、最大のクラス該当度を有する第１の候補クラスに対応する数値範囲内において、第１の候補クラスに次ぐ大きさのクラス該当度を有する第２の候補クラスの数値範囲に近づくように、次元圧縮した値への変換を行うように構成すればよい。
又、上記実施形態では、学習装置１の動作の一例として、第１の学習部１０、学習データ生成部２０、及び第２の学習部３０が順番に実行されるものとして示したが、これらの処理の一部又は全部が並列で実行されるものとしてもよいのは勿論である。
又、上記実施形態では、学習装置１の構成の一例として、一のコンピュータによって実現されるものとして記載したが、複数のコンピュータによって実現されてもよいのは勿論である。又、当該コンピュータに読み出されるプログラムやデータ、及び当該コンピュータが書き込むデータ等が、複数のコンピュータに分散して格納されてもよい。
以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
本明細書および添付図面の記載により、少なくとも以下の事項が明らかとなる。
識別対象と当該識別対象の正解クラスとを関連付けた第１の学習データを用いて、第１の識別器が前記識別対象を前記正解クラスおよび他の候補クラスを含む複数の候補クラスに分類する識別処理を行った際に、前記第１の識別器が前記識別処理の結果として出力する前記正解クラスに対応する候補クラスのクラス該当度が前記他の候補クラスのクラス該当度と比較して最大となるように、前記第１の識別器に対して学習処理を施す第１の学習部１０と、
前記学習処理済みの第１の識別器を用いて識別対象の識別処理を行い、前記学習処理済みの第１の識別器が前記識別処理の結果として出力する前記複数の候補クラスのクラス該当度を所定の圧縮ルールに基づいて次元圧縮した値に変換し、前記変換された値と前記識別対象とを関連付けて第２の学習データを生成する学習データ生成部２０と、
前記第２の学習データを用いて前記第１の識別器とは異なる第２の識別器が識別対象の識別処理を行った際に、前記第２の識別器が前記識別処理の結果として出力する前記複数の候補クラスのクラス該当度が前記次元圧縮した値となるように、前記第２の識別器に対して学習処理を施す第２の学習部３０と、
を備える学習装置１を開示する。
この学習装置１によれば、高い識別性能を確保しつつ、より小型な小規模識別器Ｄｍ２を構成することができる。又、この学習装置１によれば、小規模識別器Ｄｍ２に対して学習処理を施す際の学習データを軽減することも可能となる。
又、本開示の学習装置１において、前記次元圧縮した値は、所定の数値範囲を、類似度の高い候補クラス同士が隣接するように前記複数の候補クラスそれぞれに分割した領域内のいずれかの値であって、前記所定の圧縮ルールは、前記次元圧縮した値が、最大のクラス該当度を有する第１の候補クラスに対応する前記数値範囲内において、前記第１の候補クラスに次ぐ大きさのクラス該当度を有する第２の候補クラスのクラス該当度に応じて、前記第２の候補クラスに対応する前記数値範囲の側に偏位するように、前記変換を行ってもよい。
この学習装置１によれば、小規模識別器Ｄｍ２の高い識別性能を確実に確保することが可能となる。
又、本開示の学習装置１は、学習処理済みの前記第１の識別器Ｄｍ１を用いて前記識別対象の識別処理を行い、前記第１の識別器が出力する前記複数の候補クラスについてのクラス該当度からクラス間の相関度合いを求め、当該相関度合いに基づいて、前記所定の圧縮ルールを生成する圧縮ルール生成部５０、を更に有してもよい。
この学習装置１によれば、識別処理において相関性を有する候補クラスが明確でない場合等、事前に圧縮ルールを設定していない場合にも、適切な圧縮ルールを生成することが可能となる。
又、本開示の学習装置１において、前記圧縮ルール生成部５０は、正解クラス毎の前記複数の候補クラスそれぞれについてのクラス該当度の分散によって、前記クラス間の相関度合いを判断してもよい。
この学習装置１によれば、クラス間の相関度合いを容易に分析することが可能となる。
又、本開示の学習装置１において、前記複数の候補クラスａ，ｂ，ｃは、少なくとも３つの候補クラスを有してもよい。
又、本開示の学習装置１において、前記第１の識別器Ｄｍ１及び前記第２の識別器Ｄｍ２は、いずれも、ニューラルネットワークを含んで構成されてもよい。
又、本開示の学習装置１において、前記識別対象は、画像データであってもよい。
又、上記学習装置１から取得した前記学習処理済みの第２の識別器を用いて、入力された識別対象の識別処理を行い、前記学習処理済みの第２の識別器が前記識別処理の結果として出力する前記複数の候補クラスの次元圧縮した値と前記所定の圧縮ルールとに基づいて、前記識別対象を前記複数の候補クラスのいずれかに分類する推定装置２を開示する。
又、識別対象と当該識別対象の正解クラスとを関連付けた第１の学習データを用いて、第１の識別器が前記識別対象を前記正解クラスおよび他の候補クラスを含む複数の候補クラスに分類する識別処理を行った際に、前記第１の識別器が前記識別処理の結果として出力する前記正解クラスに対応する候補クラスのクラス該当度が前記他の候補クラスのクラス該当度と比較して最大となるように、前記第１の識別器に対して学習処理を施し、
前記学習処理済みの第１の識別器を用いて識別対象の識別処理を行い、前記学習処理済みの第１の識別器が前記識別処理の結果として出力する前記複数の候補クラスのクラス該当度を所定の圧縮ルールに基づいて次元圧縮した値に変換し、前記変換された値と前記識別対象とを関連付けて第２の学習データを生成し、
前記第２の学習データを用いて前記第１の識別器とは異なる第２の識別器が識別対象の識別処理を行った際に、前記第２の識別器が前記識別処理の結果として出力する前記複数の候補クラスのクラス該当度が前記次元圧縮した値となるように、前記第２の識別器に対して学習処理を施す、学習方法を開示する。
又、上記学習方法で学習処理が施された前記学習処理済みの第２の識別器を用いて、入力された識別対象の識別処理を行い、前記学習処理済みの第２の識別器が前記識別処理の結果として出力する前記複数の候補クラスの次元圧縮した値と前記所定の圧縮ルールとに基づいて、前記識別対象を前記複数の候補クラスのいずれかに分類する推定方法を開示する。
又、コンピュータに、
識別対象と当該識別対象の正解クラスとを関連付けた第１の学習データを用いて、第１の識別器が前記識別対象を前記正解クラスおよび他の候補クラスを含む複数の候補クラスに分類する識別処理を行った際に、前記第１の識別器が前記識別処理の結果として出力する前記正解クラスに対応する候補クラスのクラス該当度が前記他の候補クラスのクラス該当度と比較して最大となるように、前記第１の識別器に対して学習処理を施す処理と、
前記学習処理済みの第１の識別器を用いて識別対象の識別処理を行い、前記学習処理済みの第１の識別器が前記識別処理の結果として出力する前記複数の候補クラスのクラス該当度を所定の圧縮ルールに基づいて次元圧縮した値に変換し、前記変換された値と前記識別対象とを関連付けて第２の学習データを生成する処理と、
前記第２の学習データを用いて前記第１の識別器とは異なる第２の識別器が識別対象の識別処理を行った際に、前記第２の識別器が前記識別処理の結果として出力する前記複数の候補クラスのクラス該当度が前記次元圧縮した値となるように、前記第２の識別器に対して学習処理を施す処理と、
を実行させる、学習プログラムを開示する。
又、コンピュータに、
上記学習プログラムで学習処理が施された前記学習処理済みの第２の識別器を用いて、入力された識別対象の識別処理を行い、前記学習処理済みの第２の識別器が前記識別処理の結果として出力する前記複数の候補クラスの次元圧縮した値と前記所定の圧縮ルールとに基づいて、前記識別対象を前記複数の候補クラスのいずれかに分類する処理
を実行させる、推定プログラムを開示する。
本開示に係る学習装置によれば、識別器のより一層の小型化が可能である。
１ 学習装置
２ 推定装置
１０ 第１の学習部
２０ 学習データ生成部
２１ 第１の識別処理部
２２ 圧縮部
３０ 第２の学習部
４１ 入力部
４２ 第２の識別処理部
４３ 復元部
４４ 出力部
５０ 圧縮ルール生成部
５１ 第３の識別処理部
５２ 分析部
５３ 圧縮ルール設定部
Ｄｍ１ 大規模識別器
Ｄｍ２ 小規模識別器
Ｄｔ１ 第１の学習データ
Ｄｔ２ 第２の学習データ

Claims (13)

  1. 識別対象と当該識別対象の正解クラスとを関連付けた第１の学習データを用いて、第１の識別器が前記識別対象を前記正解クラスおよび他の候補クラスを含む複数の候補クラスに分類する識別処理を行った際に、前記第１の識別器が前記識別処理の結果として出力する前記正解クラスに対応する候補クラスのクラス該当度が前記他の候補クラスのクラス該当度と比較して最大となるように、前記第１の識別器に対して学習処理を施す第１の学習部と、
    前記学習処理済みの第１の識別器を用いて識別対象の識別処理を行い、前記学習処理済みの第１の識別器が前記識別処理の結果として出力する前記複数の候補クラスのクラス該当度を所定の圧縮ルールに基づいて次元圧縮した値に変換し、前記変換された値と前記識別対象とを関連付けて第２の学習データを生成する学習データ生成部と、
    前記第２の学習データを用いて前記第１の識別器とは異なる第２の識別器が識別対象の識別処理を行った際に、前記第２の識別器が前記識別処理の結果として出力する前記複数の候補クラスのクラス該当度が前記次元圧縮した値となるように、前記第２の識別器に対して学習処理を施す第２の学習部と、
    を備える学習装置。
  2. 前記次元圧縮した値は、前記複数の候補クラスそれぞれに領域分割された所定の数値範囲内のいずれかの値であり、
    前記複数の候補クラスそれぞれの領域の前記数値範囲は、類似度の高い候補クラス同士が隣接するように割り当てられ、
    前記所定の圧縮ルールは、前記次元圧縮した値が、前記複数の候補クラスのうち、最大のクラス該当度を有する第１の候補クラスに対応する前記数値範囲内において、前記第１の候補クラスに次ぐ大きさのクラス該当度を有する第２の候補クラスのクラス該当度に応じて、前記第２の候補クラスに対応する前記数値範囲の側に偏位するように、前記変換を行う
    請求項１に記載の学習装置。
  3. 前記学習処理済みの第１の識別器を用いて識別対象の識別処理を行い、前記学習処理済みの第１の識別器が前記識別処理の結果として出力する前記複数の候補クラスのクラス該当度から前記複数の候補クラス間の相関度合いを求め、当該相関度合いに基づいて前記所定の圧縮ルールを生成する圧縮ルール生成部、を更に有する
    請求項２に記載の学習装置。
  4. 前記圧縮ルール生成部は、各正解クラスに対応する前記複数の候補クラスそれぞれのクラス該当度の分散によって、前記複数の候補クラス間の相関度合いを判断する
    請求項３に記載の学習装置。
  5. 前記次元圧縮した値は、前記複数の候補クラスそれぞれのクラス該当度を一次元に圧縮した値である
    請求項１から４のいずれか一項に記載の学習装置。
  6. 前記複数の候補クラスは、前記正解クラスおよび前記他の正解クラスを含む少なくとも３つの候補クラスを有する
    請求項１から５のいずれか一項に記載の学習装置。
  7. 前記第１の識別器及び前記第２の識別器は、いずれも、ニューラルネットワークを含んで構成される
    請求項１から６のいずれか一項に記載の学習装置。
  8. 前記識別対象は、画像データである
    請求項１から７のいずれか一項に記載の学習装置。
  9. 請求項１から８のいずれか一項に記載の学習装置から取得した前記学習処理済みの第２の識別器を用いて、入力された識別対象の識別処理を行い、前記学習処理済みの第２の識別器が前記識別処理の結果として出力する前記複数の候補クラスの次元圧縮した値と前記所定の圧縮ルールとに基づいて、前記識別対象を前記複数の候補クラスのいずれかに分類する
    推定装置。
  10. 識別対象と当該識別対象の正解クラスとを関連付けた第１の学習データを用いて、第１の識別器が前記識別対象を前記正解クラスおよび他の候補クラスを含む複数の候補クラスに分類する識別処理を行った際に、前記第１の識別器が前記識別処理の結果として出力する前記正解クラスに対応する候補クラスのクラス該当度が前記他の候補クラスのクラス該当度と比較して最大となるように、前記第１の識別器に対して学習処理を施し、
    前記学習処理済みの第１の識別器を用いて識別対象の識別処理を行い、前記学習処理済みの第１の識別器が前記識別処理の結果として出力する前記複数の候補クラスのクラス該当度を所定の圧縮ルールに基づいて次元圧縮した値に変換し、前記変換された値と前記識別対象とを関連付けて第２の学習データを生成し、
    前記第２の学習データを用いて前記第１の識別器とは異なる第２の識別器が識別対象の識別処理を行った際に、前記第２の識別器が前記識別処理の結果として出力する前記複数の候補クラスのクラス該当度が前記次元圧縮した値となるように、前記第２の識別器に対して学習処理を施す、
    学習方法。
  11. 請求項１０に記載の学習方法で学習処理が施された前記学習処理済みの第２の識別器を用いて、入力された識別対象の識別処理を行い、前記学習処理済みの第２の識別器が前記識別処理の結果として出力する前記複数の候補クラスの次元圧縮した値と前記所定の圧縮ルールとに基づいて、前記識別対象を前記複数の候補クラスのいずれかに分類する
    推定方法。
  12. コンピュータに、
    識別対象と当該識別対象の正解クラスとを関連付けた第１の学習データを用いて、第１の識別器が前記識別対象を前記正解クラスおよび他の候補クラスを含む複数の候補クラスに分類する識別処理を行った際に、前記第１の識別器が前記識別処理の結果として出力する前記正解クラスに対応する候補クラスのクラス該当度が前記他の候補クラスのクラス該当度と比較して最大となるように、前記第１の識別器に対して学習処理を施す処理と、
    前記学習処理済みの第１の識別器を用いて識別対象の識別処理を行い、前記学習処理済みの第１の識別器が前記識別処理の結果として出力する前記複数の候補クラスのクラス該当度を所定の圧縮ルールに基づいて次元圧縮した値に変換し、前記変換された値と前記識別対象とを関連付けて第２の学習データを生成する処理と、
    前記第２の学習データを用いて前記第１の識別器とは異なる第２の識別器が識別対象の識別処理を行った際に、前記第２の識別器が前記識別処理の結果として出力する前記複数の候補クラスのクラス該当度が前記次元圧縮した値となるように、前記第２の識別器に対して学習処理を施す処理と、
    を実行させる、学習プログラム。
  13. コンピュータに、
    請求項１２に記載の学習プログラムで学習処理が施された前記学習処理済みの第２の識別器を用いて、入力された識別対象の識別処理を行い、前記学習処理済みの第２の識別器が前記識別処理の結果として出力する前記複数の候補クラスの次元圧縮した値と前記所定の圧縮ルールとに基づいて、前記識別対象を前記複数の候補クラスのいずれかに分類する処理
    を実行させる、推定プログラム。

JP2017171486A 2017-09-06 2017-09-06 学習装置、学習方法、学習プログラム、推定装置、推定方法、及び推定プログラム Active JP6883787B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017171486A JP6883787B2 (ja) 2017-09-06 2017-09-06 学習装置、学習方法、学習プログラム、推定装置、推定方法、及び推定プログラム
US16/116,954 US11514307B2 (en) 2017-09-06 2018-08-30 Learning apparatus, learning method, estimation apparatus, estimation method, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017171486A JP6883787B2 (ja) 2017-09-06 2017-09-06 学習装置、学習方法、学習プログラム、推定装置、推定方法、及び推定プログラム

Publications (2)

Publication Number Publication Date
JP2019046380A true JP2019046380A (ja) 2019-03-22
JP6883787B2 JP6883787B2 (ja) 2021-06-09

Family

ID=65517325

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017171486A Active JP6883787B2 (ja) 2017-09-06 2017-09-06 学習装置、学習方法、学習プログラム、推定装置、推定方法、及び推定プログラム

Country Status (2)

Country Link
US (1) US11514307B2 (ja)
JP (1) JP6883787B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210071935A (ko) 2019-12-03 2021-06-16 주식회사 히타치하이테크 탐색 장치, 탐색 프로그램 및 플라스마 처리 장치
US11189470B2 (en) 2018-03-20 2021-11-30 Hitachi High-Tech Corporation Search device, search method and plasma processing apparatus
US11657059B2 (en) 2018-03-14 2023-05-23 Hitachi High-Tech Corporation Search device, searching method, and plasma processing apparatus

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11935277B2 (en) * 2019-03-14 2024-03-19 Nec Corporation Generation method, training data generation device and program
CN110210544B (zh) * 2019-05-24 2021-11-23 上海联影智能医疗科技有限公司 图像分类方法、计算机设备和存储介质
EP3767536A1 (en) * 2019-07-17 2021-01-20 Naver Corporation Latent code for unsupervised domain adaptation
CN113688893A (zh) * 2021-08-19 2021-11-23 西交利物浦大学 一种图片分类的方法、装置、电子设备及存储介质
KR20230068508A (ko) * 2021-11-11 2023-05-18 한국전자기술연구원 효율적인 딥러닝 학습을 위한 메모리 구조 및 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160063359A1 (en) * 2014-08-29 2016-03-03 Google Inc. Processing images using deep neural networks

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4034602B2 (ja) * 2002-06-17 2008-01-16 富士通株式会社 データ分類装置、データ分類装置の能動学習方法及び能動学習プログラム
JP6456031B2 (ja) * 2014-03-25 2019-01-23 キヤノン株式会社 画像認識装置、画像認識方法およびプログラム
US9384450B1 (en) * 2015-01-22 2016-07-05 International Business Machines Corporation Training machine learning models for open-domain question answering system
US10387430B2 (en) * 2015-02-26 2019-08-20 International Business Machines Corporation Geometry-directed active question selection for question answering systems

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160063359A1 (en) * 2014-08-29 2016-03-03 Google Inc. Processing images using deep neural networks

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11657059B2 (en) 2018-03-14 2023-05-23 Hitachi High-Tech Corporation Search device, searching method, and plasma processing apparatus
US11907235B2 (en) 2018-03-14 2024-02-20 Hitachi High-Tech Corporation Plasma processing apparatus including predictive control
US11189470B2 (en) 2018-03-20 2021-11-30 Hitachi High-Tech Corporation Search device, search method and plasma processing apparatus
KR20210071935A (ko) 2019-12-03 2021-06-16 주식회사 히타치하이테크 탐색 장치, 탐색 프로그램 및 플라스마 처리 장치
US11747774B2 (en) 2019-12-03 2023-09-05 Hitachi High-Tech Corporation Search device, search program, and plasma processing apparatus

Also Published As

Publication number Publication date
US20190073588A1 (en) 2019-03-07
US11514307B2 (en) 2022-11-29
JP6883787B2 (ja) 2021-06-09

Similar Documents

Publication Publication Date Title
JP2019046380A (ja) 学習装置、学習方法、学習プログラム、推定装置、推定方法、及び推定プログラム
KR102252081B1 (ko) 이미지 특성의 획득
US9852358B2 (en) Information processing device, information processing method, and information processing system
JP6835218B2 (ja) 群衆状態認識装置、学習方法および学習プログラム
US11138419B2 (en) Distance image processing device, distance image processing system, distance image processing method, and non-transitory computer readable recording medium
US10586330B2 (en) Detection of outlier lesions based on extracted features from skin images
JP2017059207A (ja) 画像認識方法
JP7166784B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN105096281A (zh) 图像处理装置及图像处理方法
JP2017146840A (ja) 画像処理装置およびプログラム
JP2017102906A (ja) 情報処理装置、情報処理方法及びプログラム
JP2018116364A (ja) 辞書生成装置、評価装置、辞書生成方法、評価方法及びプログラム
WO2019146651A1 (ja) 計算手法決定システム、計算手法決定装置、処理装置、計算手法決定方法、処理方法、計算手法決定プログラム、及び、処理プログラム
US10891740B2 (en) Moving object tracking apparatus, moving object tracking method, and computer program product
JP2016031747A (ja) 情報処理装置、情報処理方法
US20200098450A1 (en) Predicting device, predicting method, predicting program, learning model input data generating device, and learning model input data generating program
WO2018033952A1 (ja) パノラマ画像合成解析システム、パノラマ画像合成解析方法及びプログラム
CN110610228A (zh) 信息处理装置、信息处理方法及记录介质
JP2020204880A (ja) 学習方法、プログラム及び画像処理装置
KR102504319B1 (ko) 영상 객체 속성 분류 장치 및 방법
US11182650B2 (en) Information processing apparatus to generate a next generation image processing program in genetic programming, control method, and non-transitory computer-readable storage medium for storage program
JP5570895B2 (ja) 検出器構成装置、方法、及びプログラム
JP6442873B2 (ja) 指紋画像処理装置、指紋画像処理方法及びプログラム
JP7200571B2 (ja) 機械学習方法、機械学習装置および機械学習プログラム
JP2020126523A (ja) 画像切出装置、画像解析装置及びプログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190625

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191018

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200324

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210413

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210420

R151 Written notification of patent or utility model registration

Ref document number: 6883787

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151