JP2020087148A - 情報処理装置、情報処理方法およびプログラム - Google Patents
情報処理装置、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP2020087148A JP2020087148A JP2018222996A JP2018222996A JP2020087148A JP 2020087148 A JP2020087148 A JP 2020087148A JP 2018222996 A JP2018222996 A JP 2018222996A JP 2018222996 A JP2018222996 A JP 2018222996A JP 2020087148 A JP2020087148 A JP 2020087148A
- Authority
- JP
- Japan
- Prior art keywords
- input data
- distribution
- categorical
- prediction model
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Computing Systems (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Algebra (AREA)
- Operations Research (AREA)
- Databases & Information Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
Description
本実施形態は、事後確率分布の平滑化により予測モデルの汎化性能向上や半教師あり学習を可能にする技術に関し、特に、系列データを扱う予測モデルの事後確率分布の平滑化を少ない計算量で行えるようにしたものである。予測モデルとは、入力されたデータに対するラベルを予測するために使用されるパラメータ集合と演算方法であり、予め複数のデータとラベルの組を統計的に関係づけるようにパラメータ集合を更新することで生成・学習される。
図4は、本実施形態に係る情報処理装置の機能的な構成例を示すブロック図である。本実施形態の情報処理装置は、予測モデル10を用いて系列データの認識を行う認識システムにおいて、予測モデル10の事後確率分布を学習データの近傍で平滑化することで、予測モデル10の汎化性能を向上させるものである。この情報処理装置は、予測モデル10の事後確率分布の平滑化を実現するための機能的な構成要素として、図4に示すように、入力受付部1と、系列予測部2と、距離計算部3と、統合部4と、最適化部5とを備える。
Loss=Losssl+λLosssmooth
ただし、λは予め決定されるハイパパラメータである。
x2=x1+ε×d/|d|
で求められる。
本実施形態は、第2の入力データx2の求め方が上述の第1実施形態と異なる。すなわち、上述の第1実施形態では、入力データ空間において第1の入力データx1から所定距離εだけ離れたデータの中から第2の入力データx2がランダムに選ばれたが、本実施形態では、入力データ空間において第1の入力データx1から所定距離εだけ離れたデータのうち、上述の総和(Losssmooth)が最大となるデータを第2の入力データx2とする。
x2=x1+ε×d/|d|
により第2の入力データx2を近似的に求めることができる。なお、ξ、Ipは予め決められた定数である。
本実施形態は、カテゴリカル分布同士の分布間距離の計算方法が上述の第1実施形態と異なる。すなわち、上述の第1実施形態では、カテゴリカル分布同士の分布間距離としてKLダイバージェンスを計算したが、本実施形態では、カテゴリカル分布同士の分布間距離として二乗誤差を計算する。
上述した各実施形態の情報処理装置は、例えば、汎用のコンピュータを基本ハードウェアとして用いることで実現可能である。すなわち、上述の情報処理装置の各部の機能は、汎用のコンピュータに搭載された1以上のプロセッサにプログラムを実行させることにより実現することができる。このとき、情報処理装置は、上記のプログラムをコンピュータに予めインストールすることで実現してもよいし、コンピュータ読み取り可能な記憶媒体に上記のプログラムを記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータに適宜インストールすることで実現してもよい。
2 系列予測部
3 距離計算部
4 統合部
5 最適化部
10 予測モデル
Claims (9)
- 1つの入力データに対してL個(Lは2以上の自然数)のカテゴリカル分布の系列であるカテゴリカル分布列を出力する予測モデルを用いて、第1の入力データに対応する第1のカテゴリカル分布列と、前記第1の入力データの近傍の第2の入力データに対応する第2のカテゴリカル分布列とを取得する系列予測部と、
前記第1のカテゴリカル分布列におけるi番目のカテゴリカル分布と前記第2のカテゴリカル分布列におけるi番目のカテゴリカル分布との間の分布間距離を、i=1〜Lのそれぞれについて計算する距離計算部と、
L個の前記分布間距離の総和を計算する統合部と、
前記総和が小さくなるように前記予測モデルのパラメータを更新する最適化部と、
を備える情報処理装置。 - 前記予測モデルは、出力される前記カテゴリカル分布列において隣接するカテゴリカル分布同士が相互に影響を与え合う再帰的な結合を含む再帰的ニューラルネットワークを用いて構成される
請求項1に記載の情報処理装置。 - 前記最適化部は、確率的勾配法を用いて、前記総和が小さくなるように前記予測モデルのパラメータを更新する
請求項1または2に記載の情報処理装置。 - 前記第2の入力データは、入力データ空間において前記第1の入力データから所定距離離れたデータである
請求項1乃至3のいずれか一項に記載の情報処理装置。 - 前記第2の入力データは、入力データ空間において前記第1の入力データから所定距離離れたデータのうち、前記総和が最大となるデータである
請求項4に記載の情報処理装置。 - 前記予測モデルの学習に用いる複数の学習データのうち、前記第1の入力データに対してt番目(tは予め定めた任意の自然数)に近い学習データと前記第1の入力データとの間の入力データ空間における距離をDtとしたときに、
前記第2の入力データは、入力データ空間において前記第1の入力データからDtだけ離れたデータである
請求項1乃至3のいずれか一項に記載の情報処理装置。 - 前記距離計算部は、前記分布間距離として、カテゴリカル分布間のKLダイバージェンスまたはカテゴリカル分布間の二乗誤差を計算する
請求項1乃至6のいずれか一項に記載の情報処理装置。 - 1つの入力データに対してL個(Lは2以上の自然数)のカテゴリカル分布の系列であるカテゴリカル分布列を出力する予測モデルを用いて、第1の入力データに対応する第1のカテゴリカル分布列と、前記第1の入力データの近傍の第2の入力データに対応する第2のカテゴリカル分布列とを計算するステップと、
前記第1のカテゴリカル分布列におけるi番目のカテゴリカル分布と前記第2のカテゴリカル分布列におけるi番目のカテゴリカル分布との間の分布間距離を、i=1〜Lのそれぞれについて計算するステップと、
L個の前記分布間距離の総和を計算するステップと、
前記総和が小さくなるように前記予測モデルのパラメータを更新するステップと、
を含む情報処理方法。 - コンピュータに、
1つの入力データに対してL個(Lは2以上の自然数)のカテゴリカル分布の系列であるカテゴリカル分布列を出力する予測モデルを用いて、第1の入力データに対応する第1のカテゴリカル分布列と、前記第1の入力データの近傍の第2の入力データに対応する第2のカテゴリカル分布列とを計算する機能と、
前記第1のカテゴリカル分布列におけるi番目のカテゴリカル分布と前記第2のカテゴリカル分布列におけるi番目のカテゴリカル分布との間の分布間距離を、i=1〜Lのそれぞれについて計算する機能と、
L個の前記分布間距離の総和を計算する機能と、
前記総和が小さくなるように前記予測モデルのパラメータを更新する機能と、
を実現させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018222996A JP7059166B2 (ja) | 2018-11-29 | 2018-11-29 | 情報処理装置、情報処理方法およびプログラム |
US16/752,174 US11593621B2 (en) | 2018-11-29 | 2020-01-24 | Information processing apparatus, information processing method, and computer program product |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018222996A JP7059166B2 (ja) | 2018-11-29 | 2018-11-29 | 情報処理装置、情報処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020087148A true JP2020087148A (ja) | 2020-06-04 |
JP7059166B2 JP7059166B2 (ja) | 2022-04-25 |
Family
ID=70908420
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018222996A Active JP7059166B2 (ja) | 2018-11-29 | 2018-11-29 | 情報処理装置、情報処理方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11593621B2 (ja) |
JP (1) | JP7059166B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6774129B1 (ja) * | 2020-02-03 | 2020-10-21 | 望 窪田 | 解析装置、解析方法及び解析プログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018167900A1 (ja) * | 2017-03-16 | 2018-09-20 | 日本電気株式会社 | ニューラルネットワーク学習装置、方法、およびプログラム |
US20190073587A1 (en) * | 2017-09-04 | 2019-03-07 | Kabushiki Kaisha Toshiba | Learning device, information processing device, learning method, and computer program product |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7519201B2 (en) | 2005-10-28 | 2009-04-14 | Honda Motor Co., Ltd. | Detecting humans via their pose |
JP5752060B2 (ja) * | 2012-01-19 | 2015-07-22 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 情報処理装置、大語彙連続音声認識方法及びプログラム |
JPWO2014136316A1 (ja) | 2013-03-04 | 2017-02-09 | 日本電気株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US10679643B2 (en) * | 2016-08-31 | 2020-06-09 | Gregory Frederick Diamos | Automatic audio captioning |
JP6707483B2 (ja) | 2017-03-09 | 2020-06-10 | 株式会社東芝 | 情報処理装置、情報処理方法、および情報処理プログラム |
JP6514305B1 (ja) | 2017-11-28 | 2019-05-15 | 株式会社東芝 | 認識辞書メンテナンス装置、パターン認識システム、認識辞書メンテナンス方法およびプログラム |
-
2018
- 2018-11-29 JP JP2018222996A patent/JP7059166B2/ja active Active
-
2020
- 2020-01-24 US US16/752,174 patent/US11593621B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018167900A1 (ja) * | 2017-03-16 | 2018-09-20 | 日本電気株式会社 | ニューラルネットワーク学習装置、方法、およびプログラム |
US20190073587A1 (en) * | 2017-09-04 | 2019-03-07 | Kabushiki Kaisha Toshiba | Learning device, information processing device, learning method, and computer program product |
Non-Patent Citations (1)
Title |
---|
増田嵩志 ほか: "敵対的学習を適用したEnd−to−end音声認識", 電子情報通信学会技術研究報告, vol. 117, no. 368, JPN6022009482, 16 January 2018 (2018-01-16), JP, pages 73 - 77, ISSN: 0004726716 * |
Also Published As
Publication number | Publication date |
---|---|
US11593621B2 (en) | 2023-02-28 |
US20200410325A1 (en) | 2020-12-31 |
JP7059166B2 (ja) | 2022-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7470476B2 (ja) | 蒸留を用いたそれぞれのターゲット・クラスを有するモデルの統合 | |
US20210174264A1 (en) | Training tree-based machine-learning modeling algorithms for predicting outputs and generating explanatory data | |
US9990558B2 (en) | Generating image features based on robust feature-learning | |
JP6208552B2 (ja) | 識別器、識別プログラム、及び識別方法 | |
WO2022063151A1 (en) | Method and system for relation learning by multi-hop attention graph neural network | |
Akay | A study on particle swarm optimization and artificial bee colony algorithms for multilevel thresholding | |
Tang et al. | An improved scheme for minimum cross entropy threshold selection based on genetic algorithm | |
WO2022252455A1 (en) | Methods and systems for training graph neural network using supervised contrastive learning | |
Gangrade et al. | Selective classification via one-sided prediction | |
JP2021504836A5 (ja) | ||
Liu et al. | A survey on computationally efficient neural architecture search | |
WO2021042857A1 (zh) | 图像分割模型的处理方法和处理装置 | |
WO2014176056A2 (en) | Data classification | |
CN108073980A (zh) | 模式识别装置以及模式识别方法 | |
JP2022543245A (ja) | 学習を転移させるための学習のためのフレームワーク | |
CN115699041A (zh) | 利用专家模型的可扩展迁移学习 | |
CN104699660A (zh) | 概述非线性回归问题中的结构化矩阵 | |
WO2021012263A1 (en) | Systems and methods for end-to-end deep reinforcement learning based coreference resolution | |
Muñoz et al. | Enabling nas with automated super-network generation | |
US20220405570A1 (en) | Post-hoc loss-calibration for bayesian neural networks | |
JP7059166B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
Berberidis et al. | Data-adaptive active sampling for efficient graph-cognizant classification | |
US20180129916A1 (en) | Statistical max pooling with deep learning | |
US20190325983A1 (en) | Method and system for performing molecular design using machine learning algorithms | |
Gill et al. | Dynamically regulated initialization for S-system modelling of genetic networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210324 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220309 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220413 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7059166 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |