JP2020107199A - ニューラルネットワーク、潜在パラメータ学習装置、潜在パラメータ生成装置、変数変換装置、これらの方法及びプログラム - Google Patents
ニューラルネットワーク、潜在パラメータ学習装置、潜在パラメータ生成装置、変数変換装置、これらの方法及びプログラム Download PDFInfo
- Publication number
- JP2020107199A JP2020107199A JP2018247253A JP2018247253A JP2020107199A JP 2020107199 A JP2020107199 A JP 2020107199A JP 2018247253 A JP2018247253 A JP 2018247253A JP 2018247253 A JP2018247253 A JP 2018247253A JP 2020107199 A JP2020107199 A JP 2020107199A
- Authority
- JP
- Japan
- Prior art keywords
- affine transformation
- neural network
- variable
- unit
- activation function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明の実施形態の原理を説明する前に、まず、問題設定と従来技術であるスペクトル正規化法について説明する。
確率分布Pxに従って生成された確率変数(のデータ)xが用意されているものとする。確率変数xには、以下のようなものがある。
(1)マイクロホン/カメラで取得したメディアデータxdata〜Px_data
(2)データが属するカテゴリ、分類情報を表すラベルデータxlabel〜Px_label
(3)ノイズが混在した観測データxnoisy〜Px_noisy
(4)クリーンな環境で収録したデータxclean〜Px_clean
(5)データを生成するための生成源データxsource〜Px_source
(6)人の操作/動作(例えばインデックスを操作する/手書きの文字やモーションにより操作する)によって観測されたデータxmanipulate〜Px_manipulate
それぞれの確率変数に関してデータの集合(以下、データセットという)が与えられているものとする。もし、2種類の確率変数を写像である確率変数変換により変換するような場合(例えば、音声から言語への変換を考える場合)、2種類の確率変数のデータセットは、互いに関連付けられる必要がある(例えば、音声とその言語を対応付けるラベル)。この2種類以上の確率変数が関連付けられたデータセットを、ラベル付などされていない単一の確率変数のデータセットと区別するために、関連付けデータセットと呼ぶ。
ノイズが混在した信号を入力変数とし、ノイズが除去されたクリーンな信号を推定するノイズ除去問題を考える。DNN関数の出力変数またはDNN関数の出力変数にアフィン変換を適用した変数(推定したクリーン信号)と教師信号(クリーン信号)との差は、ガウス分布に従うとする。{xnoisy, xclean}∈xを入力変数と出力変数の組(つまり、関連付けデータセット)、{Z}∈zをアフィン変換行列、{w, z}∈θを(DNNを含むすべての)潜在パラメータとすると、このノイズ除去問題の罰則項Lは以下の式で表される。
(音声/画像等の)データを入力変数とし、(当該入力変数がどのクラスに所属するのかを示す)ラベル情報を推定する多クラス分類問題を考える。DNN関数の出力変数またはDNN関数の出力変数にアフィン変換を適用した変数(推定したラベル情報)と教師信号(ラベル情報)との差は、多項分布に従うとする。{xdata, xlabel}∈x(ただし、xlabelは所属する1つのクラスに対して1、その他は0であるベクトル)を入力変数と出力変数の組(関連付けデータセット)とすると、この多クラス分類問題の罰則項Lは以下の式で表される。
以下、スペクトル正規化法について説明する。
スペクトル正規化法の処理は至って簡単である。以下の式のように、重み行列群wの各重み行列Wj(1≦j≦J)のスペクトルノルム(最大特異値σmax(Wj))が1となるように毎ステップ更新することで実装される。
ReLU、leaky ReLU、PReLUは以下で表される。
以下、本発明の実施形態の原理として今回発案した、リプシッツ平滑性の上界係数と下界係数を制御する方法(一般化スペクトル正規化法)について説明する。
DNN関数Gwに含まれる、重み行列Wjを用いたアフィン写像に対して、リプシッツ平滑性の下界係数の下限値とリプシッツ平滑性の上界の上限値{ηmin, ηmax}を事前に与えることを考える。次式のように双方とも正であることを仮定する。
事後確率最大化に基づいて設計したDNN関数Gwが逆関数を持つのであれば、順問題(例:ガウスノイズ等でモデル化される生成源変数から画像等のメディアデータ、すなわちデータ変数を推定する問題)を解く代わりに、逆問題(例:画像等のデータ変数から生成源変数を推定する問題)を解くことにより、順問題もまた解けたことになる。
生成源変数からデータ変数を推定するGANを構成(学習)する手順は以下の通りである。まず、GANで推定したデータ変数と本物のデータ変数を識別するための識別関数Dzを、深層ニューラルネットワークを用いて設計する。そして、この識別関数Dzによる真偽の判定がつかなくなるまで、つまり、推定されたデータ変数のクオリティが真偽判定できない程度まで高くなるように、GANの学習をする。多くの研究事例において、GANを使ってそれらしいデータ変数(例えば、画像)が得られていることが確認されているが、次に述べるような問題もある。すなわち、一般に生成源変数からデータ変数を推定する順問題を解くことは難しいため、識別関数Dzを用いて真偽を見破れないようにするというGANの構成方法は、学習が難しい上、安定しないという問題である。実際、このような指摘をした報告が数多く挙がっている。この欠点を克服するため、難しい順問題を解く代わりに、比較的容易な逆問題を解くことを以下では考える。この考え方は、(非線形処理と線形処理の違いはあるが)音声符号化で広く用いられているソース・フィルタモデルに近い考え方である。
(1)活性化関数の係数rp,jとrn,jが逆数になるようにする。すなわち、rp,j=1/rn,jとする。
(2)活性化関数の係数を層ごとに逆数になるようにする。すなわち、κ>0としたとき、活性化関数の係数が下記の条件を満たすようにする。
{rp,j, rn,j}={κ, 1/κ} (jが偶数のとき)
{rp,j, rn,j}={1/κ, κ} (jが奇数のとき)
(3)最終層(J層目)の活性化関数を線形関数とする。
まず、||aj||UB>0及び||aj||LB>0を満たす活性化関数ajを選択する。活性化関数ajとしては、係数rp,jとrn,jが上述した(1)から(3)の少なくとも何れかを満たすものを選択するのがよいが、式(1-12)で表されるleaky ReLU、PReLUのいずれかの活性化関数を選択してもよいし、これらに限定する必要はない。
ステップ1で学習した重み行列Wjに対して、式(2-13)によりその逆行列/擬似逆行列Wj +を計算する。また、活性化関数ajに対して逆関数aj -1を式(2-12)により計算する。これらの逆行列/擬似逆行列Wj +と逆関数aj -1を用いて、逆関数Gw -1を計算する深層ニューラルネットワークを構成する。この深層ニューラルネットワークは式(2-11)を計算するものであり、例えばガウス乱数でモデル化された生成源変数のデータから(例えば画像のような)データ変数のデータを生成することができる。
確率的データ生成モデルでは、例えばガウス分布や一様分布等の少ないパラメータを用いて表現できる確率分布に従う生成源変数と、複雑で未知の確率分布に従うデータ変数を相互に変換できる問題について扱ってきた。相互確率的データ変換モデルでは、例えば図1に示すように、2種類のデータ変数(例えば、画像(音声)と分類ラベル(人間のインデックス操作信号))を相互に変換する問題を扱う。相互確率的データ変換モデルが従来の確率変数変換問題(例えば音声から言語ラベルへの変換)と異なるのは、(1)逆関数を持つので、相互に変換可能であるという点と、(2)その変数変換過程で高次元の特徴空間に写像されるという点である。なお、例示はしないが、相互確率的データ変換モデルでは、2種類の変数の組合せによって3種類以上の変数の相互変換を構成することが可能である。すなわち、相互確率的データ変換モデルでは、2種類以上のデータ変数を相互に変換することができる。
式(2-3)の正規化項Rを含む目的関数を用いて重み行列群wを最適化する場合、重み行列Wjの特異値の最大値だけではなく、最小値も制御する必要がある。しかし、行列サイズ(Kj×Kj-1)が大きい場合には、計算時間もかかるし、膨大なメモリ量も必要になる。
区分巡回行列Wj(1≦j≦J)は、次式により表される。
重み行列の特異値がすべて正になることと、リプシッツ平滑性の上界係数と下界係数が正になる活性化関数を選択することにより、(1)入力変数xが従う確率分布の性質が予測可能であり、(2)逆関数を持つDNN関数を構成することができる。特に、(2)の効果は、順問題の逆、つまり、逆問題を解いても問題が解決されることを示唆しており、例えば、ガウス乱数等の生成源変数からデータ変数を推定する順問題ではなく、比較的容易なその逆問題を解いても、順問題を解く確率的データ生成モデルが得ることができる。
ここでは、学習用データセットを用いて潜在パラメータを学習する潜在パラメータ学習装置100について説明する。学習用データセットは、学習のために事前に準備した確率変数データセット(学習用データセット)xである。また、潜在パラメータは、後述する重み行列群{W1, …, WJ, b1, …, bJ}∈wである。
潜在パラメータ更新部115は、S113で計算した目的関数の値を最適化するように、潜在パラメータである重み行列群{W1, …, WJ、b1, …, bJ}∈wを更新する(S115)。潜在パラメータの更新には、例えば、確率的勾配法を用いるとよい。
ここでは、<技術的背景>で説明した相互確率的データ変換モデルを用いた変数変換装置について説明する。以下、図13〜図14を参照して変数変換装置400について説明する。この変数変換装置400は入力データを推定出力データに変換する。図13は、変数変換装置400の構成を示すブロック図である。図14は、変数変換装置400の動作を示すフローチャートである。図13に示すように変数変換装置400は、変数変換部410と、接続変数変換部420と、逆変数変換部430と、記録部490を含む。記録部490は、変数変換装置400の処理に必要な情報を適宜記録する構成部である。変数変換装置400は、2種類のデータを相互に変換する相互確率的データ変換モデルにおける変換に対応するものであり、2種類のデータのうちの一方のデータを入力データとして、2種類のデータのうちの他方のデータである推定出力データに変換するものである。
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置(例えば通信ケーブル)が接続可能な通信部、CPU(Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい)、メモリであるRAMやROM、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、CPU、RAM、ROM、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、CD−ROMなどの記録媒体を読み書きできる装置(ドライブ)などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
Claims (12)
- 1のアフィン変換部と1の活性化関数計算部とを含む層を1以上含むニューラルネットワークであって、
前記アフィン変換部が行うアフィン変換で用いる重み行列は、その特異値がすべて正であり、
前記活性化関数計算部で用いる活性化関数は、そのリプシッツ平滑性の上界係数と下界係数のいずれもが正である
ニューラルネットワーク。 - 1のアフィン変換部と1の活性化関数計算部とを含む層を1以上含むニューラルネットワークであって、
前記アフィン変換部が行うアフィン変換は、請求項1に記載のニューラルネットワークのアフィン変換部が行うアフィン変換の逆変換である逆アフィン変換であり、
前記活性化関数計算部で用いる活性化関数は、請求項1に記載のニューラルネットワークの活性化関数計算部で用いる活性化関数の逆関数である
ニューラルネットワーク。 - 1のアフィン変換部と1の活性化関数計算部とを含む層を1以上含むニューラルネットワークが、入力データを推定出力データに変換する変数変換方法であって、
前記アフィン変換部が、特異値がすべて正である重み行列を用いてアフィン変換を行うアフィン変換ステップと、
前記活性化関数計算部が、リプシッツ平滑性の上界係数と下界係数のいずれもが正である活性化関数を計算する活性化関数計算ステップと、
を含む変数変換方法。 - 1のアフィン変換部と1の活性化関数計算部とを含む層を1以上含むニューラルネットワークが、入力データを推定出力データに変換する変数変換方法であって、
前記アフィン変換部が、請求項6に記載の変数変換方法のアフィン変換ステップで行うアフィン変換の逆変換である逆アフィン変換を行うアフィン変換ステップと、
前記活性化関数計算部が、請求項6に記載の変数変換方法の活性化関数計算ステップで計算する活性化関数の逆関数を計算する活性化関数計算ステップと
を含む変数変換方法。 - 1のアフィン変換部と1の活性化関数計算部とを含む層を1以上含むニューラルネットワークであって、入力データから、前記入力データの次元以上の次元の特徴量である第1高次元特徴量を生成する第1ニューラルネットワークと、
所定の可逆関数を用いて、前記第1高次元特徴量から第2高次元特徴量を生成する接続変数変換部と、
1のアフィン変換部と1の活性化関数計算部とを含む層を1以上含むニューラルネットワークであって、前記第2高次元特徴量から、前記第2高次元特徴量の次元以下の次元のデータである推定出力データを生成する第2ニューラルネットワークと
を含む変数変換装置。 - 1のアフィン変換部と1の活性化関数計算部とを含む層を1以上含むニューラルネットワークである第1ニューラルネットワークが、入力データから、前記入力データの次元以上の次元の特徴量である第1高次元特徴量を生成する第1変数変換ステップと、
接続変数変換部が、所定の可逆関数を用いて、前記第1高次元特徴量から第2高次元特徴量を生成する接続変数変換ステップと、
1のアフィン変換部と1の活性化関数計算部とを含む層を1以上含むニューラルネットワークである第2ニューラルネットワークが、前記第2高次元特徴量から、前記第2高次元特徴量の次元以下の次元のデータである推定出力データを生成する第2変数変換ステップと
を含む変数変換方法。 - 請求項1または4に記載のニューラルネットワーク、請求項2または請求項3に記載の潜在パラメータ学習装置、請求項5に記載の潜在パラメータ生成装置、請求項10に記載の変数変換装置のいずれかとしてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018247253A JP7118882B2 (ja) | 2018-12-28 | 2018-12-28 | 変数変換装置、潜在パラメータ学習装置、潜在パラメータ生成装置、これらの方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018247253A JP7118882B2 (ja) | 2018-12-28 | 2018-12-28 | 変数変換装置、潜在パラメータ学習装置、潜在パラメータ生成装置、これらの方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020107199A true JP2020107199A (ja) | 2020-07-09 |
JP7118882B2 JP7118882B2 (ja) | 2022-08-16 |
Family
ID=71450870
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018247253A Active JP7118882B2 (ja) | 2018-12-28 | 2018-12-28 | 変数変換装置、潜在パラメータ学習装置、潜在パラメータ生成装置、これらの方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7118882B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117296050A (zh) * | 2021-05-25 | 2023-12-26 | 维萨国际服务协会 | 用于使交叉嵌入对齐的嵌入归一化的方法、系统和计算机程序产品 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005078175A (ja) * | 2003-08-28 | 2005-03-24 | Toa Corp | データ処理装置およびデータ処理方法 |
JP2018081493A (ja) * | 2016-11-16 | 2018-05-24 | 株式会社東芝 | パターン識別装置、パターン識別方法およびプログラム |
-
2018
- 2018-12-28 JP JP2018247253A patent/JP7118882B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005078175A (ja) * | 2003-08-28 | 2005-03-24 | Toa Corp | データ処理装置およびデータ処理方法 |
JP2018081493A (ja) * | 2016-11-16 | 2018-05-24 | 株式会社東芝 | パターン識別装置、パターン識別方法およびプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117296050A (zh) * | 2021-05-25 | 2023-12-26 | 维萨国际服务协会 | 用于使交叉嵌入对齐的嵌入归一化的方法、系统和计算机程序产品 |
Also Published As
Publication number | Publication date |
---|---|
JP7118882B2 (ja) | 2022-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Carrasquilla | Machine learning for quantum matter | |
Tomczak | Why Deep Generative Modeling? | |
Singh et al. | Learning stabilizable nonlinear dynamics with contraction-based regularization | |
Chen et al. | Universal discriminative quantum neural networks | |
Ding et al. | Extreme learning machine and its applications | |
Letarte et al. | Dichotomize and generalize: PAC-Bayesian binary activated deep neural networks | |
WO2019157228A1 (en) | Systems and methods for training generative machine learning models | |
US20140310218A1 (en) | High-Order Semi-RBMs and Deep Gated Neural Networks for Feature Interaction Identification and Non-Linear Semantic Indexing | |
Bokhan et al. | Multiclass classification using quantum convolutional neural networks with hybrid quantum-classical learning | |
US10339442B2 (en) | Corrected mean-covariance RBMs and general high-order semi-RBMs for large-scale collaborative filtering and prediction | |
WO2021165887A1 (en) | Adversarial autoencoder architecture for methods of graph to sequence models | |
Chen et al. | Binarized neural architecture search for efficient object recognition | |
Srinivasan et al. | Learning and inference in hilbert space with quantum graphical models | |
Robinson et al. | Dissecting deep neural networks | |
Sun et al. | An improved multiclass LogitBoost using adaptive-one-vs-one | |
Herzog et al. | Data-driven modeling and prediction of complex spatio-temporal dynamics in excitable media | |
Guo et al. | PILAE: A non-gradient descent learning scheme for deep feedforward neural networks | |
Dauphin et al. | Stochastic ratio matching of RBMs for sparse high-dimensional inputs | |
Lee et al. | DNN compression by ADMM-based joint pruning | |
He et al. | Gsqas: graph self-supervised quantum architecture search | |
Ouyang et al. | Missdiff: Training diffusion models on tabular data with missing values | |
Zhou et al. | On the opportunities of green computing: A survey | |
Shen et al. | StructBoost: Boosting methods for predicting structured output variables | |
Dehuri et al. | A condensed polynomial neural network for classification using swarm intelligence | |
JP7118882B2 (ja) | 変数変換装置、潜在パラメータ学習装置、潜在パラメータ生成装置、これらの方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190313 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210406 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220322 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220323 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220422 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220802 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220803 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7118882 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |