JP2020052813A - ニューラルネットワーク、情報付加装置、学習方法、情報付加方法、およびプログラム - Google Patents
ニューラルネットワーク、情報付加装置、学習方法、情報付加方法、およびプログラム Download PDFInfo
- Publication number
- JP2020052813A JP2020052813A JP2018182610A JP2018182610A JP2020052813A JP 2020052813 A JP2020052813 A JP 2020052813A JP 2018182610 A JP2018182610 A JP 2018182610A JP 2018182610 A JP2018182610 A JP 2018182610A JP 2020052813 A JP2020052813 A JP 2020052813A
- Authority
- JP
- Japan
- Prior art keywords
- output
- input
- neural network
- information
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
図1は、本実施形態に係るニューラルネットワーク10の構成例を示す。ニューラルネットワーク10は、入力したデータをノード間に伝播させ、入力データに応じたデータを出力する。ニューラルネットワーク10は、ノード間の接続、重み係数、パラメータ、および活性化関数等の設定および学習等により、画像認識、文字認識、および音声認識等に利用される。ニューラルネットワーク10は、入力層20と、複数のノード30と、出力層40とを備える。
図2は、本実施形態に係る情報要素100の第1構成例を示す。情報要素100は、第1入力部110と、複数の第1隠れノード120と、第1出力部130とを有する。
(数1)
w1・w2+w3・w4=1
(数2)
w4=(1−w1・w2)/w3
図3は、本実施形態に係る情報要素100の第2構成例を示す。図3に示す第2構成例の情報要素100において、図2に示された情報要素100の動作と略同一のものには同一の符号を付け、説明を省略する。第2構成例の情報要素100は、3つの第1隠れノード120を有する例を示す。
(数3)
w1・w2+w3・w4+w5・w6=1
(数4)
w6=(1−w1・w2−w3・w4)/w5
図4は、本実施形態に係る情報要素100の第3構成例を示す。図4に示す第3構成例の情報要素100において、図2に示された情報要素100の動作と略同一のものには同一の符号を付け、説明を省略する。
(数5)
φ(x)=max(0,x)
図6は、本実施形態に係る情報付加装置300の構成例を示す。情報付加装置300は、学習済みまたは学習前のニューラルネットワーク10に情報要素100を埋め込む。情報付加装置300は、第1取得部310と、第2取得部320と、記憶部330と、生成部340と、埋め込み部350と、出力部360とを備える。
以上の本実施形態に係る情報付加装置300の動作について次に説明する。図7は、本実施形態に係る情報付加装置300の動作フローの一例を示す。情報付加装置300は、図7のS410からS450の動作を実行することにより、情報要素100を生成して学習済みまたは学習前のニューラルネットワーク10に埋め込む。
20 入力層
22 入力ノード
30 ノード
40 出力層
42 出力ノード
50 データベース
60 ネットワーク
100 情報要素
110 第1入力部
112 第1入力ノード
120 第1隠れノード
130 第1出力部
132 第1出力ノード
210 第1経路
220 第2経路
300 情報付加装置
310 第1取得部
320 第2取得部
330 記憶部
340 生成部
350 埋め込み部
360 出力部
Claims (10)
- ニューラルネットワークであって、
前記ニューラルネットワークの1または複数のノード間に情報要素を備え、
前記情報要素は、
1または複数の第1入力ノードを有する第1入力部と、
1または複数の第1出力ノードを有する第1出力部と、
前記第1入力部および前記第1出力部の間に設けられ、入力側および出力側の接続に重み係数が設定される複数の第1隠れノードと
を有し、
前記第1入力部が受け取る第1入力データと、前記第1入力データに応じて前記第1出力部が出力する第1出力データとが一致し、
前記重み係数は、前記ニューラルネットワークの学習とは関連のない伝達情報に基づく値を含む、
ニューラルネットワーク。 - 前記重み係数の総数Nのうち、
(N−1)個以下の重み係数は、前記伝達情報に含まれる値であり、
残りの1以上の重み係数は、前記第1入力データおよび前記第1出力データが一致するように前記伝達情報に含まれる値から算出される値である、
請求項1に記載のニューラルネットワーク。 - 前記重み係数のうち、前記(N−1)個以下の重み係数の少なくとも1つの重み係数は、誤り訂正符号を含む、請求項2に記載のニューラルネットワーク。
- 少なくとも2つの前記第1隠れノードは、正規化線形関数(Rectified Linear Unit)を活性化関数とした入出力特性を有し、
前記第1入力部から前記第1出力部までデータを伝達する全ての経路のそれぞれは、第1グループおよび第2グループのいずれか一方に属し、
前記第1グループに属する経路は、前記第1入力データの値が0以上の場合に、前記第1隠れノードの出力を0以上の値にさせ、また、前記第1入力データおよび前記第1出力データを一致させる重み係数を有し、
前記第2グループに属する経路は、前記第1入力データの値が0未満の場合に、前記第1隠れノードの出力を0以上の値にさせ、また、前記第1入力データおよび前記第1出力データを一致させる重み係数を有する、
請求項1に記載のニューラルネットワーク。 - 前記第1グループの前記重み係数の総数Lのうち、
(L−1)個以下の重み係数は、前記伝達情報に含まれる値であり、
残りの1以上の重み係数は、前記第1入力データおよび前記第1出力データが一致するように前記伝達情報に含まれる値から算出される値であり、
前記第2グループの前記重み係数の総数Mのうち、
(M−1)個以下の重み係数は、前記伝達情報に含まれる値であり、
残りの1以上の重み係数は、前記第1入力データおよび前記第1出力データが一致するように前記伝達情報に含まれる値から算出される値である、
請求項4に記載のニューラルネットワーク。 - 前記重み係数のうち、前記(L−1)個以下の重み係数の少なくとも1つの重み係数、および、前記(M−1)個以下の重み係数の少なくとも1つの重み係数は、誤り訂正符号を含む、請求項5に記載のニューラルネットワーク。
- コンピュータが実行する請求項1から6のいずれか一項に記載のニューラルネットワークの学習方法であって、前記情報要素内の経路の重み係数は更新せずに、前記情報要素には含まれない重み係数を更新することにより、前記ニューラルネットワークを学習する、学習方法。
- ニューラルネットワークの情報を取得する第1取得部と、
前記ニューラルネットワークの学習とは関連のない伝達情報を取得する第2取得部と、
前記伝達情報に基づき、情報要素を生成する生成部と、
前記ニューラルネットワークの1または複数のノード間に、生成した情報要素を埋め込む埋め込み部と
を備え、
前記情報要素は、
1または複数の第1入力ノードを有する第1入力部と、
1または複数の第1出力ノードを有する第1出力部と、
前記第1入力部および前記第1出力部の間に設けられ、入力側および出力側の接続に重み係数が設定される複数の第1隠れノードと
を有し、
前記第1入力部が受け取る第1入力データと、前記第1入力データに応じて前記第1出力部が出力する第1出力データとが一致し、
前記重み係数は、前記伝達情報に基づく値を含む、
情報付加装置。 - ニューラルネットワークの情報を取得するステップと、
前記ニューラルネットワークの学習とは関連のない伝達情報を取得するステップと、
前記伝達情報に基づき、情報要素を生成するステップと、
前記ニューラルネットワークの1または複数のノード間に、生成した情報要素を埋め込むステップと
を備え、
前記情報要素は、
1または複数の第1入力ノードを有する第1入力部と、
1または複数の第1出力ノードを有する第1出力部と、
前記第1入力部および前記第1出力部の間に設けられ、入力側および出力側の接続に重み係数が設定される複数の第1隠れノードと
を有し、
前記第1入力部が受け取る第1入力データと、前記第1入力データに応じて前記第1出力部が出力する第1出力データとが一致し、
前記重み係数は、前記伝達情報に基づく値を含む、
情報付加方法。 - 実行されると、コンピュータを請求項8に記載の情報付加装置として機能させる、プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018182610A JP6953376B2 (ja) | 2018-09-27 | 2018-09-27 | ニューラルネットワーク、情報付加装置、学習方法、情報付加方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018182610A JP6953376B2 (ja) | 2018-09-27 | 2018-09-27 | ニューラルネットワーク、情報付加装置、学習方法、情報付加方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020052813A true JP2020052813A (ja) | 2020-04-02 |
JP6953376B2 JP6953376B2 (ja) | 2021-10-27 |
Family
ID=69997296
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018182610A Active JP6953376B2 (ja) | 2018-09-27 | 2018-09-27 | ニューラルネットワーク、情報付加装置、学習方法、情報付加方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6953376B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113792339A (zh) * | 2021-09-09 | 2021-12-14 | 浙江数秦科技有限公司 | 一种双向隐私保密的神经网络模型共享方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0383158A (ja) * | 1989-08-28 | 1991-04-09 | Toshiba Corp | ニューラルネット |
US20170206449A1 (en) * | 2014-09-17 | 2017-07-20 | Hewlett Packard Enterprise Development Lp | Neural network verification |
WO2018131405A1 (ja) * | 2017-01-12 | 2018-07-19 | Kddi株式会社 | 情報処理装置、方法及びコンピュータ可読記憶媒体 |
-
2018
- 2018-09-27 JP JP2018182610A patent/JP6953376B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0383158A (ja) * | 1989-08-28 | 1991-04-09 | Toshiba Corp | ニューラルネット |
US20170206449A1 (en) * | 2014-09-17 | 2017-07-20 | Hewlett Packard Enterprise Development Lp | Neural network verification |
WO2018131405A1 (ja) * | 2017-01-12 | 2018-07-19 | Kddi株式会社 | 情報処理装置、方法及びコンピュータ可読記憶媒体 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113792339A (zh) * | 2021-09-09 | 2021-12-14 | 浙江数秦科技有限公司 | 一种双向隐私保密的神经网络模型共享方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6953376B2 (ja) | 2021-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6922945B2 (ja) | 情報処理方法 | |
Lung et al. | Evolutionary swarm cooperative optimization in dynamic environments | |
JP2018173843A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN108701253A (zh) | 使用规范化的目标输出训练神经网络 | |
CN106471525A (zh) | 增强神经网络以生成附加输出 | |
US11558580B1 (en) | Apparatus and method for generating a video record using audio | |
CN109960755B (zh) | 一种基于动态迭代快速梯度的用户隐私保护方法 | |
JP2022549844A (ja) | 加重平均近傍埋め込みの学習 | |
Lv et al. | Integrated double estimator architecture for reinforcement learning | |
JP2020052813A (ja) | ニューラルネットワーク、情報付加装置、学習方法、情報付加方法、およびプログラム | |
Tembine | Mean field stochastic games: Convergence, Q/H-learning and optimality | |
TWI740338B (zh) | 具有動態最小批次尺寸之運算方法,以及用於執行該方法之運算系統及電腦可讀儲存媒體 | |
JP6926045B2 (ja) | ニューラルネットワーク、学習装置、学習方法、およびプログラム | |
US20240028986A1 (en) | Apparatus and method for generation an action validation protocol | |
US11573986B1 (en) | Apparatuses and methods for the collection and storage of user identifiers | |
CN117009539A (zh) | 知识图谱的实体对齐方法、装置、设备及存储介质 | |
Burnaev et al. | Adaptive design of experiments for sobol indices estimation based on quadratic metamodel | |
Calderhead et al. | Sparse approximate manifolds for differential geometric mcmc | |
JP2022148878A (ja) | プログラム、情報処理装置、及び方法 | |
RU2718409C1 (ru) | Система восстановления трехмерной структуры образца породы | |
Guo et al. | Recurrent skipping networks for entity alignment | |
Csáji et al. | Strong consistency of the Sign-Perturbed Sums method | |
CN115516448A (zh) | 使用分布式训练框架产生的嵌入来评估项之间的相似性 | |
KR20200086102A (ko) | 회귀 분석 장치 및 회귀 분석 장치를 생성하는 방법 | |
US11838682B2 (en) | Apparatus and method for generating a video record using audio |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200730 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210720 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210803 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210906 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210928 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210929 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6953376 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |