JP2018124790A

JP2018124790A - 意思決定装置

Info

Publication number: JP2018124790A
Application number: JP2017016294A
Authority: JP
Inventors: 敬志土屋; Takashi Tsuchiya; 寺部　一弥; Kazuya Terabe; 一弥寺部; 徹鶴岡; Toru Tsuruoka; 成主金; Narikazu Kin; 青野　正和; Masakazu Aono; 正和青野
Original assignee: National Institute for Materials Science
Current assignee: National Institute for Materials Science
Priority date: 2017-01-31
Filing date: 2017-01-31
Publication date: 2018-08-09
Anticipated expiration: 2037-01-31
Also published as: JP6872226B2

Abstract

【課題】簡易で小型化可能なデバイスにより、綱引き原理に正確に基づいて意思決定が可能な意思決定装置を提供する。【解決手段】電荷の蓄積により学習を行う学習手段、事象の行動に応じた電荷を学習手段に与える電荷供給手段、及び学習手段の電圧を読み取る電圧読み取り手段を有し、電圧読み取り手段で読み取った電圧により意思を決定する意思決定装置であって、学習手段は、電場によるイオンの輸送が可能な電解質材料層を２以上の電極で挟んだ電解質素子からなる。【選択図】図２

Description

本発明は、事象情報を電気信号にして与えときに報酬確率の高い行動を選択する意思決定装置に関する。

近年、高効率な意思決定の重要性が増している。例えば、金融においては、刻一刻と変動する相場情報を基に安全に危険資産の管理を行う必要がある。コグニティブ無線では、端末の位置や時間帯によって最適な無線方式、周波数帯を選択する必要がある。囲碁、将棋といった競技は変動する環境で意思決定が問題となる典型例であり、近年、人間とコンピュータとの対戦が話題となっている。

こうした問題は、多本腕バンディット問題として取り扱われ、通常、ＳＯＦＴＭＡＸ法やε−ＧＲＥＥＤＹ法といった従来型アルゴリズムを用いた計算処理により解決される。しかし、このような手法は万能ではなく、より高速かつ正確な解法が求められている。
近年、こうした多本腕バンディット問題の効率的な解法として「綱引き原理」が提案された（非特許文献１から３、及び特許文献１）。例えば、報酬確率の異なる２つの行動を選択する場合、それぞれの行動に対する試行錯誤において得られる報酬に応じて変位（綱引き）する物体を用いることによって、より報酬確率の高い行動を選択する。これを意思決定と呼ぶ。
図１を参照しながら報酬確率８０％の行動Ａと２０％の行動Ｂの２つの行動を選択する場合を考える。行動ＡとＢの報酬確率はプレイヤーにとって未知であるため、それぞれの行動を選択し報酬を得る、あるいは得られないという経験を基に報酬確率を予測し、より報酬確率の高い行動を選択（意思決定）する。綱引き原理では、プレイヤーが行動ＡやＢを選択し、得た報酬に応じて物体を刻一刻と変位させていくことによって、より報酬確率の高い行動を選択（意思決定）する。例えば、試行錯誤の過程で行動Ａを選択し、報酬を得た場合は＋１、報酬を得られなかった場合は‐ωの変位を物体に与える。逆に行動Ｂを選択し、報酬を得た場合は‐１、報酬を得られなかった場合は＋ωの変位を物体に与える。物体の変位がどちらかに偏ることにより、選択（意思決定）をしたと見做せばよい。ここで、ωはγ/２‐γで定義される。図１の場合、γは行動Ａの報酬確率（８０％）と行動Ｂの報酬確率（２０％）の和を１００で割った値である１．０となる（非特許文献１）。

綱引き原理は、従来手法と比較すると報酬確率の高い行動への収束が高速であるだけでなく、環境（それぞれの行動が持つ報酬確率）の変化に対して適応性が高いという利点を有している。さらに、他の解法が計算処理に依拠するプログラムであることに対して、綱引き原理は物理現象に依拠するため、プログラムにおいて問題となる計算処理量の増大とそれに伴って生じる処理数の限界を回避することが可能となる。

綱引き原理を用いた意思決定手段を様々な物理現象を利用して実装して、強化学習に用いる試みがなされている（非特許文献４から７）。例えば、ナノダイヤモンドの窒素欠陥を光子源として用いると、単一光子の粒子性と確率性を利用することで綱引き原理を物理的に実装することが出来る（非特許文献６）。しかし、このような方法では大規模な光学回路が必要となるため、デバイス、回路の小型化には適さないという課題が残る。また、比較的小さな空間で金属フィラメントの生成・切断を行い意思決定に用いようとする試みもある（非特許文献７）。しかしながらこの方法は、綱引き原理を原理上精度良く再現出来ないという根本的な問題を内包しており、実用的とは言い難い。このように、綱引き原理に正確に基づき、かつ小型化可能なデバイスによって意思決定するという意思決定装置の課題は解決されていない。

特開２０１４−１９１５９８号公報

ＮｅｗＪ．Ｐｈｙｓ．，ｖｏｌ．１７，ｐ．０８３０２３（２０１５）Ｂｉｏｓｙｓｔｅｍｓ，ｖｏｌ．１０１，ｐｐ．２９−３６（２０１０）ＬＮＣＳ，ｖｏｌ．６０７９，ｐｐ．６９−８０（２０１０）Ｓｃｉ．Ｒｅｐ．，ｖｏｌ．３，ｐ．２３７０（２０１３）Ｊ．Ａｐｐｌ．Ｐｈｙｓ．，ｖｏｌ．１１６，ｐ．１５４３０３（２０１４）ＡＩＭＳＭａｔｅｒ．Ｓｃｉ．，ｖｏｌ．３，ｐｐ．２４５−２５９（２０１６）ＤＯＩ：１０．１０３９／ｃ６ｎｒ００６９０ｆ（２０１６）

本発明の課題は、簡易で小型化可能なデバイスにより、綱引き原理に正確に基づいて意思決定が可能な意思決定装置を提供することである。

本発明の構成を下記に示す。
（構成１）
電荷の蓄積により学習を行う学習手段、事象の行動に応じた電荷を前記学習手段に与える電荷供給手段、及び前記学習手段の電圧を読み取る電圧読み取り手段を有し、前記電圧読み取り手段で読み取った電圧により意思を決定する意思決定装置であって、
前記学習手段は、電場によるイオンの輸送が可能な電解質材料層を２以上の電極で挟んだ電解質素子からなる、意思決定装置。
（構成２）
前記２以上の電極間に前記電荷の流入による電流を流して前記イオンを輸送し、前記電極間に電圧を生じさせる、構成１記載の意思決定装置。
（構成３）
前記イオンの前記２以上の電極のうちの少なくとも１の電極側への移動または電極内への侵入により、前記２以上の電極に電子及び正孔が生成されて電圧が発生する、構成１または２記載の意思決定装置。
（構成４）
前記電解質材料層は液体電解質または固体電解質を含む、構成１から３の何れか１に記載の意思決定装置。
（構成５）
前記液体電解質は、テトラメチルアンモニウムイオン（ＴＭＡ^＋）、テトラエチルアンモニウムイオン（ＴＥＡ^＋）、テトラブチルアンモニウムイオン（ＴＢＡ^＋）、テトラフルオロホウ酸イオン（ＢＦ_４ ⁻）、Ｎ，Ｎ−ジエチル−Ｎ−メチル−Ｎ−（２−メトキシエチル）アンモニウム−ビス（トリフルオロメタンスルホニル）イミド（ＤＥＭＥ−ＴＦＳＩ）、Ｎ，Ｎ−ジエチル−Ｎ−メチル−Ｎ−（２−メトキシエチル）アンモニウム−テトラフルオロボラート（ＤＥＭＥ−ＢＦ_４）からなる群の少なくとも１を含む、構成４記載の意思決定装置。
（構成６）
前記電解質材料は可動イオンを有する高分子化合物を含む構成４に記載の意思決定装置。
（構成７）
前記高分子化合物はポリエチレンオキシドまたはナフィオンの少なくとも何れかを含む、構成６に記載の意思決定装置。
（構成８）
前記電解質材料層は可動イオンを有する金属酸化物またはケイ酸(ＳｉＯ_２) の少なくとも何れかを含む、構成４に記載の意思決定装置。
（構成９）
前記金属酸化物は、酸化セリウム(ＣｅＯ_２)、酸化タンタル（Ｔａ_２Ｏ_５）、酸化ジルコニウム（ＺｒＯ_２）、酸化ニオブ（Ｎｂ_２Ｏ_５）、酸化タングステン（ＷＯ_３）、酸化リチウム（Ｌｉ_２Ｏ）からなる群の少なくとも１を含む、構成８に記載の意思決定装置。
（構成１０）
前記２以上の電極は電子伝導性を有する金属または半導体の少なくとも何れかを含む、構成４に記載の意思決定装置。
（構成１１）
前記金属は、金、白金、銀、パラジウム、アルミニウム、鉄、銅、タングステン、チタン、タンタルからなる群の少なくとも１を含む、構成１０に記載の意思決定装置。
（構成１２）
前記半導体は、炭素、シリコン、コバルト酸リチウムからなる群の少なくとも１を含む、構成１０に記載の意思決定装置。
（構成１３）
前記金属及び半導体は、電場下でイオンとの化学反応が可能な活性物質を含む、構成１０に記載の意思決定装置。
（構成１４）
前記金属及び半導体は、電場下でイオン輸送が可能な電解質を含み、前記電解質材料層内及び前記２以上の電極のうちの一方の電極内のイオンが移動して他方の電極内に前記イオンが侵入する、構成１０に記載の意思決定装置。
（構成１５）
前記意思決定装置は配線切替手段を有する、構成１から１４の何れかに記載の意思決定装置。

本発明によれば、簡易で小型化可能なデバイスにより、綱引き原理に正確に基づいて意思決定が可能な意思決定装置を提供することが可能になる。

綱引き原理による意思決定を説明する概念図。意思決定装置の構成を示す構成図。電源スイッチ部の構成を電気回路で示す回路図。電源スイッチ部の構成を電気回路で示す回路図。電解質素子の構成を示す断面図。電解質素子の動作原理を示す説明図。学習、意思決定過程における電解質素子の電気特性を説明する説明図。電解質素子の構成を示す断面図。電解質素子の動作原理を示す説明図。意思決定装置の構成を示す構成図。学習記憶装置部の構成を示す構成図。学習記憶装置部の動作原理を示す説明図。学習記憶装置部の動作原理を示す説明図。報酬確率（Ｐ_Ａ，Ｐ_Ｂ）を（８０％、２０％）としたときの電解質素子の起電力の変化を示す特性図。報酬確率（Ｐ_Ａ，Ｐ_Ｂ）を（８０％、２０％）と（２０％、８０％）で繰り返し切り替えた場合の正答確率の推移を示す特性図。報酬確率（Ｐ_Ａ，Ｐ_Ｂ）を（７０％、３０％）と（３０％、７０％）で繰り返し切り替えた場合の正答確率の推移を示す特性図。報酬確率（Ｐ_Ａ，Ｐ_Ｂ）を（６０％、４０％）と（４０％、６０％）で繰り返し切り替えた場合の正答確率の推移を示す特性図。

以下本発明を実施するための形態を図面を参照しながら説明する。
（実施の形態１）
＜意思決定装置の構成＞
本発明の意思決定装置は、電荷の蓄積により学習を行う学習手段、事象の行動に応じた電荷を学習手段に与える電荷供給手段、及び学習手段の電圧を読み取る電圧読み取り手段からなり、その構成を図２に示す。
ここで、電荷の蓄積により学習を行う学習手段は、電場によるイオン輸送が可能な電解質材料層を２以上の電極で挟んだ電解質素子１１からなる。
電荷供給手段は、事象の行動の学習をさせるための入力信号を基に電源から電荷を供給する電源スイッチからなり、電圧を読み取る手段は電圧計１４からなる。電圧計は、この回路を流れる電流に対してなるべく影響を与えないように、高抵抗（高インピーダンス）のものを用いることが好ましい。
電源スイッチは、電源と入力信号により電圧の印加と切断、電圧の正負及びその電圧の大きさの調整を行う機能を有する。図１では、電源スイッチは、電解質素子１１に入力信号１５を基に第１の電圧を印加及びその切断が可能な第１の電源スイッチ１２と、入力信号１６を基に第１の電源とは逆向きの電圧を印加及びその切断することが可能な第２の電源スイッチ１３からなる場合を示す。但し、これは一例であり、電源スイッチは、１つの電源から入力信号を基に、電解質素子１１に正負を含む所定の電圧を印加したり、電圧の印加を中断したりすることが可能なスイッチを有するものでもよい。

電源スイッチ１２としては、例えば図３に示すように、ＭＯＳトランジスタスイッチ２１、直流電源２２、可変抵抗２３からなるものが挙げられる。学習を与えるための入力信号１３がＭＯＳトランジスタ２１のゲート２４に入力されると、ＭＯＳトランジスタ２１がオンの状態になって、電解質素子１１に電圧が印加される。入力信号１３が入力されない場合は、ＭＯＳトランジスタ２１はオフの状態になって電解質素子１１へは電圧は印加されない。ここで、電解質素子１１に印加される電圧の大きさは可変抵抗２３によって所定の値に調整される。
電源スイッチ１３としては、例えば図４に示すように、ＭＯＳトランジスタスイッチ２５、直流電源２６、可変抵抗２７からなるものが挙げられる。ここで、直流電源２６は、直流電源２２の電圧の正負とは逆の正負を与える電源にしておく。学習を与えるための入力信号１６がＭＯＳトランジスタ２５のゲート２８に入力されると、ＭＯＳトランジスタ２５がオンの状態になって、電解質素子１１に電源スイッチ１２からの電圧とは逆向きの電圧が印加される。入力信号１６が入力されない場合は、ＭＯＳトランジスタ２５はオフの状態になって電解質素子１１へは電圧は印加されない。ここで、電源スイッチ１２と同様に、電解質素子１１に印加される電圧の大きさは可変抵抗２７によって所定の値に調整される。

＜電解質素子の構造＞
実施の形態１では、その構成と機能をわかりやすくすることも考慮して、電極が２つからなる電解質素子１１（２端子電解質素子１１）の場合について説明する。
電解質素子１１の構造を断面図である図５に示す。電解質素子１１は、陰イオン１と陽イオン２が移動出来る電解質材料層３を第１の電極４と第２の電極５で挟んだ積層構造になっている。電流印加による効果は、第１の電極４と第２の電極５との間の電圧（起電力）として測定可能である。

なお、図５及び以降の概念図は本発明を概念的に示すものであるため、実際の構造がこれらの図に示す構造と完全に相似形となることが必要とされるわけではないし、またこれらの図には明示されていない要素を追加したり、同等な別の要素で置換することもできる。

電解質材料層３の材料としては、例えば、液体電解質であるテトラメチルアンモニウム−テトラフルオロボラート（ＴＭＡ−ＢＦ_４）を用いることができる。電解質としては、テトラメチルアンモニウムイオン（ＴＭＡ^＋）、テトラエチルアンモニウムイオン（ＴＥＡ^＋）、テトラブチルアンモニウムイオン（ＴＢＡ^＋）、テトラフルオロホウ酸イオン（ＢＦ_４ ⁻）、Ｎ，Ｎ−ジエチル−Ｎ−メチル−Ｎ−（２−メトキシエチル）アンモニウム−ビス（トリフルオロメタンスルホニル）イミド（ＤＥＭＥ−ＴＦＳＩ）、Ｎ，Ｎ−ジエチル−Ｎ−メチル−Ｎ−（２−メトキシエチル）アンモニウム−テトラフルオロボラート（ＤＥＭＥ−ＢＦ_４）からなる群の少なくとも１を含む液体電解質を使用することもできる。また、電解質材料には電解質以外に各種の添加物を加えることもできる。また、電解質の材料としては他に固体電解質、可動イオンを含む高分子化合物、可動イオンを有する金属酸化物及びケイ酸（ＳｉＯ_２）も使用可能である。
ここで、可動イオンを含む高分子化合物としては、ポリエチレンオキシド、ナフィオンを挙げることができ、可動イオンを有する金属酸化物としては、酸化セリウム(ＣｅＯ_２)、酸化タンタル（Ｔａ_２Ｏ_５）、酸化ジルコニウム（ＺｒＯ_２）、酸化ニオブ（Ｎｂ_２Ｏ_５）、酸化タングステン（ＷＯ_３）、酸化リチウム（Ｌｉ_２Ｏ）を挙げることができる。

第１の電極４及び第２の電極５の材料としては、例えば、電解質との化学反応について比較的不活性であるグラファイトを用いることができる。グラファイト以外にも、電子伝導性を有する金属、例えば、金、白金、銀、パラジウム、アルミニウム、鉄、銅、タングステン、チタン、タンタルを用いることができる。また、第１の電極４及び第２の電極５として、電子伝導性を有する半導体、例えば、炭素、シリコン、コバルト酸リチウムを用いることもできる。これらの金属及び半導体は、電場下でイオンとの化学反応が可能な活性物質を含んでいる。

＜意思決定装置の動作＞
図６と図７を参照しながら、本発明の動的に強化学習可能な意思決定装置の動作を説明する。図６は、図５に示した２端子電解質素子１１に対して第２の電極側から電流を流すことによって、第１の電極４と第２の電極５の間の電圧（起電力）を変化させることができることを示している。

図６に示す電解質素子１１を作製した段階（原点状態）では、図５に示す様に、電解質材料層３内には陰イオン１と陽イオン２が均一に分布している。次に、電解質素子１１の第１の電極４側から電流を流すと、電解質材料層３内の負の電荷を有する陰イオン１は、第１の電極４と電解質材料層３の界面（以下、第１の電極側界面と称する。また、第２の電極５と電解質材料層３との界面を第２の電極側界面と称する。）付近に移動し、場合によっては一部が第１の電極内に侵入して、濃化する。このとき、陰イオン１の濃化により、第１の電極４には正の電荷ｈ^＋（正の極性の伝導キャリア）が蓄積される。一方、第１の電極と対向する第２の電極５においては、陰イオン１が減少して、正の極性のイオンである陽イオン２が残される。そのため、第２の電極５には負の電荷ｅ⁻（負の極性の伝導キャリア）が蓄積される。
この状態は平行極板キャパシタに蓄電したのと類似の状態であるので、第１の電極４と第２の電極５との間に、第１の電極４を正の極性とした電圧（Ｖで表し、第１の電極４側の電圧を印加電圧の極性とする。）が起電力として生じる。ここで、この起電力Ｖは、流れる電流や電解質材料層３内におけるイオン伝導度、イオン輸率によって変化する。なお、電流を流す時間は数ミリ秒から数秒が好ましい。

本装置で生じた起電力Ｖは電流により蓄積した電荷によるものなので、電流を停止して回路を開放しても起電力はすぐには失われない。そして、さらに電流を流すことにより、起電力を増減させることが可能である。

次に、図７を用いて強化学習及び意思決定の手順を、報酬確率Ｐ_Ａ、Ｐ_Ｂ（％）を持つ二つの行動Ａ、Ｂの選択を行う場合を例に挙げて説明する。意思決定装置１００は、結果的に、正の起電力（電圧）を示す場合は行動Ａを選択し、Ｐ_Ａの確率で報酬を得るとする。逆に１００‐Ｐ_Ａ（％）の確率で報酬は得られない。同様に、負の起電力（電圧）を示す場合は行動Ｂを選択し、Ｐ_Ｂの確率で報酬を得るとする。このときは、１００‐Ｐ_Ｂ（％）の確率で報酬が得られない。
図７のｔ_１に示す時点で起電力を正と判定すると、行動Ａを選択するのでＰ_Ａの確率で報酬を得るが、装置上では、この報酬に対応する予め定めた値の正の電流を一定時間流しておく。正の電流により、起電力Ｖは正の極性で増大する（Ｖ_１に対応）。電流を止めて回路を一定時間開くと、起電力Ｖの減衰が起こる（Ｖ_２に対応）。回路を開いた状態でｔ_２の時点で起電力Ｖを判定した後、ｔ_２の時点から再び電流（この場合は上記とは逆向きの電流）を流し、ｔ_３の時点で起電力Ｖを判定する。そして、ｔ_３の時点で回路を開き（Ｖ_４に対応）、同様の過程を繰り返す。図７の時刻ｔ_１からｔ_２の過程（図７のＴ_１）を１回の試行とし、この試行を繰り返し行う。試行回数を増すに従い、起電力が正、もしくは負に偏っていく。これを以て装置が行動Ａ、もしくは行動Ｂを選択したと判断する。例えば、Ｐ_Ａ＞Ｐ_Ｂであれば、正の起電力に偏っていくとき、意思決定装置１００は報酬確率がより高い行動を正しく選択したと解釈される。

本発明の意思決定装置１００では、事象の行動に応じて電荷を電解質素子１１に蓄積させていき、試行を繰り返した結果、最終的に蓄積された電荷による起電力により意思決定を行っている。本発明では、この電荷の蓄積素子として電気化学動作を行う電解質を用いたことが１つの要となっている。

例えば、電解質素子１１に置き換えて、電子を蓄積するコンデンサーを電荷蓄積素子として用いた場合を考える。コンデンサーの場合は、電流印加によって蓄積された電荷をＱとすると、報酬確率の変動に対応するために失われなければならない電荷も‐Ｑになる。コンデンサーの場合はこの関係性が厳密に成立する。意思決定工程を、パチンコを例に例えて言うと、１台のパチンコ台を使って１０万円儲けた遊戯者は、その台で１０万円以上損をするまでその台を諦められない状態に相当し、賢い意思決定とは言い難い状況になる。

一方、電荷蓄積素子として電解質素子を用いている本発明では、電気化学反応が進行することにより電荷が少しずつ失われていくため、報酬確率の変動に対応するために失われなければならないＱはかなり小さくなる。上記のパチンコの例で言うと、１０万円儲かった台で例えば３万円損をした段階で見切りをつけて他の台を選択するという判断が可能になり、より賢い意思決定ができる。

（実施の形態２）
一連の強化学習と意思決定は２つ以上の行動に対しても、対応する電極を適宜増設することによって実施することが可能である。具体的には、上述の起電力の判定基準を、最も高いもしくは低い起電力を示す行動を選択する、と改めればよい。よって、原理上は取り扱うことが出来る行動の数には制限がない。

以下、図を用いて詳細に説明する。
電極の数を第１の電極４、第２の電極５、そして第３の電極６と３つに増やした電解質素子５１の例を図８に示す。ここで、第１の電極４、第２の電極５、第３の電極６をそれぞれ行動Ａ、Ｂ、Ｃに対応させた場合を考える。実施の形態１で述べた２端子電解質素子１を用いた場合と同様に、図９に示すように、報酬確率Ｐ_Ａに対応する電流を第１の電極４、第２の電極５、第３の電極６の間に流す。こうした試行を繰り返すことで、最も報酬確率の高い行動を選択することが可能になる。

電極の数が３つの３端子電解質素子３１を用いた意思決定装置１１０の例を図１０に示す。図１０の意思決定装置１１０では、第１の電極３３は、電解質材料層３２からなる層を挟んで第２の電極３４及び第３の電極３５と対向した場合であるが、電極が並列に並んでいる３端子電解質素子５１とその機能は変わらない。意思決定装置１１０では、電源スイッチ４１、４２、４４、４５、４７，４８、及び電圧計４３，４６，４９を使って、実施の形態１と同様の手法で行動Ａ、Ｂ、Ｃに対応して、報酬確率の高い行動を選択することが可能である。

（実施の形態３）
本技術を用いた場合、電解質素子１個による試行では最も報酬確率が高い行動のみしか決定出来ないのに対し、素子を増やすことによってより困難な問題を解くことが可能になる。電極を複数取り付けた電解質素子７及び８を、配線切替機９を介して電源（直流電源）６０に接続した学習記憶装置部１２０を図１１に示す。ここで、学習記憶装置部１２０は、意思決定装置の一部で、学習手段と電荷供給手段からなるモジュールである。

電解質素子８の最も高い電位を示す電極が第１の電極６１の場合、第１の電極６１に報酬確率Ｐ_Ａに対応する電流を流す。このとき、図１２に示すように、電解質素子８の第１の電極６４と電解質素子７の第１の電極６１とを電気的に繋ぎ、電解質素子７の第１の電極６１以外の電極、例えば第３の電極６３と、それに対応する電解質素子８の第３の電極６６を電源（直流電源）６０に電気的に繋ぎ、電流を流す。この場合、電解質素子７の第３の電極６３と電解質素子８のそれに対応する第３の電極６６には、それぞれ逆の符合の電荷が蓄積される。

次に、電解質素子７の第１の電極６１以外の電極として第２の電極６２を選択した場合は、図１３に示すように、ここでも電解質素子７の第２の電極６２と電解質素子８の第２の電極６５にはそれぞれ逆の符合の電荷が蓄積される。

こうした試行を第１の電解質素子７と第２の電解質素子８で交互に繰り返していくことで、最終的に電解質素子７と電解質素子８は異なった行動を選択するが、これは報酬確率の最も高い上位２つの行動に対応する。
このように、電解質素子１個による試行では最も報酬確率が高い行動のみしか決定出来ないのに対し、電解質素子の数を増やし、配線切替機（配線切替手段）を用いて適宜各電解質素子間の電極の電気的接合と切り離し、電源への接合と切り離しを行うことで上位２つ以上を決定するというより困難な問題を解くことが可能になる。

以下、実施例により本発明をさらに詳細に説明するが、当然のこととして、本発明は以下の実施例に限定されるものではなく、特許請求の範囲のみにより規定されるものであることに注意されたい。

（実施例１）
実施例１では、図２に示す意思決定装置１００を用いて、意思決定の評価を行った。そこでは、電解質素子１１の電極数を２とし、報酬化率Ｐ_Ａ、Ｐ_Ｂに応じてその２つの電極間に電源スイッチ１５及び１６を通じて下記所定の電圧を印加して、起電力の変化を電圧計１４でモニターした。電解質素子１１の電極４，５にはグラファイトを用い、電解質材料層３の電解質としては液体電解質であるテトラメチルアンモニウム-テトラフルオロボラート（ＴＭＡ−ＢＦ_４）を用いた（図５参照）。

行動Ａ及びＢの報酬確率をそれぞれＰ_Ａ＝８０％、Ｐ_Ｂ＝２０％とし、正の起電力を示した場合に行動Ａを選択、負の起電力を示した場合に行動Ｂを選択するとした。それぞれの行動Ａ、ＢにおいてＰ_Ａ、Ｐ_Ｂの確率で報酬を得た場合に印加する電流値を４ｍＡ、得なかった場合の電流値を３．９ｍＡとした。また、電流の印加時間と回路解放時間をそれぞれ１秒間とした。以上の条件で行った試行により両電極間に生じた起電力変化の例を図１４に示す。図７を用いて説明したのと同様の起電力変化が数１００ｍＶ程度の大きさで実際に観察されていることがわかる。これは電流印加により電極界面近傍の電気二重層が変調されることに起因する。

時間に対して報酬確率が変化する行動群の中から場面に応じた強化学習によって最適な行動を選択させるという観点から、Ｐ_Ａ、Ｐ_Ｂの変化に対する追従性が重要となる。そこで、この測定では試行回数１００回毎にＰ_ＡとＰ_Ｂの大きさを入れ替えている。その際に装置が報酬確率の高い行動を正しく選択した確率（正答確率）を試行回数に対してプロットすると図１５となる。試行回数０回から１０回では正答確率が４０％以下であるが、試行回数４０回でほぼ９０％以上に到達している。次に、試行回数１００回を超えた時点でＰ_ＡとＰ_Ｂの値を反転させた所、直後は正答確率が０％に落ち込んだ。しかし、報酬確率の変動に対応して再び正答確率を高め、試行回数１５０回で再び正答確率がほぼ９０％に達した。報酬確率の変動をさらに与えたが、同様に速やかに正答確率を回復させる挙動が観察された。

図１６にＰ_Ａ、Ｐ_Ｂを７０％、３０％として図１５と同様に試行回数１００回毎に入れ替えた際の正答確率の変化を示す。正答確率が９０％以上に収束する試行回数が５０回から７０回と相対的に増加している。これは、図１５での試行と比較してＰ_ＡとＰ_Ｂの値が近く、意思決定までにより多くの試行回数を要する難しい問題であることと対応しており、合理的な結果と言える。

（実施例２）
実施例２では、実施例１で用いた装置の電解質のみを液体電解質から固体電解質であるナフィオンに代えて実施例１と同様の測定を行った場合を示す。報酬確率Ｐ_Ａ、Ｐ_Ｂを６０％、４０％として試行回数２００回毎に入れ替えて測定を行った結果を図１７に示すが、その図から実施例１と同様の正答確率の変化が確認出来る。これは、液体、固体という電解質の状態に関わらずイオン伝導性によって強化学習、及びそれに伴う意思決定が可能となっていることを示している。この例ではナフィオン中を伝導するプロトンによって機能が得られている。

綱引き原理は、学習結果を強く反映した強化学習に位置づけられている。本発明の意思決定装置は、小型で簡易なデバイスでかつ複雑な計算を必要とせずに、その強化学習に基づいて効率的に意思決定を行うことが可能である。このため、本発明の意思決定装置は産業分野で大いに利用される可能性がある。

１：陰イオン
２：陽イオン
３：電解質材料層
４：第１の電極
５：第２の電極
６：第３の電極
７：電解質素子
８：電解質素子
９：配線切替機
１１：電解質素子
１２：第１の電源スイッチ
１３：第２の電源スイッチ
１４：電圧計
１５，１６：入力信号
２１，２５：ＭＯＳトランジスタ
２２，２６：直流電源
２３，２７：可変抵抗
２４，２８：ゲート
３１：電解質素子
３２：電解質材料層
３３：第１の電極
３４：第２の電極
３５：第３の電極
４１，４２，４４，４５，４７，４８：電源スイッチ
４３，４６，４９：電圧計
５１：電解質素子
６０：電源（直流電源）
１００，１１０：意思決定装置
１２０：学習記憶装置部

Claims

電荷の蓄積により学習を行う学習手段、事象の行動に応じた電荷を前記学習手段に与える電荷供給手段、及び前記学習手段の電圧を読み取る電圧読み取り手段を有し、前記電圧読み取り手段で読み取った電圧により意思を決定する意思決定装置であって、
前記学習手段は、電場によるイオンの輸送が可能な電解質材料層を２以上の電極で挟んだ電解質素子からなる、意思決定装置。
前記２以上の電極間に前記電荷の流入による電流を流して前記イオンを輸送し、前記電極間に電圧を生じさせる、請求項１記載の意思決定装置。
前記イオンの前記２以上の電極のうちの少なくとも１の電極側への移動または電極内への侵入により、前記２以上の電極に電子及び正孔が生成されて電圧が発生する、請求項１または２記載の意思決定装置。
前記電解質材料層は液体電解質または固体電解質を含む、請求項１から３の何れか１に記載の意思決定装置。
前記液体電解質は、テトラメチルアンモニウムイオン（ＴＭＡ^＋）、テトラエチルアンモニウムイオン（ＴＥＡ^＋）、テトラブチルアンモニウムイオン（ＴＢＡ^＋）、テトラフルオロホウ酸イオン（ＢＦ_４ ⁻）、Ｎ，Ｎ−ジエチル−Ｎ−メチル−Ｎ−（２−メトキシエチル）アンモニウム−ビス（トリフルオロメタンスルホニル）イミド（ＤＥＭＥ−ＴＦＳＩ）、Ｎ，Ｎ−ジエチル−Ｎ−メチル−Ｎ−（２−メトキシエチル）アンモニウム−テトラフルオロボラート（ＤＥＭＥ−ＢＦ_４）からなる群の少なくとも１を含む、請求項４記載の意思決定装置。
前記電解質材料は可動イオンを有する高分子化合物を含む請求項４に記載の意思決定装置。
前記高分子化合物はポリエチレンオキシドまたはナフィオンの少なくとも何れかを含む、請求項６に記載の意思決定装置。
前記電解質材料層は可動イオンを有する金属酸化物またはケイ酸(ＳｉＯ_２) の少なくとも何れかを含む、請求項４に記載の意思決定装置。
前記金属酸化物は、酸化セリウム(ＣｅＯ_２)、酸化タンタル（Ｔａ_２Ｏ_５）、酸化ジルコニウム（ＺｒＯ_２）、酸化ニオブ（Ｎｂ_２Ｏ_５）、酸化タングステン（ＷＯ_３）、酸化リチウム（Ｌｉ_２Ｏ）からなる群の少なくとも１を含む、請求項８に記載の意思決定装置。
前記２以上の電極は電子伝導性を有する金属または半導体の少なくとも何れかを含む、請求項４に記載の意思決定装置。
前記金属は、金、白金、銀、パラジウム、アルミニウム、鉄、銅、タングステン、チタン、タンタルからなる群の少なくとも１を含む、請求項１０に記載の意思決定装置。
前記半導体は、炭素、シリコン、コバルト酸リチウムからなる群の少なくとも１を含む、請求項１０に記載の意思決定装置。
前記金属及び半導体は、電場下でイオンとの化学反応が可能な活性物質を含む、請求項１０に記載の意思決定装置。
前記金属及び半導体は、電場下でイオン輸送が可能な電解質を含み、前記電解質材料層内及び前記２以上の電極のうちの一方の電極内のイオンが移動して他方の電極内に前記イオンが侵入する、請求項１０に記載の意思決定装置。
前記意思決定装置は配線切替手段を有する、請求項１から１４の何れかに記載の意思決定装置。