JP2021018596A

JP2021018596A - 決定装置、決定方法および決定プログラム

Info

Publication number: JP2021018596A
Application number: JP2019133764A
Authority: JP
Inventors: 祐宮崎; Yu Miyazaki; 隼人小林; Hayato Kobayashi; 晃平菅原; Kohei Sugawara; 正樹野口; Masaki Noguchi; 朋哉山崎; Tomoya Yamazaki
Original assignee: Yahoo Japan Corp
Current assignee: Yahoo Japan Corp
Priority date: 2019-07-19
Filing date: 2019-07-19
Publication date: 2021-02-15
Anticipated expiration: 2039-07-19
Also published as: JP7350549B2

Abstract

【課題】柔軟性のあるモデルを構築することにより、状況に応じた最適化をすること。【解決手段】本願に係る決定装置は、第１生成部と、第２生成部と、決定部とを備える。第１生成部は、複数のレイヤを有し、各レイヤがノード接続されたモデルの接続関係を事象と見做し、コホモロジーを満たす写像空間を生成する。第２生成部は、第１生成部によって生成された写像空間に基づいて、圏論における圏を生成する。決定部は、第２生成部によって生成された圏論における圏の同値関係に基づいて、レイヤ間の接続パラメータを決定する。【選択図】図２

Description

本発明は、決定装置、決定方法および決定プログラムに関する。

従来、複数のノードを有するレイヤを多段に接続したモデルを用いて、入力情報の分類を実行させるＤＮＮ（Deep Neural Network）の技術が知られている。例えば、モデルに対して所定の入力情報を入力した際に、モデルの出力が入力情報と対応する出力情報に近づくようにモデルの学習を行うことで、所望の特徴に応じて入力情報を分類するようモデルの学習を行う技術が知られている。

特開２０１６−００６６１７号公報

しかしながら、上述した技術では、モデルに柔軟性を持たせることについては考慮されておらず、柔軟性のある推論や予測を行うことが困難であった。

本願は、上記に鑑みてなされたものであって、柔軟性のあるモデルを構築することにより、状況に応じた最適化をすることができる決定装置、決定方法および決定プログラムを提供することを目的とする。

本願に係る決定装置は、第１生成部と、第２生成部と、決定部とを備える。前記第１生成部は、複数のレイヤを有し、各レイヤがノード接続されたモデルの接続関係を事象と見做し、コホモロジーを満たす写像空間を生成する。前記第２生成部は、前記第１生成部によって生成された前記写像空間に基づいて、圏論における圏を生成する。前記決定部は、前記第２生成部によって生成された前記圏論における圏の同値関係に基づいて、前記レイヤ間の接続パラメータを決定する。

実施形態の一態様によれば、柔軟性のあるモデルを構築することにより、状況に応じた最適化をすることができる。

図１は、実施形態に係る決定装置が実行する処理の一例を示す図である。図２は、実施形態に係る決定装置のブロック図である。図３は、コホモロジーの概念図である。図４は、実施形態に係る決定装置が実行する処理手順を示すフローチャートである。図５は、提供装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る決定装置、決定方法および決定プログラムを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る決定装置、決定方法および決定プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

〔１．情報処理〕
まず、図１を用いて、決定装置が実行する処理の一例について説明する。図１は、実施形態に係る決定装置が実行する処理の一例を示す図である。図１では、決定装置１０は、以下に説明する決定処理を実行する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。

より具体的には、決定装置１０は、インターネット等の所定のネットワークを介して、任意の装置と通信が可能である。

近年、モデルとして、複数のノードを含むレイヤを多段に設定し、各レイヤ間のノードを接続経路を介して接続するとともに、接続経路に種々の接続係数を設定したＤＮＮの技術が知られている。また、このようなＤＮＮ以外にも、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long short-term memory）、ＣＮＮ（Convolutional Neural Network）、ＤＳＳＭ（Deep Structured Semantic Models）といった、ノードを含むレイヤを多段に設定した各種のモデルが知られている。

このような各種のモデルは、入力層、中間層（隠れ層）、および出力層と呼ばれるレイヤを有し、入力層から入力された情報（すなわち、入力情報）を各接続経路を伝播させながら出力層まで伝達する。この際、各接続経路に設定された接続係数に基づいた演算処理を実行することで、モデルは、入力情報に対応する出力情報を生成する。また、各レイヤは、複数のニューロから構成され、各ニューロは、行列などの関数である。

ところで、従来技術においては、モデルに柔軟性を持たせることについては考慮されておらず、柔軟性のある推論や予測を行うことが困難であった。

そこで、決定装置１０は、モデルＭに圏論の概念を用いて抽象化し、導来圏を用いた同値関係（導来同値）により、柔軟性のある当てはめにより、モデルＭの構造に柔軟性を持たせることとした。つまり、決定装置１０は、隣接するレイヤを滑らかにシフトさせたときの各レイヤの接続関係（すなわち、コホモロジー）を導来圏を用いることで計算し、そのコホモロジーの接続構造が同じものを同値とみなしてレイヤ間の接続パラメータを決定する。例えば、決定装置１０は、接続パラメータとして、あるレイヤを基準としたときの隣接するレイヤとの接続関係を示すシフト量Ｄを決定し、そのシフト関係の構造が同じものを同値とみなす。

つまり、決定装置１０は、シフト量Ｄだけ、レイヤ間の構造をずらすことで、各レイヤ間の接続関係による同値構造を決定し、個々の接続パラメータが異なっていても、その接続構造が同一であれば、同じ値であるとみなして学習を行う。これにより、各レイヤ間の接続関係をより抽象的な概念でとらえることができ、柔軟性を持った最適化を行うことができる。

具体的には、まず、決定装置１０は、モデルＭに基づいて、コホモロジーを満たす写像空間を生成する（ステップＳ１）。例えば、決定装置１０は、モデルＭを構成するレイヤ内におけるニューロ間の接続関係を示す複体Ｘ、Ｙを圏論の構造における「対象」と見做し、「対象」間の接続関係をホモトピー同値へ変換することで、コホモロジーを満たす写像空間を生成する。

複体Ｘ、Ｙを「対象」と見做した場合、各対象を下記（式１）および（式２）のように定義する。なお、複体Ｘは、レイヤＬ１内の各ニューロの接続関係を示し、複体Ｙは、レイヤＬ２内の各ニューロの接続関係を示すものとする。

ここで、（式１）および（式２）において、Ｘ^−１，Ｘ^０，Ｘ^１、Ｘ^２・・・およびＹ^−１，Ｙ^０，Ｙ^１、Ｙ^２・・・は、それぞれニューロ間の接続関係を示す関数であり、ｄ^−１、ｄ^０、ｄ^１・・・およびｄ´^−１、ｄ´^０、ｄ´^１・・・は、それぞれ対応する斜を示す。

このとき、複体Ｘおよび複体Ｙがなす圏は、下記（式３）によって表すことができ、（式３）について、圏同値をホモトピーによってまとめたものが下記（式４）となる。

（式４）は、コホモロジーを満たす写像空間を示す。

そして、決定装置１０は、上記（式４）に基づき、導来圏を生成する（ステップＳ２）。導来圏は、下記（式５）で表され、下記（式６）における全ての「ｎ」について対応関係が成立する。

また、導来圏は、下記（式７）によっても表すことができる。

（式７）に示す「Ｑｉｓ」は、コホモロジーにおけるイメージに対応し、「Ｈｏｍ_ｋ（Ｒ）（・）」は、コホモロジーにおけるカーネルに対応する。すなわち、（式７）は、複体Ｘと複体Ｙとのコホモロジーを示すことになる。

ここで、導来圏は、非特許文献１(http://annals.math.princeton.edu/wp-content/uploads/annals-v166-n2-p01.pdf)に開示された三角圏の性質を有する。したがって、導来圏を用いることで、複体Ｘ、Ｙの接続関係、すなわち、シフト量Ｄを滑らかに変化させたときのコホモロジーを算出することが可能となる。

このように、決定装置１０は、導来圏を生成することで、各レイヤ間のコホモロジーを連続的に捉え、その構造に基づいた同値関係を得ることが可能となるので、柔軟性をもった接続パラメータを決定することが可能となる。

そして、決定装置１０は、かかる接続パラメータに基づいて、接続関係の最適化を行うことができるので、モデルＭを理論的に最適化することが可能となる。さらには、モデルＭに柔軟性を持たせることで、柔軟性のある推論や予測が可能となる。

したがって、実施形態に係る決定装置１０によれば、ＤＮＮを活用して新たなアイデアや新たな文章、画像などの創作を行う場合に、同じとみなすデータの範囲を広げることが可能となる。これにより、より人間のような柔らかい思考での創作に近い結果を得ることができる。

〔２．決定装置の構成〕
次に、図２を用いて、実施形態に係る決定装置１０の構成例について説明する。図２は、実施形態に係る決定装置１０のブロック図である。図２に示すように、決定装置１０は、通信部２０と、記憶部３０と、制御部４０とを備える。通信部２０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、所定のネットワークと有線または無線で接続され、図示しない外部装置との間で情報の送受信を行う。

記憶部３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、モデルデータベース３１を記憶する。

モデルデータベース３１は、モデルＭを格納するデータベースである。なお、モデルデータベース３１には、それぞれ互いに異なる複数のモデルＭが格納されていてもよいし、あるいは、単一のモデルＭが格納されていてもよい。なお、モデルＭは、外部装置から取得したものであってもよいし、決定装置１０によって学習されたものであってもよい。

制御部４０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、決定装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ等を作業領域として実行されることにより実現される。また、制御部４０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

また、図２に示すように、制御部４０は、第１生成部４１と、第２生成部４２と、決定部４３とを備える。第１生成部４１は、複数のレイヤを有し、各レイヤがノード接続されたモデルの接続関係を事象と見做し、コホモロジーを満たす写像空間を生成する。

図３は、コホモロジーの概念図である。図３に示すように、コホモロジーは、ネットワークにおける前後の接続関係を示し、「カーネル（Ｋｅｒｇ）÷イメージ（Ｉｍｆ）」で表現することができる。

第１生成部４１は、モデルＭの各レイヤ内における接続関係を示す複体Ｘ、Ｙを圏論の構造における対象と見做し、上記（式４）までの計算を行うことで、圏同値がホモトピーによってまとめられた写像空間を生成する。

ところで、上述したように、複体Ｘ、Ｙの各構成要素は、それぞれ各レイヤ内における各ニューロ間の接続関係を示す関数である。すなわち、別の見方をすると、複体Ｘ、Ｙは、それぞれ対応する複体内のニューロが示す関数同士の接点の集合と見做すことができ、ニューロの微分空間であると見做すことができる。

このように、写像空間の対象を微分空間とすることで、ニューロを抽象化した概念で捉えることが可能となる。

なお、第１生成部４１は、例えば、非特許文献２(http://www2.math.kyushu-u.ac.jp/~m-kudo/kudo-combination-2015-2.pdf)に開示されたグレブナー基底の概念を用いて、コホモロジーを満たす写像空間を生成することにしてもよい。

図２の説明に戻り、第２生成部４２について説明する。第２生成部４２は、第１生成部４１によって生成された写像空間に基づいて、圏論における圏を生成する。具体的には、第２生成部４２は、上記（式７）によって示した導来圏を生成する。

決定部４３は、第２生成部４２によって生成された圏論における圏の同値関係に基づいて、レイヤ間の接続パラメータを決定する。つまり、決定部４３は、導来圏による同値関係（導来同値）によって、個々の接続パラメータが異なっていても、その接続構造が同一であれば、同じ値であるとみなして学習を行う。

これにより、モデルＭについて柔軟性を持った最適化を行うことができる。

ここで、別の観点から、接続パラメータを理論的に求める手法について説明する。複体Ｘ、Ｙと斜ｆとの関係を（式８）とする場合、２つの複体Ｘ、Ｙの畳み込みを示す式は、下記（式９）によって示すことができる。

（式９）に示すＺは、Ｃｏｎｅ（ｆ）に対応し、複体Ｘ，Ｙの「錐」とも称される。ここで、（式９）に示すように、複体Ｘ，Ｙの和集合間の斜δ^ｎは、（式１０）として表すことができる。

なお、（式１０）において、ｄ^ｎは、複体Ｘの斜、ｄ^´ｎ＋１は、複体Ｙの斜をそれぞれ示し、ｆ^ｎ＋１は、斜（ｄ^ｎ、ｄ^´ｎ＋１）の斜を示す。つまり、ｆ^ｎ＋１は、斜同士（ｄ^ｎ、ｄ^´ｎ＋１）の斜であり、複体Ｘ，Ｙ間のズレを示すことになる。

したがって、（式１０）において、斜δ^ｎが最少となるように、「ｎ」を決定することで、複体Ｘ，Ｙ間の接続態様のズレを小さくすることができる。言い換えれば、斜δ^ｎが最少となるように「ｎ」を決定することで、モデルＭの最適化を理論的に実現することができる。

ここで、斜δ^ｎは、離散的な表現となるが、斜δ^ｎの導来圏を導くことで、三角圏の性質を持つようになり、斜δ^ｎを連続的に捉えることが可能となる。すなわち、（式１０）を導来圏で示したものが上記（式７）となる。

このように、決定部４３は、導来圏を用いて接続パラメータを設定することで、各レイヤを滑らかにシフトさせたときの斜δｎに基づいて、最適な接続パラメータを決定することが可能となる。

〔３．情報処理のフロー〕
次に、図４を用いて、実施形態に係る決定装置１０が実行する処理手順について説明する。図４は、実施形態に係る決定装置１０が実行する処理手順を示すフローチャートである。

図４に示すように、実施形態に係るが決定装置１０は、まず、モデルＭの接続関係を事象と見做し、コホモロジーを満たす写像空間を生成し（ステップＳ１０１）、写像空間に基づいて、導来圏を生成する（ステップＳ１０２）。

続いて、決定装置１０は、導来圏における同値関係に基づいて、レイヤ間の接続パラメータを決定し（ステップＳ１０３）、接続パラメータに基づいて、モデルＭの構造を最適化し（ステップＳ１０４）、処理を終了する。

〔４．ハードウェア構成〕
上述してきた実施形態に係る決定装置１０は、例えば図４に示すような構成のコンピュータ１０００によって実現される。図４は、決定装置１０の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に記憶されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を記憶する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス１５００は、通信網５００を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを、通信網５００を介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して生成したデータを出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に記憶されたプログラム又はデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が実施形態に係る決定装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部４０の機能を実現する。また、ＨＤＤ１４００には、記憶部３０内のデータが記憶される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から通信網５００を介してこれらのプログラムを取得してもよい。

〔５．効果〕
上述したように、実施形態に係る決定装置１０は、第１生成部４１と、第２生成部４２と、決定部４３とを備える。第１生成部４１は、複数のレイヤを有し、各レイヤがノード接続されたモデルＭの接続関係を事象と見做し、コホモロジーを満たす写像空間を生成する。第２生成部４２は、第１生成部４１によって生成された写像空間に基づいて、圏論における圏を生成する。決定部４３は、第２生成部４２によって生成された圏論における圏の同値関係に基づいて、レイヤ間の接続パラメータを決定する。

したがって、実施形態に係る決定装置１０によれば、柔軟性のあるモデルを構築することにより、状況に応じた最適化をすることができる。

また、実施形態に係る決定装置１０において、第１生成部４１は、圏論における圏の同値関係を、導来圏における同値関係としてレイヤ間の接続パラメータを決定する。

したがって、実施形態に係る決定装置１０によれば、各レイヤ間の接続パラメータに柔軟性を持たせて最適化を行うことができる。

また、実施形態に係る決定装置１０において、決定部４３は、圏論における圏の同値関係を、導来圏における同値関係として、レイヤ間の接続パラメータを決定する。

したがって、実施形態に係る決定装置１０によれば、モデルＭの構造に柔軟性を持たせることができる。

また、実施形態に係る決定装置１０において、第１生成部４１は、グレブナー基底に基づいて、写像空間を生成する。

したがって、実施形態に係る決定装置１０によれば、コホモロジーを満たす写像空間を適切に生成することができる。

〔６．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上述してきた実施形態に記載した各処理は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、第１生成部４１は、第１生成手段や第１生成回路に読み替えることができる。

１０決定装置
２０通信部
３０記憶部
３１モデルデータベース
４０制御部
４１第１生成部
４２第２生成部
４３決定部

Claims

複数のレイヤを有し、各レイヤがノード接続されたモデルの接続関係を事象と見做し、コホモロジーを満たす写像空間を生成する第１生成部と、
前記第１生成部によって生成された前記写像空間に基づいて、圏論における圏を生成する第２生成部と、
前記第２生成部によって生成された前記圏論における圏の同値関係に基づいて、前記レイヤ間の接続パラメータを決定する決定部と
を備えることを特徴とする決定装置。
前記決定部は、
前記圏論における圏の同値関係に導来圏における同値関係を用いて、前記レイヤ間の接続パラメータを決定すること
を特徴とする請求項１に記載の決定装置。
前記第１生成部は、
前記レイヤ内の接続関係を示す複体を圏論の構造における対象と見做し、当該対象間の同値類をホモトピーによってまとめた前記写像空間を生成すること
を特徴とする請求項１または２に記載の決定装置。
前記第１生成部は、
グレブナー基底に基づいて、前記写像空間を生成すること
を特徴とする請求項１または２に記載の決定装置。
コンピュータが実行する決定方法であって、
複数のレイヤを有し、各レイヤがノード接続されたモデルの接続関係を事象と見做し、コホモロジーを満たす写像空間を生成する第１生成工程と、
前記第１生成工程によって生成された前記写像空間に基づいて、圏論における圏を生成する第２生成工程と、
前記第２生成工程によって生成された前記圏論における圏の同値関係に基づいて、前記レイヤ間の接続パラメータを決定する決定工程と
を含むことを特徴とする決定方法。
複数のレイヤを有し、各レイヤがノード接続されたモデルの接続関係を事象と見做し、コホモロジーを満たす写像空間を生成する第１生成手順と、
前記第１生成手順によって生成された前記写像空間に基づいて、圏論における圏を生成する第２生成手順と、
前記第２生成手順によって生成された前記圏論における圏の同値関係に基づいて、前記レイヤ間の接続パラメータを決定する決定手順と
をコンピュータに実行させることを特徴とする決定プログラム。