JP2021111143A - 学習プログラム，学習方法および推定装置 - Google Patents

学習プログラム，学習方法および推定装置 Download PDF

Info

Publication number
JP2021111143A
JP2021111143A JP2020002961A JP2020002961A JP2021111143A JP 2021111143 A JP2021111143 A JP 2021111143A JP 2020002961 A JP2020002961 A JP 2020002961A JP 2020002961 A JP2020002961 A JP 2020002961A JP 2021111143 A JP2021111143 A JP 2021111143A
Authority
JP
Japan
Prior art keywords
chemical structure
compound name
atoms
compound
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020002961A
Other languages
English (en)
Inventor
京群 松下
Kyomoto Matsushita
京群 松下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2020002961A priority Critical patent/JP2021111143A/ja
Priority to US17/130,519 priority patent/US20210217501A1/en
Publication of JP2021111143A publication Critical patent/JP2021111143A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/80—Data visualisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/20—Identification of molecular entities, parts thereof or of chemical compositions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/70—Machine learning, data mining or chemometrics

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Machine Translation (AREA)

Abstract

【課題】化合物名に基づいて化学構造を作成する際に、原子数の誤りを抑制する。【解決手段】化合物名の入力に応じて化学構造を表す文字列を出力とするモデルに、第１の化合物名を入力し、第１の化合物名の入力に応じてモデルが出力した結果を取得し、結果と第１の化合物名が示す第１の化合物の化学構造を表す文字列とに基づいて決定される交差エントロピー誤差と、結果と第１の化合物を構成する元素ごとの原子数に基づいて決定される原子数の差とに基づいて、モデルの機械学習を実行する。【選択図】図５

Description

本発明は、学習技術および推定技術に関する。
化合物名に基づいて化学構造を作成する手法として、ルールベースによる手法が考えられる。
図６はルールベースによる化学構造の予測手法を説明するための図である。ルールベースによる手法においては、化合物名を複数の語に分割し、その後、各語を辞書等を参照して部分化学構造に置換する。そして、作成した複数の部分化学構造を結合することで、化合物名に応じた化学構造を予測する。
特開２０１９−１２８６０３号公報 国際公開第２０１９／０４８９６５号
しかしながら、ルールベースによる手法においては、化合物名を分割して化学構造に置き換える際に、語彙にない部分化学構造やルールに従わない部分化学構造については、処理することができない。ＩＵＰＡＣ（International Union of Pure and Applied Chemistry）命名法等、化合物名を記述する体系的な命名法は公知であるが、全てがこのような命名法に従って正しく記述されているわけではない。
したがって、ルールベースによる手法においては、ルールに記載されていない語彙や法則がある場合に動作しない。
また、化合物名から化学構造を作成する手法として、ニューラルネットワークによる翻訳を用いることで、データに内在する因果関係を統計的手法で分析する統計的手法も考えられる。例えば、トランスフォーマ（Transformer）やＬＳＴＭ（Long Short Term Memory）を用いる手法である。
ニューラルネットワークは、生物学的脳をモデリングしたコンピュータ科学的アーキテクチャを参照する。近年、ニューラルネットワーク技術の発展により、多種の電子システムにおいて、ニューラルネットワークを活用して入力データを分析し、有効な情報を抽出する研究が活発に進められている。
しかしながら、このような統計的手法は、決まった解答がない自然言語の翻訳分野などで研究が盛んなため、化学構造のような正確性を重要視する仕組みに乏しい。そのため、似た化合物は生成されるが、原子数の誤りが生じる等、正確に一致しない場合がある。
図７はニューラルネットワークを用いた統計的手法による化学構造の作成手法を説明するための図である。
この図７に示す例においては、化合物名に対してエンコードを行なった後に、エンコードした全ての単語の組み合わせに対するアテンション（自己アテンション） を計算して中間表現を求め、その後デコードを行なって文字を生成する。その後、文字をＳＭＩＬＥＳ（Simplified Molecular Input Line entry System）記法で表す化学構造に対応させることで、化学構造を作成する。
図８はニューラルネットワークを用いた統計的手法により作成された化学構造を例示する図である。この図８においては、化合物名“1,2-di(4-hydroxyphenyl)alanine”の化学構造について、正解データ（図８の符号Ａ参照）とニューラルネットワークを用いた統計的手法により作成された化学構造（図８の符号Ｂ参照）とを示す。
すなわち、図８に示す例においては、化合物名“1,2-di(4-hydroxyphenyl)alanine”の化学構造として作成された化学構造（符号Ｂ参照）は、正解の構造（符号Ａ参照）に対してフェノールが一つ不足している。このように、ニューラルネットワークを用いた統計的手法においては、化学構造を生成した際に、原子数の誤りが生じる場合がある。
１つの側面では、本発明は、化合物名に基づいて化学構造を作成する際に、原子数の誤りを抑制することを目的とする。
このため、この学習プログラムは、化合物名の入力に応じて化学構造を表す文字列を出力とするモデルに、第１の化合物名を入力し、前記第１の化合物名の入力に応じて前記モデルが出力した結果を取得し、前記結果と前記第１の化合物名が示す第１の化合物の化学構造を表す文字列とに基づいて決定される交差エントロピー誤差と、前記結果と前記第１の化合物を構成する元素ごとの原子数に基づいて決定される原子数の差とに基づいて、前記モデルの機械学習を実行する、処理を、コンピュータに実行させる。
一実施形態によれば、化合物名に基づいて化学構造を生成する際に、原子数の誤りが抑制される。
実施形態の一例としての計算機システムのハードウェア構成を例示する図である。 実施形態の一例としての計算機システムの機能構成を例示する図である。 ニューラルネットワークの概要を示す図である。 実施形態の一例としての計算機システムにおける原子数の誤りを説明するための図である。 実施形態の一例としての計算機システムの深層学習処理部による処理を説明するための図である。 ルールベースによる化学構造の作成手法を説明するための図である。 ニューラルネットワークを用いた統計的手法による化学構造の作成手法を説明するための図である。 ニューラルネットワークを用いた統計的手法により作成された化学構造を例示する図である。
以下、図面を参照して本学習プログラム，学習方法および推定装置にかかる実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。
（Ａ）構成
図１は実施形態の一例としての計算機システム１のハードウェア構成を例示する図である。
計算機システム１は、情報処理装置であってニューラルネットワークを実現する。計算機システム１は、図１に示すように、ＣＰＵ（Central Processing Unit）１０，メモリ１１およびアクセラレータ１２を備える。これらのＣＰＵ１０，メモリ１１およびアクセラレータ１２は、通信バス１３を介して相互に通信可能に接続されている。通信バス１３は、本計算機システム１内のデータ通信を行なう。
メモリ１１は、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を含む記憶メモリである。メモリ１１のＲＯＭには、後述するＣＰＵによって実行されるプログラムやこのプログラム用のデータ類が書き込まれている。メモリ１１上のソフトウェアプログラムは、ＣＰＵ１０に適宜読み込まれて実行される。また、メモリ１１のＲＡＭは、一次記憶メモリあるいはワーキングメモリとして利用される。メモリ１１のＲＡＭには、重みなどの量子化に用いられるパラメータも格納される。
アクセラレータ１２は、行列演算などのニューラルネットワークの計算に必要な演算処理を実行する。
ＣＰＵ１０は、種々の制御や演算を行なう処理装置（プロセッサ）であり、実装されたプログラムに基づき、計算機システム１全体を制御する。そして、このＣＰＵ１０がメモリ１１等に格納された深層学習処理プログラム（学習プログラム；図示省略）を実行することで、後述する深層学習処理部１００としての機能を実現する。
また、深層学習処理プログラムは化学構造作成処理プログラム（推定プログラム）を含んで構成されてもよい。ＣＰＵ１０がメモリ１１等に格納された化学構造作成処理プログラム（図示省略）を実行することで、後述する化学構造作成処理部１０１としての機能を実現する。
そして、計算機システム１のＣＰＵ１０が、深層学習処理プログラム（学習プログラム，推定プログラム）を実行することにより、深層学習処理部１００として機能する。計算機システム１は、深層学習処理プログラム（学習プログラム）を実行することにより学習装置として機能し、化学構造作成処理プログラム（推定プログラム）を実行することにより推定装置として機能する。
なお、深層学習処理部１００としての機能を実現するためのプログラム（学習プログラム，推定プログラム）は、例えばフレキシブルディスク，ＣＤ（ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ等），ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−ＲＡＭ，ＤＶＤ−Ｒ，ＤＶＤ＋Ｒ，ＤＶＤ−ＲＷ，ＤＶＤ＋ＲＷ，ＨＤ ＤＶＤ等），ブルーレイディスク，磁気ディスク，光ディスク，光磁気ディスク等の、コンピュータ読取可能な記録媒体に記録された形態で提供される。そして、コンピュータ（計算機システム１）はその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し格納して用いる。また、そのプログラムを、例えば磁気ディスク，光ディスク，光磁気ディスク等の記憶装置（記録媒体）に記録しておき、その記憶装置から通信経路を介してコンピュータに提供するようにしてもよい。
深層学習処理部１００としての機能を実現する際には、内部記憶装置（本実施形態ではメモリ１１のＲＡＭやＲＯＭ）に格納されたプログラムがコンピュータのマイクロプロセッサ（本実施形態ではＣＰＵ１０）によって実行される。このとき、記録媒体に記録されたプログラムをコンピュータが読み取って実行するようにしてもよい。
図２は実施形態の一例としての計算機システム１の機能構成を例示する図である。
計算機システム１は、図２に示すように、深層学習処理部１００としての機能を備える。深層学習処理部１００は、ニューラルネットワークにおける深層学習を実施する。
図２に示すように、深層学習処理部１００は、化学構造作成処理部１０１，原子数取得部１０２，損失処理部１０３および誤差逆伝播処理部１０４を備える。
化学構造作成処理部１０１は、ニューラルネットワークによる翻訳を用いることで、データに内在する因果関係を統計的手法で分析する手法を用いて、化合物名から化学構造を作成（推定）する。化学構造作成処理部１０１は、化合物名の入力に応じて化学構造を表す文字列を出力とするモデル（推定モデル）としての機能を有し、入力された処理対象化合物名をこの推定モデルに入力する。
推定モデルは、当該化学構造作成処理部１０１により作成（推定）した化学構造が含む各元素の原子数と、当該化学構造の正解データ（正解化学構造）が含む各元素の原子数との差に基づいた損失関数を用いて実行された機械学習により作成される。
ニューラルネットワークは、ハードウェア回路であってもよいし、ＣＰＵ１０等によりコンピュータプログラム上で仮想的に構築される階層間を接続するソフトウェアによる仮想的なネットワークであってもよい。
図３にニューラルネットワークの概要を示す。図３に示すニューラルネットワークは、入力層と出力層との間に複数の隠れ層を含むディープニューラルネットワークである。隠れ層は、例えば、畳み込み層、プーリング層または全結合層等である。図３中において、各層に示す丸印は、所定の計算をそれぞれ実行するノードを示す。
ニューラルネットワークは、例えば、化合物名などの入力データを入力層に入力し、畳み込み層やプーリング層などで構成される隠れ層にて所定の計算を順次実行することで、演算により得られる情報を入力側から出力側に順次伝えるフォーワッド方向の処理（順伝播処理）を実行する。フォーワッド方向の処理の実行後、出力層から出力される出力データと正解データとから得られる誤差関数の値を小さくするために、フォーワッド方向の処理で使用するパラメータを決定するバックワード方向の処理（逆伝播処理）を実行する。そして、逆伝播処理の結果に基づいて重み等の変数を更新する更新処理が実行される。
化学構造作成処理部１０１は、上述したフォーワッド方向の処理を実行することで、処理対象の化合物名（第１の化合物）に対して、その化合物名が示す化学構造を作成（推定）する。処理対象の化合物名を処理対象化合物名といってもよい。
化学構造作成処理部１０１は、例えば、TransformerやＬＳＴＭを用いて化合物名から化学構造を作成してもよい。なお、化合物名から化学構造の作成は、既知の手法を用いて実現することができ、その説明は省略する。
化学構造作成処理部１０１によって作成される化学構造は、例えば、ＳＭＩＬＥＳ記法で表してもよい。
以下、化学構造作成処理部１０１によって作成される化学構造を推定化学構造といってもよい。
化学構造作成処理部１０１は、処理対象化合物名（第１の化合物名）の入力を受け付け、この化合物名の入力に応じて複数の元素を備える化学構造を表す文字列を推定する推定モデルとして機能する。この推定モデルは、推定結果が示す各元素の原子数と正解データが示す各元素の原子数との差に基づいた損失関数を用いて実行された機械学習により作成されたものである。化学構造作成処理部１０１は、この推定モデルに、受け付けた処理対象化合物名（第１の化合物名）を入力する。そして、化学構造作成処理部１０１は、この処理対象化合物名の入力に応じて推定モデルから出力された推定化学構造（第１の化学構造）を示す文字列を、処理対象化合物名に対する化学構造の推定結果として出力する、処理部として機能する。
原子数取得部１０２は、化学構造（推定化学構造）に含まれる各原子の数（原子数）を取得する。
原子数取得部１０２は、例えば、ＳＭＩＬＥＳ記法で表された推定化学構造の文字列に含まれる各原子の数を計数することで、作成された化学構造に含まれる各原子数を取得する。
原子数取得部１０２は、化学構造作成処理部１０１により作成された化学構造のＳＭＩＬＥＳ記法の文字列に基づき、当該化学構造に含まれる各元素の原子数を求める。また、原子数取得部１０２は、化合物名の正解の化学構造（正解データ）が深層学習処理部１００に入力されると、正解の化学構造に含まれる各元素の原子数も同様に求める。なお、化合物名の正解の化学構造を正解化学構造といってもよい。
損失処理部１０３は、原子数取得部１０２により作成された化学構造における原子数の誤りを反映させた損失を算出する。
損失処理部１０３は、処理対象化合物名（第１の化合物名）の入力に応じて化学構造作成処理部１０１が出力した結果を取得する取得部として機能する。
図４は実施形態の一例としての計算機システム１における原子数の誤りを説明するための図である。図４において、符号Ａは化学構造作成処理部１０１により作成された推定化学構造を例示し、符号Ｂはその正解化学構造を示す。
図４に示す例においては、化学構造作成処理部１０１によって作成された推定化学構造においては、符号Ａに示すように、Ｃの原子数は９，Ｏの原子数は３，Ｎの原子数は１である。これに対して正解化学構造においては、符号Ｂに示すように、Ｃの原子数は１５，Ｏの原子数は４，Ｎの原子数は１である。
損失処理部１０３は、下記の式（１）により損失Lを算出する。
Figure 2021111143
なお、上記式（１）において、xは化合物名である。yは化学構造作成処理部１０１により作成された推定化学構造の構成原子を示すＳＭＩＬＥＳの値（システム出力）である。tは正解として与えられた化学構造の構成原子を示すＳＭＩＬＥＳの値（正解）である。Na(x)は、xにおける原子aの個数を示す。λは係数であり、適宜変更して実施することができる。
上記式（１）において、“-logp(t│x)”は、交差エントロピー誤差であり、推定化学構造を表す文字列と正解化学構造を表す文字列とに基づいて決定される。
上記式（１）においては、上述の如き交差エントロピー誤差に、原子数の誤り（誤差）を二乗誤差で表した損失関数（誤差関数）を加算することで、原子数の誤りを損失関数（誤差関数）として反映させている。
誤差逆伝播処理部１０４は、出力層から出力される出力データと正解データとから得られる誤差関数の値を小さくするために、フォーワッド方向の処理で使用するパラメータを決定するバックワード方向の処理（逆伝播処理，バックプロパゲーション）を実行する。
具体的には、誤差逆伝播処理部１０４は、損失処理部１０３により上記式（１）により算出された損失Lが小さくなるように、フォーワッド方向の処理で使用するパラメータを決定するバックワード方向の処理を実行する。誤差逆伝播処理部１０４は、逆伝播処理の結果に基づいて重み等の変数を更新する更新処理を実行する。これにより、推定化学構造における原子数の誤りを損失として機械学習が行なわれる。
逆伝播処理では出力値と正解の誤差を元に中間層と出力層の間の重みの修正を行なう。そしてこの修正値をもとに入力層と中間層の間の重みの修正を行なっていく。例えば、逆伝播処理の計算に使用される重みの更新幅を決定するアルゴリズムとして、勾配降下法を使用してもよい。誤差逆伝播処理部１０４は、損失Lを最小化する重みや閾値を設定する。
誤差逆伝播処理部１０４は、化学構造作成処理部１０１により作成（予測）された化学構造の各原子数が正解の化学構造の原子数とどの程度相違するかを学習させる。すなわち、誤差逆伝播処理部１０４は、入力される化合物名に対して、生成すべき各元素の原子数を合わせる。
上述の如く、誤差逆伝播処理部１０４は、上記式（１）により求められた損失Lに基づいて処理を行なう。これにより誤差逆伝播処理部１０４は、交差エントロピー誤差と、推定化学構造を構成する元素ごとの原子数と正解化学構造を構成する元素ごとの原子数とに基づいて決定される原子数の差とに基づく、推定モデルの機械学習を実現する。
（Ｂ）動作
上述の如く構成された実施形態の一例としての計算機システム１の深層学習処理部１００による処理（学習フェーズ）を、図５を参照しながら説明する。
先ず、化学構造作成処理部１０１は、処理対象化合物名（第１の化合物名）の入力を受け付ける。図５に示す例においては、化合物名“1,2-di(4-hydroxyphenyl)alanine”が入力されている。
化学構造作成処理部１０１は、ＬＳＴＭやTransformer等を用いて、入力された化合物名に対して統計的手法を用いて化学構造に変換する（図５の符号Ｐ１参照）。化学構造作成処理部１０１においては、化合物名に対してエンコードを行なった後に、エンコードした全ての単語の組み合わせに対するアテンション（自己アテンション） を計算して中間表現を求め、その後デコードを行なって文字を生成する。
その後、化学構造作成処理部１０１は、文字をＳＭＩＬＥＳ記法で表す化学構造に対応させることで化学構造を作成（推定）する（図５の符号Ｐ２参照）。化学構造作成処理部１０１は作成した化学構造を示す文字列をメモリ１１等の所定の記憶領域に出力する。
原子数取得部１０２は、処理対象化合物名の入力に応じて化学構造作成処理部１０１が出力した結果（推定化学構造）をメモリ１１等から取得する。
原子数取得部１０２は、化学構造作成処理部１０１により作成された推定化学構造を示す文字列に基づき、当該化学構造に含まれる各元素の原子数を求める。また、化合物名の正解の化学構造が深層学習処理部１００に入力されると、原子数取得部１０２は、正解の化学構造に含まれる各元素の原子も求める。
損失処理部１０３が、上記式（１）を用いて、原子数の誤差を反映させた損失Lを算出する。損失Lの算出式（１）には、処理対象化合物名についての推定化学構造を表す文字列と正解化学構造を表す文字列とに基づいて決定される交差エントロピー誤差と、推定化学構造を構成する元素ごとの原子数と、正解化学構造を構成する元素ごとの原子数との差とが反映されている。
誤差逆伝播処理部１０４は、損失処理部１０３によって算出された損失Lが小さくなるように、フォーワッド方向の処理で使用するパラメータを決定する逆伝播処理を実行する。
すなわち、損失処理部１０３は、処理対象化合物名についての推定化学構造を表す文字列と正解化学構造を表す文字列とに基づいて決定される交差エントロピー誤差と、推定化学構造を構成する元素ごとの原子数と、正解化学構造を構成する元素ごとの原子数との差とに基づいて、化学構造作成処理部１０１（モデル）の学習を実行する。
次に、上述の如く構成された実施形態の一例としての計算機システム１の化学構造作成処理部１０１の処理（利用フェーズ）を説明する。
化学構造作成処理部１０１は、先ず、処理対象化合物名（第１の化合物名）の入力を受け付け、この処理対象化合物名を推定モデルとしての機能に入力する。なお、推定モデルは、損失処理部１０３により、当該化学構造作成処理部１０１により作成した推定化学構造が含む各元素の原子数と、当該化学構造の正解データ（正解化学構造）が含む各元素の原子数との差に基づいた損失関数を用いて実行された機械学習により生成されたものである。
化学構造作成処理部１０１は、入力に応じて推定モデルから出力された化学構造（第１の化学構造）を示す文字列を、入力された化合物名（第１の化合物名）に対する化学構造の推定結果として出力する。
（Ｃ）効果
このように、本発明の一実施形態としての計算機システム１によれば、ニューラルネットワークの学習時に、作成した化学構造と正しい化学構造との間の原子数の差を損失として与える。これにより、化学構造の原子数が正しくなるように学習させることができ、信頼性を向上させることができる。
損失処理部１０３が、上記の式（１）において、正解の化学構造の原子数に対する推定化学構造の原子数との誤差を損失関数として反映させる。これにより、推定化学構造における原子数の誤りを損失として学習させることができる。
（Ｄ）その他
そして、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
また、上述した実施形態においては、式（１）において、交差エントロピー誤差に、原子数の誤り（誤差）を二乗誤差で表した損失関数（誤差関数）を加算することで、原子数の誤りを損失関数（誤差関数）として加味しているがこれに限定されるものではない。交差エントロピー誤差に代えて、他の損失関数を用いてもよい。また、原子数の誤り（誤差）を二乗誤差以外の手法を用いる損失関数（誤差関数）に適用してもよく、種々変形して実施することができる。
また、上述した開示により本実施形態を当業者によって実施・製造することが可能である。
（Ｅ）付記
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
化合物名の入力に応じて化学構造を表す文字列を出力とするモデルに、第１の化合物名を入力し、
前記第１の化合物名の入力に応じて前記モデルが出力した結果を取得し、
前記結果と前記第１の化合物名が示す第１の化合物の化学構造を表す文字列とに基づいて決定される交差エントロピー誤差と、前記結果と前記第１の化合物を構成する元素ごとの原子数に基づいて決定される原子数の差とに基づいて、前記モデルの機械学習を実行する、
処理を、コンピュータに実行させることを特徴とする学習プログラム。
（付記２）
前記機械学習は、前記交差エントロピー誤差と前記原子数の差により算出される二乗誤差とを含む損失関数を用いて、実行される、
ことを特徴とする付記１に記載の学習プログラム。
（付記３）
前記化学構造を表す文字列は、ＳＭＩＬＥＳ（Simplified Molecular Input Line entry System）記法にて表記される、
ことを特徴とする付記１または２記載の学習プログラム。
（付記４）
第１の化合物名の入力を受け付け、
推定結果が示す各元素の原子数と正解データが示す各元素の原子数との差に基づいた損失関数を用いて実行された機械学習により生成された、化合物名の入力に応じて複数の元素を備える化学構造を表す文字列を推定する推定モデルに、受け付けた前記第１の化合物名を入力し、
前記入力に応じて前記推定モデルから出力された第１の化学構造を示す文字列を、前記第１の化合物名に対する化学構造の推定結果として出力する、
処理を、コンピュータに実行させることを特徴とする推定プログラム。
（付記５）
化合物名の入力に応じて化学構造を表す文字列を出力とするモデルに、第１の化合物名を入力し、
前記第１の化合物名の入力に応じて前記モデルが出力した結果を取得し、
前記結果と前記第１の化合物名が示す第１の化合物の化学構造を表す文字列とに基づいて決定される交差エントロピー誤差と、前記結果と前記第１の化合物を構成する元素ごとの原子数に基づいて決定される原子数の差とに基づいて、前記モデルの機械学習を実行する、
処理を、コンピュータが実行することを特徴とする学習方法。
（付記６）
前記機械学習は、前記交差エントロピー誤差と前記原子数の差により算出される二乗誤差とを含む損失関数を用いて、実行される、
ことを特徴とする付記５に記載の学習方法。
（付記７）
前記化学構造を表す文字列は、ＳＭＩＬＥＳ（Simplified Molecular Input Line entry System）記法にて表記される、
ことを特徴とする付記５または６記載の学習方法。
（付記８）
第１の化合物名の入力を受け付け、
推定結果が示す各元素の原子数と正解データが示す各元素の原子数との差に基づいた損失関数を用いて実行された機械学習により生成された、化合物名の入力に応じて複数の元素を備える化学構造を表す文字列を推定する推定モデルに、受け付けた前記第１の化合物名を入力し、
前記入力に応じて前記推定モデルから出力された第１の化学構造を示す文字列を、前記第１の化合物名に対する化学構造の推定結果として出力する、
処理を、コンピュータが実行することを特徴とする、推定方法。
（付記９）
化合物名の入力に応じて化学構造を表す文字列を出力する化学構造作成処理部と、
第１の化合物名の入力に応じて前記化学構造作成処理部が出力した結果を取得する取得部と、
前記結果と前記第１の化合物名が示す第１の化合物の化学構造を表す文字列とに基づいて決定される交差エントロピー誤差と、前記結果と前記第１の化合物を構成する元素ごとの原子数に基づいて決定される原子数の差とに基づいて、前記モデルの機械学習を実行する学習処理部と、
を備えることを特徴とする学習装置。
（付記１０）
前記機械学習は、前記交差エントロピー誤差と前記原子数の差により算出される二乗誤差とを含む損失関数を用いて、実行される、
ことを特徴とする付記９に記載の学習装置。
（付記１１）
前記化学構造を表す文字列は、ＳＭＩＬＥＳ（Simplified Molecular Input Line entry System）記法にて表記される、
ことを特徴とする付記９または１０記載の学習装置。
（付記１２）
第１の化合物名の入力を受け付け、
推定結果が示す各元素の原子数と正解データが示す各元素の原子数との差に基づいた損失関数を用いて実行された機械学習により生成された、化合物名の入力に応じて複数の元素を備える化学構造を表す文字列を推定する推定モデルに、受け付けた前記第１の化合物名を入力し、
前記入力に応じて前記推定モデルから出力された第１の化学構造を示す文字列を、前記第１の化合物名に対する化学構造の推定結果として出力する、
処理部を有することを特徴とする推定装置。
１ 計算機システム
１０ ＣＰＵ
１１ メモリ
１２ アクセラレータ
１３ 通信バス
１００ 深層学習処理部
１０１ 化学構造作成処理部
１０２ 原子数取得部
１０３ 損失処理部
１０４ 誤差逆伝播処理部

Claims (5)

  1. 化合物名の入力に応じて化学構造を表す文字列を出力とするモデルに、第１の化合物名を入力し、
    前記第１の化合物名の入力に応じて前記モデルが出力した結果を取得し、
    前記結果と前記第１の化合物名が示す第１の化合物の化学構造を表す文字列とに基づいて決定される交差エントロピー誤差と、前記結果と前記第１の化合物を構成する元素ごとの原子数に基づいて決定される原子数の差とに基づいて、前記モデルの機械学習を実行する、
    処理をコンピュータに実行させることを特徴とする学習プログラム。
  2. 前記機械学習は、前記交差エントロピー誤差と前記原子数の差により算出される二乗誤差とを含む損失関数を用いて、実行される、
    ことを特徴とする請求項１に記載の学習プログラム。
  3. 前記化学構造を表す文字列は、ＳＭＩＬＥＳ（Simplified Molecular Input Line entry System）記法にて表記される、
    ことを特徴とする請求項１または２記載の学習プログラム。
  4. 化合物名の入力に応じて化学構造を表す文字列を出力とするモデルに、第１の化合物名を入力し、
    前記第１の化合物名の入力に応じて前記モデルが出力した結果を取得し、
    前記結果と前記第１の化合物名が示す第１の化合物の化学構造を表す文字列とに基づいて決定される交差エントロピー誤差と、前記結果と前記第１の化合物を構成する元素ごとの原子数に基づいて決定される原子数の差とに基づいて、前記モデルの機械学習を実行する、
    処理をコンピュータが実行することを特徴とする学習方法。
  5. 第１の化合物名の入力を受け付け、
    推定結果が示す各元素の原子数と正解データが示す各元素の原子数との差に基づいた損失関数を用いて実行された機械学習により生成された、化合物名の入力に応じて複数の元素を備える化学構造を表す文字列を推定する推定モデルに、受け付けた前記第１の化合物名を入力し、
    前記入力に応じて前記推定モデルから出力された第１の化学構造を示す文字列を、前記第１の化合物名に対する化学構造の推定結果として出力する、
    処理部を有することを特徴とする推定装置。
JP2020002961A 2020-01-10 2020-01-10 学習プログラム，学習方法および推定装置 Pending JP2021111143A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020002961A JP2021111143A (ja) 2020-01-10 2020-01-10 学習プログラム，学習方法および推定装置
US17/130,519 US20210217501A1 (en) 2020-01-10 2020-12-22 Learning device and learning method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020002961A JP2021111143A (ja) 2020-01-10 2020-01-10 学習プログラム，学習方法および推定装置

Publications (1)

Publication Number Publication Date
JP2021111143A true JP2021111143A (ja) 2021-08-02

Family

ID=76763513

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020002961A Pending JP2021111143A (ja) 2020-01-10 2020-01-10 学習プログラム，学習方法および推定装置

Country Status (2)

Country Link
US (1) US20210217501A1 (ja)
JP (1) JP2021111143A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210287137A1 (en) * 2020-03-13 2021-09-16 Korea University Research And Business Foundation System for predicting optical properties of molecules based on machine learning and method thereof
KR20230017935A (ko) * 2021-07-28 2023-02-07 노우린 하케 리디 인공지능 및 증강현실을 이용한 화학 교육 디바이스 및 이를 이용한 화학 교육 서비스의 제공 방법
CN113571139B (zh) * 2021-09-22 2024-03-12 国网浙江省电力有限公司湖州供电公司 一种金属晶界建模方法、记录媒体及系统

Also Published As

Publication number Publication date
US20210217501A1 (en) 2021-07-15

Similar Documents

Publication Publication Date Title
US10860808B2 (en) Method and system for generation of candidate translations
US20210217501A1 (en) Learning device and learning method
KR101120858B1 (ko) 슬롯에 대한 규칙 기반 문법, 및 프리터미널에 대한 통계 모델을 위한 자연 언어 이해 시스템 및 자연 언어 이해 모델 트레이닝 방법
JP6611053B2 (ja) 主題推定システム、主題推定方法およびプログラム
JP2019096303A (ja) 機械翻訳方法及び装置
RU2638634C2 (ru) Автоматическое обучение программы синтаксического и семантического анализа с использованием генетического алгоритма
JP2017054122A (ja) 音響モデル生成装置及び方法、音声認識装置及び方法
JP7342971B2 (ja) 対話処理装置、学習装置、対話処理方法、学習方法及びプログラム
Steingrimsson et al. Doubly robust survival trees
JPWO2008004666A1 (ja) 音声認識装置、音声認識方法、および音声認識用プログラム
US11836438B2 (en) ML using n-gram induced input representation
KR102405578B1 (ko) 지식 그래프를 이용한 상황 인지형 다중 문장 관계 추출 방법 및 장치
CN113396429A (zh) 递归机器学习架构的正则化
US20130110501A1 (en) Perplexity calculation device
JP7409381B2 (ja) 発話区間検出装置、発話区間検出方法、プログラム
JP2007248730A (ja) 音響モデル適応装置、音響モデル適応方法、音響モデル適応プログラム及び記録媒体
WO2019208564A1 (ja) ニューラルネットワーク学習装置、ニューラルネットワーク学習方法、プログラム
JP5191500B2 (ja) 雑音抑圧フィルタ算出方法と、その装置と、プログラム
JP4891806B2 (ja) 適応モデル学習方法とその装置、それを用いた音声認識用音響モデル作成方法とその装置、及び音響モデルを用いた音声認識方法とその装置、及びそれら装置のプログラムと、それらプログラムの記憶媒体
Zhu et al. A hybrid model for nonlinear regression with missing data using quasilinear kernel
JP7457328B2 (ja) 翻訳学習装置、翻訳学習方法及びプログラム
JP5980101B2 (ja) 音響モデル学習用テキスト作成装置とその方法とプログラム
US20210110892A1 (en) Method and apparatus for generating chemical structure
WO2022164613A1 (en) Ml using n-gram induced input representation
JP2011243087A (ja) 自動単語対応付け装置とその方法とプログラム