JP2023083462A - 画像解析装置、画像解析方法、及びプログラム - Google Patents

Abstract

【課題】 化合物の構造式を示す画像から構造式の文字情報を生成する際に、構造式の書き方の変化に対応することが可能な画像解析装置、画像解析方法、及び画像解析方法を実現するためのプログラムを提供する。【解決手段】 本発明の一実施形態に係る画像解析装置は、プロセッサを備え、プロセッサは、解析モデルにより、対象化合物の構造式を示す対象画像の特徴量に基づき、対象化合物の構造式を線形表記法にて表した記号情報を生成する。解析モデルは、学習用画像と、学習用画像が示す化合物の構造式を線形表記法にて表した記号情報とを用いた機械学習によって構築されたモデルである。【選択図】図４

Description

本発明は、画像解析装置、画像解析方法、及びプログラムに係り、特に、化合物の構造式を示す画像を解析する画像解析装置、画像解析方法、及びプログラムに関する。

化合物の構造式が画像データとして取り扱われるケースは、多数あり、例えばインターネット上で公開されたり、文書データに組み込まれたりする。ただし、画像データとして取り扱われる化合物の構造式は、通常の検索方法では検索するのが困難である。

一方、画像が示す化合物の構造式を検索可能とするために、コンピュータによる自動認識技術を利用して、化合物の構造式の画像から構造式を認識する技術が開発されている。具体例として、特許文献１及び２に記載の技術が挙げられる。
特許文献１に記載の技術は、化学構造図中の文字情報（例えば、化学物を構成する原子）をパターン認識し、化学構造図の線図情報（例えば、原子間の結合）を所定のアルゴリズムによって認識する。

特許文献２に記載の技術は、化合物の構造式の画像を読み込み、画像中、原子記号を示す領域（画素）に対して、原子記号の属性を示す値を割り当て、結合記号を示す領域（画素）に対して、結合記号の属性を示す値を割り当てる。

特開２０１３－６１８８６号公報 特開２０１４－１８２６６３号公報

特許文献１及び２に記載の技術では、化合物の構造式を示す画像において構造式中の部分構造（構成要素）を示す部分と、その部分構造との対応関係をルール化し、そのルールに従って画像中の構造式を識別する。
ただし、構造式の記載様式には等価な様式が複数あり、また、構造式中の結合線の太さ及び向き等についても書き方次第で変わり得る。その場合、構造式の書き方の違いに対応するために、様々な書き方にて記載された部分構造を識別するルールを、数多く用意しておく必要がある。

また、特許文献１及び２に記載の技術では、例えば、新たな書き方で書かれた構造式の画像については、識別ルールが用意されていないために識別することができない虞がある。

本発明は、上記の事情に鑑みてなされたものであり、上述した従来技術の問題点を解決するものである。具体的には、本発明は、化合物の構造式を示す画像から構造式の文字情報を生成する際に、構造式の書き方の変化に対応できる画像解析装置、画像解析方法、及び画像解析方法を実現するためのプログラムを提供することを目的とする。

上記の目的を達成するために、本発明の画像解析装置は、プロセッサを備え、化合物の構造式を示す画像を解析する画像解析装置であって、プロセッサは、解析モデルにより、対象化合物の構造式を示す対象画像の特徴量に基づき、対象化合物の構造式を線形表記法にて表した記号情報を生成し、解析モデルが、学習用画像と、学習用画像が示す化合物の構造式を線形表記法にて表した記号情報とを用いた機械学習によって構築されたことを特徴とする。

また、プロセッサは、対象画像を含む文書から対象画像を検出し、検出された対象画像を解析モデルに入力することにより、対象化合物の構造式の記号情報を生成すると、好適である。

さらに、プロセッサは、オブジェクト検出アルゴリズムを利用して文書から対象画像を検出すると、より好適である。

さらにまた、プロセッサは、複数の対象画像を含む文書から複数の対象画像を検出し、検出された複数の対象画像を対象画像毎に解析モデルに入力することにより、複数の対象画像の各々が示す対象化合物の構造式の記号情報を生成すると、さらに好適である。

また、解析モデルが、対象画像が入力されることで特徴量を出力する特徴量出力モデルと、特徴量が入力されることで特徴量に対応する記号情報を出力する記号情報出力モデルと、を含んでもよい。

さらに、特徴量出力モデルは、畳み込みニューラルネットワークを含み、記号情報出力モデルは、再帰型ニューラルネットワークを含んでもよい。

また、対象化合物の構造式の記号情報が複数の記号によって構成され、記号情報出力モデルが、特徴量と対応する記号情報を構成する記号を、記号情報の先頭から順次特定し、特定された順に記号が並んだ記号情報を出力すると、好適である。

さらに、プロセッサは、解析モデルにより、対象画像の特徴量に基づき、対象化合物の構造式について複数の記号情報を生成してもよい。この場合、記号情報出力モデルは、それぞれの記号情報について、記号情報を構成する複数の記号の各々の出力確率を算出し、且つ、算出された複数の記号の各々の出力確率に基づいて記号情報の出力スコアを算出し、算出された出力スコアに応じて、予め決められた個数の記号情報を出力すると、より好適である。

さらにまた、プロセッサは、記号情報出力モデルが出力した記号情報の各々に対して、表記上の異常の有無を判定する判定処理を実行し、記号情報出力モデルが出力した記号情報のうち、異常がない正常記号情報を対象化合物の構造式の記号情報として出力すると、さらに好適である。

また、プロセッサは、照合モデルにより、対象画像から、対象化合物の構造式を線形表記法とは異なる記述方法にて記述した第１記述情報を生成し、正常記号情報が表す構造式を記述方法にて記述した第２記述情報を生成し、第１記述情報と第２記述情報とを照合し、第１記述情報と第２記述情報との一致度に応じて、正常記号情報を対象化合物の構造式の記号情報として出力すると、さらに好適である。

また、照合モデルが、第２学習用画像と、第２学習用画像が示す化合物の構造式を上記の記述方法にて記述した記述情報とを用いた機械学習によって構築されたものであると、さらに好適である。

さらに、照合モデルが、対象画像が入力されることで特徴量を出力する特徴量出力モデルと、特徴量出力モデルから出力される特徴量が入力されることで特徴量に対応する第１記述情報を出力する記述情報出力モデルと、を含んでいると、さらに好適である。

また、解析モデルは、学習用画像と、学習用画像が示す化合物の構造式を線形表記法にて表した記号情報と、学習用画像が示す化合物の構造式を線形表記法とは異なる記述方法にて記述した記述情報と、を用いた機械学習によって構築されてもよい。この場合、解析モデルは、対象画像が入力されることで、特徴量を出力する特徴量出力モデルと、対象画像が入力されることで、対象化合物の構造式の記述情報を出力する記述情報出力モデルと、出力された特徴量及び記述情報を合成した合成情報が入力されることで、合成情報に対応する記号情報を出力する記号情報出力モデルと、を含んでもよい。

さらに、特徴量出力モデルは、ベクトル化された特徴量を出力し、記述情報出力モデルは、ベクトル化された分子フィンガープリントからなる記述情報を出力すると、好適である。

また、線形表記法が、Ｓｉｍｐｌｉｆｉｅｄ Ｍｏｌｅｃｕｌａｒ Ｉｎｐｕｔ Ｌｉｎｅ Ｅｎｔｒｙ Ｓｙｓｔｅｍ記法、又は、ｃａｎｏｎｉｃａｌ Ｓｉｍｐｌｉｆｉｅｄ Ｍｏｌｅｃｕｌａｒ Ｉｎｐｕｔ Ｌｉｎｅ Ｅｎｔｒｙ Ｓｙｓｔｅｍ記法であってよい。

また、前述の目的は、化合物の構造式を示す画像を解析する画像解析方法であって、プロセッサが、解析モデルにより、対象化合物の構造式を示す対象画像の特徴量に基づき、対象化合物の構造式を線形表記法にて表した記号情報を生成するステップを実施し、解析モデルが、学習用画像と、学習用画像が示す化合物の構造式を線形表記法にて表した記号情報とを用いた機械学習によって構築された画像解析方法によって達成し得る。
また、上記の画像解析方法のステップをプロセッサに実施させるためのプログラムも実現可能である。

本発明によれば、構造式の書き方の変化に対応することができ、化合物の構造式を示す画像から構造式の文字情報を適切に生成することができる。

構造式の線形表記についての説明図である。 解析モデルの概念図である。 本発明の一実施形態に係る画像解析装置のハードウェア構成を示す図である。 画像解析フローの流れを示す図である。 分子フィンガープリントについての説明図である。 一つの文書から複数の対象画像を検出した状態の図である。 照合モデルの概念図である。 変形例に係る解析モデルの概念図である。

本発明の一実施形態（以下、「本実施形態」と言う。）に係る画像解析装置、画像解析方法、及びプログラムについて、以下、添付の図面を参照しながら説明する。
なお、以下の実施形態は、本発明を分かり易く説明する目的で挙げた一例にすぎず、本発明を限定するものではない。すなわち、本発明は、下記の実施形態に限られず、本発明の主旨を逸脱しない範囲において種々の改良又は変更され得る。また、当然ながら、本発明には、その等価物が含まれる。

また、以降の説明において、特に断る場合を除き、「文書」及び「画像」は、電子化（データ化）された文書及び画像であり、コンピュータによって処理可能な情報（データ）であることとする。

＜本実施形態の画像解析装置の機能＞
本実施形態の画像解析装置は、プロセッサを備え、化合物の構造式を示す画像を解析する。本実施形態の画像解析装置の主たる機能は、対象化合物の構造式を示す画像（対象画像）を解析し、対象画像が示す構造式の記号情報を生成することである。ここで、「対象化合物」は、構造式の記号情報を生成する対象となる化合物であり、例えば、文書中に含まれる画像に構造式が示された有機化合物等が該当する。

「構造式を示す画像」は、構造式を表す線図の画像である。構造式の記載方法には等価な記載方法が複数あり、例えば、水素原子（Ｈ）の単結合の表記省略、骨格の炭素原子（Ｃ）の表記省略、及び官能基の略語表記等が挙げられる。また、線図は、描き方（例えば、原子間の結合線の太さ、長さ、及び、線が延出する向き等）に応じて変わり得る。また、本実施形態において、構造式の書き方には、構造式を示す画像の解像度が含まれる。

「記号情報」は、化合物の構造式を線形表記法にて表した情報であり、複数の記号（例えば、ＡＳＣＩＩ符号）を並べて構成される。線形表記法としては、ＳＭＩＬＥＳ（Simplified Molecular Input Entry System）記法、カノニカル（canonical）ＳＭＩＬＥＳ、ＳＭＡＲＴＳ（Smiles Arbitrary Target Specification）記法、ＳＬＮ（Sybyl Line Notation）記法、ＷＬＮ（Wiswesser Line-Formula Notation）記法、ＲＯＳＤＡＬ（Representation of structure diagram arranged linearly）記法、ＩｎＣｈＩ（International Chemical Identifier）、及びＩｎＣｈＩ Ｋｅｙ（ハッシュ化ＩｎＣｈＩ）等が挙げられる。

上記の線形表記法のうち、いずれの表記法を用いてもよいが、比較的簡便で広く用いられている点では、ＳＭＩＬＥＳ記法が好ましい。また、分子内の原子の序列及び順番を考慮して表記が一意に定まる点では、カノニカルＳＭＩＬＥＳも好ましい。なお、本実施形態では、構造式をＳＭＩＬＥＳ記法に則って表した記号情報を生成するものとする。また、以下では、ＳＭＩＬＥＳ記法により表記されることをＳＭＩＬＥＳ表記とも言う。

ＳＭＩＬＥＳ記法は、化合物の構造式を、複数の記号からなる一行の記号情報（文字情報）に変換する表記法である。ＳＭＩＬＥＳ記法で用いられる記号は、原子の種類（元素）、原子間の結合、分岐構造、及び、環構造を切断して鎖状構造としたときの切断箇所等を表し、所定のルールに従って決められている。
なお、ＳＭＩＬＥＳ記法にて表記された化合物の構造式、すなわち記号情報の一例として、図１に（Ｓ）－ブロモクロロフルメタンの例を示している。図１中、左側に構造式が示され、右側に記号情報（ＳＭＩＬＥＳ表記された構造式）が示されている。

本実施形態の画像解析装置は、化合物の構造式を示す学習用画像と、学習用画像が示す構造式の記号情報（正解のラベル情報）と、を学習データセットとして用いて機械学習を実施する。この機械学習により、化合物の構造式を示す画像の特徴量に基づき、その画像が示す構造式の記号情報を生成する解析モデルが構築される。解析モデルについては、後の項で詳述する。

また、本実施形態の画像解析装置は、化合物の構造式を示す画像を含む文書から画像（対象画像）を検出する機能を有する。そして、検出された対象画像を上記の解析モデルに入力することにより、対象画像が示す構造式の記号情報が生成される。
以上のような機能により、論文又は特許明細書等の文書中に化合物の構造式を示す画像が含まれる場合に、当該画像を検出し、当該画像が示す化合物の構造式を記号情報に変換することができる。
また、記号情報に変換された構造式は、それ以降に検索キーとして利用することができるので、目的（ターゲット）とする化合物の構造式を示す画像を含んだ文書を容易に検索することが可能となる。

さらに、本実施形態の画像解析装置は、解析モデルによって生成された記号情報の正誤をチェックする機能を有する。より詳しく説明すると、本実施形態では、一つの対象画像の特徴量から複数の記号情報が得られ、それぞれの記号情報について、表記上の異常（例えば、ＳＭＩＬＥＳ記法における誤表記）の有無を判定する。
さらにまた、異常が見つからなかった記号情報（正常記号情報）のそれぞれに対して、後述する照合処理を実施する。そして、照合処理の結果に応じて、所定数の正常記号情報が対象化合物の構造式の記号情報として出力される。
以上のように解析モデルによって生成された記号情報をチェックすることにより、対象化合物の構造式の記号情報として正確な情報を得ることができる。

＜解析モデルについて＞
本実施形態において用いられる解析モデル（以下、解析モデルＭ１）について説明する。解析モデルＭ１は、図２に示すように、特徴量出力モデルＭａと記号情報出力モデルＭｂとによって構成される。解析モデルＭ１は、化合物の構造式を示す学習用画像と、学習用画像に示される構造式の記号情報（正解データ）とを学習データセットとし、複数の学習データセットを用いた機械学習によって構築される。

なお、機械学習に用いられる学習データセットの数については、学習の精度を向上させる観点では多い方がよく、好ましくは、５万個以上とするのがよい。

本実施形態において、機械学習は、教師あり学習であり、その手法は深層学習（つまり、多層のニューラルネットワーク）であるが、これに限定されるものではない。機械学習の種類（アルゴリズム）については、教師無し学習、半教師あり学習、強化学習、又はトランスダクションであってもよい。
また、機械学習の技法については、遺伝的プログラミング、帰納論理プログラミング、サポートベクタマシン、クラスタリング、ベイジアンネットワーク、エクストリーム・ラーニング・マシン（ＥＬＭ）、又は決定木学習であってもよい。
また、ニューラルネットワークの機械学習において目的関数（損失関数）を最小化する方法としては、勾配降下法を用いてもよく、あるいは誤差逆伝播法を用いてもよい。

特徴量出力モデルＭａは、対象化合物の構造式を示す画像（対象画像）が入力されることで対象画像の特徴量を出力するモデルであり、例えば、中間層に畳み込み層及びプーリング層を有する畳み込みニューラルネットワーク（ＣＮＮ）によって構成される。ここで、画像の特徴量とは、畳み込みニューラルネットＣＮＮにおける学習的特徴量であり、一般的な画像認識（パターン認識）の過程で特定される特徴量である。本実施形態において、特徴量出力モデルＭａは、ベクトル化された特徴量を出力する。

なお、本実施形態において、特徴量出力モデルＭａは、画像分類に用いられるネットワークモデルを用いてもよく、このようなモデルとしては、例えば、Ｏｘｆｏｒｄ ｖｉｓｕａｌ ｇｅｏｍｅｔｒｙ ｇｒｏｕｐの１６層ＣＮＮ（ＶＧＧ１６）、Ｇｏｏｇｌｅ社のＩｎｃｅｐｔｉｏｎモデル（ＧｏｏｇＬｅＮｅｔ）、Ｋａｉｍｉｎｇ Ｈｅ氏の１５２層ＣＮＮ（Ｒｅｓｎｅｔ）、及び、Ｃｈｏｌｌｅｔ氏の改良Ｉｃｅｐｔｉｏｎモデル（Ｘｃｅｐｔｉｏｎ）が挙げられる。

特徴量出力モデルＭａへ入力される画像のサイズは、特に限定されないが、化合物の画像については、例えば縦横７５×７５のサイズであってもよい。あるいは、モデルの出力精度を高める理由から、化合物の画像のサイズをより大きいサイズ（例えば、３００×３００）としてもよい。また、カラー画像の場合には、計算処理を軽減する理由から、モノクロの単色画像に変換し、その単色画像を特徴量出力モデルＭａに入力するとよい。

また、中間層において畳み込み層とプーリング層とが繰り返された後に全結合層が配置されており、この全結合層からは多次元ベクトル化された特徴量が出力される。なお、全結合層から出力された特徴量（多次元ベクトル）は、リニア層を通過した後に記号情報出力モデルＭｂに入力される。

記号情報出力モデルＭｂは、特徴量出力モデルＭａから出力された特徴量が入力されることで、対象化合物の構造式の記号情報（構造式をＳＭＩＬＥＳ表記した文字情報）を出力するモデルである。記号情報出力モデルＭｂは、例えば、再帰型ニューラルネットワーク（ＲＮＮ）の一種であるＬＳＴＭ（Long Short Term Memory）ネットワークによって構成される。ＬＳＴＭは、ＲＮＮの隠れ層をＬＳＴＭ層に置換したものである。

なお、本実施形態では、図２に示すように、各ＬＳＴＭ層の前段に埋め込み層（Embedding layer：図２中では、Wembと表記）を設けており、各ＬＳＴＭ層への入力に対して固有のベクトルを付与することができる。また、各ＬＳＴＭ層からの出力にはソフトマックス関数（図２中ではsoftmaxと表記）が適用され、各ＬＳＴＭ層からの出力が確率に変換される。ソフトマックス関数を適用したｎ個（ｎは自然数）の出力確率の総和は、１．０になる。本実施形態では、ソフトマックス関数により各ＬＳＴＭ層からの出力を確率に変換し、損失関数として交差エントロピー誤差を用いて損失（学習結果と正解データとの乖離）を求める。

本実施形態では、記号情報出力モデルＭｂがＬＳＴＭネットワークによって構成されるが、これに限定されず、記号情報出力モデルＭｂがＧＲＵ（Gated Recurrent Unit）によって構成されてもよい。

以上のように構成された解析モデルＭ１は、対象画像が解析モデルＭ１に入力されると、対象画像の特徴量に基づき、対象化合物の構造式について複数の記号情報を生成する。

記号情報の生成手順について説明すると、特徴量出力モデルＭａに対象画像が入力されると、特徴量出力モデルＭａが対象画像の特徴量を出力し、その特徴量が記号情報出力モデルＭｂに入力される。記号情報出力モデルＭｂは、入力された特徴量と対応する記号情報を構成する記号を、その記号情報の先頭から順次特定し、特定された順に記号が並んだ記号情報を出力する。

より詳しく説明すると、記号情報出力モデルＭｂは、ｍ個（ｍは２以上の自然数）の記号からなる記号情報を出力する場合、１～ｍ番目の記号の各々について、対応するＬＳＴＭ層から複数の候補を出力する。1～ｍ番目の記号の各々について特定された候補の組み合わせにより、記号情報が決められる。例えば、ｍ＝３のケースにおいて、１番目の記号の候補が３個であり、２番目の記号の候補が４個であり、３番目の記号の候補が５個である場合には、６０通り（＝３×４×５）の記号情報が決められることになる。

なお、記号の組み合わせ数（すなわち、記号情報の個数）は、１～ｍ番目の記号の各々について特定された複数の候補をすべて組み合わせた場合の数に限定されるものではない。例えば、計算処理の負荷を軽減させる目的から、１～ｍ番目の記号の各々について特定された複数の候補に対して、ビームサーチ等の探索アルゴリズムを適用し、複数の候補のうち、上位Ｋ個（Ｋは自然数）の記号を採用してもよい。

次に、記号情報出力モデルＭｂは、それぞれの記号情報について、記号情報を構成するｍ個の記号の各々の出力確率を算出する。例えば、対象化合物の構造式の記号情報におけるｉ番目（ｉ＝１～ｍ）の記号について、ｊ個（ｊは自然数）の候補が出力された場合、前述のソフトマックス関数によって、ｊ個の記号のそれぞれの出力確率Ｐ_ｉ１、Ｐ_ｉ２、Ｐ_ｉ３・・・Ｐ_ｉｊが算出される。

その後、記号情報出力モデルＭｂは、算出された各記号の出力確率に基づいて各記号情報の出力スコアを算出する。ここで、出力スコアは、各記号情報を構成するｍ個の記号の各々の出力確率をすべて足し合わせたときの総和である。ただし、これに限定されず、各記号情報を構成するｍ個の記号の各々の出力確率を掛け合わせたときの積を出力スコアとしてもよい。

そして、記号情報出力モデルＭｂは、算出された出力スコアに応じて、予め決められた個数の記号情報を出力する。本実施形態では、算出された出力スコアが高い記号情報から順に、Ｑ個の記号情報が出力される。ここで、出力される記号情報の数Ｑについては、任意に決めてもよいが、２～２０個程度が好ましい。ただし、これに限定されず、対象化合物の構造式について、出力スコアが最も高い記号情報を１つだけ出力してもよい。あるいは、各記号の候補をすべて組み合わせた場合の組み合わせ数に相当する数の記号情報を、出力してもよい。

＜本実施形態の画像解析装置の構成＞
次に、本実施形態の画像解析装置（以下、画像解析装置１０）の構成例について、図３を参照しながら説明する。なお、図３では、外部インタフェースを「外部Ｉ／Ｆ」と記載している。

画像解析装置１０は、図３に示されるように、プロセッサ１１、メモリ１２、外部インタフェース１３、入力装置１４、出力装置１５、及びストレージ１６が互いに電気的に接続されたコンピュータである。なお、図３に示す構成では、画像解析装置１０が一台のコンピュータによって構成されているが、複数台のコンピュータによって画像解析装置１０が構成されてもよい。

プロセッサ１１は、後述のプログラム２１を実行し、画像解析に係る一連の処理を実施するように構成されている。なお、プロセッサ１１は、一つ又は複数のＣＰＵ（Central Processing Unit）、及び後述のプログラム２１から構成される。

プロセッサ１１を構成するハードウェアプロセッサは、ＣＰＵに限定されず、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro-Processing Unit）、又はその他のＩＣ（Integrated Circuit）でもよく、あるいは、これらを組み合わせたものでもよい。また、プロセッサ１１は、ＳｏＣ（System on Chip）等に代表されるように、画像解析装置１０全体の機能を発揮する一つのＩＣ（Integrated Circuit）チップでもよい。
なお、上述したハードウェアプロセッサは、半導体素子などの回路素子を組み合わせた電気回路（Circuitry）であってもよい。

メモリ１２は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等の半導体メモリによって構成され、プログラム及びデータを一時的に記憶することでプロセッサ１１に作業領域を提供するとともに、プロセッサ１１が実行する処理によって生成される各種データも一時的に記憶する。

メモリ１２に記憶されるプログラムには、画像解析用のプログラム２１が含まれる。このプログラム２１は、機械学習を実施して解析モデルＭ１を構築するためのプログラム、文書から対象画像を検出するためのプログラム、及び、解析モデルＭ１により対象画像の特徴量から対象化合物の構造式の記号情報を生成するためのプログラムを含む。また、本実施形態において、プログラム２１は、生成される記号情報について判定処理及び照合処理を実行するためのプログラムをさらに含む。

なお、プログラム２１は、コンピュータが読み取り可能な記録媒体（メディア）から読み込むことで取得してもよく、あるいは、インターネット又はイントラネット等のネットワークを通じて受信（ダウンロード）することで取得してもよい。

外部インタフェース１３は、外部装置と接続するためのインタフェースである。画像解析装置１０は、外部インタフェース１３を介して外部装置、例えば、スキャナ又はインターネット上の他のコンピュータと通信する。このような通信を通じて、画像解析装置１０は、機械学習用のデータの一部又は全部を取得し、また、対象画像が掲載された文書を取得することができる。

入力装置１４は、例えばマウス及びキーボード等からなり、ユーザの入力操作を受け付ける。画像解析装置１０は、例えば、ユーザが入力装置１４を通じて記号情報に相当する文字情報を入力することで、機械学習用のデータの一部を取得することができる。
出力装置１５は、例えばディスプレイ及びスピーカ等からなり、解析モデルＭ１によって生成された記号情報を表示し、または音声再生するための装置である。

ストレージ１６は、例えば、フラッシュメモリ、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）、ＦＤ（Flexible Disc）、ＭＯディスク（Magneto-Optical disc）、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＳＤカード（Secure Digital card）、及びＵＳＢメモリ（Universal Serial Bus memory）等によって構成されている。ストレージ１６には、機械学習用のデータを含む各種のデータが記憶される。さらに、ストレージ１６には、解析モデルＭ１をはじめ、機械学習により構築される各種モデルのデータも記憶される。さらにまた、解析モデルＭ１によって生成された対象化合物の構造式の記号情報をストレージ１６に記憶し、データベースとして登録しておくことができる。
なお、本実施形態では、ストレージ１６が画像解析装置１０に内蔵された機器であるが、これに限定されるものではなく、ストレージ１６が画像解析装置１０に接続された外付け型の機器であってもよく、あるいは、ネットワークを介して通信可能に接続された外部のコンピュータ（例えば、クラウドサービス用のサーバコンピュータ）であってもよい。

画像解析装置１０のハードウェア構成については、上述の構成に限定されるものではなく、具体的な実施形態に応じて適宜、構成機器を追加、省略及び置換することが可能である。

＜画像解析フローについて＞
次に、画像解析装置１０を用いた画像解析フローについて説明する。
なお、以下に説明する画像解析フローでは、本発明の画像解析方法が採用されている。すなわち、以下の説明には、本発明の画像解析方法についての説明が含まれている。また、画像解析フロー中の各ステップは、本発明の画像解析方法を構成するものである。

本実施形態の画像解析フローは、図４に示すように、学習フェーズＳ００１、記号情報生成フェーズＳ００２、及び記号情報チェックフェーズＳ００３の順に進む。以下、各フェーズについて説明する。

［学習フェーズ］
学習フェーズＳ００１は、以降のフェーズにて必要となるモデルを構築するために機械学習を実施するフェーズである。学習フェーズＳ００１では、図４に示すように、第１の機械学習Ｓ０１１、第２の機械学習Ｓ０１２、及び第３の機械学習Ｓ０１３が実施される。

第１の機械学習Ｓ０１１は、解析モデルＭ１を構築するための機械学習であり、前述のように、学習用画像と、学習用画像が示す化合物の構造式の記号情報とを学習用データセットとして用いて行われる。

第２の機械学習Ｓ０１２は、記号情報チェックフェーズＳ００３にて用いられる照合モデルを構築するための機械学習である。照合モデルは、対象画像から、対象化合物の構造式を前述の線形表記法とは異なる記述方法にて記述した記述情報を生成するモデルである。
線形表記法とは異なる記述方法としては、例えば、分子フィンガープリントによる記述方法が挙げられる。分子フィンガープリントは、ある特徴を持つ分子を同定するために用いられ、図５に示すように構造式を、構造式中における各種類の部分構造（フラグメント）の有無を表すバイナリ型の多次元ベクトルに変換したものである。ここで、部分構造とは、構造式中の一部分を表す要素であり、複数の原子と原子間の結合を含む。

分子フィンガープリントを構成するベクトルの次元数は、任意に決めることができ、例えば数十～数千の次元数に設定される。本実施形態では、代表的なフィンガープリントであるＭＡＣＣＳ Ｋｅｙｓに倣って、１６７次元のベクトルにて表された分子フィンガープリントを用いることとする。

なお、線形表記法とは異なる記述方法は、分子フィンガープリントに限定されず、これ以外の記述方法、例えばＫＥＧＧ（Kyoto Encyclopedia of Genes and Genomes） Chemical Functionフォーマット（ＫＣＦフォーマット）、Molecular Design Limited社が運営する化学構造データベース（ＭＡＣＣＳ）の入力フォーマットであるＭＯＬ記法、及び、ＭＯＬの変法であるＳＤＦ法等による記述方法であってもよい。

第２の機械学習Ｓ０１２は、化合物の構造式を示す学習用画像（第２学習用画像）と、第２学習用画像が示す構造式の記述情報（詳しくは、分子フィンガープリントからなる記述情報）とを学習用データセットとして用いて行われる。ここで、第２の機械学習Ｓ０１２に用いられる第２学習用画像は、第１の機械学習Ｓ０１１にて用いられた学習用画像と同一の画像であってもよく、あるいは、第１の機械学習Ｓ０１１にて用いられた学習用画像とは別に準備された画像であってもよい。

そして、上記の学習用データを用いて第２の機械学習Ｓ０１２が行われることにより、照合モデルが構築される。照合モデルについては、後に詳述する。

第３の機械学習Ｓ０１３は、化合物の構造式を示す画像が掲載された文書から当該画像を検出するモデル（以下、画像検出モデルと言う）を構築するための機械学習である。画像検出モデルは、オブジェクト検出アルゴリズムを利用して文書中から構造式の画像を検出するモデルである。オブジェクト検出アルゴリズムとしては、例えば、Ｒ－ＣＮＮ（Region-based ＣＮＮ）、Ｆａｓｔ Ｒ－ＣＮＮ、ＹＯＬＯ（You only Look Once）、及びＳＤＤ（Single Shot Multibox Detector）が利用可能である。本実施形態では、検出速度の観点からＹＯＬＯを利用した画像検出モデルを構築する。

第３の機械学習Ｓ０１３に用いる学習用データ（教師データ）は、化合物の構造式を示す学習用画像に対してアノテーションツールを適用することによって作成される。アノテーションツールは、対象となるデータに対して正解ラベル（タグ）、及び対象物の座標等の関連情報を注釈として付与するツールである。アノテーションツールを起動し、学習用画像を含む文書を表示し、化合物の構造式を示す領域をバウンディングボックスによって囲み、その領域に対してアノテーションを行うことで学習用データが作成される。
なお、アノテーションツールとしては、例えば、ｔｚｕｔａｌｉｎ社のｌａｂｅＩｍｇ、及び、ｍｉｃｒｏｓｏｆｔ社のＶｏＴＴ等が利用可能である。

そして、上記の学習用データを用いて第３の機械学習Ｓ０１３を行うことにより、ＹＯＬＯ形式の物体検出モデルである画像検出モデルが構築される。

［記号情報生成フェーズ］
記号情報生成フェーズＳ００２は、文書に含まれる対象化合物の構造式の画像（対象画像）を解析し、対象化合物の構造式の記号情報を生成するフェーズである。

記号情報生成フェーズＳ００２では、先ず、画像解析装置１０のプロセッサ１１が、対象画像を含む文書に対して前述の画像検出モデルを適用し、文書中の対象画像を検出する（Ｓ０２１）。つまり、本ステップＳ０２１において、プロセッサ１１は、オブジェクト検出アルゴリズム（具体的には、ＹＯＬＯ）を利用して、文書から対象画像を検出する。

また、一つの文書中に対象画像が複数含まれる場合には、プロセッサ１１は、図６に示すように、上記の文書から複数の対象画像（図６中、破線にて囲われた部分の画像）を検出する。

次に、プロセッサ１１は、検出された対象画像を解析モデルＭ１に入力する（Ｓ０２２）。解析モデルＭ１において、前段の特徴量出力モデルＭａでは対象画像の特徴量が出力され、後段の記号情報出力モデルＭｂでは、入力された対象画像の特徴量に基づき、対象化合物の構造式の記号情報が出力される。このとき、前述したように、出力スコアが高い記号情報から順に、予め決められた個数の記号情報が出力される。以上のように、プロセッサ１１は、解析モデルＭ１により、対象画像の特徴量に基づき、対象化合物の構造式について複数の記号情報を生成する（Ｓ０２３）。

また、ステップＳ０２１にて複数の対象画像を検出した場合、プロセッサ１１は、検出された複数の対象画像を対象画像毎に解析モデルＭ１に入力する。その場合には、複数の対象画像の各々が示す対象化合物の構造式について、複数の記号情報が対象画像毎に生成されることになる。

［記号情報チェックフェーズ］
記号情報チェックフェーズＳ００３は、記号情報生成フェーズＳ００２において対象化合物の構造式について生成された複数の記号情報の各々に対して判定処理及び照合処理を実行するフェーズである。

記号情報チェックフェーズＳ００３では、先ず、プロセッサ１１が判定処理を実行する（Ｓ０３１）。判定処理は、解析モデルＭ１の記号情報出力モデルＭｂから出力された所定個数の記号情報の各々に対して、ＳＭＩＬＥＳ表記上の異常の有無を判定する処理である。
詳しく説明すると、プロセッサ１１は、記号情報出力モデルＭｂが出力した各記号情報について、各記号情報をなす文字列が正しいＳＭＩＬＥＳ表記の語順であるかを判定するために、その文字列から構造式への変換を試みる。ここで、構造式への変換が成功すると、その記号情報には表記上の異常が無い（換言すると、その記号情報が正常である）と判定される。ここで、異常がない記号情報を、以下では「正常記号情報」と呼ぶこととする。

なお、文字列から構造式に変換するアルゴリズムとしては、ＣｈｅｍＤｒａｗ（登録商標）及びＲＤＫｉｔのような公知の構造式作画ソフトに搭載されている変換機能と同様のアルゴリズムが利用可能である。

判定処理の実行後、プロセッサ１１は、正常記号情報に対して照合処理を実行する（Ｓ０３２）。照合処理は、照合モデルによって生成される対象化合物の構造式の第１記述情報と、正常記号情報から生成される第２記述情報とを照合する処理である。第１記述情報は、対象化合物の構造式を分子フィンガープリントの記述方式にて記述したものである。本実施形態において、第１記述情報は、対象画像を図７に図示の照合モデルＭ２に入力することで生成される。

照合モデルＭ２は、前述した第２の機械学習Ｓ０１２によって構築され、図７に示すように特徴量出力モデルＭｃと記述情報出力モデルＭｄとを含む。

特徴量出力モデルＭｃは、解析モデルＭ１の特徴量出力モデルＭａと同様、対象化合物の構造式を示す画像（対象画像）が入力されることで対象画像の特徴量を出力するモデルであり、本実施形態ではＣＮＮによって構成される。また、本実施形態において、特徴量出力モデルＭｃは、特徴量出力モデルＭａと同様、ベクトル化された特徴量を出力する。

記述情報出力モデルＭｄは、特徴量出力モデルＭｃから出力された特徴量が入力されることで、特徴量に対応する記述情報（詳しくは、分子フィンガープリントからなる記述情報）を出力するモデルである。本実施形態において、記述情報出力モデルＭｄは、例えば、ニューラルネットワーク（ＮＮ）によって構成される。記述情報出力モデルＭｄは、ベクトル化された分子フィンガープリントからなる記述情報を、第１記述情報として出力する。記述情報出力モデルＭｄから出力される記述情報は、対象化合物の構造式の記述情報である。

なお、照合モデルＭ２の特徴量出力モデルＭｃとしては、解析モデルＭ１の特徴量出力モデルＭａを兼用してもよい。すなわち、特徴量出力モデルＭａ、Ｍｃの間でＣＮＮの中間層の重みを共通の値に設定してもよい。この場合、第２の機械学習Ｓ０１２は、第１の機械学習Ｓ０１１にて決めたＣＮＮの中間層の重みのままで固定し、記述情報出力モデルＭｄであるＮＮの中間層の重みを決定することになり、モデル構築の負荷（計算負荷）を軽減することができる。ただし、照合モデルＭ２は、解析モデルＭ１のＣＮＮ（特徴量出力モデルＭａ）を兼用せず、別途のＣＮＮによって構成されてもよい。

第２記述情報は、正常記号情報が表す構造式を分子フィンガープリントの記述方式にて記述した記述情報である。本実施形態において、第２記述情報は、ＳＭＩＬＥＳ表記の記号情報を変換ルールに従って分子フィンガープリントに変換することで生成される。このときに用いられる変換ルールは、数多くの化合物についてＳＭＩＬＥＳ表記の構造式と分子フィンガープリントとの対応関係を特定してルール化することで規定される。

照合処理では、以上のようにして生成される第１記述情報と第２記述情報とを照合し、両記述情報の間の一致度を算出する。正常記号情報が複数存在する場合には、それぞれの正常記号情報から第２記述情報を生成し、各第２記述情報について第１記述情報との一致度を算出する。なお、一致度の算出方法としては、分子フィンガープリント間の類似度を算出する公知の手法を用いることができ、例えば、Ｔａｎｉｍｏｔｏ係数の算出手法が利用可能である。

照合処理の実行後、プロセッサ１１は、出力処理を実行する（Ｓ０３３）。出力処理は、照合処理で算出した一致度に応じて、正常記号情報を対象化合物の構造式の記号情報として最終的に出力（例えば、表示）する処理である。ここで、一致度に応じて正常記号情報を出力するとは、例えば、一致度が基準値を超える正常記号情報のみを出力することであってもよく、あるいは、正常記号情報を一致度が高いものから順に出力することであってもよい。

＜本実施形態の有効性について＞
本実施形態の画像解析装置１０は、第１の機械学習によって構築された解析モデルＭ１を利用し、対象化合物の構造式を示す対象画像の特徴量に基づき、その構造式をＳＭＩＬＥＳ表記した記号情報を生成することができる。この結果、対象画像における構造式の書き方の変化に対して適切に対応することが可能となる。

上記の効果について詳述すると、従来の技術では、化合物の構造式を示す画像の一部と、その部分に現れる構造式中の部分構造との対応関係をルール化し、その識別ルールに従って構造式を識別していた。ただし、構造式の書き方が変わった場合、その書き方に適合できる識別ルールが準備されていないと、当該構造式を識別することができない。この結果、上記の状況では、構造式の記号情報を生成することが困難になる。

これに対して、本実施形態では、機械学習の成果である解析モデルＭ１を利用して対象画像の特徴量から記号情報を生成する。つまり、本実施形態では、構造式の書き方が変わったとしても、その構造式を示す画像の特徴量を特定することができ、特徴量が特定できれば、その特徴量から記号情報を生成することができる。
以上のように、本実施形態によれば、対象化合物の構造式の書き方が変わった場合にも記号情報を適切に取得することができる。

＜その他の実施形態＞
以上までに、本発明の画像解析装置、画像解析方法、及びプログラムについて具体例を挙げて説明してきたが、上述した実施形態は、あくまでも一例に過ぎず、他の実施形態も考えられる。
例えば、画像解析装置を構成するコンピュータとしては、ＡＳＰ（Application Service Provider）、ＳａａＳ（Software as a Service）、ＰａａＳ（Platform as a Service）又はＩａａＳ（Infrastructure as a Service）等に利用されるサーバであってもよい。この場合、上記ＡＳＰ等のサービスを利用するユーザが不図示の端末を操作して、対象画像を含む文書をサーバに送信する。サーバは、ユーザから送られてくる文書を受信すると、文書から対象画像を検出し、対象画像の特徴量に基づき、対象画像が示す対象化合物の構造式の記号情報を生成する。そして、サーバは、生成された記号情報を、ユーザの端末に向けて出力（送信）する。ユーザ側では、サーバから送られてくる記号情報が表示され、あるいは音声再生される。

また、上記の実施形態では、解析モデルＭ１によって生成された記号情報について、表記上の異常の有無を判定する判定処理を実行することとした。さらに、上記の実施形態では、対象画像の特徴量に基づいて生成された分子フィンガープリント（第１記述情報）と、正常記号情報から変換された分子フィンガープリント（第２記述情報）とを照合する照合処理を実行することとした。
ただし、これに限定されるものではなく、判定処理及び照合処理のいずれか一方の処理のみを実行してもよく、あるいは、いずれの処理も実行しなくてもよい。

また、上記の実施形態では、各種のモデルを構築するための機械学習（第１～第３の機械学習）が画像解析装置１０によって行われることとしたが、これに限定されるものではない。一部又は全ての機械学習が、画像解析装置１０とは異なる他の装置（コンピュータ）によって行われてもよい。この場合、画像解析装置１０は、他の装置が行う機械学習によって構築されるモデルを取得することになる。
例えば、第１の機械学習が他の装置によって行われる場合、画像解析装置１０は、第１の機械学習によって構築される解析モデルＭ１を、他の装置から取得する。そして、画像解析装置１０は、取得した解析モデルＭ１により、対象画像を解析し、その画像が示す対象化合物の構造式について記号情報を生成する。

また、上記の実施形態において、上記の解析モデルＭ１は、学習用画像と、学習用画像が示す化合物の構造式を線形表記にて表した記号情報とを用いた機械学習によって構築される。そして、解析モデルＭ１は、対象画像の特徴量に基づき、対象画像が示す対象化合物の構造式の記号情報を生成する。
ただし、これに限定されるものではなく、対象化合物の構造式の記号情報を生成する解析モデルとしては、別のモデルが考えられ、例えば図８に示す解析モデル（以下、変形例に係る解析モデルＭ３）が挙げられる。

変形例に係る解析モデルＭ３は、図８に示すように、特徴量出力モデルＭｅと記述情報出力モデルＭｆと記号情報出力モデルＭｇとを有する。変形例に係る解析モデルＭ３は、機械学習（以下、変形例に係る機械学習）によって構築される。変形例に係る機械学習は、化合物の構造式を示す学習用画像と、学習用画像が示す化合物の構造式の記号情報（例えば、ＳＭＩＬＥＳ表記の記号情報）と、学習用画像が示す化合物の構造式の記述情報（例えば、分子フィンガープリントからなる記述情報）とを学習データセットとして用いて行われる。

特徴量出力モデルＭｅは、解析モデルＭ１の特徴量出力モデルＭａと同様、対象化合物の構造式を示す画像（対象画像）が入力されることで対象画像の特徴量を出力し、例えばＣＮＮによって構成される。特徴量出力モデルＭｅは、ベクトル化された特徴量（例えば、２０４８次元のベクトル）を出力する。

記述情報出力モデルＭｆは、対象画像が入力されることで、対象化合物の構造式の記述情報（詳しくは、分子フィンガープリントからなる記述情報）を出力するモデルである。記述情報出力モデルＭｆは、前述の照合モデルＭ２に準じたモデルであり、例えばＣＮＮによって構成され、ベクトル化された分子フィンガープリントからなる記述情報（例えば、１６７次元のベクトル）を出力する。

変形例に係る解析モデルＭ３では、図８に示すように、特徴量出力モデルＭｅから出力された特徴量と、記述情報出力モデルＭｆから出力された記述情報とが合成され、ベクトル化された合成情報が生成される。合成情報のベクトル次元数は、特徴量のベクトル次元数と記述情報のベクトル次元数とを足し合わせた値（すなわち、２２１５次元）となる。

記号情報出力モデルＭｇは、上記の合成情報が入力されることで、合成情報に対応する記号情報（詳しくは、ＳＭＩＬＥＳ表記の記号情報）を出力するモデルである。記号情報出力モデルＭｇは、解析モデルＭ１の記号情報出力モデルＭｂとほぼ共通しており、例えばＲＮＮによって構成され、その一例としてはＬＳＴＭネットワークが利用可能である。

以上のように構成された変形例に係る解析モデルＭ３を用いた場合にも、対象画像の特徴量から、対象化合物の構造式を線形表記にて表した記号情報を生成することができる。

１０ 画像解析装置
１１ プロセッサ
１２ メモリ
１３ 外部インタフェース
１４ 入力装置
１５ 出力装置
１６ ストレージ
２１ プログラム
Ｍ１ 解析モデル
Ｍ２ 照合モデル
Ｍ３ 変形例に係る解析モデル
Ｍａ，Ｍｃ，Ｍｅ 特徴量出力モデル
Ｍｂ，Ｍｇ 記号情報出力モデル
Ｍｄ，Ｍｆ 記述情報出力モデル

Claims (17)

1. プロセッサを備え、化合物の構造式を示す画像を解析する画像解析装置であって、
   前記プロセッサは、解析モデルにより、対象化合物の構造式を示す対象画像の特徴量に基づき、前記対象化合物の構造式を線形表記法にて表した記号情報を生成し、
   前記解析モデルが、学習用画像と、前記学習用画像が示す化合物の構造式を線形表記法にて表した記号情報とを用いた機械学習によって構築された画像解析装置。
2. 前記プロセッサは、
   前記対象画像を含む文書から前記対象画像を検出し、
   検出された前記対象画像を前記解析モデルに入力することにより、前記対象化合物の構造式の前記記号情報を生成する、請求項１に記載の画像解析装置。
3. 前記プロセッサは、オブジェクト検出アルゴリズムを利用して前記文書から前記対象画像を検出する、請求項２に記載の画像解析装置。
4. 前記プロセッサは、
   複数の前記対象画像を含む前記文書から複数の前記対象画像を検出し、
   検出された複数の前記対象画像を前記対象画像毎に前記解析モデルに入力することにより、複数の前記対象画像の各々が示す前記対象化合物の構造式の前記記号情報を生成する請求項２又は３に記載の画像解析装置。
5. 前記解析モデルが、
   前記対象画像が入力されることで前記特徴量を出力する特徴量出力モデルと、
   前記特徴量が入力されることで前記特徴量に対応する前記記号情報を出力する記号情報出力モデルと、を含む、請求項１乃至４のいずれか一項に記載の画像解析装置。
6. 前記特徴量出力モデルは、畳み込みニューラルネットワークを含み、
   前記記号情報出力モデルは、再帰型ニューラルネットワークを含む、請求項５に記載の画像解析装置。
7. 前記対象化合物の構造式の前記記号情報が複数の記号によって構成され、
   前記記号情報出力モデルが、前記特徴量と対応する前記記号情報を構成する前記記号を、前記記号情報の先頭から順次特定し、特定された順に前記記号が並んだ前記記号情報を出力する、請求項５又は６に記載の画像解析装置。
8. 前記プロセッサは、前記解析モデルにより、前記対象画像の前記特徴量に基づき、前記対象化合物の構造式について複数の前記記号情報を生成し、
   前記記号情報出力モデルは、
   それぞれの前記記号情報について、前記記号情報を構成する複数の前記記号の各々の出力確率を算出し、且つ、算出された複数の前記記号の各々の前記出力確率に基づいて前記記号情報の出力スコアを算出し、
   算出された前記出力スコアに応じて、予め決められた個数の前記記号情報を出力する請求項７に記載の画像解析装置。
9. 前記プロセッサは、
   前記記号情報出力モデルが出力した前記記号情報の各々に対して、表記上の異常の有無を判定する判定処理を実行し、
   前記記号情報出力モデルが出力した前記記号情報のうち、前記異常がない正常記号情報を前記対象化合物の構造式の前記記号情報として出力する、請求項５に記載の画像解析装置。
10. 前記プロセッサは、
    照合モデルにより、前記対象画像から、前記対象化合物の構造式を前記線形表記法とは異なる記述方法にて記述した第１記述情報を生成し、
    前記正常記号情報が表す構造式を前記記述方法にて記述した第２記述情報を生成し、
    前記第１記述情報と前記第２記述情報とを照合し、
    前記第１記述情報と前記第２記述情報との一致度に応じて、前記正常記号情報を前記対象化合物の構造式の前記記号情報として出力する、請求項９に記載の画像解析装置。
11. 前記照合モデルが、第２学習用画像と、前記第２学習用画像が示す化合物の構造式を前記記述方法にて記述した記述情報とを用いた機械学習によって構築された、請求項１０に記載の画像解析装置。
12. 前記照合モデルが、
    前記対象画像が入力されることで前記特徴量を出力する特徴量出力モデルと、
    前記特徴量出力モデルから出力される前記特徴量が入力されることで前記特徴量に対応する前記第１記述情報を出力する記述情報出力モデルと、を含む、請求項１０に記載の画像解析装置。
13. 前記解析モデルは、前記学習用画像と、前記学習用画像が示す化合物の構造式を前記線形表記法にて表した記号情報と、前記学習用画像が示す化合物の構造式を前記線形表記法とは異なる記述方法にて記述した記述情報と、を用いた機械学習によって構築され、
    前記解析モデルは、
    前記対象画像が入力されることで、前記特徴量を出力する特徴量出力モデルと、
    前記対象画像が入力されることで、前記対象化合物の構造式の前記記述情報を出力する記述情報出力モデルと、
    出力された前記特徴量及び前記記述情報を合成した合成情報が入力されることで、前記合成情報に対応する前記記号情報を出力する記号情報出力モデルと、を含む請求項１乃至７のいずれか一項に記載の画像解析装置。
14. 前記特徴量出力モデルは、ベクトル化された前記特徴量を出力し、
    前記記述情報出力モデルは、ベクトル化された分子フィンガープリントからなる前記記述情報を出力する、請求項１３に記載の画像解析装置。
15. 前記線形表記法が、Ｓｉｍｐｌｉｆｉｅｄ Ｍｏｌｅｃｕｌａｒ Ｉｎｐｕｔ Ｌｉｎｅ Ｅｎｔｒｙ Ｓｙｓｔｅｍ記法、又は、ｃａｎｏｎｉｃａｌ Ｓｉｍｐｌｉｆｉｅｄ Ｍｏｌｅｃｕｌａｒ Ｉｎｐｕｔ Ｌｉｎｅ Ｅｎｔｒｙ Ｓｙｓｔｅｍ記法である、請求項１乃至１４のいずれか一項に記載の画像解析装置。
16. 化合物の構造式を示す画像を解析する画像解析方法であって、
    プロセッサが、解析モデルにより、対象化合物の構造式を示す対象画像の特徴量に基づき、前記対象化合物の構造式を線形表記法にて表した記号情報を生成するステップを実施し、
    前記解析モデルが、学習用画像と、前記学習用画像が示す化合物の構造式を線形表記法にて表した記号情報とを用いた機械学習によって構築された画像解析方法。
17. 請求項１６に記載された画像解析方法のステップをプロセッサに実施させるためのプログラム。

Images