JP2021015546A - 情報処理システムおよび情報処理方法 - Google Patents

Abstract

【課題】最適条件探索等を目的に製造プロセスを変化させながら組織構造を解析する場合にも、機械学習技術を用いた画像解析を容易とする。【解決手段】本発明の好ましい一側面は、画像を入力として識別結果を出力する識別器と、ｎ（ｎは１以上の整数）次元の数値で定義された識別器の識別可能範囲を記憶する自動識別可能範囲記憶部と、画像に対応した数値を取得する取得部と、取得部で取得した数値と識別可能範囲を比較する制御部と、制御部により取得部で取得した数値が識別可能範囲を逸脱したと判定された場合、警告を出力するアラート出力部と、を備える情報処理システムである。【選択図】 図１

Description

本願発明は情報処理技術にかかわり、特に機械学習を用いた画像の解析技術に関する。

従来、例えば顕微鏡等で取得される物質構造の組成や光学異方性等を識別するためには、目視で確認することが一般的であった。この場合、人による認識の差や周囲環境の影響により、性格な判断は困難である。また、作業者の負担やコストも課題となる。

近年のコンピューターの性能向上、とりわけ人工知能（ＡＩ）の技術の向上と共に、識別器を用いた画像処理技術の研究開発が進んでいる。この分野の技術で代表的な階層型ニューラルネットワークを用いた識別器では、階層型ニューラルネットワークの結合の重みを最適化することにより、目的とする処理に適合するモデルを構成する機械学習と呼ばれる処理を行なう。

階層型ニューラルネットワークを用いた機械学習は、教師あり学習と教師なし学習に大きく分けることができる。教師あり学習では、入力ｘとそれに対する正解出力ｔのペアの集合を学習用データ（以降「教師データセット」という）として、データベースを構築する（以降「教師データベース」という）。機械学習では、教師データベースを用いて、階層型ニューラルネットワークに所定の入力をしたときの出力が正解に近づくように階層型ニューラルネットワークの結合の重みを調節する。適切に学習されたモデルは、入力に対して精度よく正解を出力することができるようになる。

特許文献１には、機械学習に関連して、「生物試料を異なる種類の組織領域にセグメント化するために、適応分類を使用して生物試料の画像をセグメント化する方法」が開示されている。

特許文献２には、「教師画像に基づく教師データとともに補充された教師データを用いて学習を行うことで、過学習の弊害が抑制され、誤分類の確率を低くすること」が開示されている。

特表2017−510792号公報 特開2014−178229号公報

材料を形成する結晶粒や析出物の形態などの組織構造は、材料の特性と関係する。一方、組織構造は製造プロセスに応じて変化する。ここで、「製造プロセス」とは、材料の組成条件、および材料を製造するために施した加熱処理・加圧処理等の処理条件を包括する概念とする。材料の特性や製造プロセスと組織構造の相関を定量的に解析するためには、組織構造を定量的に解析することが必要である。

発明者らは、電子顕微鏡などで観察した材料の画像から組織構造を解析するため、機械学習技術を適用した識別器を利用することを検討した。識別器を教師有り学習で生成するためには、画像と画像に含まれる組織構造を対応付ける教師データセットが必要となる。

教師データセットとして求められるのは量と質である。すなわち、処理対象となる可能性のある材料の画像のパターンを広く網羅し、またそれに適切な正解が付されていることが望ましい。

しかしながら、研究開発の現場においては、最適条件探索などを目的に製造プロセスを変化させながら組織構造を解析する必要がある。この場合、組織構造が探索の進捗に従って変化していくことが想定される。

したがって、探索領域全体の組織構造を解析するために、対象となる可能性のある材料の画像を広く網羅した教師データセットを予め準備することは、事実上困難である。教師データセットの量や質が不十分だと、それによって学習された識別器の性能も不十分なものとなる。

そこで、最適条件探索等を目的に製造プロセスを変化させながら組織構造を解析する場合にも、機械学習技術を用いた画像解析を容易とすることが課題となる。

本発明の好ましい一側面は、画像を入力として識別結果を出力する識別器と、ｎ（ｎは１以上の整数）次元の数値で定義された識別器の識別可能範囲を記憶する自動識別可能範囲記憶部と、画像に対応した数値を取得する取得部と、取得部で取得した数値と識別可能範囲を比較する制御部と、制御部により取得部で取得した数値が識別可能範囲を逸脱したと判定された場合、警告を出力するアラート出力部と、を備える情報処理システムである。

本発明の好ましい他の一側面は、教師有り機械学習により学習された識別器により画像を識別する方法であって、ｎ（ｎは１以上の整数）次元の数値で定義された識別器の識別可能範囲を記憶しておき、画像に対応した数値を取得する第１のステップ、取得した数値と識別可能範囲を比較する第２のステップ、取得した数値が識別可能範囲を逸脱したと判定された場合、ユーザに通知する第３のステップ、を有する情報処理方法である。

後に説明される具体的な実施例では、用いる数値は識別器の識別結果の特徴量である。別の具体的な実施例では、数値は画像の特徴量である。別の具体的な実施例では、数値は画像を取得したサンプルの組成条件および処理条件の少なくとも一つである。

最適条件探索などを目的に組成やプロセスを変化させながら組織構造を解析する場合にも、機械学習技術を用いた画像解析が容易となる。

実施例に係わる組織構造解析システムの構成ブロック図。 実施例によるサンプルの自動解析処理の全体像を示すフローチャート。 教師データセットの準備Ｓ１０００の詳細なフローフローチャート。 教師データ画像αとラベリング画像βの例を示すイメージ図。 サンプルの組織画像が変化する例を示すイメージ図。 自動識別可能範囲の決定Ｓ２０００の詳細なフローチャート。 自動識別可能範囲を決定する概念を説明する概念図。 組織識別の実行処理Ｓ４０００の詳細を示すフローチャート。 ＧＵＩ表示の例を示すイメージ図。 再識別準備処理Ｓ４１００の詳細なフローチャート。 実施例２の自動識別可能範囲の決定Ｓ２０００ａの詳細なフローチャート。 自動識別可能範囲を決定する他の概念を説明する概念図。 組織識別の実行処理Ｓ４０００ａの詳細を示すフローチャート。

実施の形態について、図面を用いて詳細に説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。

以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、重複する説明は省略することがある。

同一あるいは同様な機能を有する要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、複数の要素を区別する必要がない場合には、添字を省略して説明する場合がある。

本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。

図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。

本明細書で引用した刊行物、特許および特許出願は、そのまま本明細書の説明の一部を構成する。

本明細書において単数形で表される構成要素は、特段文脈で明らかに示されない限り、複数形を含むものとする。

＜１．システム構成＞
図１は、実施例に係わる組織構造解析システムの構成ブロック図である。本システムは、組織構造解析装置１と観察装置２から構成されている。

組織構造解析装置１は、基本的にはサーバ等の情報処理装置で構成されている。基本的な構成として、一般的なサーバと同様に、入力装置、出力装置、処理装置、および記憶装置を備えている。

本実施例では計算や制御等の機能は、記憶装置に格納されたプログラムが処理装置によって実行されることで、定められた処理を他のハードウエアと協働して実現される。計算機などが実行するプログラム、その機能、あるいはその機能を実現する手段、また、データあるいはデータベースを記憶している記憶装置の一部または全部を、「〜部」、「機能」、「手段」等と呼ぶ場合がある。

また、情報処理装置の構成は、単体のサーバで構成してもよいし、あるいは、入力装置、出力装置、処理装置、記憶装置の任意の部分が、ネットワーク等で接続された複数の情報処理装置で構成されてもよい。また、本実施例中、ソフトウエアで構成した機能と同等の機能は、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）などのハードウエアでも実現できる。

組織構造解析装置１の物理的な構成は上記のとおりであるが、図１では機能的な特徴に着目して機能ブロック図として示している。主な構成は、組織構造解析部１０１、データ記憶部１２２、相関解析器１２８、入出力部１２９である。

組織構造解析部１０１には、組織構造解析装置１がソフトウエアで実行する機能や情報を記憶する機能として、全体制御部１０２、組織データ分析部１０３、組織構造定量化部１０４を有する。全体制御部１０２は、組織構造解析装置１の全体の機能を制御する。組織データ分析部１０３は、サンプルの画像等からラベリング画像を作成するための機能を提供する。

組織構造定量化部１０４は、組織識別器１０５、教師データセット記憶部１０６、特徴量計算部１０７、自動識別可能範囲決定部１０８、自動識別可能範囲記憶部１０９を含む。

組織識別器１０５は、例えば機械学習により学習された階層型ニューラルネットワーク等で構成された識別器であり、サンプルの画像等からラベリング画像を自動的に生成する。なお、本明細書等では、ラベリング画像を生成する元となるサンプルの画像等を「元画像」あるいは「データ画像」ということがある。また「元画像」、「データ画像」、「ラベリング画像」といった場合には、画像そのもののほか、当該画像を作成するための画像データの概念を含むものとする。

教師データセット記憶部１０６は、機械学習のための教師データセットを記憶する。特徴量計算部１０７は、ラベリング画像から特徴量を計算する。自動識別可能範囲決定部１０８は、組織識別器１０５が自動識別を可能とする範囲を決定する。自動識別可能範囲記憶部１０９は、組織識別器１０５が自動識別を可能とする範囲を記憶する。

磁気ディスク装置や半導体記憶装置、あるいはこれらの組み合わせからなるデータ記憶部１２２には、データの記憶領域として、サンプル情報記憶部１２３、座標情報記憶部１２４、画像データ記憶部１２５、組織識別結果記憶部１２６、特徴量記憶部１２７を有する。

サンプル情報記憶部１２３は、元画像に対応したサンプルに関する情報を記憶する。座標情報記憶部１２４は、元画像に対応したサンプルの座標に関する情報を記憶する。画像データ記憶部１２５は、元画像を記憶する。組織識別結果記憶部１２６は、ラベリング画像を記憶する。特徴量記憶部１２７は、ラベリング画像の特徴量を記憶する。

入出力部１２９は、キーボードやマウス等の周知の入力装置と、画像表示装置など周知の出力装置を有する。もっとも、印刷機能や通信機能など他の機能を備えていても良い。

本実施例では、入出力部１２９を機能的に特定するものとして、サンプル情報入力部１３０、ラベルデータ入力部１３１、判断入力部１３２、画像表示部１３３、アラート出力部１３４、解析結果表示部１３５を含む。

サンプル情報入力部１３０は、サンプル情報記憶部１２３に記憶するサンプルに関する情報を入力するインターフェースである。ラベルデータ入力部１３１は、組織識別結果記憶部１２６に記憶するラベリング画像を入力するインターフェースである。判断入力部１３２は、組織識別器１０５を再学習等するかどうかの判断を入力するインターフェースである。画像表示部１３３は、例えば所望の情報を表示する画像ディスプレイである。アラート出力部１３４は、組織識別器１０５が自動識別を可能とする範囲を逸脱した場合のアラートを出力する。解析結果表示部１３５は、相関解析器１２８の解析結果を表示する。

相関解析器１２８は、特徴量記憶部１２７に記憶された特徴量と、サンプル情報記憶部１２３に記憶されたサンプルに関する情報の関係を解析する。なお、データ記憶部１２２に記憶された各データは、例えば元画像のＩＤ（識別情報）により相互に関連付けられているものとする。元画像のＩＤは、例えばサンプル番号と当該サンプル上の座標（例えばアドレス）に対応することが好ましい。一つのサンプルで組成が均一な場合はサンプル番号のみでもよい。サンプルが１つのみの場合はサンプル上の座標のみで特定してもよい。

観察装置２は、本実施例ではＳＥＭ（Scanning Electron Microscope）等の電子顕微鏡を想定している。観察装置２は撮影条件設定部１１０と撮影部１１７を含む。

撮影条件設定部１１０は、電子ビームを制御するビーム制御部１１１、第１信号検出部１２０と第２信号検出部１２１を制御する検出器制御部１１２、ステージ１１９を制御するステージ制御部１１３、第１信号検出部１２０の信号を取得する第１信号取得部１１４、第２信号検出部１２１の信号を取得する第２信号取得部１１５、取得した信号をイメージ化する画像形成部１１６を有する。

撮影部１１７は、電子ビーム発生部１１８、サンプルを搭載するステージ１１９、第１信号検出部１２０、第２信号検出部１２１を含む。本実施例では、第１信号検出部１２０は、サンプルからの反射電子のエネルギーを検出する。第２信号検出部１２１は、電子線照射によりサンプルから発生する特性Ｘ線を検出する。本実施例では、第２信号検出部１２１により、エネルギー分散型Ｘ線分析（ＥＤＸ）が可能であり、サンプルの元素分析や組成分析が可能である。あるいは、第２信号検出部１２１はＥＰＭＡ（Electron Probe x-ray Micro Analyzer）やＥＢＳＤ（Electron BackScatter Diffraction）のような、他の原理の検出を可能とするものでもよい。

なお、上にあげた電子顕微鏡のほかに、各種の観察装置、例えば偏光顕微鏡、原子間力顕微鏡、カー効果顕微鏡など、他の種類の観察装置にも適用は可能である。

＜２．全体処理フロー＞
図２は、本実施例の組織構造解析システムによるサンプルの自動解析処理の全体像を示すフローチャートである。教師データセットの準備Ｓ１０００、自動識別可能範囲の決定Ｓ２０００、組織識別器の学習Ｓ３０００、組織識別の実行Ｓ４０００を含む。なお、自動識別範囲の決定Ｓ２０００と組織識別器の学習Ｓ３０００の順序は逆でもよい。

以下の実施例では、説明のためＳ１０００〜Ｓ４０００の処理は全て組織構造解析装置１と観察装置２で行うことにしているが、これらの処理は別個独立の装置で別個独立に行うことも可能である。

発明の理解のために、本実施例を適用するのに好適な一例を説明する。本実施例は、例えば材料や素材の研究開発に利用することができる。材料の研究開発においては、材料の製造プロセスと材料の組織構造の関連性が判明し、材料の組織構造と材料特性の関連性が判明すれば、所望の特性を得るためにどの製造プロセスを変更すればよいかの指針を得ることができる。例えば、製造プロセスの加熱時間が組織構造のＡ相の比率と相関があり、Ａ相の比率と材料の硬度に相関があれば、製造プロセスの加熱時間が材料の硬度のコントロールに有益であるとの推測が成り立つ。

このとき、説明変数として組織構造を定量的に評価することが必要である。このため、組織構造を撮影した元画像をラベリングし、ラベリング画像から特徴量を定量的に得ることが可能である。そして、元画像をラベリングするために、機械学習を用いた組織識別器を用いることは、開発効率上好ましい。

しかしながら、組成やプロセスを変化させながら組織構造を解析する必要があるため、組織構造が探索の進捗に従って変化していくことが想定される。このため、機械学習に用いる教師データセットに求められる量と質を事前に準備することが困難である。以下で説明する実施例によれば、最適条件探索などを目的に組成やプロセスを変化させながら組織構造を解析する場合にも、機械学習技術を用いた画像解析を可能とすることが課題となる。

＜３．教師データセットの準備Ｓ１０００＞
図３は、教師データセットの準備Ｓ１０００の詳細なフローを示す図である。
処理Ｓ１００１において、ユーザが教師データセットを作成するためのサンプルを組織構造解析システムにセットする。サンプルは、例えば試作された材料の断片である。ユーザは材料の組織の画像を取得するために、観察装置２のステージ１１９上にサンプルを設置する。また、このサンプルに関するデータ、例えばサンプルの製造プロセス、あるいは別途取得した物理特性のデータを、サンプル情報入力部１３０から入力する。

サンプルの製造プロセスに関する情報としては、例えば以下のものがある。これに限らず、ユーザが任意に定義してよい。
・材料組成を示す元素の比率
・熱処理条件（温度、時間、方法）
・材料の攪拌条件（回数、時間、方法）
・触媒（種類、量）
サンプルの物理特性に関する情報としては、例えば以下のものがある。これに限らず、ユーザが任意に定義してよい。
・機械的特性。例えば、硬度、展延性、耐食性等
・電気的特性。例えば、電気伝導率、抵抗率
・磁気的特性。例えば、保磁力、透磁率
・熱的特性（比熱、熱伝導率）
入力されたデータは、サンプル情報記憶部１２３に記憶される。なお、サンプルを特定するＩＤによって、サンプルに関するデータやサンプルの画像のデータは、対応付けを可能としておく。

処理Ｓ１００２において、サンプルの撮影条件を決定する。ユーザは入出力部１２９から全体制御部１０２に対して観察装置２の撮影条件を入力する。例えば、倍率や撮影箇所、撮影枚数である。全体制御部１０２は、入力された条件に従って、観察装置２の撮影条件設定部１１０の各部に対して、撮影のためパラメータを設定する。

ビーム制御部１１１では、電子ビーム発生部１１８から照射される電子ビームの強度、照射時間、電子光学系による倍率や走査条件などを設定する。検出器制御部１１２では、第１信号検出部１２０、第２信号検出部１２１に供給される電圧等の条件を設定する。また、いずれの検出部を動作させるかを設定する。ステージ制御部１１３は、ステージ１１９の動作や供給される電圧を設定する。

処理Ｓ１００３において、組織構造解析システムは、処理Ｓ１００１においてセットされたサンプルを、処理Ｓ１００２において設定された条件で撮影する。撮影は、一般的な電子顕微鏡の動作を踏襲してよい。第１信号検出部１２０で検出した信号は第１信号取得部１１４で測定され、第２信号検出部１２１で検出した信号は第２信号取得部１１５で測定される。画像形成部１１６は、測定された信号に基づいてサンプルの組成を表す画像を形成する。

処理Ｓ１００４において、画像のデータは、教師データ画像αとして用いるため、画像データ記憶部１２５に記憶される。教師データ画像αは通常複数枚ある。また、サンプル上の画像の座標の情報は、座標データとして教師データ画像αと対応付け、座標情報記憶部１２４に記憶される。

処理Ｓ１００５において、画像データ記憶部１２５に記憶された教師データ画像αをラベリングし、ラベリング画像βを作成する。

図４は、教師データ画像αとラベリング画像βの例を示すイメージ図である。教師データ画像αは電子顕微鏡で撮影された画像であり、ラベリング画像βは教師データ画像αの各部をラベリングしている。ラベリング画像は、例えば画像をセグメンテーション（領域分類）したものである。あるいは、画像の特定の特徴部分をマーキング（抽出）したものである。図４の例では、ラベリング画像βは２つの領域に分類されている。領域の分類は、例えば組織の結晶の状態や組成の違いに基づいて行われる。ラベリングの定義は任意に定めることができる。ラベリング画像βの作成は、例えば組織データ分析部１０３が画像表示部１３３に教師データ画像αを表示し、ユーザがこれを目視することにより、ユーザの手によってラベリングすることができる。

処理Ｓ１００６において、作成された教師データ画像αとラベリング画像βのペアは、教師データセットとして教師データセット記憶部１０６に記憶される。先に述べたように、教師データセットは、処理対象となる可能性のある画像のパターンを広く網羅し、またそれに適切な正解が付されていることが望ましい。ただし、本実施例が想定しているように、当初は類似の材料組成のサンプルをラベリングすることを想定すると、ユーザにより１０程度の教師データセットを準備することが一例である。

上記では、ユーザがラベリングすることを想定しているが、例えば適切に学習された階層型ニューラルネットワーク等による識別器で、自動的にラベリングを行ってもよい。ラベリングが適切であれば、ラベリングの手法については特に限定するものではない。

＜４．自動識別可能範囲の決定Ｓ２０００＞
処理Ｓ１０００で準備された教師データセットを用いて機械学習を行った組織識別器１０５は、教師データセットがカバーする画像の範囲内では、適切な処理が期待できる。しかし、教師データセットの画像から大きく変化した画像に対しては、適切な処理が期待できない場合がある。

図５は、製造プロセスを変化させることにより、サンプルの組織画像が変化する例を示すイメージ図である。図４の教師データ画像αに対して、製造プロセスを変化させることにより、結晶粒系が変化したり（Ａ）、相の形状が変化したり（Ｂ）、輝度（コントラスト）が変化したり（Ｃ）、する。このような場合には、学習に用いた教師データセットが、識別対象のサンプルから乖離したものになっており、学習済みの組織識別器１０５の識別性能が不十分となるおそれがある。そこで、本実施例では、自動識別可能範囲という概念を導入する。
図６は、自動識別可能範囲の決定Ｓ２０００の詳細なフローを示す図である。

処理Ｓ２００１において、特徴量計算部１０７が、画像の特徴量を算出する。本実施例では、特徴量を算出するための画像は、ラベリング画像βとする。ラベリング画像の特徴量は、後に組織構造解析を行うためにも使用するので、これと兼用することができる。

ラベリング画像の特徴量としては、例えば以下のものがある。これに限らず、公知の特徴量の１または複数を任意に選択してよい。
・相の数
・各相の面積率
・各相の面積（平均値、最大値、最小値、ばらつき）
・各相の最大直線長さ（平均値、最大値、最小値、ばらつき）
・各相の丸さ計数（平均値、最大値、最小値、ばらつき）

丸さ計数とは、ＮＩＫ法（日本鋳物協会法）にて、黒鉛粒の変形度合いを評価するために定義した指標で、「各黒鉛粒がその最大直線長さを直径とする円に対してもつ面積率をもってその粒の球状化の程度を表すもの」と定義される。ここでは形状を示す指標の代表例として挙げた。
・相間距離（平均値、ばらつき）
・空孔の面積、サイズ（平均値、最大値、最小値、ばらつき）
・組織内に内在する孔のロバストネス

特徴量計算部１０７は、特徴量毎に、当該特徴量を計算するためのソフトウエアを含むものとする。上記の特徴量はいずれもラベリング画像のデータを公知の方法で処理することで得ることができる。

計算された特徴量は、計算のもととなったラベリング画像βとの対応とともに、特徴量記憶部１２７に記憶される。通常ラベリング画像βは複数あるので、計算された特徴量も複数あり、統計学的には特徴量の分布が得られる。

処理Ｓ２００２において、自動識別可能範囲決定部１０８は、自動識別可能範囲を決定して、結果を自動識別可能範囲記憶部１０９に記憶する。

図７は、処理Ｓ２００２において計算された特徴量を基にして、自動識別可能範囲を決定する概念を説明する図である。いま、特徴量空間を３次元として、３つの特徴量Ａ，Ｂ，Ｃで自動識別可能範囲を定義する例を説明する。ただし、使用する特徴量の数はｎ（ただしｎは１以上の任意の整数）でよい。少ないと識別範囲を正確に把握できない可能性があり、多すぎると処理負荷が大きくなる。ラベリング画像の特徴量を使用している場合には、最終的に組成構造解析に用いている特徴量を兼用するとよい。

図７において、教師データセットのラベリング画像βの特徴量の範囲が、教師データセット範囲７０１で示されている。ここでは、教師データセット範囲７０１は、各特徴量の最大値と最小値で規定された直方体で示される。この領域内の特徴量のサンプルであれば、教師データセットを用いて学習された組織識別器１０５の精度は高いと考えられる。しかし、この領域から離れるにしたがって、識別器の信頼性は低下する。

図７には、教師データセット範囲７０１を基準として定義された、識別器が自動識別を可能とする範囲が、自動識別可能範囲７０２として示されている。例えば、新たなサンプルｘの特徴量を図７に示される点で表すとすると、現在の識別器ではサンプルｘの識別が正確ではない可能性があるということになる。

自動識別可能範囲７０２の定義の手法は任意である。例えば、教師データセット範囲７０１を所定のルールで拡大した領域とする。図７の例では３次元空間で規定されているので、教師データセット範囲７０１の３つの特徴量の上限と下限をそれぞれ所定量拡大する。拡大する量はユーザが決定することができる。拡大量が大きければ識別器の信頼性が低下するが、後述する再学習のための処理負荷が低減できる。拡大量が小さければ、その逆である。システムの用途や要求スペックに応じて定めればよい。なお、教師データセット範囲７０１を拡大して自動識別可能範囲７０２とする代わりに、教師データセット範囲７０１を縮小して自動識別可能範囲７０２としてもよい。

自動識別可能範囲決定部１０８は、画像表示部１３３に例えば図７で示したように教師データセット範囲７０１の画像を表示し、ユーザは自動識別可能範囲７０２を入出力部１２９から指定して決定することができる。

＜５．組織識別器の学習Ｓ３０００＞
処理Ｓ３０００において、全体制御部１０２は、教師データセット記憶部１０６に記憶されている教師データセット、すなわち教師データ画像αとラベリング画像βを用いて、組織識別器１０５の学習を行う。

組織識別器１０５は、教師有り機械学習に対応した公知の識別器である。たとえば階層型ニューラルネットワークやその一種であるＤＮＮ（Deep Neural Network）等が適用できる。機械学習の方法自体は公知手法を適用可能であるため、詳細説明は省略する。

複数種類のラベリングを行う場合には、ラベリングの種類に対応した識別器を学習してもよい。この学習で生成された組織識別器１０５は、処理Ｓ２０００で決定された自動識別可能範囲７０２内では、適切な識別が可能であるとしてユーザによって定義されている。

＜６．組織識別の実行Ｓ４０００＞
処理Ｓ３０００において学習された組織識別器１０５を用いて、以下では組織識別の実行を行う。組織識別の対象となるのは、教師データ画像以外のデータ画像である。以下の例では、観察装置２により画像を取得しながらリアルタイムで識別を行う例を示している。ただし、識別対象のデータ画像は、予め取得しておいてもよいし、第三者が取得済みの画像を入手してもよい。このような場合には、記録済みのデータ画像を記録媒体等から読み出して、処理を行えばよい。

図８は、組織識別の実行処理Ｓ４０００の詳細を示すフロー図である。事前にデータ画像を取得すべきサンプルをステージ１１９にセットし、撮影条件などを設定するのは、図３で説明したものと同様である。

処理Ｓ４００１において、データ画像を取得すべきサンプルの１番目の探索点に観測点を移動する。そのためには、観察装置２のステージ１１９を移動する等の操作を行うが、基本的に公知の手法でよい。

処理Ｓ４００２において、観察装置２はデータ画像を取得し、サンプル上の座標情報とデータ画像を記憶する。サンプルが複数ある場合には、サンプル番号も併せて記憶する。これらのデータは組織構造解析装置１に送られ、全体制御部１０２により、画像データ記憶部１２５と座標情報記憶部１２４に記憶される。

処理Ｓ４００３において、組織識別器１０５は、画像データ記憶部から読み出したデータ画像に対して識別を行い、ラベリング画像を生成する。

処理Ｓ４００４において、特徴量計算部１０７は、組織識別結果のラベリング画像から特徴量を算出する。

処理Ｓ４００５において、全体制御部１０２は、処理Ｓ４００４で算出した特徴量が、自動識別可能範囲記憶部１０９に記憶されている自動識別可能範囲Ａの範囲内かどうかを判定する。範囲内である場合は、処理Ｓ４００６に進み、範囲外である場合は、処理Ｓ４００７の再識別要否判定の処理に進む。

処理Ｓ４００６において、処理Ｓ４００５の判定で組織識別器１０５の識別は信頼できるものとされているので、組織識別結果を組織識別結果記憶部１２６に、組織構造特徴量を特徴量記憶部１２７に記憶する。

処理Ｓ４００８において、予定したすべての探索点が処理済みかどうかを判定し、処理済みでない場合には、処理Ｓ４００９で次の探索点にステージ１１９を移動し、処理Ｓ４００２に戻って次の探索点の画像を取得、以降繰り返し処理となる。

処理Ｓ４００７において、処理Ｓ４００５の判定で組織識別器１０５の識別は信頼できないとされているので、全体制御部１０２はユーザに最終的な判断を問い合わせる。

図９は、全体制御部１０２の指示により、アラート出力部１３４が画像表示部１３３に表示するＧＵＩ（Graphical User Interface）表示９００の例である。

アラート９０１として、「組織構造特徴量（面積率）が自動識別範囲を逸脱しています」のように、画像のどの特徴量が自動識別可能範囲を逸脱しているかを示している。識別対象となっている、サンプルのＩＤや画像のＩＤも併せて表示することができる。

図９に示すように、処理Ｓ４００７において、現在の組織識別器が識別したラベリング画像（識別結果）を、元画像と並べた画像９０２を表示することにより、ユーザは組織識別器１０５の識別が正しいかどうかを目視で確認することができる。

また、特徴量空間でのポジションをグラフィックで示す画像９０３により、ユーザは自動識別可能範囲からのずれを直感的に把握することができる。図９の例では、画像ＩＤ００１０１のサンプルが、「予め定義された自動識別領域」の範囲から逸脱していることがわかる。

以上のように表示された情報を参考にして、ユーザは「ラベルデータを作成ボタン」９０４で組織識別器１０５の再学習を行うか、「このまま解析を継続ボタン」９０５で現状の組織識別器１０５で処理を続けるかを選択して入力することができる。判断入力部１３２は入力結果を受け付け、再学習を行う場合には、再識別準備処理Ｓ４１００に進み、このまま継続する場合には、処理Ｓ４００６に進む。再識別準備処理Ｓ４１００については次項で説明する。

予定された探索点の処理が終わり、組織構造特徴量が特徴量記憶部１２７に蓄積されると、相関解析Ｓ４００９を行うことができる。相関解析Ｓ４００９では、相関解析器１２８により、特徴量記憶部１２７の組織構造特徴量と、サンプル情報記憶部の特性データおよび製造プロセスデータとの相関が解析される。実施例冒頭で述べたように、データ相互の関連性を分析することにより、所望の特性を得るためにどの製造プロセスを変更すればよいかの指針を得ることができる。相関解析については公知の手法を使用できるため、詳細な説明は省略する。

処理Ｓ４０１０では、解析結果表示部１３５が相関解析の結果を画像表示部１３３に表示して、ユーザに提示する。ユーザは相関解析の結果を基にして、材料の組成やプロセスを改善する指針を得ることができ、さらに新たなサンプルを試作することができる。

＜７．再識別準備処理Ｓ４１００＞
再識別準備処理Ｓ４１００では、データ画像の再識別のために組織識別器１０５の再学習を行う。そのために電子顕微鏡画像による教師データセットを追加する。追加する教師データセットとしては以下のものが考えられる。

例えば、追加する教師データセットの教師データ画像としては、自動識別範囲を逸脱した特徴量を持つデータ画像を撮影したサンプル、およびそれと同様の製造プロセスで作成されたサンプルの画像を用いる。すなわち、新たなサンプルから所定の数のデータ画像を撮影して用いる。一つの例では、先に準備された１０程度の教師データセットに、自動識別範囲を逸脱した特徴量を持つデータ画像から、教師データ画像およびラベリング画像を１つ追加して教師データセットとする。
図１０は、再識別準備処理Ｓ４１００の詳細なフローを示す図である。

処理Ｓ４１０１では、上記抽出したデータ画像について、ラベリング画像を作成する。ラベリング画像の作成は、図３で説明した処理Ｓ１００５と同様でよい。

処理Ｓ４１０２では、抽出したデータ画像とそのラベリング画像を教師データセットとして、教師データセット記憶部１０６に記憶する。処理は、図３で説明した処理Ｓ１００６と同様でよい。

処理Ｓ４１０３では、組織識別器１０５を再学習する。処理は図２で説明した処理Ｓ３０００と同様でよい。このとき、既存の教師データセットに処理Ｓ４１０２で記憶した教師データセットを加えて、組織識別器１０５を学習する。この場合、組織識別器１０５の適用範囲は広がると考えられる。あるいは、処理Ｓ４１０２で記憶した教師データセットだけを用いて、組織識別器１０５を学習することも可能である。この場合、組織識別器１０５の適用範囲は変化すると考えられる。いずれにしても新たなサンプルに対しては、適用が可能となる。

なお、組織識別器が複数種類ある場合には、特徴量が自動識別範囲を逸脱した組織識別器だけを再学習すればよい。

処理Ｓ４１０４では、組織識別器１０５の自動識別可能範囲を更新する。処理は図６で説明した処理Ｓ２０００と同様でよい。

実施例１によれば、自動識別範囲は、教師データセットのラベリング画像の特徴量に基づいて定義されている。識別対象画像のラベリング画像の特徴量が自動識別可能範囲を逸脱した場合、判定Ｓ４００５によりユーザに組織識別器１０５の再学習の機会を与えることができる。

実施例１では、ラベリング画像βの特徴量を用いて自動識別可能範囲７０２を定義していた。しかし、ラベリング画像βの特徴量の代わりに、教師データ画像αの特徴量を用いて自動識別可能範囲を定義することもできる。ラベリング画像βは組織識別器１０５の出力に対応し、教師データ画像αは組織識別器１０５の入力に対応するので、これらは組織識別器１０５の構成に対応すると考えられるからである。

基本的な構成は図１、基本的な処理は図２と同様であるが、相違点を中心に説明する。

自動識別可能範囲の決定Ｓ２０００（図６）では、特徴量計算Ｓ２００１において、教師データセット記憶部１０６に記憶されている教師データ画像αから特徴量を計算する。また、自動識別可能範囲決定Ｓ２００２において、教師データ画像αの特徴量で自動識別可能範囲を定義する。

教師データ画像の特徴量としては、例えば以下のものがある。これに限らず、公知の特徴量の１または複数を任意に選択してよい。
・周波数（平均値、最大値、最小値、ばらつき）
・輝度値（平均値、最大値、最小値、ばらつき）
・エントロピー
・構造パターンやテクスチャー
これら教師データ画像の特徴量を求めるための機能は、サンプリング画像の特徴量を求めるための機能に加え特徴量計算部１０７に準備しておくものとする。

組織識別の実行Ｓ４０００（図８）では、組織識別結果から特徴量を算出する処理Ｓ４００４に加えて、データ画像から特徴量を算出する処理を行う。また、判断処理Ｓ４００５では、データ画像の特徴量と自動識別可能範囲を比較する。

再識別準備処理Ｓ４１００（図１０）では、自動識別範囲の更新処理Ｓ４１０４において、処理Ｓ２００２と同様、教師データ画像αの特徴量で自動識別可能範囲を更新する。

以上の説明では、サンプルの解析のためにラベリング画像の特徴量を得ることを必須としている。ただし、組織識別機の再学習のみを目的とするのであれば、ラベリング画像の特徴量は必要でなく、ラベリング画像の特徴量を使用する処理を全て教師データ画像の特徴量を使用する処理で置き換えてもよい。

組織識別機の再学習を目的とする教師データ作成システムとしては、所定の領域の組織画像を用いて作成された第一の教師データ領域の大きさを算出する手段と、前記教師データ領域の大きさに基づき、前記第一の教師データセットにより識別可能な探索領域の範囲(特徴量、距離）を算出する手段と、解析対象の探索領域における特徴量、又は前記解析対象の探索領域と前記第一の教師データ領域との距離に基づき、前記探索領域の範囲から逸脱するか否かを判断する手段と、前記解析対象の組織画像の特徴量が前記識別可能な画像の特徴量の範囲から逸脱する場合に、前記解析対象の組織画像を用いて新たに第二の教師データセットを作成する手段と、を有するシステムとして構成することができる。

実施例２によれば、自動識別範囲は、教師データセットの教師データ画像の特徴量に基づいて定義されている。識別対象画像の特徴量が自動識別可能範囲を逸脱した場合、判定Ｓ４００５によりユーザに組織識別器１０５の再学習の機会を与えることができる。

実施例１および実施例２では、画像の特徴量を用いて自動識別可能範囲７０２を定義していた。しかし、画像の特徴量の代わりに、製造プロセス条件を用いて自動識別可能範囲を定義することもできる。材料を撮影した画像と画像の元になっている材料の製造プロセスには関連があるからである。

基本的な構成は図１、基本的な処理は図２と同様であるが、相違点を中心に説明する。

図１１は、実施例２の自動識別可能範囲の決定Ｓ２０００ａの詳細なフローを示す図である。実施例１の自動識別可能範囲の決定Ｓ２０００に置き換わる処理である。

処理Ｓ２００１ａでは、材料の組成条件、および材料を製造するために施した加熱処理・加圧処理等の処理条件の少なくとも一つを取得する。これらのサンプルに関する情報は、サンプル情報記憶部１２３に格納されているため、教師データセットの教師データ画像に対応するデータを取得する。

処理Ｓ２００２ａでは、取得したデータを用いて、組成・プロセス空間で自動識別可能範囲を決定する。

図１２は、処理Ｓ２００２ａにおいて組成・プロセス情報を基にして、自動識別可能範囲を決定する概念を説明する図である。いま、組成・プロセス空間を３次元の組成空間として、３つの組成Ａ，Ｂ，Ｃで自動識別可能範囲を定義する例を説明する。使用する次元の数は１以上の任意でよい。少ないと識別範囲を正確に把握できない可能性があり、多すぎると処理負荷が大きくなる。この例では組成空間を用いているが、これに代えて、あるいはこれに加え、プロセス条件の次元を用いてもよい。プロセス条件としては、例えば加熱処理温度、加熱処理時間等任意のものを選択できる。

図１３は、組織識別の実行処理Ｓ４０００ａの詳細を示すフロー図である。実施例１の自動識別可能範囲の決定Ｓ４０００に置き換わる処理である。相違点としては、組成・プロセス空間における自動識別可能範囲の判定Ｓ４００５ａの順番が早まっている。これは、判断をするための情報は、サンプル情報記憶部１２３からすぐに取得できるからである。組織識別処理Ｓ４００３ａや特徴量算出処理Ｓ４００４ａは、その後に行われる。

以上の説明では、サンプルの解析のためにラベリング画像の特徴量を得ることを必須としている。ただし、組織識別機の再学習のみを目的とするのであれば、ラベリング画像の特徴量は必要ではない。

実施例３によれば、自動識別範囲は、教師データセットの元となる材料の製造プロセス条件に基づいて定義されている。識別対象画像の製造プロセスが自動識別可能範囲を逸脱した場合、判定Ｓ４００５ａによりユーザに組織識別器１０５の再学習の機会を与えることができる。

実施例１、図８の再識別準備処理Ｓ４１００では、データ画像の再識別のために、電子顕微鏡画像による教師データセットを追加して組織識別器１０５を再学習し、同様の処理を継続していた。実施例１、図１の装置では、第１信号検出部１２０が電子顕微鏡画像のための検出器で、第２信号検出部１２１がＥＤＸ，ＥＢＳＤやＥＰＭＡ等の他の情報を取得可能な検出器を想定している。この第２信号検出部１２１は、元素の含有量や結晶性、結晶方位のマッピング情報等の情報を得ることができるため、第１信号検出部１２０からの情報に加えて、第２信号検出部１２１による情報を用いることで、組織識別器１０５が自動識別可能範囲を逸脱した場合でもラベリング画像を生成することができる。

情報の取得には、既存の教師データセットの元になっているサンプルを用いることも可能である。図１のような装置では、第１信号検出部１２０と第２信号検出部１２１の信号は、同一視野について同時に取得できるので、例えば電子顕微鏡画像とＥＤＸ画像を取得する。そして例えば（１）第１信号検出部１２０からの電子顕微鏡画像で物体（輪郭）を検出して、（２）各物体がどのような元素で構成されているかを第２信号検出部１２１のＥＤＸ画像から取得し、（３）組織を同定（推測）する処理を行う。組織同定では例えば、ＳｉとＯが主成分だから組織はＳｉＯ_２であるというような推定を行う。このような処理により、例えばサンプルが金属等の場合、組成や結晶構造・結晶方位が均一な領域がどのように分布するかを調べることができる。上記（１）（２）（３）の処理は、一般的なソフトウエアにより可能であるが、別途専用の識別器を用いてもよい。

既存のサンプルを利用する場合（それ以外のサンプルでもよい）には、例えば通常の電子顕微鏡画像に加えて第２信号検出部１２１によるＥＤＸ画像を取得する。例えば、電子顕微鏡画像では表面像観察が可能であるが、ＥＤＸでは元素の含有量を画像に反映することができる。本実施例４では、実施例１、図８の判断Ｓ４００７でｙｅｓの場合には、組織識別器１０５を再学習して継続使用するのではなく、上記（１）（２）（３）のような、第１信号検出部１２０と第２信号検出部１２１の信号を用いた分析に処理が移行する。

実施例１で述べたように、図１の組織構造解析装置１と観察装置２の各部分は独立の装置でもよい。また図２のＳ１０００〜Ｓ４０００の処理は、別個独立の装置で別個独立に行うことも可能である。例えば、別の場所にある観察装置２で画像を撮影し、データ画像を記録媒体で組織構造解析装置１の場所に運び、入出力部１２９から画像データ記憶部１２５に記憶してもよい。その場合、Ｓ４０００（図１）の処理の処理Ｓ４００１と処理Ｓ４００２は、画像データ記憶部１２５から画像データの読み出しをすることで代替可能である。また、処理Ｓ４００３と処理Ｓ４００４も別の装置で行うことができる。ただし、その場合は、組織識別器１０５が再学習された場合には、処理のやり直しが生じる。

組織構造解析装置１、観察装置２、組織構造解析部１０１、組織データ分析部１０３、組織構造定量化部１０４、組織識別器１０５、教師データセット記憶部１０６、特徴量計算部１０７、自動識別可能範囲決定部１０８、自動識別可能範囲記憶部１０９、データ記憶部１２２、相関解析器１２８、入出力部１２９

Claims (15)

1. 画像を入力として識別結果を出力する識別器と、
   ｎ（ｎは１以上の整数）次元の数値で定義された前記識別器の識別可能範囲を記憶する自動識別可能範囲記憶部と、
   前記画像に対応した前記数値を取得する取得部と、
   前記取得部で取得した数値と前記識別可能範囲を比較する制御部と、
   前記制御部により前記取得部で取得した数値が前記識別可能範囲を逸脱したと判定された場合、警告を出力するアラート出力部と、
   を備える情報処理システム。
2. 前記取得部は、前記識別結果の特徴量を計算する特徴量計算部であり、
   前記数値は前記識別結果の特徴量であり、
   前記識別可能範囲は、前記識別結果の特徴量で定義されている、
   請求項１記載の情報処理システム。
3. 前記取得部は、前記画像の特徴量を計算する特徴量計算部であり、
   前記数値は前記画像の特徴量であり、
   前記識別可能範囲は、前記画像の特徴量で定義されている、
   請求項１記載の情報処理システム。
4. 前記画像を取得したサンプルに関係する、材料の組成条件、および材料を製造するために施した処理条件の少なくとも一つを記憶したサンプル情報記憶部を備え、
   前記取得部は、前記サンプル情報記憶部から前記組成条件および前記処理条件の少なくとも一つを取得し、
   前記数値は前記組成条件および前記処理条件の少なくとも一つであり、
   前記識別可能範囲は、前記組成条件および前記処理条件の少なくとも一つで定義されている、
   請求項１記載の情報処理システム。
5. 前記識別器は教師有り機械学習可能な識別器であり、
   前記識別器の識別可能範囲を、前記識別器の機械学習に用いた教師データセットに対応した数値を基準に定める自動識別可能範囲決定部を備える、
   請求項１に記載の情報処理システム。
6. 画像表示部と入出力部を備え、
   前記自動識別可能範囲決定部は、
   前記画像表示部に、前記機械学習に用いた教師データセットに対応した数値の範囲を示す画像を表示し、
   前記表示に対応して前記入出力部から入力される指示に基づいて、前記識別器の識別可能範囲を定める、
   請求項５に記載の情報処理システム。
7. 画像表示部と入出力部を備え、
   前記アラート出力部は、
   前記画像表示部に、前記画像と前記識別器の識別結果を表示し、
   前記表示に対応して前記入出力部から入力される指示に基づいて、前記識別器を継続して使用するかどうかを決定させる、
   請求項５に記載の情報処理システム。
8. 教師有り機械学習により学習された識別器により画像を識別する方法であって、
   ｎ（ｎは１以上の整数）次元の数値で定義された前記識別器の識別可能範囲を記憶しておき、
   前記画像に対応した前記数値を取得する第１のステップ、
   取得した前記数値と前記識別可能範囲を比較する第２のステップ、
   取得した前記数値が前記識別可能範囲を逸脱したと判定された場合、ユーザに通知する第３のステップ、
   を有する情報処理方法。
9. 前記識別器の識別可能範囲は、前記識別器の学習に用いた教師データセットに対応した前記数値の範囲に基づいて定められている、
   請求項８記載の情報処理方法。
10. 前記教師データセットは、教師画像とそれをラベリングした教師ラベリング画像を含み、
    前記識別器の識別可能範囲は、前記教師ラベリング画像から得た特徴量の範囲に基づいて定められている、
    請求項９記載の情報処理方法。
11. 前記第１のステップにおいて、
    前記数値として、前記画像を前記識別器により識別したラベリング画像の特徴量を取得し、
    前記第２のステップにおいて、
    前記ラベリング画像の特徴量と前記識別可能範囲を比較する、
    請求項１０記載の情報処理方法。
12. 前記第３のステップにおいて、
    前記画像と、前記画像を前記識別器により識別したラベリング画像を、ユーザに表示する、
    請求項１０記載の情報処理方法。
13. 前記第３のステップにおいて、
    前記ユーザからの応答に基づいて、前記識別器を、新たな教師画像による教師データセットあるいは新たな教師画像を加えた教師データセットにより再学習する、
    請求項１０記載の情報処理方法。
14. 前記第３のステップによる通知を受けた後、前記画像を取得した手段と異なる観察手段により得られた情報を用いて前記画像を識別する、
    請求項８記載の情報処理方法。
15. 前記教師データセットは、サンプルを撮影した教師画像とそれをラベリングした教師ラベリング画像を含み、
    前記識別器の識別可能範囲は、前記教師画像から得た特徴量の範囲、前記サンプルの組成条件の範囲、および前記サンプルの製造条件の範囲の少なくとも一つに基づいて定められている、
    請求項９記載の情報処理方法。

Images