JP2021018752A - データセット、学習済みモデル、及びこれらに関連する方法 - Google Patents

Abstract

【課題】組織画像を精度よく評価する新たな方法を提供すること。【解決手段】機械学習済みモデルであって、前記機械学習済みモデルは、組織画像を分析するための機械学習済みモデルであり、前記組織画像は、複数の粒状領域と前記複数の粒状領域を互いに分離する非粒状領域とを含み、前記分析は、前記複数の粒状領域と前記非粒状領域とを判別する処理であり前記機械学習済みモデルは、入力データとして、所定の区画サイズに従って、前記組織画像の複数のサンプルから抽出された複数のピクセルの情報を入力し、前記機械学習済みモデルは、出力データとして、前記所定の区画サイズの一部分が粒状領域に属するか否か、又は非粒状領域に属するか否かに関する判断を出力する 、該機械学習済みモデル。【選択図】図８

Description

本開示は、データセット、学習済みモデル、及びこれらに関連する方法に関する。より具体的には、本開示は、データセット、学習済みモデル、学習済みモデルの製造方法、及び、学習済みモデルを用いた分析方法に関する。

ハードディスクなどの磁気記録媒体は、スパッタリングプロセスにより複数の層（薄膜）を重ねることで形成される。特定の層の組織構造は、磁気記録特性に大きな影響を及ぼすことがある。従って、スパッタリングプロセスにより形成される各薄膜において、組織構造を評価することは重要となる。

典型的な組織構造としては、金属相の周囲を非金属相（酸化物相）が取り囲んだグラニュラ構造があげられる。金属相の成分は、例えば、Ｃｏ、Ｃｒ、Ｐｔ、及びＦｅ等があげられる。非金属相としては、ホウ素酸化物、チタン酸化物等があげられる。グラニュラ構造を電子顕微鏡で観察すると、細胞のような外見をしている。

特許文献１では、細胞集団解析プログラムを開示しており、その際に機械学習を用いることを開示している。特許文献２では、画像解析によって粒子を特性評価する方法が開示されている。

国際公開第２０１４／１３１０１３号（特表２０１６−５０７７５９号公報） 国際公開第２０１４／０７９８４９号（特表２０１６−５０２６６１号公報）

磁性材薄膜の組織構造を評価する際の評価項目として、グラニュラ粒子の数、大きさ、酸化物相の面積比（或いは金属相の面積比）などが挙げられる。これら種々の項目から評価する際の方法としては、顕微鏡の写真を人が観察して測定する方法がある。あるいは、これに代えて、画像解析ソフトを活用して、顕微鏡の写真内に存在するグラニュラ粒子を自動的に検出して、粒子の大きさを測定したり、粒子の数をカウントする方法がある。

人が観察して測定する方法と比べて、画像解析ソフトを使用する方法は、迅速かつ大量にデータを解析できる点で有利である。しかし、画像解析ソフトでは、粒子の検出の精度に改良の余地があった。具体的には、顕微鏡の写真において、理論上、金属相は比較的黒色、周辺の酸化物相は比較的白色となる。しかし、実際には、写真ごとにばらつきが大きく、金属相と酸化物相との境界を従来のアルゴリズムによりクリアに判別することは難しい。また、金属相の間でも濃淡にバラツキがあり（図１）、濃淡のヒストグラムで表すと山が１つとなる（図２）。従って、例えば、輪郭分析を行うと、本来なら１つの粒子と判別すべきところを、３つの粒子と判別してしまう可能性がある（図１、矢印部分）。

上記の問題に鑑み、本開示は、組織画像を精度よく評価する新たな方法を提供することを目的とする。

発明者らは、鋭意検討した結果、機械学習を活用して、画像を２値化することを検討した。通常の手法だと、閾値を設定し、これを基準として２値化することが多い。しかし、そのような手法では、１つの粒子内で濃淡のコントラストが生じたりすると、複数の粒状領域として２値化されたり、隣り合う粒状領域が接続して２値化されてしまう可能性が高くなる。そこで、学習用データを改善することを試みた。具体的には、入力用データとして、所定の区画サイズに従って複数のピクセルを抽出したものを利用した。一方で、教師用データとして、所定の区画サイズの中央部分に該当するピクセルの正解データを利用した。そして、両者を関連付けし、機械学習モデルに学習させた。そして、学習済みモデルを利用して、画像を２値化修正し、これに対して輪郭分析を行った。結果、粒子の認識が改善した。

本発明は、上記知見に基づいて完成され、一側面において、以下の発明を包含する。

（発明１）
組織画像のデータ分析を情報処理装置に機械学習させるためのデータセットであって、
前記組織画像は、複数の粒状領域と前記複数の粒状領域を互いに分離する非粒状領域とを含み、
前記組織画像のデータ分析は、前記複数の粒状領域と前記非粒状領域とを判別する処理であり、
前記データセットは、入力用データセットと、教師用データセットとを含み、
前記入力用データセットは、前記組織画像の複数のサンプル領域から抽出された複数の第１データを含み、
前記複数の第１データのそれぞれは、前記組織画像から抽出された所定の区画サイズの複数のピクセルの情報であり、
前記教師用データセットは、前記複数のサンプル領域に関連付けられた複数の第２データを含み、
前記複数の第２データのそれぞれは、当該第２データが関連付けられた前記サンプル領域の一部分のピクセルが、前記粒状領域と前記非粒状領域とのいずれに属するかを反映した情報である、
該データセット。

（発明２）
発明１の機械学習用のデータセットであって、
粒状領域中の粒径に基づいて、組織画像の画像サイズが調節されている、該データセット。

（発明３）
発明１又は２の機械学習用のデータセットであって、
前記粒状領域は、金属相とセラミックス相の少なくとも一方を含む、該データセット。

（発明４）
機械学習済みモデルの製造方法であって、
前記機械学習済みモデルは、組織画像を分析するための機械学習済みモデルであり、
前記組織画像は、複数の粒状領域と前記複数の粒状領域を互いに分離する非粒状領域とを含み、
前記分析は、前記複数の粒状領域と前記非粒状領域とを判別する処理であり、
前記方法は、
情報処理装置が前記組織画像の複数のサンプル領域から複数の第１データを抽出する工程であって、前記複数の第１データのそれぞれは、前記組織画像から抽出された所定の区画サイズの複数のピクセルの情報である、該工程と、
情報処理装置が前記複数のサンプル領域に関連付けられた複数の第２データを作成する工程であって、前記複数の第２データのそれぞれは、当該第２データが関連付けられた前記所定の区画サイズの一部分のピクセルが、前記粒状領域と前記非粒状領域とのいずれに属するかを反映した情報である、該工程と、
情報処理装置が、前記複数の第１データを入力用データとして、且つ前記複数の第２データを教師用データとして用いて機械学習する工程と
を含む、該方法。

（発明５）
発明４の方法であって、前記方法は、
前記組織画像から粒状領域の輪郭抽出を情報処理装置が行う工程と、
前記輪郭抽出結果に基づいて、前記組織画像中の粒径の概算を情報処理装置が算出する工程と、
前記算出結果に基づいて、組織画像の画像サイズを情報処理装置が調節する工程と、
をさらに含む、該方法。

（発明６）
発明４又は５の方法であって、
前記粒状領域は、金属相とセラミックス相の少なくとも一方を含む、該方法。

（発明７）
機械学習済みモデルであって、
前記機械学習済みモデルは、組織画像を分析するための機械学習済みモデルであり、
前記組織画像は、複数の粒状領域と前記複数の粒状領域を互いに分離する非粒状領域とを含み、
前記分析は、前記複数の粒状領域と前記非粒状領域とを判別する処理であり、
前記機械学習済みモデルは、入力データとして、所定の区画サイズに従って、前記組織画像の複数のサンプルから抽出された複数のピクセルの情報を入力し、
前記機械学習済みモデルは、出力データとして、前記所定の区画サイズの一部分が粒状領域に属するか否か、又は非粒状領域に属するか否かに関する判断を出力する、
該機械学習済みモデル。

（発明８）
発明７の学習済みモデルであって、
前記粒状領域は、金属相とセラミックス相の少なくとも一方を含む、該学習済みモデル。

（発明９）
機械学習済みモデルを用いた組織画像の分析方法であって、
前記方法は、情報処理装置が、組織画像の加工済み画像データを用いて、輪郭分析を行い、その後、各粒子の輪郭を抽出する工程を含み、
前記加工済み画像データは、
（ｉ）発明１〜３のいずれか１つに記載の学習データセットを学習させた機械学習済みモデルを用いて、
（ｉｉ）発明４〜６のいずれか１つに記載の方法を用いて得られた機械学習済みモデルを用いて、又は、
（ｉｉｉ）発明７又は８の機械学習済みモデルを用いて、
前記組織画像データに対して各ピクセルが粒状領域に属するか否か、又は非粒状領域に属するか否かに関する判断を出力した結果に基づいて加工されたデータである、該方法。

（発明１０）
発明９の方法であって、前記方法は、輪郭を抽出後、粒子の平均粒径、及び／又は粒状領域と非粒状領域との面積比を情報処理装置が算出する工程を更に含む、方法。

本発明は、一側面において、以下の２つの情報をそれぞれ入力用データセット及び教師用データセットとして機械学習に利用する。
・組織画像の複数のサンプル領域から抽出された所定の区画サイズの複数のピクセルの情報
・関連付けられたサンプル領域の一部分のピクセルが、粒状領域と非粒状領域とのいずれに属するかを反映した情報

これにより、目視で確認したときに近い判断に基づいて、画像を修正することができる。そして、粒子に関する分析の精度を向上させることができる。

図１は、ある磁性材薄膜の透過電子顕微鏡（ＴＥＭ）画像（上図）及び当該ＴＥＭ画像に輪郭抽出処理（ＯｐｅｎＣＶを使用）した後の画像（下図）を示す。目視では明らかに１つの粒子として存在している部分が、複数個の粒子として輪郭抽出されている（例えば、矢印部分）。また従来の手法では粒状領域部分をやや小さく判定するような画像操作を施さないと粒状領域を分離した状態での輪郭抽出ができなかった。 図２は、磁性材薄膜のＴＥＭ画像における各ピクセルの濃淡状態を表すヒストグラムである。横軸は、濃淡状態を０〜２５５の範囲で表している。縦軸は、各濃淡状態に該当するピクセルの個数を表す。理想的には、２つの山に明確に分離している分布が好ましい。しかし、現実的には、輪郭抽出処理を行うときに、１つの山の分布となっており、粒状領域（金属相部分）と非粒状領域（酸化物相）との識別が難しい。 図３は、本開示の一実施形態において、学習済みモデルを構築する手順を表す。なお、各ステップを実行する順序については、図に示す順序に限定されない。例えば、第一画像に対するステップと、第二画像に対するステップは並行して実施してもよい。 図４は、本開示の一実施形態において、画像のサイズを調節した例を示す。左側の画像がサイズ調節前の画像であり、右側の画像がサイズ調節後の画像である。 図５は、本開示の一実施形態において、所定のサイズの画像から、所定の区画サイズに従って、画像を抽出した例を示す。理解を促進するため、単純化した抽出の例を示す。左側の画像は、３つの金属相（粒子、黒色）を酸化物相（白色）が隔てている状態を示す。画面のサイズを１６ピクセル×１６ピクセルとし、所定の区画サイズを３ピクセル×３ピクセルに設定している。これにより、３ピクセル×３ピクセルサイズの区画が２５６個抽出される（１６×１６＝２５６）。抽出された画像は入力用データとして使用される。周辺部は中間値で補完してもよい（例えば、各ピクセルの値が０〜１の範囲で正規化されているのであれば、０．５を中間値として補完）。 図６は、本開示の一実施形態において、第二画像の粒状領域をマーキングする前と、マーキングした後の画像を示す。 図７は、本開示の一実施形態において、マーキングされた第二画像から、図５に示した所定の区画サイズ（３ピクセル×３ピクセル）の中央部分に該当する部分を抽出した状態を示す。抽出された画像は教師用データとして使用される。 図８は、本開示の一実施形態において、教師用データと入力用データの関係を示す。 図９は、本開示の一実施形態において、ニューラルネットワークを使用した学習を示す。 図１０は、本開示の一実施形態において、畳み込み（コンボルーション）ニューラルネットワークを使用した学習を示す。 図１１は、本開示の一実施形態において、機械学習済みモデルを構築した後、学習済みモデルを利用した分析の手順を表す。 図１２は、本開示の一実施形態において、機械学習済みモデルを用いて修正した画像を示す。上の段の図は、修正前の画像である。中段の画像は、正解を示す画像である。下の段の画像は、畳み込みニューラルネットワークを使用して修正した画像を示す。 図１３は、本開示の一実施形態において、機械学習済みモデルを用いて修正した画像に基づいて、粒状領域の特性を分析した結果を示す。１０種類の画像（画像Ａ〜Ｊ）を、学習済みモデルを用いて修正し、修正後の画像に表示された粒状領域について、粒子カウント、粒径、酸化物面積比を分析した。１つの画像につき、４種類のバーが表示されている。各４種類のバーは、左から順に、教師データ、ニューラルネットワーク（３層）、畳み込みニューラルネットワーク（畳み込み層が１、ニューラルネットワークが２）、及び畳み込みニューラルネットワーク（畳み込み層が２、ニューラルネットワークが２）を示す。

以下、具体的な実施形態について説明する。以下の説明は、理解を促進するためのものである。即ち、本発明の範囲を限定することを意図するものではない。

１．利用分野
本開示は、様々な分野に応用が可能である。例えば、セル状及び／又はタイル状など複数の材料が分離または結合し、ある特徴的な模様を有する構造を表示した組織画像の分析に応用することができる。組織画像としては、顕微鏡（例えば、光学顕微鏡、及び電子顕微鏡（例えば、ＳＥＭ、ＴＥＭ等））によって撮影された画像があげられるがこれらに限定されない。また、セル状及び／又はタイル状など観察される構造としては、非生物系材料（例、金属、セラミックス、プラスチック、樹脂など）の組織構造が挙げられ、例えば、金属相を含む組織（金属組織）、セラミックス相を含む組織（セラミックス組織）、又は両者の組み合わせ（例えば、粒状の金属相の周辺をセラミックス相が囲んだ状態）などが挙げられる。セル状及び／又はタイル状の形態は、粒状形態も包含する。また、粒状形態は、外見上粒のように見える形態をさし、例えば、結晶粒、ポア構造などが挙げられる。更に具体的には、セル状及び／又はタイル状の構造としては、スパッタリング法を用いて形成された薄膜の金属組織又はセラミックス組織などが挙げられる。当然のことであるが、薄膜の原料となるスパッタリングターゲットの組織観察にも同じ手法を用いることが可能である。以降では、磁性薄膜に観察されるグラニュラ構造を例として、実施形態を説明する。

２．機械学習済みモデルの製造方法
２−１．概要
一実施形態において、本開示は、機械学習済みモデルの製造方法に関する。ここで、機械学習済みモデルは、組織画像を分析するための機械学習済みモデルである。そして、組織画像は、複数の粒状領域と前記複数の粒状領域を互いに分離する非粒状領域とを含む。更には、分析は、前記複数の粒状領域と前記非粒状領域とを判別する処理である。

機械学習済みモデルの製造方法は少なくとも以下のステップを含む。
・情報処理装置が組織画像の複数のサンプル領域から複数の第１データを抽出する工程であって、複数の第１データのそれぞれは、組織画像から抽出された所定の区画サイズの複数のピクセルの情報である、該工程。
・情報処理装置が複数のサンプル領域に関連付けられた複数の第２データを作成する工程であって、複数の第２データのそれぞれは、当該第２データが関連付けられた所定の区画サイズの一部分のピクセルが、粒状領域と非粒状領域とのいずれに属するかを反映した情報である、該工程。
・情報処理装置が、複数の第１データを入力用データとして、且つ複数の第２データを教師データとして用いて機械学習する工程。

また、一実施形態において、本開示は、機械学習用のデータセットに関する。前記データセットは、情報処理装置に組織画像のデータ分析を機械学習させるためのデータセットである。組織画像は、複数の粒状領域と複数の粒状領域を互いに分離する非粒状領域とを含む。組織画像のデータ分析は、複数の粒状領域と前記非粒状領域とを判別する処理であり、そして、前記データセットは、入力用データセットと、教師用データセットとを含む。また、入力用データセットは、組織画像の複数のサンプル領域から抽出された複数の第１データを含み、そして、教師用データセットは、複数のサンプル領域に関連付けられた複数の第２データを含む。各第１データは、組織画像の複数のサンプル領域から抽出された所定の区画サイズの複数のピクセルの情報である。一方で、各第２データは、第２データが関連付けられたサンプル領域の一部分（例えば中央部分）のピクセルが、粒状領域と非粒状領域とのいずれに属するかを反映した情報である。

上記製造方法は、情報処理装置を用いて実施することができる。情報処理装置は特に限定されず、当分野で公知の物を利用することができる。例えば、情報処理装置として、サーバー、パーソナルコンピュータ、及び、その他メモリとプロセッサとを備える装置があげられる。

以下、上記製造方法及びデータセットについて、具体例を詳述する。

２−２．機械学習済みモデルの製造方法のフロー図
図３に上記製造方法の具体例を示す。

２−２−１．輪郭抽出
まずは、組織構造の画像データを準備する。画像データは、光学顕微鏡、及び電子顕微鏡（ＳＥＭ、ＴＥＭ等）によって撮影された画像の電子データであってもよい。また、撮影された画像の一部を切り出した電子データであってもよい。電子データの形式は特に限定されず、当分野で公知の形式であってもよい（ＪＰＥＧ、ＴＩＦＦ、ＧＩＦ、ＰＮＧなど）。

また、電子データは、フルカラーであってもよく、グレースケールであってもよい。しかし、フルカラーの場合には、入力データが増える（ＲＧＢの３つ分だけ増える）。従って、処理負荷等の観点から、グレースケールが好ましい（例えば、黒色のドットを０、白色のドットを２５５で表現、或いは、黒色のドットを０、白色のドットを１で表現）。

次に、画像解析ソフト等を使用して、画像の電子データに対して輪郭の抽出を行う。画像解析ソフトについては、特に限定されず、輪郭を抽出する機能を有する公知のソフトウェアを使用すればよい。また、画像解析ソフトに代えて、ＯｐｅｎＣＶ等既存のライブラリを使用してもよい。

２−２−２．粒径の概算算出
画像解析ソフト（又はライブラリ）は、輪郭抽出結果に基づき、画像内の粒状領域を検出することができる。そして、検出した粒状領域を解析して、粒径の概算値を算出することができる。上述したように、粒状領域内の濃淡差などが原因となって、１つの粒状領域が複数の粒状領域として輪郭抽出される可能性がある。従って、粒径の精度はそれほど高くはない。しかし、こうした粒径の概算値は、後述する画像サイズを調節する際の参考値としては十分である。

また、粒径を算出するにあたって、上述した輪郭抽出及び抽出結果に基づく粒径概算値の導出は、必須ではない。例えば、これに代えて、別の手法で粒径を導出してもよい。例えば、顕微鏡によって組織観察を実施する。観察・保存した組織写真で、粒状領域数Ｎ＝２００になるまで写真上に直線を引き、直線上に存在する粒状領域数（Ｎ≧２００）と直線の総長さ（Ｌ）を用い、Ｌ／Ｎでその観察部位の平均粒径を算出する。以上の方法でも粒径を算出することができる。いずれにしても、粒径を算出する方法として、様々な手法があるが、本開示の実施形態では、粒径の算出方法については特に限定されず、任意の手法を採用することができる。

また、粒径は、平均値であってもよく、又はメジアン値であってもよい。典型的には、メジアン値を粒径として採用することができる。或いは、粒径は、実際の物理的なスケール（例えば、μｍなどの単位で表現されるスケール）ではなく、例えば、画像のピクセル数で表現してあってもよい。この場合には、画像データの倍率等を考慮することで、画像のピクセル数を、実際の物理的なスケールに換算することが可能である。

２−２−３．画像サイズ調節
次に、電子データの画像のサイズの調節を行う。典型的には画像のサイズを下げる（図４参照）。例えば、元々の画像のサイズが１０００ピクセル×１０００ピクセルで粒状領域数が１００個程度である場合には、３００ピクセル×３００ピクセルに変換するが、粒状領域数が６００個程度である場合には、画像を４分割して５００ピクセル×５００ピクセルにするような前処理を行う。

どの程度下げるかについては、特に限定されないが、粒径の算出に支障がない程度であることが好ましい。

更に好ましくは、粒径の概算値を考慮に入れながらサイズを調節する。例えば、メジアン粒径が、２０ピクセル〜５０ピクセルの量に対応するようにサイズを調節する。より好ましくは、後述する区画サイズとの関係を考慮しながら、サイズを調節する。これについては、後述する。

なお、粒径の概算算出及び画像サイズの調節は、実施することが好ましいが、必須ではない。例えば、画像データを入手した時点で、既に適切な画像サイズとなっているケースもある。

２−２−４．画像複製
次に、画像データ（好ましくは、画像サイズの調節が行われた画像データ）を第一画像データとみなし、これを複製して第二画像データを生成する。

２−２−５．入力用データセット生成
第一画像データについては、更なる処理を行い、第１データを作成する。この第１データは、機械学習の際の入力用データセットとして使用することができる。第１データは、所定の区画サイズに従って、第一画像データの複数のサンプル領域から抽出される。なお、複数のサンプル領域は、互いに異なる領域である。ただし、「互いに異なる領域」とは、完全に重複していないことを意味する。換言すれば、「互いに異なる領域」とは、一部重複することを排除するものではない。

図５に具体例を示す。図５は、理解しやすいように単純化したモデルを示す。所定の区画サイズを３ピクセル×３ピクセルと仮定する。そして、全体の画像サイズを１６ピクセル×１６ピクセルと仮定する。

ここでは、１６ピクセル×１６ピクセル内の各ピクセルが中心となり、且つ切り出したときのサイズが３ピクセル×３ピクセルになるように、サブ画像（サンプル領域）を切り出す。このとき、サブ画像の数は、２５６個になる（１６×１６＝２５６）。そして、各サブ画像は、９個のピクセルを有する（３×３＝９）。

従って、図５のように処理した場合には、入力用データセットには、２５６個のデータが含まれる。そして、各データには、９個の入力値が含まれる（Ｘ１１、Ｘ１２、Ｘ１３、Ｘ２１、Ｘ２２・・・・・・Ｘ３３）。ただし、画像情報がフルカラーである場合には、ピクセルごとにＲＧＢの情報を有するため、入力値は９×３＝２７個となる（Ｘ１１Ｒ、Ｘ１１Ｇ、Ｘ１１Ｂ、Ｘ１２Ｒ、Ｘ１２Ｇ・・・・・・Ｘ３３Ｂ）。なお、すべてのサブ画像を入力用データとして採用してもよいが、必須ではない。例えば、端部のサブ画像は適宜除外してもよい。また、端部については、一部画像部分が欠落しているため、欠落部分のピクセルに中間値を補完してもよい（例えば、０〜２５５であれば１２８、０〜１であれば０．５など）。

以上の手続きで、入力用データセットを生成する。

上記では単純化しているが、実際の区画サイズは、３ピクセル×３ピクセルではなく、もっと大きなサイズを利用することが好ましい。即ち、区画サイズの最低サイズは、縦横ともに３ピクセル以上であるものの、例えば、縦横ともに、７ピクセル以上であることが好ましい。更に好ましくは、縦横ともに、１０ピクセル以上である。上限値は、許容される処理負荷を大きくすることができるため、特に限定されない。典型的には、縦横ともに、５０ピクセル以下である。また、区画は、必ずしも正方形である必要はなく、縦方向のサイズと横方向のサイズが異なってもよい（例えば、２０ピクセル×１０ピクセル）。

好ましくは、区画サイズ（縦方向のサイズ及び／又は横方向のサイズ）は、粒径の半分（つまり、粒子の半径）よりも大きくする。この理由として、区画サイズを小さくしすぎると、粒の中心付近が粒子内になるのか、粒子外にあるのかを区別することが難しくなるためである。上限値及び下限値は特に限定されないが、区画サイズ内に含まれる粒状領域の数が、１〜３程度となることが好ましい。これに関連して、「２−２−３．画像サイズ調節」で上述した調節は、設定された区画サイズを考慮しながら、調節することが好ましい。例えば、区画サイズが２０ピクセル×２０ピクセルの場合には、メジアン粒径が３０ピクセル程度の画像サイズに調節することで、区画サイズ内に含まれる粒状領域の数が、１〜３程度となる。逆に、画像サイズが予め調節されている場合には、これを考慮しながら、区画サイズを決定してもよい。

また、全体の画像サイズも、上記では、１６ピクセル×１６ピクセルと単純化しているが、実際には、もっと大きいサイズであってもよい（例えば、１００〜１０００ピクセル×１００〜１０００ピクセル）。

２−２−６．粒子マーキング
上記の入力用データセットの生成の後、前、又はこれと並行して、第二画像データに対して処理を行う。具体的には、第二画像データの各ピクセルが、粒状領域と非粒状領域とのいずれに属するかを示す情報を付加してもよい。更に具体的には、粒状領域（金属相）をマーキングしてもよい（図６）。例えば、画像処理ソフトなどを利用し、且つ第二画像をレイヤーとして使用して、粒状領域（金属相）をマーキングする。

これに代えて、粒状領域をマーキングするのではなく、非粒状領域（酸化物相）をマーキングしてもよい。あるいは、粒状領域と非粒状領域の両方をマーキングしてもよい。ただし、この場合には、粒状領域と非粒状領域は、それぞれ異なる色及び／又は模様でマーキングされる。

マーキングのやり方については、特に限定されず、最初から最後まで、ヒトの操作によって、マーキングしてもよい。あるいは、画像処理ソフトに自動判定させてマーキングさせてから、ヒトの操作によって、仕上げのマーキングを行ってもよい。

なお、上記説明では、第一画像データから入力用データセットを作成し、第二画像データに対してマーキングを施しているが、逆であってもよい。即ち、複製された画像である第二画像データから入力用データセットを作成し、複製元の画像である第一画像データにマーキングを施してもよい。

２−２−７．教師用データセットを生成
次に、マーキング済みの第二画像データから、各ピクセルを切り出し、複数の教師用データセットを生成する（図７）。あるいは、上記所定の区画サイズの縦方向のサイズのピクセル数及び／又は横方向のサイズのピクセル数が偶数である場合には、中央部分のピクセルの平均値を抽出して、複数の教師用データセットを生成する。

例えば、上記の例では区画のサイズが３ピクセル×３ピクセルであるため、中央部分に該当するピクセルが存在することとなる。しかし、区画のサイズが、１０ピクセル×１０ピクセル又は１６ピクセル×１６ピクセルの場合、中央部分に該当するピクセルが存在しない。そこで、縦方向のピクセル数及び横方向のピクセル数両方が偶数の場合には、２ピクセル×２ピクセルでのマーキング結果の平均値を採用してもよい。また、縦方向のピクセル数及び横方向のピクセル数のうちいずれか一方が偶数の場合には、１ピクセル×２ピクセルでのマーキング結果の平均値を採用してもよい。

縦方向のピクセル数及び横方向のピクセル数両方が偶数の場合に採用する中央部分のサイズ（平均値を算出する対象のピクセル）は、特に限定されず、２ピクセル×２ピクセルであってもよいし、４ピクセル×４ピクセルであってもよいし、６ピクセル×６ピクセルであってもよい。いずれにしても所定の区画サイズを超えないサイズを中央部分として採用すればよい。縦方向のピクセル数及び横方向のピクセル数のうちいずれか一方が偶数の場合にも同様である。

これにより、第一画像データから抽出された前記所定の区画サイズの中央部分に該当する情報を得ることができる。こうして得られたデータを教師用データセットとして利用する。

２−２−８．関連付け
上記工程により、入力用データセットと、教師用データセットが得られる。これらを互いに関連付けする（図８）。例えば、図８の例では、上段の図の矢印部分の枠は、上述した３ピクセル×３ピクセルの区画サイズに対応しており、且つ９つの入力値データに対応する（ｘ１１、ｘ１２、ｘ１３、ｘ２１、ｘ２２、ｘ２３、ｘ３１、ｘ３２、ｘ３３）。そして、下段の図の矢印部分のピクセルは、上記入力値に対する正解データｙとなる。このように、所定の区画サイズに従って、入力用データセットと、教師用データセットとを関連づけることで機械学習用のデータセットが完成する。

２−２−９．学習
機械学習用のデータセットが得られた後は、機械学習モデルにこれを学習させる。

機械学習の種類については特に限定されないが、ニューラルネットワークを利用した機械学習が好ましく、深層学習（ディープラーニング）を利用したニューラルネットワークが更に好ましい。また、深層学習を利用したニューラルネットワークの改良版として、畳み込みニューラルネットワークを利用してもよい。

２−２−９−１．ニューラルネットワーク
深層学習型のニューラルネットワークの構成を図９に示す。深層学習型のニューラルネットワークは、入力層、中間層、出力層を備え、中間層を増やして層を深くしていることを特徴としている。入力層には入力用データが入力され、出力層に結果が出力される。そして、出力結果と教師用データとの比較が行われ、誤差が最小となるように、各ニューロンの調整等を行う。より具体的には、各ニューロンには、各入力値に対する重みづけと、バイアス等が設定され、誤差が最小となるよう最適化が行われる。

図９では、上述した所定の区画サイズ（３ピクセル×３ピクセル）に対応する入力値が入力されている。そして、出力層は２つのニューロンがあり、それぞれ、粒状領域に該当する確率、及び非粒状領域に該当する確率を出力する。なお、出力層のニューロンは１つであってもよい。あるいは、判定結果が３種類以上になる場合には、出力層のニューロンは３つ以上であってもよい。

上記の例では、入力用データセットは、２５６個のデータが含まれているが、これらすべてを学習させることは必須ではない。過学習を考慮しながら、学習させるデータの量を適宜設定すればよい。あるいは、１つの画像から切り出したデータだけでなく、複数の画像から切り出したデータを準備してより多くの入力用データセットを学習させてもよい。

以上のような構成のニューラルネットワークに対して、入力用データセットと、教師用データセットとを適用することで、学習済みモデルを製造することができる。

２−２−９−２．畳み込みニューラルネットワーク
畳み込みニューラルネットワークは、畳み込み層、プーリング層、全結合層を少なくとも備える（図１０）。畳み込み層、プーリング層、及び全結合層は、それぞれ複数の層を繰り返す構造であってもよい。

畳み込み層の数は、特に限定されず、１層でも、２層以上であってもよい。また、畳み込み層で使用するフィルターの数についても、特に限定されず、１つ、又は２以上であってもよい。好ましくは、１０以上であってもよい。あとに述べるように畳み込み層を用いなくても十分な層のニューラルネットワークのみでも粒状領域検出が可能な場合もある。

畳み込み層のフィルターのサイズについても特に限定されないが、フィルター対象となる、上述した区画サイズよりも小さいサイズである。例えば、上述した区画サイズが１６ピクセル×１６ピクセルである場合には、それよりも小さいサイズのフィルターを使用する（例えば、７ピクセル×７ピクセルのフィルター、及び５ピクセル×５ピクセルのフィルター）。

フィルターの構造についても特に限定されず、任意の構造のフィルターを適宜使用できる。

プーリング層のサイズは、特に限定されず、例えば、最小サイズとして、２ピクセル×２ピクセルの区画から代表値（例えば、平均値、最大値など）を採用してもよい。

全結合層は、ニューラルネットワーク層であり、最終的に、粒子部分に該当する確率、及び非粒子分に該当する確率を出力する。そして、教師用データセットとの誤差が最小になるように最適化が行われる。

２−２−９−３．その他
上記のニューラルネットワーク及び畳み込みニューラルネットワークいずれにおいても、層の数は特に限定されない。特に中間層の数は、１層のみに限定されず、２層以上であってもよい。また、各層のニューロンの数も特に限定されず、適宜設定してもよい。更には、様々な層数及びニューロン数を有する複数のニューラルネットワークに対して一度に学習させ、ネットワーク構造を自動的に最適化することも可能である（例えば、ＳｏｎｙのＮｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｃｏｎｓｏｌｅ等）。

また、上記の方法では、入力値としては各ピクセルの色に関する情報であるが、他のパラメータの入力を更に入力してもよい（例えば、色から計算されるＨＳＶ（色相、彩度、明度）形式のような特徴量に置き換えても良い。）

上記のようなニューラルネットワーク及び畳み込みニューラルネットワークを実装するにあたっては、公知のライブラリ、モジュール、又はソフトウェア等を使用することができる。例えば、公開されているｔｅｎｓｏｒｆｌｏｗ、Ｃｈａｉｎｅｒ、Ｔｈｅａｎｏ等があげられるがこれらに限定されない。

３．機械学習済みモデルを利用した分析方法
３−１．概要
一実施形態において、本開示は、機械学習済みモデルを用いた組織画像（例えば、金属組織、セラミックス組織等）の分析方法に関する。前記分析方法は、情報処理装置が、組織画像の加工済み画像データを用いて、輪郭分析を行い、その後、各粒子の輪郭を抽出する。加工済み画像データは、上述した機械学習済みモデルを用いて、生成される。上記分析方法は、情報処理装置を用いて実施することができる。情報処理装置は特に限定されず、当分野で公知の物を利用することができる。例えば、情報処理装置として、サーバー、パーソナルコンピュータ、及び、その他メモリとプロセッサとを備える装置があげられる。

以下、分析方法について、具体例を詳述する。

３−２．分析方法のフロー
３−２−１．分析対象画像の画像サイズの調節
図１１に方法の具体例を示す。最初に、分析対象の画像データを入手する。画像データついては、画像としては、光学顕微鏡、及び電子顕微鏡（ＳＥＭ、ＴＥＭ等）によって撮影された画像の電子データであってもよい。

画像データに対して、上述した「２．機械学習済みモデルの製造方法」と同様の方法で、画像サイズを調節する。例えば、機械学習済みモデルを製造するときに、１０ピクセル分が粒径と同等のサイズになるように、画像サイズを調節していたのであれば、分析時にも、ピクセルと粒径が同様の関係となるように調節する。

３−２−２．調節後の画像からの区画抽出
画像サイズを調節した後は、上述した方法と同様の方法で、所定の区画サイズに従って、サブ画像を切り出す（「２−２−５．入力用データセット生成」の欄及び図５参照）。これを入力用データセットとする。

３−２−３．学習済みモデルへの入力
入力用データセットが得られたらこれを学習済みモデルに入力し、学習済みモデルは、各ピクセル（切り出したサブ画像の一部分（例えば中央部分）に該当するピクセル）が粒状領域に該当するか否か、又は非粒状領域に該当するか否かに関する判断を出力する。

３−２−４．画像修正
学習済みモデルの出力結果に基づき、画像を修正する。例えば、画像の各ピクセルを２値化してもよい。

より具体的には、各ピクセルが粒状領域に該当するか否かに関する判断を出力した結果に基づいて、加工済み画像データは生成される。例えば、粒状領域に該当すると判断されたピクセルを黒、そうではないと判断されたピクセルを白に変更してもよい。

あるいは、各ピクセルが非粒状領域に該当するか否かに関する判断を出力した結果に基づいて、加工済み画像データは生成される。例えば、非粒状領域に該当すると判断されたピクセルを白、そうではないと判断されたピクセルを黒に変更してもよい。

こうした加工処理より、粒状領域と非粒状領域とのコントラストが明確になった画像データが得られる。

３−２−５．輪郭抽出及び特性分析
加工済みの画像データから、輪郭の抽出を行うことができる。輪郭の抽出方法については、上述したように公知の画像解析ソフト、及びライブラリを使用することで、実施可能である。また、輪郭抽出後は、公知の画像解析ソフト、及びライブラリを使用することで、粒子の特性を、分析することができる。分析する特性としては、粒径、粒子カウント、面積比（酸化物相、金属相）、粒度分布、形状（扁平率）及び粒子内の濃淡分布などが挙げられる。

以下では、上述した実施形態に記載の方法及び学習モデルを使用して、粒子を解析した結果を表す。

４．実施例：機械学習済みモデルの構築
磁性材のグラニュラ構造のＴＥＭ写真の画像データを１０枚用意した。いずれの画像データのグレースケール形式のデータであり、各ピクセルが０〜２５５の数値で表現可能な形式となっていた。

次に、汎用的な画像処理ライブラリのＯｐｅｎＣＶを用いてコントラストやフィルターにより画像調整し、閾値を基準に２値化を行うことで、輪郭を抽出した。この中で有効な粒子情報をカウントする方法で、粒径の概算値（メジアン値）を算出した。結果粒径は２５ピクセルであった。そこで、画像全体のサイズを、１５００ピクセル×１５００ピクセルから、８００ピクセル×８００ピクセルへ変更した。各ピクセルを０〜１までの数値に正規化した。

画像サイズを変更後、画像データを複製し、複製した画像データに対して、粒状領域に該当する部分を黒に塗りつぶして教師用のデータセットを生成した。

一方で、複製元の画像データについては、１６ピクセル×１６ピクセルの区画サイズに基づいて、入力用画像を切り出した。このとき、端部の切り出しでは、空のピクセルが生じてしまうので、空のピクセルには０．５の値を補完した。これにより、入力用のデータセットを生成した。

生成した入力用データセットと教師用データセットを用いて、機械学習モデルに学習させた。機械学習モデルは以下の三種類を準備した。

（１）中間層の数が３層であるニューラルネットワーク（ＮＮ３）
（２）畳み込み層が１層、中間層の数が２層である畳み込みニューラルネットワーク（Ｃ１Ｎ２）
（３）畳み込み層が２層、中間層の数が２層である畳み込みニューラルネットワーク（Ｃ２Ｎ２）

いずれも出力は１つだけにした（即ち目的変数は１つにした）。また、畳み込み層には、動的に最適化されるフィルターを使用した（１０ピクセル×１０ピクセルで１６種類と、５ピクセル×５ピクセルで１６種類）。畳み込み層が１層だけの場合には、１０ピクセル×１０ピクセルの動的フィルターを使用した。また、プーリング層では２ピクセル×２ピクセルでの最大値を代表値とした。

上記のモデルに学習させた後で、別途検証用に、１０枚の画像を準備した。そして、同様の方法で入力用データセットを準備し、学習済みモデルに入力した。そして、学習済みモデルの出力結果に基づいて、画像を２値化した。更に、検証用として、元々の画像に対して目視で確認しながら粒子部分を黒く塗りつぶした教師用画像を準備した。

図１２に、１０枚の画像のうちの代表的な３枚の画像を示す。上段の写真は、元々の画像である。中段の写真は、正解を示す教師用画像である。下段の写真は、ＣＮＮ学習済みモデル（Ｃ２Ｎ２）が出力した結果に基づいて２値化した画像である。

いずれも、一部粒子の判定がずれている箇所があるものの、概ね教師用画像に近い結果を出力することができた。

また、上記３種類の学習済みモデルの出力結果に基づいた２値化画像を解析して、粒子カウント、粒子直径（Ｄ５０）、及び酸化物面積比を導出した。比較用として、教師用画像データについても同じ解析を実施した。結果を図１３に示す。概ね教師用画像データと同様の分析値が得られた。図１に示す輪郭抽出では、粒径が小さく判断される傾向がある。また、これに伴い、面積比についても、非粒状領域が過大に検出される傾向がある。更には、閾値の設定次第で、結果として得られる値が大きく変動する。これらの点に関して、上述した学習モデルを使用することで、より正確な判定が可能となる。

以上、本発明の具体的な実施形態について説明してきた。上記実施形態は、本発明の具体例に過ぎず、本発明は上記実施形態に限定されない。例えば、上述の実施形態の１つに開示された技術的特徴は、他の実施形態に適用することができる。また、特記しない限り、特定の方法については、一部の工程を他の工程の順序と入れ替えることも可能であり、特定の２つの工程の間に更なる工程を追加してもよい。本発明の範囲は、特許請求の範囲によって規定される。

Claims (10)

1. 組織画像のデータ分析を情報処理装置に機械学習させるためのデータセットであって、
   前記組織画像は、複数の粒状領域と前記複数の粒状領域を互いに分離する非粒状領域とを含み、
   前記組織画像のデータ分析は、前記複数の粒状領域と前記非粒状領域とを判別する処理であり、
   前記データセットは、入力用データセットと、教師用データセットとを含み、
   前記入力用データセットは、前記組織画像の複数のサンプル領域から抽出された複数の第１データを含み、
   前記複数の第１データのそれぞれは、前記組織画像から抽出された所定の区画サイズの複数のピクセルの情報であり、
   前記教師用データセットは、前記複数のサンプル領域に関連付けられた複数の第２データを含み、
   前記複数の第２データのそれぞれは、当該第２データが関連付けられた前記サンプル領域の一部分のピクセルが、前記粒状領域と前記非粒状領域とのいずれに属するかを反映した情報である、
   該データセット。
2. 請求項１の機械学習用のデータセットであって、
   粒状領域中の粒径に基づいて、組織画像の画像サイズが調節されている、該データセット。
3. 請求項１又は２の機械学習用のデータセットであって、
   前記粒状領域は、金属相とセラミックス相の少なくとも一方を含む、該データセット。
4. 機械学習済みモデルの製造方法であって、
   前記機械学習済みモデルは、組織画像を分析するための機械学習済みモデルであり、
   前記組織画像は、複数の粒状領域と前記複数の粒状領域を互いに分離する非粒状領域とを含み、
   前記分析は、前記複数の粒状領域と前記非粒状領域とを判別する処理であり、
   前記方法は、
   情報処理装置が前記組織画像の複数のサンプル領域から複数の第１データを抽出する工程であって、前記複数の第１データのそれぞれは、前記組織画像から抽出された所定の区画サイズの複数のピクセルの情報である、該工程と、
   情報処理装置が前記複数のサンプル領域に関連付けられた複数の第２データを作成する工程であって、前記複数の第２データのそれぞれは、当該第２データが関連付けられた前記所定の区画サイズの一部分のピクセルが、前記粒状領域と前記非粒状領域とのいずれに属するかを反映した情報である、該工程と、
   情報処理装置が、前記複数の第１データを入力用データとして、且つ前記複数の第２データを教師用データとして用いて機械学習する工程と
   を含む、該方法。
5. 請求項４の方法であって、前記方法は、
   前記組織画像から粒状領域の輪郭抽出を情報処理装置が行う工程と、
   前記輪郭抽出結果に基づいて、前記組織画像中の粒径の概算を情報処理装置が算出する工程と、
   前記算出結果に基づいて、組織画像の画像サイズを情報処理装置が調節する工程と、
   をさらに含む、該方法。
6. 請求項４又は５の方法であって、
   前記粒状領域は、金属相とセラミックス相の少なくとも一方を含む、該方法。
7. 機械学習済みモデルであって、
   前記機械学習済みモデルは、組織画像を分析するための機械学習済みモデルであり、
   前記組織画像は、複数の粒状領域と前記複数の粒状領域を互いに分離する非粒状領域とを含み、
   前記分析は、前記複数の粒状領域と前記非粒状領域とを判別する処理であり、
   前記機械学習済みモデルは、入力データとして、所定の区画サイズに従って、前記組織画像の複数のサンプルから抽出された複数のピクセルの情報を入力し、
   前記機械学習済みモデルは、出力データとして、前記所定の区画サイズの一部分が粒状領域に属するか否か、又は非粒状領域に属するか否かに関する判断を出力する、
   該機械学習済みモデル。
8. 請求項７の学習済みモデルであって、
   前記粒状領域は、金属相とセラミックス相の少なくとも一方を含む、該学習済みモデル。
9. 機械学習済みモデルを用いた組織画像の分析方法であって、
   前記方法は、情報処理装置が、組織画像の加工済み画像データを用いて、輪郭分析を行い、その後、各粒子の輪郭を抽出する工程を含み、
   前記加工済み画像データは、
   （ｉ）請求項１〜３のいずれか１項に記載の学習データセットを学習させた機械学習済みモデルを用いて、
   （ｉｉ）請求項４〜６のいずれか１項に記載の方法を用いて得られた機械学習済みモデルを用いて、又は、
   （ｉｉｉ）請求項７又は８の機械学習済みモデルを用いて、
   前記組織画像データに対して各ピクセルが粒状領域に属するか否か、又は非粒状領域に属するか否かに関する判断を出力した結果に基づいて加工されたデータである、該方法。
10. 請求項９の方法であって、前記方法は、輪郭を抽出後、粒子の平均粒径、及び／又は粒状領域と非粒状領域との面積比を情報処理装置が算出する工程を更に含む、方法。