JP2021018752A - データセット、学習済みモデル、及びこれらに関連する方法 - Google Patents

データセット、学習済みモデル、及びこれらに関連する方法 Download PDF

Info

Publication number
JP2021018752A
JP2021018752A JP2019135674A JP2019135674A JP2021018752A JP 2021018752 A JP2021018752 A JP 2021018752A JP 2019135674 A JP2019135674 A JP 2019135674A JP 2019135674 A JP2019135674 A JP 2019135674A JP 2021018752 A JP2021018752 A JP 2021018752A
Authority
JP
Japan
Prior art keywords
granular
data
image
machine
learned model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019135674A
Other languages
English (en)
Inventor
桃井 元
Hajime Momoi
元 桃井
清水 正義
Masayoshi Shimizu
正義 清水
愛美 増田
Yoshimi Masuda
愛美 増田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JX Nippon Mining and Metals Corp
Original Assignee
JX Nippon Mining and Metals Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JX Nippon Mining and Metals Corp filed Critical JX Nippon Mining and Metals Corp
Priority to JP2019135674A priority Critical patent/JP2021018752A/ja
Publication of JP2021018752A publication Critical patent/JP2021018752A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】組織画像を精度よく評価する新たな方法を提供すること。【解決手段】機械学習済みモデルであって、前記機械学習済みモデルは、組織画像を分析するための機械学習済みモデルであり、前記組織画像は、複数の粒状領域と前記複数の粒状領域を互いに分離する非粒状領域とを含み、前記分析は、前記複数の粒状領域と前記非粒状領域とを判別する処理であり前記機械学習済みモデルは、入力データとして、所定の区画サイズに従って、前記組織画像の複数のサンプルから抽出された複数のピクセルの情報を入力し、前記機械学習済みモデルは、出力データとして、前記所定の区画サイズの一部分が粒状領域に属するか否か、又は非粒状領域に属するか否かに関する判断を出力する 、該機械学習済みモデル。【選択図】図8

Description

本開示は、データセット、学習済みモデル、及びこれらに関連する方法に関する。より具体的には、本開示は、データセット、学習済みモデル、学習済みモデルの製造方法、及び、学習済みモデルを用いた分析方法に関する。
ハードディスクなどの磁気記録媒体は、スパッタリングプロセスにより複数の層(薄膜)を重ねることで形成される。特定の層の組織構造は、磁気記録特性に大きな影響を及ぼすことがある。従って、スパッタリングプロセスにより形成される各薄膜において、組織構造を評価することは重要となる。
典型的な組織構造としては、金属相の周囲を非金属相(酸化物相)が取り囲んだグラニュラ構造があげられる。金属相の成分は、例えば、Co、Cr、Pt、及びFe等があげられる。非金属相としては、ホウ素酸化物、チタン酸化物等があげられる。グラニュラ構造を電子顕微鏡で観察すると、細胞のような外見をしている。
特許文献1では、細胞集団解析プログラムを開示しており、その際に機械学習を用いることを開示している。特許文献2では、画像解析によって粒子を特性評価する方法が開示されている。
国際公開第2014/131013号(特表2016−507759号公報) 国際公開第2014/079849号(特表2016−502661号公報)
磁性材薄膜の組織構造を評価する際の評価項目として、グラニュラ粒子の数、大きさ、酸化物相の面積比(或いは金属相の面積比)などが挙げられる。これら種々の項目から評価する際の方法としては、顕微鏡の写真を人が観察して測定する方法がある。あるいは、これに代えて、画像解析ソフトを活用して、顕微鏡の写真内に存在するグラニュラ粒子を自動的に検出して、粒子の大きさを測定したり、粒子の数をカウントする方法がある。
人が観察して測定する方法と比べて、画像解析ソフトを使用する方法は、迅速かつ大量にデータを解析できる点で有利である。しかし、画像解析ソフトでは、粒子の検出の精度に改良の余地があった。具体的には、顕微鏡の写真において、理論上、金属相は比較的黒色、周辺の酸化物相は比較的白色となる。しかし、実際には、写真ごとにばらつきが大きく、金属相と酸化物相との境界を従来のアルゴリズムによりクリアに判別することは難しい。また、金属相の間でも濃淡にバラツキがあり(図1)、濃淡のヒストグラムで表すと山が1つとなる(図2)。従って、例えば、輪郭分析を行うと、本来なら1つの粒子と判別すべきところを、3つの粒子と判別してしまう可能性がある(図1、矢印部分)。
上記の問題に鑑み、本開示は、組織画像を精度よく評価する新たな方法を提供することを目的とする。
発明者らは、鋭意検討した結果、機械学習を活用して、画像を2値化することを検討した。通常の手法だと、閾値を設定し、これを基準として2値化することが多い。しかし、そのような手法では、1つの粒子内で濃淡のコントラストが生じたりすると、複数の粒状領域として2値化されたり、隣り合う粒状領域が接続して2値化されてしまう可能性が高くなる。そこで、学習用データを改善することを試みた。具体的には、入力用データとして、所定の区画サイズに従って複数のピクセルを抽出したものを利用した。一方で、教師用データとして、所定の区画サイズの中央部分に該当するピクセルの正解データを利用した。そして、両者を関連付けし、機械学習モデルに学習させた。そして、学習済みモデルを利用して、画像を2値化修正し、これに対して輪郭分析を行った。結果、粒子の認識が改善した。
本発明は、上記知見に基づいて完成され、一側面において、以下の発明を包含する。
(発明1)
組織画像のデータ分析を情報処理装置に機械学習させるためのデータセットであって、
前記組織画像は、複数の粒状領域と前記複数の粒状領域を互いに分離する非粒状領域とを含み、
前記組織画像のデータ分析は、前記複数の粒状領域と前記非粒状領域とを判別する処理であり、
前記データセットは、入力用データセットと、教師用データセットとを含み、
前記入力用データセットは、前記組織画像の複数のサンプル領域から抽出された複数の第1データを含み、
前記複数の第1データのそれぞれは、前記組織画像から抽出された所定の区画サイズの複数のピクセルの情報であり、
前記教師用データセットは、前記複数のサンプル領域に関連付けられた複数の第2データを含み、
前記複数の第2データのそれぞれは、当該第2データが関連付けられた前記サンプル領域の一部分のピクセルが、前記粒状領域と前記非粒状領域とのいずれに属するかを反映した情報である、
該データセット。
(発明2)
発明1の機械学習用のデータセットであって、
粒状領域中の粒径に基づいて、組織画像の画像サイズが調節されている、該データセット。
(発明3)
発明1又は2の機械学習用のデータセットであって、
前記粒状領域は、金属相とセラミックス相の少なくとも一方を含む、該データセット。
(発明4)
機械学習済みモデルの製造方法であって、
前記機械学習済みモデルは、組織画像を分析するための機械学習済みモデルであり、
前記組織画像は、複数の粒状領域と前記複数の粒状領域を互いに分離する非粒状領域とを含み、
前記分析は、前記複数の粒状領域と前記非粒状領域とを判別する処理であり、
前記方法は、
情報処理装置が前記組織画像の複数のサンプル領域から複数の第1データを抽出する工程であって、前記複数の第1データのそれぞれは、前記組織画像から抽出された所定の区画サイズの複数のピクセルの情報である、該工程と、
情報処理装置が前記複数のサンプル領域に関連付けられた複数の第2データを作成する工程であって、前記複数の第2データのそれぞれは、当該第2データが関連付けられた前記所定の区画サイズの一部分のピクセルが、前記粒状領域と前記非粒状領域とのいずれに属するかを反映した情報である、該工程と、
情報処理装置が、前記複数の第1データを入力用データとして、且つ前記複数の第2データを教師用データとして用いて機械学習する工程と
を含む、該方法。
(発明5)
発明4の方法であって、前記方法は、
前記組織画像から粒状領域の輪郭抽出を情報処理装置が行う工程と、
前記輪郭抽出結果に基づいて、前記組織画像中の粒径の概算を情報処理装置が算出する工程と、
前記算出結果に基づいて、組織画像の画像サイズを情報処理装置が調節する工程と、
をさらに含む、該方法。
(発明6)
発明4又は5の方法であって、
前記粒状領域は、金属相とセラミックス相の少なくとも一方を含む、該方法。
(発明7)
機械学習済みモデルであって、
前記機械学習済みモデルは、組織画像を分析するための機械学習済みモデルであり、
前記組織画像は、複数の粒状領域と前記複数の粒状領域を互いに分離する非粒状領域とを含み、
前記分析は、前記複数の粒状領域と前記非粒状領域とを判別する処理であり、
前記機械学習済みモデルは、入力データとして、所定の区画サイズに従って、前記組織画像の複数のサンプルから抽出された複数のピクセルの情報を入力し、
前記機械学習済みモデルは、出力データとして、前記所定の区画サイズの一部分が粒状領域に属するか否か、又は非粒状領域に属するか否かに関する判断を出力する、
該機械学習済みモデル。
(発明8)
発明7の学習済みモデルであって、
前記粒状領域は、金属相とセラミックス相の少なくとも一方を含む、該学習済みモデル。
(発明9)
機械学習済みモデルを用いた組織画像の分析方法であって、
前記方法は、情報処理装置が、組織画像の加工済み画像データを用いて、輪郭分析を行い、その後、各粒子の輪郭を抽出する工程を含み、
前記加工済み画像データは、
(i)発明1〜3のいずれか1つに記載の学習データセットを学習させた機械学習済みモデルを用いて、
(ii)発明4〜6のいずれか1つに記載の方法を用いて得られた機械学習済みモデルを用いて、又は、
(iii)発明7又は8の機械学習済みモデルを用いて、
前記組織画像データに対して各ピクセルが粒状領域に属するか否か、又は非粒状領域に属するか否かに関する判断を出力した結果に基づいて加工されたデータである、該方法。
(発明10)
発明9の方法であって、前記方法は、輪郭を抽出後、粒子の平均粒径、及び/又は粒状領域と非粒状領域との面積比を情報処理装置が算出する工程を更に含む、方法。
本発明は、一側面において、以下の2つの情報をそれぞれ入力用データセット及び教師用データセットとして機械学習に利用する。
・組織画像の複数のサンプル領域から抽出された所定の区画サイズの複数のピクセルの情報
・関連付けられたサンプル領域の一部分のピクセルが、粒状領域と非粒状領域とのいずれに属するかを反映した情報
これにより、目視で確認したときに近い判断に基づいて、画像を修正することができる。そして、粒子に関する分析の精度を向上させることができる。
図1は、ある磁性材薄膜の透過電子顕微鏡(TEM)画像(上図)及び当該TEM画像に輪郭抽出処理(OpenCVを使用)した後の画像(下図)を示す。目視では明らかに1つの粒子として存在している部分が、複数個の粒子として輪郭抽出されている(例えば、矢印部分)。また従来の手法では粒状領域部分をやや小さく判定するような画像操作を施さないと粒状領域を分離した状態での輪郭抽出ができなかった。 図2は、磁性材薄膜のTEM画像における各ピクセルの濃淡状態を表すヒストグラムである。横軸は、濃淡状態を0〜255の範囲で表している。縦軸は、各濃淡状態に該当するピクセルの個数を表す。理想的には、2つの山に明確に分離している分布が好ましい。しかし、現実的には、輪郭抽出処理を行うときに、1つの山の分布となっており、粒状領域(金属相部分)と非粒状領域(酸化物相)との識別が難しい。 図3は、本開示の一実施形態において、学習済みモデルを構築する手順を表す。なお、各ステップを実行する順序については、図に示す順序に限定されない。例えば、第一画像に対するステップと、第二画像に対するステップは並行して実施してもよい。 図4は、本開示の一実施形態において、画像のサイズを調節した例を示す。左側の画像がサイズ調節前の画像であり、右側の画像がサイズ調節後の画像である。 図5は、本開示の一実施形態において、所定のサイズの画像から、所定の区画サイズに従って、画像を抽出した例を示す。理解を促進するため、単純化した抽出の例を示す。左側の画像は、3つの金属相(粒子、黒色)を酸化物相(白色)が隔てている状態を示す。画面のサイズを16ピクセル×16ピクセルとし、所定の区画サイズを3ピクセル×3ピクセルに設定している。これにより、3ピクセル×3ピクセルサイズの区画が256個抽出される(16×16=256)。抽出された画像は入力用データとして使用される。周辺部は中間値で補完してもよい(例えば、各ピクセルの値が0〜1の範囲で正規化されているのであれば、0.5を中間値として補完)。 図6は、本開示の一実施形態において、第二画像の粒状領域をマーキングする前と、マーキングした後の画像を示す。 図7は、本開示の一実施形態において、マーキングされた第二画像から、図5に示した所定の区画サイズ(3ピクセル×3ピクセル)の中央部分に該当する部分を抽出した状態を示す。抽出された画像は教師用データとして使用される。 図8は、本開示の一実施形態において、教師用データと入力用データの関係を示す。 図9は、本開示の一実施形態において、ニューラルネットワークを使用した学習を示す。 図10は、本開示の一実施形態において、畳み込み(コンボルーション)ニューラルネットワークを使用した学習を示す。 図11は、本開示の一実施形態において、機械学習済みモデルを構築した後、学習済みモデルを利用した分析の手順を表す。 図12は、本開示の一実施形態において、機械学習済みモデルを用いて修正した画像を示す。上の段の図は、修正前の画像である。中段の画像は、正解を示す画像である。下の段の画像は、畳み込みニューラルネットワークを使用して修正した画像を示す。 図13は、本開示の一実施形態において、機械学習済みモデルを用いて修正した画像に基づいて、粒状領域の特性を分析した結果を示す。10種類の画像(画像A〜J)を、学習済みモデルを用いて修正し、修正後の画像に表示された粒状領域について、粒子カウント、粒径、酸化物面積比を分析した。1つの画像につき、4種類のバーが表示されている。各4種類のバーは、左から順に、教師データ、ニューラルネットワーク(3層)、畳み込みニューラルネットワーク(畳み込み層が1、ニューラルネットワークが2)、及び畳み込みニューラルネットワーク(畳み込み層が2、ニューラルネットワークが2)を示す。
以下、具体的な実施形態について説明する。以下の説明は、理解を促進するためのものである。即ち、本発明の範囲を限定することを意図するものではない。
1.利用分野
本開示は、様々な分野に応用が可能である。例えば、セル状及び/又はタイル状など複数の材料が分離または結合し、ある特徴的な模様を有する構造を表示した組織画像の分析に応用することができる。組織画像としては、顕微鏡(例えば、光学顕微鏡、及び電子顕微鏡(例えば、SEM、TEM等))によって撮影された画像があげられるがこれらに限定されない。また、セル状及び/又はタイル状など観察される構造としては、非生物系材料(例、金属、セラミックス、プラスチック、樹脂など)の組織構造が挙げられ、例えば、金属相を含む組織(金属組織)、セラミックス相を含む組織(セラミックス組織)、又は両者の組み合わせ(例えば、粒状の金属相の周辺をセラミックス相が囲んだ状態)などが挙げられる。セル状及び/又はタイル状の形態は、粒状形態も包含する。また、粒状形態は、外見上粒のように見える形態をさし、例えば、結晶粒、ポア構造などが挙げられる。更に具体的には、セル状及び/又はタイル状の構造としては、スパッタリング法を用いて形成された薄膜の金属組織又はセラミックス組織などが挙げられる。当然のことであるが、薄膜の原料となるスパッタリングターゲットの組織観察にも同じ手法を用いることが可能である。以降では、磁性薄膜に観察されるグラニュラ構造を例として、実施形態を説明する。
2.機械学習済みモデルの製造方法
2−1.概要
一実施形態において、本開示は、機械学習済みモデルの製造方法に関する。ここで、機械学習済みモデルは、組織画像を分析するための機械学習済みモデルである。そして、組織画像は、複数の粒状領域と前記複数の粒状領域を互いに分離する非粒状領域とを含む。更には、分析は、前記複数の粒状領域と前記非粒状領域とを判別する処理である。
機械学習済みモデルの製造方法は少なくとも以下のステップを含む。
・情報処理装置が組織画像の複数のサンプル領域から複数の第1データを抽出する工程であって、複数の第1データのそれぞれは、組織画像から抽出された所定の区画サイズの複数のピクセルの情報である、該工程。
・情報処理装置が複数のサンプル領域に関連付けられた複数の第2データを作成する工程であって、複数の第2データのそれぞれは、当該第2データが関連付けられた所定の区画サイズの一部分のピクセルが、粒状領域と非粒状領域とのいずれに属するかを反映した情報である、該工程。
・情報処理装置が、複数の第1データを入力用データとして、且つ複数の第2データを教師データとして用いて機械学習する工程。
また、一実施形態において、本開示は、機械学習用のデータセットに関する。前記データセットは、情報処理装置に組織画像のデータ分析を機械学習させるためのデータセットである。組織画像は、複数の粒状領域と複数の粒状領域を互いに分離する非粒状領域とを含む。組織画像のデータ分析は、複数の粒状領域と前記非粒状領域とを判別する処理であり、そして、前記データセットは、入力用データセットと、教師用データセットとを含む。また、入力用データセットは、組織画像の複数のサンプル領域から抽出された複数の第1データを含み、そして、教師用データセットは、複数のサンプル領域に関連付けられた複数の第2データを含む。各第1データは、組織画像の複数のサンプル領域から抽出された所定の区画サイズの複数のピクセルの情報である。一方で、各第2データは、第2データが関連付けられたサンプル領域の一部分(例えば中央部分)のピクセルが、粒状領域と非粒状領域とのいずれに属するかを反映した情報である。
上記製造方法は、情報処理装置を用いて実施することができる。情報処理装置は特に限定されず、当分野で公知の物を利用することができる。例えば、情報処理装置として、サーバー、パーソナルコンピュータ、及び、その他メモリとプロセッサとを備える装置があげられる。
以下、上記製造方法及びデータセットについて、具体例を詳述する。
2−2.機械学習済みモデルの製造方法のフロー図
図3に上記製造方法の具体例を示す。
2−2−1.輪郭抽出
まずは、組織構造の画像データを準備する。画像データは、光学顕微鏡、及び電子顕微鏡(SEM、TEM等)によって撮影された画像の電子データであってもよい。また、撮影された画像の一部を切り出した電子データであってもよい。電子データの形式は特に限定されず、当分野で公知の形式であってもよい(JPEG、TIFF、GIF、PNGなど)。
また、電子データは、フルカラーであってもよく、グレースケールであってもよい。しかし、フルカラーの場合には、入力データが増える(RGBの3つ分だけ増える)。従って、処理負荷等の観点から、グレースケールが好ましい(例えば、黒色のドットを0、白色のドットを255で表現、或いは、黒色のドットを0、白色のドットを1で表現)。
次に、画像解析ソフト等を使用して、画像の電子データに対して輪郭の抽出を行う。画像解析ソフトについては、特に限定されず、輪郭を抽出する機能を有する公知のソフトウェアを使用すればよい。また、画像解析ソフトに代えて、OpenCV等既存のライブラリを使用してもよい。
2−2−2.粒径の概算算出
画像解析ソフト(又はライブラリ)は、輪郭抽出結果に基づき、画像内の粒状領域を検出することができる。そして、検出した粒状領域を解析して、粒径の概算値を算出することができる。上述したように、粒状領域内の濃淡差などが原因となって、1つの粒状領域が複数の粒状領域として輪郭抽出される可能性がある。従って、粒径の精度はそれほど高くはない。しかし、こうした粒径の概算値は、後述する画像サイズを調節する際の参考値としては十分である。
また、粒径を算出するにあたって、上述した輪郭抽出及び抽出結果に基づく粒径概算値の導出は、必須ではない。例えば、これに代えて、別の手法で粒径を導出してもよい。例えば、顕微鏡によって組織観察を実施する。観察・保存した組織写真で、粒状領域数N=200になるまで写真上に直線を引き、直線上に存在する粒状領域数(N≧200)と直線の総長さ(L)を用い、L/Nでその観察部位の平均粒径を算出する。以上の方法でも粒径を算出することができる。いずれにしても、粒径を算出する方法として、様々な手法があるが、本開示の実施形態では、粒径の算出方法については特に限定されず、任意の手法を採用することができる。
また、粒径は、平均値であってもよく、又はメジアン値であってもよい。典型的には、メジアン値を粒径として採用することができる。或いは、粒径は、実際の物理的なスケール(例えば、μmなどの単位で表現されるスケール)ではなく、例えば、画像のピクセル数で表現してあってもよい。この場合には、画像データの倍率等を考慮することで、画像のピクセル数を、実際の物理的なスケールに換算することが可能である。
2−2−3.画像サイズ調節
次に、電子データの画像のサイズの調節を行う。典型的には画像のサイズを下げる(図4参照)。例えば、元々の画像のサイズが1000ピクセル×1000ピクセルで粒状領域数が100個程度である場合には、300ピクセル×300ピクセルに変換するが、粒状領域数が600個程度である場合には、画像を4分割して500ピクセル×500ピクセルにするような前処理を行う。
どの程度下げるかについては、特に限定されないが、粒径の算出に支障がない程度であることが好ましい。
更に好ましくは、粒径の概算値を考慮に入れながらサイズを調節する。例えば、メジアン粒径が、20ピクセル〜50ピクセルの量に対応するようにサイズを調節する。より好ましくは、後述する区画サイズとの関係を考慮しながら、サイズを調節する。これについては、後述する。
なお、粒径の概算算出及び画像サイズの調節は、実施することが好ましいが、必須ではない。例えば、画像データを入手した時点で、既に適切な画像サイズとなっているケースもある。
2−2−4.画像複製
次に、画像データ(好ましくは、画像サイズの調節が行われた画像データ)を第一画像データとみなし、これを複製して第二画像データを生成する。
2−2−5.入力用データセット生成
第一画像データについては、更なる処理を行い、第1データを作成する。この第1データは、機械学習の際の入力用データセットとして使用することができる。第1データは、所定の区画サイズに従って、第一画像データの複数のサンプル領域から抽出される。なお、複数のサンプル領域は、互いに異なる領域である。ただし、「互いに異なる領域」とは、完全に重複していないことを意味する。換言すれば、「互いに異なる領域」とは、一部重複することを排除するものではない。
図5に具体例を示す。図5は、理解しやすいように単純化したモデルを示す。所定の区画サイズを3ピクセル×3ピクセルと仮定する。そして、全体の画像サイズを16ピクセル×16ピクセルと仮定する。
ここでは、16ピクセル×16ピクセル内の各ピクセルが中心となり、且つ切り出したときのサイズが3ピクセル×3ピクセルになるように、サブ画像(サンプル領域)を切り出す。このとき、サブ画像の数は、256個になる(16×16=256)。そして、各サブ画像は、9個のピクセルを有する(3×3=9)。
従って、図5のように処理した場合には、入力用データセットには、256個のデータが含まれる。そして、各データには、9個の入力値が含まれる(X11、X12、X13、X21、X22・・・・・・X33)。ただし、画像情報がフルカラーである場合には、ピクセルごとにRGBの情報を有するため、入力値は9×3=27個となる(X11R、X11G、X11B、X12R、X12G・・・・・・X33B)。なお、すべてのサブ画像を入力用データとして採用してもよいが、必須ではない。例えば、端部のサブ画像は適宜除外してもよい。また、端部については、一部画像部分が欠落しているため、欠落部分のピクセルに中間値を補完してもよい(例えば、0〜255であれば128、0〜1であれば0.5など)。
以上の手続きで、入力用データセットを生成する。
上記では単純化しているが、実際の区画サイズは、3ピクセル×3ピクセルではなく、もっと大きなサイズを利用することが好ましい。即ち、区画サイズの最低サイズは、縦横ともに3ピクセル以上であるものの、例えば、縦横ともに、7ピクセル以上であることが好ましい。更に好ましくは、縦横ともに、10ピクセル以上である。上限値は、許容される処理負荷を大きくすることができるため、特に限定されない。典型的には、縦横ともに、50ピクセル以下である。また、区画は、必ずしも正方形である必要はなく、縦方向のサイズと横方向のサイズが異なってもよい(例えば、20ピクセル×10ピクセル)。
好ましくは、区画サイズ(縦方向のサイズ及び/又は横方向のサイズ)は、粒径の半分(つまり、粒子の半径)よりも大きくする。この理由として、区画サイズを小さくしすぎると、粒の中心付近が粒子内になるのか、粒子外にあるのかを区別することが難しくなるためである。上限値及び下限値は特に限定されないが、区画サイズ内に含まれる粒状領域の数が、1〜3程度となることが好ましい。これに関連して、「2−2−3.画像サイズ調節」で上述した調節は、設定された区画サイズを考慮しながら、調節することが好ましい。例えば、区画サイズが20ピクセル×20ピクセルの場合には、メジアン粒径が30ピクセル程度の画像サイズに調節することで、区画サイズ内に含まれる粒状領域の数が、1〜3程度となる。逆に、画像サイズが予め調節されている場合には、これを考慮しながら、区画サイズを決定してもよい。
また、全体の画像サイズも、上記では、16ピクセル×16ピクセルと単純化しているが、実際には、もっと大きいサイズであってもよい(例えば、100〜1000ピクセル×100〜1000ピクセル)。
2−2−6.粒子マーキング
上記の入力用データセットの生成の後、前、又はこれと並行して、第二画像データに対して処理を行う。具体的には、第二画像データの各ピクセルが、粒状領域と非粒状領域とのいずれに属するかを示す情報を付加してもよい。更に具体的には、粒状領域(金属相)をマーキングしてもよい(図6)。例えば、画像処理ソフトなどを利用し、且つ第二画像をレイヤーとして使用して、粒状領域(金属相)をマーキングする。
これに代えて、粒状領域をマーキングするのではなく、非粒状領域(酸化物相)をマーキングしてもよい。あるいは、粒状領域と非粒状領域の両方をマーキングしてもよい。ただし、この場合には、粒状領域と非粒状領域は、それぞれ異なる色及び/又は模様でマーキングされる。
マーキングのやり方については、特に限定されず、最初から最後まで、ヒトの操作によって、マーキングしてもよい。あるいは、画像処理ソフトに自動判定させてマーキングさせてから、ヒトの操作によって、仕上げのマーキングを行ってもよい。
なお、上記説明では、第一画像データから入力用データセットを作成し、第二画像データに対してマーキングを施しているが、逆であってもよい。即ち、複製された画像である第二画像データから入力用データセットを作成し、複製元の画像である第一画像データにマーキングを施してもよい。
2−2−7.教師用データセットを生成
次に、マーキング済みの第二画像データから、各ピクセルを切り出し、複数の教師用データセットを生成する(図7)。あるいは、上記所定の区画サイズの縦方向のサイズのピクセル数及び/又は横方向のサイズのピクセル数が偶数である場合には、中央部分のピクセルの平均値を抽出して、複数の教師用データセットを生成する。
例えば、上記の例では区画のサイズが3ピクセル×3ピクセルであるため、中央部分に該当するピクセルが存在することとなる。しかし、区画のサイズが、10ピクセル×10ピクセル又は16ピクセル×16ピクセルの場合、中央部分に該当するピクセルが存在しない。そこで、縦方向のピクセル数及び横方向のピクセル数両方が偶数の場合には、2ピクセル×2ピクセルでのマーキング結果の平均値を採用してもよい。また、縦方向のピクセル数及び横方向のピクセル数のうちいずれか一方が偶数の場合には、1ピクセル×2ピクセルでのマーキング結果の平均値を採用してもよい。
縦方向のピクセル数及び横方向のピクセル数両方が偶数の場合に採用する中央部分のサイズ(平均値を算出する対象のピクセル)は、特に限定されず、2ピクセル×2ピクセルであってもよいし、4ピクセル×4ピクセルであってもよいし、6ピクセル×6ピクセルであってもよい。いずれにしても所定の区画サイズを超えないサイズを中央部分として採用すればよい。縦方向のピクセル数及び横方向のピクセル数のうちいずれか一方が偶数の場合にも同様である。
これにより、第一画像データから抽出された前記所定の区画サイズの中央部分に該当する情報を得ることができる。こうして得られたデータを教師用データセットとして利用する。
2−2−8.関連付け
上記工程により、入力用データセットと、教師用データセットが得られる。これらを互いに関連付けする(図8)。例えば、図8の例では、上段の図の矢印部分の枠は、上述した3ピクセル×3ピクセルの区画サイズに対応しており、且つ9つの入力値データに対応する(x11、x12、x13、x21、x22、x23、x31、x32、x33)。そして、下段の図の矢印部分のピクセルは、上記入力値に対する正解データyとなる。このように、所定の区画サイズに従って、入力用データセットと、教師用データセットとを関連づけることで機械学習用のデータセットが完成する。
2−2−9.学習
機械学習用のデータセットが得られた後は、機械学習モデルにこれを学習させる。
機械学習の種類については特に限定されないが、ニューラルネットワークを利用した機械学習が好ましく、深層学習(ディープラーニング)を利用したニューラルネットワークが更に好ましい。また、深層学習を利用したニューラルネットワークの改良版として、畳み込みニューラルネットワークを利用してもよい。
2−2−9−1.ニューラルネットワーク
深層学習型のニューラルネットワークの構成を図9に示す。深層学習型のニューラルネットワークは、入力層、中間層、出力層を備え、中間層を増やして層を深くしていることを特徴としている。入力層には入力用データが入力され、出力層に結果が出力される。そして、出力結果と教師用データとの比較が行われ、誤差が最小となるように、各ニューロンの調整等を行う。より具体的には、各ニューロンには、各入力値に対する重みづけと、バイアス等が設定され、誤差が最小となるよう最適化が行われる。
図9では、上述した所定の区画サイズ(3ピクセル×3ピクセル)に対応する入力値が入力されている。そして、出力層は2つのニューロンがあり、それぞれ、粒状領域に該当する確率、及び非粒状領域に該当する確率を出力する。なお、出力層のニューロンは1つであってもよい。あるいは、判定結果が3種類以上になる場合には、出力層のニューロンは3つ以上であってもよい。
上記の例では、入力用データセットは、256個のデータが含まれているが、これらすべてを学習させることは必須ではない。過学習を考慮しながら、学習させるデータの量を適宜設定すればよい。あるいは、1つの画像から切り出したデータだけでなく、複数の画像から切り出したデータを準備してより多くの入力用データセットを学習させてもよい。
以上のような構成のニューラルネットワークに対して、入力用データセットと、教師用データセットとを適用することで、学習済みモデルを製造することができる。
2−2−9−2.畳み込みニューラルネットワーク
畳み込みニューラルネットワークは、畳み込み層、プーリング層、全結合層を少なくとも備える(図10)。畳み込み層、プーリング層、及び全結合層は、それぞれ複数の層を繰り返す構造であってもよい。
畳み込み層の数は、特に限定されず、1層でも、2層以上であってもよい。また、畳み込み層で使用するフィルターの数についても、特に限定されず、1つ、又は2以上であってもよい。好ましくは、10以上であってもよい。あとに述べるように畳み込み層を用いなくても十分な層のニューラルネットワークのみでも粒状領域検出が可能な場合もある。
畳み込み層のフィルターのサイズについても特に限定されないが、フィルター対象となる、上述した区画サイズよりも小さいサイズである。例えば、上述した区画サイズが16ピクセル×16ピクセルである場合には、それよりも小さいサイズのフィルターを使用する(例えば、7ピクセル×7ピクセルのフィルター、及び5ピクセル×5ピクセルのフィルター)。
フィルターの構造についても特に限定されず、任意の構造のフィルターを適宜使用できる。
プーリング層のサイズは、特に限定されず、例えば、最小サイズとして、2ピクセル×2ピクセルの区画から代表値(例えば、平均値、最大値など)を採用してもよい。
全結合層は、ニューラルネットワーク層であり、最終的に、粒子部分に該当する確率、及び非粒子分に該当する確率を出力する。そして、教師用データセットとの誤差が最小になるように最適化が行われる。
2−2−9−3.その他
上記のニューラルネットワーク及び畳み込みニューラルネットワークいずれにおいても、層の数は特に限定されない。特に中間層の数は、1層のみに限定されず、2層以上であってもよい。また、各層のニューロンの数も特に限定されず、適宜設定してもよい。更には、様々な層数及びニューロン数を有する複数のニューラルネットワークに対して一度に学習させ、ネットワーク構造を自動的に最適化することも可能である(例えば、SonyのNeural Network Console等)。
また、上記の方法では、入力値としては各ピクセルの色に関する情報であるが、他のパラメータの入力を更に入力してもよい(例えば、色から計算されるHSV(色相、彩度、明度)形式のような特徴量に置き換えても良い。)
上記のようなニューラルネットワーク及び畳み込みニューラルネットワークを実装するにあたっては、公知のライブラリ、モジュール、又はソフトウェア等を使用することができる。例えば、公開されているtensorflow、Chainer、Theano等があげられるがこれらに限定されない。
3.機械学習済みモデルを利用した分析方法
3−1.概要
一実施形態において、本開示は、機械学習済みモデルを用いた組織画像(例えば、金属組織、セラミックス組織等)の分析方法に関する。前記分析方法は、情報処理装置が、組織画像の加工済み画像データを用いて、輪郭分析を行い、その後、各粒子の輪郭を抽出する。加工済み画像データは、上述した機械学習済みモデルを用いて、生成される。上記分析方法は、情報処理装置を用いて実施することができる。情報処理装置は特に限定されず、当分野で公知の物を利用することができる。例えば、情報処理装置として、サーバー、パーソナルコンピュータ、及び、その他メモリとプロセッサとを備える装置があげられる。
以下、分析方法について、具体例を詳述する。
3−2.分析方法のフロー
3−2−1.分析対象画像の画像サイズの調節
図11に方法の具体例を示す。最初に、分析対象の画像データを入手する。画像データついては、画像としては、光学顕微鏡、及び電子顕微鏡(SEM、TEM等)によって撮影された画像の電子データであってもよい。
画像データに対して、上述した「2.機械学習済みモデルの製造方法」と同様の方法で、画像サイズを調節する。例えば、機械学習済みモデルを製造するときに、10ピクセル分が粒径と同等のサイズになるように、画像サイズを調節していたのであれば、分析時にも、ピクセルと粒径が同様の関係となるように調節する。
3−2−2.調節後の画像からの区画抽出
画像サイズを調節した後は、上述した方法と同様の方法で、所定の区画サイズに従って、サブ画像を切り出す(「2−2−5.入力用データセット生成」の欄及び図5参照)。これを入力用データセットとする。
3−2−3.学習済みモデルへの入力
入力用データセットが得られたらこれを学習済みモデルに入力し、学習済みモデルは、各ピクセル(切り出したサブ画像の一部分(例えば中央部分)に該当するピクセル)が粒状領域に該当するか否か、又は非粒状領域に該当するか否かに関する判断を出力する。
3−2−4.画像修正
学習済みモデルの出力結果に基づき、画像を修正する。例えば、画像の各ピクセルを2値化してもよい。
より具体的には、各ピクセルが粒状領域に該当するか否かに関する判断を出力した結果に基づいて、加工済み画像データは生成される。例えば、粒状領域に該当すると判断されたピクセルを黒、そうではないと判断されたピクセルを白に変更してもよい。
あるいは、各ピクセルが非粒状領域に該当するか否かに関する判断を出力した結果に基づいて、加工済み画像データは生成される。例えば、非粒状領域に該当すると判断されたピクセルを白、そうではないと判断されたピクセルを黒に変更してもよい。
こうした加工処理より、粒状領域と非粒状領域とのコントラストが明確になった画像データが得られる。
3−2−5.輪郭抽出及び特性分析
加工済みの画像データから、輪郭の抽出を行うことができる。輪郭の抽出方法については、上述したように公知の画像解析ソフト、及びライブラリを使用することで、実施可能である。また、輪郭抽出後は、公知の画像解析ソフト、及びライブラリを使用することで、粒子の特性を、分析することができる。分析する特性としては、粒径、粒子カウント、面積比(酸化物相、金属相)、粒度分布、形状(扁平率)及び粒子内の濃淡分布などが挙げられる。
以下では、上述した実施形態に記載の方法及び学習モデルを使用して、粒子を解析した結果を表す。
4.実施例:機械学習済みモデルの構築
磁性材のグラニュラ構造のTEM写真の画像データを10枚用意した。いずれの画像データのグレースケール形式のデータであり、各ピクセルが0〜255の数値で表現可能な形式となっていた。
次に、汎用的な画像処理ライブラリのOpenCVを用いてコントラストやフィルターにより画像調整し、閾値を基準に2値化を行うことで、輪郭を抽出した。この中で有効な粒子情報をカウントする方法で、粒径の概算値(メジアン値)を算出した。結果粒径は25ピクセルであった。そこで、画像全体のサイズを、1500ピクセル×1500ピクセルから、800ピクセル×800ピクセルへ変更した。各ピクセルを0〜1までの数値に正規化した。
画像サイズを変更後、画像データを複製し、複製した画像データに対して、粒状領域に該当する部分を黒に塗りつぶして教師用のデータセットを生成した。
一方で、複製元の画像データについては、16ピクセル×16ピクセルの区画サイズに基づいて、入力用画像を切り出した。このとき、端部の切り出しでは、空のピクセルが生じてしまうので、空のピクセルには0.5の値を補完した。これにより、入力用のデータセットを生成した。
生成した入力用データセットと教師用データセットを用いて、機械学習モデルに学習させた。機械学習モデルは以下の三種類を準備した。
(1)中間層の数が3層であるニューラルネットワーク(NN3)
(2)畳み込み層が1層、中間層の数が2層である畳み込みニューラルネットワーク(C1N2)
(3)畳み込み層が2層、中間層の数が2層である畳み込みニューラルネットワーク(C2N2)
いずれも出力は1つだけにした(即ち目的変数は1つにした)。また、畳み込み層には、動的に最適化されるフィルターを使用した(10ピクセル×10ピクセルで16種類と、5ピクセル×5ピクセルで16種類)。畳み込み層が1層だけの場合には、10ピクセル×10ピクセルの動的フィルターを使用した。また、プーリング層では2ピクセル×2ピクセルでの最大値を代表値とした。
上記のモデルに学習させた後で、別途検証用に、10枚の画像を準備した。そして、同様の方法で入力用データセットを準備し、学習済みモデルに入力した。そして、学習済みモデルの出力結果に基づいて、画像を2値化した。更に、検証用として、元々の画像に対して目視で確認しながら粒子部分を黒く塗りつぶした教師用画像を準備した。
図12に、10枚の画像のうちの代表的な3枚の画像を示す。上段の写真は、元々の画像である。中段の写真は、正解を示す教師用画像である。下段の写真は、CNN学習済みモデル(C2N2)が出力した結果に基づいて2値化した画像である。
いずれも、一部粒子の判定がずれている箇所があるものの、概ね教師用画像に近い結果を出力することができた。
また、上記3種類の学習済みモデルの出力結果に基づいた2値化画像を解析して、粒子カウント、粒子直径(D50)、及び酸化物面積比を導出した。比較用として、教師用画像データについても同じ解析を実施した。結果を図13に示す。概ね教師用画像データと同様の分析値が得られた。図1に示す輪郭抽出では、粒径が小さく判断される傾向がある。また、これに伴い、面積比についても、非粒状領域が過大に検出される傾向がある。更には、閾値の設定次第で、結果として得られる値が大きく変動する。これらの点に関して、上述した学習モデルを使用することで、より正確な判定が可能となる。
以上、本発明の具体的な実施形態について説明してきた。上記実施形態は、本発明の具体例に過ぎず、本発明は上記実施形態に限定されない。例えば、上述の実施形態の1つに開示された技術的特徴は、他の実施形態に適用することができる。また、特記しない限り、特定の方法については、一部の工程を他の工程の順序と入れ替えることも可能であり、特定の2つの工程の間に更なる工程を追加してもよい。本発明の範囲は、特許請求の範囲によって規定される。

Claims (10)

  1. 組織画像のデータ分析を情報処理装置に機械学習させるためのデータセットであって、
    前記組織画像は、複数の粒状領域と前記複数の粒状領域を互いに分離する非粒状領域とを含み、
    前記組織画像のデータ分析は、前記複数の粒状領域と前記非粒状領域とを判別する処理であり、
    前記データセットは、入力用データセットと、教師用データセットとを含み、
    前記入力用データセットは、前記組織画像の複数のサンプル領域から抽出された複数の第1データを含み、
    前記複数の第1データのそれぞれは、前記組織画像から抽出された所定の区画サイズの複数のピクセルの情報であり、
    前記教師用データセットは、前記複数のサンプル領域に関連付けられた複数の第2データを含み、
    前記複数の第2データのそれぞれは、当該第2データが関連付けられた前記サンプル領域の一部分のピクセルが、前記粒状領域と前記非粒状領域とのいずれに属するかを反映した情報である、
    該データセット。
  2. 請求項1の機械学習用のデータセットであって、
    粒状領域中の粒径に基づいて、組織画像の画像サイズが調節されている、該データセット。
  3. 請求項1又は2の機械学習用のデータセットであって、
    前記粒状領域は、金属相とセラミックス相の少なくとも一方を含む、該データセット。
  4. 機械学習済みモデルの製造方法であって、
    前記機械学習済みモデルは、組織画像を分析するための機械学習済みモデルであり、
    前記組織画像は、複数の粒状領域と前記複数の粒状領域を互いに分離する非粒状領域とを含み、
    前記分析は、前記複数の粒状領域と前記非粒状領域とを判別する処理であり、
    前記方法は、
    情報処理装置が前記組織画像の複数のサンプル領域から複数の第1データを抽出する工程であって、前記複数の第1データのそれぞれは、前記組織画像から抽出された所定の区画サイズの複数のピクセルの情報である、該工程と、
    情報処理装置が前記複数のサンプル領域に関連付けられた複数の第2データを作成する工程であって、前記複数の第2データのそれぞれは、当該第2データが関連付けられた前記所定の区画サイズの一部分のピクセルが、前記粒状領域と前記非粒状領域とのいずれに属するかを反映した情報である、該工程と、
    情報処理装置が、前記複数の第1データを入力用データとして、且つ前記複数の第2データを教師用データとして用いて機械学習する工程と
    を含む、該方法。
  5. 請求項4の方法であって、前記方法は、
    前記組織画像から粒状領域の輪郭抽出を情報処理装置が行う工程と、
    前記輪郭抽出結果に基づいて、前記組織画像中の粒径の概算を情報処理装置が算出する工程と、
    前記算出結果に基づいて、組織画像の画像サイズを情報処理装置が調節する工程と、
    をさらに含む、該方法。
  6. 請求項4又は5の方法であって、
    前記粒状領域は、金属相とセラミックス相の少なくとも一方を含む、該方法。
  7. 機械学習済みモデルであって、
    前記機械学習済みモデルは、組織画像を分析するための機械学習済みモデルであり、
    前記組織画像は、複数の粒状領域と前記複数の粒状領域を互いに分離する非粒状領域とを含み、
    前記分析は、前記複数の粒状領域と前記非粒状領域とを判別する処理であり、
    前記機械学習済みモデルは、入力データとして、所定の区画サイズに従って、前記組織画像の複数のサンプルから抽出された複数のピクセルの情報を入力し、
    前記機械学習済みモデルは、出力データとして、前記所定の区画サイズの一部分が粒状領域に属するか否か、又は非粒状領域に属するか否かに関する判断を出力する、
    該機械学習済みモデル。
  8. 請求項7の学習済みモデルであって、
    前記粒状領域は、金属相とセラミックス相の少なくとも一方を含む、該学習済みモデル。
  9. 機械学習済みモデルを用いた組織画像の分析方法であって、
    前記方法は、情報処理装置が、組織画像の加工済み画像データを用いて、輪郭分析を行い、その後、各粒子の輪郭を抽出する工程を含み、
    前記加工済み画像データは、
    (i)請求項1〜3のいずれか1項に記載の学習データセットを学習させた機械学習済みモデルを用いて、
    (ii)請求項4〜6のいずれか1項に記載の方法を用いて得られた機械学習済みモデルを用いて、又は、
    (iii)請求項7又は8の機械学習済みモデルを用いて、
    前記組織画像データに対して各ピクセルが粒状領域に属するか否か、又は非粒状領域に属するか否かに関する判断を出力した結果に基づいて加工されたデータである、該方法。
  10. 請求項9の方法であって、前記方法は、輪郭を抽出後、粒子の平均粒径、及び/又は粒状領域と非粒状領域との面積比を情報処理装置が算出する工程を更に含む、方法。
JP2019135674A 2019-07-23 2019-07-23 データセット、学習済みモデル、及びこれらに関連する方法 Pending JP2021018752A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019135674A JP2021018752A (ja) 2019-07-23 2019-07-23 データセット、学習済みモデル、及びこれらに関連する方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019135674A JP2021018752A (ja) 2019-07-23 2019-07-23 データセット、学習済みモデル、及びこれらに関連する方法

Publications (1)

Publication Number Publication Date
JP2021018752A true JP2021018752A (ja) 2021-02-15

Family

ID=74566050

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019135674A Pending JP2021018752A (ja) 2019-07-23 2019-07-23 データセット、学習済みモデル、及びこれらに関連する方法

Country Status (1)

Country Link
JP (1) JP2021018752A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116330516A (zh) * 2023-05-29 2023-06-27 乳山市东方硅胶有限公司 一种硅胶颗粒生产设备颗粒大小控制系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116330516A (zh) * 2023-05-29 2023-06-27 乳山市东方硅胶有限公司 一种硅胶颗粒生产设备颗粒大小控制系统
CN116330516B (zh) * 2023-05-29 2023-08-29 乳山市东方硅胶有限公司 一种硅胶颗粒生产设备颗粒大小控制系统

Similar Documents

Publication Publication Date Title
CN115082467B (zh) 基于计算机视觉的建材焊接表面缺陷检测方法
CN110135269B (zh) 一种基于混合颜色模型与神经网络的火灾图像检测方法
CN110852316B (zh) 一种采用密集结构卷积网络的图像篡改检测和定位方法
CN110544251B (zh) 基于多迁移学习模型融合的大坝裂缝检测方法
CN109948566B (zh) 一种基于权重融合与特征选择的双流人脸反欺诈检测方法
CN110992238B (zh) 一种基于双通道网络的数字图像篡改盲检测方法
CN111814867A (zh) 缺陷检测模型的训练方法、缺陷检测方法及相关装置
CN100550037C (zh) 利用改进Hausdorff距离提取识别人耳特征的方法
CN116205919B (zh) 基于人工智能的五金零件生产质量检测方法及系统
CN104077577A (zh) 一种基于卷积神经网络的商标检测方法
CN106340016A (zh) 一种基于细胞显微镜图像的dna定量分析方法
CN110751644B (zh) 道路表面裂纹检测方法
CN111507227B (zh) 基于深度学习的多学生个体分割及状态自主识别方法
CN113762265B (zh) 肺炎的分类分割方法及系统
CN113673541B (zh) 一种用于目标检测的图像样本生成方法及应用
CN109191418A (zh) 一种基于收缩自编码器特征学习的遥感图像变化检测方法
Zhu et al. Towards automatic wild animal detection in low quality camera-trap images using two-channeled perceiving residual pyramid networks
JP2021018752A (ja) データセット、学習済みモデル、及びこれらに関連する方法
CN115880683B (zh) 一种基于深度学习的城市内涝积水智能水位检测方法
CN113313678A (zh) 一种基于多尺度特征融合的精子形态学自动分析方法
CN110349119B (zh) 基于边缘检测神经网络的路面病害检测方法和装置
CN116385368A (zh) 一种基于生成对抗网络的光伏电池缺陷检测数据集增广方法
CN116363168A (zh) 一种基于超分辨网络的遥感视频目标跟踪方法及系统
JP2005250771A (ja) 対象物識別装置および方法並びにプログラム
CN117934310B (zh) 基于深度学习的血管荧光图像与rgb图像融合系统