JP2021166002A - 焼結鉱の組織構成学習装置、組織構成学習方法及び組織構成学習プログラム - Google Patents

Abstract

【課題】焼結鉱の組織構成を高精度に推定可能な学習モデルを生成可能な組織構成学習装置を提供する。【解決手段】焼結鉱の組織構成学習装置１は、焼結鉱の断面を撮像した複数の断面画像をそれぞれが示す複数の画像データを取得する画像データ取得部２１と、断面画像の複数の領域のそれぞれを、焼結鉱に含まれる鉱物相により形成される複合組織の組織構成に関連付けて複数の学習用データを生成する学習用データ生成部２３と、複数の学習用データを用いて複数の断面画像と複合組織の組織構成との関係性を学習モデルに学習させる学習処理部２４と、学習した複数の断面画像と複合組織の組織構成との関係性に基づいて、焼結鉱の断面を撮像した断面画像から複合組織の組織構成を推定する学習モデルを出力する学習モデル出力部２５とを有する。【選択図】図５

Description

本発明は、焼結鉱の組織構成を学習する組織構成学習装置、組織構成学習方法及び組織構成学習プログラムに関する。

焼結鉱は、高炉に装入される８割を占める原料であり、高炉に装入される主要な原料である。焼結鉱の品質は、高炉の操業状態を決定する要因の１つであり、焼結鉱の気孔の構造、及び基質を成す鉱物の構成で決定される。高炉の原料として現在多く使用される自溶性焼結鉱では、基質はヘマタイト（Ｆｅ_２Ｏ_３）、マグネタイト（Ｆｅ_３Ｏ_４）、カルシウムフェライト（ＣａＯ・Ｆｅ_２Ｏ_３）、シリケートスラグ（ＣａＯ・ＳｉＯ_２）の４つの鉱物相を有する。鉱物相及び気孔の焼結鉱に占める比率、径分布及び形状等の焼結鉱の組織構成を定量的に測定することにより取得されるデータは、焼結鉱の品質制御に関する知見を得る上で有用である。

光学顕微鏡及び走査電子顕微鏡(Scanning Electron Microscope、ＳＥＭ)等で観察される焼結鉱の断面を撮像装置により撮像した断面画像を画像解析することによって、焼結鉱の組織構成を定量化する技術が知られている（例えば、特許文献１及び２を参照）。特許文献１及び２に記載される技術では、焼結鉱の組織構成は、焼結鉱を撮像した画像を形成する画素の輝度に基づいて推定される。しかしながら、画像の輝度は、撮像条件及び試料の撮像場所毎に相違するため、特許文献１及び２に記載される技術では、推定される焼結鉱の組織構成が画像毎に相違し、焼結鉱の組織構成を精度高く推定することは容易ではない。

また、焼結鉱の断面を撮像した断面画像から、鉱物相の位置関係を定量化する技術が知られている（例えば、非特許文献１及び特許文献３を参照）。非特許文献１には、マグネタイトとシリケートスラグとの間の接触面積、及びカルシウムフェライトとシリケートスラグとの間の接触面積と、焼結鉱の還元粉化性との相関関係が記載されている。特許文献３には、焼結鉱の断面を撮像装置により撮像された断面画像から、焼結鉱に含まれる鉱物層が互いに隣接する割合を示す隣接率を計算し、計算した隣接率から焼結鉱の特性を推定する技術が記載されている。

一方、画像を示す画像データを教師データとして使用して、ディープラーニングにより機械学習された学習モデルを使用することで、画像に含まれる種々の特徴を高精度に識別する技術が知られている（例えば、特許文献４を参照）。しかしながら、機械学習された学習モデルを使用して焼結鉱の組織構成を推定する技術は、知られていない。

特開２０１３−１２２４０３号公報 特開２０１４−１３７３４４号公報 特開２０１４−２１５９８７号公報 特開２０１９−２００７６９号公報

「Relation between quality and morphology of sinter -texture analysis contribution」, D. Jeulin：Ironmaking & Steelmaking, 10(1983), p.145.

本発明の発明者らは、焼結鉱の断面画像を使用して焼結鉱の組織構成を学習モデルに機械学習させるときに、教師データとして使用する断面画像を適宜選択することで、焼結鉱の特性を高精度に推定可能な情報を提供する学習モデルを生成することを見出した。より具体的には、本発明の発明者らは、焼結鉱に含有される焼結鉱の鉱物相の組織構成ではなく、鉱物相により形成される複合組織の組織構成を推定可能な学習モデルを生成することで、焼結鉱の特性を推定可能な情報を提供することを見出した。

本発明は、焼結鉱の組織構成を高精度に推定可能な学習モデルを生成可能な組織構成学習装置を提供することを目的とする。

このような課題を解決する本発明は、以下に示す焼結鉱の組織構成学習装置、組織構成学習方法及び組織構成学習プログラムを要旨とするものである。
（１）焼結鉱の断面を撮像した複数の断面画像をそれぞれが示す複数の画像データを取得する画像データ取得部と、
断面画像の複数の領域のそれぞれを、焼結鉱に含まれる鉱物相により形成される複合組織の組織構成に関連付けて複数の学習用データを生成する学習用データ生成部と、
複数の学習用データを用いて複数の断面画像と複合組織の組織構成との関係性を学習モデルに学習させる学習処理部と、
学習した複数の断面画像と複合組織の組織構成との関係性に基づいて、焼結鉱の断面を撮像した断面画像から複合組織の組織構成を推定する学習モデルを出力する学習モデル出力部と、
を有することを特徴とする焼結鉱の組織構成学習装置。
（２）複合組織は、ヘマタイト及びマグネタイトの何れか一方がカルシウムフェライトに取り囲まれた組織である第１複合組織、カルシウムフェライトとシリケートスラグとの複合組織である第２複合組織、ヘマタイト及びマグネタイトの何れか一方とカルシウムフェライトとの複合組織である第３複合組織、ヘマタイト及びマグネタイトの何れか一方とシリケートスラグとの複合組織である第４複合組織を含む、（１）に記載の焼結鉱の組織構成学習装置。
（３）複数の学習用データは、ヘマタイト又はマグネタイトの何れか一方である第１鉱物相、カルシウムフェライトの初晶相である第２鉱物相と、複数の領域とを更に関連付けて生成される、（２）に記載の焼結鉱の組織構成学習装置。
（４）第１鉱物相は、残留元鉱である第１０鉱物相、一次ヘマタイト又は一次マグネタイトである第１１鉱物相、二次ヘマタイト又は二次マグネタイトである第１２鉱物相を含む（３）に記載の焼結鉱の組織構成学習装置。
（５）第２鉱物相は、針状のカルシウムフェライトである第２ａ鉱物相、及び柱状のカルシウムフェライトである第２ｂ鉱物相を含み、
第２複合組織は、針状のカルシウムフェライトとシリケートスラグとの複合組織である第２ａ複合組織、及び柱状のカルシウムフェライトとシリケートスラグとの複合組織である第２ｂ複合組織を含む、（３）又は（４）に記載の焼結鉱の組織構成学習装置。
（６）焼結鉱の断面を撮像した複数の断面画像をそれぞれが示す複数の画像データを取得し、
断面画像の複数の領域のそれぞれを、焼結鉱に含まれる鉱物相により形成される複合組織の組織構成に関連付けて複数の学習用データを生成し、
複数の学習用データを用いて複数の断面画像と複合組織の組織構成との関係性を学習モデルに学習させ、
学習した複数の断面画像と複合組織の組織構成との関係性に基づいて、焼結鉱の断面を撮像した断面画像から複合組織の組織構成を推定する学習モデルを出力する、
処理をコンピュータに実行させる、ことを特徴とする焼結鉱の組織構成学習プログラム。
（７）焼結鉱の断面を撮像した複数の断面画像をそれぞれが示す複数の画像データを取得し、
断面画像の複数の領域のそれぞれを、焼結鉱に含まれる鉱物相により形成される複合組織の組織構成に関連付けて複数の学習用データを生成し、
複数の学習用データを用いて複数の断面画像と複合組織の組織構成との関係性を学習モデルに学習させ、
学習した複数の断面画像と複合組織の組織構成との関係性に基づいて、焼結鉱の断面を撮像した断面画像から複合組織の組織構成を推定する学習モデルを出力する、
ことを含む、ことを特徴とする焼結鉱の組織構成学習方法。

一実施形態に係る組織構成学習装置により生成される学習モデルは、焼結鉱の特性を高精度に推定可能な情報を提供できる。

（ａ）は第１の断面画像であり、（ｂ）は第２の断面画像である。 （ａ）は第３の断面画像であり、（ｂ）第４の断面画像であり、（ｃ）は第５の断面画像であり、（ｄ）は第６の断面画像である。 実施形態に係る組織構成学習装置を含む組織構成学習システムを示す図である。 図３に示す組織構成学習装置を示すブロック図である。 図３に示す組織構成学習装置により実行される組織構成学習処理のフローチャートである。 図４に示す学習用データ生成部が表示するＧＵＩにより、断面画像の複数の領域のそれぞれを、焼結鉱に含まれる鉱物相に関連付ける処理を示す図あり、（ａ）は第１の状態を示し、（ｂ）は第２の状態を示し、（ｃ）は第３の状態を示し、（ｄ）は第４の状態を示す。 （ａ）は学習用データとして使用された断面画像の元を示す図であり、（ｂ）は学習用データとして使用された断面画像を示す図である。 （ａ）は評価用の断面画像（その１）であり、（ｂ）は評価用の断面画像（その２）であり、（ｃ）は評価用の断面画像（その３）であり、（ｄ）は評価用の断面画像（その４）であり、（ｅ）は（ａ）に示す断面画像に対応する学習モデルの出力画像であり、（ｆ）は（ｂ）に示す断面画像に対応する学習モデルの出力画像であり、（ｇ）は（ｃ）に示す断面画像に対応する学習モデルの出力画像であり、（ｈ）は（ｄ）に示す断面画像に対応する学習モデルの出力画像である。 （ａ）は評価用の断面画像（その５）であり、（ｂ）は評価用の断面画像（その６）であり、（ｃ）は評価用の断面画像（その７）であり、（ｄ）は評価用の断面画像（その８）であり、（ｅ）は（ａ）に示す断面画像に対応する学習モデルの出力画像であり、（ｆ）は（ｂ）に示す断面画像に対応する学習モデルの出力画像であり、（ｇ）は（ｃ）に示す断面画像に対応する学習モデルの出力画像であり、（ｈ）は（ｄ）に示す断面画像に対応する学習モデルの出力画像である。

以下図面を参照して、本発明に係る組織構成学習装置、組織構成学習方法及び組織構成学習プログラムについて説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されない。

（実施形態に係る組織構成学習装置の概要）
本発明の発明者らは、焼結鉱の組織構成を学習モデルに機械学習させるときに、教師データとして使用される焼結鉱の断面画像と、機械学習された学習モデルが焼結鉱の組織構成を推定するときの推定精度との関係性を検討した。具体的には、本発明の発明者らは、Ｆｅ₂Ｏ₃−ＳｉＯ₂−ＣａＯ３元型状態図に基づいて、自溶性焼結鉱の反応に即した複合組織の分類を検討した。

図１〜２は、学習用データに使用される断面画像の一例を示す図である。図１（ａ）は第１の断面画像であり、図１（ｂ）は第２の断面画像であり、図２（ａ）は第３の断面画像であり、図２（ｂ）第４の断面画像であり、図２（ｃ）は第５の断面画像であり、図２（ｄ）は第６の断面画像である。図１（ａ）として示される第1の断面画像は、一般に高温型と称される複合組織を含み、図１（ｂ）として示される第２の断面画像は、一般に低温型と称される複合組織を含む。

焼結鉱の製造工程における最高温度到達時点において、焼結鉱の原料は、３０％〜５０％程度のヘマタイトと、５０％〜７０％程度の融液から成る。焼結鉱の製造工程では、最高温度到達時点においても３０％〜５０％程度の鉄鉱石が未溶融の状態で残留する。元の鉄鉱石の形態を残して残留したヘマタイトは残留元鉱（単に元鉱とも呼ぶ）と称される。残留元鉱は、図１（ａ）において、「Ａ」で示される領域である。融液によって分断され斑状を呈して残留したヘマタイトは、斑状ヘマタイト、再結晶ヘマタイト、一次ヘマタイトなどと称される。一次ヘマタイトについては後述する。

なお、ヘマタイトは１３５０℃以上でマグネタイトに転移する。焼結鉱の製造工程における最高温度到達時点が１３５０℃以上であるとき、焼結鉱酸化鉄相にマグネタイトが現れる。
酸化鉄相とはヘマタイトおよびマグネタイトの結晶相の総称である。ここでは、ヘマタイトまたはマグネタイトをいずれか一方に特定しないときに用いることがある。

最高温度到達時点における融液は、局所的には不均質である。その融液から最初に晶出する初晶の多くはヘマタイト（１３５０℃以上ではマグネタイト）である。カルシウムフェライト及びシリケートスラグも局所的には存在し得る。ここでは、カルシウムフェライトは、学術的にはＳＦＣＡ相とも称され、Ｆｅ₂Ｏ₃−ＳｉＯ₂−ＣａＯ３元型状態図のＣ２Ｆ相、ＣＦ相、ＣＦ２相を含む。シリケートスラグは、Ｆｅ₂Ｏ₃−ＳｉＯ₂−ＣａＯ３元型状態図のＣＳ相、Ｃ２Ｓ相及び非晶質相を含む。

融液から晶出するヘマタイトは、特異な形態を呈する。骸晶状稜形ヘマタイトあるいは二次ヘマタイトと称される。
ここでは、酸化鉄相を第１鉱物相とも総称して呼ぶ。さらに、残留元鉱を第１０鉱物相、一次ヘマタイトおよび一次マグネタイトを第１１鉱物相、二次ヘマタイトおよび二次マグネタイトを第１２鉱物相と細分して呼ぶ。

カルシウムフェライトの初晶が焼結鉱に残留するとき、カルシウムフェライトの初晶である第２鉱物相が形成される。第２鉱物相は、図１（ａ）において「Ｃ」で示される領域である。

第２鉱物相（カルシウムフェライト相）を、その形態で細分してもよい。すなわち、焼結鉱の原料に含まれるシリカ（ＳｉＯ₂）の含有量が比較的低く、且つ、焼結鉱の製造工程における最高温度が比較的低いときに、第２鉱物相は、針状を呈する。そこで、特に、針状ＳＦＣＡとも称される針状のカルシウムフェライトを第２ａ鉱物相として類別してもよい。第２ａ鉱物相は、図２（ａ）において「Ｃａ」で示される領域である。

焼結鉱の原料に含まれるシリカの含有量が比較的低く、且つ、焼結鉱の製造工程における最高温度が比較的高いときに、第２鉱物相は、柱状を呈する。そこで、特に、柱状ＳＦＣＡとも称される柱状のカルシウムフェライトを第２ｂ鉱物相として類別してもよい。第２ｂ鉱物相は、図２（ｂ）において「Ｃｂ」で示される領域である。

初晶の晶出以降は、その時点での融液組成に応じて、種々の複合組織が形成される。酸化鉄の初晶の近傍の融液組成がカルシウムフェライト生成領域にあると、初晶と融液からカルシウムフェライトが生成する包晶反応が進行する。その結果、酸化鉄相がカルシウムフェライトに取り囲まれた包晶形態の組織である第１複合組織が形成される。第１複合組織は、図１（ａ）において「Ｂ」で示される領域である。

ヘマタイト、カルシウムフェライトなどが晶出すると残留する融液はシリカ濃度が上昇し、やがてカルシウムフェライトとシリケートスラグとの共晶組成となる。以降の凝固は、カルシウムフェライトとシリケートスラグとの共晶反応で進む。これによって、カルシウムフェライトとシリケートスラグとが共存する共存組織である第２複合組織が形成される。第２複合組織は、図１（ａ）において「Ｄ」で示される領域である。なお、三元型状態図上は、１２１６℃にヘマタイト、カルシウムフェライト及びシリケートスラグが同時に晶出する３元共晶反応も存在するが、実際の焼結鉱組織でそれが観察されることはない。

酸化鉄の残留元鉱、初晶又は再結晶相と、第２鉱物相及び第２複合組織の何れかとが共存することで、第３複合組織が形成される。第３複合組織は、ヘマタイト及びマグネタイトの何れか一方とカルシウムフェライトとの複合組織であり、図１（ｂ）において「Ｅ」で示される領域である。

また、ＣａＯ濃度が低い領域では、酸化鉄相の生成ののち、融液はシリケートスラグとして凝固する。この場合、酸化鉄相と融液中のシリケートスラグとが共存する第４複合組織が形成される。第４複合組織は、酸化鉄相とシリケートスラグとの複合組織であり、図１（ｂ）において「Ｆ」で示される領域である。

表１は、第１鉱物相及び第２鉱物相並びに第１複合組織〜第４複合組織を示す。

さらに、カルシウムフェライトとシリケートスラグとが互いの境界を多く含むように複雑に絡み合う複合組織を呈することから、本発明の発明者らは、第２鉱物相及び第２複合組織のそれぞれをカルシウムフェライトの形状に応じて更に分類して、学習用データとして使用することを見出した。

カルシウムフェライトとシリケートスラグとの複合組織（第２複合組織）を針状のカルシウムフェライトとシリケートスラグとの複合組織である第２ａ複合組織、あるいは、柱状のカルシウムフェライトとシリケートスラグとの複合組織である第２b複合組織として類別してもよい。第２ａ複合組織は、図２（ｃ）において「Ｄａ」で示される領域である。
第２ｂ複合組織は、図２（ｄ）において「Ｄｂ」で示される領域である。

図１において「Ｂ」及び「Ｄ」〜「Ｆ」で示される第１複合組織〜第４複合組織に、断面画像の複数の領域のそれぞれを関連付けて生成された学習用データにより機械学習された学習モデルは、焼結鉱の特性を高精度に推定可能な情報を提供できる。

また、学習モデルは、図１において「Ａ」及び「Ｃ」で示される第１鉱物相〜第２鉱物相に、断面画像の複数の領域のそれぞれを関連付けて生成された学習用データを使用して機械学習されてもよい。

また、学習モデルは、図２において「Ｃａ」、「Ｃｂ」、「Ｄａ」及び「Ｄｂ」で示される第２ａ鉱物相、第２ｂ鉱物相、第２ａ複合組織及び第２ｂ複合組織に、断面画像の複数の領域のそれぞれを関連付けて生成された学習用データを使用して機械学習されてもよい。図２に示される第２ａ鉱物相、第２ｂ鉱物相、第２ａ複合組織及び第２ｂ複合組織に、断面画像の複数の領域のそれぞれを関連付けて生成された学習用データにより機械学習された学習モデルは、焼結鉱の特性を更に高精度に推定可能な情報を提供できる。

（実施形態に係る組織構成学習装置の構成及び機能）
図３は、実施形態に係る組織構成学習装置を含む組織構成学習システムを示す図である。

組織構成学習システム１００は、光学顕微鏡１０１と、撮像装置１０２と、組織構成学習装置１とを有する。光学顕微鏡１０１は、断面が視認可能なように切断され、ステージ１１０に配置された焼結鉱１０５の所望の領域を、例えば５００倍等の所望の倍率で拡大して観察する。光学顕微鏡１０１によって拡大された焼結鉱１０５の領域は、撮像装置１０２によって撮像される。撮像装置１０２は、ＣＣＤ（Charge Coupled Device）イメージセンサ等の画像検出素子と、画像検出素子が検出した画像を記憶する記憶素子とを有し、光学顕微鏡１０１によって拡大された焼結鉱１０５の領域を撮像する。

撮像装置１０２によって撮像された焼結鉱の断面画像を示す画像データは、通信配線１０３を介して組織構成学習装置１に送信される。組織構成学習システム１００では、撮像装置１０２と組織構成学習装置１との間は、通信配線１０３を介して通信可能に接続される。しかしながら、実施形態に係る組織構成学習システムでは、撮像装置１０２と組織構成学習装置１との間は、通信可能に接続されなくてもよい。撮像装置１０２と組織構成学習装置１との間が接続されないとき、焼結鉱の断面画像を示す画像データは、撮像装置１０２及び組織構成学習装置１に着脱可能な記憶媒体により記憶されて、撮像装置１０２から組織構成学習装置１に移動される。

（実施形態に係る組織構成学習装置の構成及び機能）
図４は、組織構成学習装置１を示すブロック図である。

組織構成学習装置１は、通信部１１と、記憶部１２と、入力部１３と、出力部１４と、処理部２０と、学習モデル３０とを有する。通信部１１、記憶部１２、入力部１３、出力部１４、処理部２０及び学習モデル３０は、バス１５を介して互いに接続される。組織構成学習装置１は、撮像装置１０２によって撮像された焼結鉱の断面画像を示す画像データを使用して、焼結鉱の断面画像と焼結鉱の組織構成との関係性を学習モデル３０に学習させる。一例では、組織構成学習装置１は、パーソナルコンピュータである。

通信部１１は、イーサネット（登録商標）などの有線の通信インターフェース回路を有する。通信部１１は、通信配線１０３を介して撮像装置１０２及び不図示のサーバ等と通信を行う。

記憶部１２は、例えば、半導体記憶装置、磁気テープ装置、磁気ディスク装置、又は光ディスク装置のうちの少なくとも一つを備える。記憶部１２は、処理部２０での処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。例えば、記憶部１２は、焼結鉱の断面画像を示す画像データを使用して、焼結鉱の断面画像と焼結鉱の組織構成との関係性を学習モデル３０に学習させる組織構成学習処理を処理部２０に実行させるための組織構成学習プログラム等を記憶する。組織構成学習プログラムは、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて記憶部１２にインストールされてもよい。また、記憶部１２は、組織構成学習処理で使用される種々のデータを記憶する。

入力部１３は、データの入力が可能であればどのようなデバイスでもよく、例えば、タッチパネル、キーボード等である。オペレータは、入力部１３を用いて、文字、数字、記号等を入力することができる。入力部１３は、オペレータにより操作されると、その操作に対応する信号を生成する。そして、生成された信号は、オペレータの指示として、処理部２０に供給される。

出力部１４は、映像や画像等の表示が可能であればどのようなデバイスでもよく、例えば、液晶ディスプレイ又は有機ＥＬ（Electro−Luminescence）ディスプレイ等である。出力部１４は、処理部２０から供給された映像データに応じた映像や、画像データに応じた画像等を表示する。また、出力部１４は、紙などの表示媒体に、映像、画像又は文字等を印刷する出力装置であってもよい。

処理部２０は、一又は複数個のプロセッサ及びその周辺回路を有する。処理部２０は、組織構成学習装置１の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵである。処理部２０は、記憶部１２に記憶されているプログラム（ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等）に基づいて処理を実行する。また、処理部２０は、複数のプログラム（アプリケーションプログラム等）を並列に実行できる。

処理部２０は、画像データ取得部２１と、画像データ補正部２２と、学習用データ生成部２３と、学習処理部２４と、学習モデル出力部２５とを有する。これらの各部は、処理部２０が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、これらの各部は、ファームウェアとして組織構成学習装置１に実装されてもよい。

学習モデル３０は、教師あり学習により抽象化された画像の特徴を学習する学習モデルであり、例えば、ディープラーニング等の公知の機械学習技術を用いて、焼結鉱の断面画像と焼結鉱の組織構成との関係性を学習する。ディープラーニングは、入力層、中間層及び出力層から構成される多層構造のニューラルネットワークを用いた機械学習である。入力層の各ノードには、焼結鉱の断面画像のそれぞれの特徴ベクトルが入力される。特徴ベクトルは、例えば、画像の一部の領域を切り出した部分画像であってもよい。また、特徴ベクトルとして使用される部分画像のそれぞれは、一部が他の部分画像と重畳するように切り出されてもよい。中間層の各ノードは、入力層の各ノードから出力された各特徴ベクトルに重みを乗算した値の総和を出力し、さらに、出力層は、中間層の各ノードから出力された各特徴ベクトルに重みを乗算した値の総和を出力する。学習モデル３０は、各重みを調整しながら、出力層からの出力値と撮焼結鉱の断面画像のそれぞれとの差分が小さくなるように学習する。学習モデル３０は、例えばZEISS社製の「ZEN Intellesis」である。

（実施形態に係る組織構成学習装置による組織構成学習処理）
図５は、組織構成学習装置１により実行される組織構成学習処理のフローチャートである。図５に示す組織構成学習処理は、予め記憶部１２に記憶されているプログラムに基づいて、主に処理部２０により組織構成学習装置１の各要素と協働して実行される。

まず、画像データ取得部２１は、焼結鉱の断面を撮像した複数の断面画像をそれぞれが示す複数の画像データを取得する（Ｓ１０１）。画像データ取得部２１によって取得される複数の画像データ画像に対応する複数の断面画像は、撮像装置１０２によって撮像された焼結鉱の断面画像である。

次いで、画像データ補正部２２は、Ｓ１０１の処理で取得された複数の画像データのそれぞれに所定の補正処理を実行する（Ｓ１０２）。画像データ補正部２２は、例えば画像データに対応する断面画像に含まれる画素の輝度の中で最も高い輝度が所定の輝度となるように断面画像の輝度を補正する。また、画像データ補正部２２は、画像データに対応する断面画像に含まれる画素の輝度の中で最も高い輝度と最も低い輝度との間の輝度の差が所望の輝度差になるように断面画像のコントラストを補正する。

次いで、学習用データ生成部２３は、複数の画像データ画像に対応するそれぞれの断面画像の複数の領域のそれぞれを、焼結鉱に含まれる鉱物相、及び鉱物相により形成される複合組織を関連付けて複数の学習用データを生成する（Ｓ１０３）。学習用データ生成部２３は、焼結鉱の断面画像を含むＧＵＩを出力部１４に表示することで、作業者の指示に従って断面画像の複数の領域のそれぞれを、焼結鉱に含まれる複合組織に関連付ける。また、学習用データ生成部２３が複数の領域は、気孔に関連付けられてもよい。

図６は、学習用データ生成部２３が表示するＧＵＩにより、断面画像の複数の領域のそれぞれを、鉱物相又は複合組織に関連付ける処理を示す図である。図６（ａ）は第１の状態を示し、図６（ｂ）は第２の状態を示し、図６（ｃ）は第３の状態を示し、図６（ｄ）は第４の状態を示す。

まず、学習用データ生成部２３は、断面画像を含む学習用データ生成ＧＵＩを出力部１４に表示する（図６（ａ）を参照）。次いで、作業者は、複合組織Ａの領域を学習用データ生成ＧＵＩに含まれる焼結鉱の断面画像上で指定する（図６（ｂ）を参照）。図６（ｂ）に矢印αで示されるように、作業者による複合組織Ａの領域は、領域の一部を指定することで指定される。

次いで、学習用データ生成部２３は、作業者によって指定された複合組織Ａに類似する領域を複合組織Ａの領域と推定して、作業者によって推定された以外の複合組織Ａの領域を追加した断面画像を生成する。学習用データ生成部２３は、生成した断面画像を含む学習用データ生成ＧＵＩを出力部に表示する（図６（ｃ）を参照）。複合組織Ａの領域は、例えば所定の色に着色されることにより、他の領域と視覚的に識別可能なように表示される。

以降、学習用データ生成部２３は、焼結鉱の断面画像における複合組織Ａの領域が作業者の所望の領域に一致するまで、作業者とインタラクティブに複合組織Ａの領域を指定する処理を繰り返す。

焼結鉱の断面画像における複合組織Ａの領域が作業者の所望の領域に一致すると、学習用データ生成部２３は、複合組織Ａと相違する複合組織Ｂの領域を指定する処理を作業者とインタラクティブに実行する。学習用データ生成部２３は、断面画像に含まれる全ての鉱物相について、複合組織Ａの領域を指定する処理と同様な処理を実行して、鉱物相の領域を指定する。学習用データ生成部２３は、断面画像に含まれる全ての鉱物相又は複合組織の領域を指定する処理が終了すると、鉱物相又は複合組織の領域が指定されていない他の断面画像において同様の処理を実行する。

学習用データ生成部２３は、Ｓ１０１の処理で取得された全て画像データについて、鉱物相又は複合組織の領域を指定する処理を実施する（図６（ｄ）を参照）。図６（ｄ）に示す例では、断面画像は、複合組織Ａ及び複合組織Ｂの３個の複合組織、並びに１個の複合組織Ｃを含む。学習用データ生成部２３がＳ１０１の処理で取得された全て画像データについて、鉱物相又は複合組織の領域を指定する処理を完了すると、Ｓ１０３の処理は終了する。

Ｓ１０３の処理で生成される複数の学習用データは、ヘマタイト及びマグネタイトの何れか一方、カルシウムフェライト及びシリケートスラグの何れかにより形成される複合組織に、複数の領域を関連付けて生成された学習用データを含む。ヘマタイト及びマグネタイトの何れか一方、カルシウムフェライト及びシリケートスラグの何れかにより形成される複合組織に、複数の領域を関連付けて学習用データが生成されることで、焼結鉱の組織構成を高精度に推定可能な学習モデルを生成できる。

学習用データ生成部２３が複数の領域に関連付けられる複合組織は、図１において「Ｂ」、「Ｄ」〜「Ｆ」で示される第１複合組織〜第４複合組織の少なくとも１つを含んでもよい。また、学習用データ生成部２３が複数の領域に関連付けられる組織は、複合組織に加えて、図１において「Ａ」及び「Ｃ」で示される第１鉱物相〜第２鉱物相を更に含んでもよい。

第２鉱物相は、図２（ａ）におて「Ｃａ」で示される第２ａ鉱物相、及び図２（ｂ）におて「Ｃｂ」で示される第２ｂ鉱物相を含んでもよい。また、第２組織は、図２（ｃ）におて「Ｂａ」で示される第２ａ複合組織、及び図２（ｄ）におて「Ｄｂ」で示される第２ｂ複合組織を含んでもよい。

学習用データ生成部２３が複数の領域に関連付けられる組織が第３鉱物相及び第４鉱物相並びに第２ａ複合組織及び第２ｂ複合組織を含むことで、針状及び柱状のカルシウムフェライトが、シリケートスラグとの複合組織であるか否かを判定することができる。

また、学習用データ生成部２３が複数の領域に関連付けられる組織は、酸化鉄相（第１鉱物相）を細分して、一次ヘマタイト（一次マグネタイト）（第１１鉱物相）及び二次ヘマタイト（二次マグネタイト）（第１２鉱物相）を更に含んでもよい。

次いで、学習処理部２４は、Ｓ１０３の処理で生成された学習用データを用いて、Ｓ１０１の処理で取得された複数の画像データに対応する複数の断面画像と焼結鉱の鉱物相及び複合組織の組織構成との関係性を学習モデル３０に学習させる（Ｓ１０４）。学習モデル３０は、断面画像と焼結鉱の鉱物相及び複合組織の組織構成との関係性を学習することによって、焼結鉱の断面を撮像した断面画像から焼結鉱の鉱物相及び複合組織の組織構成を高精度に推定する処理が実行可能になる。

そして、学習モデル出力部２５は、Ｓ１０４の処理で機械学習された学習モデル３０を、例えば不図示のサーバに出力する（Ｓ１０５）。学習モデル３０は、例えば製鉄所の焼結鉱製造工程において、焼結鉱の組織構成を推定するために使用される。

（実施形態に係る組織構成学習装置の作用効果）
組織構成学習装置１は、断面画像の複数の領域のそれぞれを、焼結鉱に含まれる鉱物相により形成される複合組織を関連付けて生成された学習用データを教師データとして学習モデル３０を生成する。学習モデル３０は、断面画像の複数の領域を鉱物相だけではなく複合組織に関連付けて学習用データを教師データとして学習モデル３０を生成するので、学習モデル３０は、焼結鉱の組織構成を高精度に推定できる。具体的には、学習モデル３０は、図１において「Ｂ」及び「Ｄ」〜「Ｆ」で示される第１複合組織〜第４複合組織に、断面画像の複数の領域のそれぞれを関連付けて生成された学習用データを使用して機械学習される。

また、組織構成学習装置１は、図１において「Ａ」及び「Ｃ」で示される第１鉱物相〜第２鉱物相に、断面画像の複数の領域のそれぞれを関連付けて生成された学習用データを教師データとして学習モデル３０を生成する。断面画像の複数の領域を、複合組織に加えて鉱物相に関連付けて学習用データを教師データとして学習モデル３０を生成するので、学習モデル３０は、焼結鉱の組織構成を更に高精度に推定できる。

また、組織構成学習装置１は、図２に示される第３鉱物相、第４鉱物相、第２ａ複合組織及び第２ｂ複合組織に、断面画像の複数の領域のそれぞれを関連付けて生成された学習用データを教師データとして学習モデル３０を生成する。断面画像の複数の領域を、形状が類似する第３鉱物相、第４鉱物相、第２ａ複合組織及び第２ｂ複合組織に関連付けて学習用データを教師データとして学習モデル３０を生成するので、学習モデル３０は、焼結鉱の組織構成を更に高精度に推定できる。
特に、本発明の学習モデルを用いることにより、第２鉱物相を第２a鉱物相と第２ｂ鉱物相に、第２複合組織を第２a複合組織と第２ｂ複合組織に、従来法と比較して簡便に高精度に細分し、それぞれの構成比率を定量化できる。その結果、焼結鉱の組織とその品質、特に被還元性との関係を従来以上に明確に関連付けることができると期待される。
また、本発明の学習モデルを用いることにより、第１鉱物相としてだけでなく、従来不可能であった第１２鉱物相の構成比率まで定量化できる。その結果、第１２鉱物相は焼結鉱品質の一つである還元粉化性を支配しているとされるので、焼結鉱の組織とその還元粉化性との関係を従来以上に明確に関連付けることができると期待される。

１２枚の焼結鉱の断面画像の複数の領域のそれぞれを、鉱物相、複合組織及び気孔の組織構成に関連付けて複数の学習用データを生成し、生成した学習用データを教師データとして使用して断面画像と焼結鉱の組織構成との関係を学習モデルに機械学習させた。使用された学習モデルは、ZEISS社製の「ZEN Intellesis」である。

教師データとして使用される学習用データは、５００倍の倍率で撮像された焼結鉱の断面画像の複数の領域を８種類の鉱物相、複合組織及び気孔に分類した。鉱物相は、一次ヘマタイト、二次ヘマタイト、元鉱緻密ヘマタイト、一次マグネタイト、二次マグネタイト、柱状カルシウムフェライト、針状カルシウムフェライト及びシリケートスラグを含む。複合組織は、針状カルシウムフェライトとシリケートスラグとによる複合組織を含む。

図７（ａ）は学習用データとして使用された断面画像の元画像を示す図である。図７（ｂ）は、図７（ａ）の元画像を分類対象鉱物ごとに作業者が目視で類別した後の画像であって、学習用データとして使用された画像を示す図である。図７（ａ）及び図７（ｂ）のそれぞれは、３行４列の１２枚の断面画像を含み、図７（ａ）に示される画像と図７（ｂ）に示される画像とは、対応する画像が同一の位置に配置される。例えば、図７（ａ）において左上の角に配置される画像は、図７（ｂ）において左上の角に配置される画像に対応する。

図７（ａ）及び７（ｂ）において、一次ヘマタイトは符号４０で示され、二次ヘマタイトは符号４１で示され、元鉱ヘマタイトは符号４２で示され、一次マグネタイトは符号４３で示され、二次マグネタイトは符号４４で示される。また、柱状カルシウムフェライトは符号４５で示され、針状カルシウムフェライトは符号４６で示され、シリケートスラグは符号４７で示され、針状カルシウムフェライトとシリケートスラグによる複合組織は符号４８で示され、気孔は符号４９で示される。

図７（ｂ）において、一次ヘマタイトはオレンジ色に着色され、二次ヘマタイトは灰色に着色され、元鉱ヘマタイトは赤色に着色され、一次マグネタイトはオリーブ色に着色され、二次マグネタイトは青色に着色される。また、柱状カルシウムフェライトは黄色に着色され、針状カルシウムフェライトは水色に着色され、シリケートスラグは緑色に着色され、針状カルシウムフェライトとシリケートスラグによる複合組織は黄緑色に着色され、気孔は紫色に着色される。

図７に示す断面画像を教師データとして使用して機械学習された学習モデルは、焼結鉱の３００枚の断面画像を使用して評価された。学習モデルの評価に使用された３００枚の断面画像は、３０個の焼結鉱のそれぞれから１０箇所の断面の画像を撮像して用意された。

図８及び９は、評価用の断面画像と、評価用の断面画像に対応する学習モデルが出力する断面画像を示す図である。図８（ａ）〜８（ｄ）及び９（ａ）〜９（ｄ）に示す断面画像は、評価用の断面画像として使用された画像を示す。図８（ｅ）〜８（ｈ）及び９（ｅ）〜９（ｈ）のそれぞれは、図８（ａ）〜８（ｄ）及び９（ａ）〜９（ｄ）に示す断面画像に対応する学習モデルが出力する画像を示す。

図８（ａ）〜８（ｄ）及び９（ａ）〜９（ｄ）に示す断面画像は、５００倍の倍率で撮像された焼結鉱の断面画像である。学習モデルは、図８（ａ）〜８（ｄ）及び９（ａ）〜９（ｄ）に示すように、焼結鉱の組織を図７（ｂ）に示す組織と同一の色に着色して出力する。

表２は、組織構成学習装置１が生成した学習モデルによる組織構成の判定と、比較例に係る組織構成の判定との比較結果を示す。

参考例（判定基準）は、３００枚の評価用の断面画像の全てに含まれる鉱物相、複合組織及び気孔を、オペレータが目視により識別して判定したものである。参考例は、３００枚の評価用の断面画像の全てをオペレータが目視により識別するため、判定精度は１００％であるが、判定負荷が非常に大きくなり好ましくない。

なお、参考例におけるオペレータによる判定結果は、比較例及び実施例の判定精度を決定するときの判定基準になる。対象とする断面画像に含まれる組織に対する比較例及び実施例による判定結果が、オペレータによる判定結果と完全に一致したとき、対象とする断面画像の比較例及び実施例による判定結果が正しいと決定された。一方、対象とする断面画像に含まれる組織に対する比較例及び実施例による判定結果が、オペレータによる判定結果と一部でも異なっていたとき、対象とする断面画像の比較例及び実施例による判定結果が誤りであると決定された。

比較例は、特許文献２に記載される輝度解析による判定であり、輝度ヒストグラムに閾値を設定して、断面画像の領域が鉱物相及び複合組織の何れかに対応するかを判定した。輝度解析では輝度分布が類似する組織を精度高く判定することは容易ではなく、比較例の判定精度は０％であった。

実施例では、図７に示す断面画像を教師データとして使用して機械学習された学習モデルにより、断面画像の領域が鉱物相及び複合組織の何れかに対応するかを判定した。実施例における学習モデルによる判定の判定精度は、９１％であった。

実施例において、学習モデルは針状カルシウムフェライトに関して、それが単独で存在するものとスラグと共存して複合組織を形成しているものとに分離する。このそれぞれの構成比率を定量化した結果を表３示す。

また、実施例では、学習モデルが断面画像に含まれる組織を判定するので、オペレータは、最低限の負荷で焼結鉱の組織構成に関する情報を取得できる。

１ 組織構成学習装置
２０ 処理部
２１ 画像データ取得部
２２ 画像データ補正部
２３ 学習用データ生成部
２４ 学習処理部
２５ 学習モデル出力部
３０ 学習モデル
１００ 組織構成学習システム
１０１ 光学顕微鏡
１０２ 撮像装置

Claims (7)

1. 焼結鉱の断面を撮像した複数の断面画像をそれぞれが示す複数の画像データを取得する画像データ取得部と、
   前記断面画像の複数の領域のそれぞれを、焼結鉱に含まれる鉱物相により形成される複合組織の組織構成に関連付けて複数の学習用データを生成する学習用データ生成部と、
   前記複数の学習用データを用いて前記複数の断面画像と前記複合組織の組織構成との関係性を学習モデルに学習させる学習処理部と、
   学習した前記複数の断面画像と前記複合組織の組織構成との関係性に基づいて、焼結鉱の断面を撮像した断面画像から前記複合組織の組織構成を推定する学習モデルを出力する学習モデル出力部と、
   を有することを特徴とする焼結鉱の組織構成学習装置。
2. 前記複合組織は、ヘマタイト及びマグネタイトの何れか一方がカルシウムフェライトに取り囲まれた組織である第１複合組織、カルシウムフェライトとシリケートスラグとの複合組織である第２複合組織、ヘマタイト及びマグネタイトの何れか一方とカルシウムフェライトとの複合組織である第３複合組織、ヘマタイト及びマグネタイトの何れか一方とシリケートスラグとの複合組織である第４複合組織を含む、請求項１に記載の焼結鉱の組織構成学習装置。
3. 前記複数の学習用データは、ヘマタイト又はマグネタイトの酸化鉄相である第１鉱物相、カルシウムフェライトの初晶相である第２鉱物相と、前記複数の領域とを更に関連付けて生成される、請求項２に記載の焼結鉱の組織構成学習装置。
4. 前記第１鉱物相は、残留元鉱である第１０鉱物相、一次ヘマタイト又は一次マグネタイトである第１１鉱物相、二次ヘマタイト又は二次マグネタイトである第１２鉱物相を含む請求項３に記載の焼結鉱の組織構成学習装置。
5. 前記第２鉱物相は、針状のカルシウムフェライトである第２ａ鉱物相、及び柱状のカルシウムフェライトである第２ｂ鉱物相を含み、
   前記第２複合組織は、針状のカルシウムフェライトとシリケートスラグとの複合組織である第２ａ複合組織、及び柱状のカルシウムフェライトとシリケートスラグとの複合組織である第２ｂ複合組織を含む、請求項３又は４に記載の焼結鉱の組織構成学習装置。
6. 焼結鉱の断面を撮像した複数の断面画像をそれぞれが示す複数の画像データを取得し、
   前記断面画像の複数の領域のそれぞれを、焼結鉱に含まれる鉱物相により形成される複合組織の組織構成に関連付けて複数の学習用データを生成する学習用データ生成部と、
   前記複数の学習用データを用いて前記複数の断面画像と前記複合組織の組織構成との関係性を学習モデルに学習させ、
   学習した前記複数の断面画像と前記複合組織の組織構成との関係性に基づいて、焼結鉱の断面を撮像した断面画像から前記複合組織の組織構成を推定する学習モデルを出力する、
   処理をコンピュータに実行させる、ことを特徴とする焼結鉱の組織構成学習プログラム。
7. 焼結鉱の断面を撮像した複数の断面画像をそれぞれが示す複数の画像データを取得し、
   前記断面画像の複数の領域のそれぞれを、焼結鉱に含まれる鉱物相により形成される複合組織の組織構成に関連付けて複数の学習用データを生成する学習用データ生成部と、
   前記複数の学習用データを用いて前記複数の断面画像と前記複合組織の組織構成との関係性を学習モデルに学習させ、
   学習した前記複数の断面画像と前記複合組織の組織構成との関係性に基づいて、焼結鉱の断面を撮像した断面画像から前記複合組織の組織構成を推定する学習モデルを出力する、
   ことを含む、ことを特徴とする焼結鉱の組織構成学習方法。

Images