JP2021166014A

JP2021166014A - Structural composition learning device, structural composition learning method, and structural composition learning program for sintered ore

Info

Publication number: JP2021166014A
Application number: JP2020069978A
Authority: JP
Inventors: 守利水谷; Moritoshi Mizutani
Original assignee: Nippon Steel Corp
Current assignee: Nippon Steel Corp
Priority date: 2020-04-08
Filing date: 2020-04-08
Publication date: 2021-10-14
Anticipated expiration: 2040-04-08
Also published as: JP7417097B2

Abstract

To provide a structural composition learning device that can create a learning model that can accurately estimate the structural composition of sintered ore.SOLUTION: A structural composition learning device 1 for sintered ore has: an image data acquisition unit 21 that acquires a plurality of pieces of image data showing a plurality of cross-sectional images obtained by picking up images of the cross-section of sintered ore; a learning data generation unit 23 that generates a plurality of pieces of data for learning by associating a plurality of areas in the cross-sectional images with ore phases included in the sintered ore; a learning processing unit 24 that causes a learning model to learn the relationship between the plurality of cross-sectional images and the structural composition of the sintered ore by using the plurality of pieces of data for learning; and a learning model output unit 25 that, based on the learned relationship between the plurality of cross-sectional images and the structural composition of the sintered ore, outputs the learning model that estimates the structural composition of the sintered ore from the cross-sectional images obtained by picking up the images of the cross-section of the sintered ore. The plurality of pieces of data for learning is generated by associating at least three types of sintered ore of hematite, magnetite, calcium ferrite, and silicate slag with the plurality of areas.SELECTED DRAWING: Figure 5

Description

本発明は、焼結鉱の組織構成を学習する組織構成学習装置、組織構成学習方法及び組織構成学習プログラムに関する。 The present invention relates to a structure learning device for learning the structure structure of sinter, a structure structure learning method, and a structure structure learning program.

焼結鉱は、高炉に装入される８割を占める原料であり、高炉に装入される主要な原料である。焼結鉱の品質は、高炉の操業状態を決定する要因の１つであり、焼結鉱の気孔の構造、及び基質を成す鉱物の構成で決定される。高炉の原料として現在多く使用される自溶性焼結鉱では、基質はヘマタイト（Ｆｅ₂Ｏ₃）、マグネタイト（Ｆｅ₃Ｏ₄）、カルシウムフェライト（ＣａＯ・Ｆｅ₂Ｏ₃）、シリケートスラグ（ＣａＯ・ＳｉＯ₂）の４つの鉱物相を有する。鉱物相及び気孔の焼結鉱に占める比率、径分布及び形状等の焼結鉱の組織構成を定量的に測定することにより取得されるデータは、焼結鉱の品質制御に関する知見を得る上で有用である。 Sintered ore is a raw material that accounts for 80% of the charges charged into the blast furnace, and is the main raw material charged into the blast furnace. The quality of the sinter is one of the factors that determine the operating state of the blast furnace, and is determined by the structure of the pores of the sinter and the composition of the minerals that form the substrate. In the self-soluble sintered ore that is widely used as a raw material for blast furnaces, the substrates are hematite (Fe ₂ O ₃ ), magnetite (Fe ₃ O ₄ ), calcium ferrite (CaO ・ Fe ₂ O ₃ ), and silicate slag (CaO ・). It has four mineral phases of _{SiO 2).} The data obtained by quantitatively measuring the structural composition of the sinter, such as the ratio of the mineral phase and pores to the sinter, the diameter distribution, and the shape, is used to obtain knowledge on the quality control of the sinter. It is useful.

光学顕微鏡及び走査電子顕微鏡(Scanning Electron Microscope、ＳＥＭ)等で観察される焼結鉱の断面を撮像装置により撮像された断面画像を画像解析することによって、焼結鉱の組織構成を定量化する技術が知られている（例えば、特許文献１〜３を参照）。特許文献１〜３に記載される技術では、焼結鉱の組織構成は、焼結鉱を撮像した画像を形成する画素の輝度に基づいて推定される。しかしながら、画像の輝度は、撮像条件及び試料の撮像場所毎に相違するため、特許文献１〜３に記載される技術では、推定される焼結鉱の組織構成が画像毎に相違し、焼結鉱の組織構成を精度高く推定することは容易ではない。 A technique for quantifying the structural composition of a sintered ore by analyzing the cross-sectional image taken by an imaging device of the cross section of the sintered ore observed with an optical microscope and a scanning electron microscope (SEM). Is known (see, for example, Patent Documents 1 to 3). In the techniques described in Patent Documents 1 to 3, the structural composition of the sinter is estimated based on the brightness of the pixels forming the image of the sinter. However, since the brightness of the image differs depending on the imaging conditions and the imaging location of the sample, in the techniques described in Patent Documents 1 to 3, the estimated microstructure composition of the sintered ore differs for each image, and the sinter is performed. It is not easy to estimate the structure of the ore with high accuracy.

一方、画像を示す画像データを教師データとして使用して、ディープラーニングにより機械学習された学習モデルを使用することで、画像に含まれる種々の特徴を高精度に識別する技術が知られている（例えば、特許文献４を参照）。しかしながら、機械学習された学習モデルを使用して焼結鉱の組織構成を推定する技術は、知られていない。 On the other hand, there is known a technique for identifying various features contained in an image with high accuracy by using image data showing an image as teacher data and using a learning model machine-learned by deep learning (). For example, see Patent Document 4). However, no technique is known for estimating the microstructural composition of sinter using a machine-learned learning model.

特開２０１３−１２２４０３号公報Japanese Unexamined Patent Publication No. 2013-122403 特開２０１４−２１５９８７号公報Japanese Unexamined Patent Publication No. 2014-215987 特開２０１４−１３７３４４号公報Japanese Unexamined Patent Publication No. 2014-137344 特開２０１９−２００７６９号公報Japanese Unexamined Patent Publication No. 2019-200769

本発明の発明者らは、焼結鉱の断面画像を使用して焼結鉱の組織構成を学習モデルに機械学習させるときに、教師データとして使用する焼結鉱の断面画像を適宜選択することで、焼結鉱の組織構成を高精度に推定可能な学習モデルを生成することを見出した。 The inventors of the present invention appropriately select a cross-sectional image of the sinter to be used as training data when the learning model is machine-learned about the structural composition of the sinter using the cross-sectional image of the sinter. We found that we can generate a learning model that can estimate the structure composition of sinter with high accuracy.

本発明は、焼結鉱の組織構成を高精度に推定可能な学習モデルを生成可能な組織構成学習装置を提供することを目的とする。 An object of the present invention is to provide a structure structure learning device capable of generating a learning model capable of estimating the structure structure of a sinter with high accuracy.

このような課題を解決する本発明は、以下に示す焼結鉱の組織構成学習装置、組織構成学習方法及び組織構成学習プログラムを要旨とするものである。
（１）焼結鉱の断面を撮像した複数の断面画像をそれぞれが示す複数の画像データを取得する画像データ取得部と、
断面画像の複数の領域のそれぞれを、焼結鉱に含まれる鉱物相に関連付けて複数の学習用データを生成する学習用データ生成部と、
複数の学習用データを用いて複数の断面画像と焼結鉱の組織構成との関係性を学習モデルに学習させる学習処理部と、
学習した複数の断面画像と焼結鉱の組織構成との関係性に基づいて、焼結鉱の断面を撮像した断面画像から焼結鉱の組織構成を推定する学習モデルを出力する学習モデル出力部と、を有し、
複数の学習用データのそれぞれは、ヘマタイト、マグネタイト、カルシウムフェライト及びシリケートスラグのうち少なくとも３つの鉱物相に、複数の領域を関連付けて生成される、ことを特徴とする焼結鉱の組織構成学習装置。
（２）複数の学習用データは、
複数の領域をヘマタイト、マグネタイト及びカルシウムフェライトに関連付けて生成された第１学習用データと、
複数の領域をヘマタイト、マグネタイト及びシリケートスラグに関連付けて生成された第２学習用データと、
複数の領域をヘマタイト、カルシウムフェライト及びシリケートスラグに関連付けて生成された第３学習用データと、
複数の領域をマグネタイト、シリケートスラグ及びカルシウムフェライトに関連付けて生成された第４学習用データと、
複数の領域をヘマタイト、マグネタイト、カルシウムフェライト及びシリケートスラグに関連付けて生成された第５学習用データと、
を含む、（１）に記載の焼結鉱の組織構成学習装置。
（３）第１学習用データ、第２学習用データ、第３学習用データ、第４学習用データ及び第５学習用データの少なくとも１つは、輝度が異なる少なくとも２つの学習用データを含む、（２）に記載の焼結鉱の組織構成学習装置。
（４）第１学習用データ、第２学習用データ、第３学習用データ、第４学習用データ及び第５学習用データの少なくとも１つは、コントラストが異なる少なくとも２つの学習用データを含む、（２）又は（３）に記載の焼結鉱の組織構成学習装置。
（５）複数の学習用データは、脈石に複数の領域を関連付けて生成された第６学習用データを更に含む、（２）〜（４）の何れか一つに記載の焼結鉱の組織構成学習装置。
（６）第６学習用データは、輝度が異なる少なくとも２つの学習用データを含む、（５）に記載の焼結鉱の組織構成学習装置。
（７）第６学習用データは、コントラストが異なる少なくとも２つの学習用データを含む、（５）又は（６）に記載の焼結鉱の組織構成学習装置。
（８）焼結鉱の断面を撮像した複数の断面画像をそれぞれが示す複数の画像データを取得し、
断面画像の複数の領域のそれぞれを、焼結鉱に含まれる鉱物相に関連付けて複数の学習用データを生成し、
複数の学習用データを用いて複数の断面画像と焼結鉱の組織構成との関係性を学習モデルに学習させ、
学習した複数の断面画像と焼結鉱の組織構成との関係性に基づいて、焼結鉱の断面を撮像した断面画像から焼結鉱の組織構成を推定する学習モデルを出力する、処理をコンピュータに実行させ、
複数の学習用データのそれぞれは、ヘマタイト、マグネタイト、カルシウムフェライト及びシリケートスラグのうち少なくとも３つの鉱物相に、複数の領域を関連付けて生成される、ことを特徴とする焼結鉱の組織構成学習プログラム。
（９）焼結鉱の断面を撮像した複数の断面画像をそれぞれが示す複数の画像データを取得し、
断面画像の複数の領域のそれぞれを、焼結鉱に含まれる鉱物相に関連付けて複数の学習用データを生成し、
複数の学習用データを用いて複数の断面画像と焼結鉱の組織構成との関係性を学習モデルに学習させ、
学習した複数の断面画像と焼結鉱の組織構成との関係性に基づいて、焼結鉱の断面を撮像した断面画像から焼結鉱の組織構成を推定する学習モデルを出力する、ことを含み、
複数の学習用データのそれぞれは、ヘマタイト、マグネタイト、カルシウムフェライト及びシリケートスラグのうち少なくとも３つの鉱物相に、複数の領域を関連付けて生成される、ことを特徴とする焼結鉱の組織構成学習方法。 The gist of the present invention for solving such a problem is the structure learning device, the structure structure learning method, and the structure structure learning program of the sintered ore shown below.
(1) An image data acquisition unit that acquires a plurality of image data, each of which shows a plurality of cross-sectional images of the cross-section of the sinter.
A learning data generation unit that generates a plurality of learning data by associating each of a plurality of regions of a cross-sectional image with a mineral phase contained in the sinter.
A learning processing unit that trains a learning model to learn the relationship between multiple cross-sectional images and the structural composition of sinter using multiple learning data.
Learning model output unit that outputs a learning model that estimates the sinter structure from the cross-sectional images of the sinter based on the relationship between the learned multiple cross-sectional images and the sinter structure. And have
Each of the plurality of training data is generated by associating a plurality of regions with at least three mineral phases of hematite, magnetite, calcium ferrite and silicate slag. ..
(2) Multiple learning data
First training data generated by associating multiple regions with hematite, magnetite and calcium ferrite,
Second training data generated by associating multiple regions with hematite, magnetite and silicate slag,
Third training data generated by associating multiple regions with hematite, calcium ferrite and silicate slag,
Fourth training data generated by associating multiple regions with magnetite, silicate slag and calcium ferrite,
Fifth training data generated by associating multiple regions with hematite, magnetite, calcium ferrite and silicate slag,
The structure learning apparatus for sinter according to (1).
(3) At least one of the first learning data, the second learning data, the third learning data, the fourth learning data, and the fifth learning data includes at least two learning data having different brightness. The structure learning device for sintered ore according to (2).
(4) At least one of the first learning data, the second learning data, the third learning data, the fourth learning data, and the fifth learning data includes at least two learning data having different contrasts. The structure learning apparatus for sintered ore according to (2) or (3).
(5) The sinter according to any one of (2) to (4), wherein the plurality of learning data further includes the sixth learning data generated by associating a plurality of regions with the gangue. Organizational structure learning device.
(6) The structure learning apparatus for sinter according to (5), wherein the sixth learning data includes at least two learning data having different brightness.
(7) The structure learning apparatus for sinter according to (5) or (6), wherein the sixth learning data includes at least two learning data having different contrasts.
(8) Acquire a plurality of image data showing each of a plurality of cross-sectional images obtained by capturing a cross-section of the sinter.
Generate multiple learning data by associating each of the multiple regions of the cross-sectional image with the mineral phase contained in the sinter.
Using multiple learning data, the learning model is trained to learn the relationship between multiple cross-sectional images and the structural composition of the sinter.
Based on the relationship between the learned multiple cross-sectional images and the sinter structure, a computer that outputs a learning model that estimates the sinter structure from the cross-section images of the sinter. To execute,
Each of the plurality of training data is generated by associating a plurality of regions with at least three mineral phases of hematite, magnetite, calcium ferrite and silicate slag. ..
(9) Acquire a plurality of image data showing each of a plurality of cross-sectional images obtained by capturing a cross-section of the sinter.
Generate multiple learning data by associating each of the multiple regions of the cross-sectional image with the mineral phase contained in the sinter.
Using multiple learning data, the learning model is trained to learn the relationship between multiple cross-sectional images and the structural composition of the sinter.
It includes outputting a learning model that estimates the structural composition of the sinter from the cross-sectional images of the sintered ore based on the relationship between the learned multiple cross-sectional images and the structural composition of the sinter. ,
Each of the plurality of training data is generated by associating a plurality of regions with at least three mineral phases of hematite, magnetite, calcium ferrite and silicate slag. ..

一実施形態に係る組織構成学習装置により生成される学習モデルは、焼結鉱の組織構成を高精度に推定できる。 The learning model generated by the structure structure learning device according to the embodiment can estimate the structure structure of the sinter with high accuracy.

（ａ）はヘマタイト及びシリケートスラグを含む画像であり、（ｂ）はマグネタイト及びシリケートスラグを含む画像であり、（ｃ）はヘマタイト及びカルシウムフェライトを含む画像であり、（ｄ）はマグネタイト及びカルシウムフェライトを含む画像であり、（ｅ）はヘマタイト、マグネタイト及びシリケートスラグを含む画像であり、（ｆ）はヘマタイト、マグネタイト及びカルシウムフェライトを含む画像である。(A) is an image containing hematite and silicate slag, (b) is an image containing magnetite and silicate slag, (c) is an image containing hematite and calcium ferrite, and (d) is an image containing magnetite and calcium ferrite. (E) is an image containing hematite, magnetite and silicate slag, and (f) is an image containing hematite, magnetite and calcium ferrite. （ａ）はヘマタイト、カルシウムフェライト及びシリケートスラグを含む画像であり、（ｂ）はマグネタイト、カルシウムフェライト及びシリケートスラグを含む画像であり、（ｃ）はヘマタイト、マグネタイト、カルシウムフェライト及びシリケートスラグを含む画像であり、（ｄ）はヘマタイトに加えて脈石を含む画像である。(A) is an image containing hematite, calcium ferrite and silicate slag, (b) is an image containing magnetite, calcium ferrite and silicate slag, and (c) is an image containing hematite, magnetite, calcium ferrite and silicate slag. (D) is an image containing gangue in addition to hematite. 第１実施形態に係る組織構成学習装置を含む組織構成学習システムを示す図である。It is a figure which shows the organization structure learning system which includes the organization structure learning apparatus which concerns on 1st Embodiment. 図３に示す組織構成学習装置を示すブロック図である。It is a block diagram which shows the tissue composition learning apparatus shown in FIG. 図３に示す組織構成学習装置により実行される組織構成学習処理のフローチャートである。It is a flowchart of the tissue structure learning process executed by the tissue structure learning apparatus shown in FIG. 図４に示す学習用データ生成部が表示するＧＵＩにより、断面画像の複数の領域のそれぞれを、焼結鉱に含まれる鉱物相に関連付ける処理を示す図あり、（ａ）は第１の状態を示し、（ｂ）は第２の状態を示し、（ｃ）は第３の状態を示し、（ｄ）は第４の状態を示す。There is a diagram showing a process of associating each of a plurality of regions of the cross-sectional image with the mineral phase contained in the sinter by the GUI displayed by the learning data generation unit shown in FIG. 4, and (a) shows the first state. (B) shows the second state, (c) shows the third state, and (d) shows the fourth state. 第２実施形態に係る組織構成学習装置を示すブロック図である。It is a block diagram which shows the organization structure learning apparatus which concerns on 2nd Embodiment. 図７に示す組織構成学習装置により実行される組織構成学習処理のフローチャートである。It is a flowchart of the tissue structure learning process executed by the tissue structure learning apparatus shown in FIG. 7. 第３実施形態に係る組織構成学習装置を示すブロック図である。It is a block diagram which shows the organization structure learning apparatus which concerns on 3rd Embodiment. 図９に示す組織構成学習装置により実行される組織構成学習処理のフローチャートである。It is a flowchart of the tissue structure learning process executed by the tissue structure learning apparatus shown in FIG.

以下図面を参照して、本発明に係る組織構成学習装置、組織構成学習方法及び組織構成学習プログラムについて説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されない。 The organizational structure learning device, the organizational structure learning method, and the organizational structure learning program according to the present invention will be described with reference to the drawings below. However, the technical scope of the present invention is not limited to those embodiments.

（実施形態に係る組織構成学習装置の概要）
本発明の発明者らは、焼結鉱の組織構成を学習モデルに機械学習させるときに、教師データとして使用される焼結鉱の断面画像と、機械学習された学習モデルが焼結鉱の組織構成を推定するときの推定精度との関係性を検討した。具体的には、本発明の発明者らは、焼結鉱の鉱物相であるヘマタイト、マグネタイト、カルシウムフェライト及びシリケートスラグの何れか２つ以上を含む画像を示す画像データを使用して、何れの画像が学習モデルの機械学習に有用であるかを検討した。 (Outline of the organizational structure learning device according to the embodiment)
The inventors of the present invention use a cross-sectional image of the sintered ore used as training data when the learning model is machine-learned about the structure of the sintered ore, and the machine-learned learning model is the structure of the sintered ore. The relationship with the estimation accuracy when estimating the configuration was examined. Specifically, the inventors of the present invention use image data showing an image containing any two or more of the mineral phases of the sintered ore, hematite, magnetite, calcium ferrite, and silicate slag. We examined whether images are useful for machine learning of learning models.

焼結鉱の鉱物相であるヘマタイト、マグネタイト、カルシウムフェライト及びシリケートスラグの何れか２つ以上を含む画像には、全鉱物相を有する画像が１種、４つの内３つの鉱物相を有する画像が４種、４つの内２つの鉱物相を有する画像が６種、組み合わせの理論上存在する。その内、想定している倍率の画像では、ヘマタイト及びマグネタイトを有する画像、また、カルシウムフェライト及びシリケートスラグを有する画像は存在しない。なお、各鉱物単独の画像も同様である。従って、対象となる画像は以下の図２（ｄ）を除いた９種となる。 In the image containing any two or more of hematite, magnetite, calcium ferrite and silicate slag, which are the mineral phases of the sintered ore, one image has all mineral phases, and one image has three of four mineral phases. There are 6 types of images with 2 mineral phases out of 4 types, and theoretically there are combinations. Among them, in the image of the assumed magnification, there is no image having hematite and magnetite, and no image having calcium ferrite and silicate slag. The same applies to the images of each mineral alone. Therefore, there are nine types of target images excluding FIG. 2 (d) below.

図１〜２は、検討に使用された断面画像を示す図である。図１（ａ）はヘマタイト及びシリケートスラグを有する画像であり、図１（ｂ）はマグネタイト及びシリケートスラグを有する画像であり、図１（ｃ）はヘマタイト及びカルシウムフェライトを有する画像である。図１（ｄ）はマグネタイト及びカルシウムフェライトを有する画像であり、図１（ｅ）はヘマタイト、マグネタイト及びシリケートスラグを有する画像であり、図１（ｆ）はヘマタイト、マグネタイト及びカルシウムフェライトを有する画像である。図２（ａ）はヘマタイト、カルシウムフェライト及びシリケートスラグを有する画像であり、図２（ｂ）はマグネタイト、カルシウムフェライト及びシリケートスラグを有する画像である。図２（ｃ）はヘマタイト、マグネタイト、カルシウムフェライト及びシリケートスラグを有する画像であり、図２（ｄ）は脈石を含む画像である。 1 and 2 are views showing cross-sectional images used in the study. FIG. 1A is an image having hematite and silicate slag, FIG. 1B is an image having magnetite and silicate slag, and FIG. 1C is an image having hematite and calcium ferrite. FIG. 1 (d) is an image having magnetite and calcium ferrite, FIG. 1 (e) is an image having hematite, magnetite and silicate slag, and FIG. 1 (f) is an image having hematite, magnetite and calcium ferrite. be. FIG. 2A is an image having hematite, calcium ferrite and silicate slag, and FIG. 2B is an image having magnetite, calcium ferrite and silicate slag. FIG. 2C is an image having hematite, magnetite, calcium ferrite and silicate slag, and FIG. 2D is an image containing gangue.

図１及び２において、矢印Ｈはヘマタイトを示し、矢印Ｍはマグネタイトを示し、矢印Ｆはカルシウムフェライトを示し、矢印Ｓはシリケートスラグを示し、矢印Ｇは脈石を示す。 In FIGS. 1 and 2, arrow H indicates hematite, arrow M indicates magnetite, arrow F indicates calcium ferrite, arrow S indicates silicate slag, and arrow G indicates gangue.

図１及び２に示す断面画像の複数の領域のそれぞれは、焼結鉱に含まれるヘマタイト、マグネタイト、カルシウムフェライト及びシリケートスラグの４つの鉱物相並びに脈石に関連付けられる。複数の領域が鉱物相に関連付けられた断面画像を示す画像データは、断面画像と焼結鉱の組織構成との関係性を学習モデルが機械学習するときに、学習用データとして使用される。 Each of the plurality of regions of the cross-sectional images shown in FIGS. 1 and 2 is associated with the four mineral phases of hematite, magnetite, calcium ferrite and silicate slag and gangue contained in the sinter. The image data showing the cross-sectional image in which a plurality of regions are associated with the mineral phase is used as learning data when the learning model machine-learns the relationship between the cross-sectional image and the structure structure of the sintered ore.

本発明の発明者らは、学習モデルとしてpythonによる画像処理が可能なZEISS社製の「ZEN Intellesis」を使用して、断面画像と焼結鉱の組織構成との関係性を推定する学習モデルを生成した。 The inventors of the present invention use "ZEN Intellesis" manufactured by ZEISS, which can process images with python, as a learning model to estimate the relationship between the cross-sectional image and the structure composition of the sinter. Generated.

図１（ａ）〜２（ｃ）に示す９個の画像にそれぞれに含まれる鉱物相と、学習モデルが鉱物相を推定するときの精度を示す推定精度との関係を明確化するために、教師データに含まれる画像データを変化させて、生成される学習モデルの推定精度を比較した。 In order to clarify the relationship between the mineral phase contained in each of the nine images shown in FIGS. 1 (a) and 1 (c) and the estimation accuracy indicating the accuracy when the learning model estimates the mineral phase. The image data included in the teacher data was changed, and the estimation accuracy of the generated learning model was compared.

表１は、教師データに含まれる画像データを変化させて、生成される学習モデルの推定精度を示す。 Table 1 shows the estimation accuracy of the learning model generated by changing the image data included in the teacher data.

表１において、「条件０」は、図１（ａ）〜２（ｃ）に示す９個の断面画像を示す画像データの全てを学習用データと使用して機械学習された学習モデルを示す。「条件１」〜「条件９」のそれぞれは、図１（ａ）〜２（ｃ）に示す９個の画像の何れか１つの画像を示す画像データを除く８個の画像データを学習用データと使用して機械学習された学習モデルを示す。「条件１」は図１（ａ）に示す断面画像を示す画像データを除いた場合を示し、「条件２」は図１（ｂ）に示す断面画像を示す画像データを除いた場合を示し、「条件３」は図１（ｃ）に示す断面画像を示す画像データを除いた場合を示す。「条件４」は図１（ｄ）に示す断面画像を示す画像データを除いた場合を示し、「条件５」は図１（ｅ）に示す断面画像を示す画像データを除いた場合を示し、「条件６」は図１（ｆ）に示す断面画像を示す画像データを除いた場合を示す。「条件７」は図２（ａ）に示す断面画像を示す画像データを除いた場合を示し、「条件８」は図２（ｂ）に示す断面画像を示す画像データを除いた場合を示し、「条件９」は図２（ｃ）に示す断面画像を示す画像データを除いた場合を示す。 In Table 1, "condition 0" indicates a learning model machine-learned using all of the image data showing the nine cross-sectional images shown in FIGS. 1 (a) and 1 (c) as the learning data. Each of "Condition 1" to "Condition 9" uses eight image data for learning, excluding the image data indicating any one of the nine images shown in FIGS. 1 (a) and 1 (c). Shows a machine-learned learning model using. "Condition 1" shows the case where the image data showing the cross-sectional image shown in FIG. 1 (a) is excluded, and "Condition 2" shows the case where the image data showing the cross-sectional image shown in FIG. 1 (b) is excluded. “Condition 3” shows the case where the image data showing the cross-sectional image shown in FIG. 1 (c) is excluded. "Condition 4" shows the case where the image data showing the cross-sectional image shown in FIG. 1 (d) is excluded, and "Condition 5" shows the case where the image data showing the cross-sectional image shown in FIG. 1 (e) is excluded. “Condition 6” shows the case where the image data showing the cross-sectional image shown in FIG. 1 (f) is excluded. "Condition 7" shows the case where the image data showing the cross-sectional image shown in FIG. 2 (a) is excluded, and "Condition 8" shows the case where the image data showing the cross-sectional image shown in FIG. 2 (b) is excluded. “Condition 9” shows a case where the image data showing the cross-sectional image shown in FIG. 2C is excluded.

表１において、推定精度は、生成された９個の学習モデルのそれぞれに、焼結鉱の断面画像を示す３００個の画像データを入力したときに出力される推定結果と、焼結鉱の断面画像に含まれる焼結鉱の組織構成を目視により識別した識別結果との一致度である。学習モデルから出力される推定結果と目視による識別結果との間に相違点がなく一致した場合、学習モデルの推定結果は正しいと判定される。一方、学習モデルから出力される推定結果と目視による識別結果との間に相違点があり一致しない場合、学習モデルの推定結果は誤りと判定される。表１における推定精度は、入力した３００個の画像データの中で、学習モデルの推定結果は正しいと判定された画像データの割合を示す。 In Table 1, the estimation accuracy is the estimation result output when 300 image data showing the cross-sectional image of the sinter is input to each of the nine generated learning models, and the cross-section of the sinter. It is the degree of agreement with the identification result of visually identifying the structural composition of the sinter contained in the image. If there is no difference between the estimation result output from the learning model and the visual identification result and they match, the estimation result of the learning model is judged to be correct. On the other hand, if there is a difference between the estimation result output from the learning model and the visual identification result and they do not match, the estimation result of the learning model is determined to be incorrect. The estimation accuracy in Table 1 indicates the ratio of the image data in which the estimation result of the learning model is determined to be correct among the 300 input image data.

９個の断面画像を示す画像データの全てを学習用データと使用した「条件０」では、学習モデルの判定精度は９２％であった。４つの鉱物相の何れか２つを含む断面画像を学習用データと使用した「条件１」〜「条件４」では、学習モデルの判定精度は９０％から９２％まので間の値となり、「条件１」〜「条件４」の推定精度は、「条件０」の推定精度と略同一であった。 Under "condition 0" in which all the image data showing the nine cross-sectional images were used as the learning data, the determination accuracy of the learning model was 92%. In "Condition 1" to "Condition 4" in which a cross-sectional image containing any two of the four mineral phases was used as the learning data, the judgment accuracy of the learning model was between 90% and 92%, which was a value between "Condition 1" and "Condition 4". The estimation accuracy of "Condition 1" to "Condition 4" was substantially the same as the estimation accuracy of "Condition 0".

一方、４つの鉱物相の少なくとも３つを含む断面画像を学習用データと使用した「条件５」〜「条件９」では、学習モデルの推定精度は４８％から７５％まので間の値となった。「条件５」〜「条件９」の中では、ヘマタイト、マグネタイト及びシリケートスラグを含む画像を除いた「条件５」の推定精度が最も高く７５％であった。一方、ヘマタイト、カルシウムフェライト及びシリケートスラグを含む画像を除いた「条件７」の推定精度が「条件５」〜「条件９」の中では最も低く４８％であった。 On the other hand, in "Condition 5" to "Condition 9" using the cross-sectional image containing at least three of the four mineral phases as the training data, the estimation accuracy of the learning model is between 48% and 75%. rice field. Among "Condition 5" to "Condition 9", the estimation accuracy of "Condition 5" excluding images including hematite, magnetite and silicate slag was the highest at 75%. On the other hand, the estimation accuracy of "Condition 7" excluding the images containing hematite, calcium ferrite and silicate slag was the lowest among "Condition 5" to "Condition 9", which was 48%.

本発明の発明者らは、表１に示す推定結果に基づいて、焼結鉱が有する４つの鉱物相のうち少なくとも３つの鉱物相に、画像の複数の領域を関連付けて生成する学習用データを使用することで、生成される学習モデルの推定精度を向上させることを見出した。 Based on the estimation results shown in Table 1, the inventors of the present invention generate learning data in which a plurality of regions of an image are associated with at least three mineral phases among the four mineral phases of the sinter. It has been found that the use improves the estimation accuracy of the generated learning model.

学習用データは、図１（ｅ）及び１（ｆ）並びに図２（ａ）〜２（ｃ）のそれぞれに示す画像に対応する画像の複数の領域を関連付けて生成される学習用データを含む。図１（ｅ）に示す画像に対応する第１学習用データは、ヘマタイト、マグネタイト及びシリケートスラグに、画像の複数の領域を関連付けて生成される。図１（ｆ）に示す画像に対応する第２学習用データは、ヘマタイト、マグネタイト及びカルシウムフェライトに、画像の複数の領域を関連付けて生成される。図２（ａ）に示す画像に対応する第３学習用データは、ヘマタイト、カルシウムフェライト及びシリケートスラグに、画像の複数の領域を関連付けて生成される。図２（ｂ）に示す画像に対応する第４学習用データは、マグネタイト、シリケートスラグ及びカルシウムフェライトに、画像の複数の領域を関連付けて生成される。図２（ｃ）に示す画像に対応する第５学習用データは、ヘマタイト、マグネタイト、カルシウムフェライト及びシリケートスラグに、画像の複数の領域を関連付けて生成される。 The learning data includes learning data generated by associating a plurality of regions of an image corresponding to the images shown in FIGS. 1 (e) and 1 (f) and FIGS. 2 (a) and 2 (c). .. The first training data corresponding to the image shown in FIG. 1 (e) is generated by associating a plurality of regions of the image with hematite, magnetite, and silicate slag. The second learning data corresponding to the image shown in FIG. 1 (f) is generated by associating a plurality of regions of the image with hematite, magnetite, and calcium ferrite. The third learning data corresponding to the image shown in FIG. 2A is generated by associating a plurality of regions of the image with hematite, calcium ferrite, and silicate slag. The fourth learning data corresponding to the image shown in FIG. 2B is generated by associating a plurality of regions of the image with magnetite, silicate slag, and calcium ferrite. The fifth learning data corresponding to the image shown in FIG. 2C is generated by associating a plurality of regions of the image with hematite, magnetite, calcium ferrite and silicate slag.

図１（ｅ）及び１（ｆ）並びに図２（ａ）〜２（ｃ）のそれぞれに示す画像に対応する第１〜第５学習用データを含む学習用データによって機械学習された学習モデルを使用することで、焼結鉱の組織構成を高精度に推定できる。 A learning model machine-learned by learning data including first to fifth learning data corresponding to the images shown in FIGS. 1 (e) and 1 (f) and FIGS. 2 (a) to 2 (c). By using it, the structural composition of the sinter can be estimated with high accuracy.

（第１実施形態に係る組織構成学習装置の構成及び機能）
図３は、第１実施形態に係る組織構成学習装置を含む組織構成学習システムを示す図である。 (Structure and function of the organizational structure learning device according to the first embodiment)
FIG. 3 is a diagram showing an organizational structure learning system including the organizational structure learning device according to the first embodiment.

組織構成学習システム１００は、光学顕微鏡１０１と、撮像装置１０２と、組織構成学習装置１とを有する。光学顕微鏡１０１は、断面が視認可能なように切断され、ステージ１１０に配置された焼結鉱１０５の所望の領域を、例えば５００倍等の所望の倍率で拡大して観察する。光学顕微鏡１０１によって拡大された焼結鉱１０５の領域は、撮像装置１０２によって撮像される。撮像装置１０２は、ＣＣＤ（Charge Coupled Device）イメージセンサ等の画像検出素子と、画像検出素子が検出した画像を記憶する記憶素子とを有し、光学顕微鏡１０１によって拡大された焼結鉱１０５の領域を撮像する。 The tissue structure learning system 100 includes an optical microscope 101, an image pickup device 102, and a tissue structure learning device 1. The optical microscope 101 is cut so that the cross section can be visually recognized, and the desired region of the sinter 105 arranged on the stage 110 is magnified and observed at a desired magnification such as 500 times. The region of the sinter 105 magnified by the optical microscope 101 is imaged by the imaging device 102. The image pickup device 102 includes an image detection element such as a CCD (Charge Coupled Device) image sensor and a storage element for storing an image detected by the image detection element, and the region of the sintered ore 105 enlarged by the optical microscope 101. To image.

撮像装置１０２によって撮像された焼結鉱の断面画像を示す画像データは、通信配線１０３を介して組織構成学習装置１に送信される。組織構成学習システム１００では、撮像装置１０２と組織構成学習装置１との間は、通信配線１０３を介して通信可能に接続される。しかしながら、実施形態に係る組織構成学習システムでは、撮像装置１０２と組織構成学習装置１との間は、通信可能に接続されなくてもよい。撮像装置１０２と組織構成学習装置１との間が接続されないとき、焼結鉱の断面画像を示す画像データは、撮像装置１０２及び組織構成学習装置１に着脱可能な記憶媒体により記憶されて、撮像装置１０２から組織構成学習装置１に移動される。 The image data showing the cross-sectional image of the sinter imaged by the image pickup device 102 is transmitted to the tissue composition learning device 1 via the communication wiring 103. In the organization structure learning system 100, the image pickup device 102 and the tissue structure learning device 1 are communicably connected via the communication wiring 103. However, in the organizational structure learning system according to the embodiment, the image pickup device 102 and the tissue structure learning device 1 do not have to be communicably connected to each other. When the image pickup device 102 and the structure structure learning device 1 are not connected, the image data showing the cross-sectional image of the sintered ore is stored in the image pickup device 102 and the structure structure learning device 1 by a removable storage medium for imaging. It is moved from the device 102 to the tissue structure learning device 1.

（第１実施形態に係る組織構成学習装置の構成及び機能）
図４は、組織構成学習装置１を示すブロック図である。 (Structure and function of the organizational structure learning device according to the first embodiment)
FIG. 4 is a block diagram showing the organization structure learning device 1.

組織構成学習装置１は、通信部１１と、記憶部１２と、入力部１３と、出力部１４と、処理部２０と、学習モデル３０とを有する。通信部１１、記憶部１２、入力部１３、出力部１４、処理部２０及び学習モデル３０は、バス１５を介して互いに接続される。組織構成学習装置１は、撮像装置１０２によって撮像された焼結鉱の断面画像を示す画像データを使用して、焼結鉱の断面画像と焼結鉱の組織構成との関係性を学習モデル３０に学習させる。一例では、組織構成学習装置１は、パーソナルコンピュータである。 The organization structure learning device 1 includes a communication unit 11, a storage unit 12, an input unit 13, an output unit 14, a processing unit 20, and a learning model 30. The communication unit 11, the storage unit 12, the input unit 13, the output unit 14, the processing unit 20, and the learning model 30 are connected to each other via the bus 15. The structure structure learning device 1 uses image data showing a cross-sectional image of the sinter imaged by the image pickup device 102 to learn the relationship between the cross-sectional image of the sinter and the structure structure of the sinter model 30. To learn. In one example, the organizational structure learning device 1 is a personal computer.

通信部１１は、イーサネット（登録商標）などの有線の通信インターフェース回路を有する。通信部１１は、通信配線１０３を介して撮像装置１０２及び不図示のサーバ等と通信を行う。 The communication unit 11 has a wired communication interface circuit such as Ethernet (registered trademark). The communication unit 11 communicates with the image pickup apparatus 102, a server (not shown), and the like via the communication wiring 103.

記憶部１２は、例えば、半導体記憶装置、磁気テープ装置、磁気ディスク装置、又は光ディスク装置のうちの少なくとも一つを備える。記憶部１２は、処理部２０での処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。例えば、記憶部１２は、焼結鉱の断面画像を示す画像データを使用して、焼結鉱の断面画像と焼結鉱の組織構成との関係性を学習モデル３０に学習させる組織構成学習処理を処理部２０に実行させるための組織構成学習プログラム等を記憶する。組織構成学習プログラムは、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて記憶部１２にインストールされてもよい。また、記憶部１２は、組織構成学習処理で使用される種々のデータを記憶する。 The storage unit 12 includes, for example, at least one of a semiconductor storage device, a magnetic tape device, a magnetic disk device, or an optical disk device. The storage unit 12 stores an operating system program, a driver program, an application program, data, and the like used for processing in the processing unit 20. For example, the storage unit 12 uses image data showing a cross-sectional image of the sintered ore to cause the learning model 30 to learn the relationship between the cross-sectional image of the sintered ore and the structural composition of the sintered ore. Stores an organizational structure learning program or the like for causing the processing unit 20 to execute the above. The tissue structure learning program may be installed in the storage unit 12 from a computer-readable portable recording medium such as a CD-ROM or a DVD-ROM using a known setup program or the like. In addition, the storage unit 12 stores various data used in the tissue structure learning process.

入力部１３は、データの入力が可能であればどのようなデバイスでもよく、例えば、タッチパネル、キーボード等である。オペレータは、入力部１３を用いて、文字、数字、記号等を入力することができる。入力部１３は、オペレータにより操作されると、その操作に対応する信号を生成する。そして、生成された信号は、オペレータの指示として、処理部２０に供給される。 The input unit 13 may be any device as long as it can input data, and is, for example, a touch panel, a keyboard, or the like. The operator can input characters, numbers, symbols, etc. using the input unit 13. When the input unit 13 is operated by the operator, the input unit 13 generates a signal corresponding to the operation. Then, the generated signal is supplied to the processing unit 20 as an operator's instruction.

出力部１４は、映像や画像等の表示が可能であればどのようなデバイスでもよく、例えば、液晶ディスプレイ又は有機ＥＬ（Electro−Luminescence）ディスプレイ等である。出力部１４は、処理部２０から供給された映像データに応じた映像や、画像データに応じた画像等を表示する。また、出力部１４は、紙などの表示媒体に、映像、画像又は文字等を印刷する出力装置であってもよい。 The output unit 14 may be any device as long as it can display an image, an image, or the like, and is, for example, a liquid crystal display or an organic EL (Electro-Luminescence) display. The output unit 14 displays a video corresponding to the video data supplied from the processing unit 20, an image corresponding to the image data, and the like. Further, the output unit 14 may be an output device that prints an image, an image, characters, or the like on a display medium such as paper.

処理部２０は、一又は複数個のプロセッサ及びその周辺回路を有する。処理部２０は、組織構成学習装置１の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵである。処理部２０は、記憶部１２に記憶されているプログラム（ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等）に基づいて処理を実行する。また、処理部２０は、複数のプログラム（アプリケーションプログラム等）を並列に実行できる。 The processing unit 20 includes one or more processors and peripheral circuits thereof. The processing unit 20 comprehensively controls the overall operation of the organization structure learning device 1, and is, for example, a CPU. The processing unit 20 executes processing based on a program (driver program, operating system program, application program, etc.) stored in the storage unit 12. Further, the processing unit 20 can execute a plurality of programs (application programs and the like) in parallel.

処理部２０は、画像データ取得部２１と、画像データ補正部２２と、学習用データ生成部２３と、学習処理部２４と、学習モデル出力部２５とを有する。これらの各部は、処理部２０が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、これらの各部は、ファームウェアとして組織構成学習装置１に実装されてもよい。 The processing unit 20 includes an image data acquisition unit 21, an image data correction unit 22, a learning data generation unit 23, a learning processing unit 24, and a learning model output unit 25. Each of these units is a functional module realized by a program executed by the processor included in the processing unit 20. Alternatively, each of these parts may be mounted on the organizational structure learning device 1 as firmware.

学習モデル３０は、教師あり学習により抽象化された画像の特徴を学習する学習モデルであり、例えば、ディープラーニング等の公知の機械学習技術を用いて、焼結鉱の断面画像と焼結鉱の組織構成との関係性を学習する。ディープラーニングは、入力層、中間層及び出力層から構成される多層構造のニューラルネットワークを用いた機械学習である。入力層の各ノードには、焼結鉱の断面画像のそれぞれの特徴ベクトルが入力される。特徴ベクトルは、例えば、画像の一部の領域を切り出した部分画像であってもよい。また、特徴ベクトルとして使用される部分画像のそれぞれは、一部が他の部分画像と重畳するように切り出されてもよい。中間層の各ノードは、入力層の各ノードから出力された各特徴ベクトルに重みを乗算した値の総和を出力し、さらに、出力層は、中間層の各ノードから出力された各特徴ベクトルに重みを乗算した値の総和を出力する。学習モデル３０は、各重みを調整しながら、出力層からの出力値と撮焼結鉱の断面画像のそれぞれとの差分が小さくなるように学習する。学習モデル３０は、例えばZEISS社製の「ZEN Intellesis」である。 The learning model 30 is a learning model that learns the features of an image abstracted by supervised learning. For example, a cross-sectional image of a sintered ore and a sintered ore are used by using a known machine learning technique such as deep learning. Learn the relationship with organizational structure. Deep learning is machine learning using a multi-layered neural network composed of an input layer, an intermediate layer, and an output layer. Each node of the input layer is input with each feature vector of the cross-sectional image of the sinter. The feature vector may be, for example, a partial image obtained by cutting out a part of an image. Further, each of the partial images used as the feature vector may be cut out so that a part thereof overlaps with the other partial images. Each node in the intermediate layer outputs the sum of the values obtained by multiplying each feature vector output from each node in the input layer by a weight, and further, the output layer outputs each feature vector output from each node in the intermediate layer. Outputs the sum of the values multiplied by the weights. The learning model 30 learns so that the difference between the output value from the output layer and the cross-sectional image of the sinter image becomes small while adjusting each weight. The learning model 30 is, for example, "ZEN Intellesis" manufactured by ZEISS.

（第１実施形態に係る組織構成学習装置による組織構成学習処理）
図５は、組織構成学習装置１により実行される組織構成学習処理のフローチャートである。図５に示す組織構成学習処理は、予め記憶部１２に記憶されているプログラムに基づいて、主に処理部２０により組織構成学習装置１の各要素と協働して実行される。 (Organizational structure learning process by the organizational structure learning device according to the first embodiment)
FIG. 5 is a flowchart of the organizational structure learning process executed by the tissue structure learning device 1. The tissue structure learning process shown in FIG. 5 is mainly executed by the processing unit 20 in cooperation with each element of the tissue structure learning device 1 based on the program stored in the storage unit 12 in advance.

まず、画像データ取得部２１は、焼結鉱の断面を撮像した複数の断面画像をそれぞれが示す複数の画像データを取得する（Ｓ１０１）。画像データ取得部２１によって取得される複数の画像データ画像に対応する複数の断面画像は、撮像装置１０２によって撮像された焼結鉱の断面画像である。 First, the image data acquisition unit 21 acquires a plurality of image data, each of which shows a plurality of cross-sectional images of the cross-section of the sinter (S101). The plurality of cross-sectional images corresponding to the plurality of image data images acquired by the image data acquisition unit 21 are cross-sectional images of the sintered ore imaged by the image pickup apparatus 102.

次いで、画像データ補正部２２は、Ｓ１０１の処理で取得された複数の画像データのそれぞれに所定の補正処理を実行する（Ｓ１０２）。画像データ補正部２２は、例えば画像データに対応する断面画像に含まれる画素の輝度の中で最も高い輝度が所定の輝度となるように断面画像の輝度を補正する。また、画像データ補正部２２は、画像データに対応する断面画像に含まれる画素の輝度の中で最も高い輝度と最も低い輝度との間の輝度の差が所望の輝度差になるように断面画像のコントラストを補正する。 Next, the image data correction unit 22 executes a predetermined correction process for each of the plurality of image data acquired in the process of S101 (S102). The image data correction unit 22 corrects the brightness of the cross-sectional image so that the highest brightness among the brightness of the pixels included in the cross-sectional image corresponding to the image data becomes a predetermined brightness, for example. Further, the image data correction unit 22 sets the cross-sectional image so that the difference in brightness between the highest brightness and the lowest brightness of the pixels included in the cross-sectional image corresponding to the image data becomes a desired brightness difference. Correct the contrast of.

次いで、学習用データ生成部２３は、複数の画像データ画像に対応するそれぞれの断面画像の複数の領域のそれぞれを、焼結鉱に含まれる鉱物相に関連付けて複数の学習用データを生成する（Ｓ１０３）。学習用データ生成部２３は、焼結鉱の断面画像を含むＧＵＩを出力部１４に表示することで、作業者の指示に従って断面画像の複数の領域のそれぞれを、焼結鉱に含まれる鉱物相に関連付ける。また、学習用データ生成部２３が複数の領域は、気孔に関連付けられてもよい。 Next, the learning data generation unit 23 generates a plurality of learning data by associating each of the plurality of regions of each cross-sectional image corresponding to the plurality of image data images with the mineral phase contained in the sinter. S103). The learning data generation unit 23 displays a GUI including a cross-sectional image of the sinter on the output unit 14, so that each of the plurality of regions of the cross-sectional image is displayed in the output unit 14 according to the instruction of the operator. Associate with. Further, the region where the learning data generation unit 23 has a plurality of regions may be associated with the pores.

図６は、学習用データ生成部２３が表示するＧＵＩにより、断面画像の複数の領域のそれぞれを、焼結鉱に含まれる鉱物相に関連付ける処理を示す図である。図６（ａ）は第１の状態を示し、図６（ｂ）は第２の状態を示し、図６（ｃ）は第３の状態を示し、図６（ｄ）は第４の状態を示す。 FIG. 6 is a diagram showing a process of associating each of a plurality of regions of the cross-sectional image with the mineral phase contained in the sinter by the GUI displayed by the learning data generation unit 23. 6 (a) shows the first state, FIG. 6 (b) shows the second state, FIG. 6 (c) shows the third state, and FIG. 6 (d) shows the fourth state. show.

まず、学習用データ生成部２３は、断面画像を含む学習用データ生成ＧＵＩを出力部１４に表示する（図６（ａ）を参照）。次いで、作業者は、鉱物相Ａの領域を学習用データ生成ＧＵＩに含まれる焼結鉱の断面画像上で指定する（図６（ｂ）を参照）。図６（ｂ）に矢印αで示されるように、作業者による鉱物相Ａの領域は、領域の一部を指定することで指定される。 First, the learning data generation unit 23 displays the learning data generation GUI including the cross-sectional image on the output unit 14 (see FIG. 6A). The operator then designates the region of the mineral phase A on the cross-sectional image of the sinter contained in the learning data generation GUI (see FIG. 6B). As shown by the arrow α in FIG. 6B, the region of the mineral phase A by the operator is designated by designating a part of the region.

次いで、学習用データ生成部２３は、作業者によって指定された鉱物相Ａに類似する領域を鉱物相Ａの領域と推定して、作業者によって推定された以外の鉱物相Ａの領域を追加した断面画像を生成する。学習用データ生成部２３は、生成した断面画像を含む学習用データ生成ＧＵＩを出力部に表示する（図６（ｃ）を参照）。鉱物相Ａの領域は、例えば所定の色に着色されることにより、他の領域と視覚的に識別可能なように表示される。 Next, the learning data generation unit 23 estimated the region similar to the mineral phase A designated by the worker as the region of the mineral phase A, and added the region of the mineral phase A other than that estimated by the worker. Generate a cross-sectional image. The learning data generation unit 23 displays the learning data generation GUI including the generated cross-sectional image on the output unit (see FIG. 6C). The region of the mineral phase A is displayed so as to be visually distinguishable from other regions, for example, by being colored in a predetermined color.

以降、学習用データ生成部２３は、焼結鉱の断面画像における鉱物相Ａの領域が作業者の所望の領域に一致するまで、作業者とインタラクティブに鉱物相Ａの領域を指定する処理を繰り返す。 After that, the learning data generation unit 23 repeats the process of interactively designating the region of the mineral phase A with the worker until the region of the mineral phase A in the cross-sectional image of the sinter matches the desired region of the worker. ..

焼結鉱の断面画像における鉱物相Ａの領域が作業者の所望の領域に一致すると、学習用データ生成部２３は、鉱物相Ａと相違する鉱物相Ｂの領域を指定する処理を作業者とインタラクティブに実行する。学習用データ生成部２３は、断面画像に含まれる全ての鉱物相について、鉱物相Ａの領域を指定する処理と同様な処理を実行して、鉱物相の領域を指定する。学習用データ生成部２３は、断面画像に含まれる全ての鉱物相の領域を指定する処理が終了すると、鉱物相の領域が指定されていない他の断面画像において同様の処理を実行する。 When the region of the mineral phase A in the cross-sectional image of the sinter matches the region desired by the operator, the learning data generation unit 23 performs a process of designating the region of the mineral phase B different from the mineral phase A with the operator. Run interactively. The learning data generation unit 23 executes the same processing as the processing for designating the region of the mineral phase A for all the mineral phases included in the cross-sectional image, and designates the region of the mineral phase. When the process of designating the regions of all the mineral phases included in the cross-sectional image is completed, the learning data generation unit 23 executes the same process in another cross-sectional image in which the region of the mineral phase is not designated.

学習用データ生成部２３は、Ｓ１０１の処理で取得された全て画像データについて、鉱物相の領域を指定する処理を実施する（図６（ｄ）を参照）。図６（ｄ）に示す例では、断面画像は、鉱物相Ａ、鉱物相Ｂ及び鉱物相Ｃの３個の鉱物相を含む。学習用データ生成部２３がＳ１０１の処理で取得された全て画像データについて、鉱物相の領域を指定する処理を完了すると、Ｓ１０３の処理は終了する。 The learning data generation unit 23 performs a process of designating a region of the mineral phase for all the image data acquired in the process of S101 (see FIG. 6D). In the example shown in FIG. 6D, the cross-sectional image includes three mineral phases, a mineral phase A, a mineral phase B, and a mineral phase C. When the learning data generation unit 23 completes the process of designating the mineral phase region for all the image data acquired in the process of S101, the process of S103 ends.

Ｓ１０３の処理で生成される複数の学習用データは、ヘマタイト、マグネタイト、カルシウムフェライト及びシリケートスラグのうち少なくとも３つの鉱物相に、焼結鉱の断面画像の複数の領域のそれぞれを関連付けて生成された学習用データを含む。 The plurality of training data generated by the processing of S103 was generated by associating at least three mineral phases of hematite, magnetite, calcium ferrite and silicate slag with each of the plurality of regions of the cross-sectional image of the sinter. Includes training data.

Ｓ１０３の処理で生成される複数の学習用データは、図１（ｅ）及び１（ｆ）並びに図２（ａ）〜２（ｃ）に示す画像に対応する第１学習用データ〜第５学習用データの全てを含むことが好ましい。Ｓ１０３の処理で生成される複数の学習用データが第１学習用データ〜第５学習用データの全てを含むことで、学習用データを教師データとして機械学習される学習モデル３０は、焼結鉱の組織構成を高精度に推定可能になる。 The plurality of learning data generated in the process of S103 are the first learning data to the fifth learning corresponding to the images shown in FIGS. 1 (e) and 1 (f) and FIGS. 2 (a) and 2 (c). It is preferable to include all of the data for use. The learning model 30 in which the plurality of learning data generated in the process of S103 includes all of the first learning data to the fifth learning data and is machine-learned using the learning data as teacher data is a sintered ore. It becomes possible to estimate the organizational structure of the above with high accuracy.

Ｓ１０３の処理で生成される複数の学習用データは、図２（ｄ）に示す画像に対応する第６学習用データを更に含むことが好ましい。Ｓ１０３の処理で生成される複数の学習用データが第６学習用データを含むことで、学習用データを教師データとして機械学習される学習モデル３０は、焼結鉱の断面画像が脈石を含む場合でも焼結鉱の組織構成を高精度に推定可能になる。 It is preferable that the plurality of learning data generated by the process of S103 further includes the sixth learning data corresponding to the image shown in FIG. 2D. In the learning model 30 in which the plurality of training data generated in the process of S103 includes the sixth training data and machine learning is performed using the training data as the teacher data, the cross-sectional image of the sintered ore contains vein stones. Even in this case, the structural composition of the sintered ore can be estimated with high accuracy.

また、Ｓ１０３の処理で生成される複数の学習用データは、図１（ａ）〜１（ｄ）に示す画像に対応する第７学習用データ〜第１０学習用データを更に含むことが好ましい。図１（ａ）に示す画像に対応する第７学習用データは、ヘマタイト及びシリケートスラグに、画像の複数の領域を関連付けて生成される。図１（ｂ）に示す画像に対応する第８学習用データは、マグネタイト及びシリケートスラグに、画像の複数の領域を関連付けて生成される。図１（ｃ）に示す画像に対応する第９学習用データは、ヘマタイト及びカルシウムフェライトに、画像の複数の領域を関連付けて生成される。図１（ｄ）に示す画像に対応する第１０学習用データは、マグネタイ及びカルシウムフェライトに、画像の複数の領域を関連付けて生成される。 Further, it is preferable that the plurality of learning data generated by the process of S103 further includes the seventh learning data to the tenth learning data corresponding to the images shown in FIGS. 1 (a) to 1 (d). The seventh learning data corresponding to the image shown in FIG. 1A is generated by associating a plurality of regions of the image with hematite and silicate slag. The eighth learning data corresponding to the image shown in FIG. 1B is generated by associating a plurality of regions of the image with magnetite and silicate slag. The ninth learning data corresponding to the image shown in FIG. 1 (c) is generated by associating a plurality of regions of the image with hematite and calcium ferrite. The tenth learning data corresponding to the image shown in FIG. 1D is generated by associating a plurality of regions of the image with magnetite and calcium ferrite.

次いで、学習処理部２４は、Ｓ１０３の処理で生成された学習用データを用いて、Ｓ１０１の処理で取得された複数の画像データに対応する複数の断面画像と焼結鉱の組織構成との関係性を学習モデル３０に学習させる（Ｓ１０４）。学習モデル３０は、断面画像と焼結鉱の組織構成との関係性を学習することによって、焼結鉱の断面を撮像した断面画像から焼結鉱の組織構成を高精度に推定する処理が実行可能になる。 Next, the learning processing unit 24 uses the learning data generated in the processing of S103 to relate the plurality of cross-sectional images corresponding to the plurality of image data acquired in the processing of S101 to the structure composition of the sinter. The learning model 30 is trained on sex (S104). The learning model 30 executes a process of estimating the structure composition of the sinter with high accuracy from the cross-sectional image obtained by capturing the cross section of the sinter by learning the relationship between the cross-sectional image and the structure composition of the sinter. It will be possible.

そして、学習モデル出力部２５は、Ｓ１０４の処理で機械学習された学習モデル３０を、例えば不図示のサーバに出力する（Ｓ１０５）。学習モデル３０は、例えば製鉄所の焼結鉱製造工程において、焼結鉱の組織構成を推定するために使用される。 Then, the learning model output unit 25 outputs the learning model 30 machine-learned by the process of S104 to, for example, a server (not shown) (S105). The learning model 30 is used, for example, in the sinter manufacturing process of a steel mill to estimate the structure composition of the sinter.

（第１実施形態に係る組織構成学習装置の作用効果）
組織構成学習装置１は、ヘマタイト、マグネタイト、カルシウムフェライト及びシリケートスラグのうち少なくとも３つの鉱物相を含む焼結鉱の断面画像を教師データとして使用することで、学習モデル３０は、焼結鉱の組織構成を高精度に推定できる。具体的には、第１学習用データ〜第５学習用データの全てを含む学習用データを教師データとして学習モデル３０を機械学習するので、学習モデル３０は、焼結鉱の組織構成を高精度に推定できる。 (Operation and effect of the organizational structure learning device according to the first embodiment)
The structure composition learning device 1 uses a cross-sectional image of a sinter containing at least three mineral phases of hematite, magnetite, calcium ferrite, and silicate slag as training data, and the learning model 30 uses the structure of the sinter. The configuration can be estimated with high accuracy. Specifically, since the learning model 30 is machine-learned using the learning data including all the first learning data to the fifth learning data as the teacher data, the learning model 30 has a high accuracy in the structural composition of the sintered ore. Can be estimated.

また、組織構成学習装置１は、第６学習用データを更に含む学習用データを教師データとして学習モデル３０を機械学習することで、学習モデル３０は、焼結鉱の断面画像が脈石を含む場合でも焼結鉱の組織構成を高精度に推定できる。 Further, the structure structure learning device 1 machine-learns the learning model 30 using the learning data including the sixth learning data as the teacher data, and in the learning model 30, the cross-sectional image of the sintered ore contains vein stones. Even in this case, the structural composition of the sintered ore can be estimated with high accuracy.

（第２実施形態に係る組織構成学習装置の構成及び機能）
図７は、第２実施形態に係る組織構成学習装置を示す図である。組織構成学習装置２は、第１実施形態に係る組織構成学習装置１と同様に、図３に示す組織構成学習システム１００に配置される。組織構成学習装置２は、撮像装置１０２によって撮像された焼結鉱の断面画像を示す画像データを使用して、焼結鉱の断面画像と焼結鉱の組織構成との関係性を学習モデル３０に学習させる。 (Structure and function of the organizational structure learning device according to the second embodiment)
FIG. 7 is a diagram showing an organizational structure learning device according to the second embodiment. The organization structure learning device 2 is arranged in the organization structure learning system 100 shown in FIG. 3, similarly to the organization structure learning device 1 according to the first embodiment. The structure structure learning device 2 uses image data showing a cross-sectional image of the sinter imaged by the image pickup device 102 to learn the relationship between the cross-sectional image of the sinter and the structure structure of the sinter model 30. To learn.

組織構成学習装置２は、処理部２０の代わりに処理部４０を有することが組織構成学習装置１と相違する。処理部４０以外の組織構成学習装置２の構成要素の構成及び機能は、同一符号が付された組織構成学習装置１の構成要素の構成及び機能と同一なので、ここでは詳細な説明は省略する。処理部４０は、輝度変更部４１を有することが処理部２０と相違する。輝度変更部４１以外の処理部４０の構成要素の構成及び機能は、同一符号が付された処理部２０の構成要素の構成及び機能と同一なので、ここでは詳細な説明は省略する。 The organization structure learning device 2 is different from the tissue structure learning device 1 in that it has a processing unit 40 instead of the processing unit 20. Since the configurations and functions of the components of the organizational structure learning device 2 other than the processing unit 40 are the same as the components and functions of the organizational structure learning device 1 with the same reference numerals, detailed description thereof will be omitted here. The processing unit 40 is different from the processing unit 20 in that it has a brightness changing unit 41. Since the components and functions of the processing unit 40 other than the luminance changing unit 41 are the same as the components and functions of the processing unit 20 having the same reference numerals, detailed description thereof will be omitted here.

（第２実施形態に係る組織構成学習装置による組織構成学習処理）
図８は、組織構成学習装置２により実行される組織構成学習処理のフローチャートである。図８に示す組織構成学習処理は、予め記憶部１２に記憶されているプログラムに基づいて、主に処理部４０により組織構成学習装置２の各要素と協働して実行される。 (Organizational structure learning process by the organizational structure learning device according to the second embodiment)
FIG. 8 is a flowchart of the organizational structure learning process executed by the tissue structure learning device 2. The tissue structure learning process shown in FIG. 8 is mainly executed by the processing unit 40 in cooperation with each element of the tissue structure learning device 2 based on the program stored in the storage unit 12 in advance.

図８に示すフローチャートのＳ２０１〜Ｓ２０３、Ｓ２０５及びＳ２０６のそれぞれの処理は、図５に示すフローチャートのＳ１０１〜Ｓ１０５のそれぞれの処理と同様なので、ここでは詳細な説明は省略する。 Since the respective processes of S201 to S203, S205 and S206 of the flowchart shown in FIG. 8 are the same as the respective processes of S101 to S105 of the flowchart shown in FIG. 5, detailed description thereof will be omitted here.

Ｓ２０３の処理が終了すると、輝度変更部４１は、Ｓ２０３の処理で生成された複数の学習用データに対応する複数の断面画像の少なくとも１つの輝度を変更して、変更前の断面画像と輝度が相違する輝度変更画像を生成する（Ｓ２０４）。輝度変更部４１は、生成した輝度変更画像と、輝度変更に使用された断面画像に関連付けられた鉱物相の領域とから、輝度が変更された学習用データを生成し、記憶部１２に記憶する。輝度変更部４１は、Ｓ２０３の処理で生成された一部の学習用データに対応する断面画像について、輝度変更画像を生成してもよく、Ｓ２０３の処理で生成された全ての学習用データに対応する断面画像について、輝度変更画像を生成してもよい。 When the processing of S203 is completed, the brightness changing unit 41 changes at least one brightness of the plurality of cross-sectional images corresponding to the plurality of learning data generated in the processing of S203, and the cross-sectional image and the brightness before the change are changed. Generate different brightness-changed images (S204). The brightness change unit 41 generates learning data in which the brightness is changed from the generated brightness change image and the region of the mineral phase associated with the cross-sectional image used for the brightness change, and stores it in the storage unit 12. .. The brightness changing unit 41 may generate a brightness changing image for a cross-sectional image corresponding to a part of the learning data generated in the process of S203, and corresponds to all the learning data generated in the process of S203. A brightness change image may be generated for the cross-sectional image to be performed.

また、輝度変更部４１は、Ｓ２０３の処理で生成された複数の学習用データに対応する断面画像の輝度を変更して、輝度が高い高輝度画像、及び輝度が低い低輝度画像を生成してもよい。輝度変更部４１は、高輝度画像及び低輝度画像を生成するとき、高輝度画像及び低輝度画像に対応する学習用データを生成し、記憶部１２に記憶すると共に、Ｓ２０２の処理で生成された学習用データをから削除する。 Further, the luminance changing unit 41 changes the luminance of the cross-sectional image corresponding to the plurality of learning data generated in the process of S203 to generate a high-luminance image with high luminance and a low-luminance image with low luminance. May be good. When the high-brightness image and the low-brightness image are generated, the brightness changing unit 41 generates learning data corresponding to the high-brightness image and the low-brightness image, stores the learning data in the storage unit 12, and is generated by the process of S202. Delete the training data from.

学習処理部２４は、Ｓ２０３及びＳ２０４の処理で生成された学習用データを用いて、Ｓ２０１の処理で取得された複数の画像データに対応する複数の断面画像と焼結鉱の組織構成との関係性を学習モデル３０に学習させる（Ｓ２０５）。 The learning processing unit 24 uses the learning data generated in the processes of S203 and S204 to relate the plurality of cross-sectional images corresponding to the plurality of image data acquired in the process of S201 to the structure structure of the sinter. Gender is trained by the learning model 30 (S205).

（第２実施形態に係る組織構成学習装置の作用効果）
組織構成学習装置２は、輝度を変更した輝度変更画像を学習用データに加えることで、学習モデル３０が焼結鉱の組織構成を推定する精度を更に高くできる。 (Operation and effect of the organizational structure learning device according to the second embodiment)
The structure structure learning device 2 can further improve the accuracy with which the learning model 30 estimates the structure structure of the sinter by adding the brightness change image in which the brightness is changed to the learning data.

表２は、輝度を変更した輝度変更画像を学習用データに加えないときの推定精度と、輝度を変更した輝度変更画像を学習用データに加えたときの推定精度との比較結果を示す。 Table 2 shows a comparison result between the estimation accuracy when the brightness-changed image with the changed brightness is not added to the training data and the estimation accuracy when the brightness-changed image with the brightness changed is added to the learning data.

表２において、「輝度変更画像なし」は、輝度変更部４１を有さない組織構成学習装置１により生成された学習用データを使用して機械学習された学習モデル３０による推定の推定精度を示す。また、「輝度変更画像あり」は、輝度変更部４１を有する組織構成学習装置２により生成された学習用データを使用して機械学習された学習モデル３０による推定の推定精度を示す。組織構成学習装置２は、Ｓ２０３の処理で生成された学習用データから高輝度画像及び低輝度画像を生成して、高輝度画像及び低輝度画像に対応する学習用データを生成した。 In Table 2, "no brightness change image" indicates the estimation accuracy of the estimation by the learning model 30 machine-learned using the learning data generated by the organizational structure learning device 1 having no brightness change unit 41. .. Further, "with brightness change image" indicates the estimation accuracy of the estimation by the learning model 30 machine-learned using the learning data generated by the organization structure learning device 2 having the brightness change unit 41. The tissue structure learning device 2 generated a high-intensity image and a low-luminance image from the learning data generated in the process of S203, and generated learning data corresponding to the high-intensity image and the low-intensity image.

組織構成学習装置１により機械学習された学習モデル３０による推定の推定精度は９２％であるのに対し、組織構成学習装置２により機械学習された学習モデル３０による推定の推定精度は９６％であった。組織構成学習装置２は、組織構成学習装置１よりも学習モデル３０が焼結鉱の組織構成を推定する精度を更に高くできることが実証された。 The estimation accuracy of the estimation by the learning model 30 machine-learned by the organization structure learning device 1 is 92%, whereas the estimation accuracy of the estimation by the learning model 30 machine-learned by the organization structure learning device 2 is 96%. rice field. It was demonstrated that the structure learning device 2 can make the learning model 30 more accurate in estimating the structure structure of the sinter than the structure learning device 1.

（第３実施形態に係る組織構成学習装置の構成及び機能）
図９は、第３実施形態に係る組織構成学習装置を示す図である。組織構成学習装置３は、第１実施形態に係る組織構成学習装置１と同様に、図３に示す組織構成学習システム１００に配置される。組織構成学習装置３は、撮像装置１０２によって撮像された焼結鉱の断面画像を示す画像データを使用して、焼結鉱の断面画像と焼結鉱の組織構成との関係性を学習モデル３０に学習させる。 (Structure and function of the organizational structure learning device according to the third embodiment)
FIG. 9 is a diagram showing an organizational structure learning device according to a third embodiment. The organizational structure learning device 3 is arranged in the organizational structure learning system 100 shown in FIG. 3 in the same manner as the organizational structure learning device 1 according to the first embodiment. The structure structure learning device 3 uses image data showing a cross-sectional image of the sinter imaged by the image pickup device 102 to learn the relationship between the cross-sectional image of the sinter and the structure structure of the sinter model 30. To learn.

組織構成学習装置３は、処理部２０の代わりに処理部５０を有することが組織構成学習装置１と相違する。処理部５０以外の組織構成学習装置３の構成要素の構成及び機能は、同一符号が付された組織構成学習装置１の構成要素の構成及び機能と同一なので、ここでは詳細な説明は省略する。処理部５０は、コントラスト変更部５１を有することが処理部２０と相違する。コントラスト変更部５１以外の処理部５０の構成要素の構成及び機能は、同一符号が付された処理部２０の構成要素の構成及び機能と同一なので、ここでは詳細な説明は省略する。 The organization structure learning device 3 is different from the tissue structure learning device 1 in that it has a processing unit 50 instead of the processing unit 20. Since the configurations and functions of the components of the organizational structure learning device 3 other than the processing unit 50 are the same as the components and functions of the organizational structure learning device 1 with the same reference numerals, detailed description thereof will be omitted here. The processing unit 50 is different from the processing unit 20 in that it has a contrast changing unit 51. Since the components and functions of the processing unit 50 other than the contrast changing unit 51 are the same as the components and functions of the processing unit 20 having the same reference numerals, detailed description thereof will be omitted here.

（第３実施形態に係る組織構成学習装置による組織構成学習処理）
図１０は、組織構成学習装置３により実行される組織構成学習処理のフローチャートである。図１０に示す組織構成学習処理は、予め記憶部１２に記憶されているプログラムに基づいて、主に処理部５０により組織構成学習装置３の各要素と協働して実行される。 (Organizational structure learning process by the organizational structure learning device according to the third embodiment)
FIG. 10 is a flowchart of the organizational structure learning process executed by the tissue structure learning device 3. The tissue structure learning process shown in FIG. 10 is mainly executed by the processing unit 50 in cooperation with each element of the tissue structure learning device 3 based on the program stored in the storage unit 12 in advance.

図１０に示すフローチャートのＳ３０１〜Ｓ３０３、Ｓ３０５及びＳ３０６のそれぞれの処理は、図５に示すフローチャートのＳ１０１〜Ｓ１０５のそれぞれの処理と同様なので、ここでは詳細な説明は省略する。 Since the respective processes of S301 to S303, S305 and S306 of the flowchart shown in FIG. 10 are the same as the respective processes of S101 to S105 of the flowchart shown in FIG. 5, detailed description thereof will be omitted here.

Ｓ３０３の処理が終了すると、コントラスト変更部５１は、Ｓ３０３の処理で生成された複数の学習用データに対応する複数の断面画像の少なくとも１つの輝度を変更して、変更前の断面画像とコントラストが相違するコントラスト変更画像を生成する（Ｓ３０４）。 When the processing of S303 is completed, the contrast changing unit 51 changes the brightness of at least one of the plurality of cross-sectional images corresponding to the plurality of learning data generated in the processing of S303, and the contrast with the cross-sectional image before the change is changed. Generate different contrast-changed images (S304).

コントラスト変更部５１は、断面画像に含まれる鉱物相の中で最も輝度が高い鉱物相と、最も輝度が低い鉱物相との間のコントラストを変更することで、コントラスト変更画像を生成する。コントラスト変更部５１は、図１（ｅ）に示す第１学習用データに対応する断面画像では、ヘマタイトとシリケートスラグとの間の輝度を変更する。コントラスト変更部５１は、図１（ｆ）に示す第２学習用データに対応する断面画像では、ヘマタイトとカルシウムフェライトとの間の輝度を変更する。コントラスト変更部５１は、図２（ａ）に示す第３学習用データに対応する断面画像では、ヘマタイトとシリケートスラグとの間の輝度を変更する。コントラスト変更部５１は、図２（ｂ）に示す第４学習用データに対応する断面画像では、マグネタイトとシリケートスラグとの間の輝度を変更する。コントラスト変更部５１は、図２（ｃ）に示す第５学習用データに対応する断面画像では、ヘマタイトとシリケートスラグとの間の輝度を変更する。図２（ｄ）に示す第５学習用データに対応する断面画像では、ヘマタイトと脈石との間の輝度を変更する。 The contrast changing unit 51 generates a contrast changing image by changing the contrast between the mineral phase having the highest brightness and the mineral phase having the lowest brightness among the mineral phases contained in the cross-sectional image. The contrast changing unit 51 changes the brightness between hematite and the silicate slag in the cross-sectional image corresponding to the first learning data shown in FIG. 1 (e). The contrast changing unit 51 changes the brightness between hematite and calcium ferrite in the cross-sectional image corresponding to the second learning data shown in FIG. 1 (f). The contrast changing unit 51 changes the brightness between hematite and the silicate slag in the cross-sectional image corresponding to the third learning data shown in FIG. 2A. The contrast changing unit 51 changes the brightness between the magnetite and the silicate slag in the cross-sectional image corresponding to the fourth learning data shown in FIG. 2 (b). The contrast changing unit 51 changes the brightness between hematite and the silicate slag in the cross-sectional image corresponding to the fifth learning data shown in FIG. 2 (c). In the cross-sectional image corresponding to the fifth learning data shown in FIG. 2D, the brightness between hematite and gangue is changed.

コントラスト変更部５１は、生成したコントラスト変更画像と、コントラスト変更に使用された断面画像に関連付けられた鉱物相の領域とから、コントラストが変更された学習用データを生成し、記憶部１２に記憶する。コントラスト変更部５１は、Ｓ３０３の処理で生成された一部の学習用データに対応する断面画像について、コントラスト変更画像を生成してもよい。また、コントラスト変更部５１は、Ｓ３０３の処理で生成された全ての学習用データに対応する断面画像について、コントラスト変更画像を生成してもよい。 The contrast changing unit 51 generates learning data in which the contrast is changed from the generated contrast changing image and the region of the mineral phase associated with the cross-sectional image used for the contrast changing, and stores it in the storage unit 12. .. The contrast changing unit 51 may generate a contrast changing image for a cross-sectional image corresponding to a part of the learning data generated in the process of S303. Further, the contrast changing unit 51 may generate a contrast changing image for the cross-sectional image corresponding to all the learning data generated in the process of S303.

また、コントラスト変更部５１は、Ｓ３０３の処理で生成された複数の学習用データに対応する断面画像の輝度を変更して、コントラストが高い高コントラスト画像、及びコントラストが低い低コントラスト画像を生成してもよい。コントラスト変更部５１は、高コントラスト画像及び低コントラスト画像を生成するとき、高コントラスト画像及び低コントラスト画像に対応する学習用データを生成し、記憶部１２に記憶すると共に、Ｓ２０２の処理で生成された学習用データを削除する。 Further, the contrast changing unit 51 changes the brightness of the cross-sectional image corresponding to the plurality of learning data generated in the process of S303 to generate a high-contrast image with high contrast and a low-contrast image with low contrast. May be good. When the high-contrast image and the low-contrast image are generated, the contrast changing unit 51 generates learning data corresponding to the high-contrast image and the low-contrast image, stores the learning data in the storage unit 12, and is generated by the process of S202. Delete the training data.

学習処理部２４は、Ｓ３０３及びＳ３０４の処理で生成された学習用データを用いて、Ｓ３０１の処理で取得された複数の画像データに対応する複数の断面画像と焼結鉱の組織構成との関係性を学習モデル３０に学習させる（Ｓ３０５）。 The learning processing unit 24 uses the learning data generated in the processes of S303 and S304 to relate the plurality of cross-sectional images corresponding to the plurality of image data acquired in the process of S301 to the structure structure of the sinter. Gender is trained by the learning model 30 (S305).

（第３実施形態に係る組織構成学習装置の作用効果）
組織構成学習装置２は、コントラストを変更したコントラスト変更画像を学習用データに加えることで、学習モデル３０が焼結鉱の組織構成を推定する精度を更に高くできる。 (Operation and effect of the organizational structure learning device according to the third embodiment)
The structure structure learning device 2 can further improve the accuracy with which the learning model 30 estimates the structure structure of the sinter by adding the contrast change image in which the contrast is changed to the learning data.

１〜３組織構成学習装置
２０、４０、５０処理部
２１画像データ取得部
２２画像データ補正部
２３学習用データ生成部
２４学習処理部
２５学習モデル出力部
３０学習モデル
４１輝度変更部
５１コントラスト変更部
１００組織構成学習システム
１０１光学顕微鏡
１０２撮像装置 1-3 Organizational structure learning device 20, 40, 50 Processing unit 21 Image data acquisition unit 22 Image data correction unit 23 Learning data generation unit 24 Learning processing unit 25 Learning model output unit 30 Learning model 41 Brightness change unit 51 Contrast change unit 100 Tissue structure learning system 101 Optical microscope 102 Imaging device

Claims

An image data acquisition unit that acquires a plurality of image data, each of which shows a plurality of cross-sectional images of the cross-section of the sinter.
A learning data generation unit that generates a plurality of learning data by associating each of the plurality of regions of the cross-sectional image with the mineral phase contained in the sinter.
A learning processing unit that allows a learning model to learn the relationship between the plurality of cross-sectional images and the structure composition of the sinter using the plurality of learning data.
Learning model output that outputs a learning model that estimates the structural composition of the sinter from the cross-sectional images of the sintered ore based on the relationship between the plurality of learned cross-sectional images and the structural composition of the sinter. With a part,
Each of the plurality of training data is generated by associating the plurality of regions with at least three mineral phases of hematite, magnetite, calcium ferrite and silicate slag. Learning device.

The plurality of learning data are
The first training data generated by associating the plurality of regions with hematite, magnetite, and calcium ferrite, and
Second training data generated by associating the plurality of regions with hematite, magnetite and silicate slag,
Third training data generated by associating the plurality of regions with hematite, calcium ferrite and silicate slag,
The fourth training data generated by associating the plurality of regions with magnetite, silicate slag, and calcium ferrite,
Fifth training data generated by associating the plurality of regions with hematite, magnetite, calcium ferrite and silicate slag,
The structure learning apparatus for sinter according to claim 1.

At least one of the first learning data, the second learning data, the third learning data, the fourth learning data, and the fifth learning data contains at least two learning data having different brightness. The structure learning apparatus for sintered ore according to claim 2, which includes.

At least one of the first learning data, the second learning data, the third learning data, the fourth learning data, and the fifth learning data contains at least two learning data having different contrasts. The structure learning apparatus for sintered ore according to claim 2 or 3, which includes.

The structure learning of the sinter according to any one of claims 2 to 4, wherein the plurality of learning data further includes the sixth learning data generated by associating the plurality of regions with the gangue. Device.

The sinter structure learning device according to claim 5, wherein the sixth learning data includes at least two learning data having different brightness.

The structure learning apparatus for sinter according to claim 5 or 6, wherein the sixth learning data includes at least two learning data having different contrasts.

Acquire multiple image data showing each of a plurality of cross-sectional images of the cross-section of the sinter.
Each of the plurality of regions of the cross-sectional image is associated with the mineral phase contained in the sinter to generate a plurality of learning data.
Using the plurality of learning data, the learning model is trained to learn the relationship between the plurality of cross-sectional images and the structure composition of the sinter.
Based on the relationship between the plurality of learned cross-sectional images and the structural composition of the sinter, a process of outputting a learning model for estimating the structural composition of the sinter from the cross-sectional images obtained by imaging the cross-section of the sinter is performed. Let the computer run
Each of the plurality of training data is generated by associating the plurality of regions with at least three mineral phases of hematite, magnetite, calcium ferrite and silicate slag. Learning program.

Acquire multiple image data showing each of a plurality of cross-sectional images of the cross-section of the sinter.
Each of the plurality of regions of the cross-sectional image is associated with the mineral phase contained in the sinter to generate a plurality of learning data.
Using the plurality of learning data, the learning model is trained to learn the relationship between the plurality of cross-sectional images and the structure composition of the sinter.
Based on the relationship between the plurality of learned cross-sectional images and the structural composition of the sinter, it is possible to output a learning model for estimating the structural composition of the sinter from the cross-sectional image obtained by imaging the cross section of the sinter. Including
Each of the plurality of training data is generated by associating the plurality of regions with at least three mineral phases of hematite, magnetite, calcium ferrite and silicate slag. Learning method.