JP2020015934A - 画像判定学習装置、画像判定学習プログラム、及び画像判定学習方法、並びに高炉監視装置 - Google Patents

Abstract

【課題】画像の認識を人間が把握するような観点で行う必要がある操業状態の監視に使用可能な学習器を生成する。【解決手段】画像判定学習装置１は、羽口に対向して配置された撮像装置によって撮像された複数の画像を示す複数の画像データに対応する画像を画像群にクラスタリングするクラスタリング部と、画像群のそれぞれを、高炉の操業状態に関連付けるラベリング部と、画像群に関連付けられた高炉の操業状態が正常状態、第１異常状態、及び第２異常状態を含むと判定したときに、正常状態、第１異常状態、及び第２異常状態の何れか１つに関連付けられた画像群にクラスタリングされた複数の画像に対応する画像データを学習用データに決定する学習用データ決定部と、学習用データを用いて複数の画像と高炉の操業状態との関係性を学習器に学習させる学習処理部と、複数の画像と高炉の操業状態との関係性を学習した学習器を出力する学習器出力部とを有する。【選択図】図１

Description

本発明は、画像判定学習装置、画像判定学習プログラム、及び画像判定学習方法、並びに高炉監視装置に関する。

従来、高炉のガスの流れの安定性及び炉況は、シャフト圧力の変化量、及びステーブ温度の絶対値に基づいて監視されていた。また、レースウエイ及び融着帯下部における反応状況及び変動状態は、オペレータが羽口を介して目視で高炉内部の明るさ、コークスの旋回状況、未還元鉱石の滴下等を観察することで、監視されていた。しかしながら、オペレータの目視による監視では、レースウエイ等の反応状況の監視の一貫性、客観性、及びデータ保存性が十分に担保されないおそれがある。例えば、オペレータの目視による監視では、異常状態の発生の有無の判断基準は、オペレータの主観等に依存するため、監視作業を実施するオペレータ毎に異なり、一貫性及び客観性が維持されないおそれがある。

レースウエイ等の反応状況の監視の一貫性等を維持させるために、レースウエイ深度計、ＣＣＤカメラ等の撮像装置、及び放射温度計等のセンサにより羽口からよるレースウエイ等を観察する技術が知られている（例えば特許文献１〜７を参照）。例えば、特許文献１に記載される技術は、代表輝度ベクトルから主成分ベクトル方向に下ろした垂線の長さを評価値として算出し、評価値を所定の閾値と比較することによって高炉の異常の有無を判定する。特許文献１〜７に記載される技術を使用することで、レースウエイ及び融着帯下部の反応状況は、一貫性、客観性、及びデータ保存性が担保された監視可能になる。

また、羽口からレースウエイ内燃焼場を異なる二波長で撮像した熱画像を使用してレースウエイ内燃焼場の温度分布を推定する技術が知られている（例えば特許文献８〜９を参照）。特許文献８〜９に記載される技術を使用することで、レースウエイの反応状況の監視は、一貫性、客観性、及びデータ保存性が更に向上する。

特開２０１５−２５１８８号公報 特許第５９９９１５５号公報 特許第５９３５８２８号号公報 特許第５８６７６１９号公報 特開２０１５−２２７４７８号公報 特開２０１５−５２１４９号公報 特開２０１５−５２１４８号公報 特開２００１−３１８００２号公報 特開２００２−３０９３０７号公報

Alex Krizhevsky, Ilya Sutskever, and Geoffrey E Hinton, "ImageNetClassification with Deep Convolutional Neural Networks", Advances InNeural Information Processing Systems, Vol.25, pp.1106 - 1114, 2012.

オペレータが目視により羽口から監視する項目として、コークスの旋回状況、及び完全に溶融していない鉱石が落下する現象である生鉱落ち状態、並びに羽口の破損の有無及び微粉炭供給管の破損の有無等の高炉設備の破損の有無等が更に挙げられる。しかしながら、コークスの旋回状況、生鉱落ち状態、及び高炉設備の破損の有無は、画像の認識を人間が把握するような観点で行う必要があるため、特許文献１〜９に記載される技術で監視することは容易ではない。

一実施形態では、オペレータの目視による監視によらず、画像の認識を人間が把握するような観点で行う必要がある操業状態の監視に使用可能な学習器を生成することを目的とする。

このような課題を解決する本発明は、以下に記載する画像判定学習装置、画像判定学習プログラム及び画像判定学習方法、並びに高炉監視装置を要旨とするものである。
（１）高炉の内部にガスと共に微粉炭を供給する羽口の何れか１つに対向して配置された撮像部を有する撮像装置によって異なる時間に撮像された複数の画像を示す複数の画像データを取得する画像データ取得部と、
複数の画像データのそれぞれに対応する画像を少なくとも３つの画像群にクラスタリングするクラスタリング部と、
少なくとも３つの画像群のそれぞれを、高炉の操業状態に関連付けるラベリング部と、
少なくとも３つの画像群に関連付けられた高炉の操業状態が正常状態、第１異常状態、及び第２異常状態を含むと判定したときに、正常状態、第１異常状態、及び第２異常状態の何れか１つに関連付けられた画像群にクラスタリングされた複数の画像に対応する画像データを学習用データに決定する学習用データ決定部と、
学習用データを用いて複数の画像と高炉の操業状態との関係性を学習器に学習させる学習処理部と、
複数の画像と高炉の操業状態との関係性を学習した学習器を出力する学習器出力部と、
を有することを特徴とする画像判定学習装置。
（２）少なくとも３つの画像群に関連付けられた高炉の操業状態が正常状態、第１異常状態、及び第２異常状態の少なくとも１つを含まないと判定したときに、クラスタリング部は、クラスタリングする画像群の数を増加してクラスタリング処理を再度実行する、（１）に記載の画像判定学習装置。
（３）第１異常状態は、完全に溶融していない鉱石が落下する現象であり、第２異常状態は、羽口に微粉炭を供給する微粉炭供給管が破損する現象である、（１）又は（２）に記載の画像判定学習装置。
（４）画像データ取得部は、羽口から高炉の内部に微粉炭が供給されていないランスパージ時間を示すランスパージ時間情報を取得し、ランスパージ時間に撮像された画像を除外して複数の画像データを取得する、（１）〜（３）の何れか一つに記載の画像判定学習装置。
（５）ラベリング部は、正常状態、第１異常状態、及び第２異常状態の何れにも関連付けられなかった画像群があるときに、当該画像群を、高炉の操業に異常が発生するおそれがあることを示す要注意状態に関連付ける、（１）〜（４）の何れか一つに記載の画像判定学習装置。
（６）（１）〜（５）の何れか一つに記載の画像判定学習装置によって学習させられ入力された、画像に応じた高炉の操業状態を出力する学習器と、
撮像装置により撮像された現在の画像を示す現在画像データを取得する現在画像データ取得部と、
現在画像データを学習器に入力する現在画像入力部と、
学習器から現在画像データの入力に応じた高炉の操業状態を取得する操業状態取得部と、
学習器から出力される高炉の操業状態を示す操業状態信号を出力する操業状態出力部と、
を有することを特徴とする高炉監視装置。
（７）高炉の内部にガスと共に微粉炭を供給する羽口の何れか１つに対向して配置された撮像部を有する撮像装置によって異なる時間に撮像された複数の画像を示す複数の画像データを取得し、
複数の画像データのそれぞれに対応する画像を少なくとも３つの画像群にクラスタリングし、
少なくとも３つの画像群のそれぞれを、高炉の操業状態に関連付け、
少なくとも３つの画像群に関連付けられた高炉の操業状態が正常状態、第１異常状態、及び第２異常状態を含むと判定したときに、正常状態、第１異常状態、及び第２異常状の何れか１つに関連付けられた画像群にクラスタリングされた複数の画像に対応する画像データを学習用データに決定し、
学習用データを用いて複数の画像と高炉の操業状態との関係性を学習器に学習させ、
複数の画像と高炉の操業状態との関係性を学習した学習器を出力する、
ことを含むことを特徴とする画像判定学習方法。
（８）高炉の内部にガスと共に微粉炭を供給する羽口の何れか１つに対向して配置された撮像部を有する撮像装置によって異なる時間に撮像された複数の画像を示す複数の画像データを取得し、
複数の画像データのそれぞれに対応する画像を少なくとも３つの画像群にクラスタリングし、
少なくとも３つの画像群のそれぞれを、高炉の操業状態に関連付け、
少なくとも３つの画像群に関連付けられた高炉の操業状態が正常状態、第１異常状態、及び第２異常状態を含むと判定したときに、正常状態、第１異常状態、及び第２異常状態の何れか１つに関連付けられた画像群にクラスタリングされた複数の画像に対応する画像データを学習用データに決定し、
学習用データを用いて複数の画像と高炉の操業状態との関係性を学習器に学習させ、
複数の画像と高炉の操業状態との関係性を学習した学習器を出力する、
処理をコンピュータに実行させることを特徴とする画像判定学習プログラム。

一実施形態では、オペレータの目視による監視を要さずに、画像の認識を人間が把握するような観点で行う必要がある操業状態を監視できる。

実施形態に係る高炉監視装置を含む高炉監視システムの構成例を模式的に示す図である。 図１に示す撮像装置が撮像した画像の一例である。 第１実施形態に係る画像判定学習装置を示す図である。 図３に示す画像判定学習装置により実行される画像判定学習処理のフローチャートである。 図１に示す高炉の操業状態のそれぞれに関連付けられた代表画像の一例を示す図であり、（ａ）はランスパージ状態に関連付けられる代表画像の一例であり、（ｂ）は正常状態に関連付けられる代表画像の一例であり、（ｃ）は要注意状態に関連付けられる代表画像の一例であり、（ｄ）は生鉱落ち状態に関連付けられる代表画像の一例であり、（ｅ）はランス破損状態に関連付けられる代表画像の一例である。 図１に示す高炉監視装置を示す図である。 図６に示す高炉監視装置により実行される操業状態推定処理のフローチャートである。 図２に示す画像判定学習装置によって学習された学習器を搭載した高炉監視装置による推定結果の一例を示す図である。 第２実施形態に係る画像判定学習装置を示す図である。 図９に示す画像判定学習装置により実行される画像判定学習処理のフローチャートである。 第３実施形態に係る画像判定学習装置を示す図である。 図１１に示す画像判定学習装置により実行される画像判定学習処理のフローチャートである。

以下図面を参照して、画像判定学習装置、画像判定学習プログラム、及び画像判定学習方法、並びに高炉監視装置について説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されない。

（実施形態に係る画像判定学習装置の概要）
実施形態に係る画像判定学習装置は、羽口から高炉内を撮像した画像を少なくとも３つの画像群にクラスタリングし、クラスタリングされた画像群の何れかが高炉の操業状態が正常状態、生鉱落ち状態及び高炉設備の破損を示すか否かを判定する。実施形態に係る画像判定学習装置は、画像群の何れかが高炉の操業状態が正常状態、生鉱落ち状態及び高炉設備の破損を示すと判定したときに、画像群のそれぞれに対応するデータを使用して画像と高炉の操業状態との関係性を学習器に学習させる。実施形態に係る画像判定学習装置は、生鉱落ち状態及び高炉設備の破損を示す画像群を使用して学習器を学習させるので、この学習器を搭載した高炉監視装置は、オペレータの目視によらず生鉱落ち状態及び高炉設備の破損の有無を監視できる。

（実施形態に係る高炉監視システム）
図１は、実施形態に係る高炉監視装置を含む高炉監視システムの構成例を模式的に示す図である。

高炉１００は、炉体１０１の周囲に亘って４０個程度の羽口１０２が配置される。羽口１０２のそれぞれには、熱風供給管１０３、微粉炭供給管１０４、観察窓１０５及び撮像装置１０６が配置され、高炉１００の内部に高圧のガスと共に微粉炭を供給する。

熱風供給管１０３は、一端が羽口１０２において炉体１０１に装入された筒状の部材であり、他端から高温のガスが高炉１００の内部に向けて高圧で吹き込まれる。熱風供給管１０３を介して高炉１００の内部に吹き込まれる高温のガスの風圧により、高炉１００の内部にレースウエイ１０７が形成される。

微粉炭供給管１０４は、一端が熱風供給管１０３に装入された筒状の部材であり、他端から微粉炭が高炉１００の内部に向けて吹き込まれる。一例では、羽口１０２のそれぞれには、一対の微粉炭供給管１０４が配置される。レースウエイ１０７の界面では、高炉１００に装入されたコークス及び微粉炭供給管１０４から吹き込まれる微粉炭が燃焼して一酸化炭素が発生する高温燃焼反応が生じている。微粉炭供給管１０４は、管内が微粉炭で詰まることを防止するために、所定の時間間隔で、微粉炭の吹き込みが停止され、微粉炭の代わりに窒素等の高圧ガスが吹き込まれる。微粉炭の代わりに高圧ガスが吹き込まれる操業状態は、ランスパージ状態とも称される。また、微粉炭供給管１０４が詰まったときも、微粉炭供給管１０４に微粉炭の代わりに窒素等の高圧ガスが吹き込まれて、高炉１００の操業状態はランスパージ状態となる。

観察窓１０５は、熱風供給管１０３の他端に形成される孔に嵌め込まれた光透過性部材であり、レースウエイ１０７を視認可能な位置に配置される。

撮像装置１０６は、羽口１０２の近傍に固定されて配置される。撮像装置１０６は、羽口１０２に対向して配置された撮像部１０８を有し、羽口１０２に配置された熱風供給管１０３及び微粉炭供給管１０４を介して撮像した複数の画像を、ＬＡＮ１０９を介して画像判定学習装置１及び高炉監視装置１１０に送信する。撮像装置１０６は、例えば１０ｍｓ毎等の高速での撮像動作が可能であり、撮像した画像を示す画像データを画像判定学習装置１及び高炉監視装置１１０に順次送信する。

図２は、撮像装置１０６が撮像した画像の一例である。図２において、左右両側に一対の微粉炭供給管１０４が撮像され、中央部には微粉炭供給管１０４を介してレースウエイ１０７に供給される微粉炭が撮像されている。右下部には、レースウエイ１０７内で旋回運動するコークスも撮像されている。

（第１実施形態に係る画像判定学習装置）
図３は、画像判定学習装置１を示す図である。

画像判定学習装置１は、通信部１１と、記憶部１２と、入力部１３と、出力部１４と、処理部２０と、学習器３０とを有する。通信部１１、記憶部１２、入力部１３、出力部１４、処理部２０及び学習器３０は、バス２００を介して互いに接続される。画像判定学習装置１は、４０個程度の羽口１０２のそれぞれに配置される撮像装置１０６から送信された画像データを使用して、送信された画像と高炉１００の操業状態との関係性を学習器３０に学習させる。一例では、画像判定学習装置１は高炉１００の操業状態を監視する高炉監視装置１１０と一体化されてもよく、他の例では、画像判定学習装置１はパーソナルコンピュータであってもよい。

通信部１１は、イーサネット（登録商標）などの有線の通信インターフェース回路を有する。通信部１１は、ＬＡＮ１０９を介して撮像装置１０６、高炉監視装置１１０及び不図示の上位制御装置と通信を行う。

記憶部１２は、例えば、半導体記憶装置、磁気テープ装置、磁気ディスク装置、又は光ディスク装置のうちの少なくとも一つを備える。記憶部１２は、処理部２０での処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。例えば、記憶部１２は、撮像装置１０６から送信された画像を使用して、画像と高炉１００の操業状態との関係性を学習器３０に学習させる画像判定学習処理を処理部２０に実行させるための画像判定学習プログラム等を記憶する。画像判定学習プログラムは、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて記憶部１２にインストールされてもよい。また、記憶部１２は、画像判定学習処理で使用される種々のデータを記憶する。例えば、記憶部１２は、撮像装置１０６から順次送信される複数の画像データを撮像時刻と関連付けて記憶する。

入力部１３は、データの入力が可能であればどのようなデバイスでもよく、例えば、タッチパネル、キーボード等である。オペレータは、入力部１３を用いて、文字、数字、記号等を入力することができる。入力部１３は、オペレータにより操作されると、その操作に対応する信号を生成する。そして、生成された信号は、オペレータの指示として、処理部２０に供給される。

出力部１４は、映像や画像等の表示が可能であればどのようなデバイスでもよく、例えば、液晶ディスプレイ又は有機ＥＬ（Electro−Luminescence）ディスプレイ等である。出力部１４は、処理部２０から供給された映像データに応じた映像や、画像データに応じた画像等を表示する。また、出力部１４は、紙などの表示媒体に、映像、画像又は文字等を印刷する出力装置であってもよい。

処理部２０は、一又は複数個のプロセッサ及びその周辺回路を有する。処理部２０は、画像判定学習装置１の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵである。処理部２０は、記憶部１２に記憶されているプログラム（ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等）に基づいて処理を実行する。また、処理部２０は、複数のプログラム（アプリケーションプログラム等）を並列に実行できる。

処理部２０は、画像データ取得部２１と、クラスタリング部２２と、ラベリング部２３と、学習用データ決定部２４と、学習処理部２５と、学習器出力部２６とを有する。これらの各部は、処理部２０が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、これらの各部は、ファームウェアとして画像判定学習装置１に実装されてもよい。

学習器３０は、教師あり学習により抽象化された画像の特徴を学習する学習器であり、例えば、ディープラーニング等の公知の機械学習技術を用いて、撮像装置１０６が撮像した複数の画像と高炉の操業状態との関係性を学習する。ディープラーニングは、入力層、中間層及び出力層から構成される多層構造のニューラルネットワークを用いた機械学習である。入力層の各ノードには、撮像装置１０６が撮像した複数の画像のそれぞれの特徴ベクトルが入力される。特徴ベクトルは、例えば、画像の一部の領域を切り出した部分画像であってもよい。また、特徴ベクトルとして使用される部分画像のそれぞれは、一部が他の部分画像と重畳するように切り出されてもよい。中間層の各ノードは、入力層の各ノードから出力された各特徴ベクトルに重みを乗算した値の総和を出力し、さらに、出力層は、中間層の各ノードから出力された各特徴ベクトルに重みを乗算した値の総和を出力する。学習器３０は、各重みを調整しながら、出力層からの出力値と撮像装置１０６が撮像した複数の画像のそれぞれとの差分が小さくなるように学習する。学習器３０は、例えば、非特許文献１に記載される技術により実現される。

（画像判定学習装置１による画像判定学習処理）
図４は、画像判定学習装置１により実行される画像判定学習処理のフローチャートである。図４に示す画像判定学習処理は、予め記憶部１２に記憶されているプログラムに基づいて、主に処理部２０により画像判定学習装置１の各要素と協働して実行される。また、画像判定学習処理は、４０個程度の羽口１０２から視認されるレースウエイ１０７の状態は互いに相違するため、羽口１０２のそれぞれに配置される撮像装置１０６から送信された画像データを使用して、羽口１０２のそれぞれについて実行される。

まず、画像データ取得部２１は、対象とする羽口１０２に対応する撮像装置１０６によって異なる時間に撮像された複数の画像を示す複数の画像データを取得する（Ｓ１０１）。画像データ取得部２１が取得する画像データに対応する画像は、例えば１か月にわたり１０ｍｓ毎に撮像された画像であってもよい。

次いで、クラスタリング部２２は、画像データ取得部２１によって取得された画像データに対応する画像を５つの画像群にクラスタリングする（Ｓ１０２）。具体的には、クラスタリング部２２は、例えばｋ−ｍｅａｎｓ法等の公知のクラスタリング方法により、画像データ取得部２１によって取得された画像データに対応する画像を５つの画像群にクラスタリングする。

次いで、ラベリング部２３は、クラスタリング部２２によってクラスタリングされた５つの画像群のそれぞれを、高炉１００の操業状態に関連付ける（Ｓ１０３）。具体的には、ラベリング部２３は、高炉１００の操業状態のそれぞれに関連付けられた代表画像を使用して、５つの画像群のそれぞれと代表画像との類似度（距離）に基づき、５つの画像群のそれぞれを、高炉１００の操業状態に関連付ける。すなわち、画像群との類似度が所定値以上（距離が所定値以下）の代表画像の操業状態を、当該画像群と関連付ける。画像群との類似度が所定値以上（距離が所定値以下）の代表画像が複数ある場合には、類似度が最大（距離が最少）となる代表画像の操業状態を当該画像群と関連付けてもよい。なお、画像群と代表画像との類似度は、画像群の中心（重心）に位置する画像と代表画像との類似度とすることができる。

ここで、代表画像とは、高炉１００の所定の操業状態が典型的に表れている羽口画像であって、あらかじめ用意されたものである。例えば、不図示の上位制御装置等に記憶される高炉１００の操業状態の記録に基づいて、所定の操業状態が記録されている過去のあるタイミングに取得された羽口画像を代表画像として用いても良いし、高炉１００の監視に熟練したオペレータによって選択されてもよい。また、学習器３０が所定の学習周期毎に複数回に亘って学習を行う場合には、前回の学習周期において用いられた代表画像が記憶されているので、同一の代表画像を用いることができる。

図５は、高炉１００の操業状態のそれぞれに関連付けられた代表画像の一例を示す図である。

図５（ａ）は、ランスパージ状態に関連付けられる代表画像の一例である。ランスパージ状態では、微粉炭の代わりに窒素等の高圧ガスが吹き込まれるため、図５（ａ）に示す代表画像には、微粉炭供給管１０４を介してレースウエイ１０７に供給される微粉炭は撮像されていない。

図５（ｂ）は、羽口１０２から視認される高炉１００の内部の状態が良好な正常状態に関連付けられる代表画像の一例である。図５（ｂ）に示す代表画像では、一対の微粉炭供給管１０４から吹き込まれる微粉炭の進路以外の部分は、輝度が高い領域であり、レースウエイ１０７において良好な高温燃焼反応が生じていることを示す。

図５（ｃ）は、羽口１０２から視認される高炉１００の内部の状態が注意を要する要注意状態に関連付けられる代表画像の一例である。要注意状態は、例えば、生鉱落ち状態及び高炉設備の破損等が発生した時刻の直前の状態である。

図５（ｄ）は、生鉱落ち状態に関連付けられる代表画像の一例である。生鉱落ち状態は、第１異常状態とも称される。図５（ｄ）に示す代表画像では、画像の中央から下方にかけた部分は、輝度が低い領域であり、完全に溶融していない鉱石が滴下していることを示す。すなわち、未還元の鉱石はコークスと接触するときに、吸熱する熱量が大きい吸熱反応である直接還元反応をするため、鉱石の周囲の温度が低下し、画面上では暗い領域として示される。

図５（ｅ）は、微粉炭供給管１０４が破損したランス破損状態に関連付けられる代表画像の一例である。ランス破損状態は、第２異常状態とも称される。ランス破損状態は、微粉炭供給管１０４が何らかの原因により、曲損又は折損した状態である。図５（ｅ）に示す代表画像では、一対の微粉炭供給管１０４から吹き込まれる微粉炭の進路の一方が湾曲しており、一対の微粉炭供給管１０４の一方が破損していることを示す。

ラベリング部２３は、クラスタリング部２２と同様に、それぞれの状態に関連付けられた図５に示す画像を、画像群との類似度（距離）に基づきクラスタリングすることによって、高炉１００の操業状態の何れか１つに関連付ける。

次いで、学習用データ決定部２４は、Ｓ１０２の処理でクラスタリングされた５つの画像群に関連付けられた高炉１００の操業状態がランスパージ状態、正常状態、要注意状態、生鉱落ち状態、及びランス破損状態の全てを含むか否かを判定する（Ｓ１０４）。画像をクラスタリンクするときに、k-means法においてランダムに割り振られた画像のクラスタが不適切である場合等では、ラベリング部２３が使用する代表画像のそれぞれに対応する状態に画像がクラスタリングされないことがある。画像が代表画像のそれぞれに対応する状態にクラスタリングされないとき、すなわち、ある画像群について、当該画像群との類似度が所定値以上（距離が所定値以下）の代表画像が存在しない場合、ラベリング部２３は、当該画像群を「該当なし」状態とする。ラベリング部２３が５つの画像群の何れかを「該当なし」状態とするとき、５つの画像群に関連付けられた操業状態がランスパージ状態、正常状態、要注意状態、生鉱落ち状態、及びランス破損状態の何れかを含まない。

学習用データ決定部２４は、５つの画像群に関連付けられた操業状態がランスパージ状態等の５つの状態の何れかを含まないと判定される（Ｓ１０４−ＮＯ）と、クラスタリング数Ｎを１つ増加して６とする（Ｓ１０５）。

以降、Ｎ個の画像群に関連付けられた操業状態が５つの状態の全てを含むと判定される（Ｓ１０４−ＹＥＳ）まで、クラスタリング数Ｎを１つずつ増加しながらＳ１０２〜Ｓ１０５の処理が繰り返される。

学習用データ決定部２４は、Ｎ個の画像群に関連付けられた操業状態が５つの状態の全てを含むと判定する（Ｓ１０４−ＹＥＳ）と、Ｓ１０２の処理で画像群にクラスタリングされた複数の画像に対応する画像データを学習用データに決定する（Ｓ１０６）。

次いで、学習処理部２５は、Ｓ１０６の処理で決定された学習用データを用いて複数の画像と高炉１００の操業状態との関係性を学習器３０に学習させる（Ｓ１０７）。例えば、学習処理部２５は、複数の画像の一部の領域を切り出した部分画像を特徴ベクトルとして学習器３０に入力層に入力してもよい。入力層に入力される部分画像のそれぞれは、一部が他の部分画像と重畳するように切り出されてもよい。また、学習処理部２５は、学習器３０に入力層に入力に部分画像を入力する前に、複数の画像のそれぞれのコントラストを調整する等の画像処理を実行してもよい。

そして、学習器出力部２６は、撮像装置１０６によって撮像された複数の画像と高炉１００の操業状態との関係性を学習した学習器３０を、高炉監視装置１１０に出力する（Ｓ１０８）。

（実施形態に係る高炉監視装置）
図６は、高炉監視装置１１０を示す図である。

高炉監視装置１１０は、監視通信部１１１と、監視記憶部１１２と、監視入力部１１３と、監視出力部１１４と、監視処理部１２０と、画像判定学習装置から入力された学習器３０とを有する。監視通信部１１１、監視記憶部１１２、監視入力部１１３、監視出力部１１４及び監視処理部１２０は、バス２１０を介して互いに接続される。高炉監視装置１１０は、画像判定学習装置１によって学習された学習器３０を有し、撮像装置１０６から送信された画像に応じた高炉１００の操業状態を出力する。

監視通信部１１１は、イーサネット（登録商標）などの有線の通信インターフェース回路を有する。監視通信部１１１は、ＬＡＮ１０９を介して画像判定学習装置１、撮像装置１０６及び不図示の上位制御装置と通信を行う。

監視記憶部１１２は、例えば、半導体記憶装置、磁気テープ装置、磁気ディスク装置、又は光ディスク装置のうちの少なくとも一つを備える。監視記憶部１１２は、監視処理部１２０での処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。例えば、監視記憶部１１２は、撮像装置１０６から送信された現在画像に基づいて、学習器３０を使用して高炉１００の操業状態を推定する操業状態推定処理を監視処理部１２０に実行させるための操業状態推定プログラム等を記憶する。操業状態推定プログラムは、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて監視記憶部１１２にインストールされてもよい。また、監視記憶部１１２は、操業状態推定処理で使用される種々のデータを記憶する。例えば、監視記憶部１１２は、画像判定学習装置１によって学習された学習器３０を記憶する。

監視入力部１１３は、データの入力が可能であればどのようなデバイスでもよく、例えば、タッチパネル、キーボード等である。オペレータは、監視入力部１１３を用いて、文字、数字、記号等を入力することができる。監視入力部１１３は、オペレータにより操作されると、その操作に対応する信号を生成する。そして、生成された信号は、オペレータの指示として、監視処理部１２０に供給される。

監視出力部１１４は、映像や画像等の表示が可能であればどのようなデバイスでもよく、例えば、液晶ディスプレイ又は有機ＥＬディスプレイ等である。監視出力部１１４は、監視処理部１２０から供給された映像データに応じた映像や、画像データに応じた画像等を表示する。また、監視出力部１１４は、紙などの表示媒体に、映像、画像又は文字等を印刷する出力装置であってもよい。

監視処理部１２０は、一又は複数個のプロセッサ及びその周辺回路を有する。監視処理部１２０は、高炉監視装置１１０の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵである。監視処理部１２０は、監視記憶部１１２に記憶されているプログラム（ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等）に基づいて処理を実行する。また、監視処理部１２０は、複数のプログラム（アプリケーションプログラム等）を並列に実行できる。

監視処理部１２０は、現在画像データ取得部１２１と、現在画像入力部１２２と、操業状態取得部１２３と、操業状態出力部１２４とを有する。これらの各部は、監視処理部１２０が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、これらの各部は、ファームウェアとして高炉監視装置１１０に実装されてもよい。

（高炉監視装置１１０による操業状態推定処理）
図７は、高炉監視装置１１０により実行される操業状態推定処理のフローチャートである。図７に示す操業状態推定処理は、予め監視記憶部１１２に記憶されているプログラムに基づいて、主に監視処理部１２０により高炉監視装置１１０の各要素と協働して実行される。また、操業状態推定処理は、４０個程度の羽口１０２から視認されるレースウエイ１０７の状態は互いに相違するため、羽口１０２のそれぞれに配置される撮像装置１０６から送信された画像データを使用して、羽口１０２のそれぞれについて実行される。

まず、現在画像データ取得部１２１は、対象とする羽口１０２に対応する撮像装置１０６によって撮像された現在の画像を示す現在画像データを取得する（Ｓ１１１）。次いで、現在画像入力部１２２は、現在画像データ取得部１２１によって取得された現在画像データを学習器３０に入力する（Ｓ１１２）。次いで、操業状態取得部１２３は、学習器３０から現在画像データの入力に応じた高炉１００の操業状態を取得する（Ｓ１１３）。そして、操業状態出力部１２４は、学習器３０から出力される高炉１００の操業状態を示す操業状態信号を出力する（Ｓ１１４）。

（第１実施形態に係る画像判定学習装置の作用効果）
画像判定学習装置１は、生鉱落ち状態及び高炉設備の破損を示す画像群を使用して学習器３０に学習させるので、学習器３０を搭載した高炉監視装置１１０は、オペレータの目視によらず生鉱落ち状態及び高炉設備の破損の有無を監視できる。

また、画像判定学習装置１が生成した学習器３０を使用することで、生鉱落ち状態及び高炉設備の破損の有無の判定処理は、オペレータの主観に依存することないので、一貫性及び客観性が維持される。生鉱落ち状態及び高炉設備の破損の有無の判定処理は、高炉１００の４０個程度の羽口１０２のそれぞれについて生成した学習器３０を使用して監視されるので、羽口１０２のそれぞれについて瞬時且つ連続的に高精度で監視可能になる。

また、学習器３０は画像群を使用した学習によるものであるので、学習器３０を搭載した高炉監視装置１１０は、オペレータ等により決定される判定用のしきい値を使用する必要がなく、オペレータ等の主観に依存せずに、更に高い一貫性が維持される。

また、学習器３０を搭載した高炉監視装置１１０は、オペレータの目視による監視を要さずに、撮像装置１０６に撮像された現在の画像に基づいて、高い確率で高炉の操業状態を推定することができる。

図８は、画像判定学習装置１によって学習された学習器３０を搭載した高炉監視装置１１０による推定結果の一例を示す図である。図８において、横軸は第１羽口〜第４０羽口のそれぞれの羽口における高炉の操業状態を示し、左から順に第１羽口〜第４０羽口のそれぞれのランスパージ状態、正常状態、要注意状態、生鉱落ち状態、及びランス破損状態が示される。図８において、左端は第１羽口のランスパージ状態を示し、右端は第４０羽口のランス破損状態を示す。また、図８において、縦軸は、第１羽口〜第４０羽口のそれぞれについての高炉監視装置１１０の操業状態毎の正答率を示す。

図８に示す例では、学習器３０は、第１羽口〜第４０羽口のそれぞれについて１０ｍｓ毎に１か月に亘って撮像した画像を使用して学習された。高炉監視装置１１０の操業状態毎の正答率は、学習器３０が学習した期間と異なる期間に撮像された画像に基づいてオペレータによって判断された。

画像判定学習装置１によって学習された学習器３０を搭載した高炉監視装置１１０は、羽口の何れでも高炉１００の操業状態にかかわらず８０％以上の高い正答率で、高炉１００の操業状態を推定している。

（第２実施形態に係る画像判定学習装置）
図９は、第２実施形態に係る画像判定学習装置を示す図である。第２実施形態に係る画像判定学習装置２は、図１に示す高炉監視システムにおいて、第１実施形態に係る画像判定学習装置１の代わりに配置され、学習器３０を生成し、生成した学習器３０を高炉監視装置１１０に出力する。

画像判定学習装置２は、処理部４０を処理部２０の代わりに有することが画像判定学習装置１と相違する。処理部４０は、画像データ取得部４１、クラスタリング部４２、ラベリング部４３及び学習用データ決定部４４を画像データ取得部２１〜学習用データ決定部２４の代わりに有することが処理部２０と相違する。画像データ取得部４１〜学習用データ決定部４４以外の画像判定学習装置２の構成要素の構成及び機能は、同一符号が付された画像判定学習装置１の構成要素の構成及び機能と同一なので、ここでは詳細な説明は省略する。

（画像判定学習装置２による画像判定学習処理）
図１０は、画像判定学習装置２により実行される画像判定学習処理のフローチャートである。図１０に示す画像判定学習処理は、予め記憶部１２に記憶されているプログラムに基づいて、主に処理部４０により画像判定学習装置２の各要素と協働して実行される。また、画像判定学習処理は、４０個程度の羽口１０２から視認されるレースウエイ１０７の状態は互いに相違するため、羽口１０２のそれぞれに配置される撮像装置１０６から送信された画像データを使用して、羽口１０２のそれぞれについて実行される。

まず、画像データ取得部４１は、羽口１０２から高炉１００の内部に微粉炭が供給されていないランスパージ時間を示すランスパージ時間情報を取得する（Ｓ２０１）。ランスパージ時間情報が記憶部１２に予め記憶されている場合は、画像データ取得部４１は、ランスパージ時間情報を記憶部１２から取得する。ランスパージ時間情報が記憶部１２に予め記憶されていない場合は、画像データ取得部４１は、ランスパージ時間情報を不図示の上位制御装置からＬＡＮ１０９を介して取得する。

次いで、画像データ取得部４１は、対象とする羽口１０２に対応する撮像装置１０６によって異なる時間に撮像された複数の画像を示す複数の画像データを、ランスパージ時間に撮像された画像を除外して取得する（Ｓ２０２）。画像データ取得部４１は、ランスパージ時間情報を参照してランスパージ時間を特定し、ランスパージ時間に撮像された画像を除外して複数の画像データを取得する。

次いで、クラスタリング部４２は、画像データ取得部４１によって取得された画像データに対応する画像を４つの画像群にクラスタリングする（Ｓ２０３）。クラスタリング部４２は、クラスタリング部２２と同様に、ｋ−ｍｅａｎｓ法等の公知のクラスタリング方法により、画像データ取得部４１によって取得された画像データに対応する画像を４つの画像群にクラスタリングする。

次いで、ラベリング部４３は、クラスタリング部４２によってクラスタリングされた４つの画像群のそれぞれを、高炉１００の操業状態に関連付ける（Ｓ２０４）。具体的には、ラベリング部２３は、高炉１００の操業状態のそれぞれに関連付けられた代表画像を使用して、４つの画像群のそれぞれと代表画像との類似度（距離）に基づき、４つの画像群のそれぞれを、高炉１００の操業状態に関連付ける。ラベリング部４３が関連付ける高炉１００の操業状態は、正常状態、要注意状態、生鉱落ち状態、及びランス破損状態の４つであり、ランスパージ状態は除外される。また、ラベリング部４３は、ラベリング部２３同様に、ある画像群を「該当なし」状態とすることがある。

次いで、学習用データ決定部４４は、Ｓ２０３の処理でクラスタリングされた４つの画像群に関連付けられた高炉１００の操業状態が正常状態、要注意状態、生鉱落ち状態、及びランス破損状態の全てを含むか否かを判定する（Ｓ２０５）。

学習用データ決定部４４は、４つの画像群に関連付けられた操業状態が正常状態等の４つの状態の何れかを含まないと判定される（Ｓ２０５−ＮＯ）と、クラスタリング数Ｎを１つ増加して５とする（Ｓ２０６）。

以降、Ｎ個の画像群に関連付けられた操業状態が４つの状態の全てを含むと判定される（Ｓ２０５−ＹＥＳ）まで、クラスタリング数Ｎを１つずつ増加しながらＳ２０３〜Ｓ２０６の処理が繰り返される。

学習用データ決定部４４は、Ｎ個の画像群に関連付けられた操業状態が４つの状態の全てを含むと判定する（Ｓ２０５−ＹＥＳ）と、Ｓ２０３の処理で画像群にクラスタリングされた複数の画像に対応する画像データを学習用データに決定する（Ｓ２０７）。

Ｓ２０８〜Ｓ２０９の処理は、Ｓ１０７〜Ｓ１０８の処理と同様なので、ここでは詳細な説明は省略する。

（第２実施形態に係る画像判定学習装置の作用効果）
画像判定学習装置２は、ランスパージ時間に撮像された画像を除外した画像データを使用して学習器３０を学習させるので、学習器３０の学習時間を画像判定学習装置１よりも短縮することができる。また、画像判定学習装置２は、ランスパージ時間に撮像された画像を除外した画像データを使用して学習器３０を学習させるので、クラスタリングの精度を上げ、ひいては学習精度を上げることができる。例えば、ランスパージ状態と他の操業状態が判別しにくい画像が取得される場合であっても、ランスパージ状態の画像が除外されれば、他の操業状態について確実な学習を行えることになる。

（第３実施形態に係る画像判定学習装置）
図１１は、第３実施形態に係る画像判定学習装置を示す図である。第３実施形態に係る画像判定学習装置３は、図１に示す高炉監視システムにおいて、第１実施形態に係る画像判定学習装置１の代わりに配置され、学習器３０を生成し、生成した学習器３０を高炉監視装置１１０に出力する。

画像判定学習装置３は、処理部５０を処理部４０の代わりに有することが画像判定学習装置２と相違する。処理部５０は、クラスタリング部５２、ラベリング部５３及び学習用データ決定部５４をクラスタリング部４２〜学習用データ決定部４４の代わりに有することが処理部４０と相違する。クラスタリング部５２〜学習用データ決定部５４以外の画像判定学習装置３の構成要素の構成及び機能は、同一符号が付された画像判定学習装置２の構成要素の構成及び機能と同一なので、ここでは詳細な説明は省略する。

（画像判定学習装置３による画像判定学習処理）
図１２は、画像判定学習装置３により実行される画像判定学習処理のフローチャートである。図１２に示す画像判定学習処理は、予め記憶部１２に記憶されているプログラムに基づいて、主に処理部５０により画像判定学習装置３の各要素と協働して実行される。また、画像判定学習処理は、４０個程度の羽口１０２から視認されるレースウエイ１０７の状態は互いに相違するため、羽口１０２のそれぞれに配置される撮像装置１０６から送信された画像データを使用して、羽口１０２のそれぞれについて実行される。

Ｓ３０１〜Ｓ３０２の処理は、Ｓ２０１〜Ｓ２０２の処理と同様なので、ここでは詳細な説明は省略する。

次いで、クラスタリング部５２は、画像データ取得部４１によって取得された画像データに対応する画像を３つの画像群にクラスタリングする（Ｓ３０３）。クラスタリング部５２は、クラスタリング部４２と同様に、ｋ−ｍｅａｎｓ法等の公知のクラスタリング方法により、画像データ取得部４１によって取得された画像データに対応する画像を３つの画像群にクラスタリングする。

次いで、ラベリング部５３は、クラスタリング部５２によってクラスタリングされた３つの画像群のそれぞれを、高炉１００の操業状態に関連付ける（Ｓ３０４）。具体的には、ラベリング部２３は、高炉１００の操業状態のそれぞれに関連付けられた代表画像を使用して、３つの画像群のそれぞれと代表画像との類似度（距離）に基づき、３つの画像群のそれぞれを、高炉１００の操業状態に関連付ける。ラベリング部４３が関連付ける高炉１００の操業状態は、正常状態、生鉱落ち状態、及びランス破損状態の３つであり、ランスパージ状態及び要注意状態は除外される。

次いで、ラベリング部５３は、Ｓ３０４の処理で高炉１００の操業状態の何れにも関連付けられなかった画像群があるときに、高炉１００の操業状態の何れか１つに関連付けられなかった画像群を要注意状態に関連付ける（Ｓ３０５）。具体的には、ラベリング部５３は、Ｓ３０４の処理で高炉１００の操業状態の何れか１つに関連付けられなかった画像群があるか否かを判定する。ラベリング部５３は、Ｓ３０４の処理で高炉１００の操業状態の何れにも関連付けられなかった画像群があると判定したときに、高炉１００の操業状態の何れか１つに関連付けられなかった画像群を要注意状態に関連付ける（Ｓ３０５）。

次いで、学習用データ決定部５４は、Ｓ３０４の処理でクラスタリングされた３つの画像群に関連付けられた高炉１００の操業状態が正常状態、生鉱落ち状態、及びランス破損状態の全てを含むか否かを判定する（Ｓ３０６）。

学習用データ決定部５４は、３つの画像群に関連付けられた操業状態が正常状態等の３つの状態の何れかを含まないと判定される（Ｓ３０６−ＮＯ）と、クラスタリング数Ｎを１つ増加して４とする（Ｓ３０７）。

以降、Ｎ個の画像群に関連付けられた操業状態が３つの状態の全てを含むと判定される（Ｓ３０６−ＹＥＳ）まで、クラスタリング数Ｎを１つずつ増加しながらＳ３０３〜Ｓ３０７の処理が繰り返される。

学習用データ決定部５４は、Ｎ個の画像群に関連付けられた操業状態が３つの状態の全てを含むと判定する（Ｓ３０６−ＹＥＳ）と、Ｓ３０３の処理で画像群にクラスタリングされた複数の画像に対応する画像データを学習用データに決定する（Ｓ３０８）。

Ｓ３０９〜Ｓ３１０の処理は、Ｓ２０８〜Ｓ２０９の処理と同様なので、ここでは詳細な説明は省略する。

（第３実施形態に係る画像判定学習装置の作用効果）
画像判定学習装置３は、高炉１００の操業状態の何れにも関連付けられなかった画像群を要注意状態に関連付けることで、熟練したオペレータあっても代表画像を選択するのが難しい要注意状態をラベリング処理から除外することができる。画像判定学習装置３は、熟練したオペレータであっても代表画像を選択するのが難しい要注意状態をラベリング処理から除外することができるので、一貫性及び客観性を画像判定学習装置１及び２よりも更に向上させることができる。

（実施形態に係る画像判定学習装置の変形例）
画像判定学習装置１〜３では、高炉１００の操業状態のそれぞれに関連付けられた代表画像を使用して、少なくとも３つの画像群のそれぞれと代表画像との類似度（距離）に基づき、少なくとも３つの画像群のそれぞれを、高炉１００の操業状態の何れか１つに関連付けることで画像群がラベリングされる。しかしながら、実施形態に係る画像判定学習装置は、他の方法により少なくとも３つの画像群のそれぞれをラベリングしてもよい。例えば、実施形態に係る画像判定学習装置は、不図示の上位制御装置等に記憶される高炉１００の操業状態の記録に基づいて、画像群をラベリングしてもよい。実施形態に係る画像判定学習装置は、高炉１００の操業状態の記録に基づいて、画像群のそれぞれに含まれる画像が取得された各時刻における高炉１００の操業状態の中で最頻の操業状態を高炉１００の操業状態に決定してもよい。

また、画像判定学習装置１〜３は、学習器３０に複数回に亘って学習させてもよい。例えば、画像判定学習装置１〜３は、所定の学習周期毎に学習器３０に学習させ、学習された学習器３０を高炉監視装置１１０に出力してもよい。その学習周期は、例えば１年間とすることができる。

また、画像判定学習装置１〜３は、クラスタリングされた画像群に関連付けられた高炉１００の操業状態が所望の操業状態を含まないときに、クラスタリング数を増加させる。しかしながら、実施形態に係る画像判定学習装置は、所定回数に亘ってクラスタリングを実行した後に、クラスタリング数を増加させてもよい。複数回に亘ってクラスタリングを実行することで、ランダムに割り振られる画像のクラスタが異なる状態でクラスタリングすることができるため、クラスタリング数を増加させることなく、所望の操業状態を含むようにクラスタリングできる可能性がある。

また、画像判定学習装置１〜３は、第１異常状態を生鉱落ち状態とし、第２異常状態をランス破損状態として使用するが、実施形態に係る画像判定学習装置は、羽口の破損等の高炉設備の破損を異常状態として使用してもよい。

１〜３ 画像判定学習装置
２１、４１ 画像データ取得部
２２、４２、５２ クラスタリング部
２３、４３、５３ ラベリング部
２４、４４、５４ 学習用データ決定部
２５ 学習処理部
２６ 学習器出力部
３０ 学習器
１００ 高炉
１０１ 炉体
１０２ 羽口
１０３ 熱風供給管
１０４ 微粉炭供給管
１０５ 観察窓
１０６ 撮像装置
１０７ レースウエイ
１０８ 撮像部
１０９ ＬＡＮ
１１０ 高炉監視装置

Claims (8)

1. 高炉の内部にガスと共に微粉炭を供給する羽口の何れか１つに対向して配置された撮像部を有する撮像装置によって異なる時間に撮像された複数の画像を示す複数の画像データを取得する画像データ取得部と、
   前記複数の画像データのそれぞれに対応する画像を少なくとも３つの画像群にクラスタリングするクラスタリング部と、
   前記少なくとも３つの画像群のそれぞれを、前記高炉の操業状態に関連付けるラベリング部と、
   前記少なくとも３つの画像群に関連付けられた前記高炉の操業状態が正常状態、第１異常状態、及び第２異常状態を含むと判定したときに、正常状態、第１異常状態、及び第２異常状態の何れか１つに関連付けられた画像群にクラスタリングされた前記複数の画像に対応する画像データを学習用データに決定する学習用データ決定部と、
   前記学習用データを用いて前記複数の画像と前記高炉の操業状態との関係性を学習器に学習させる学習処理部と、
   前記複数の画像と前記高炉の操業状態との関係性を学習した学習器を出力する学習器出力部と、
   を有することを特徴とする画像判定学習装置。
2. 前記少なくとも３つの画像群に関連付けられた前記高炉の操業状態が正常状態、第１異常状態、及び第２異常状態の少なくとも１つを含まないと判定したときに、前記クラスタリング部は、クラスタリングする画像群の数を増加してクラスタリング処理を再度実行する、請求項１に記載の画像判定学習装置。
3. 前記第１異常状態は、完全に溶融していない鉱石が落下する現象であり、前記第２異常状態は、前記羽口に微粉炭を供給する微粉炭供給管が破損する現象である、請求項１又は２に記載の画像判定学習装置。
4. 前記画像データ取得部は、前記羽口から高炉の内部に微粉炭が供給されていないランスパージ時間を示すランスパージ時間情報を取得し、前記ランスパージ時間に撮像された画像を除外して前記複数の画像データを取得する、請求項１〜３の何れか一項に記載の画像判定学習装置。
5. 前記ラベリング部は、正常状態、第１異常状態、及び第２異常状態の何れにも関連付けられなかった画像群があるときに、当該画像群を、高炉の操業に異常が発生するおそれがあることを示す要注意状態に関連付ける、請求項１〜４の何れか一項に記載の画像判定学習装置。
6. 請求項１〜５の何れか一項に記載の画像判定学習装置によって学習させられ入力された画像に応じた前記高炉の操業状態を出力する学習器と、
   前記撮像装置により撮像された現在の画像を示す現在画像データを取得する現在画像データ取得部と、
   前記現在画像データを前記学習器に入力する現在画像入力部と、
   前記学習器から前記現在画像データの入力に応じた前記高炉の操業状態を取得する操業状態取得部と、
   前記学習器から出力される前記高炉の操業状態を示す操業状態信号を出力する操業状態出力部と、
   を有することを特徴とする高炉監視装置。
7. 高炉の内部にガスと共に微粉炭を供給する羽口の何れか１つに対向して配置された撮像部を有する撮像装置によって異なる時間に撮像された複数の画像を示す複数の画像データを取得し、
   前記複数の画像データのそれぞれに対応する画像を少なくとも３つの画像群にクラスタリングし、
   前記少なくとも３つの画像群のそれぞれを、前記高炉の操業状態に関連付け、
   前記少なくとも３つの画像群に関連付けられた前記高炉の操業状態が正常状態、第１異常状態、及び第２異常状態を含むと判定したときに、正常状態、第１異常状態、及び第２異常状態の何れか１つに関連付けられた画像群にクラスタリングされた前記複数の画像に対応する画像データを学習用データに決定し、
   前記学習用データを用いて前記複数の画像と前記高炉の操業状態との関係性を学習器に学習させ、
   前記複数の画像と前記高炉の操業状態との関係性を学習した学習器を出力する、
   ことを含むことを特徴とする画像判定学習方法。
8. 高炉の内部にガスと共に微粉炭を供給する羽口の何れか１つに対向して配置された撮像部を有する撮像装置によって異なる時間に撮像された複数の画像を示す複数の画像データを取得し、
   前記複数の画像データのそれぞれに対応する画像を少なくとも３つの画像群にクラスタリングし、
   前記少なくとも３つの画像群のそれぞれを、前記高炉の操業状態に関連付け、
   前記少なくとも３つの画像群に関連付けられた前記高炉の操業状態が正常状態、第１異常状態、及び第２異常状態を含むと判定したときに、正常状態、第１異常状態、及び第２異常状態の何れか１つに関連付けられた画像群にクラスタリングされた前記複数の画像に対応する画像データを学習用データに決定し、
   前記学習用データを用いて前記複数の画像と前記高炉の操業状態との関係性を学習器に学習させ、
   前記複数の画像と前記高炉の操業状態との関係性を学習した学習器を出力する、
   処理をコンピュータに実行させることを特徴とする画像判定学習プログラム。