JP2020009435A - 鋼材成分学習装置、鋼材成分推定装置、鋼種判定装置、鋼材成分学習方法、鋼材成分推定方法、鋼種判定方法、及びプログラム - Google Patents

Abstract

【課題】鋼材成分の推定精度を向上させることが可能な鋼材成分学習装置を提供する。【解決手段】鋼材成分学習装置は、鋼材を研削したときに発生する火花の画像データ及び前記鋼材の成分情報を取得する取得手段と、前記画像データを入力データとし、前記成分情報を教師データとして、画像データから鋼材の成分を推定するための学習済みモデルを機械学習により構築する学習手段と、を備える。【選択図】図１

Description

本発明は、鋼材成分学習装置、鋼材成分推定装置、鋼種判定装置、鋼材成分学習方法、鋼材成分推定方法、鋼種判定方法、及びプログラムに関する。

特許文献１には、火花画像に対して画素毎の二値化処理を行い、テンプレートマッチングにより火花の短直線数及び破裂数を算出し、「破裂密度」（＝破裂数／短直線数）という評価基準により鋼材中の炭素量を判定する技術が開示されている。

特許文献２には、火花画像を画像処理して破裂画像に変換してから、破裂画像に含まれる特徴量を抽出して分析することで鋼材中の所定の元素の含有量を検査する技術が開示されている。

特開２０１６−９９１２６号公報 特開平９−１４５５９９号公報

しかしながら、特許文献１に用いられるテンプレートマッチングは、撮影環境の照度変化や振動などの外乱ノイズに弱く、炭素量の判定精度が十分でないおそれがある。

また、特許文献２に開示される技術では、火花画像に対して予め破裂に対応する特徴を抽出できるように画像変換を行う必要があるため、破裂画像には特徴の現れない合金成分を見落としてしまうおそれがある。

本発明は、上記課題に鑑みてなされたものであり、その主な目的は、鋼材成分の推定精度を向上させることが可能な鋼材成分学習装置、鋼材成分推定装置、鋼種判定装置、鋼材成分学習方法、鋼材成分推定方法、鋼種判定方法、及びプログラムを提供することにある。

上記課題を解決するため、本発明の一の態様の鋼材成分学習装置は、鋼材を研削したときに発生する火花の画像データ及び前記鋼材の成分情報を取得する取得手段と、前記画像データを入力データとし、前記成分情報を教師データとして、画像データから鋼材の成分を推定するための学習済みモデルを機械学習により構築する学習手段と、を備える。

また、本発明の他の態様の鋼材成分推定装置は、鋼材を研削したときに発生する火花の画像データを取得する取得手段と、画像データを入力データとし、鋼材の成分情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記画像データから前記鋼材の成分を推定する推論手段と、を備える。

また、本発明の他の態様の鋼種判定装置は、鋼材の鋼種情報又は成分情報の入力を受け付ける入力受付部と、前記入力受付部に入力された情報と、上記鋼材成分推定装置により推定された鋼材の成分とに基づいて、鋼種を判定する鋼種判定部と、を備える。

また、本発明の他の態様の鋼材成分学習方法は、鋼材を研削したときに発生する火花の画像データ及び前記鋼材の成分情報を取得し、前記画像データを入力データとし、前記成分情報を教師データとして、画像データから鋼材の成分を推定するための学習済みモデルを機械学習により構築する。

また、本発明の他の態様の鋼材成分推定方法は、鋼材を研削したときに発生する火花の画像データを取得し、画像データを入力データとし、鋼材の成分情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記画像データから前記鋼材の成分を推定する。

また、本発明の他の態様の鋼種判定方法は、鋼材の鋼種情報又は成分情報の入力を受け付け、入力された情報と、上記鋼材成分推定方法により推定された鋼材の成分とに基づいて、鋼種を判定する。

また、本発明の他の態様のプログラムは、鋼材を研削したときに発生する火花の画像データ及び前記鋼材の成分情報を取得する取得手段、及び、前記画像データを入力データとし、前記成分情報を教師データとして、画像データから鋼材の成分を推定するための学習済みモデルを機械学習により構築する学習手段、としてコンピュータを機能させる。

また、本発明の他の態様のプログラムは、鋼材を研削したときに発生する火花の画像データを取得する取得手段、及び、画像データを入力データとし、鋼材の成分情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記画像データから前記鋼材の成分を推定する推論手段、としてコンピュータを機能させる。

また、本発明の他の態様のプログラムは、鋼材の鋼種情報又は成分情報の入力を受け付ける入力受付部、及び、前記入力受付部に入力された情報と、上記プログラムにより機能する推論手段により推定された鋼材の成分とに基づいて、鋼種を判定する鋼種判定部、としてコンピュータを機能させる。

本発明によれば、鋼材成分の推定精度を向上させることが可能となる。

鋼材成分学習推定装置の構成例を示すブロック図である。 火花画像の例を示す図である。 火花画像と成分情報との対応例を示す図である。 学習フェーズの手順例を示すフロー図である。 学習済みモデルの構築例を説明するための図である。 推論フェーズの手順例を示すフロー図である。 鋼種と成分情報との対応例を示す図である。 カメラの配置例を示す図である。 学習済みモデルの構築例を説明するための図である。 学習済みモデルの構築例を説明するための図である。 ３次元畳み込みフィルタを説明するための図である。 マスク画像の例を示す図である。 鋼材成分学習推定装置の構成例を示すブロック図である。 火花画像と鋼種との対応例を示す図である。 推論フェーズの手順例を示すフロー図である。 合金元素の判定手法の例を説明するための図である。 合金元素の判定手法の例を説明するための図である。 合金元素の判定手法の例を説明するための図である。

以下、本発明の好ましい実施の形態を、図面を参照しながら説明する。なお、以下に示す各実施の形態は、本発明の技術的思想を具体化するための方法及び装置を例示するものであって、本発明の技術的思想は下記のものに限定されるわけではない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において種々の変更を加えることができる。

図１は、鋼材成分学習推定装置１の構成例を示すブロック図である。鋼材成分学習推定装置１は、鋼材成分学習装置の一態様であり、鋼材成分推定装置の一態様でもあり、鋼種判定装置の一態様でもある。

鋼材成分学習推定装置１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ及び入出力インターフェース等を含む制御部１０を備えるコンピュータである。制御部１０は、取得部１１、学習部１３、推論部１５及び鋼種判定部１７を含んでいる。これらの機能部は、制御部１０のＣＰＵがＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行することによって実現される。

プログラムは、例えば光ディスク又はメモリカード等の情報記憶媒体を介して供給されてもよいし、例えばインターネット等の通信ネットワークを介して供給されてもよい。

制御部１０は、データベース２にアクセス可能である。データベース２は、鋼材成分学習推定装置１の内部に設けられてもよいし、外部に設けられてもよい。

カメラ３は、鋼材ＳをグラインダＧで研削したときに発生する火花を撮影して画像データを生成し、制御部１０に出力する。カメラ３は、鋼材Ｓを上方から見下ろし、かつ火花を見送る方向を向くように配置され、火花全体が写るように焦点距離や被写界深度が調整される。鋼材Ｓを研削して火花を発生させる方法は、例えば火花試験（JIS G 0566）に定められた方法に準ずる。

カメラ３により生成された画像データは、後述する学習部１３による学習フェーズと推論部１５による推論フェーズとで入力データとして利用される。以下、火花を撮影することにより生成される画像データを「火花画像」という。

図２は、火花画像４の例を示す図である。鋼材Ｓを研削したときに発生する火花は、根本部、中途部、先端部における流線や破裂などの特徴（例えば形状、量、色など）が鋼材Ｓの成分に応じて変化する。例えば鋼材中の炭素の量が多くなると、火花は早く破裂し、流線の数が多くなる。

カメラ３から制御部１０に出力された火花画像４は、データベース２に保存される。また、図３に示すような火花画像４の識別情報と鋼材Ｓの成分情報とを対応付けたテーブルも、データベース２に保存される。鋼材Ｓの成分情報は、例えば鋼材Ｓに含まれる炭素量又は合金元素で表される。鋼材Ｓの成分情報は、後述する学習部１３による学習フェーズで教師データとして利用される。

火花画像４は、画素サイズが大きいと学習に時間が掛かるため、情報が欠落しない程度（例えば、縦３００×横１００画素程度）に縮小することが好ましい。また、火花画像４は、鋼材ＳをグラインダＧに押し当てる強さや位置などの研削条件、温度や湿度などの環境条件などの条件を変えて多数用意することが好ましい。また、後述するように火花画像４に部分的にマスクを設定したマスク画像を加えてもよい。

［学習フェーズ］
図４は、学習フェーズの手順例を示すフロー図である。制御部１０は、同図に示す情報処理をプログラムに従って実行することにより、取得部１１及び学習部１３として機能する。

まず、制御部１０は、火花画像４及び鋼材Ｓの成分情報を取得する（Ｓ１１、取得部１１としての処理）。学習フェーズでは、火花画像４とそれに対応付けられた鋼材Ｓの成分情報とがデータベース２から読み出される。

次に、制御部１０は、複数用意された火花画像４及び成分情報の組から一部を機械学習用のトレーニングデータとして抽出し（Ｓ１２）、抽出したトレーニングデータを用いて機械学習を実行する（Ｓ１３）。機械学習は、火花画像４を入力データとし、成分情報を教師データとして行われる。これにより、火花画像４から鋼材Ｓの成分を推定するための学習済みモデルが構築される。

次に、制御部１０は、複数用意された火花画像４及び成分情報の組からトレーニングデータとは別の一部をテストデータとして抽出し（Ｓ１４）、抽出したテストデータを用いて学習済みモデルを評価する（Ｓ１５）。その後、制御部１０は、評価が所定以上であった学習済みモデルをデータベース２に保存し（Ｓ１６）、学習フェーズを終了する。

図５は、学習済みモデルの構築例を説明するための図である。学習済みモデルは、畳み込みニューラルネットワークであり、畳み込みフィルタ、プーリング層、全結合層、及び出力層を含んでいる。特には、ニューロンを多段に組み合わせたディープニューラルネットワークが好適である。火花画像４が、例えば縦３００×横１００画素のカラー画像である場合、入力は９００００要素となる。

鋼材Ｓの炭素量を推定する場合には、畳み込みニューラルネットワークの出力層は１要素となる。すなわち、畳み込みニューラルネットワークを鋼材Ｓの炭素量の回帰に用いる。例えば、炭素鋼の一種であるＳＣ鋼は、炭素量が０．１〜０．６％程度のものがよく生産されるので、炭素量が０．１〜０．６％の間の様々なＳＣ鋼の火花画像４を用意し、学習させることで、火花画像４から炭素量を推定する学習済みモデルが構築される。

鋼材Ｓに含まれる合金元素（Ｎ種類）を推定する場合には、畳み込みニューラルネットワークの出力層はＮ要素となる。すなわち、畳み込みニューラルネットワークを鋼材Ｓに含まれる合金元素の分類に用いる。例えば、合金元素を含む鋼材であるモリブデン鋼やクロム鋼の火花画像４を用意し、学習させることで、火花画像４から鋼材中に含まれるモリブデンやクロムといった合金元素を推定する学習モデル済みモデルが構築される。

鋼材Ｓの炭素量の回帰を行う畳み込みニューラルネットワークと、鋼材Ｓの合金元素の分類を行う畳み込みニューラルネットワークとを個別に構築してもよいし、鋼材Ｓの炭素量の回帰と鋼材Ｓの合金元素の分類とを同時に行う畳み込みニューラルネットワークを構築してもよい。

なお、図５に示す畳み込みニューラルネットワークはあくまでも一例であり、層構造はこれに限られず、畳み込み層、プーリング層、及び全結合層はそれぞれ複数あってもよい。また、サポートベクタマシン、決定木等のニューラルネットワーク以外の機械学習を用いてもよい。

［推論フェーズ］
図６は、推論フェーズの手順例を示すフロー図である。制御部１０は、同図に示す情報処理をプログラムに従って実行することにより、取得部１１、推論部１５及び鋼種判定部１７として機能する。

まず、制御部１０は、火花画像４を取得する（Ｓ２１、取得部１１としての処理）。推論フェーズでは、取得部１１がカメラ３から取得した火花画像４が推論部１５に直接的に入力される。これに限らず、火花画像４は、データベース２に一旦保存され、データベース２から読み出されてもよい。

次に、制御部１０は、取得された火花画像４を入力データとし、学習フェーズで作成された学習済みモデルを用いて、鋼材Ｓの成分を推定する（Ｓ２２、推論部１５としての処理）。

次に、制御部１０は、推定された鋼材Ｓの成分に基づいて鋼材Ｓの鋼種を判定する（Ｓ２３、鋼種判定部１７としての処理）。鋼種の判定は、例えば数秒の推定結果を平均した上で行われる。データベース２には、図７に示すような鋼種と成分情報とを対応付けたテーブルが保存されており、制御部１０は、推定された鋼材Ｓの成分に対応する鋼種をテーブルから読み出す。

例えば、炭素鋼の一種であるＳＣ鋼の検査をする場合においては、火花画像４から鋼材Ｓの炭素量を推定することで、例えばＳ１０Ｃ、Ｓ３５Ｃ等の鋼種を判定することができる。例えば、制御部１０は、ＪＩＳ等の鋼種規格の上位の規格情報（例えばＳＣ鋼）の入力を受け付けて（入力受付部としての処理）、その下位に属する鋼種（例えばＳ１０Ｃ、Ｓ３５Ｃ等）を判定してもよい。

また、鋼材の含有金属を検査する場合においては、火花画像４から鋼材Ｓに含まれる合金元素を推定することで、例えばモリブデン鋼、クロム鋼などの鋼種を判定することができる。例えば、制御部１０は、合金元素を含む鋼材である旨の情報を成分情報として受け付けて、合金元素の推定結果から、例えばモリブデン鋼、クロム鋼などの鋼種を判定してもよい。

また、炭素量の推定と合金元素の推定とを組み合わせることで、未知の鋼材Ｓであっても鋼種を判定することができる。

以上に説明した実施形態によれば、機械学習により作成された学習済みモデルを用いて火花画像４から鋼材Ｓの成分を推定することで、推定精度を向上させることが可能となる。また、試験毎に取得される火花画像４及び成分情報を利用して機械学習を重ねることで、推定精度を益々向上させることが可能となる。

また、実施形態によれば、特許文献１や特許文献２に開示された画像処理や画像変換などを行わなくても、火花画像４から鋼材Ｓの成分を推定することが可能となる。

また、これまで検査員の熟練度に依存していた官能検査を、実施形態の高精度で定量的な成分推定に置き換えることが可能となる。また、実施形態によれば、研削条件や環境条件が変わっても成分推定を高精度に維持することが可能となる。

また、実施形態によれば、短時間での異材混入検査や鋼種判定が求められる工場ラインにおいて、迅速な検査・判定が可能となる。また、実施形態によれば、蛍光Ｘ線分析では難しい鋼材の炭素量の判定が容易に実現する。

［複数カメラ］
図８及び図９は、複数のカメラ３，３１，３２を用いた変形例を示す図である。本変形例では、複数のカメラ３，３１，３２により火花を互いに異なる複数の方向から撮影して得られる複数の火花画像４，４１，４２を、畳み込みニューラルネットワークの入力データとする。

特に、鋼材Ｓを研削したときに発生する火花は根本部、中央部、先端部において特徴を持つことから、火花の全体を撮影して得られる火花画像４に加えて、火花の根元部、中途部又は先端部を撮影して得られる１以上の部分画像４１，４２を用いることで、成分推定の更なる精度向上を図ることが可能となる。

図示の例では、カメラ３により火花の全体を撮影して得られる火花画像４に加えて、カメラ３１により火花の中途部を撮影して得られる部分画像４１と、カメラ３２により火花の先端部を撮影して得られる部分画像４２とが用いられる。部分画像４１，４２では、着目部分が火花画像４よりも拡大されている。

なお、これに限らず、火花画像４を省略して、火花の根元部、中途部又は先端部を撮影して得られる２以上の部分画像４１，４２を用いてもよい。

［時系列画像］
図１０は、時系列の複数の火花画像４を用いた変形例を示す図である。本変形例では、カメラ３により火花を撮影して得られる時系列の複数の火花画像４を、畳み込みニューラルネットワークの入力データとする。時系列の複数の火花画像４は、例えば動画データに含まれる複数の静止画像であってもよいし、所定の時間間隔で撮影して個別に生成された複数の静止画像であってもよい。

火花の状態は時間的に変化するため、時系列の複数の火花画像４を入力データとすることにより、１枚の火花画像４のみを入力データとする場合よりも、時間的に変化する火花の特徴が認識しやすくなり、成分推定の更なる精度向上を図ることが可能となる。

特に、図１１に示すような、火花画像４の垂直軸と水平軸の２次元に加えて、時系列の複数の火花画像４の時間軸を第３の次元とする３次元畳み込みフィルタを用いることにより、時間的に変化する火花の特徴がより認識しやすくなり、成分推定の更なる精度向上を図ることが可能となる。

［マスク画像］
図１２は、マスク画像４ａ〜４ｃを用いた変形例を示す図である。本変形例では、火花画像４に部分的にマスクを設定したマスク画像４ａ〜４ｃを、畳み込みニューラルネットワークの入力データに用いる火花画像４の１つとしてもよい。

火花画像４にランダムにマスクを設定することにより、畳み込みニューラルネットワークの注目箇所を分散させることができるので、成分推定の更なる精度向上かつ汎化性能向上を図ることが可能となる。

特に、鋼材Ｓを研削したときに発生する火花は根本部、中央部、先端部において特徴を持つことから、火花の根元部にマスクを設定したマスク画像４ａ、火花の中途部にマスクを設定したマスク画像４ｂ、又は火花の先端部にマスクを設定したマスク画像４ｃを作成することで、畳み込みニューラルネットワークの注目箇所を根本部、中央部及び先端部に分散させ易くなる。

マスク画像４ａ，４ｂ又は４ｃのみを作成してもよいし、ランダムにマスクを設定したマスク画像を作成する際に、マスク画像４ａ，４ｂ又は４ｃの割合を他よりも多くしてもよい。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、種々の変形実施が当業者にとって可能であるのはもちろんである。

上記実施形態では、鋼材成分学習推定装置１が学習フェーズに係る構成と推論フェーズに係る構成との両方を含んでいたが、これに限らず、学習フェーズに係る構成と推論フェーズに係る構成とを別個の装置で実現してもよい。

また、上記実施形態では、火花画像４から鋼材Ｓの成分を推定する学習済みモデルを用い、推定された鋼材Ｓの成分から鋼種を判定していたが、これに限らず、火花画像４から鋼種を直接的に推定する学習済みモデルを構築してもよい。

［他の実施形態］
以下、他の実施形態について説明する。上記実施形態と重複する構成及び手順については、同番号を付すことで詳細な説明を省略することがある。

図１３は、他の実施形態に係る鋼材成分学習推定装置１Ｂの構成例を示すブロック図である。制御部１０は、取得部１１、学習部１３、推論部１５、鋼種判定部１７、予備推論部１８、及びモデル選択部１９を含んでいる。

鋼材（鋼種）は、炭素量に応じて複数の鋼材グループにグループ分けすることができる。例えば、炭素量が０．３％以下の低炭素量グループ、炭素量が０．３％以上０．７％以下の中炭素量グループ、及び炭素量が０．７％以上の高炭素量グループにグループ分けすることができる。

このようにグループ分けされた複数の鋼材グループのそれぞれには、種々の鋼種が含まれる。例えば、低炭素量グループ、中炭素量グループ、及び高炭素量グループのそれぞれには、炭素鋼に加えて、硫黄、モリブデン、クロム、又はニッケル等の鋼種が含まれる。

図１３に示すように、本実施形態では、制御部１０Ｂ（学習部１３）は、学習フェーズにおいて、各鋼材グループ用の学習済みモデル（低炭素量グループ用学習済みモデル、中炭素量グループ用学習済みモデル、及び高炭素量グループ用学習済みモデル）を構築する。

低炭素量グループ用学習済みモデルは、低炭素量グループに属する鋼材に基づいて構築され、低炭素量グループに属する鋼材の合金元素を判定するために適用される。中炭素量グループ用学習済みモデル及び高炭素量グループ用学習済みモデルについても同様である。

また、制御部１０Ｂ（学習部１３）は、学習フェーズにおいて、炭素量推定用学習済みモデルも構築する。この炭素量推定用学習済みモデルは、上述したような鋼材の炭素量を推定するための学習済みモデルであり、詳細な説明を省略する。

図１４に示すように、火花画像と鋼種（又は合金元素）とを対応付けたテーブルは、鋼材グループ毎に用意される。学習フェーズにおいて、火花画像は入力データとして利用され、合金元素は教師データとして利用される。なお、鋼種を教師データとしてもよい。

図示の例では、低炭素量グループに属する鋼材に係る火花画像と、当該鋼材に含まれる合金元素を表す鋼種との対応例を示している。すなわち、低炭素量グループのテーブルに含まれる火花画像は、低炭素量グループに属する鋼材を研削したときに発生する火花を撮影することにより生成された画像データである。

制御部１０Ｂ（学習部１３）は、このように鋼材グループ毎に用意された火花画像及び鋼種（又は合金元素）を含むデータセットを用い、上記図４に示した学習フェーズの処理を鋼材グループ毎に実行することで、各鋼材グループ用の学習済みモデルを構築する。

図１５は、推論フェーズの手順例を示すフロー図である。制御部１０Ｂは、同図に示す情報処理をプログラムに従って実行することにより、取得部１１、推論部１５、鋼種判定部１７、予備推論部１８、及びモデル選択部１９として機能する。

制御部１０Ｂは、火花画像を取得すると（Ｓ２１、取得部１１としての処理）、炭素量推定用学習済みモデルを用いて、取得した火花画像から鋼材の炭素量を推定する（Ｓ２５、予備推論部１８としての処理）。

次に、制御部１０Ｂは、推定された鋼材の炭素量に基づいて、複数の鋼材グループ用の学習済みモデルから１の鋼材グループ用の学習済みモデルを選択する（Ｓ２６、モデル選択部１９としての処理）。

具体的には、制御部１０Ｂは、推定された鋼材の炭素量が、低炭素量グループ（炭素量範囲：０．３％以下）、中炭素量グループ（炭素量範囲：０．３％以上０．７％以下）、及び高炭素量グループ（炭素量範囲：０．７％以上）の何れに該当するかを判定するとともに、低炭素量グループ用学習済みモデル、中炭素量グループ用学習済みモデル、及び高炭素量グループ用学習済みモデルから、該当するグループ用の学習済みモデルを選択する。

次に、制御部１０Ｂは、選択された鋼材グループ用の学習済みモデルを用いて、上記Ｓ２１で取得した火花画像から鋼材に含まれる合金元素を推定する（Ｓ２７、推論部１５としての処理）。

例えば、制御部１０Ｂは、低炭素量グループ用学習済みモデルが選択された場合には、低炭素量グループ用学習済みモデルを用い、火花画像から鋼材に含まれる合金元素を推定する。中炭素量グループ用学習済みモデル及び高炭素量グループ用学習済みモデルについても同様である。

次に、制御部１０Ｂは、推定された合金元素に基づいて、鋼材の鋼種を判定する（Ｓ２３、鋼種判定部１７としての処理）。以上により、推論フェーズが終了する。

以上に説明した実施形態によれば、鋼材の炭素量に応じた鋼材グループ用の学習済みモデルを用いて鋼材に含まれる合金元素を推定するので、合金元素の推定精度の向上を図ることが可能となる。

また、炭素量推定用学習済みモデルにより鋼材の炭素量を推定し、その推定結果に基づいて鋼材グループ用の学習済みモデルを選択することで、鋼材の炭素量が不明であっても、鋼材の炭素量を推定し、さらに鋼材に含まれる合金元素を推定することが可能となる。

なお、これに限らず、鋼材グループ用の学習済みモデルをユーザの操作に応じて選択してもよい。

［合金元素判定］
以下に説明するように、鋼材に含まれる合金元素は、時系列の複数の火花画像のそれぞれから学習済みモデルによって推定される複数の推定結果に基づいて判定されてもよい。

火花の状態は時間に応じて変化するため、合金元素を判別しうる特徴が常時出現している訳ではない。例えばＳＣＭ鋼（モリブデン）では火花の先端部に特徴が出現するが、常時出現するわけではないため、１枚の火花画像だけでは特徴を捉えられず、単なるＳＣ鋼と判定されてしまうことがある。

図１６は、ＳＣＲ鋼（クロム）の火花画像３０枚の推定結果例を示す図である。これによると、クロムとの推定結果が最も多いものの、炭素鋼との推定結果がその半分弱ほどあり、さらにはモリブデン、ニッケル、及び硫黄との推定結果も僅かながら見られる。

そこで、本変形例では、時系列の複数の火花画像のそれぞれから学習済みモデルにより推定される複数の推定結果に基づいて、多数決的に合金元素を判定する。これにより、時間的に変化する火花の特徴を捉え、合金元素の判定精度の向上を図ることが可能となる。

具体的には、時系列の複数の火花画像を学習済みモデルに順次入力し、これにより順次推定される合金元素（推定結果）をカウントしていき、最も早く判定閾値に到達した合金元素を採用する。

図１７は、ＳＮＣＭ鋼（ニッケル）の推定結果例を示す図である。図１８は、ＳＣＲ鋼（クロム）の推定結果例を示す図である。横軸は火花画像の撮影時間（学習済みモデルへの入力枚数に対応）を表し、縦軸は累積判定枚数を表す。

これによると、図１７ではニッケルが最も早く判定閾値に到達しており、図１８ではクロムが最も早く判定閾値に到達している。図示の例では、判定閾値は３０枚である。１〜２秒程度の撮影で判定可能な判定閾値を設定することが好ましい。

これに限らず、所定期間に撮影される複数の火花画像のそれぞれから学習済みモデルにより推定された合金元素（推定結果）のうち、最も多い合金元素を採用してもよい。

その他、ｋ近傍法やＳＶＭ（サポートベクターマシーン）といった機械学習手法を用いて合金元素を判定してもよい。

以上に説明した変形例によれば、時系列の複数の火花画像により、時間的に変化する火花の特徴を捉えて、合金元素の判定精度の向上を図ることが可能となる。さらに、合金元素の含有量が少ない鋼材や類似する火花特徴を持つ鋼種の判定精度の向上も図ることが可能となる。

１ 鋼材成分学習推定装置（鋼材成分学習装置、鋼材成分推定装置）、２ データベース、１０ 制御部、１１ 取得部、１３ 学習部、１５ 推論部、１７ 鋼種判定部、３，３１，３２ カメラ、４ 火花画像、４１，４２ 部分画像、４ａ〜４ｃ マスク画像

Claims (22)

1. 鋼材を研削したときに発生する火花の画像データ及び前記鋼材の成分情報を取得する取得手段と、
   前記画像データを入力データとし、前記成分情報を教師データとして、画像データから鋼材の成分を推定するための学習済みモデルを機械学習により構築する学習手段と、
   を備える、鋼材成分学習装置。
2. 前記学習手段は、前記火花を互いに異なる複数の方向から撮影して得られる複数の画像データを、前記入力データとする、
   請求項１に記載の鋼材成分学習装置。
3. 前記学習手段は、前記火花の全体を撮影して得られる画像データ、前記火花の根元部を撮影して得られる画像データ、前記火花の中途部を撮影して得られる画像データ、及び前記火花の先端部を撮影して得られる画像データから選択される２以上を、前記入力データとする、
   請求項１または２に記載の鋼材成分学習装置。
4. 前記学習済みモデルは、畳み込みニューラルネットワークである、
   請求項１ないし３の何れかに記載の鋼材成分学習装置。
5. 前記学習手段は、前記火花を撮影して得られる時系列の複数の画像データを、前記入力データとする、
   請求項１ないし４の何れかに記載の鋼材成分学習装置。
6. 前記学習済みモデルは、前記時系列の複数の画像データの時間軸を第３の次元とする３次元畳み込みフィルタを用いた畳み込みニューラルネットワークである、
   請求項５に記載の鋼材成分学習装置。
7. 前記学習手段は、前記火花を撮影して得られる画像データに部分的にマスクを設定した画像データを、前記入力データとする、
   請求項１ないし６の何れかに記載の鋼材成分学習装置。
8. 前記学習手段は、前記火花の根元部、中途部又は先端部にマスクを設定した画像データを、前記入力データとする、
   請求項１ないし７の何れかに記載の鋼材成分学習装置。
9. 前記鋼材の成分情報は、前記鋼材に含まれる炭素量及び合金元素の少なくとも一方を含む、
   請求項１ないし８の何れかに記載の鋼材成分学習装置。
10. 前記学習手段は、炭素量に応じてグループ分けされた複数の鋼材グループから選択される１の鋼材グループに属する鋼材に係る前記画像データを入力データとし、当該鋼材に含まれる合金元素を教師データとして、前記１の鋼材グループ用の学習済みモデルを構築する、
    請求項１ないし９の何れかに記載の鋼材成分学習装置。
11. 鋼材を研削したときに発生する火花の画像データを取得する取得手段と、
    画像データを入力データとし、鋼材の成分情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記画像データから前記鋼材の成分を推定する推論手段と、
    を備える、鋼材成分推定装置。
12. 炭素量に応じてグループ分けされた複数の鋼材グループのそれぞれについて、鋼材に含まれる合金元素を教師データとして構築された複数の前記学習済みモデルから、１の鋼材グループ用の学習済みモデルを選択する選択手段をさらに備え、
    前記推論手段は、前記選択された１の鋼材グループ用の学習済みモデルを用い、前記取得手段により取得された画像データから鋼材に含まれる合金元素を推定する、
    請求項１１に記載の鋼材成分推定装置。
13. 画像データを入力データとし、鋼材の炭素量を教師データとして機械学習により予め構築された炭素量推定用学習済みモデルを用い、前記取得手段により取得された画像データから前記鋼材の炭素量を推定する予備推論手段をさらに備え、
    前記選択手段は、前記予備推論手段により推定された鋼材の炭素量に基づいて、前記１の鋼材グループ用の学習済みモデルを選択する、
    請求項１２に記載の鋼材成分推定装置。
14. 前記火花を撮影して得られる時系列の複数の画像データのそれぞれから前記学習済みモデルにより推定される複数の推定結果に基づいて、前記鋼材に含まれる合金元素を判定する判定手段をさらに備える、
    請求項１１ないし１３の何れかに記載の鋼材成分推定装置。
15. 鋼材の鋼種情報又は成分情報の入力を受け付ける入力受付部と、
    前記入力受付部に入力された情報と、請求項１０に記載の鋼材成分推定装置により推定された鋼材の成分とに基づいて、鋼種を判定する鋼種判定部と、
    を備える、鋼種判定装置。
16. 前記鋼種情報は、鋼種規格の上位の規格情報であり、
    前記鋼種判定部は、前記上位の規格情報の下位に属する鋼種を判定する、
    請求項１５に記載の鋼種判定装置。
17. 鋼材を研削したときに発生する火花の画像データ及び前記鋼材の成分情報を取得し、
    前記画像データを入力データとし、前記成分情報を教師データとして、画像データから鋼材の成分を推定するための学習済みモデルを機械学習により構築する、
    鋼材成分学習方法。
18. 鋼材を研削したときに発生する火花の画像データを取得し、
    画像データを入力データとし、鋼材の成分情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記画像データから前記鋼材の成分を推定する、
    鋼材成分推定方法。
19. 鋼材の鋼種情報又は成分情報の入力を受け付け、
    入力された情報と、請求項１４に記載の鋼材成分推定方法により推定された鋼材の成分とに基づいて、鋼種を判定する、
    鋼種判定方法。
20. 鋼材を研削したときに発生する火花の画像データ及び前記鋼材の成分情報を取得する取得手段、及び、
    前記画像データを入力データとし、前記成分情報を教師データとして、画像データから鋼材の成分を推定するための学習済みモデルを機械学習により構築する学習手段、
    としてコンピュータを機能させるためのプログラム。
21. 鋼材を研削したときに発生する火花の画像データを取得する取得手段、及び、
    画像データを入力データとし、鋼材の成分情報を教師データとして機械学習により予め構築された学習済みモデルを用い、前記画像データから前記鋼材の成分を推定する推論手段、
    としてコンピュータを機能させるためのプログラム。
22. 鋼材の鋼種情報又は成分情報の入力を受け付ける入力受付部、及び、
    前記入力受付部に入力された情報と、請求項１７に記載のプログラムにより機能する推論手段により推定された鋼材の成分とに基づいて、鋼種を判定する鋼種判定部、
    としてコンピュータを機能させるためのプログラム。