JP2023086615A - 高温鋼材の割れ検出方法、高温鋼材の圧延方法及び高温鋼材の割れ検出モデルの生成方法 - Google Patents

Abstract

【課題】精度の高い割れ識別情報の推定が可能な高温鋼材の割れ検出方法、高温鋼材の圧延方法及び高温鋼材の割れ検出モデルの生成方法が提供される。【解決手段】高温鋼材の割れ検出方法は、高温鋼材の表面を撮影することにより取得した画像データを入力データ、高温鋼材の割れについての位置情報を少なくとも含む割れ識別情報を出力データとして、領域提案を実行するニューラルネットワークを含む機械学習によって学習された割れ検出モデルを用いて、高温鋼材の割れを検出するステップを含む。【選択図】図９

Description

本開示は、高温鋼材の割れ検出方法、高温鋼材の圧延方法及び高温鋼材の割れ検出モデルの生成方法に関する。

鋼板など金属板は、連続鋳造によって製造される鋳片（スラブ）を直送で又は再加熱を行った後に、熱間圧延を行うことにより製造される。連続鋳造ラインにおいて、鋳型に注入された溶鋼が鋳型内で一次冷却され、表面が凝固した状態で引き抜かれ、さらに２次冷却により内部の凝固が完了した後に、ガス切断機等のカッタにより切断されてスラブとなる。連続鋳造ラインにおいて、凝固過程における曲げ又は曲げ戻しの変形により応力が作用することで、スラブの表面に割れが発生する場合がある。特に、高強度鋼板の素材となるスラブは、合金成分を比較的多く含み、割れが生じやすい。

一方、連続鋳造によって製造されたスラブに対して熱間圧延を行う設備としては、熱延ライン及び厚板圧延ラインなどがあり、熱間圧延工程においても鋼材の表面に割れが発生する場合がある。熱延ラインでは、加熱炉により鋼片素材であるスラブが１２００℃程度に加熱された後、粗圧延機により熱間圧延されて、おおよそ３０～５０ｍｍ程度の板厚の粗バーと呼ばれる半製品の被圧延材が製造される。次に、被圧延材の先端部がクロップシャーにより切断された後、被圧延材が５～７スタンドの仕上げ圧延機により仕上げ圧延され、板厚０．８～１０ｍｍ程度の熱延鋼板が製造される。熱延鋼板はランアウトテーブルの冷却装置によって冷却された後、巻取装置によって巻き取られる。熱延ラインにおける熱間圧延工程では、粗圧延機及び仕上げ圧延機により圧延を行う過程で、被圧延材の表面に割れが観察される場合がある。一方、厚板圧延ラインでは、１基又は２基の圧延機により、板厚６～３０ｍｍ程度の鋼板が製造される。その際、スラブを多パス圧延により減厚する途中で、鋼材の表面に割れが観察される場合もある。

このような高温の状態にある鋼材の表面に割れが生じると、熱間圧延工程の途中で板破断が生じ、設備の破損などを伴う操業トラブルの原因となり得る。

これに対して、従来、製造ラインの操作室等から高温鋼材を目視により観察し、鋼材の表面に割れがあるかないかを確認することが行われていた。また、特許文献１では、熱延ラインにおける粗圧延機により圧延したシートバーの全面の温度分布を測定し、その代表温度との温度偏差が所定範囲を超えて外れた部分を穴開きとして判定する方法が開示されている。この場合の「穴あき」は、高温鋼材であるシートバーの割れが拡大して、板厚方向に貫通した割れと考えることができる。

特開２０１０－６４１２２号公報

ここで、熱延ラインで搬送される高温鋼材では、表面における酸化物であるスケールの存在、脱スケールのためのデスケーリング水、圧延ロールの冷却水などによる霧状水滴の存在、鋼材上面の水乗りなどの影響により、割れ検出の精度が低下する場合があった。

また、特許文献１による方法でも、鋼材表面の温度分布の測定に際して、スケール、霧状水滴、鋼材への水乗りなどの外乱が生じることがあり得るため、さらなる改善の余地があった。

さらに、高温鋼材に発生した割れの位置及び形状に関して十分な精度で検出できない場合に、割れが発生した高温鋼材に対して製造ラインでの製造中に適切な処置を行うことが困難であるという、製造ラインへの影響が生じる。

かかる事情に鑑みてなされた本開示の目的は、精度の高い割れ識別情報の推定が可能な高温鋼材の割れ検出方法、高温鋼材の圧延方法及び高温鋼材の割れ検出モデルの生成方法を提供することにある。

本開示の一実施形態に係る高温鋼材の割れ検出方法は、
高温鋼材の表面を撮影することにより取得した画像データを入力データ、前記高温鋼材の割れについての位置情報を少なくとも含む割れ識別情報を出力データとして、領域提案を実行するニューラルネットワークを含む機械学習によって学習された割れ検出モデルを用いて、前記高温鋼材の割れを検出するステップを含む。

本開示の一実施形態に係る高温鋼材の圧延方法は、
上記の高温鋼材の割れ検出方法によって前記高温鋼材の割れが検出された場合に、前記割れ識別情報に基づいて、前記高温鋼材の表面の手入れを行う、又は、前記高温鋼材をその後の製造ラインに搬送されないようにする処置工程を含む。

本開示の一実施形態に係る高温鋼材の割れ検出モデルの生成方法は、
高温鋼材の表面を撮影することにより取得した画像データを入力実績データ、前記高温鋼材の割れについての位置情報を少なくとも含む割れ識別情報を出力実績データとした、複数の学習用データを用いて、領域提案を実行するニューラルネットワークを含む機械学習によって、前記高温鋼材の割れを検出する割れ検出モデルを生成するステップを含む。

本開示によれば、精度の高い割れ識別情報の推定が可能な高温鋼材の割れ検出方法、高温鋼材の圧延方法及び高温鋼材の割れ検出モデルの生成方法を提供することができる。

図１は、熱延鋼板を製造するための熱延ラインの構成を示す模式図である。 図２は、粗圧延機について詳細に説明するための図である。 図３は、高温鋼材の画像を取得するための撮像装置を説明する図である。 図４は、シートバーの表面に生じる割れを例示する図である。 図５は、割れ検出モデル生成部を説明するための図である。 図６は、割れが生じている位置の領域指定を例示する図である。 図７は、学習用データにおける識別情報を例示する図である。 図８は、一実施形態に係る割れ検出モデルの生成方法で用いることができるニューラルネットワークの構造を例示する図である。 図９は、割れ検出部の動作を例示する図である。

以下、図面を参照して本開示の一実施形態に係る高温鋼材の割れ検出方法、高温鋼材の圧延方法及び高温鋼材の割れ検出モデルの生成方法が説明される。

＜高温鋼材＞
本開示における高温鋼材とは、鋼板の表面温度が概ね６００℃以上、１２５０℃以下の範囲にある鋼材を指す。高温鋼材には、連続鋳造により製造されたスラブ、ビレット、ブルームが含まれる。また、高温鋼材は、熱延ラインにおいて、加熱炉から抽出され、粗圧延工程から仕上げ圧延工程に至るまでの鋼材又は鋼帯を含む。さらに、高温鋼材は、厚板圧延ラインにおける粗圧延又は仕上げ圧延工程における鋼材又は鋼板を含むものとする。高温鋼材は、その表面に割れが生じることにより、鋼材の表面と割れによる開口部との温度差に起因して、外観上の色又は輝度の違いが生じることで割れが発生していることを認識できる。

本実施形態では、高温鋼材として、熱延ラインにおける粗圧延工程で圧延される鋼材を対象に含む。粗圧延機では加熱されたスラブを複数の圧延パスにより減厚し、仕上げ圧延に供するための粗バーを生成する。本実施形態では、粗圧延における複数の圧延パスの途中段階での鋼材を高温鋼材とすることができ、そのような高温鋼材をシートバーと呼ぶこととする。粗圧延工程におけるシートバーの表面に割れが生じると、仕上げ圧延機により仕上げ圧延が行われる際に、被圧延材が破断して仕上げ圧延設備を破損させるなど、操業トラブルを引き起こすことがあり得るため、高温鋼材の割れを早期に検出する必要がある。

以下では、高温鋼材として、熱延ラインの粗圧延機で圧延されるシートバーを対象に、本開示の実施形態を説明する。

＜熱延ラインの概要＞
図１は、熱延鋼板を製造するための熱延ラインの構成を示す模式図である。図１に示すように、熱延ライン１０は、加熱炉１、デスケーリング装置２１、幅圧下装置３、粗圧延機４、仕上げ圧延機５、水冷装置６及びコイラー７を備えている。不図示の鋳造スラブは、加熱炉１に装入された後、所定の設定温度（例えば１１００～１２５０℃）まで加熱され、熱間スラブとして加熱炉１から抽出される。加熱炉１から抽出されたスラブは、デスケーリング装置２１によって表面に生成した１次スケールが除去された後、幅圧下装置３によって所定の設定幅まで幅圧下される。幅圧下されたスラブは、粗圧延機４において所定厚さまで圧延されることで粗バーとして仕上げ圧延機５に搬送される。粗圧延機４は可逆式圧延機４ａを含んでよいし、非可逆式圧延機４ｂを含んでよい。仕上げ圧延機５では、５から７スタンドの連続式圧延機により製品厚さまで圧延される。仕上げ圧延機５の下流側にはランアウトテーブルと呼ばれる設備に水冷装置６が備えられており、圧延材は、所定の温度まで冷却された後、コイラー７によってコイル状に巻き取られる。

図２は、粗圧延機について詳細に説明するための図である。図２に示す粗圧延機は、３基の圧延機から構成されている。ここで、粗圧延機は、２基以下又は４基以上の圧延機から構成されてよい。加熱炉１から抽出したスラブは加熱炉１内で生じた１次スケールを除去するためのデスケーリング装置２１により脱スケールされ、幅圧下装置３により幅圧下が行われた後に、図２に示す粗圧延機に搬送される。第１の粗圧延機４１は、２段式の可逆式圧延機であり、幅圧下が行われた高温鋼材の多パス圧延が行われる。第１の粗圧延機４１の上流側及び下流側には、シートバー１２の２次スケールを除去するための粗デスケーリング装置１３が配置されている。粗デスケーリング装置１３は、シートバー１２が第１の粗圧延機４１により圧延される上流側又は下流側から高圧水を噴射してシートバー１２の表面に生成した２次スケールを除去する。ここで、第１の粗圧延機４１の上流側で高圧水を噴射するか、下流側で高圧水を噴射するかは任意に選択でき、両方から高圧水を噴射してよい。

第１の粗圧延機４１で所定の板厚まで減厚されたシートバー１２は、第２の粗圧延機４２に搬送される。図２の例では、第２の粗圧延機４２は可逆式圧延機であり、シートバー１２の多パス圧延が行われる。第２の粗圧延機４２の上流側及び下流側にも、シートバー１２の２次スケールを除去するための粗デスケーリング装置１３が配置されている。さらに、第２の粗圧延機４２で所定の板厚まで減厚されたシートバー１２は、第３の粗圧延機４３に搬送され、非可逆式圧延機である第３の粗圧延機４３により単パス圧延が行われる。本実施形態では、第３の粗圧延機４３が粗圧延工程を実行する最終の圧延機となっており、第３の粗圧延機４３で圧延されたシートバー１２は、仕上げ圧延機５まで搬送され、シートバー１２の仕上げ圧延が行われる。

本実施形態では、粗圧延機４で圧延されるシートバー１２を撮影するためのカメラ２０が配置される。図２に示す例では、第１の粗圧延機４１の下流側にカメラ２０が配置されている。しかし、シートバー１２を撮影するカメラ２０は、第１の粗圧延機４１、第２の粗圧延機４２及び第３の粗圧延機４３のいずれかの圧延機の近くに設置されてよい。また、カメラ２０は、これらの圧延機のいずれかの上流側又は下流側などに設置されてよい。その際、異なる位置に複数のカメラ２０が配置されてよい。カメラ２０は、粗圧延機４における搬送テーブルの上方に設置して、シートバー１２の上面から撮影するように配置するのが好ましい。シートバー１２の下面側には搬送ロールがあるため、シートバー１２の全面の画像を取得するのが難しい場合があるからである。例えば、粗圧延機４のライン方向を横切るように設置された粗圧延機デッキ上から撮影するようにカメラ２０が配置されてよい。

カメラ２０を配置するライン方向の位置としては、カメラ２０の撮影位置をシートバー１２の全長が通過するような位置とするのが好ましい。その際、図２に示すように、第１の粗圧延機４１の下流側に粗デスケーリング装置１３が配置され、粗デスケーリング装置１３から噴射された水がシートバー１２の上面に乗り水（水乗り）となることがある。そのため、カメラ２０は粗デスケーリング装置１３から１．５ｍ以上離れた位置を撮影するように配置するのが好ましい。シートバー１２の乗り水が、高温鋼材の割れ判定のための画像に対して外乱となる場合があるからである。ここで、カメラ２０によるシートバー１２の撮影は、シートバー１２が粗圧延機４の下流側に向けて搬送されている状態であっても、上流側に向けて搬送されている状態であっても、いずれでも構わない。シートバー１２の全長に対して、撮影した画像が得られればよい。

本実施形態では、カメラ２０は２次元カメラ（エリアカメラ）を用いる。カメラ２０は、カラーカメラであっても、モノクロカメラであってよい。ただし、シートバー１２の画像は、板幅方向端部の両方のエッジ部が含まれるようにして、シートバー１２の全長を撮像するものが好ましい。

図３は、高温鋼材の画像を取得するための撮像装置を説明する図である。図３に示す高温鋼材の撮像装置は、複数のカメラ２０により高温鋼材の画像を取得するものである。高温鋼材を撮影する複数のカメラ２０は、ハブ（ＨＵＢ）を介してＶＭＳ（Ｖｉｄｅｏ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ）サーバーと接続される。ＶＭＳサーバーは撮像制御装置との間で高温鋼材の画像を受け渡す。撮像制御装置は製造ラインの制御用コントローラ（ＰＬＣ）と接続されている。本実施形態において、ＰＬＣは高温鋼材がカメラ２０による撮像位置を通過するタイミングで撮像制御装置に対して撮影トリガを送信する。撮像制御装置は、ＰＬＣから受信した撮影トリガに基づいて、ＶＭＳサーバーに対して画像撮像コマンドを送信し、コマンド要求を実行する。ＶＭＳサーバーは、１又は２以上のカメラ２０を管理する機能を有する管理サーバーと録画機能を有する録画サーバーから構成される。ＶＭＳサーバーは、撮像制御装置から受信した画像撮像コマンドに基づき、ＶＭＳサーバーが管理するカメラ２０から画像を取得し、撮像制御装置に画像を送信する。このとき撮像制御装置は、ＰＬＣから高温鋼材の尾端部がカメラ２０による撮像位置を通り抜けるタイミングで撮影停止トリガを受信するように構成し、撮影トリガから撮影停止トリガの間でＶＭＳサーバーから画像を取得するようにしてよい。また、撮像制御装置はＶＭＳサーバーから取得する画像の輝度値などに基づいて、高温鋼材がカメラ２０による撮像位置を通り抜けるタイミングを判定し、これにより撮影停止のコマンドをＶＭＳサーバーに送ってよい。

本実施形態では、このようにして取得された高温鋼材の画像を、高温鋼材の画像データと呼ぶ。また、撮像制御装置は高温鋼材の搬送方向に対して連続的に撮像した２以上の画像を用いて、それらの重複部分を削除し、高温鋼材の全長（先端部から尾端部まで）を撮像した１枚の画像を生成して、これを高温鋼材の画像データとしてよい。ここで、撮像制御装置は、高温鋼材の画像データについて、必要に応じて画像のトリミング、明暗調整、コントラスト調整などを行ってから後述するデータ取得部に送るようにしてよい。

＜高温鋼材の割れ識別情報＞
本実施形態における高温鋼材の割れ識別情報とは、高温鋼材の割れの有無に関する情報及び割れが生じている場合の割れの位置情報をいう。また、本実施形態における高温鋼材の割れ識別情報は、割れの形状を識別する情報をさらに含む。ここで、割れ識別情報は、高温鋼材の割れについての位置情報を少なくとも含めばよい。また、後述する割れ検出モデルの生成で用いられる割れ識別情報の実績データの情報は、割れ識別情報が含む情報に対応して選択される。

割れの位置情報とは、高温鋼材の画像データにおいて、いずれの位置に割れが存在しているかを認識できる情報をいう。割れの位置情報は、割れが高温鋼材の先端部にあるか、定常部にあるか、尾端部にあるかを識別する情報を用いてよい。また、割れの位置情報は、長手方向の位置情報だけでなく、幅方向の位置情報として搬送方向に対して右側、左側、幅中央のように幅方向の位置を識別する情報を用いてよい。さらに、割れの位置情報は、高温鋼材の表面における座標によって割れの位置を表す情報であってよい。本実施形態では、高温鋼材の画像データにおいて割れが存在する領域を区画する領域情報が、割れの位置情報に用いられる。具体的には、高温鋼材の画像データ内で割れが生じている範囲を矩形ボックスにより区画して、その矩形ボックスの中心の座標と、横方向の長さと、縦方向の長さとにより特定される領域情報が割れの位置情報に用いられる。高温鋼材の画像データに対して、割れが存在する領域が表示されることにより、製造ラインのオペレータが高温鋼材の割れを早期に認識でき、迅速な対処が可能になる。

また、高温鋼材の割れの形状に関する情報は、割れの形状を高温鋼材の表面から観察した場合に、長手方向に長い形状のもの（縦割れ）か、幅方向に長い形状のもの（横割れ）か、割れが円形又は楕円形であるかなど、割れの形状を識別する情報である。また、割れの形状に関する情報は、「穴あき」のように板厚方向に貫通した割れであるのか、高温鋼材の表面近傍に限定されたものかを識別する情報を含んでよい。「穴あき」であるかどうかは、割れの板厚方向の形状に関する情報と捉えることができる。

本実施形態では、上記のように、高温鋼材の割れ識別情報が、割れの有無に関する情報、割れの位置情報及び割れの形状に関する情報を含む。割れが発生する位置によって高温鋼材に発生する割れの原因が異なる場合があるが、高温鋼材の割れの位置情報は、高温鋼材の割れ発生原因の推測に利用され得る。また、高温鋼材の割れが先端部のみ又は尾端部のみにある場合には、割れを含む部分のみを切断等により除去するで、健全な高温鋼材を取得することができる。そのため、高温鋼材の割れの位置情報は、高温鋼材の処置を決定する上で有益な情報になる。また、割れの形状に関する情報は、割れの形状に基づく割れの発生原因の推定に利用され得る。割れの発生原因が推定されることによって、高温鋼材の割れ発生を防止するために有効な対策をとることができる。

図４は、シートバー１２の表面に生じる割れを例示する図である。シートバー１２の先端部に近い位置の表面に、幅方向に長い形状の割れが２箇所生じている。割れが生じている部分の内部に比べて、周囲が暗く見えるのは、正常部におけるシートバー１２の表面の温度が比較的低いことと、その部分に一定の２次スケールが生成していることによる。これに対して、割れが生じている部分の内部は、比較的温度が高いシートバー１２の内部が露出していることと、その部分における２次スケールの生成量が少ないため、比較的明るい画像となっている。このような高温鋼材の表面に比較的シャープな輪郭形状を示す領域が観察され、その内部と周囲との輝度差が生じていることから高温鋼材の割れを判定することができる。また、その内部と周囲との輝度差が大きいほど、表面から深い割れが生じていると判定できる。これに対して、シートバー１２の表面に冷却水の不均一などに起因する温度ムラが生じている場合には、図４に示す輝度差よりも比較的広い範囲でなだらかな色調の変化となる。また、シートバー１２の表面に水乗りが生じている場合には、細かな斑点状の模様が多数観察されるようになる。

＜割れ検出モデル生成部＞
本実施形態では、高温鋼材の割れを検出する割れ検出モデルを生成する割れ検出モデル生成部を備える。割れ検出モデルは、高温鋼材の表面を撮影することにより取得した画像データを入力実績データ、高温鋼材の割れについての位置情報を少なくとも含む割れ識別情報を出力実績データとした、複数の学習用データを用いた機械学習によって生成される。上記のように、シートバー１２の表面に冷却水の不均一又は水乗りがあると図４の例とは異なる特徴を有する高温鋼材の画像データが得られる。このような画像も含めて機械学習を実行することによって、冷却水の不均一又は水乗りがあっても割れを精度よく検出できる割れ検出モデルを生成することができる。

図５は、割れ検出モデル生成部を説明するための図である。本実施形態の割れ検出モデル生成部は、データベース部と機械学習部を含んで構成される。データベース部は、高温鋼材の画像データの実績データと、その画像データを用いて検査者（操業オペレータ又は品質管理担当者）が判定した高温鋼材の割れについての位置情報を少なくとも含む割れ識別情報の実績データを蓄積する。図５に示す例では、撮像制御装置が取得した高温鋼材の画像データがデータ取得部に送られる。データ取得部で取得した画像データについては、検査者が割れの有無を確認し、下記に説明する方法により、高温鋼材の割れについての割れ識別情報の実績データが生成される。割れ識別情報の実績データは、検査者によって確認された割れの内容に基づく、割れの有無に関する情報、割れの位置情報及び割れの形状に関する情報を含む。生成された高温鋼材の割れ識別情報の実績データは、高温鋼材の画像データの実績データと共に、学習用データ入力部に入力され、割れ検出モデル生成部のデータベース部に蓄積される。データベース部において、割れ識別情報の実績データは、対応する高温鋼材の画像データの実績データと関連付けられて、データセットとして蓄積される。ここで、割れ検出モデル生成部は、データベース部に蓄積されたデータセットに対して画像圧縮などの予備処理を実行する予備処理部を備えてよい。また、データ取得部及び学習用データ入力部は、検査者に必要なデータを示し、検査者からの入力を受け取ることが可能であって、撮像制御装置と通信可能であって、割れ検出モデル生成部にアクセス可能なコンピュータ等の装置で実現され得る。

ここで、割れ識別情報の実績データにおける割れの位置情報は、特定された位置に「割れ」が存在することを識別するラベル付けを行うことによって生成される。検査者は、高温鋼材の画像データの実績データに基づき割れが存在すると判定した場合に、高温鋼材の画像データの実績データにおける割れの位置情報を特定してラベル付けを行う。例えば図６に示すように、高温鋼材で割れが生じている領域を矩形ボックスで囲う領域指定が行われて、割れの位置情報として用いられることが好ましい。領域指定は、割れを矩形ボックスで囲うと共に、矩形ボックスが割れの端部に接するようにすることが好ましい。ただし、矩形ボックスの内側に割れが生じている領域が含まれていればよく、割れが生じている領域に対して矩形ボックスの面積が最小になるように設定する必要はない。

検査者が高温鋼材の画像データの実績データを用いて領域指定した矩形ボックスの位置と大きさは、矩形ボックスの中心の座標と、横方向の長さと、縦方向の長さと、によって特定することができる。本実施形態では、このようにして領域指定された矩形ボックスの座標、横方向長さ、縦方向長さによって特定される情報が領域情報である。また、検査者は、高温鋼材の画像データの実績データを用いて領域指定した範囲に存在するものが何であるかを識別する識別情報を付与する。つまり、割れの有無に関する情報（例えば「割れあり」というラベル付け）及び割れの形状に関する情報が付与される。また、割れの有無に関する情報及び割れの形状に関する情報は、領域情報と対応付けがなされて、データセットが構成され得る。ここで、１つの高温鋼材の画像データの実績データから複数のデータセットが生成され得る。つまり、１つの高温鋼材の画像データの実績データが複数の割れを有することがあり、このとき、複数の領域情報が１つの高温鋼材の画像データの実績データに関連付けられる。そのため、１つの高温鋼材の画像データの実績データが複数のデータセットに関連付けられることがある。

ここで、データベース部は、割れが発生していない高温鋼材の画像データの実績データを、割れ識別情報の実績データを関連付けることなく、データベース部に蓄積してよい。また、高温鋼材の画像データの実績データの任意に位置に領域情報が付与されてよい。領域情報を付与する領域内に割れがない場合に「割れなし」のラベルが付与されて、データセットがデータベース部に蓄積されてよい。

また、学習用データ入力部は高温鋼材の画像データの実績データと割れ識別情報の入力を受け付け、これらの実績データを一時的に保存する記憶部を備える。学習用データ入力部が取得した実績データは、割れ検出モデル生成部を構成するデータベース部に適宜送られる。ここで、検査者による割れ識別情報の生成は、高温鋼材の製造中に行われる必要がない。例えば製造中に撮影した画像データを保存しておき、保存された画像データを事後に観察することによって高温鋼材の割れがあったことを判定してよい。高温鋼材が搬送されている時点で、検査者が割れの有無を常時判定するのは困難な場合もあり、操業中の目視判定では割れを見逃す場合もあり得るからである。

割れ検出モデル生成部は、高温鋼材を製造する製造ラインを制御するための制御用計算機に設けることができる。また、割れ検出モデル生成部は、制御用計算機に製造指示を与える上位計算機に設けられてよく、他の機器と通信可能である独立の計算機に設けられてよい。ここで、割れ検出モデル生成部は、データベース部に蓄積されたデータセットを受信可能な装置を用いて、データベース部とは別の装置で構成されてよい。つまり、データベース部は、割れ検出モデル生成部を構成する装置に内蔵されずに、外部に設けられてよい。

データベース部には、１０個以上のデータセットが蓄積される。好ましくは３０個以上、より好ましくは１００個以上である。

データベース部に蓄積される実績データについては、必要に応じて学習用データ入力部によりスクリーニングが行われてよい。高温鋼材を撮影する画像データには、製造ラインで発生する水蒸気などが外乱となって不鮮明な画像が撮影される場合もあるからであり、信頼性の高いデータを蓄積することにより割れ検出モデルの判定精度が向上するからである。一方、データベース部に蓄積されるデータセットは、一定のデータセット数を上限として、その上限内でデータベース部に蓄積されるデータセットを適宜更新してよい。スクリーニング及び更新によって、さらに高精度な高温鋼材の割れ検出モデルを生成することができる。

ここで、高温鋼材の割れ識別情報の実績データにおいて、割れが存在していることを表すのに使用される情報は「割れあり」に限定されない。また、高温鋼材の割れ識別情報の実績データにおいて、割れの形状に関する情報として「縦割れ」又は「横割れ」などのラベル付けが行われてよい。また、高温鋼材の割れ識別情報の実績データにおいて、割れの形状に関する情報として「円形」又は「楕円形」であるか、「き裂状」であるかなどのラベル付けが行われてよい。高温鋼材の割れ識別情報の実績データにおいて、高温鋼材の割れの形状に関する情報として「穴あき」であるか、「表面割れ」であるかなどのラベル付けが行われてよい。このようなラベル付けが行われた学習用データを用いて生成された割れ検出モデルは、高温鋼材に発生する割れの種別を検出することができる。

検査者が行う領域指定と識別情報の付与は、必ずしも高温鋼材に発生した割れに関するものに限定されない。検査者は高温鋼材の画像データの実績データに基づき、冷却水等の水乗りが生じている領域を指定して、識別情報として「水乗り」といったラベル付けを行い、学習用データに含めてよい。このような画像データが学習用データに含まれることによって、「割れ」であるか「水乗り」であるかを判別する判別性能が向上するからである。

また、学習用データとしてデータベース部に蓄積されるデータセットは、高温鋼材の先端部及び尾端部の少なくとも一方の画像データに、撮影された先端部又は尾端部の領域指定を行った領域情報を、高温鋼材の割れ識別情報に加えて構成されてよい。具体的には、図７に示すように、高温鋼材の先端部又は尾端部が撮影された画像データを用いて、その部分を矩形ボックスにより区画して領域指定が行われる。指定された領域内の画像が「先端部」又は「尾端部」であることを識別する識別情報のラベル付けが行われる。そして、先端部又は尾端部が撮影された画像データと、先端部又は尾端部の領域指定を行った領域情報と、領域内部が「先端部」又は「尾端部」であることを識別する識別情報とが、関連付けられてデータベース部に蓄積される。これにより、機械学習部では、高温鋼材の割れと、先端部、尾端部の画像とを判別することが可能となり、生成される割れ検出モデルの検出精度が向上する。

機械学習部は、データベース部に蓄積されたデータセットを用いて、高温鋼材の割れを判定する割れ検出モデルを生成する。

割れ検出モデルを生成するための機械学習モデルは、割れ識別情報について実用上十分な予測精度が得られれば、いずれの機械学習モデルでよい。本実施形態においては、領域提案を実行するニューラルネットワークを含む機械学習を適用する。領域提案を実行するニューラルネットワークとは、物体検出を行うために入力画像に含まれる物体についての候補領域を抽出するためのニューラルネットワークをいう。具体的には、畳み込みニューラルネットワーク（ＣＮＮ）を利用した、Ｒ－ＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ ＣＮＮ ｆｅａｔｕｒｅｓ）、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮなどの手法を適用する。Ｒ－ＣＮＮは、入力画像からオブジェクトらしき領域として複数領域を抽出し、抽出された領域に対して、画像分類を行うことにより物体検出を行う方法である。Ｆａｓｔ Ｒ－ＣＮＮは、領域提案を実行するニューラルネットワークの構造についてはＲ－ＣＮＮと同様であるが、候補領域の物体を識別する部分もニューラルネットワークを用いて構成するものである。一方、Ｆａｓｔｅｒ Ｒ－ＣＮＮは、入力画像から特徴マップを生成するためのニューラルネットワークを、領域提案を実行するニューラルネットワークと共有化することにより処理速度を向上させる方法である。本実施形態では、Ｆａｓｔｅｒ Ｒ－ＣＮＮが用いられるとする。

図８は、本実施形態に用いることができるニューラルネットワークの構造を示す。データベース部に蓄積された高温鋼材の画像データの実績データは、図８に示す入力層に入力される。高温鋼材の画像データの実績データがカラー画像である場合には、２次元画像データをＲＧＢのチャンネルごとの画像データ（画像の輝度値を０～２５５の数値情報に変換したデータ）に変換して、３チャンネルの割れ識別情報として入力層に入力される。ただし、高温鋼材の割れが含まれる画像は、割れと周囲との輝度差によっても判定し得る比較的単純なものもある。そのため、高温鋼材の画像データの実績データをグレースケールの画像に変換し、１チャンネルの画像データが入力されるようにしてよい。また、画像の輝度値も必ずしも０～２５５の数値情報で表す必要はなく、画像の輝度値を０～１５程度の区分まで圧縮してから入力層に入力してよい。さらに、高温鋼材の画像データの実績データはデータ圧縮処理が行われて、横方向及び縦方向の画素数が圧縮されてから入力層に入力されてよい。例えば、入力層に入力される高温鋼材の画像データの実績データは１０６４×１０６４の画像データに圧縮されてよい。また、例えば、入力層に入力される高温鋼材の画像データの実績データは２２４×２２４の画像データに圧縮されてよい。これらの処理は例えば予備処理部で行われてよい。

入力層に入力された高温鋼材の画像データの実績データは、特徴マップ生成部により、高温鋼材の画像が有する特徴量が圧縮された特徴マップに変換される。特徴マップ生成部には、畳込み層及びプーリング層から構成される畳み込みニューラルネットワークを用いることができる。これにより高温鋼材の画像データの実績データが有する特徴量を維持しながら画像データを圧縮することができる。特徴マップ生成部では、入力層の画像データが、１／７６～１／１６程度まで圧縮される。この場合、特徴マップ生成部に適用する畳み込みニューラルネットワークには、ＶＧＧＮｅｔ又はＺＦＮｅｔなど汎用的に用いられる学習済のニューラルネットワークを適用することができる。

そして、特徴マップ生成部で生成した高温鋼材の画像データの実績データに対する特徴マップは、割れ検出部に送られると共に、領域提案部にも送られる。領域提案部は領域提案を実行するニューラルネットワークから構成される。領域提案部は、領域提案ネットワーク（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）と呼ばれる畳み込みニューラルネットワークであり、入力画像に含まれる物体の領域候補をアンカーボックス（矩形ボックス）により特定する機能を有する。アンカーボックスは、特徴マップ上の点の位置と、横方向及び縦方向の大きさによって特定される領域指定である。領域提案ネットワークでは、特徴マップ上の各点に対して、大きさと縦横比が異なるアンカーボックス（通常は９個のアンカーボックスが用いられる）を生成する。そして、生成されたアンカーボックスによる領域情報と、アンカーボックス内に物体（例えば「割れ」）が存在するか、背景であるかについてのスコアを、ソフトマックス関数を用いて算出する。ソフトマックス関数は、主に分類問題における出力層の活性化関数として用いられるものであり、アンカーボックス内に物体が存在する確率を出力することに相当する。この場合、領域提案ネットワークの学習では、学習用データに蓄積された正解を表す領域情報に対して、予測領域との共通部分（重なり）を表すＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）が算出される。そして、最も高いＩｏＵを示すアンカーボックスと、ＩｏＵが０．７以上となるアンカーボックスには正例ラベルが付与され、ＩｏＵが０．３よりも低いアンカーボックスには負例ラベルが付与される。このような正例と負例のラベルデータを用いて、アンカーボックス内に物体（ここでは「割れ」を表す。）が含まれているか背景であるかを識別する確率と、アンカーボックスの領域情報についての予測確率の両者を含む損失関数を用いて学習が行われる。このようにして領域提案部は、入力画像に含まれる物体の領域候補をアンカーボックス（矩形ボックス）により特定する。

図８に示す割れ検出モデルを構成するニューラルネットワークは、特徴マップ生成部により生成した特徴マップと、その特徴マップに基づいて領域提案部で提案された領域候補とを用いて、割れ検出部により領域候補に含まれる物体（割れ）の判定を行う。割れ検出部を構成するニューラルネットワークは、特徴マップ生成部により生成した特徴マップの中で領域提案された領域から切り出した特徴マップを固定サイズの特徴マップに変換する畳み込みニューラルネットワーク（ＲＯＩプーリング）を含む。これにより、領域候補に含まれる特徴マップのサイズは７×７程度まで圧縮される。また、割れ検出部は、ＲＯＩプーリング層により圧縮した特徴マップに対して、全結合層を適用して１次元の特徴ベクトルを生成する。さらに、割れ検出部は１次元の特徴ベクトルを入力として、領域提案部で提案された領域候補に含まれる物体の分類と位置情報とを出力する。この場合に、図８に示す畳み込みニューラルネットワークの出力層で出力されるのは、割れ識別情報となる。高温鋼材の割れについての位置情報は、入力層に入力される画像データに対応する領域候補の中心位置、横方向の大きさ、縦方向の大きさで特定される位置情報である。また、割れ識別情報は、高温鋼材の割れの有無に関して付与されたラベル情報及び割れの形状に関して付与されたラベル情報である。また、高温鋼材の先端部又は尾端部が撮影された画像データと共に、領域指定を行った位置情報と、その識別情報とを用いて機械学習を行っている場合には、高温鋼材の位置情報と、その位置情報に対応する「先端部」又は「尾端部」を表すラベル情報も出力される。

図８に示す、領域提案を実行するニューラルネットワークを含む割れ検出モデルの学習方法は、一般的な物体検出を行う畳み込みニューラルネットワークと同様である。先ず、領域提案部の畳み込みニューラルネットワークについては、上記のようにアンカーボックス内に物体（割れ）が含まれているか背景であるかを識別する確率と、アンカーボックスの領域情報についての予測確率の両者を含む損失関数を用いた学習が行われる。そして、学習された領域提案部を固定して、入力層と出力層との間での損失関数を用いて全体のニューラルネットワークの構造が学習される。さらに、領域提案部の学習と、入力層と出力層との間における全体の学習とを交互に実行することで、割れ検出モデルの予測精度が向上する。

ここで、割れ検出モデルは、例えば６ヶ月毎又は１年毎に再学習により新たなモデルに更新してよい。データベース部に保存される実績データが増えるほど、精度の高い割れ識別情報の推定が可能となるからであり、最新のデータに基づいて割れ検出モデルを更新することにより、高温鋼材の成分系及び操業条件の変化を反映した割れ検出モデルを生成できる。

＜高温鋼材の割れ検出方法＞
以上のようにして生成した割れ検出モデルを用いて高温鋼材の割れを検出することができる。割れ検出モデルは、下記の高温鋼材の割れ検出方法が実行される前に生成される。

本開示の一実施形態に係る高温鋼材の割れ検出方法は、割れ検出部によって実行される。割れ検出部は製造ラインを制御するための制御用計算機に設けることができる。また、割れ検出部は、制御用計算機に製造指示を与える上位計算機に設けられてよく、他の機器と通信可能である独立の計算機に設けてよい。以下、図９を参照して、割れ検出部の動作が説明される。

図９に示す割れ検出部の動作は、製造ラインにおいて割れ判定の対象となる高温鋼材の画像データを取得した後に実行される。取得した高温鋼材の画像データは、データ取得部を介して割れ検出部に送られ、上記方法により生成された割れ検出モデルに対する入力データとなる。そして、割れ検出部では、高温鋼材に割れが検出された場合に、割れが発生している位置情報を矩形ボックスにより表示し、その領域内に「割れあり」とする割れ識別情報を出力する。つまり、割れ識別情報が出力データとなる。ここで、割れ識別情報として、「割れあり」となる確率が出力されるようにしてよい。その場合には、予めしきい値を設定し、そのしきい値を基準として「割れあり」、「割れなし」を検出してよい。さらに、割れ識別情報として割れの形状に関する情報が含まれる場合には、割れが発生している位置情報が矩形ボックスにより表示されると共に、「縦割れ」又は「横割れ」のように割れの形状に関する情報が表示される。ここで、高温鋼材の先端部又は尾端部が撮影された画像データとその識別情報とを用いた機械学習によって割れ検出モデルが生成された場合に、画像データに先端部又は尾端部が含まれていると、先端部又は尾端部の位置情報が矩形ボックスによって表示される。また、先端部又は尾端部の位置情報の表示と共に、「先端部」又は「尾端部」の識別情報が併せて出力される。

以上のようにして出力される高温鋼材の割れ識別情報は、割れ検出部に接続されたモニターなどに表示されるようにしてよい。また、操業オペレータに注意を促すように、操作室内に設置したスピーカーから警報（アラーム）が発せられてよい。割れ検出部が出力する割れ識別情報の出力表示に基づき、操業オペレータは割れありと判定された高温鋼材を目視により改めて確認することができる。また、高温鋼材の割れが検出された場合に、高温鋼材に対する追加の処置工程が設定されてよい。本実施形態では、高温鋼材に割れが発生したことが表示されると共に、割れが発生した位置が画像によって表示される。そのため、操業オペレータが操業中に製造ラインで搬送される高温鋼材の割れを目視で特定しやすくなり、迅速に割れが発生したことを認識できる。これにより、高温鋼材の製造工程において、高温鋼材の割れに起因する操業トラブル及び設備破損を未然に防止することができる。また、高温鋼材の製品として割れのない鋼材を生産することができ、品質レベルを向上させることができる。

また、高温鋼材の圧延方法の一工程として、高温鋼材に対する追加の処置工程が実行され得る。高温鋼材に対する追加の処置工程は、高温鋼材の製造ラインに応じて設定されて良い。例えば、連続鋳造ラインの出側にてスラブの割れを検出する場合には、スラブの表面の手入れを行う工程を追加して良い。高温鋼材の割れ識別情報により割れが発生した位置が特定されるので、表面の手入れを行う位置を特定できる。また、高温鋼材の割れが大きい場合には、割れが発生したスラブをスクラップとして、その後の製造ラインに搬送されないようにすることもできる。追加の処置工程は、高温鋼材の表面の手入れを行う工程、又は、高温鋼材をその後の製造ラインに搬送されないようにする工程であってよい。すなわち、追加の処置工程としては、新たに製造工程を追加して処置を行うだけでなく、そのスラブの用いた鋼材の生産を行わないという処置を含むものとする。

ここで、図２に示す熱延ライン１０においては、粗圧延機４により圧延されるシートバー１２を高温鋼材として、カメラ２０で撮影したシートバー１２の画像データを入力として、割れ検出モデルによりシートバー１２の割れ検出を行うことができる。その場合に、割れ検出モデルを用いて判定した結果に基づいて、処置工程を設定することができる。この場合の処置工程は、仕上げ圧延における圧延操業条件の再設定を行うものであってよい。圧延操業条件の再設定とは、割れ検出の対象とする高温鋼材の仕上げ圧延を開始する前に、予め制御用計算機によって設定される圧延操業条件とは異なる操業条件に変更するものである。例えば、割れありと判定された高温鋼材は、予め設定された仕上げ圧延機５の圧下率よりも小さな圧下率で圧延されてよい。また、仕上げ圧延機５のスタンド間張力の設定値が予め設定された値よりも小さな値に再設定されてよい。これにより高温鋼材の仕上げ圧延工程において、鋼板の破断を未然に防止することができる。さらに、処置工程は、割れありと判定された高温鋼材について、仕上げ圧延を実行せずに、熱延ライン１０の機側に高温鋼材を払い出す、いわゆるバー降ろしを行って、その鋼材の仕上げ圧延を中止する設定を含んでよい。これにより、割れが生じている高温鋼材について仕上げ圧延を行うことにより生じ得る板破断及び設備破損を未然に防止できる。図９に示す処置工程設定部は、予め高温鋼材の割れ識別情報に応じて、再設定すべき処置工程を決定しておき、割れありと判定された高温鋼材に対する操業条件を変更する指示を制御用計算機又は上位計算機に与える。そして、処置工程設定部からの指示を受けた制御用計算機又は上位計算機により、高温鋼材に対する処置工程が実行される。この場合、処置工程設定部は、高温鋼材の割れについての位置情報を用いて、割れが発生した位置情報に応じて処置工程を設定してよい。例えば、シートバー１２の先端部又は尾端部のみに割れが検出された場合に、仕上げ圧延前のクロップシャーにより割れが発生した部分を切断するようにしてよい。

本実施形態に係る高温鋼材の割れ検出方法、高温鋼材の圧延方法及び高温鋼材の割れ検出モデルの生成方法は、上記に説明した工程により、精度の高い割れ識別情報の推定が可能になる。また、精度の高い割れ識別情報に基づいて、製造ラインにおいて早期に割れを検出し、割れに起因した板破断及び操業トラブル、設備破損を未然に防止することができる。また、処置工程を実行することによって、割れのない鋼材を製造することができる。

（実施例）
本実施例では、図５に示す割れ検出モデル生成部により高温鋼材の割れ検出モデルを生成した。高温鋼材を撮影するカメラ２０は、熱延ライン１０における粗圧延機４として、図２に示す第１の粗圧延機４１の下流側に設置された。そして、シートバー１２の上面からの全長の画像データが取得された。その際、カメラ２０は、撮像制御装置からの信号に基づいて、シートバー１２の進行方向に対して複数の画像を撮影した。撮影した画像は撮像制御装置からデータ取得部に送られた。

一方、熱延ライン１０の操業オペレータが目視によりシートバー１２に割れが発生したとの情報に基づいて、検査者がデータ取得部に送信されるシートバー１２の画像データの中から、割れが生じていたシートバー１２の画像データを抽出した。検査者は、シートバー１２の画像データの割れについて矩形ボックスを用いて割れの領域を指定した。また、割れが確認された領域の識別情報として、割れが存在することを示す「割れあり」というラベル付けを行って、学習用データ入力部に入力し、データベース部に蓄積した。このようにしてデータベース部には、板幅が異なる２種類のシートバー１２に生じた割れを撮影した複数の画像データに関する５０個のデータセットが蓄積された。その後、図８に示す領域提案を実行するニューラルネットワークを含む割れ検出モデルについて機械学習が行われた。

そして、熱延ライン１０の制御用計算機と通信可能な計算機が、生成された割れ検出モデルを取得して、高温鋼材の割れ検出を行った。シートバー１２の画像として搬送方向に対して連続的に撮影された画像データのうち、割れが撮影されている１８９枚については、本実施例による割れ検出方法により領域情報と共に割れ識別情報として「割れあり」との出力がなされた。一方、同じシートバー１２について、長手方向で割れが存在しない部分が撮影された３８３枚の画像データがあり、これらについても割れ検出が行われた。その結果、これらの３８３枚の画像データに対しては、割れを示す領域情報も「割れあり」との識別情報も出力されなかった。また、割れが発生しなかった５０００本のシートバー１２に対して、「割れあり」との識別情報も出力されず誤検出もされないことが分かった。

本開示の実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態は装置が備えるプロセッサにより実行されるプログラム又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。

１ 加熱炉
３ 幅圧下装置
４ 粗圧延機
５ 仕上げ圧延機
６ 水冷装置
７ コイラー
１０ 熱延ライン
１２ シートバー
１３ 粗デスケーリング装置
２０ カメラ
２１ デスケーリング装置
４１ 第１の粗圧延機
４２ 第２の粗圧延機
４３ 第３の粗圧延機

Claims (5)

1. 高温鋼材の表面を撮影することにより取得した画像データを入力データ、前記高温鋼材の割れについての位置情報を少なくとも含む割れ識別情報を出力データとして、領域提案を実行するニューラルネットワークを含む機械学習によって学習された割れ検出モデルを用いて、前記高温鋼材の割れを検出するステップを含む、高温鋼材の割れ検出方法。
2. 前記高温鋼材は、熱延ラインの粗圧延機により圧延されるシートバーである、請求項１に記載の高温鋼材の割れ検出方法。
3. 請求項１又は２に記載の高温鋼材の割れ検出方法によって前記高温鋼材の割れが検出された場合に、前記割れ識別情報に基づいて、前記高温鋼材の表面の手入れを行う、又は、前記高温鋼材をその後の製造ラインに搬送されないようにする処置工程を含む、高温鋼材の圧延方法。
4. 高温鋼材の表面を撮影することにより取得した画像データを入力実績データ、前記高温鋼材の割れについての位置情報を少なくとも含む割れ識別情報を出力実績データとした、複数の学習用データを用いて、領域提案を実行するニューラルネットワークを含む機械学習によって、前記高温鋼材の割れを検出する割れ検出モデルを生成するステップを含む、高温鋼材の割れ検出モデルの生成方法。
5. 前記入力実績データは、前記高温鋼材の先端部及び尾端部の少なくとも一方を撮影した画像データを含み、
   前記出力実績データは、前記位置情報として前記先端部又は前記尾端部の領域指定を含む、請求項４に記載の高温鋼材の割れ検出モデルの生成方法。

Images