以下、図面を参照して、本発明の一実施形態である鋼板の形状判別方法、形状測定方法、形状制御方法、製造方法、形状判別モデルの生成方法、及び形状判別装置について説明する。
〔製造設備の構成〕
まず、図1,図2を参照して、本発明の一実施形態である鋼板の製造設備の構成について説明する。
図1(a),(b)は、本発明の一実施形態である鋼板の製造設備の構成を示す側面図及び平面図である。図1(a),(b)に示すように、本発明の一実施形態である鋼板の製造設備1は、鋼板Sを所定の寸法まで熱間圧延する熱間圧延ライン2と、熱間圧延が終了した後に鋼板Sの検査、品質判定、及び所定寸法への切断や形状矯正等を行う精整設備3と、を備えている。鋼板の製造設備1は、この他に、熱間圧延ライン2による熱間圧延が終了した鋼板Sを空冷するために鋼板Sを一時的に貯蔵する冷却床等、中間工程を実行する設備を備えていてもよい。
熱間圧延ライン2では、鋳片であるスラブを加熱設備4によって所定の加熱温度まで加熱した後、1又は2基の圧延機5を用いてリバース圧延が行われる。圧延機5によって所定の寸法まで圧延された鋼板Sは、高温のまま圧延機5から冷却設備6に搬送される。冷却設備6では、加速冷却によって予め設定された冷却停止温度まで鋼板Sを冷却し、その後、鋼板Sは、不図示の冷却床(鋼板Sを室温近傍まで空冷するためのヤード)において室温近傍まで冷却してから精整設備3に移送される。精整設備3では、鋼板Sの寸法及び品質の検査と、必要に応じて鋼板Sの形状矯正が行われ、製品板の採取等が行われる。なお、図中には鋼板Sを搬送するための設備としてテーブルロール7を示している。
ここで、鋼板の製造設備1は、製造工程において鋼板Sの画像を撮影するカメラ8を備えている。カメラ8は、鋼板の製造設備1の任意の位置に設置することができる。図1に示す例では、鋼板の製造設備1は、圧延機5の上流側にカメラ81、圧延機5の下流側にカメラ82、冷却設備6の上流側及び下流側にカメラ83,84を備えている。また、精整設備3の上流側にカメラ85が配置され、精整設備3内にもカメラ86が配置されている。但し、鋼板Sの画像を取得するカメラの位置は図1に示す例に限定されることはなく、鋼板の製造設備1内にあれば任意の位置でよく、冷却床に設置してもよい。また、設置するカメラの台数にも制限はなく、1台であっても2台以上であってもよい。但し、後述する「形状評価位置」の近傍にはカメラ8を設置する必要がある。また、鋼板の製造設備1は、カメラ8の他に、必要に応じて鋼板Sの形状を定量評価するためのセンサーを備えるが、これについては後述する。
圧延機5は、鋼板Sの板厚が所定の板厚になるまで複数パスの熱間圧延を実行する設備である。通常の厚鋼板を熱間圧延する圧延機としては、1組のワークロール及び1組のバックアップロールを備える4段式圧延機が用いられる。4段式圧延機のワークロール径は600~1200mm程度である。また、圧延機5は、図2に示すように、上下ワークロールの周速差ΔVやパスライン位置PL等を圧延パス毎に変更可能であることが好ましい。上下ワークロールの周速差ΔVは最大25%程度まで変更可能とし、パスライン位置PLは0~30mmの範囲で変更可能であることが好ましい。また、圧延機5は圧延制御部を有する。圧延制御部は、上位コンピュータから取得した情報に基づいて各圧延パスでの圧延条件を設定し、設定した圧延条件に従って各圧延パスでの操業状態を制御する。
圧延機5の前後には、デスケーリング設備(脱スケール設備)が配置されることがあり、適宜、鋼板Sが圧延機5に進入する前に鋼板Sの表面がデスケーリングされる。デスケーリング設備は、圧延機5の前後面(上流側及び下流側)の両方に設置される場合と、片側のみに設置される場合がある。また、製品によっては、材質特性を向上させるため、リバース圧延の途中で鋼板Sを所定時間待機空冷又は冷却し、予め設定された温度域で鋼板Sを圧延する制御圧延を実施する場合がある。
なお、図1に示す鋼板の製造設備1は、鋼板Sとして比較的板厚の厚い厚鋼板を対象とする製造設備であるが、本発明は薄鋼板を製造する熱延ラインに対しても適用可能である。また、圧延機5のスタンド数や鋼板Sの板厚の大小には限定されず、本発明は、鋼板Sを加熱するための加熱設備から鋼板Sの検査を行う精整設備までを備える製造設備全般に適用できる。ここで、本発明において、圧延先端部とは各圧延パスの進行方向の鋼板Sの先端部を意味し、圧延尾端部とは各圧延パスの進行方向の鋼板Sの尾端部を意味する。リバース圧延では、進行方向が変わる毎に圧延先端部と圧延尾端部が入れ替わる。
〔カメラの構成〕
次に、図1,図3を参照して、上記カメラ8の構成について説明する。
カメラ8は、撮像素子が面状に並べられ、平面で対象物を撮像するエリアカメラによって構成されている。エリアカメラは、カラー方式でも白黒方式でも構わない。撮像素子もCCDやCMOS等の任意の撮像素子を用いることができる。また、赤外線方式のエリアカメラ等、光の波長の中で特定の波長信号を選択的に画像に変換するものであってもよい。さらに、カメラ8は、光の波長の中で特定の波長のみを透過させる光学フィルターを備えていてもよい。熱間圧延における鋼板Sの温度は1200℃程度から室温程度まで広い温度範囲で変化することが多く、鋼板の製造設備1の位置に応じて適切な光学フィルターを選択することができる。
エリアカメラとしては、有効画素数が640×480ピクセルのものから4,872×3,248ピクセル程度のものまで、撮像対象の鋼板Sの形状を判別するために必要な解像度やカメラ8と鋼板Sまでの距離等に応じて適宜選択することができる。本実施形態では、カメラ8による鋼板Sの撮像範囲は、鋼板Sの全面が1枚の画像に収まるように設定するとよい。また、鋼板Sの先端部のみを撮像してもよく、尾端部のみを撮像してもよい。鋼板Sの形状を判別する際に着目する部分の画像が取得できればよい。但し、鋼板Sの形状を判別する際に着目する部分については、鋼板Sの幅方向全体が一枚の画像に収まるような撮像範囲とする。
カメラ8による鋼板Sの撮像位置は、図1に示すように、鋼板の製造設備1におけるテーブルロール7よりも上方の位置であって、斜め下に向いて鋼板Sを撮影するように配置するのが好ましい。テーブルロール7よりも上方にカメラ8を設置するのは、鋼板Sを撮像する際に障害物を避けやすいからであり、斜め方向から撮像するのは鋼板Sの側面からみた場合の起伏(凹凸)を識別しやすいからである。具体的には、テーブルロール7の高さよりも1~7m上方の位置であって、テーブルロール7の胴長方向端部から水平方向に2~10m離れた位置に配置するのが好ましい。鋼板Sからの距離が近すぎると、鋼板Sの輻射熱によりカメラ8が故障しやすい場合がある。また、鋼板Sの表面に生成される酸化物(スケール)が飛散してカメラ8を破損する場合がある。一方、鋼板Sからの距離が遠いと、撮像した画像の鮮明度が低下して鋼板Sの形状を判別しにくくなり、これを避けるために画像の解像度を上げようとするとカメラ8が高価になるからである。
例えば図3に示すように、圧延機5に近接して、圧延機5出側における鋼板Sの先端部の画像を撮影する場合に、鋼板Sの斜め上方にカメラ8を配置する。但し、圧延機5の入口及び出口には鋼板Sの蛇行を抑制するためのサイドガイド21が設置されていることが多いため、鋼板Sの幅全体が撮影できる程度まで上方にカメラ8を配置する。図3に示す例では、テーブルロール7の上面高さよりも2m上方であって、テーブルロール7の胴長方向端部から水平方向に3m離れた位置にカメラ8を配置している。なお、鋼板の製造設備1では、冷却水を使用するため、設備の周辺が水蒸気により曇ってしまい、カメラ8による鋼板Sの撮影が困難になる位置もある。その場合には、鋼板の製造設備1内で水蒸気が少ない位置にカメラ8を設置するのが好ましい。但し、カメラ8による撮像位置に向けて風を送る送風設備を配置し、鋼板Sの画像を取得する際の外乱となる水蒸気を除去してもよい。
〔形状実績収集部〕
次に、図4~図6を参照して、本発明の一実施形態である形状実績収集部の構成について説明する。
鋼板の製造設備1における少なくとも一つの位置には、形状判別情報の実績データを収集する形状実績収集部が設けられている。形状判別情報とは、鋼板Sの形状を区分し判別するための情報であり、必ずしも数値情報でなくてもよい。予め設定された形状区分に識別記号を付与して、そのような識別記号を形状判別情報としてもよい。形状の区分とは、鋼板Sの形状が反り形状であるか又は波形状であるかの区分であってよい。また、反り形状については、鋼板Sが上反り形状、下反り形状、及び腰折れ形状のうちのいずれかに区分されるかを示す情報とするのが好ましい。波形状については、耳波形状及び中伸び形状のどちらに区分されるかを示す情報とするのが好ましい。さらに、これらの区分に鋼板Sが平坦な形状である平坦形状を含めるのが好ましい。但し、形状判別情報は、反り形状及び波形状のいずれかのみに着目し、その形状を区分するように定義してよい。例えば、反り形状のみに着目して、形状判別情報は上反り形状、下反り形状、腰折れ形状、平坦形状のように区分してよい。また、波形状のみに着目して、形状判別情報は耳波形状、中伸び形状、平坦形状のように区分してよい。
具体的には、反り形状の形状判別情報として、図4(a)~(c)に示す区分を用いることができる。図4(a)~(c)は、鋼板Sの先端部の反り形状として代表的な区分である。図4(a)に示す「上反り形状」とは、鋼板Sの先端部の高さが最も高く、鋼板Sの先端部から徐々に高さが低くなる形状をいう。但し、必ずしも鋼板Sの長手方向に沿って単調に高さが減少するものに限定する必要はない。例えば鋼板先端部の高さをH1、先端から予め設定した長さ(例えば、0.5~2.0m)だけ離れた位置での高さをH2とし、その差が所定量(例えば10~50mm)以上となる場合を上反り形状と定義してもよい。「下反り形状」とは、「上反り形状」とは逆に、鋼板先端部の高さが最も低く、鋼板Sの先端から徐々に高さが高くなる形状をいう。
図4(b)に示す「腰折れ形状」とは、鋼板Sの先端部は下向きに反っているものの、鋼板Sの高さが最も高い位置が鋼板先端部ではなく、先端部から所定距離離れた位置で鋼板Sが最も高くなる形状をいう。例えば鋼板先端の高さが50mmである場合に、鋼板先端部から300mm離れた位置での高さが200mmであり、さらに鋼板先端部から1000mm離れた位置になると高さが40mmに低減しているような形状である。但し、「上反り形状」と「腰折れ形状」が複合した形態の反り形状や「下反り形状」と「腰折れ形状」が複合した形態の反り形状を形状判別情報に含めてもよい。
一方、形状判別情報を「上反り形状」を反りの程度と反り形態に応じて2以上の区分に細分化して判別するものとしてもよい。例えば図5(a)~(c)に示すように、上反り形状について、鋼板Sの定常部(例えば鋼板先端部から10m以上離れた位置)における下表面を基準として、先端部の高さH1と先端部から距離L離れた位置における高さH2との関係から、H1とH2とが同じ方向でその差が予め設定した値以上である場合を「上反り形状1」、H1とH2とが同じ方向でその差が予め設定した値未満である場合を「上反り形状2」、H1とH2の符号が反転する場合を「上反り形状3」のように区分することもできる。これらの上反り形状の区分は、例えば圧延機5の下流側に配置した冷却設備6を通過するために必要な限界高さをしきい値に設定してもよい。
さらに、図6(a)に示すよう鋼板Sの幅方向両端部と幅方向中央部の高さが異なる形状(C反り形状又は幅反り形状と呼ぶ)、図6(b)に示すような鋼板Sの幅方向端部に波形状がみられる形状(耳波形状又は端伸び形状と呼ぶ)、図6(c)に示すような鋼板Sの幅方向中央部に波形状がみられる形状(中伸び形状又は腹伸び形状と呼ぶ)、及び図6(d)に示すような上記が複合した形状(複合形状と呼ぶ)等の鋼板Sの形状を区分するために形状判別情報を用いてもよい。
形状判別情報の実績データは、鋼板Sの形状を測定する任意の測定装置により得られる数値情報に基づいて、上記の実績形状の区分を決定したものでよい。但し、形状判別情報を決定するための測定装置は高精度な数値情報を取得するものでなくてよく、鋼板Sの形状を判別できる程度の測定精度があればよい。鋼板Sの区分は、作業者が目視により決定してもよい。作業者の目視によって形状の区分が決定される場合には、その形状判別情報の実績データが、タブレット端末等を含む端末装置に入力され、形状実績収集部に保存される。
なお、形状判別情報の実績データは、鋼板の製造設備1のいずれかに設置されるカメラ8の近傍で取得されることが好ましい。ここで、カメラ8の「近傍」とは、鋼板Sの形状が一般的に変化しないと想定されない範囲を指す。例えば、図1に示す鋼板の製造設備1において、圧延機5により鋼板Sを圧延した後にカメラ82により鋼板Sを撮影する場合に、リバース圧延より次パスの圧延が行われる前であれば鋼板Sの形状は変化しないと想定される。但し、次パスの圧延が行われると鋼板Sの形状は変化するので「近傍」とはならない。この場合には、圧延機5と冷却設備6の間において形状判別情報の実績データを取得することができる。また、冷却設備6の下流側のカメラ84に対する「近傍」は、冷却設備6の下流側の熱間圧延ライン内だけでなく、精整設備3において鋼板Sの形状を変化させる工程(例えば、鋼板Sの切断工程や形状矯正工程)の前であれば、「近傍」に含めてよい。その間は、鋼板Sの形状に大きな変化はないといえるからである。なお、作業者の目視判定により形状判別情報の実績データを取得する場合には、カメラ8により鋼板Sの画像実績データを取得する位置の近傍で鋼板Sの形状を観察し、その判別結果を端末装置に入力するのが好ましい。
〔形状判別モデル生成部〕
次に、図7~図16を参照して、本発明の第1~第3の実施形態である形状判別モデル生成部の構成について説明する。
〔第1の実施形態〕
まず、図7~図11を参照して、本発明の第1の実施形態である形状判別モデル生成部の構成について説明する。
本実施形態では、鋼板の製造設備1は、鋼板Sを撮影することにより取得される鋼板Sの画像実績データを入力実績データ、この入力実績データに対応する鋼板Sの形状判別情報を出力実績データとした、複数の学習用データを用いた機械学習によって、鋼板Sの形状を判別する形状判別モデルを生成する形状判別モデル生成部を備えている。鋼板Sを撮影することにより取得される鋼板Sの画像実績データは、鋼板の製造設備1に配置される任意のカメラ8によって撮影された鋼板の画像データである。また、このような画像実績データに対する鋼板Sの形状判別情報とは、画像実績データを取得したカメラ8の近傍で取得される鋼板Sの形状判別情報をいう。すなわち、鋼板の製造設備1に設置された任意のカメラ8により撮像される画像データに対して、その画像データに対応付けられた鋼板Sの形状判別情報の実績データを一組のデータセットとして学習用データに用いる。従って、鋼板の製造設備1内に2つ以上のカメラ8が配置されている場合には、それぞれのカメラ8によって撮像された画像実績データと対応付けられた形状判別情報がいずれも学習用データを構成することになる。
図7に本発明の第1の実施形態である形状判別モデル生成部の構成を示す。図7に示すように、本発明の第1の実施形態である形状判別モデル生成部100は、データベース部101及び機械学習部102を備えている。形状判別モデル生成部100は、鋼板の製造設備1による鋼板Sの製造工程を統括する上位コンピュータの内部にあってもよく、上位コンピュータとは別個のハードウエアにより構成してもよい。また、後述する形状判別装置内に備えることもできる。
データベース部101は、鋼板Sの画像実績データと共に、その画像実績データと対応付けられた鋼板Sの形状判別情報の実績データを蓄積する。カメラ8により取得される画像実績データは、鋼板Sの全長全幅の画像であってよく、鋼板Sの先端部又は尾端部に限定して撮像したデータでもよい。先端部に限定した画像データを用いる場合には、先端部から距離2~10m程度の範囲で予め設定される距離をLとして、少なくとも鋼板Sの先端部から距離L離れた位置までの範囲を含む画像データとする。その際、鋼板Sの先端部から距離Lの範囲では、鋼板Sの幅方向の画像が画像データに含まれているものとする。鋼板Sの尾端部に限定して撮像したデータを用いる場合も同様である。但し、カメラ8により取得する画像の撮影範囲は、必ずしも同一視野において同一の位置に鋼板Sが配置されるようにする必要はない。例えば鋼板Sの先端部の形状を判別しようとする場合に、カメラ8により取得される画像が鋼板Sの先端部から距離Lまでの範囲を含むように撮影されていれば、画像の面内における鋼板Sの位置や撮影時のズーム設定が異なる画像が画像実績データに含まれてよい。但し、鋼板Sを撮像するカメラ8の位置を固定して、鋼板Sを一定の方向から撮影した画像データを用いることが好ましい。
カメラ8により取得される画像実績データは、鋼板Sが圧延される圧延機5の出口部で取得されることが好ましい。鋼板の製造設備1において操業トラブルを発生させる要因の一つが、圧延機5で鋼板Sが圧延される際の先端部の反り形状だからである。また、鋼板Sの先端部の反り形状を迅速に判別するために、圧延機5の近くで画像実績データを取得するのが好ましいからである。ここで、圧延機5の「出口部」とは、圧延機5のハウジングの出側端部から鋼板Sの進行方向に向けて10m程度離れた位置までの範囲をいう。この場合に、圧延機5に鋼板Sの先端部が噛み込むと、ロードセルにより圧延荷重の増加が検知されるので、その信号をトリガーとして予め設定された時間が経過したタイミングでカメラ8によって自動的に鋼板Sを撮像するようにしてもよい。
一方、このような画像実績データに対応付けられる鋼板Sの形状判別情報とは、上反り形状、下反り形状、腰折れ形状、平坦形状、C反り形状、耳波形状、中伸び形状、及び複合形状をはじめとする鋼板Sの形状区分を識別できる情報である。識別情報は、それぞれの形状区分に対して識別番号や符号を付与したものが好ましく、鋼板Sの形状を測定する測定装置、又は、作業者が判定した情報である。鋼板Sの形状判別情報として、反り形状のみに着目し、上反り形状、下反り形状、腰折れ形状、及び平坦形状のうち少なくとも2つ以上の区分が含まれるのが好ましい。鋼板の製造設備1において、鋼板Sの反り形状が操業トラブルを引き起こす場合が比較的多いからである。なお、圧延機5の入側又は出側にカメラ8を配置する場合に、鋼板Sの圧延パス毎に鋼板Sの画像データを取得すると共に鋼板Sの形状判別情報を取得し、それぞれの圧延パスに対応したデータセットをデータベース部101に蓄積してもよい。これにより、1枚の鋼板Sを製造する過程で複数の学習用データを取得することができる。
データベース部101に蓄積するデータセットの数は、100個以上、好ましくは500個以上である。また、鋼板Sの規格、鋼種、サイズ等の区分毎にデータセットを蓄積し、それらの区分に応じて鋼板の形状判別モデルMを生成してもよい。データベース部101に蓄積されるデータについては、必要に応じてスクリーニングが行われる場合があり、鋼板Sの幅方向端部が欠けているような画像データは取り除いてよい。また、カメラ8による画像取得時にレンズの汚れ等により正常な画像実績データが取得できない場合もあり、そのような画像データは学習用データから取り除いてもよい。一方、データベース部101に蓄積されるデータセットは、一定のデータセット数を上限としてその上限内で適宜更新してもよい。
機械学習部102は、データベース部101に蓄積されたデータセットを用いて、鋼板Sの画像実績データを入力実績データ、入力実績データに対応する鋼板Sの形状判別情報を出力実績データとした、複数の学習用データを用いた機械学習によって、鋼板Sの形状を判別する形状判別モデルMを生成する。形状判別モデルMを生成するための機械学習モデルは、実用上十分な形状の判別精度が得られれば、いずれの機械学習モデルでもよい。例えば一般的に用いられるニューラルネットワーク(深層学習や畳み込みニューラルネットワーク等を含む)、決定木学習、ランダムフォレスト、サポートベクター回帰等を用いればよい。また、複数のモデルを組み合わせたアンサンブルモデルを用いてもよい。また、k―近傍法やロジスティック回帰のような分類モデルを用いることができる。本実施形態では、機械学習として、畳み込みニューラルネットワーク(CNN)の手法を用いることが好ましい。畳み込みニューラルネットワークとは、畳み込み層とプーリング層を含むニューラルネットワークであり、画像を判別する機能に優れる。
ここで、図8を参照して、本発明の一実施形態である畳み込みニューラルネットワークの構成について説明する。カメラ8としてカラーカメラにより取得した画像データは、RGBの3チャンネルに対応して、チャンネル毎にその輝度値を例えば0~255の数値情報に変換できる。すなわち、カラーカメラにより取得した画像データは、画像の縦方向ピクセル数×横方向ピクセル数×チャンネル毎の輝度値から構成される3次元配列情報(図8(b))となる。このような入力情報に対して、畳み込み層(図8(c))ではカーネルと呼ばれるフィルターを用いてフィルタリング処理を施して第1特徴マップを得る。畳み込みとは、入力データにフィルターを適用して特徴マップと呼ばれる出力を生成する演算処理をいう。
フィルタリング処理に用いるフィルターは、例えば図9に示すような縦方向3ピクセル×横方向3ピクセルのフィルターであり、フィルター内の9つのピクセル位置に重み係数ωij(iはフィルター内の行番号、jはフィルター内の列番号を指す)が割り当てられている。フィルタリング処理の際は、まず、フィルタリング処理を施す入力画像の各ピクセル位置での輝度値と重み係数との積を求め、これらの総和を求める。次に、算出されたフィルター内での総和に対してはバイアスを設け、活性化関数による出力値を算出し、この値を第1特徴マップのピクセル位置における出力値に割り当てる。
そして、図10に示すように、フィルターの位置を移動させながら、各位置での出力値を求めることにより、1つの入力画像に対応した第1特徴マップが生成される。このとき、フィルターの位置を移動させる際の移動量をストライドと呼び、設定するストライドの数によって第1特徴マップのサイズは変化することになる。なお、入力画像の周辺を0で埋めること(パディング)によって、元画像の端部の情報の不足を防ぐことができる。第1特徴マップを生成するためのフィルターは複数用いることができる。複数のフィルターを組み合わせて判別することで識別性能が向上する。従って、1つの入力画像に対して使用するフィルターの数に対応する数の第1特徴マップが生成される。
畳み込みニューラルネットワークでは、この畳み込み層によって検知対象である鋼板Sが入力画像内のどの位置にあっても、その特徴を検知することができる。また、入力画像内で鋼板Sが傾斜していても、鋼板Sの形状の特徴を検知することができる。一般的なフィードフォーワードニューラルネットワークを用いる場合には、入力画像を1次元情報に並び替えることになるため、入力画像内で鋼板Sの位置が変化する場合には、その形状に関する特徴量を検知することが困難な場合もある。これに対して、畳み込みニューラルネットワークを用いることにより、入力画像内で鋼板Sの位置が変化しても、その形状の特徴量を抽出できるため、鋼板Sの形状を判別する判別性能が向上する。
図8に戻る。次に、畳み込み層で生成した第1特徴マップの情報は、プーリング層(図8(d))で集約され、第2特徴マップが生成される。プーリング層は第1特徴マップの情報を圧縮する役割を有する。図11はMaxプーリングの例を示したものである。Maxプーリングとは、プーリング層の入力となる第1特徴マップを一定の領域で区切って(図11に示す例では2行×2列)、その中の最大値を抽出して新たな特徴マップとして出力する処理のことである。但し、プーリング層に用いるフィルターは、最大値を抽出するものでなく、平均値を抽出するものであってもよい。このようなプーリング層により、入力画像の特徴を維持しながら情報量を削減し、次元圧縮された第2特徴マップを生成することができる。プーリング層は、情報を圧縮する機能により、入力画像内に鋼板Sだけでなくデスケーリング水の水しぶき等の外乱が含まれていても鋼板Sの形状に関する特徴量を検知できる。プーリング層に用いるフィルターの大きさとしては複数のものを適用することが可能であり、フィルターの種類に対応した第2特徴マップが生成される。
図8に戻る。本実施形態の畳み込みニューラルネットワークでは、プーリング層の下流側に全結合層と出力層(図8(e),(f))が接続される。全結合層は、第2特徴マップの値を一列に配置して、プーリング層からの出力をまとめるために配置される。全結合層の構造は、通常のニューラルネットワークの中間層と同様である。一方、出力層は形状判別情報を出力するものである。例えば出力層は、ソフトマックス関数により入力画像に含まれる鋼板Sの形状が、各形状判別情報に合致する確率を計算し、もっとも確率の高い形状判別情報を出力するとよい。また、全結合層を入力とするサポートベクトルマシンを用いた分類器により形状判別情報を出力してもよい。
以上のような畳み込みニューラルネットワークの手法を用いる場合に、本実施形態で使用する畳み込み層とプーリング層の数や組合せについては任意に選択してよい。また、ネットワーク構造として、一般に用いられるLeNet、AlexNet、VGG(Visual Geometry Group)等を用いてもよい。さらに、より複雑なネットワーク構造として、GoogleNet、MobileNet、EfficientNet等を用いてもよい。なお、カラーカメラで取得されるRGBの3チャンネルの情報にそのまま畳み込み処理を施してもよいが、入力画像をグレースケールやR値のみ等の1チャンネルの情報に変換した後にそのような入力画像に対して畳み込み処理を施してもよい。
機械学習部102での機械学習方法としては、データベース部101に蓄積されたデータセットを訓練データとテストデータに分けて学習を行うことにより形状判別の精度を向上させることができる。例えば訓練データを用いてニューラルネットワークの重み係数の学習を行い、テストデータでの予測分類の正解率が高くなるようにニューラルネットワークの構造(畳み込み層やプーリング層の数、フィルターサイズ等)を適宜変更しながら形状判別モデルMを得るものとしてもよい。重み係数の更新には、誤差伝播法を用いることができる。但し、データベース部101の学習用データが少ない場合には、敵対的生成ネットワーク(GAN:Generative Adversarial Network)等により、カメラ8を用いて取得される画像情報をランダムに加工することにより類似画像を生成し、それらを学習用データに加えてもよい。
なお、形状判別モデルMは、例えば1ヶ月毎又は1年毎に再学習により新たなモデルに更新してもよい。データベース部101に保存されるデータが増えるほど、精度の高い形状判別が可能となるからであり、最新のデータに基づいて形状判別モデルMを更新することで、経時的な操業条件の変化を反映した形状判別モデルMを生成することができる。
〔第2の実施形態〕
次に、図12,図13を参照して、本発明の第2の実施形態である形状判別モデル生成部の構成について説明する。
図12は、本発明の第2の実施形態である形状判別モデル生成部の構成を示すブロック図である。図12に示すように、本発明の第2の実施形態である形状判別モデル生成部100は、画像加工処理部103を備える点において本発明の第1の実施形態である形状判別モデル生成部100の構成と異なる。すなわち、本実施形態では、画像加工処理部103が、カメラ8により取得した鋼板Sの画像実績データに対して画像加工処理を行った後に、データベース部101に学習用のデータセットを蓄積する。画像加工処理が施された鋼板Sの画像実績データを画像加工データと呼ぶ。
この場合、形状判別モデル生成部100では、画像加工データと、画像加工データに対応付けられた形状判別情報の実績データとが、データベース部101に蓄積され、形状判別モデルMの学習用データとなる。鋼板Sの画像実績データに画像加工処理を施すのは、熱間圧延ライン2において霧状水滴やヒューム等の外乱が生じた状態を模擬した画像加工データを得るためである。これにより、熱間圧延ライン2でカメラ8により取得される鋼板Sの画像データが外乱の影響を受けたとしても、精度の高い形状判別情報を出力する形状判別モデルMを生成できる。
画像加工処理の手法としては、適用可能な任意の処理手法を用いることができる。その場合、ぼかし処理及び色調補正処理の少なくとも一方による画像加工処理を実行することが好ましい。ぼかし処理は、熱間圧延ライン2における霧状水滴やヒューム等による外乱によって、画像の鮮明度が低下した状態に対応した画像加工データを得るための処理である。また、色調補正処理は、鋼板Sの温度が変化し、鋼板Sの色調が変化した状態に対応した画像加工データを得るための処理である。
鋼板Sの画像実績データと鋼板Sの形状判別情報の実績データとの1組のデータセットに対して、鋼板Sの画像実績データに対する複数の画像加工処理が実行されてよい。1組のデータセットに対して複数の画像加工データを生成し、それらの画像加工データのそれぞれに対応する形状判別情報の実績データを関連付けて、新たなデータセットとして生成することができる。従って、鋼板Sの画像実績データと鋼板Sの形状判別情報の実績データの1組のデータセットから、画像加工処理の種類及び画像加工処理の条件の違いに応じた複数組のデータセットを生成することができる。これにより、学習用データの収集が容易になり、少数の画像実績データから多数の学習用データを取得できる。
本実施形態の画像加工処理に用い得るぼかし処理としては、鋼板Sの画像実績データに対する平均化フィルター処理を用いることができる。図13を参照して、画像実績データに対して平均化フィルター処理を行い、画像加工データを取得する方法を説明する。図13に示す例では、鋼板Sの画像実績データは、カラー画像であってRGBに分解された任意の画像データ又はモノクロの画像データであって、画像の各画素に対して輝度値が割り当てられたものである。輝度値は、例えば0~255の数値情報で表される。平均化フィルターは、例えば縦方向及び横方向の画素数をNとして、縦方向N画素×横方向N画素のように設定される。平均化フィルターは、元の画像データの中で着目する画素を代表点として、代表点を含むN×Nの画素領域に適用し、その範囲に含まれる輝度値の平均値を算出し、算出した平均値を代表点の新たな輝度値に置き換えるものである。
このような処理を画像データ内で代表点を変更しながら繰り返し実行することにより元の画像データから画像加工データが取得される。図13に示す例では平均化フィルターの画素数Nは3に選択されている。画素Aを代表点として、平均化フィルターを適用すると、その範囲の輝度値の平均値が算出され、画素Aの新たな輝度値(本例では94)となる。このようにして、代表点を画像データ内で移動させて処理を行って、画像加工データが生成される。これらの処理により、鋼板の周囲に霧状水滴やヒューム等の外乱が存在した状態に近い画像加工データが得られる。
本実施形態に適用する平均化フィルターの画素数Nは、取得した画像データの縦方向又は横方向の画素数Pに対して、100分の1から10分の1程度とすることが好適である。平均化フィルターの画素数Nが画素数Pの100分の1より小さい場合、画像データに対するぼかし処理の効果が小さく、画像加工データとして霧状水滴やヒューム等の外乱の影響を反映させにくい場合があるからである。一方、画素数Nが画素数Pの10分の1より大きい場合には、輝度値を平均化する範囲が大きく、画像加工データとして鋼板Sの形状判別情報を識別できるほどの鮮明度が失われてしまうおそれがあるからである。ここで、画像データの端部については、画像データの外側の輝度値を0で埋めること(パディング)によって、元画像の端部の情報不足を防ぐようにしてよい。
ぼかし処理は、取得した画像データの全ての画素に対して適用してよいし、一部の画素にのみ適用してよい。ぼかし処理は、例えば画像データの右半分のみ、画像データの上半分のみ等、部分的に適用してよい。鋼板Sの熱間圧延ラインでは霧状水滴及びヒュームは、鋼板の搬送方向に対して左右のいずれかにのみ発生している場合があるからである。ここで、ぼかし処理には、平均化フィルター処理の他に、ガウシアンフィルター、選択的ガウシアンフィルター、モザイクフィルター、メディアンフィルター、モーションフィルター等、画像加工処理手法として一般的に用いられるフィルター手法を適用してよい。
ここで、鋼板Sの画像実績データがカラー画像である場合に、1枚の画像実績データから分割されるRGBの3種類の画像データのいずれかの画像データにのみ画像加工処理を行ってよいし、全ての画像データに画像加工処理を行ってよい。また、RGBの3つの画像データに対して異なるフィルター処理が実行され、それらを合成したカラー画像が画像加工データとされてよい。熱間圧延ラインにおいて、霧状水滴ヒューム等の外乱が生じている場合に、光の波長として吸収しやすい波長成分と、そうでない波長成分とがあるからである。そのため、特定の光の波長に対応した画像にのみぼかし処理が実行されてよい。
鋼板Sの画像実績データに対する色調補正処理としては、明るさ補正処理、コントラスト補正処理、ガンマ補正処理等、鋼板Sの画像実績データの色調を変更する画像加工処理を適用できる。明るさ補正処理は画像データの明暗を調整するものである。コントラスト補正処理は画像データ内の明暗の差を調整するものである。また、ガンマ補正処理は、画像データ全体に対して同一の割合で明るさを調整するのでなく、画像データを構成する画素の輝度値に応じてその値を調整するものである。鋼板Sの画像実績データに対して色調補正処理を実行することにより、鋼板Sの画像実績データを取得した条件とは鋼板温度等の撮像環境が異なる状態を模擬することができるため、汎用性の高い形状判別モデルを生成できる。
色調補正処理に用いる明るさ補正処理は、画像データの中の代表点における画素の輝度値に対して予め設定した補正値を加算して補正後の輝度値とする方法であり、画像データ内の代表点を移動させながら画像加工データを生成する。但し、輝度値が0~255の範囲となるように、補正処理後の輝度値について上限値と下限値を設定するのがよい。本実施形態における明るさ補正処理は、鋼板Sが撮像されている領域の輝度の平均値Bに対して、-0.5B~+0.5Bの範囲で補正値を選択するのが好ましい。補正値が-0.5Bよりも小さい場合、鋼板Sの画像が暗くなり、形状を判別するための画像が不明瞭になるからである。また、補正値が0.5Bよりも大きい場合には、鋼板Sの画像が極端に明るくなって、この場合も形状を判別するための画像が不明瞭になるからである。
色調補正処理は、取得した画像データの全ての画素に適用してよいし、一部の画素にのみ適用してよい。色調補正処理は、例えば画像データの右半分のみ、画像データの上半分のみ等、部分的に適用してよい。熱間圧延ラインにおける鋼板Sには、長手方向又は幅方向になだらかな温度分布が生じる場合があり、鋼板の色調が位置によって変化する場合があるからである。また、鋼板Sの画像実績データがカラー画像である場合に、1枚の画像実績データから分割されたRGBの3種類の画像データのいずれかの画像データにのみ画像加工処理を行ってよいし、すべての画像データに対して行ってよい。鋼板Sの温度が変化すると、取得する画像データの色調が変化するため、カラー画像の色調を補正することにより、一つの画像データから複数の温度域に対応した画像加工データを得られ、学習用データの収集が容易になる。
本実施形態では、上記のような画像加工処理が行われた画像加工データと、その画像加工データに対応付けられた形状判別情報の実績データとがデータベース部101に蓄積され、形状判別モデルMの学習用データとなる。データベース部101に蓄積するデータセットの数は第1の実施形態と同様でよく、機械学習部102に用いられる機械学習の手法も第1の実施形態と同様でよい。このようにして生成した形状判別モデルMは、下記の形状判別方法、形状測定方法、形状制御方法に適用される。
〔第3の実施形態〕
次に、図14~図16を参照して、本発明の第3の実施形態である形状判別モデル生成部の構成について説明する。
本実施形態では、鋼板の形状判別モデルMの入力データとして、鋼板を撮影することによって取得された鋼板の画像データに加え、鋼板の圧延操業パラメータから選択した1つ以上の操業パラメータを含む。ここで、鋼板Sの圧延操業パラメータとは、鋼板Sを圧延機5により圧延する際の操業条件を代表する任意のパラメータである。但し、圧延操業パラメータは、鋼板Sの形状判別を実行する時点よりも以前の圧延パスにおける操業条件に関する。さらに、鋼板Sの画像データを取得する直前の圧延パスにおける操業パラメータを用いるのが好ましい。画像データを取得する時点における鋼板Sの形状に大きな影響を与えるからである。
圧延操業パラメータには、鋼板Sを圧延機5により圧延する際に鋼板Sの形状に影響を与えるパラメータと、鋼板Sの形状を判別する際に取得される画像データの鮮明度や色調に影響を与えるパラメータを含む。具体的には、圧延操業パラメータとして、圧延機5の上下ワークロールの周速差、パスライン位置、圧下率、圧延パス間の冷却水の上下流量等、圧延における鋼板Sの反りに影響を与えるパラメータを例示できる。これらのパラメータを、鋼板Sの形状判別モデルMの入力データに含めるのは、これらは圧延機5により鋼板Sを圧延する際の反り形状に影響を与えるからである。
また、圧延操業パラメータの他の例として、鋼板Sの圧延機5における入側温度や出側温度、鋼板Sの成分組成、圧延機5の近傍に配置されるデスケーリング装置の鋼板Sに対するデスケーリング噴射の有無、鋼板Sの圧延パスにおけるデスケーリング噴射回数を例示することができる。これらのパラメータを鋼板Sの形状判別モデルMの入力データに含めるのは、これらの圧延操業パラメータが鋼板Sの形状を判別する際に取得される画像データの鮮明度や色調に影響を与え、形状判別の精度に影響を与えるからである。
例えば、鋼板温度は、鋼板Sを撮影した画像データの色調に影響を与える。鋼板の成分組成は、鋼板Sの表面に生成する酸化スケールの組成や厚みに影響して鋼板Sを撮影した画像データの色調を変化させ得る。また、圧延機5の近傍に配置されるデスケーリング装置の鋼板Sに対するデスケーリング噴射の有無や鋼板Sの圧延パスにおけるデスケーリング噴射回数は、鋼板温度を変化させる他、鋼板Sの表面に生成する酸化スケールの厚みに影響して鋼板Sを撮影した画像データの色調を変化させ得る。
このようにして、形状判別モデルMの入力データとして、鋼板Sの画像データに加え、鋼板Sの圧延操業パラメータから選択した1つ以上の操業パラメータを入力データに含むことにより、形状判別モデルMによる鋼板Sの形状判別精度が向上する。
本実施形態に適用される形状判別モデルの生成方法は、鋼板Sを撮影することによって取得された鋼板の画像実績データ、及び鋼板Sの圧延操業パラメータの中から選択した1つ以上の操業実績データを入力実績データ、その入力実績データに対応する鋼板Sの形状判別情報を出力実績データとする、複数の学習用データを用いた機械学習によって鋼板Sの形状判別モデルを生成するステップを含む。
図14は、本発明の第3の実施形態である形状判別モデル生成部の構成を示すブロック図である。図14に示すように、本発明の第3の実施形態である形状判別モデル生成部100は、第2の実施形態である形状判別モデル生成部10と同じ構成を有している。但し、画像加工処理部103がなくてもよい。データベース部101に蓄積される鋼板Sの画像実績データと、鋼板Sの形状判別情報に関する実績データの取得方法は上記と同様である。一方、鋼板Sの圧延操業パラメータの操業実績データ(圧延操業実績データ)は、熱間圧延ライン2を制御するための制御用計算機、制御用計算機に製造指示を与える上位計算機等から取得することができるため、これらから形状判別モデル生成部100のデータベース部101に送られる。
この場合に形状判別の対象となる鋼板には、製品を識別する製品番号や生産管理を行うための鋼板番号等が付されており、鋼板Sの画像実績データ、鋼板Sの圧延操業実績データ、及び鋼板Sの形状判別情報の実績データが対応付けられたデータセットとしてデータベース部101に蓄積される。データベース部101に蓄積される実績データについては、必要に応じてスクリーニングが行われてよい。また、形状判別モデル生成部100に画像加工処理部103を含む場合には、鋼板Sの画像実績データが画像加工処理により画像加工データに変換され、鋼板Sの圧延操業実績データ、鋼板Sの形状判別情報の実績データと対応付けられてデータベース部101に蓄積される。
本実施形態における機械学習部102は、データベース部101に蓄積された複数の学習用データを用いた機械学習によって、鋼板Sの形状を判別する形状判別モデルMを生成する。形状判別モデルを生成するための機械学習モデルは、実用上十分な形状判別情報の予測精度が得られれば、いずれの機械学習モデルでよい。但し、本実施形態に適用する機械学習手法は、ニューラルネットワーク構造に、畳み込みニューラルネットワークを含むものであることが好ましい。図15を参照して、本実施形態に好適なニューラルネットワークが説明される。図15は、本発明の一実施形態である畳み込みニューラルネットワークの構成を示す図である。図15に示す例では、鋼板Sの画像データとして2次元画像データが用いられる。
図15に示すように、畳み込みニューラルネットワークは、鋼板Sの画像データを入力として、第1入力層、畳み込み層、プーリング層、及び全結合層を備えている。鋼板Sの画像データは、必要に応じて予め画像データのチャンネル数及び解像度を落として、画像データに含まれる情報量を圧縮する予備処理を実行してから第1入力層に入力されてよい。また、鋼板Sの画像データは、画像の横方向及び縦方向の画素数を圧縮してから第1入力層に入力されてよい。そして、畳み込みニューラルネットワークを構成する畳み込み層、プーリング層及び全結合層により、鋼板Sの画像データが有する特徴量を維持しながら画像データを圧縮して1次元の情報とすることができる。そして、全結合層によって1次元の情報に圧縮されたデータは、第2入力層に入力される。第2入力層には、画像データと共に、鋼板Sの圧延操業パラメータの中から選択された1つ以上の操業データが入力され、通常のニューラルネットワークと同様に中間層及び出力層に接続される。
図15に示すニューラルネットワークを構成する畳み込み層及びプーリング層は、図8に示すニューラルネットワークと同様の構成をとることができる。具体的には、第1入力層の下流側に配置される畳み込み層は、入力データに対してカーネルと呼ばれるフィルターを用いたフィルタリング処理を施して第1特徴マップを生成する。プーリング層は、畳み込み層が出力した第1特徴マップを入力として、第1特徴マップの情報を圧縮する。プーリング層には最大プーリング又は平均プーリングを適用することができる。プーリング層により、入力される鋼板Sの画像データの特徴を維持しながら情報量が削減され、次元圧縮された第2特徴マップが生成される。全結合層は、プーリング層で生成した第2特徴マップを変換するものであり、第2特徴マップの値を一列に配置して、プーリング層からの出力をまとめるために配置される。全結合層の好ましい形態を例示すると、ノード数16~2048の結合層である。ここで、図15に示す畳み込みニューラルネットワークの構成においては、畳み込み層とプーリング層を複数配置して、第1入力層から入力される鋼板Sの画像データが有する情報をより圧縮するように構成してよい。
このようにして全結合層により1次元の情報に圧縮されたデータは、鋼板Sの圧延操業パラメータと共に第2入力層に入力される。第2入力層と出力層との間に配置される中間層は、通常のニューラルネットワークを構成する複数のニューロンからなる。中間層は複数の隠れ層で構成され、各々の隠れ層には複数のニューロンが配置されている。中間層内に構成される隠れ層の数は特に限定されないが、隠れ層の数が多すぎると予測精度が低下することもあることから3層以下であることが好ましい。また、各隠れ層に配置されるニューロンの数は、好ましくは第2入力層に入力されるデータ数の1倍~10倍の範囲の数とすることが好ましい。中間層において、あるニューロンから続く隠れ層へのニューロンの伝達は、重み係数による変数の重み付けと共に、活性化関数を介して行われる。活性化関数にはシグモイト関数、ハイパボリックタンジェント関数又はランプ関数を用いることができる。出力層は、中間層により伝達されたニューロンの情報が結合され最終的な鋼板Sの形状判別情報として、鋼板Sの形状区分に関する情報が出力される。
〔形状判別方法〕
次に、図16を参照して、本発明の一実施形態である鋼板の形状判別方法について説明する。
図16は、本発明の一実施形態である鋼板の形状判別方法を説明するための図である。
図16に示すように、本発明の一実施形態である鋼板の形状判別方法では、形状判別部110が、機械学習部102が生成した形状判別モデルMを用いて鋼板の製造設備1における鋼板Sの形状を判別する。形状判別部110は、鋼板の製造設備1に設置したカメラ8により撮影された鋼板Sの画像データを入力データとして形状判別モデルMに入力し、出力データである鋼板Sの形状を判別する形状判別情報を出力する。
形状判別部110に送られる鋼板の画像データは、形状判別モデルMを生成するためにデータベース部101に蓄積した画像実績データを取得したカメラと同一の位置から撮影したものであることが好ましい。但し、必ずしも画像実績データを取得するためのカメラと同一のカメラを用いる必要はない。学習用に用いた画像実績データを取得したカメラと、形状判別部110に入力するための画像データを取得するカメラとは、その解像度やシャッタースピード等の撮影性能が異なるものでよい。また、カメラのレンズやズーム設定が異なることにより、取得する画像の倍率が異なるものを用いてもよい。畳み込みニューラルネットワークの手法により学習した形状判別モデルMを用いることにより、画像内の鋼板Sの位置や大きさが異なってもその形状の特徴量を検知することが可能だからである。
形状判別モデルMから出力される鋼板Sの形状判別情報は、例えば、鋼板の製造設備1の運転室又は機側に設置されたモニター画面等の表示部111に表示される。表示部111に鋼板Sの形状判別情報を表示することにより、鋼板の製造工程における製造条件を適宜再設定することができる。例えば圧延機5の出口部で鋼板Sの画像データを取得し、形状判別部110で取得した形状判別情報を運転室の表示部111に表示することにより、圧延工程の後の冷却工程における操業条件を再設定して鋼板Sの形状を適正な形状に矯正できる。また、精整設備におけるレベラー等の操業条件に反映してもよい。一方、形状判別部110で得られた形状判別情報は選択部112に送られ、後述するように複数の形状測定手段からオンラインの測定に用いる形状測定手段を選択してもよい。
形状判別部110は、例えばワークステーションやパソコン等の汎用コンピュータに設けてよい。また、形状判別部110は、ネットワークを介して形状判別モデル生成部100により生成した形状判別モデルMを取得する入力部や記憶する記憶部を有する。但し、形状判別部110は、鋼板の製造設備1において鋼板Sの製造工程を実行するためのプロセスコンピュータや上位コンピュータの内部に構成してよい。例えば圧延機の出口部で取得した形状判別情報を冷却設備や精整設備の操業条件に反映させる上で、既存のハードウエア資源を利用できるため設備投資を抑制することができる。さらに、鋼板の形状判別装置として、形状判別部110を含み、形状判別部110の動作に必要な情報を取得する取得部と、記憶部を備えるように構成することができる。取得部は、例えば機械学習部102によって生成された形状判別モデルMを形状判別モデル生成部100から取得可能な任意のインタフェースを含む。また、取得部は、カメラ8が撮影した鋼板Sの画像データを取得する。例えば、取得部は、鋼板Sの画像データを取得するための通信インタフェースを含んでよい。記憶部は鋼板の形状判別装置の動作に用いられる任意の情報を記憶する。記憶部は、例えば、取得部により取得された形状判別モデルM、カメラ8が撮影した鋼板Sの画像データ、及び形状判別部110により出力された形状判別情報を記憶する。鋼板の形状判別装置は、これらの他、形状判別モデルMから出力される鋼板Sの形状判別情報を表示する表示部111や、選択部112を含むように構成されてもよい。
〔形状測定方法〕
次に、図17を参照して、本発明の一実施形態である鋼板の形状測定方法について説明する。
本実施形態では、機械学習部102が生成した形状判別モデルMを用いて、鋼板の製造設備1における鋼板Sの形状を判別し、判別した形状区分に応じて鋼板Sの形状測定手段を選択することにより、鋼板Sの形状についての高精度な数値情報を得ることができる。鋼板Sの形状測定手段としては、画像処理法、距離測定法、振り子測定法、モアレ画像法等の鋼板Sの形状を定量化するために通常用いられる手段を用い、それらから2以上の手段を組み合わせて鋼板Sの形状を測定する。すなわち、本実施形態では、鋼板Sの形状区分を識別するための形状判別方法と、識別された形状区分に応じて適切な形状測定方法を選択することにより、鋼板Sの形状を高精度に定量評価することができる。
画像処理法は、特許文献3に記載されているように、鋼板Sの画像を取得して、画像処理によって鋼板Sの形状を定量化する方法である。例えば図17に示すように、圧延機5の出口部で鋼板Sの先端部をエリアカメラにより撮影し、取得した画像の輝度情報から鋼板の幅方向端部の高さプロフィルを取得して反り量を算出する。図17に示す例は、圧延機5の出口の横方向から鋼板Sの画像を取得するものである。鋼板Sの形状測定手段の一つとして、画像処理法を用いる場合には通常はエリアカメラを使用するが、本実施形態においては形状判別モデルMの入力となる画像データを取得するカメラと同じものであっても異なるものであってもよい。
図17に示す例は、形状判別モデルMの入力となる画像データを取得するカメラ8とは別のエリアカメラを形状測定手段に用いるものである。この例は、エリアカメラにより撮影した画像に対して画像処理を実行することにより、鋼板の画像内での位置情報を抽出して鋼板の形状を測定するものである。この形状測定手段では、エリアカメラの視野内で、圧延機5の出口部から距離Xだけ離れた位置での画像から縦方向の輝度情報Rを抽出する。輝度情報Rの数値が大きい位置には、鋼板Sが存在することから、一定のしきい値(設定輝度値)を予め設定し、輝度情報Rがその値を超える位置に鋼板Sがあることが認識される。このような処理を、1枚の画像データに対して距離Xを変更しながら繰り返すことにより、エリアカメラ内で撮像された鋼板Sの反り量を定量化することができる。
但し、使用する輝度情報はR値に限定されるものではなく、GやBの輝度値やグレースケールを用いても構わない。また、画像処理法に用いるエリアカメラの視野内の画像から、大津の2値化手法やキャニー法等の手法により鋼板Sの輪郭を検出し、検出した鋼板Sの輪郭に基づいて反り量や先端部の平均曲率等を算出することができる。但し、図17に示す例のように画像処理法に用いるエリアカメラを圧延機5の出口の横方向に設置する場合には、反り測定の精度は向上するものの、鋼板Sの形状がC反り形状や波形状である場合には、その形状を定量評価するのが困難となる。そのため、本実施形態では、複数の形状測定手段を組み合わせて用いる。
一方、形状測定手段として距離測定法を用いる場合には、特許文献2に記載の方法のように、鋼板Sの上方又は下方から所定距離離れた基準位置に距離計を設置し、そのような基準位置から鋼板Sの高さ情報を取得し、その高さ情報の鋼板Sの長手方向や幅方向の分布に基づいて形状を定量化する。距離計としては、レーザー光やマイクロ波等の従来から用いられているものを適用すればよい。振り子測定法とは、回転軸端部に回転角度検出器を有する振り子棒を圧延機出側に設置し、鋼材の先端部が振り子棒に接触し回転する際の、振り子棒の回転角度に基づいて反り量の大きさを検出する方法である。振り子測定法は簡易的な形状測定手段であるが、上反り量の定量評価では比較的高精度な評価が可能である。しかしながら、下反り形状や平坦形状を精度よく評価するための形状測定手段とはならない。
モアレ画像法とは、鋼板Sへの投影光により幾何学的な模様を重ねたときに現れるモアレ縞から物体の形状を測定する手法であり、カメラを用いてモアレ縞の位相分布から形状を定量化する。特に、耳波や中伸び等の鋼板Sの波形状を測定する場合に適している。本実施形態では、このような形状測定手段から選択した2以上の形状測定手段を組み合わせて、鋼板Sの形状を定量化する。例えば測定対象とする鋼板Sに対して、形状判別モデルMが「腰折れ形状」又は「平坦形状」と判別した場合には、距離測定法によって取得される数値情報を鋼板Sの形状の測定値とし、「上反り形状」と判別した場合には、画像処理法によって取得される数値情報を鋼板Sの形状の測定値とする。
これにより、上反り形状の鋼板Sに対しては、距離測定法における反射光の散乱による測定精度の低下という問題を解決できる。また、腰折れ形状や平坦形状に対しては、画像処理法を用いる場合に生じる、撮影角度によっては画像から鋼板Sの幅方向端部の形状を抽出することが困難という問題を解決することができる。すなわち、鋼板Sの形状を定量評価するための測定手段には、それぞれ高い測定精度を確保しやすい形状とそうでない形状とがある。このため、予め鋼板Sの形状を判別しておくことにより、良好な測定精度が得られる測定手段を選択し、それらを組み合わせることにより鋼板Sの形状が種々変化しても、精度よく形状の定量評価が可能となる。
また、上記とは別の組み合わせとして、形状判別モデルMが「腰折れ形状」又は「平坦形状」と判別した場合には、モアレ測定法を形状測定手段として用いて、形状判別モデルMが「上反り形状」と判別した場合には、振り子測定法を形状測定手段として用いることができる。モアレ測定法を用いる場合に、鋼板Sが上反り形状であると、鋼板Sの反射光の散乱によって測定精度が低下するという問題が生じ得るが、腰折れ形状や平坦形状に対してはこのような問題が生じない。一方、振り子測定法を用いる場合には、「腰折れ形状」や「平坦形状」では反り高さの測定が困難であるのに対して、「上反り形状」については比較的精度の良い反り測定が可能である。従って、本実施形態の形状判別モデルMを用いた鋼板の形状判別結果に応じて、鋼板の形状測定手段を選択することにより鋼板の形状を精度よく定量評価することができる。
〔形状制御方法〕
最後に、本発明の一実施形態である鋼板の形状制御方法について説明する。
本発明の一実施形態である鋼板の形状制御方法では、鋼板の製造設備1における鋼板Sの形状を判別し、判別した形状に応じて鋼板Sの形状を良好にするための圧延機5の操業パラメータを再設定する。例えば、上記の形状判別方法を用いて、圧延機5による複数の圧延パスから選択した任意の圧延パスにおいて鋼板Sの形状を判別し、判別した形状に応じて、次パス以降の圧延パスにおける圧延機5の操業パラメータを再設定する。ここで、再設定する圧延機5の操業パラメータとしては、圧延機5の上下ワークロールの周速差、パスライン位置、圧下率、圧延パス間の冷却水の上下流量等の圧延における鋼板Sの反りに影響を与えるパラメータを例示できる。特に上下ワークロールの周速差とパスライン位置は、圧延パス毎に設定変更が可能であり、それらを再設定する圧延機5の操業パラメータとするのが好ましい。
このとき、形状判別を行う圧延パスにおいて、鋼板Sが腰折れ形状又は平坦形状と判別された場合、次パス以降において、圧延機5の操業パラメータとして上下面の冷却水量差を再設定することができる。一方、形状判別を行う圧延パスにおいて、鋼板Sが上反り形状と判別された場合には、次パス以降において上下ワークロールの周速差、パスライン位置、又は、圧下率を再設定することができる。鋼板Sの形状が上反り形状である場合には、圧延機5の操業パラメータとして上下面の冷却水量差を再設定しても、鋼板S上に乗り水が発生し、上下面の温度差を適切に制御することが困難な場合が多いからである。また、鋼板Sの形状が腰折れ形状である場合、鋼板Sの長手方向で反りの方向が反転していることから、上下ワークロールの周速差やパスライン位置の再設定等、一定の方向に反りを生じさせる操業パラメータでは必ずしも反りを低減できない場合が生じるからである。なお、再設定する圧延パスは鋼板Sの形状判別を行った圧延パスの次パス以降であれば、いずれの圧延パスでもよい。さらに、次パス以降から選択した2以上の圧延パスの操業パラメータを再設定してもよい。
さらに、上記形状判別方法を用いて鋼板Sの形状を判別し、上記形状測定方法を選択的に用いることにより、圧延機5の操業パラメータの再設定だけでなく、最終の圧延パスが終了した後の鋼板の製造設備1における操業パラメータを再設定してもよい。例えば、鋼板の製造設備1における冷却設備6の上流側で鋼板Sの形状を定量的に測定できると、形状に応じて冷却設備6の操業パラメータを再設定することができる。再設定する操業パラメータとしては、冷却設備6における冷却水量、水量密度、使用する冷却ゾーン、及びそれらの上下面の差が例示できる。鋼板Sの冷却条件の上下差(表裏差)は、鋼板Sの形状に与える影響が大きいため、測定した形状に応じて、冷却設備6で適切な操業パラメータを再設定するものである。
さらに、精整設備3が鋼板Sの形状矯正設備を備える場合には、上記形状判別方法を用いて鋼板Sの形状を判別することにより、判別された形状に応じて適切な形状矯正手段を選択することができる。例えば鋼板Sが波形状を有する場合、形状矯正手段としてレベラー設備を用いた形状矯正を選択する。一方、鋼板Sの先端部のみに腰折れ形状がある場合には、形状矯正手段としてプレス矯正設備を用いた形状矯正を選択する。また、鋼板Sの形状が平坦形状である場合には、形状矯正工程を経ずに鋼板Sを出荷することで不必要な工程を省略できる。また、上記形状測定方法により鋼板Sの形状を定量評価できると、レベラー設備を用いた形状矯正工程において適切なレベラーロールの圧下量設定が可能となる。また、プレス矯正においても適切な圧下条件の設定が可能となる。
以下に本発明の実施例を示す。
〔実施例1〕
本実施例では、加熱炉1基及びリバース式圧延機1基を有する厚鋼板の熱間圧延ラインに本発明を適用した。圧延仕上げ寸法が板厚6~30mm、板幅2000~4500mmの炭素鋼からなる計1200枚の鋼板を製造する製造設備に適用した例である。本実施例では、鋼板の形状判別モデルを生成するために、鋼板の画像データを取得する目的で、リバース式圧延機の下流3mの位置であって、テーブルロールの高さよりも3m上方の位置、且つ、テーブルロールの胴長方向端部から水平方向に3m離れた位置にエリアカメラを設置した。また、鋼板の画像実績データは、リバース式圧延機の出口部において最終圧延パスで取得した。なお、本実施例では冷却設備における水冷は実施せず、鋼板の最終圧延パスが完了した鋼板は、冷却床にて室温近傍まで空冷した後に精整設備に搬送した。この場合、リバース式圧延機における最終圧延パスの出口部から精整設備の受け入れ部までの間では相変態や熱収縮に起因する鋼板の形状変化が小さいので、精整設備の受け入れ位置において鋼板の形状判別情報の実績データを取得した。
鋼板の画像実績データとして、最終の圧延パスにおける圧延機の出側においてエリアカメラにより撮影した鋼板の先端部の画像(少なくとも先端部から10mの範囲の画像が取得されているもの)を用いた。一方、その圧延材が空冷され精整設備の受け入れ部において、オペレータが目視によって判別した形状判別情報の実績データを収集した。これらの情報は、鋼板の製造番号により対応付けを行いデータセットとしてデータベース部に保存した。形状判別情報に用いた形状の区分は、鋼板の反り形状を対象として、上反り形状、平坦形状、及び腰折れ形状の3つに区分した。ここで、オペレータが目視によって判別した形状判別情報として、上反り形状は鋼板表面の反り高さが先端に向かい単調に増加し、その高さ(先端5m位置との差)が概ね200mm以上あると判断したものである。腰折れ形状は、鋼板表面の反り高さの最大位置が先端よりも内側であり、且つ、その位置での反り高さが概ね200mm未満と目視によって判断できるものである。一方、平坦形状は、これらの上反り形状及び腰折れ形状に分類されないと判断されたものである。
このようにして取得したデータセットを用いて、鋼板を撮影することによって取得される鋼板の画像実績データを入力実績データ、入力実績データに対応する鋼板の形状判別情報を出力実績データとした機械学習によって、鋼板の形状を判別する鋼板の形状判別モデルを生成した。学習用データは、鋼板1000枚分のデータであり、機械学習の手法は畳み込みニューラルネットワークを用いた。本実施例では、以上のようにして生成した鋼板の形状判別モデルを用いて、最終の圧延パスにおける圧延機の出側において形状判別を行なうためのエリアカメラによって撮影した鋼板の先端部の画像データを入力データとして鋼板の形状を判別した。テストデータは200本分とした。このとき、本実施例による鋼板の形状判別における正解率は99.1%であった。一方、比較例として、圧延機の出側において、最終の圧延パスにおける鋼板の形状区分をオペレータが目視によって判定した結果を評価したところ、その正解率は90.3%と低位であった。これは、圧延機の周辺設備や水蒸気等の外乱により、特に平坦形状と腰折れ形状の判別が難しい場合があったためと考えられる。すなわち、本実施例による形状判別モデルを用いることにより鋼板の形状区分を精度よく判別できることが確認できた。
〔実施例2〕
実施例2として、実施例1の製造設備において、リバース式圧延機の下流側4mの位置に2つの形状測定手段を配置した。一方の形状測定手段は、鋼板のテーブルロールの上側から鋼板の表面に対して概ね垂直方向になるようにレーザー距離計を配置した距離測定法である。他方の形状測定手段は、図3に示す形状判別用のカメラと同様に、テーブルロールの高さよりも1m上方であって、テーブルロールの胴長方向端部から水平方向に1m離れた位置にエリアカメラを設置し、画像処理法により形状を定量化するものである。これらの形状測定手段を用いた測定をここではオンライン測定と呼ぶ。形状判別方法については、実施例1で生成した形状判別モデルを用いて、リバース式圧延機の下流3mの位置に設置した形状判別用のカメラによって撮像した画像データを入力データとして、形状判別モデルを用いた鋼板先端部の形状判別を行った。
本実施例では、形状判別モデルによって「上反り形状」と分類された場合には、画像処理法による形状測定手段を選択し、形状判別モデルによって「腰折れ形状」又は「平坦形状」と分類された場合には、距離測定法による形状測定手段を選択して、鋼板の先端部の形状を定量評価した。但し、オンライン測定では、上記の距離測定法及び画像処理法の両者で測定を実施してそれぞれの形状測定結果を収集した。形状測定の対象とした鋼板は、圧延仕上げ寸法が板厚6~20mm、板幅3000~4500mmの炭素鋼からなる300本の鋼板である。形状判別及び形状測定(反り測定)は、最終の圧延パスが終了した鋼板の先端部から5mの範囲とした。
一方、上記の形状測定対象とした鋼板については、冷却床で室温まで冷却後に精整設備に搬送され、定盤上に設置したレーザー式距離計を用いて、先端部の反り形状を定量評価した(これをオフライン測定と呼ぶ)。熱間圧延ラインにおいては、高温状態の鋼板に対して搬送中に正確な形状測定を実施することが困難であるが、室温で静置された状態であれば、精度の良い形状測定が可能である。ここでは、オフライン測定による鋼板の反り量を正しい測定値として、上記のオンライン測定結果との差異を評価した。その結果、オンラインで距離測定法のみを用いた場合には、反り測定誤差が絶対値で10mm以下であった鋼板の割合は62.8%であった。これは主として鋼板が上反り形状の場合に誤差が大きかったためである。また、画像処理法のみを用いたオンライン測定の場合には、反り測定誤差が絶対値で10mm以下であった鋼板の割合は53.3%であった。これは主として鋼板が腰折れ形状又は平坦形状の場合に誤差が大きかったためである。一方、本実施例による形状測定方法では、形状判別モデルによる形状判別結果に応じて形状測定手段を選択しているので、鋼板が上反り形状、腰折れ形状、及び平坦形状と種々変化するにも関わらず、反り測定誤差が絶対値で10mm以下であった鋼板の割合は96.1%と良好であった。
〔実施例3〕
実施例3として、実施例1の製造設備において、圧延仕上げ寸法が板厚6~30mm、板幅2000~4500mmの炭素鋼からなる計1000枚の鋼板を製造し、形状判別モデルを生成した例について説明する。本実施例は、図12に示すように、形状判別モデル生成部100に画像加工処理部103を含むものである。その際、鋼板の画像データを取得するためのエリアカメラは実施例1と同一のものを使用し、リバース式圧延機の出口部において最終圧延パスで鋼板の画像実績データを取得した。鋼板の画像実績データは、鋼板の先端部から少なくとも10mの範囲を含むように撮影された。そして、本実施例においても冷却設備における水冷は実施せず、最終圧延パスが完了した鋼板は冷却床にて室温近傍まで空冷した後に精整設備に搬送した。精整設備に搬送された鋼板の先端部の形状に関しては、オペレータが目視によって形状区分を判定し、これを形状判別情報の実績データとした。すなわち、リバース式圧延機における最終圧延パスの出口部から精整設備の受け入れ部までの間では相変態や熱収縮に起因する鋼板の形状変化が小さいため、精整設備の受け入れ位置において判定した形状区分は、鋼板の画像実績データが取得された際の形状区分と同一であるとみなすことができる。なお、形状判別情報に用いた形状区分は、鋼板の反り形状を対象として、上反り形状、平坦形状、及び腰折れ形状の3つの区分とした。
本実施例では、形状判別モデル生成部100の画像加工処理部103において、取得した鋼板の画像実績データに対してぼかし処理を実行した。ぼかし処理の手法には、カーネルサイズを50とするガウシアンフィルターを用いて、標準偏差を50、100の2種類のものを適用した。すなわち、1枚の画像実績データから、ガウシアンフィルターを適用した2枚の画像加工データを生成し、画像実績データに対してぼかし処理を適用しなかった1枚の画像実績データ(ぼかし処理を適用しなかった画像実績データも画像加工データに含めた)と共に、3枚の画像加工データが取得された。そして、これらの3枚の画像加工データに対しては、同一の形状判別情報の実績データが対応付けられて、データベース部101に蓄積された。その結果、1000枚の画像実績データから3000枚の画像加工データが生成され、3000個のデータセットが蓄積された。
形状判別モデル生成部100の機械学習部102では、畳み込みニューラルネットワークの手法を用いた機械学習が適用され、画像加工データを入力実績データ、その画像加工データに対応する鋼板の形状判別情報を出力実績データとする学習用データを用いた機械学習によって形状判別モデルが生成された。使用した畳み込みニューラルネットワークの構造は、畳み込み層が1層、プーリング層が1層、全結合層のノード数20であり、出力層にはソフトマックス関数を用いた。これにより、入力された鋼板の画像データに対して、鋼板の形状が上反り形状、平坦形状、及び腰折れ形状のいずれに分類されるかが確率によって特定され、最も大きな確率に対応する形状区分を形状の判別結果とした。
さらに、上記と同じ製造設備により新たに300枚の鋼板を製造し、上記と同じエリアカメラを用いて鋼板の画像データを取得した。取得した鋼板の画像データは、生成した形状判別モデルの入力として、鋼板の形状判別情報を算出した。そして、精整設備の受け入れ位置においてオペレータが判定した形状区分と、形状判別モデルの出力である形状判別情報を比較した結果、形状判別モデルによる正解率は99.7%と非常に良好であった。最終圧延パスにおいて鋼板の周囲に霧状水滴がある程度存在しても、そのような外乱に強い形状判別モデルが生成されたものと考えられる。
〔実施例4〕
実施例4として、実施例3において取得された1000枚の鋼板の画像実績データと、それに対応する鋼板の形状判別情報の実績データを用いて、他の形状判別モデルを生成した。本実施例では、図14に示すように、鋼板の画像実績データに加えて、鋼板の圧延操業実績データである、最終圧延パスにおける圧延機出側の鋼板温度を選択し、これを形状判別モデルの入力に加えた。なお、鋼板温度の測定は、圧延機下流側の3m離れた位置に設置した放射温度計を用いて、鋼板の先端部の上面に対して行った。なお、本実施例においては、鋼板の画像実績データに対して画像加工処理は行わなかった。そのため、機械学習に用いたデータセットは、鋼板の画像実績データ、鋼板の圧延操業パラメータから選択した鋼板温度の操業実績データ、及び鋼板の形状判別情報の実績データから構成される計1000個のデータであった。
本実施例では、機械学習の手法として、図18に示すような畳み込みニューラルネットワークを含む構成を用いた。このとき、第1入力層から入力される画像データに対して、畳み込み層及びプーリング層により画像データの情報が圧縮され、ノード数20の1次元配列データに変換されて、第2入力層に入力された。そして、鋼板の圧延操業パラメータから選択した鋼板温度も第2入力層の入力となり、ノード数が21個の全結合層が形成された。そして、出力層にはソフトマックス関数を用いて、鋼板の形状が上反り形状、平坦形状、及び腰折れ形状のいずれに分類されるか判別された。
本実施例では、このような構造のニューラルネットワークを備える鋼板の形状判別モデルが生成され、実施例3と同様に、精整設備の受け入れ位置においてオペレータが判定した形状区分と、形状判別モデルの出力である形状判別情報の比較を行った。その結果、本実施例における形状判別モデルの正解率は99.3%と非常に良好であった。学習用モデルのデータセットの数が実施例3に比べて少ないものの、圧延操業パラメータとして鋼板温度を入力に加えることによって、最終圧延パスにおける鋼板の画像データの色調がばらついても、そのような外乱に強い形状判別モデルが生成されたものと考えられる。