JP2020190485A - 識別モデル生成装置、識別モデル生成方法及び識別モデル生成プログラム、並びに鋼材疵判定装置、鋼材疵判定方法及び鋼材疵判定プログラム - Google Patents

識別モデル生成装置、識別モデル生成方法及び識別モデル生成プログラム、並びに鋼材疵判定装置、鋼材疵判定方法及び鋼材疵判定プログラム Download PDF

Info

Publication number
JP2020190485A
JP2020190485A JP2019096064A JP2019096064A JP2020190485A JP 2020190485 A JP2020190485 A JP 2020190485A JP 2019096064 A JP2019096064 A JP 2019096064A JP 2019096064 A JP2019096064 A JP 2019096064A JP 2020190485 A JP2020190485 A JP 2020190485A
Authority
JP
Japan
Prior art keywords
image data
strip
label
current
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019096064A
Other languages
English (en)
Other versions
JP7211265B2 (ja
Inventor
壮一 寺澤
Soichi Terasawa
壮一 寺澤
森 純一
Junichi Mori
純一 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Steel Corp
Original Assignee
Nippon Steel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Steel Corp filed Critical Nippon Steel Corp
Priority to JP2019096064A priority Critical patent/JP7211265B2/ja
Publication of JP2020190485A publication Critical patent/JP2020190485A/ja
Application granted granted Critical
Publication of JP7211265B2 publication Critical patent/JP7211265B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

【課題】搬送方向に平行に延伸する疵の有無をより精度高く学習可能な識別モデル生成装置を提供する。【解決手段】識別モデル生成装置1は、搬送方向に搬送される鋼材の1つの面を含む画像を示す画像データを取得する画像データ取得部と、画像データに対応する画像に含まれる鋼板の面を、長手方向が搬送方向に平行になるように分割した複数の短冊画像をそれぞれが示す複数の短冊画像データを生成する短冊画像データ生成部と、疵を含まないことを示す第1ラベル、及び搬送方向に平行に延伸するように形成される疵を含むことを示す第2ラベルを少なくとも含むラベルを、複数の短冊画像データのそれぞれに関連付けて学習用データを生成する学習用データ生成部と、学習用データを用いて複数の短冊画像とラベルとの関係性を識別モデルに学習させる学習処理部と、複数の短冊画像とラベルとの関係性を学習した識別モデルを出力する識別モデル出力部とを有する。【選択図】図3

Description

本発明は、識別モデル生成装置、識別モデル生成方法及び識別モデル生成プログラム、並びに鋼材疵判定装置、鋼材疵判定方法及び鋼材疵判定プログラムに関する。
鋼材を含む種々の製品を撮像した画像を解析することにより、製品の表面に形成された疵等の欠陥を検出して製品が良品又は不良品の何れかであるかを判定する技術が知られている。
例えば、特許文献1には、表面に疵が形成された製品を含む欠陥画像を擬似的に生成し、生成した擬似欠陥画像に写っている製品が、良品又は不良品の何れかであるかを識別モデルに学習させる技術が記載されている。特許文献1に記載される技術では、擬似的に生成された欠陥画像を使用して識別モデルが製品の良否を学習できるので、不良品の学習用サンプルが少ない場合でも、適切な学習用サンプルを疑似的に多数生成することで、識別精度が高い識別モデルが提供可能である。
特開2011-214903号公報
また、スラブ、ブルーム、ビレット及びコイル等の鋼材の表面及び側面等の面に、ロール不転等に起因してスリカギ疵等の搬送方向に平行に延伸する疵(以下、単に疵とも称する)が形成されることが知られている。鋼材の面に形成される疵は、特許文献1に記載される技術により擬似的に生成された欠陥画像を使用して製品の良否を学習した識別モデルにより検出することができる。
しかしながら、特許文献1に記載される技術では、識別モデルは、鋼材の面の厚み方向を全面に亘って撮像した画像を使用して疵の有無を学習するため、識別モデルが学習する画像のサイズに対して疵の幅が相対的に狭くなる。特許文献1に記載される技術では、識別モデルは、画像のサイズに対して幅が相対的に狭い疵に基づいて疵の有無を学習するため、画像に含まれる疵以外の特徴部を疵と誤認識して学習して識別精度が低下するおそれがある。
そこで、本発明は、搬送方向に平行に延伸する疵の有無をより精度高く学習可能な識別モデル生成装置、及び搬送方向に平行に延伸する疵の有無を学習した識別モデル生成装置により疵の有無を精度高く判定可能な鋼材疵判定装置を提供することを目的とする。
このような課題を解決する本発明は、以下に示す識別モデル生成装置、識別モデル生成方法及び識別モデル生成プログラム、並びに鋼材疵判定装置、鋼材疵判定方法及び鋼材疵判定プログラムを要旨とするものである。
(1)識別モデルと、
搬送方向に搬送される鋼材の1つの面を含む画像を示す画像データを取得する画像データ取得部と、
画像データに対応する画像に含まれる鋼板の面を、長手方向が搬送方向に平行になるように分割した複数の短冊画像をそれぞれが示す複数の短冊画像データを生成する短冊画像データ生成部と、
疵を含まないことを示す第1ラベル、及び搬送方向に平行に延伸するように形成される疵を含むことを示す第2ラベルを少なくとも含むラベルを、複数の短冊画像データのそれぞれに関連付けて学習用データを生成する学習用データ生成部と、
学習用データを用いて複数の短冊画像とラベルとの関係性を識別モデルに学習させる学習処理部と、
複数の短冊画像とラベルとの関係性を学習した識別モデルを出力する識別モデル出力部と、
を有することを特徴とする識別モデル生成装置。
(2)短冊画像データ生成部は、複数の短冊画像のそれぞれが隣接する他の短冊画像と一部が重畳するように複数の短冊画像データを生成する、(1)に記載の識別モデル生成装置。
(3)学習処理部は、単一の画像データから生成された学習用データを一括して識別モデルに学習させる、(1)又は(2)に記載の識別モデル生成装置。
(4)画像データ取得部は、搬送方向の端部が互いに重畳するように画像データを複数回に亘って取得する、(1)〜(3)の何れか1つに記載の識別モデル生成装置。
(5)ラベルは、異物が付着していることを示す第3ラベルを更に含む、(1)〜(4)の何れか1つに記載の識別モデル生成装置。
(6)(1)〜(5)の何れか1つに記載の識別モデル生成装置によって学習させられ、入力された画像に応じたラベルを出力する識別モデルと、
鋼材の面を含む現在画像を示す現在画像データを取得する現在画像データ取得部と、
現在画像データに対応する画像を、長手方向が搬送方向に平行となる複数の短冊画像に分割して複数の現在短冊画像データを生成する現在短冊画像データ生成部と、
現在短冊画像データを識別モデルに入力する現在画像入力部と、
識別モデルから現在画像データの入力に応じた鋼材の面に形成された疵の状態を示す疵状態情報を取得する疵状態情報取得部と、
識別モデルから出力される疵状態情報を示す疵状態情報信号を出力する疵状態情報出力部と、
を有することを特徴とする鋼材疵判定装置。
(7)疵状態情報の現在画像における短手方向の位置毎の演算結果に基づいて、現在画像における短手方向の位置毎に疵の有無を判定する疵判定部と、
疵判定部による判定結果である判定結果情報を示す判定結果情報信号を出力する疵判定情報出力部と、
を更に有する、(6)に記載の鋼材疵判定装置。
(8)搬送方向に搬送される鋼材の1つの面を含む画像を示す画像データを取得し、
画像データに対応する画像に含まれる鋼板の面を、長手方向が搬送方向に平行になるように分割した複数の短冊画像をそれぞれが示す複数の短冊画像データを生成し、
疵を含まないことを示す第1ラベル、及び搬送方向に平行に延伸するように形成される疵を含むことを示す第2ラベルを少なくとも含むラベルを、複数の短冊画像データのそれぞれに関連付けて学習用データを生成し、
学習用データを用いて複数の短冊画像とラベルとの関係性を識別モデルに学習させ、
複数の短冊画像とラベルとの関係性を学習した識別モデルを出力する、
ことを含むことを特徴とする識別モデル生成方法。
(9)搬送方向に搬送される鋼材の1つの面を含む画像を示す画像データを取得し、
画像データに対応する画像に含まれる鋼板の面を、長手方向が搬送方向に平行になるように分割した複数の短冊画像をそれぞれが示す複数の短冊画像データを生成し、
疵を含まないことを示す第1ラベル、及び搬送方向に平行に延伸するように形成される疵を含むことを示す第2ラベルを少なくとも含むラベルを、複数の短冊画像データのそれぞれに関連付けて学習用データを生成し、
学習用データを用いて複数の短冊画像とラベルとの関係性を識別モデルに学習させ、
複数の短冊画像とラベルとの関係性を学習した識別モデルを出力する、
処理をコンピュータに実行させることを特徴とする識別モデル生成プログラム。
(10)鋼材の面を含む現在の画像を示す現在画像データを取得し、
現在画像データに対応する画像を、長手方向が搬送方向に平行となる複数の短冊画像に分割して複数の現在短冊画像データを生成し、
現在短冊画像データを、(1)〜(5)の何れか1つに記載の識別モデル生成装置によって学習させられ、入力された画像に応じたラベルを出力する識別モデルに入力し、
識別モデルから現在画像データの入力に応じた鋼材の面に形成された疵の状態を示す疵状態情報を取得し、
識別モデルから出力される疵状態情報を示す疵状態情報信号を出力する、
ことを含むことを特徴とする鋼材疵判定方法。
(11)鋼材の面を含む現在の画像を示す現在画像データを取得し、
現在画像データに対応する画像を、長手方向が搬送方向に平行となる複数の短冊画像に分割して複数の現在短冊画像データを生成し、
現在短冊画像データを、(1)〜(5)の何れか1つに記載の識別モデル生成装置によって学習させられ、入力された画像に応じたラベルを出力する識別モデルに入力し、
識別モデルから現在画像データの入力に応じた鋼材の面に形成された疵の状態を示す疵状態情報を取得し、
識別モデルから出力される疵状態情報を示す疵状態情報信号を出力する、
処理をコンピュータに実行させる事を特徴とする鋼材疵判定プログラム。
一実施形態に係る識別モデル生成装置は、搬送方向に平行に延伸する疵の有無をより精度高く学習することができる。また、一実施形態に係る鋼材疵判定装置は、搬送方向に平行に延伸する疵の有無をより精度高く判定することができる。
第1実施形態に係る鋼材製造装置の概略図である。 図1に示す識別モデル生成装置の機能ブロック図である。 図2に示す識別モデル生成装置により実行される疵有無学習処理のフローチャートである。 図3に示すS104の処理を説明するための図である。 図3に示すS108の処理のより詳細な処理を示すフローチャートである。 図1に示す鋼材疵判定装置の機能ブロック図である。 図6に示す鋼材疵判定装置により実行される疵判定処理のフローチャートである。 第2実施形態に係る鋼材製造装置の概略図である。 図8に示す鋼材疵判定装置の機能ブロック図である。 図9に示す鋼材疵判定装置により実行される疵判定処理のフローチャートである。 図10に示すS409の処理のより詳細な処理を示すフローチャートである。 (a)はS407の処理により判定記憶部に記憶された疵状態情報の一例を示す図であり、(b)はS407の処理により判定記憶部に記憶された疵状態情報の他の例を示す図である。 (a)は図12(a)に示す疵状態情報におけるS409の判定処理を説明するための図であり、(b)は図12(b)に示す疵状態情報におけるS409の判定処理を説明するための図である。 鋼材の側面に形成された疵及び鋼材の側面に付着したスケールを示す図である。
以下図面を参照して、本発明に係る識別モデル生成装置、識別モデル生成方法及び識別モデル生成プログラム、並びに鋼材疵判定装置、鋼材疵判定方法及び鋼材疵判定プログラムについて説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されない。
(第1実施形態に係る鋼材製造装置の構成及び機能)
図1は、第1実施形態に係る鋼材製造装置の概略図である。
鋼材製造装置100は、搬送路101と、撮像装置102と、識別モデル生成装置1と、鋼材疵判定装置110とを有する。搬送路101は、複数の搬送ローラを有し、鋼材103を矢印Aで示される搬送方向に搬送する。
撮像装置102は、例えば赤外線CCDカメラであり、搬送路101により搬送方向に搬送される鋼材103の側面を連続的に撮像する。撮像装置102は、撮像した動画を示す動画データを識別モデル生成装置1及び鋼材疵判定装置110に通信ケーブル104を介して送信する。撮像装置102は、例えば搬送路101によって搬送される鋼材103が、図1において矢印Aで示される撮像装置102が撮像可能な視野に近接したことに応じて撮像を開始し、撮像装置102の視野から離隔したことに応じて撮像を終了してもよい。
鋼材103は、一例ではスラブであるが、ブルーム、ビレット及びコイル等の搬送方向に搬送可能な鋼材であれはよい。撮像装置102は、鋼材103の側面を撮像するが、鋼材103がスラブ、ブルーム及びビレットの何れかであるときは、鋼材103の側面に加えて表面及び裏面の何れか一方の面を撮像してもよい。また、撮像装置102は、鋼材103がコイルであるときは、鋼材103の側面に代えて表面及び裏面の何れか一方の面を撮像してもよい。
識別モデル生成装置1は、撮像装置102が撮像した動画から学習用データを生成し、生成した学習用データを用いて鋼材103の側面に搬送方向に平行に延伸するように形成される疵の有無を識別モデルに学習させる。識別モデル生成装置1は、通信ケーブル104によって撮像装置102に通信可能に接続されるが、無線通信網を介して撮像装置102に接続されてもよい。また、識別モデル生成装置1は、撮像装置102に通信可能に接続されていなくてもよい。識別モデル生成装置1は、撮像装置102に通信可能に接続されていないとき、CD−ROM、USBメモリ等の識別モデル生成装置1及び撮像装置102の双方に着脱可能な記憶媒体を介して撮像装置102が撮像した画像データを取得する。
鋼材疵判定装置110は、識別モデル生成装置1によって学習された識別モデルを使用して鋼材103の側面に搬送方向に平行に延伸するように形成される疵の有無を判定する。鋼材疵判定装置110は、例えばパーソナルコンピュータであるが、鋼材103を製造する鋼材製造システムを制御する制御装置に内蔵されてもよい。
図2は、識別モデル生成装置1の機能ブロック図である。
識別モデル生成装置1は、通信部11と、記憶部12と、入力部13と、出力部14と、処理部20と、識別モデル30とを有する。通信部11、記憶部12、入力部13、出力部14、処理部20及び識別モデル30は、バス15を介して互いに接続される。
通信部11は、イーサネット(登録商標)などの有線の通信インターフェース回路を有する。通信部11は、通信ケーブル104を介して撮像装置102と通信を行う。
記憶部12は、例えば、半導体記憶装置、磁気テープ装置、磁気ディスク装置、又は光ディスク装置のうちの少なくとも一つを備える。記憶部12は、処理部20での処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。例えば、記憶部12は、鋼材103の側面に搬送方向に平行に延伸するように形成される疵の有無を識別モデルに学習させる疵有無学習処理を処理部20に実行させるための疵有無学習プログラム等を記憶する。疵有無学習プログラムは、例えばCD−ROM、DVD−ROM等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて記憶部12にインストールされてもよい。また、記憶部12は、疵有無学習処理で使用される種々のデータを記憶する。記憶部12は、例えば撮像装置102が撮像した動画を示す動画データを記憶する。
入力部13は、データの入力が可能であればどのようなデバイスでもよく、例えば、タッチパネル、キーボード等である。オペレータは、入力部13を用いて、文字、数字、記号等を入力することができる。入力部13は、オペレータにより操作されると、その操作に対応する信号を生成する。そして、生成された信号は、オペレータの指示として、処理部20に供給される。
出力部14は、映像や画像等の表示が可能であればどのようなデバイスでもよく、例えば、液晶ディスプレイ又は有機EL(Electro−Luminescence)ディスプレイ等である。出力部14は、処理部20から供給された映像データに応じた映像や、画像データに応じた画像等を表示する。また、出力部14は、紙などの表示媒体に、映像、画像又は文字等を印刷する出力装置であってもよい。
処理部20は、一又は複数個のプロセッサ及びその周辺回路を有する。処理部20は、識別モデル生成装置1の全体的な動作を統括的に制御するものであり、例えば、CPUである。処理部20は、記憶部12に記憶されているプログラム(ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等)に基づいて処理を実行する。また、処理部20は、複数のプログラム(アプリケーションプログラム等)を並列に実行できる。
処理部20は、画像データ取得部21と、短冊画像データ生成部22と、教師データ付与部23と、学習用データ生成部24と、学習処理部25と、識別モデル出力部26とを有する。これらの各部は、処理部20が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、これらの各部は、ファームウェアとして識別モデル生成装置1に実装されてもよい。
識別モデル30は、例えばAlexNet、ZFNet、SENet、ResNet及びGooLeNet等の畳み込みニューラルネットワークであり、教師あり学習により画像の特徴を学習する。識別モデル30は、ディープラーニング等の公知の機械学習技術を用いて、撮像装置102が撮像した画像とラベルとの関係性を学習する。ディープラーニングは、入力層、中間層及び出力層から構成される多層構造のニューラルネットワークを用いた機械学習である。入力層の各ノードには、撮像装置102が撮像した複数の画像のそれぞれの特徴ベクトルが入力される。中間層の各ノードは、入力層の各ノードから出力された各特徴ベクトルに重みを乗算した値の総和を出力し、さらに、出力層は、中間層の各ノードから出力された各特徴ベクトルに重みを乗算した値の総和を出力する。識別モデル30は、各重みを調整しながら、出力層からの出力値と撮像装置102が撮像した複数の画像のそれぞれとの差分が小さくなるように学習する。識別モデル30は、入力された画像データに応じた鋼材の面に形成された疵の状態を示す疵状態情報を出力する。
(識別モデル生成装置1による疵有無学習処理)
図3は、識別モデル生成装置1により実行される疵有無学習処理のフローチャートである。図3に示す疵有無学習処理は、予め記憶部12に記憶されているプログラムに基づいて、主に処理部20により識別モデル生成装置1の各要素と協働して実行される。
まず、画像データ取得部21は、記憶部12に記憶された動画データを取得する(S101)。次いで、画像データ取得部21は、S101の処理で取得した動画データから複数の静止画像を示す複数の静止画像データを抽出する(S102)。
画像データ取得部21は、動画データから複数の静止画像データを所定の抽出間隔毎に抽出する。抽出間隔は、搬送路101が鋼材103を搬送する搬送速度及び撮像装置102の視野に応じて決定される。抽出間隔は、抽出される静止画像データに対応する静止画像の搬送方向の端部が互いに重畳するように決定されることが好ましい。画像データ取得部21は、抽出した静止画像データを抽出した順序に関連付けて記憶部12に記憶する。
次いで、画像データ取得部21は、S102の処理で抽出された複数の静止画像データのそれぞれに対応する画像に含まれる鋼材103の側面の画像を、画像の長手方向が水平方向に延伸する矩形になるように補正するのが好ましい(S103)。画像データ取得部21は、鋼材103の側面の画像が矩形ではなく台形になっていたとき、例えばキーストーン補正等の台形補正技術によって、鋼材103の側面の画像が矩形になるように補正するのが好ましい。また、画像データ取得部21は、鋼材103の側面の画像の長手方向が水平方向ではなく傾斜していたとき、画像の長手方向を検出し且つ修正する傾き補正技術によって、鋼材103の側面の画像長手方向が水平方向に延伸するように補正する。なお、S103の処理は省略してもよい。
次いで、短冊画像データ生成部22は、S103の処理で補正された静止画像データに対応する画像に含まれる鋼板の面を、長手方向が搬送方向に平行になるように分割した複数の短冊画像をそれぞれが示す10個の短冊画像データを生成する(S104)。S104の処理で生成された10個の短冊画像データのそれぞれは、対応する静止画像データ一群がS102の処理で抽出された順序に関連付けて一群の短冊画像データとして記憶部12に記憶される。
図4は、S104の処理を説明するための図である。短冊画像データ生成部22は、画像400を10個の短冊画像410〜419に分割する。短冊画像データ生成部22は、分割された短冊画像410〜419のそれぞれが隣接する他の短冊画像と一部が重畳するように複数の短冊画像データを生成する。画像400の上端に位置する短冊画像410の下端は下方に隣接して配置される短冊画像411の上端に重畳し、短冊画像411の下端は下方に隣接して配置される短冊画像412の上端に重畳する。同様に、短冊画像412〜418のそれぞれは上方及び下方に隣接して配置される短冊画像と重畳し、画像400の下端に位置する短冊画像419の上端は上方に隣接して配置される短冊画像の下端と重畳することが好ましい。
次いで、短冊画像データ生成部22は、S102の処理で抽出された全ての静止画像データについてS104の処理により短冊画像データが生成されたか否かを判定する(S105)。短冊画像データ生成部22は、全ての静止画像データについて短冊画像データがされたと判定する(S105−YES)まで、S104〜S105の処理を繰り返す。
短冊画像データ生成部22によって全ての静止画像データについて短冊画像データがされたと判定される(S105−YES)と、教師データ付与部23は、複数の短冊画像を2つの画像群にクラスタリングする(S106)。
教師データ付与部23は、短冊画像に疵が含まれているか否かを判断できる人が、入力部13及び出力部14により形成されるGUIを介して、疵を含まないことを示す第1ラベル、及び搬送方向に平行に延伸するように形成される疵を含むことを示す第2ラベルを、複数の短冊画像データのそれぞれに付与して、学習用データを生成する。なお、既に学習済みの識別モデルが存在する場合は、学習済み識別モデルを用いて、複数の短冊画像データそれぞれに第1ラベルと第2ラベルを自動付与し、確信度(学習済みモデルの判定の信頼度)が低い短冊画像のみに対して人がラベルを再付与することで人の作業を効率化してもよい。
学習用データ生成部24は、S106の処理で生成された学習用データのそれぞれを、S102の処理で抽出された順序に関連付けて一群の学習用データとして記憶部12に記憶する。
次いで、学習処理部25は、S107の処理で生成された学習用データを用いて複数の短冊画像とラベルとの関係性を識別モデルに学習させる(S107)。
そして、識別モデル出力部26は、S107の処理で複数の短冊画像とラベルとの関係性を学習した識別モデルを出力する(S108)。識別モデル出力部26は、学習した識別モデルを不図示の上位制御装置に出力してもよく、鋼材疵判定装置110に出力してもよい。
図5は、S108の処理のより詳細な処理を示すフローチャートである。
まず、学習用データ生成部24は、S102の処理で最初に抽出された1枚の静止画像に関連付けられた学習用データ群に含まれる10個の学習用データを識別モデル30に入力して、短冊画像とラベルとの関係性を識別モデル30に学習させる(S201)。なお、ここでは1枚の静止画像に関連付けられた学習用データ群に含まれる学習用データを識別モデル30に入力して、短冊画像とラベルとの関係性を識別モデル30に学習させるが、学習させるデータの入力方法はこれには限定されない。例えば、識別モデル30は、学習用データ毎に識別モデル30に入力してもよく、複数の静止画像に関連付けられた学習用データ群に含まれる学習用データを識別モデル30に入力してもよい。次いで、学習用データ生成部24は、全ての学習用データによる識別モデル30の学習が終了したか否かを判定する(S202)。学習用データ生成部24は、全ての学習用データによる識別モデル30の学習が終了したと判定する(S202−YES)まで次の静止画像に関連付けられた学習用データを用いて、S201〜S202の処理を繰り返す。
学習用データ生成部24は、全ての学習用データによる識別モデル30の学習が終了したと判定する(S202−YES)と、学習を終了するための条件である学習終了条件を充足したか否かを判定する(S203)。学習終了条件は、例えば学習が収束したこと、及び学習を実行した回数が所定の上限値に達したことを含む。学習用データ生成部24は、学習を終了するための条件である学習終了条件を充足した(S203−YES)まで、S201〜S203の処理を繰り返す。
学習用データ生成部24は、学習を終了するための条件である学習終了条件を充足した(S203−YES)と、S108の処理を終了する。
学習用データ生成部24は、S108の処理を実行することで、S102の処理で抽出された静止画像データから生成された学習用データ群毎にミニバッチ学習及び正規化を実行する。
(第1実施形態に係る鋼材疵判定装置)
図6は、鋼材疵判定装置110の機能ブロック図である。
鋼材疵判定装置110は、判定通信部111と、判定記憶部112と、判定入力部113と、判定出力部114と、判定処理部120と、識別モデル生成装置1から入力された識別モデル30とを有する。判定通信部111、判定記憶部112、判定入力部113、判定出力部114及び判定処理部120は、バス115を介して互いに接続される。
判定通信部111は、イーサネット(登録商標)などの有線の通信インターフェース回路を有する。判定通信部111は、通信ケーブル104を介して識別モデル生成装置1、撮像装置102及び不図示の上位制御装置と通信を行う。
判定記憶部112は、例えば、半導体記憶装置、磁気テープ装置、磁気ディスク装置、又は光ディスク装置のうちの少なくとも一つを備える。判定記憶部112は、判定処理部120での処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。例えば、判定記憶部112は、現在画像に基づいて、識別モデル30を使用して鋼材103の側面に搬送方向に平行に延伸するように形成される疵の有無を判定する疵判定処理を判定処理部120に実行させる疵判定プログラムを記憶する。疵判定プログラムは、例えばCD−ROM、DVD−ROM等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて判定記憶部112にインストールされてもよい。また、判定記憶部112は、疵判定処理で使用される種々のデータを記憶する。例えば、判定記憶部112は、識別モデル生成装置1によって学習された識別モデル30を記憶する。
判定入力部113は、データの入力が可能であればどのようなデバイスでもよく、例えば、タッチパネル、キーボード等である。オペレータは、判定入力部113を用いて、文字、数字、記号等を入力することができる。判定入力部113は、オペレータにより操作されると、その操作に対応する信号を生成する。そして、生成された信号は、オペレータの指示として、判定処理部120に供給される。
判定出力部114は、映像や画像等の表示が可能であればどのようなデバイスでもよく、例えば、液晶ディスプレイ又は有機ELディスプレイ等である。判定出力部114は、判定処理部120から供給された映像データに応じた映像や、画像データに応じた画像等を表示する。また、判定出力部114は、紙などの表示媒体に、映像、画像又は文字等を印刷する出力装置であってもよい。
判定処理部120は、一又は複数個のプロセッサ及びその周辺回路を有する。判定処理部120は、鋼材疵判定装置110の全体的な動作を統括的に制御するものであり、例えば、CPUである。判定処理部120は、判定記憶部112に記憶されているプログラム(ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等)に基づいて処理を実行する。また、判定処理部120は、複数のプログラム(アプリケーションプログラム等)を並列に実行できる。
判定処理部120は、現在画像データ取得部121と、現在短冊画像データ生成部122と、現在画像入力部123と、疵状態情報取得部124と、疵状態情報出力部125とを有する。これらの各部は、判定処理部120が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、これらの各部は、ファームウェアとして鋼材疵判定装置110に実装されてもよい。
(鋼材疵判定装置110による疵判定処理)
図7は、鋼材疵判定装置110により実行される疵判定処理のフローチャートである。図7に示す疵判定処理は、予め判定記憶部112に記憶されているプログラムに基づいて、主に判定処理部120により鋼材疵判定装置110の各要素と協働して実行される。また、図7に示す疵判定処理は、図3に示す疵有無学習処理によって識別モデル30が複数の短冊画像とラベルとの関係性を学習した後に実行される。
まず、現在画像データ取得部121は、判定記憶部112に記憶された現在搬送されている鋼材103の側面を撮像した現在動画データを取得する(S301)。次いで、現在画像データ取得部121は、S301の処理で取得した現在動画データから複数の静止画像を示す複数の現在静止画像データを抽出する(S302)。次いで、現在画像データ取得部121は、S302の処理で抽出された複数の現在静止画像データのそれぞれに対応する画像に含まれる鋼材103の側面の画像を、画像の長手方向が水平方向に延伸する矩形になるように補正するのが好ましい(S303)。S301〜S303の処理は、S101〜S103の処理と同様なので、ここでは詳細な説明は省略する。なお、S303の処理は省略してもよい。
次いで、現在短冊画像データ生成部122は、S303の処理で補正された現在静止画像データに対応する画像に含まれる鋼板の面を、長手方向が搬送方向に平行になるように分割した現在短冊画像を示す10個の現在短冊画像データを生成する(S304)。現在短冊画像データ生成部122は、S104の処理と同様に、隣接する他の現在短冊画像と一部が重畳するように複数の現在短冊画像データを生成する。S304の処理で生成された10個の現在短冊画像データのそれぞれは、一群の現在短冊画像データとして判定記憶部112に記憶される。
次いで、現在画像入力部123は、S304の処理で生成された10個の現在短冊画像データを識別モデル30に入力する(S305)。現在画像入力部123は、10個の現在短冊画像データをバッチ入力する。
次いで、疵状態情報取得部124は、識別モデル30からS305に示す処理による現在画像データの入力に応じた鋼材103の面に形成された疵の状態を示す疵状態情報を取得する(S306)。S306の処理で取得される疵状態情報は、例えば0以上1以下の数値で示される疵発生確率である。
次いで、疵状態情報出力部125は、S306の処理で識別モデル30から出力される疵状態情報を示す疵状態情報信号を不図示の上位制御装置に出力する(S307)。なお、疵状態情報出力部125は、疵状態情報信号を判定記憶部112に出力してもよい。
次いで、現在短冊画像データ生成部122は、S302の処理で抽出された全ての現在静止画像データについてS304〜S307の処理が実行されたか否かを判定する(S308)。現在短冊画像データ生成部122によって全ての現在静止画像データについてS304〜S307の処理が実行されたと判定される(S308−YES)まで、S304〜S308の処理が繰り返される。全ての現在静止画像データについてS304〜S307の処理が実行されたと判定される(S308−YES)と、疵判定処理は終了する。
(第1実施形態に係る識別モデル生成装置及び鋼材疵判定装置の作用効果)
識別モデル生成装置1は、短手方向の幅が比較的短い短冊画像を使用して識別モデル30を学習させるので、識別モデル30は、短冊画像の長手方向に延伸する疵を疵としてと認識する可能性が高くなり、疵の有無をより精度高く学習することができる。また、鋼材疵判定装置110は、短手方向の幅が比較的短い短冊画像を使用して識別モデルが疵の有無を識別するので、短冊画像の長手方向に延伸する疵を疵としてと認識する可能性が高くなり、疵の有無をより精度高く識別することができる。
また、識別モデル生成装置1は、隣接する短冊画像が互いに重畳するように複数の短冊画像データを生成するので、隣接する短冊画像双方の短手方向の端部に亘って疵が位置する可能性が低くなる。識別モデル生成装置1では、隣接する短冊画像双方の短手方向の端部に亘って疵が位置する可能性が低くなるので、識別モデル30は、短冊画像の長手方向に平行に延伸するように形成される疵以外の部分を疵と誤認識する可能性が低くなる。
また、識別モデル生成装置1は、単一の静止画像データから生成された学習用データを一括して識別モデル30に学習させるので、静止画像のそれぞれに含まれる鋼板の側面の地合を静止画像毎に平均化できる。識別モデル生成装置1では、鋼板の側面の地合いが静止画像毎に平均化されるので、識別モデル30は、平均化された地合の下で疵を認識するので、長手方向に平行に延伸するように形成される疵以外の部分を疵と誤認識する可能性が低くなる。
また、識別モデル生成装置1は、搬送方向の端部が互いに重畳するように静止画像データを複数回に亘って抽出するので、隣接する静止画像の間に形成された疵を抽出し損なうことはない。
(第2実施形態に係る鋼材製造装置の構成及び機能)
図8は、第2実施形態に係る鋼材製造装置の概略図である。
鋼材製造装置200は、鋼材疵判定装置210を鋼材疵判定装置110の代わりに有することが鋼材製造装置100と相違する。鋼材疵判定装置210以外の鋼材製造装置200の構成要素の構成及び機能は、同一符号が付された鋼材製造装置100の構成要素の構成及び機能と同一なので、ここでは詳細な説明は省略する。
(第2実施形態に係る鋼材疵判定装置)
図9は、鋼材疵判定装置210の機能ブロック図である。
鋼材疵判定装置210は、判定処理部220を判定処理部120の代わりに有することが鋼材疵判定装置110と相違する。判定処理部220以外の鋼材疵判定装置210の構成要素の構成及び機能は、同一符号が付された鋼材疵判定装置110の構成要素の構成及び機能と同一なので、ここでは詳細な説明は省略する。
判定処理部220は、一又は複数個のプロセッサ及びその周辺回路を有する。判定処理部220は、鋼材疵判定装置210の全体的な動作を統括的に制御するものであり、例えば、CPUである。判定処理部220は、判定記憶部112に記憶されているプログラム(ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等)に基づいて処理を実行する。また、判定処理部220は、複数のプログラム(アプリケーションプログラム等)を並列に実行できる。
判定処理部220は、現在画像データ取得部221と、現在短冊画像データ生成部222と、現在画像入力部223と、疵状態情報取得部224と、疵状態情報出力部225と、疵判定部226と、疵判定結果出力部227とを有する。これらの各部は、判定処理部220が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、これらの各部は、ファームウェアとして鋼材疵判定装置210に実装されてもよい。
(鋼材疵判定装置210による疵判定処理)
図10は、鋼材疵判定装置210により実行される疵判定処理のフローチャートである。図10に示す疵判定処理は、予め判定記憶部112に記憶されているプログラムに基づいて、主に判定処理部220により鋼材疵判定装置210の各要素と協働して実行される。また、図10に示す疵判定処理は、図3に示す疵有無学習処理によって識別モデル30が複数の短冊画像とラベルとの関係性を学習した後に実行される。
まず、現在画像データ取得部221は、判定記憶部112に記憶された現在搬送されている鋼材103の側面を撮像した現在動画データを取得する(S401)。次いで、現在画像データ取得部221は、S301の処理で取得した現在動画データから複数の静止画像を示す複数の現在静止画像データを抽出する(S402)。次いで、現在画像データ取得部221は、S302の処理で抽出された複数の現在静止画像データのそれぞれに対応する画像に含まれる鋼材103の側面の画像が長手方向が水平方向に延伸する矩形になるように補正する(S403)。S401〜S403の処理は、S301〜S303の処理と同様なので、ここでは詳細な説明は省略する。
次いで、現在短冊画像データ生成部222は、S403の処理で補正された現在静止画像データに対応する画像に含まれる鋼板の面を、長手方向が搬送方向に平行になるように分割した現在短冊画像を示す10個の現在短冊画像データを生成する(S404)。現在短冊画像データ生成部222は、S304の処理と同様に、隣接する他の短冊画像と一部が重畳するように複数の現在短冊画像データを生成する。S404の処理で生成された10個の現在短冊画像データのそれぞれは、現在静止画像における短手方向の位置及び対応する現在静止画像データ一群がS402の処理で抽出された順序に関連付けて、現在短冊画像データとして判定記憶部112に記憶される。
次いで、現在画像入力部223は、S404の処理で生成された10個の現在短冊画像データを識別モデル30に入力する(S405)。現在画像入力部223は、10個の現在短冊画像データをバッチ入力する。
次いで、疵状態情報取得部224は、識別モデル30からS405に示す処理による現在画像データの入力に応じた鋼材103の面に形成された疵の状態を示す疵状態情報を取得する(S406)。
次いで、疵状態情報出力部225は、S406の処理で識別モデル30から出力される疵状態情報を示す疵状態情報信号を判定記憶部112に出力する(S407)。疵状態情報は、対応する現在短冊画像の現在静止画像における短手方向の位置及び対応する現在静止画像データ一群がS402の処理で抽出された順序に関連付けて、判定記憶部112に記憶される。
次いで、現在短冊画像データ生成部222は、S402の処理で抽出された全ての現在静止画像データについてS404〜S407の処理が実行されたか否かを判定する(S408)。現在短冊画像データ生成部222によって全ての現在静止画像データについてS404〜S407の処理が実行されたと判定される(S408−YES)まで、S404〜S408の処理が繰り返される。
現在短冊画像データ生成部222によって全ての現在静止画像データについてS404〜S407の処理が実行されたと判定される(S408−YES)と、疵判定部226は、現在静止画像における短手方向の位置毎に疵の有無を判定する(S409)。疵判定部226は、判定記憶部112に記憶された疵状態情報の現在静止画像における短手方向の位置毎の演算結果に基づいて、現在静止画像における短手方向の位置毎に疵の有無を判定する。
そして、疵判定結果出力部227は、S409の処理における疵判定部226による判定結果である判定結果情報を示す判定結果情報信号を不図示の上位制御装置に出力する(S410)。
図11は、S409の処理のより詳細な処理を示すフローチャートである。
まず、疵判定部226は、現在動画から取得された全ての静止画像における同一厚み位置毎のS406の処理で取得された複数の疵発生確率の平均値を演算する(S501)。短冊画像は、鋼材103の搬送方向に直交する鋼材103の厚み方向に隣接して10個ずつ生成されるので、疵判定部226は、短冊画像の分割位置に応じた10個の平均値を演算する。
次いで、疵判定部226は、現在動画から得られた10個の平均値のうち一つ以上がしきい値以上であれば、現在動画、すなわち当該鋼材に搬送方向に平行に延伸するように形成される疵が含まれていると判定し、しきい値を超える平均値がひとつもない場合は、当該鋼材には搬送方向に平行に延伸するように形成される疵が含まれていないと判定する(S502)。
図12(a)はS407の処理により判定記憶部112に記憶された疵状態情報の一例を示す図であり、図12(b)はS407の処理により判定記憶部112に記憶された疵状態情報の他の例を示す図である。図12(a)及び12(b)において、横方向が搬送方向を示し、縦方向が鋼材103の厚み方向を示す。また、図12(a)及び12(b)において、疵発生確率が例えば0.05以上0.50未満の部分は二重線で囲まれ、疵発生確率が例えば0.5以上1.00未満の部分は太線で囲まれる。
図12(a)に示す例では、鋼材103の上端から2番目、3番目、7番目、8番目及び10番目の位置において、識別モデル30によって1個から3個の短冊画像において疵発生確率が0.5以上であると判定されている。また、鋼材103の上端から5番目の位置において、識別モデル30によって13個の短冊画像が疵発生確率が0.5以上であると判定されている。
図12(b)に示す例では、鋼材103の上端から2番目、4番目、5番目及び7番目〜9番目の位置において、識別モデル30によって1個又は2個の短冊画像が疵発生確率が0.5以上であると判定されている。
図13(a)は図12(a)に示す疵状態情報におけるS409の判定処理を説明するための図であり、図13(b)は図12(b)に示す疵状態情報におけるS409の判定処理を説明するための図である。
図13(a)及び13(b)において、横軸は鋼材103の上端からの位置を示す番号であり、縦軸はS501の処理で演算される疵発生確率の平均値を示す。また、図13(a)及び13(b)において、S502の判定処理で使用されるしきい値は、0.5である。
図12(a)に示す例では、13個と多くの短冊画像が疵発生確率が0.5以上であると識別モデル30によって判定された鋼材103の上端から5番目の位置のみが疵があると判定される。一方、疵発生確率が0.5以上であると識別モデル30によって判定された数が比較的少ない鋼材103の上端から2番目、3番目、7番目、8番目及び10番目の位置は、疵がないと判定される。
図12(b)に示す例では疵発生確率が0.5以上であると識別モデル30によって判定された数が比較的少ない鋼材103の鋼材103の上端から2番目、4番目、5番目及び7番目〜9番目の位置を含めて全ての位置において、疵がないと判定される。
(第2実施形態に係る鋼材疵判定装置の作用効果)
鋼材疵判定装置210は、疵発生確率の現在静止画像における短手方向の位置毎の平均値に基づいて現在静止画像における短手方向の位置毎に疵の有無を判定するので、疵の有無を誤判定するおそれを低くすることができる。
(実施形態に係る装入条件決定装置の変形例)
識別モデル生成装置1は、疵を含まないことを示す第1ラベル、及び搬送方向に平行に延伸するように形成される疵を含むことを示す第2ラベルを使用して識別モデル30を学習する。しかしながら、実施形態に係る識別モデル生成装置は、3以上のラベルを使用して識別モデル30を学習してもよい。例えば、実施形態に係る識別モデル生成装置は、疵の有無を判定できないことを示す第3ラベルを更に使用して識別モデル30を学習してもよい。
また、実施形態に係る識別モデル生成装置は、スケール等異物が付着していることを示す第3ラベルを更に使用して識別モデル30を学習してもよい。
図14は、鋼材103の側面に形成された疵及び鋼材103の側面に付着したスケールを示す図である。図14において、矢印Aで示される領域は、実施形態に係る識別モデル生成装置が学習する疵の一例が形成された領域であるまた、図14において、スケールは、矢印B及びCで示される領域に付着している例である。
実施形態に係る識別モデル生成装置は、スケール等の異物が付着していることを示す第3ラベルを更に使用して識別モデル30を学習することで、識別モデル30は、疵の有無に加えて、製造工程に影響を与えるおそれがある異物の付着の有無を判定できる。
また、実施形態に係る識別モデル生成装置は、搬送方向に平行に延伸するように形成される疵の形状に応じて2又は3つ以上のラベルを使用して識別モデル30を学習してもよい。例えば、実施形態に係る識別モデル生成装置は、疵を含まないことを示す第1ラベル、幅が第1範囲である疵を含むことを示す第2ラベル及び幅が第1範囲よりも広い第2範囲である疵を含むことを示す第3ラベルを使用して識別モデル30を学習してもよい。実施形態に係る識別モデル生成装置は、疵の種類を規定する複数のラベルを使用して識別モデル30を学習することで、識別モデル30は、疵の有無に加えて、疵の種類を判定できる。
また、識別モデル生成装置1は、単一の静止画像から10個の短冊画像データを生成するが、実施形態に係る識別モデル生成装置は、単一の静止画像から9個以下又は11個以上の短冊画像データを生成してもよい。識別モデル生成装置1が単一の静止画像から生成する短冊画像の数は、形成される疵の幅と鋼材103の高さとの比率等に基づいて適宜決定される。
また、識別モデル生成装置1は、クラスタリングされた複数の短冊画像にラベルを関連付けて学習用データを生成するが、実施形態に係る識別モデル生成装置は、複数の短冊画像をクラスタリングすることなく学習用データを生成してもよい。
また、鋼材疵判定装置210は、疵発生確率の短手方向の位置毎の平均値に基づいて疵の有無を判定するが、実施形態に係る識別モデル生成装置は、疵状態情報の短手方向の位置毎の他の演算結果に基づいて、疵の有無を判定してもよい。例えば、実施形態に係る識別モデル生成装置は、疵発生確率が所定の数値を超えた短冊画像の数を演算し、疵発生確率が所定の数値を超えた数に基づいて疵の有無を判定してもよい。
1 識別モデル生成装置
21 画像データ取得部
22 短冊画像データ生成部
24 学習用データ生成部
25 学習処理部
26 識別モデル出力部
27 装入条件決定部
28 装入条件出力部
30 識別モデル
121、221 現在画像データ取得部
122、222 現在短冊画像データ生成部
123、223 現在画像入力部
124、224 疵状態情報取得部
125、225 疵状態情報出力部
226 疵判定部
227 疵判定結果出力部

Claims (11)

  1. 識別モデルと、
    搬送方向に搬送される鋼材の1つの面を含む画像を示す画像データを取得する画像データ取得部と、
    前記画像データに対応する画像に含まれる鋼板の面を、長手方向が前記搬送方向に平行になるように分割した複数の短冊画像をそれぞれが示す複数の短冊画像データを生成する短冊画像データ生成部と、
    疵を含まないことを示す第1ラベル、及び前記搬送方向に平行に延伸するように形成される疵を含むことを示す第2ラベルを少なくとも含むラベルを、前記複数の短冊画像データのそれぞれに関連付けて学習用データを生成する学習用データ生成部と、
    前記学習用データを用いて前記複数の短冊画像と前記ラベルとの関係性を前記識別モデルに学習させる学習処理部と、
    前記複数の短冊画像と前記ラベルとの関係性を学習した前記識別モデルを出力する識別モデル出力部と、
    を有することを特徴とする識別モデル生成装置。
  2. 前記短冊画像データ生成部は、前記複数の短冊画像のそれぞれが隣接する他の短冊画像と一部が重畳するように前記複数の短冊画像データを生成する、請求項1に記載の識別モデル生成装置。
  3. 前記学習処理部は、単一の前記画像データから生成された前記学習用データを一括して前記識別モデルに学習させる、請求項1又は2に記載の識別モデル生成装置。
  4. 前記画像データ取得部は、前記搬送方向の端部が互いに重畳するように前記画像データを複数回に亘って取得する、請求項1〜3の何れか一項に記載の識別モデル生成装置。
  5. 前記ラベルは、異物が付着していることを示す第3ラベルを更に含む、請求項1〜4の何れか一項に記載の識別モデル生成装置。
  6. 請求項1〜5の何れか一項に記載の識別モデル生成装置によって学習させられ、入力された画像に応じた前記ラベルを出力する識別モデルと、
    鋼材の面を含む現在画像を示す現在画像データを取得する現在画像データ取得部と、
    前記現在画像データに対応する画像を、長手方向が前記搬送方向に平行となる複数の短冊画像に分割して複数の現在短冊画像データを生成する現在短冊画像データ生成部と、
    前記現在短冊画像データを前記識別モデルに入力する現在画像入力部と、
    前記識別モデルから前記現在画像データの入力に応じた前記鋼材の面に形成された疵の状態を示す疵状態情報を取得する疵状態情報取得部と、
    前記識別モデルから出力される前記疵状態情報を示す疵状態情報信号を出力する疵状態情報出力部と、
    を有することを特徴とする鋼材疵判定装置。
  7. 前記疵状態情報の前記現在画像における短手方向の位置毎の演算結果に基づいて、前記現在画像における短手方向の位置毎に疵の有無を判定する疵判定部と、
    前記疵判定部による判定結果である判定結果情報を示す判定結果情報信号を出力する疵判定結果出力部と、
    を更に有する、請求項6に記載の鋼材疵判定装置。
  8. 搬送方向に搬送される鋼材の1つの面を含む画像を示す画像データを取得し、
    前記画像データに対応する画像に含まれる鋼板の面を、長手方向が前記搬送方向に平行になるように分割した複数の短冊画像をそれぞれが示す複数の短冊画像データを生成し、
    疵を含まないことを示す第1ラベル、及び前記搬送方向に平行に延伸するように形成される疵を含むことを示す第2ラベルを少なくとも含むラベルを、前記複数の短冊画像データのそれぞれに関連付けて学習用データを生成し、
    前記学習用データを用いて前記複数の短冊画像と前記ラベルとの関係性を識別モデルに学習させ、
    前記複数の短冊画像と前記ラベルとの関係性を学習した識別モデルを出力する、
    ことを含むことを特徴とする識別モデル生成方法。
  9. 搬送方向に搬送される鋼材の1つの面を含む画像を示す画像データを取得し、
    前記画像データに対応する画像に含まれる鋼板の面を、長手方向が前記搬送方向に平行になるように分割した複数の短冊画像をそれぞれが示す複数の短冊画像データを生成し、
    疵を含まないことを示す第1ラベル、及び前記搬送方向に平行に延伸するように形成される疵を含むことを示す第2ラベルを少なくとも含むラベルを、前記複数の短冊画像データのそれぞれに関連付けて学習用データを生成し、
    前記学習用データを用いて前記複数の短冊画像と前記ラベルとの関係性を識別モデルに学習させ、
    前記複数の短冊画像と前記ラベルとの関係性を学習した識別モデルを出力する、
    処理をコンピュータに実行させることを特徴とする識別モデル生成プログラム。
  10. 鋼材の面を含む現在の画像を示す現在画像データを取得し、
    前記現在画像データに対応する画像を、長手方向が前記搬送方向に平行となる複数の短冊画像に分割して複数の現在短冊画像データを生成し、
    前記現在短冊画像データを、請求項1〜5の何れか一項に記載の識別モデル生成装置によって学習させられ、入力された画像に応じた前記ラベルを出力する識別モデルに入力し、
    前記識別モデルから前記現在画像データの入力に応じた前記鋼材の面に形成された疵の状態を示す疵状態情報を取得し、
    前記識別モデルから出力される前記疵状態情報を示す疵状態情報信号を出力する、
    ことを含むことを特徴とする鋼材疵判定方法。
  11. 鋼材の面を含む現在の画像を示す現在画像データを取得し、
    前記現在画像データに対応する画像を、長手方向が前記搬送方向に平行となる複数の短冊画像に分割して複数の現在短冊画像データを生成し、
    前記現在短冊画像データを、請求項1〜5の何れか一項に記載の識別モデル生成装置によって学習させられ、入力された画像に応じた前記ラベルを出力する識別モデルに入力し、
    前記識別モデルから前記現在画像データの入力に応じた前記鋼材の面に形成された疵の状態を示す疵状態情報を取得し、
    前記識別モデルから出力される前記疵状態情報を示す疵状態情報信号を出力する、
    処理をコンピュータに実行させる事を特徴とする鋼材疵判定プログラム。
JP2019096064A 2019-05-22 2019-05-22 識別モデル生成装置、識別モデル生成方法及び識別モデル生成プログラム、並びに鋼材疵判定装置、鋼材疵判定方法及び鋼材疵判定プログラム Active JP7211265B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019096064A JP7211265B2 (ja) 2019-05-22 2019-05-22 識別モデル生成装置、識別モデル生成方法及び識別モデル生成プログラム、並びに鋼材疵判定装置、鋼材疵判定方法及び鋼材疵判定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019096064A JP7211265B2 (ja) 2019-05-22 2019-05-22 識別モデル生成装置、識別モデル生成方法及び識別モデル生成プログラム、並びに鋼材疵判定装置、鋼材疵判定方法及び鋼材疵判定プログラム

Publications (2)

Publication Number Publication Date
JP2020190485A true JP2020190485A (ja) 2020-11-26
JP7211265B2 JP7211265B2 (ja) 2023-01-24

Family

ID=73453626

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019096064A Active JP7211265B2 (ja) 2019-05-22 2019-05-22 識別モデル生成装置、識別モデル生成方法及び識別モデル生成プログラム、並びに鋼材疵判定装置、鋼材疵判定方法及び鋼材疵判定プログラム

Country Status (1)

Country Link
JP (1) JP7211265B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022118292A (ja) * 2021-02-02 2022-08-15 株式会社日立ソリューションズ・クリエイト 不良品判定システム、不良品判定システムによる不良品判定方法及びプログラム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59180451A (ja) * 1983-03-31 1984-10-13 Toshiba Corp 表面検査装置
JPH08261951A (ja) * 1995-03-23 1996-10-11 Nkk Corp 表面疵検査方法及びその装置
JP2001517308A (ja) * 1997-03-28 2001-10-02 ソラック 移動するストリップの表面を、その画像を懐疑的ゾーンにセグメント化することにより検査する方法
WO2005078652A1 (en) * 2004-02-12 2005-08-25 Carl Henrik Grunditz Method, device, computer program product and integrated circuit for surface inspection using a multi-tier neural network
JP2006308473A (ja) * 2005-04-28 2006-11-09 Nippon Steel Corp 周期性欠陥検査方法及び装置
JP2010139317A (ja) * 2008-12-10 2010-06-24 Mitsubishi Materials Corp 軸物工具表面の欠陥検査方法および装置
JP2010185868A (ja) * 2009-01-15 2010-08-26 Nippon Steel Corp 連続欠陥判定方法、連続欠陥判定装置及びプログラム
JP2010266430A (ja) * 2009-04-15 2010-11-25 Jfe Steel Corp 鋼板表面欠陥検査方法および装置
CN105136810A (zh) * 2015-08-27 2015-12-09 张小磊 基于高强度照明的钢板缺陷检测平台
JP2017211259A (ja) * 2016-05-25 2017-11-30 株式会社シーイーシー 検査装置、検査方法、及びプログラム
CN114419078A (zh) * 2022-04-01 2022-04-29 北京矩视智能科技有限公司 基于卷积神经网络的表面缺陷区域分割方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59180451A (ja) * 1983-03-31 1984-10-13 Toshiba Corp 表面検査装置
JPH08261951A (ja) * 1995-03-23 1996-10-11 Nkk Corp 表面疵検査方法及びその装置
JP2001517308A (ja) * 1997-03-28 2001-10-02 ソラック 移動するストリップの表面を、その画像を懐疑的ゾーンにセグメント化することにより検査する方法
WO2005078652A1 (en) * 2004-02-12 2005-08-25 Carl Henrik Grunditz Method, device, computer program product and integrated circuit for surface inspection using a multi-tier neural network
JP2006308473A (ja) * 2005-04-28 2006-11-09 Nippon Steel Corp 周期性欠陥検査方法及び装置
JP2010139317A (ja) * 2008-12-10 2010-06-24 Mitsubishi Materials Corp 軸物工具表面の欠陥検査方法および装置
JP2010185868A (ja) * 2009-01-15 2010-08-26 Nippon Steel Corp 連続欠陥判定方法、連続欠陥判定装置及びプログラム
JP2010266430A (ja) * 2009-04-15 2010-11-25 Jfe Steel Corp 鋼板表面欠陥検査方法および装置
CN105136810A (zh) * 2015-08-27 2015-12-09 张小磊 基于高强度照明的钢板缺陷检测平台
JP2017211259A (ja) * 2016-05-25 2017-11-30 株式会社シーイーシー 検査装置、検査方法、及びプログラム
CN114419078A (zh) * 2022-04-01 2022-04-29 北京矩视智能科技有限公司 基于卷积神经网络的表面缺陷区域分割方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022118292A (ja) * 2021-02-02 2022-08-15 株式会社日立ソリューションズ・クリエイト 不良品判定システム、不良品判定システムによる不良品判定方法及びプログラム
JP7252991B2 (ja) 2021-02-02 2023-04-05 株式会社日立ソリューションズ・クリエイト 不良品判定システム

Also Published As

Publication number Publication date
JP7211265B2 (ja) 2023-01-24

Similar Documents

Publication Publication Date Title
JP5151019B2 (ja) 疵検出装置及び疵検出方法
CN111080622A (zh) 神经网络训练方法、工件表面缺陷分类与检测方法及装置
CN110490842B (zh) 一种基于深度学习的带钢表面缺陷检测方法
JP2008175549A (ja) 欠陥検出装置および欠陥検出方法
KR102636470B1 (ko) 학습 완료 모델의 생성 방법, 학습 완료 모델, 표면 결함 검출 방법, 강재의 제조 방법, 합부 판정 방법, 등급 판정 방법, 표면 결함 판정 프로그램, 합부 판정 프로그램, 판정 시스템 및, 강재의 제조 설비
JP7059883B2 (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
CN111591715A (zh) 一种皮带纵向撕裂检测方法及装置
JP2011028512A (ja) 紙葉類の正損判定用辞書作成方法、紙葉類処理装置、及び紙葉類処理方法
JP3866688B2 (ja) 電子部品実装用フィルムキャリアテープの検査装置およびパターン不良の確認方法
JP2021086379A (ja) 情報処理装置、情報処理方法、プログラム及び学習モデルの生成方法
JP2020190485A (ja) 識別モデル生成装置、識別モデル生成方法及び識別モデル生成プログラム、並びに鋼材疵判定装置、鋼材疵判定方法及び鋼材疵判定プログラム
TWI705241B (zh) 光學薄膜缺陷檢測裝置及方法
JP2012033124A (ja) 投票用紙分類装置
JP5558081B2 (ja) 画像形成状態検査方法、画像形成状態検査装置及び画像形成状態検査用プログラム
JP2012202957A (ja) 欠陥位置情報生成装置、欠陥確認システム及び欠陥位置情報生成方法
US11120541B2 (en) Determination device and determining method thereof
WO2020158630A1 (ja) 検出装置、学習器、コンピュータプログラム、検出方法及び学習器の生成方法
WO2021255565A2 (en) Inspecting sheet goods using deep learning
JP6890101B2 (ja) 画像識別装置、及び画像識別装置を備える物品製造装置
JP5540595B2 (ja) 印刷物検査装置、印刷物検査システム、印刷物検査方法及び印刷物検査プログラム
JP2021064215A (ja) 表面性状検査装置及び表面性状検査方法
JP2004125686A (ja) 鋼板の疵検出方法、鋼板の疵検出装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体
US10852244B2 (en) Image processing apparatus, image processing method, and recording medium
JP2023093283A (ja) 卵表面の欠陥検出システム
WO2023223579A1 (ja) 目視検査補助装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221226

R151 Written notification of patent or utility model registration

Ref document number: 7211265

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151