JP2018018153A - 鋼種判別装置及び鋼種判別方法 - Google Patents

Abstract

【課題】鋼種の判別精度を高めた鋼種判別装置及び鋼種判別方法を提供する。【解決手段】鋼種判別システム１は、鋼材から発する火花を撮像装置により撮像して得られた画像に対して、火花の全形領域、流線領域及び破裂領域を抽出する領域抽出部７と、前記全形領域、流線領域及び破裂領域の特徴量を抽出する特徴量抽出部８と、鋼種判別部１２とを有する。鋼種判別部１２は、全形領域についての特徴量が入力され鋼材の種類の分類結果を出力する全形分類部９、流線領域についての特徴量が入力され鋼材の種類の分類結果を出力する流線分類部１０、及び破裂領域についての特徴量が入力され鋼材の種類の分類結果を出力する破裂分類部１１の内の、２つ以上の分類部から出力された２つ以上の分類結果に基づいて鋼材の種類を判別する。【選択図】図１

Description

本発明は、グラインダ砥石を用いた鋼材の火花試験による鋼種の判別を行う鋼種判別装置及び鋼種判別方法に関する。

従来より、鋼材の鋼種の推定及び異材の鑑別には、鋼材をグラインダ砥石（以下、グラインダという）により研削した際に発生する火花の特徴を観察し、炭素量及び合金元素の種類と量を推測する火花試験が実施されている。火花試験方法としては日本工業規格JIS G 0566で制定されている。

火花試験において、火花を発生させるためにグラインダに試料である鋼材を接触させて研削を行う。鋼材が研削されると、切り粉が飛び出し、研削熱と大気中を走行する過程で、空気中の酸素と反応し燃焼され赤あるいはだいだい色の軌跡となる。この軌跡を流線と称する。また、切り粉は走行中に温度上昇すると共に、一部が溶融する。この時空気中の酸素を取り込み、鋼中に含まれる炭素と結びつき、ＣＯあるいはＣＯ_２ガスとなり、殻を破って爆発的に外部へ放出される。この放出を破裂と称する。従って、炭素量の多い鋼材ほどＣＯ、ＣＯ_２ガスも多くなり、破裂の数も多くなる。流線や破裂は、含有されている炭素量によって左右されるが、合金元素の種類や量によっても影響を受ける。

火花試験による鋼種の推定及び異材の鑑別を行う方法は、検査員の目視によって行われるため、熟練した検査員を必要とする上、検査員によって異なる判別結果となる可能性がある。
そのため、鋼材を研削し発生させた火花を撮像し、得られた画像を画像処理して鋼種の推定及び異材の鑑別を自動で行う方法及び装置が提案されている。

特許第３７０８１９２号公報に記載された技術では、火花画像から画像処理により破裂画像を得て、破裂の特徴量を抽出し、既知の複数種類の鋼材についての各破裂を、各特徴量を座標軸とした多次元空間にプロットし母集団の分布の特徴を基に多次元空間を各カテゴリーに分割しておき、対象の鋼材についての各破裂の多次元空間におけるプロット結果により、各カテゴリーについての破裂の度数を度数分布として算出することで鋼種を判別している。

特開平６−１２３７０６号公報に記載された技術では、ニューラルネットワークを用いて画像情報から学習及び推定した火花画像の特徴量と、フラクタル次元演算を用いて画像情報から出力した火花の複雑さの両関係をファジィ推論して鋼材の組成情報を得ている。

特許第３７０８１９２号公報 特開平６−１２３７０６号公報

しかし、特許第３７０８１９２号公報に記載された技術では、火花画像の中から破裂領域のみに注目しており、破裂から抽出した特徴量に基づいて複数種類の鋼材から鋼種を判別している。そのため、炭素量に差異が少ないなど破裂の特徴が似通った鋼材同士の判別が困難となる可能性がある。

特開平６−１２３７０６号公報に記載された技術では、火花画像から火花の全形の特徴量を抽出し、火花全形の複雑さとの関係から鋼材の組成情報を得ているため、個々の破裂や流線を抽出することは行っていない。火花は時々刻々と変わり、鋼材特有の破裂や流線が発生していても異なるタイミングで撮像された画像において同じ位置に発生するとは限らないため、全形としては異なるものとされる懸念がある。また、火花の全形から破裂や流線を抽出することは行っていないため、それぞれの個数など有効な特徴量を得られない。これらの理由のため、従来の技術では、鋼材を精度よく判別できない可能性がある。

そこで、本発明は、鋼種の判別精度を高めた鋼種判別装置及び鋼種判別方法を提供することを目的とする。

本発明の一態様によれば、鋼材から発する火花を撮像装置により撮像して得られた画像に対して、前記火花の全形領域、流線領域及び破裂領域を抽出する領域抽出部と、前記全形領域、前記流線領域及び前記破裂領域の特徴量を抽出する特徴量抽出部と、前記特徴量抽出部から前記全形領域についての特徴量が入力され前記鋼材の種類の分類結果を出力する全形分類部、前記特徴量抽出部から前記流線領域についての特徴量が入力され前記鋼材の種類の分類結果を出力する流線分類部、及び前記特徴量抽出部から前記破裂領域についての特徴量が入力され前記鋼材の種類の分類結果を出力する破裂分類部の内の、２つ以上の分類部から出力された２つ以上の分類結果に基づいて前記鋼材の種類を判別する鋼種判別部と、を有する鋼種判別装置を提供することができる。

本発明の一態様によれば、鋼材から発する火花を撮像装置により撮像して得られた画像に対して、前記火花の全形領域、流線領域及び破裂領域を抽出し、前記全形領域、前記流線領域及び前記破裂領域の特徴量を抽出し、前記全形領域についての特徴量に基づく前記鋼材の種類の分類結果、前記流線領域についての特徴量に基づく前記鋼材の種類の分類結果、及び前記破裂領域についての特徴量に基づく前記鋼材の種類の分類結果内の、２つ以上の分類結果に基づいて前記鋼材の種類を判別する鋼種判別方法を提供することができる。

本発明によれば、鋼種の判別精度を高めた鋼種判別装置及び鋼種判別方法を提供することができる。

本発明の第１の実施形態に係わる鋼種判別システム１の構成を示す構成図である。 本発明の第１の実施形態に係わる、識別器学習モード時の処理の流れを示したフローチャートである。 本発明の第１の実施形態に係わる、検査モード時の処理の流れを示したフローチャートである。 本発明の第１の実施形態に係わる、流線数と破裂数の２つの特徴量を軸とした空間に、既知の複数のサンプル画像から抽出された特徴量をプロットした図である。 本発明の第１の実施形態に係わる、破裂分類部、流線分類部及び全形分類部の各識別器において、Ｓ２０Ｃの鋼材を分類した結果の表である。 本発明の第３の実施形態に係わる、重み学習モード時の処理の流れを示したフローチャートである。 本発明の第３の実施形態に係わる、アダブーストにおける学習サンプルの重みの更新と複数の弱識別器を組み合わせて強識別器を構成する過程を示した図である。

以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
初めに、鋼種判別システム１の構成について説明する。
図１は、本発明の第１の実施形態に係わる鋼種判別システム１の構成を示す構成図である。鋼種判別システム１は、撮像装置２と、鋼種判別装置３とを含む。

撮像装置２は、ＣＣＤ等の撮像素子を含み、検査対象である鋼材４をグラインダ５により研削したときにその鋼材から発生する火花ＳＰを撮像できるように配置される。撮像装置２は、点線で示す範囲を撮像し、火花画像の画像データを生成し、鋼種判別装置３へ出力する。

鋼種判別装置３は、画像記憶部６と、領域抽出部７と、特徴量抽出部８と、全形分類部９と、流線分類部１０と、破裂分類部１１と、鋼種判別部１２とを含む。画像記憶部６、領域抽出部７、特徴量抽出部８、全形分類部９、流線分類部１０、破裂分類部１１及び鋼種判別部１２は、ハードウエア回路で実現してもよいし、ソフトウエアプログラムにより実現してもよい。ソフトウエアプログラムにより実現する場合は、鋼種判別装置３は、ここでは、パーソナルコンピュータであり、中央処理装置（CPU）を含む。

画像記憶部６は、撮像装置２から火花画像の画像データを取得・保存し、領域抽出部７へその画像情報を出力する。
領域抽出部７は、画像記憶部６から与えられた火花画像の画像データから火花の全形、各流線及び各破裂の領域を抽出し、特徴量抽出部８へ画像情報と共に各領域情報を特徴量抽出部８へ出力する。また、領域抽出部７には二値化部７ａ、線分分割部７ｂ、流線領域抽出部７ｃ、及び破裂領域抽出部７ｄが直列に設けられている。

二値化部７ａは、背景画像を分離するように画像に二値化処理を施し、火花の全形領域を抽出し、火花の二値画像を生成する処理部である。
線分分割部７ｂは、二値画像から火花領域を抽出し、火花領域を複数の線分に分割する処理部である。

流線領域抽出部７ｃは、線分分割部７ｂにおいて抽出された各線分の中から、流線の画像領域を、流線領域として抽出する処理部である。具体的には、所定の閾値よりも長い線分が、流線として抽出される。
なお、線分の長さだけでなく、太さも加えて考慮して、各線分が流線であるか否かの判別を行うようにしてもよい。

破裂領域抽出部７ｄは、流線領域抽出部７ｃにおいて抽出された流線以外の線分の中から、１つの破裂に属する１又は２以上の線分を１つの破裂のグループとしてグループ化して、破裂領域を抽出する処理部である。
以上のように、領域抽出部７は、鋼材４から発する火花を撮像装置２により撮像して得られた画像に対して、火花の全形領域、流線領域及び破裂領域を抽出する。

特徴量抽出部８は、画像情報と全形、各破裂及び各流線の領域情報から、全形の特徴を示す特徴量を抽出し全形分類部９へ、各流線の特徴を示す特徴量を抽出し流線分類部１０へ、各破裂の特徴を示す特徴量を抽出し破裂分類部１１へ出力する。すなわち、特徴量抽出部８は、全形領域、流線領域及び破裂領域の各々の特徴量を抽出する。

なお、全形領域についての特徴量は、流線領域についての特徴量と破裂領域についての特徴量の後に抽出され、全形の特徴は、複数の流線の特徴を示す特徴量と複数の破裂の特徴を示す特徴量に基づく特徴量を含んでいる。

全形分類部９は学習段階では、特徴量抽出部８から与えられた全形の特徴量を軸とした多次元空間上に、複数の火花画像内の全形に対応する点をプロットし、多次元空間を適切な境界で各鋼種クラスの領域に分割する。分類段階では、特徴量抽出部８から与えられた全形の特徴量を用いて各鋼種クラスへ自動的に分類を行い、鋼種判別部１２へ分類結果を出力する。よって、全形分類部９は、特徴量抽出部８から全形領域についての特徴量が入力され鋼材４の種類の分類結果を出力する。

流線分類部１０は学習段階では、特徴量抽出部８から与えられた流線の特徴量を軸とした多次元空間上に、複数の火花画像内の各流線に対応する点をプロットし、多次元空間を適切な境界で各鋼種クラスの領域に分割する。分類段階では、特徴量抽出部８から与えられた各流線の特徴量を用いて各鋼種クラスへ自動的に分類を行い、鋼種判別部１２へ分類結果を出力する。よって、流線分類部１０は、特徴量抽出部８から流線領域についての特徴量が入力され鋼材４の種類の分類結果を出力する。

破裂分類部１１は学習段階では、特徴量抽出部８から与えられた破裂の特徴量を軸とした多次元空間上に、複数の火花画像内の各破裂に対応する点をプロットし、多次元空間を適切な境界で各鋼種クラスの領域に分割する。分類段階では、特徴量抽出部８から与えられた各破裂の特徴量を用いて各鋼種クラスへ自動的に分類を行い、鋼種判別部１２へ分類結果を出力する。よって、破裂分類部１１は、特徴量抽出部８から破裂領域についての特徴量が入力され鋼材４の種類の分類結果を出力する。

鋼種判別部１２は、全形分類部９、流線分類部１０及び破裂分類部１１から取得した各分類結果を統計し、鋼材の種類を判別し、判別結果を出力する。なお、鋼種判別部１２は、全形分類部９、流線分類部１０及び破裂分類部１１から取得した３つの分類結果を使用しなくてもよく、３つの分類結果の中から少なくとも２つを用いて、鋼種判別を行う。よって、鋼種判別部１２は、全形分類部９、流線分類部１０及び破裂分類部１１の内の、２つ以上の分類部から出力された２つ以上の分類結果に基づいて鋼材４の種類を判別する。

破裂分類部１１、流線分類部１０及び全形分類部９の各々は、１つあるいは複数の識別器を含んでいる。
破裂分類部１１の各識別器は、複数の破裂の特徴を示す１つ又は複数の特徴量の中から選択された１つ又は複数の特徴量を用いて所定の推定処理を行って、分類結果を出力する。破裂分類部１１が複数の識別器を有するとき、複数の識別器は、互いに同じ特徴量を入力としてもよいし、異なる特徴量を入力としてもよいし、使用する推定アルゴリズムは、同じでも互いに異なっていてもよい。

流線分類部１０の各識別器は、複数の流線の特徴を示す１つ又は複数の特徴量の中から選択された１つ又は複数の特徴量を用いて所定の推定処理を行って、分類結果を出力する。流線分類部１０が複数の識別器を有するとき、複数の識別器は、互いに同じ特徴量を入力としてもよいし、異なる特徴量を入力としてもよいし、使用する推定アルゴリズムは、同じでも互いに異なっていてもよい。

全形分類部９の各識別器は、全形の特徴を示す１つ又は複数の特徴量の中から選択された１つ又は複数の特徴量を用いて所定の推定処理を行って、分類結果を出力する。全形分類部９が複数の識別器を有するとき、複数の識別器は、互いに同じ特徴量を入力としてもよいし、異なる特徴量を入力としてもよいし、使用する推定アルゴリズムは、同じでも互いに異なっていてもよい。

次に、鋼種判別装置３の動作について説明する。
鋼種判別装置３は、全形分類部９、流線分類部１０及び破裂分類部１１の各識別器の学習を行う識別器学習モード、検査を行う検査モードの２つの動作モードを有する。

図２は識別器学習モード時の処理の流れを示したフローチャートである。
撮像装置２は、鋼種が既知である鋼材の火花ＳＰを撮像し、撮像装置２は火花画像の画像データを画像記憶部６に出力する（ステップ（以下、Ｓと略す）１）。

画像記憶部６は、撮像装置２からの火花画像を取得すると、火花画像を記憶すると共に、火花画像を領域抽出部７の二値化部７ａへ出力し、二値化部７ａにおいて、二値化処理が実行される（Ｓ２）。

なお、領域抽出部７へ出力する画像は１枚であっても、連続撮像した複数枚の画像であってもよい。
さらになお、既に撮像して記憶装置に記録されている、鋼種が既知である鋼材の火花ＳＰの画像データを選択して、領域抽出部７へ入力するようにしてもよい。

領域抽出部７内では、二値化部７ａにおいて火花画像は二値化され、火花の全形領域が抽出される。
火花の全形の領域情報が線分分割部７ｂへ出力され、線分分割部７ｂは全形領域を複数の線分に分割する（Ｓ３）。各線分は、直線、又は曲線である。

線分分割部７ｂにおいて得られた複数線分の情報は、流線領域抽出部７ｃへ出力され、流線領域が抽出される（Ｓ４）。流線領域抽出部７ｃは所定の閾値よりも長いか否かを判別し、閾値よりも長い線分を流線と判別することによって、複数の線分の中から各々の流線領域を抽出し、流線領域以外の複数の線分の情報を破裂領域抽出部７ｄへ出力する。

破裂領域抽出部７ｄは、流線領域以外の複数線分について位置情報等から破裂領域を抽出する（Ｓ５）。
抽出された全形領域、流線領域、及び破裂領域の情報は火花画像の画像情報と共に特徴量抽出部８へ出力される。

なお、領域抽出部７での全形領域の抽出では、エッジ検出などの他の手法を用いてもよい。また、流線領域及び破裂領域の抽出方法は、線分に分割した後に長さの閾値によって抽出する方法を用いずに、輝度等の別の指標を用いて抽出してもよい。
特徴量抽出部８は、領域抽出部７から与えられた画像情報と破裂領域情報とから各破裂の特徴量を抽出し破裂分類部１１へ出力する（Ｓ６）。

火花試験においては、一般的に破裂の形、大きさ、花粉を観察することが鋼種の推定や異材の鑑別に有効とされている。例えば炭素鋼において、炭素量０．１％では、火花画像は、単純な形状となり、大きさは小さく、花粉はない。一方、炭素量０．５％では、火花画像は、複雑な形状となり、大きさは大きく、花粉があるという特徴がある。そのため特徴量抽出部８では、破裂については、形は構成線分数として、大きさは面積、幅、高さとして、花粉は破裂領域の線分から検出した花粉数として特徴量が抽出される。

なお、破裂分類部１１へ出力される特徴量は上記の全てとする必要はない。また、以上のものに限らず各破裂の位置座標、輝度、色等の他の特徴量を特徴量として、加えてもよい。
また、特徴量抽出部８は、領域抽出部７から与えられた画像情報と流線領域情報から各流線の特徴量を抽出し流線分類部１０へ出力する（Ｓ６）。

火花試験においては、一般的に流線の色、明るさ、長さ、太さを観察することが鋼種の推定や異材の鑑別に有効とされている。例えば炭素鋼において、炭素量０．１％では、火花画像は、色がだいだい色となり、明るさは暗く、長さは長く、太さは太い。一方、炭素量０．５％では、火花画像は、色が赤色となり、明るさは明るく、長さは長く、太さは太いという特徴がある。さらに、炭素量０．８％では、火花画像は、色が赤色となり、明るさは暗く、長さは短く、太さは細い。そのため特徴量抽出部８では、流線については、色、明るさ、長さ、太さを特徴量が抽出されている。

なお、流線分類部１０へ出力される特徴量は上記の全てとする必要はない。また、以上のものに限らず各流線の面積、位置座標等の他の特徴量を加えてもよい。
さらに、特徴量抽出部８は、領域抽出部７から与えられた画像情報と全形領域情報、破裂領域情報、流線領域情報から火花の全形の特徴量を抽出し全形分類部９へ出力する（Ｓ６）。

火花試験においては、一般的に根本、中央、先端の各部分にわたり、流線、破裂の数について観察することが鋼種の推定や異材の鑑別に有効とされている。例えば炭素鋼において、炭素量０．１％では、火花画像は、流線数は少なく、破裂数も少ない。一方、炭素量０．５％では、火花画像は、流線数は多く、破裂数も多いという特徴がある。そのため特徴量抽出部８では、全形については、全流線数、全破裂数、根本の破裂の数、中央の破裂の数、先端の破裂の数、とげ（１本破裂）の数、２本破裂の数、３本破裂の数、４本破裂の数、数本破裂（５本以上の破裂）の数が特徴量として抽出されている。

なお、全形分類部９へ出力される特徴量は上記の全てとする必要はない。
また、以上のものに限らず火花の全形の面積、幅、高さ、輝度、色、大きさが一定範囲内の破裂数、長さ・太さ・明るさが一定範囲内の流線数などの他の特徴量を加えてもよい。

上述したように、破裂分類部１１、流線分類部１０及び全形分類部９の各々は、１つあるいは複数の識別器から構成されており、識別器学習モード時、鋼種判別部１２は、それぞれの識別器において特徴量抽出部８から与えられた各対象（ここでは破裂、流線、全形）の特徴量を用いて既知の鋼種として学習を行う（Ｓ７）。

Ｓ１からＳ７の処理が、既知の鋼種について複数回実行されることにより、鋼種判別部１２における、その既知の鋼種についての所謂機械学習の推定精度が向上する。そして、複数の鋼種について、Ｓ１からＳ７の処理を実行することにより、複数の鋼種の判別が可能となる。

以上のようにして、各識別器についての学習が行われると、鋼種が未知の鋼材について火花試験を行い、火花画像を鋼種判別装置３に入力することによって、鋼種の判別を行うことができる。

図３は、検査モード時の処理の流れを示したフローチャートである。図３において、Ｓ１１からＳ１６の処理は、図２のＳ１からＳ６の処理と同じであるので、各処理の説明は省略する。なお、鋼種判別のための検査も、撮像装置２によって撮像されて記憶装置に記憶された火花画像の画像データを鋼種判別装置３に入力することによって、鋼種の判別を行ってもよい。

検査モード時は、Ｓ１１からＳ１６により、それぞれの識別器で特徴量抽出部８から与えられた各対象（破裂、流線、全形）の特徴量を用いて鋼種への分類を行い、各部の分類結果が鋼種判別部１２へ出力される。

ここでは、説明を簡単にするため、全形分類部９の１つの識別器において２つの特徴量を用いて４つの鋼種へ分類を行う場合を例に取り、説明する。
図４は、流線数と破裂数の２つの特徴量を軸とした空間に、既知の複数のサンプル画像から抽出された特徴量をプロットした図である。図４では、流線数と破裂数の２つの特徴量を軸とした空間に、炭素量０．１％のＳ１０Ｃ、炭素量０．２％のＳ２０Ｃ、炭素量０．３％のＳ３０Ｃ、炭素量０．４％のＳ４０Ｃという鋼種が既知の複数のサンプル画像から抽出された特徴量がプロットされており、各識別器の学習の結果、２鋼種の境界線が算出されている。識別時は、入力された特徴量を空間上にプロットし、境界線で区切られたいずれの領域に属するかによって識別を行う。図４の境界線は説明のために簡潔に示したもので、実際はアルゴリズムによって曲線、複数の線となることもある。

各識別器に用いられるアルゴリズムとしては、サポートベクターマシン、ニューラルネットワーク、Ｋ近傍法、Ｋ平均法、決定株（Decision Stump）などの手法が用いられる。各識別器は同一のアルゴリズムを用いても、異なるアルゴリズムを用いても構わない。

また、破裂分類部１１に含まれる識別器は１つの破裂識別器でも、構成線分数が一定数以上の複雑な破裂識別器と一定数以下の単純な破裂識別器、大きさが一定値以上の大きい破裂識別器と一定値以下の小さい破裂識別器、根本の破裂識別器と中央の破裂識別器と先端の破裂識別器など複数の破裂識別器を用いてもよい。

流線分類部１０に含まれる識別器は１つの流線識別器でも、長さが一定値以上長い流線識別器と短い流線識別器、太さが一定値以上の太い流線識別器と一定値以下の細い流線識別器、明るさが一定値以上の明るい流線識別器と一定値以下の暗い流線識別器など複数の識別器を用いてもよい。

全形分類部９に含まれる識別器は１つの全形識別器でも、根本の全形識別器と中央の全形識別器と先端の全形識別器、全形から破裂部分を取り除いた流線部分全体の識別器と全形から流線部分を取り除いた破裂部分全体の識別器、など複数の識別器を用いてもよい。

鋼種判別部１２へ出力する破裂分類部１１、流線分類部１０及び全形分類部９の各識別器の分類結果は全対象（流線、破裂、全形）についてどの鋼種と分類したかの比率であっても、各識別器で用いたアルゴリズムのスコアの積算値であってもよい。

検査モード時において、破裂分類部１１、流線分類部１０及び全形分類部９から出力された各分類結果は鋼種判別部１２で統計的処理が行われ、最終的に鋼種を判別結果として出力する（Ｓ１８）。

ここでは、説明を簡単にするため、各分類結果を統計する方法としては分類結果の総和を用い、破裂分類部１１、流線分類部１０及び全形分類部９のそれぞれ１つの識別器の分類結果を用いて４つの鋼種へ分類を行う場合を例に取り、説明する。また、手法としては分類結果の総和に限らず、破裂分類部１１、流線分類部１０及び全形分類部９から出力された各分類結果のうち最もスコアの高い鋼種を採用してもよい。

図５は、破裂分類部１１、流線分類部１０及び全形分類部９の各識別器において、Ｓ２０Ｃの鋼材を分類した結果の表である。具体的には、図５は、破裂分類部１１、流線分類部１０及び全形分類部９のそれぞれの識別器において、炭素量０．１％のＳ１０Ｃ、炭素量０．２％のＳ２０Ｃ、炭素量０．３％のＳ３０Ｃ、炭素量０．４％のＳ４０Ｃという４つの鋼種がある中で、Ｓ２０Ｃの鋼材についての火花試験の判別結果を分類した結果の表ＴＢＬである。

破裂分類部１１、流線分類部１０及び全形分類部９の識別器はそれぞれの対象（流線、破裂、全形）についてどの鋼種と分類したかの比率をスコアとしている。例えば、１０枚の画像を撮像していた場合、全形分類部９では１０個の全形サンプルが得られる。４サンプルをＳ２０Ｃ、５サンプルをＳ３０Ｃ、１サンプルをＳ４０Ｃと分類した結果、表のような比率となる。破裂分類部１１、流線分類部１０も同様である。

図５の場合、全形分類部９のみであればＳ３０Ｃの比率が０．５と最も高いため、鋼種判別部１２では判別結果をＳ３０Ｃとし、Ｓ２０Ｃを間違えて判別することとなる。また、流線分類部１０のみであればＳ４０Ｃの比率が最も高いため、鋼種判別部１２では判別結果をＳ４０Ｃとする。さらに、破裂分類部１１のみであればＳ１０Ｃの比率が最も高いため、鋼種判別部１２では判別結果をＳ１０Ｃとする。

それに対して、破裂分類部１１、流線分類部１０、全形分類部９の分類結果の総和を用いる場合、Ｓ１０Ｃは０．６、Ｓ２０Ｃは１．２、Ｓ３０Ｃは０．６、Ｓ４０Ｃは０．６となり、鋼種判別部１２では判別結果をＳ２０Ｃとし、正しく判別される（Ｓ１８）。

上述したように、鋼種判別部１２は、ここでは、全形分類部９、流線分類部１０及び破裂分類部１１から取得した３つの分類結果を使用しているが、３つの分類結果を使用しなくてもよく、少なくとも３つの分類結果の中から２つを用いて、鋼種判別を行う。

以上のように、本実施形態によれば、火花画像から破裂、流線及び全形という異なる対象の特徴の少なくとも２つを用いて総合的に鋼種を判別するため、精度の高い鋼種判別装置及び鋼種判別方法を提供することができる。
（第２の実施形態）
第１の実施形態の鋼種判別システム１は、鋼種判別部１２での統計的処理に、破裂分類部１１、流線分類部１０及び全形分類部９の分類結果の総和を用いるシステムであるが、第２の実施形態の鋼種判別システム１Ａは、破裂分類部１１、流線分類部１０及び全形分類部９に含まれる識別器ごとの重みと分類結果の乗算値の総和を用いる。

第２の実施形態の鋼種判別システム１Ａは、図１に示す第１の実施形態の鋼種判別システム１と略同様の構成を有しており、以下では、第２の実施形態において第１の実施形態の鋼種判別システム１と同じ構成要素については、同じ符号を付して説明は省略する。

鋼種判別装置３の処理について説明する。第２の実施形態の鋼種判別システム１Ａの鋼種判別装置３では、全形分類部９、流線分類部１０及び破裂分類部１１に含まれる各識別器の重みの組み合わせ情報をロット情報ごとに有している。
ロット情報毎の重みの組合せ情報は、鋼種判別装置３のメモリ装置１３（図１において点線で示す）に記憶されている。

ロット情報とは、判別対象限定情報であり、製造予定情報、製造可能情報等の鋼種判別の対象となる可能性のある鋼種を限定する情報である。製造予定情報は、例えば、その日の内に製造される予定の鋼種情報であり、製造予定以外の鋼種を判別処理の対象から除外して、判別処理の対象を、製造予定の鋼種に限定するための情報である。また、製造可能情報は、例えば、その工場で製造可能な鋼種情報であり、製造可能鋼種以外の鋼種を判別処理の対象から除外して、判別処理の対象を、製造可能な鋼種に限定するための情報である。

ここでは、説明を簡単にするため、破裂分類部１１、流線分類部１０及び全形分類部９のそれぞれ１つの識別器の分類結果を用いてロット情報に含まれる２つの鋼種へ分類を行う場合を例に取り、説明する。

例えば、ロット情報によると含まれる可能性のある鋼種が全て炭素鋼で炭素量がそれぞれ０．１％のＳ１０Ｃと、０．５％のＳ５０Ｃである場合、全形、流線及び破裂の特徴はどれも同等に重要であるために全形分類部９、流線分類部１０及び破裂分類部１１の各識別器の重みは全て同一とする。

また、ロット情報によると含まれる可能性のある鋼種が炭素鋼Ｓ５０Ｃ、ステンレス鋼ＳＵＳ３０４である場合、全形が明らかに異なるために全形分類部９の識別器の重みを大きく、流線分類部１０及び破裂分類部１１の識別器の重みを小さくもしくは０にする。

さらにまた、ロット情報によると含まれる可能性のある鋼種が炭素鋼Ｓ４０Ｃと合金鋼ＳＣＭ４４０である場合、どちらも炭素量が０．４％と同じで流線や全形には大きな違いはないが、ＳＣＭ４４０にはモリブデン特有の槍先と呼ばれる特徴的な破裂が発生するために破裂分類部１１の識別器の重みを大きく、全形分類部９及び流線分類部１０の識別器の重みを小さくもしくは０にする。

以上のように、鋼材の種類情報が示す鋼種が全て炭素鋼である場合、鋼種判別部１２は、鋼材４の種類を判別するために用いる前記２つ以上の分類部の前記２つ以上の分類結果の重み付けを同じにすることができる。また、鋼材の種類情報が示す鋼種が炭素鋼以外を含むという情報である場合、鋼種判別部１２は、鋼材４の種類を判別するために用いる２つ以上の分類部の２つ以上の分類結果の重み付けを異なる値にするができる。

また本実施形態では、分類結果を使用しない識別器がある場合は、鋼種判別部１２においてその識別器の重みを０としているが、全形分類部９、流線分類部１０及び破裂分類部１１において使用しない識別器を取り除くことで実現してもよい。

鋼種判別部１２は、検査モード時に、図１において点線で示すように、外部からロット情報ＩＦを受け取る。
検査モード時は、鋼種判別部１２は、破裂分類部１１、流線分類部１０及び全形分類部９の各識別器から取得した分類結果に、受け取ったロット情報に基づいて、メモリ装置１３から取得した各識別器の重みを掛けた値の和から、最終的な判別結果として鋼種を出力する。

よって、鋼種判別部１２は、鋼材４の種類情報であるロット情報に基づいて、鋼材４の種類を判別するために用いる２つ以上の分類部を選択することができる。さらに、鋼種判別部１２は、鋼材４の種類情報に基づいて、鋼材４の種類を判別するために用いる２つ以上の分類部の２つ以上の分類結果の重み付けを行うことができる。そして、鋼種判別部１２は、鋼材４の種類情報により設定された２つ以上の分類結果の各重みと複数の分類部からの各分類結果との乗算値の総和に基づいて鋼種の判別を行うことができる。

以上のように、本実施形態の鋼種判別装置によれば、第１の実施形態と同様の効果が得られることに加え、ロット情報に基づいて含まれる可能性のある鋼種に適した識別器の重みと分類結果の乗算値の総和に基づいて鋼種の判別を行うため、より精度の高い鋼種判別装置及び鋼種判別方法を提供することができる。
（第３の実施形態）
第１の実施形態の鋼種判別システム１は、鋼種判別部１２での統計的処理に、破裂分類部１１、流線分類部１０及び全形分類部９の分類結果の総和を用いるシステムであるが、第３の実施形態の鋼種判別システム１Ｂは、複数の識別器を組み合わせて精度を向上させる例えばアンサンブル学習と呼ばれる手法を用いて各識別器の重みを学習する。

第３の実施形態の鋼種判別システム１Ｂは、図１に示す第１の実施形態の鋼種判別システム１と略同様の構成を有しており、以下では、第３の実施形態において第１の実施形態の鋼種判別システム１と同じ構成要素については、同じ符号を付して説明は省略する。

鋼種判別装置３の処理について説明する。
第３の実施形態の鋼種判別システム１Ｂの鋼種判別装置３は、全形分類部９、流線分類部１０及び破裂分類部１１の各識別器の学習を行う識別器学習モード、検査を行う検査モードに加えて、鋼種判別部１２で各識別器の重みを学習する重み学習モードを有している。

図６は重み学習モード時の処理の流れを示したフローチャートである。重み学習モードのＳ２１〜Ｓ２６の特徴量の抽出までの処理は、識別器学習モードのＳ１１〜Ｓ６、検査モードのＳ１１〜Ｓ１６と同一である。

ここでは、説明を簡単にするため、破裂分類部１１、流線分類部１０及び全形分類部９のそれぞれ１つの識別器の分類結果を用いて２つの鋼種へ分類を行う場合を例に取り、説明する。

また、各分類結果を統計する方法として、アンサンブル学習の一つであるアダブーストを用いる。手法としては、アダブーストに限らず、バギング、アダブースト以外のブースティングなどの手法を用いてもよい。

重み学習モード時において、アダブーストでは、識別器学習モードで破裂分類部１１、流線分類部１０及び全形分類部９で学習に用いたものとは別でかつ既知のサンプル画像から抽出した学習サンプル（破裂、流線、全形）を用いて学習を行う。よって、図６のＳ２１では、各分類部の学習に用いたものとは別のサンプルで既知のサンプルの火花が撮像されたり、あるいは別のサンプルの火花画像が選択されたりする。

図７はアダブーストにおける学習サンプルの重みの更新と複数の弱識別器を組み合わせて強識別器を構成する過程を示した図である。

破裂分類部１１、流線分類部１０及び全形分類部９の各識別器を弱識別器とし、それらを組み合わせて構成される鋼種判別部１２を強識別器と称される。図７では、円は各サンプルを、円の白丸と黒丸はサンプルの鋼種を、円の大きさはサンプルの重みを、点線で示す境界線は各識別器における鋼種の境界を表している。ここでは、各弱識別器の鋼材の種類の各分類結果を用いて鋼材の種類を判別するための鋼種判別部１２のアルゴリズムは、アダブーストのブースティングである。

まず、学習サンプルに対して均一の重みが与えられる。未処理の各識別器に対して、各学習サンプルを正しく識別できるかあるいは誤識別するかを確認し、各識別器のエラー率を算出し、エラー率が最も小さい識別器を選択する。すなわち、入力された複数の画像についてＳ２２からＳ２６の処理を実行し、各識別器のエラー率を算出する。

次に、鋼種判別部１２は、エラー率から識別器の重みを設定する。エラー率が小さいほど識別器の重みは大きくなる。
すなわち、識別性能の高い識別器ほど重みが大きくされることを意味する。図７では、ＷＤ１で示す弱識別器１は、最も高く重み付けされ、エラー率が最も低いので識別性能が最も高いが、１つの白丸が誤識別されている。

よって、識別器の重みに基づいて、正しく識別できる学習サンプルの重みを小さく、図７のＷＤ２に示すように、誤識別された学習サンプルの重みを大きく更新する。これは、誤識別された学習サンプルを、以降の識別器が正しく識別できた場合にその識別器の重みを大きくすることを意味する。

次に、更新された学習サンプルの重みを考慮して、弱識別器１以外の他の弱識別器の中から、エラー率が低く、かつ弱識別器１が誤識別した学習サンプルを正しく識別する識別器、図７では弱識別器２が選択され、弱識別器２は、弱識別器１の次に高く重み付けされる。

そして、図７のＷＤ４に示すように、ＷＤ３に示す弱識別器２において誤識別された学習サンプルの重みが大きく更新される。
以下同様に、ＷＤ５に示すように、更新された学習サンプルの重みを考慮して、誤識別した学習サンプルを正しく識別する識別器、図７では弱識別器３を選択し、以上の処理を繰り返すことで各識別器の重みが学習される（Ｓ２５）。

検査モード時は、破裂分類部１１、流線分類部１０及び全形分類部９の各識別器から取得した全対象（流線、破裂、全形）についてどの鋼種と分類したかの比率や各識別器で用いたアルゴリズムのスコアの積算値といった分類結果に学習済みの各識別器の重みを掛けた値の和から、最終的な判別結果として鋼種の情報が出力される（図３のＳ１８）。

すなわち、全形分類部９、流線分類部１０及び破裂分類部１１の各々は、１又は複数の弱識別器から構成され、強識別器である鋼種判別部１２は、２つ以上の分類部について、各弱識別器における鋼材４の種類の分類結果と、識別性能が高いほど大きくなるように設定された重みとの乗算値の総和に基づいて鋼材４の種類を判別する。

以上のように、本実施形態の鋼種判別装置によれば、第１の実施形態と同様の効果が得られることに加え、識別性能の高い識別器ほど大きくなるように設定された重みと分類結果の乗算値の総和に基づいて鋼種の判別を行うため、より精度の高い鋼種判別装置及び鋼種判別方法を提供することができる。

以上のように、上述した各実施形態によれば、鋼種の判別精度を高めた鋼種判別装置及び鋼種判別方法を提供することができる。

本明細書における各「部」は、実施形態の各機能に対応する概念的なもので、必ずしも特定のハードウエアやソフトウエア・ルーチンに１対１には対応しない。従って、本明細書では、以下、実施形態の各機能を有する仮想的回路ブロック（部）を想定して実施形態を説明した。また、本実施形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施形態における各手順の各ステップの全てあるいは一部をハードウエアにより実現してもよい。

なお、以上説明した動作を実行するプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬媒体や、ハードディスク等の記憶媒体に、その全体あるいは一部が記録され、あるいは記憶されている。そのプログラムがコンピュータにより読み取られて、動作の全部あるいは一部が実行される。あるいは、そのプログラムの全体あるいは一部を通信ネットワークを介して流通または提供することができる。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本発明の鋼種判別装置及び鋼種判別方法を実現することができる。

本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

１、１Ａ、１Ｂ 鋼種判別システム、２ 撮像装置、３ 鋼種判別装置、４ 鋼材、５ グラインダ砥石、６ 画像記憶部、７ 領域抽出部、７ａ 二値化部、７ｂ 線分分割部、７ｃ 流線領域抽出部、７ｄ 破裂領域抽出部、８ 特徴量抽出部、９ 全形分類部、１０ 流線分類部、１１ 破裂分類部、１２ 鋼種判別部、１３ メモリ装置。

Claims (10)

1. 鋼材から発する火花を撮像装置により撮像して得られた画像に対して、前記火花の全形領域、流線領域及び破裂領域を抽出する領域抽出部と、
   前記全形領域、前記流線領域及び前記破裂領域の特徴量を抽出する特徴量抽出部と、
   前記特徴量抽出部から前記全形領域についての特徴量が入力され前記鋼材の種類の分類結果を出力する全形分類部、前記特徴量抽出部から前記流線領域についての特徴量が入力され前記鋼材の種類の分類結果を出力する流線分類部、及び前記特徴量抽出部から前記破裂領域についての特徴量が入力され前記鋼材の種類の分類結果を出力する破裂分類部の内の、２つ以上の分類部から出力された２つ以上の分類結果に基づいて前記鋼材の種類を判別する鋼種判別部と、
   を有することを特徴とする鋼種判別装置。
2. 前記鋼種判別部は、前記鋼材の種類情報に基づいて、前記鋼材の種類を判別するために用いる前記２つ以上の分類部を選択することを特徴とする請求項１に記載の鋼種判別装置。
3. 前記鋼種判別部は、前記種類情報に基づいて、前記鋼材の種類を判別するために用いる前記２つ以上の分類部の前記２つ以上の分類結果の重み付けを行うことを特徴とする請求項２に記載の鋼種判別装置。
4. 前記鋼種判別部は、前記種類情報により設定された前記２つ以上の分類結果の各重みと前記複数の分類部からの各分類結果との乗算値の総和に基づいて鋼種の判別を行うことを特徴とする請求項３に記載の鋼種判別装置。
5. 前記鋼材の種類情報が示す鋼種が全て炭素鋼である場合、前記鋼種判別部は、前記鋼材の種類を判別するために用いる前記２つ以上の分類部の前記２つ以上の分類結果の重み付けを同じにすることを特徴とする請求項３又は４に記載の鋼種判別装置。
6. 前記鋼材の種類情報が示す鋼種が炭素鋼以外を含むという情報である場合、前記鋼種判別部は、前記鋼材の種類を判別するために用いる前記２つ以上の分類部の前記２つ以上の分類結果の重み付けを異なる値にすることを特徴とする請求項３又は４に記載の鋼種判別装置。
7. 前記全形分類部、前記流線分類部及び前記破裂分類部の各々は、１又は複数の弱識別器から構成され、
   前記鋼種判別部は、前記２つ以上の分類部について、各弱識別器における前記鋼材の種類の分類結果と、識別性能が高いほど大きくなるように設定された重みとの乗算値の総和に基づいて鋼材の種類を判別する強識別器であることを特徴とする請求項１に記載の鋼種判別装置。
8. 前記各弱識別器の前記鋼材の種類の各分類結果を用いて前記鋼材の種類を判別するための前記強識別器のアルゴリズムは、ブースティングであることを特徴とする請求項７に記載の鋼種判別装置。
9. 前記全形領域についての特徴量は、前記流線領域についての特徴量と前記破裂領域についての特徴量の後に抽出されることを特徴とする請求項１から８のいずれか１つに記載の鋼種判別装置。
10. 鋼材から発する火花を撮像装置により撮像して得られた画像に対して、前記火花の全形領域、流線領域及び破裂領域を抽出し、
    前記全形領域、前記流線領域及び前記破裂領域の特徴量を抽出し、
    前記全形領域についての特徴量に基づく前記鋼材の種類の分類結果、前記流線領域についての特徴量に基づく前記鋼材の種類の分類結果、及び前記破裂領域についての特徴量に基づく前記鋼材の種類の分類結果内の、２つ以上の分類結果に基づいて前記鋼材の種類を判別する、
    ことを特徴とする鋼種判別方法。

Images