JP2016014649A - 鋼材材質判定装置、鋼材火花形状検出方法及び鋼材火花形状を検出するためのプログラム - Google Patents

Abstract

【課題】二値化された火花画像から、破裂を含む火花の形状を正確に特定することができる鋼材材質判定装置を提供する。
【解決手段】鋼材材質判定装置３は、火花の流線を含む画像に対して二値化処理を施して二値画像を生成する二値化部１２と、二値画像の火花領域を複数の線分に分割する線分分割部１３と、分割された複数の線分の中から流線を抽出する流線抽出部１４と、破裂抽出部１５と、材質判定部１６とを有する。破裂抽出部１５は、抽出された流線以外の線分の中で流線と接している流線接触線分を判定し、流線接触線分以外の線分について、流線接触線分に接するかの判定を行い、その判定により流線接触線分と接していると判定された線分を、流線接触線分が属するグループに含める。
【選択図】図２

Description

本発明は、鋼材材質判定装置、鋼材火花形状検出方法及び鋼材火花形状を検出するためのプログラムに関する。

従来より、鋼材を摩擦したときに生じる火花の状態から鋼材の材質すなわち成分を判定することが行われている。
検査員が目視により火花の状態から鋼材の材質を判定する方法は、検査員の経験や勘によるため、熟練した検査員が必要となるだけでなく、判断結果が不正確になる虞がある。

そこで、例えば、特開平８−２４７９２８号公報、国際公開ＷＯ２０１０／００４９４７号、及び特開２０１２−２４７２０６号公報には、鋼材を摩擦したときに生じる火花を撮像し、得られた火花を含む画像を画像処理して鋼材の材質を判定する装置が提案されている。

特開平８−２４７９２８号では、輝線の膨張画像から破裂位置を求め、その破裂位置に所定の大きさの円の領域を設定し、その円の領域の像が破裂として抽出して、鋼材の含有元素量の判定が行われる。

国際公開ＷＯ２０１０／００４９４７号では、火花領域と破裂火花領域とを検出し、それぞれの領域の総数を算出し、その算出した火花領域の総数に対する破裂火花領域の総数の割合から、鋼材の炭素含有量が判定される。

特開２０１２−２４７２０６号公報では、火花画像内におけるマッチングしたテンプレートの総数と、火花の破裂数とに基づいて、鋼材の識別が行われる。

特開平８−２４７９２８号公報 国際公開ＷＯ２０１０／００４９４７号 特開２０１２−２４７２０６号公報

しかし、いずれの提案の装置においても、破裂を含む火花の形状を正確に抽出することは出来なかった。
例えば、特開平８−２４７９２８号公報では、破裂領域の重心を求め、その重心位置を中心として所定の大きさの円を設定し、その円内の像を抽出したり、国際公開ＷＯ２０１０／００４９４７号では、火花領域と破裂火花領域の数を算出したり、特開平８−２４７９２８号公報では、火花画像と、短直線を表すテンプレートとのマッチング処理によりマッチングしたテンプレートの総数をカウントしたりすることにより、火花を識別している。そのため、火花の破裂の形状に基づいて、鋼材の材質を正確に判定することはできなかった。

そこで、本発明は、破裂を含む火花の形状を正確に検出することができる鋼材材質判定装置、鋼材火花形状検出方法及び鋼材の火花の形状を検出するためのプログラムを提供することを目的とする。

本発明の一態様の鋼材材質判定装置は、鋼材から発する火花を撮像装置により撮像して得られた前記火花の流線を含む画像に対して二値化処理を施して二値画像を生成する二値化部と、前記二値画像の火花領域を複数の線分に分割する線分分割部と、前記複数の線分の中から前記流線を抽出する流線抽出部と、前記流線以外の線分であって前記流線に接している流線接触線分を判定する第１の判定を行う流線接触線分判定部と、前記流線接触線分以外の線分を非流線接触線分とし、前記非流線接触線分について、前記流線接触線分に接するかの第２の判定を行い、前記第２の判定により前記流線接触線分に接していると判定された前記非流線接触線分を、前記流線接触線分の破裂のグループに含める第１のグループ化を行う第１グループ化部と、前記破裂のグループに属する線分の形状に基づいて、前記火花を生じさせている前記鋼材の材質を判定する材質判定部とを有する。

本発明の一態様の鋼材火花形状検出方法は、鋼材から発する火花を撮像装置により撮像して得られた前記火花の流線を含む画像に対して二値化処理を施して二値画像を生成し、前記二値画像の火花領域を複数の線分に分割し、前記複数の線分の中から前記流線を抽出し、前記流線以外の線分であって前記流線に接している流線接触線分を判定し、前記流線接触線分以外の線分を非流線接触線分とし、前記非流線接触線分について、前記流線接触線分に接するかの第１の判定を行い、前記第１の判定により前記流線接触線分に接していると判定された前記非流線接触線分を、前記流線接触線分の前記破裂のグループに含める第１のグループ化を行う。

本発明の一態様のプログラムは、鋼材の火花の形状を検出するためのプログラムであって、鋼材から発する火花を撮像装置により撮像して得られた前記火花の流線を含む画像に対して二値化処理を施して二値画像を生成する手順と、前記二値画像の火花領域を複数の線分に分割する手順と、前記複数の線分の中から前記流線を抽出する手順と、前記流線以外の線分であって前記流線に接している流線接触線分を判定する手順と、前記流線接触線分以外の線分を非流線接触線分とし、前記非流線接触線分について、前記流線接触線分に接するかの第１の判定を行い、前記第１の判定により前記流線接触線分と接していると判定された前記非流線接触線分を、前記流線接触線分の前記破裂のグループに含める第１のグループ化を行う手順とを、コンピュータに実行させる。

本発明によれば、破裂を含む火花の形状を正確に検出することができる鋼材材質判定装置、鋼材火花形状検出方法及び鋼材の火花の形状を検出するためのプログラムを提供することができる。

本発明の第１の実施の形態に関わる鋼材材質判定システム１の構成を示す構成図である。 本発明の第１の実施の形態の鋼材材質判定装置３の動作の流れを示すフローチャートである。 本発明の第１の実施の形態に関わる、火花の一部を示す模式図である。 本発明の第１の実施の形態に関わる、火花の一部が、隣接する火花と重なりあう場合を説明するための模式図である。 図４における線分L13の移動を説明するための模式図である。 本発明の第１の実施の形態の変形例１に関わる、１つの線分が２つの線分に接している場合を説明するための図である。 本発明の第１の実施の形態の変形例２に関わる、１つの線分を延長させた場合を説明するための図である。 本発明の第２の実施の形態に係わる鋼材材質判定システム１Aの構成を示す構成図である。 本発明の第２の実施の形態に係わる鋼材材質判定装置３Aの動作の流れを示すフローチャートである。 本発明の第２の実施の形態に係わる鋼材材質判定装置３Aの動作の流れを示すフローチャートである。 本発明の第２の実施の形態に係わる、火花の一部を示す模式図である。 本発明の第２の実施の形態に係わる、S12における膨張交点のグループ化を説明するための火花の一部の模式図である。 本発明の第２の実施の形態に係わる、火花の一部を示す模式図である。 本発明の第２の実施の形態に係わる、火花の一部を示す模式図である。

以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施の形態）
（システム構成）
図１は、本実施の形態に係わる鋼材材質判定システム１の構成を示す構成図である。鋼材材質判定システム１は、撮像装置２と、鋼材材質判定装置３とを含む。

撮像装置２は、CCD等の撮像素子を含み、被検査鋼材４をグラインダ５により摩耗させたときにその鋼材から発生する火花SPを撮像できるように配置される。撮像装置２は、点線で示す範囲を撮像し、複数の流線を含む火花画像を生成し、鋼材材質判定装置３へ出力する。

鋼材材質判定装置３は、画像記憶部１１と、メモリ１１ａと、二値化部１２と、線分分割部１３と、流線抽出部１４と、破裂抽出部１５と、材質判定部１６とを含む。画像記憶部１１、二値化部１２、線分分割部１３、流線抽出部１４、破裂抽出部１５及び材質判定部１６は、ハードウエア回路で実現してもよいし、ソフトウエアプログラムにより実現してもよい。画像記憶部１１、二値化部１２等をソフトウエアプログラムにより実現する場合は、鋼材材質判定装置３は、例えば、パーソナルコンピュータであり、中央処理装置（CPU）を含む。

画像記憶部１１は、撮像装置２からの火花画像を取得し、メモリ１１ａに記憶する処理部である。画像記憶部１１は、メモリ１１ａに火花の画像データを記録すると共に、二値化部１２へその画像データを出力する。

二値化部１２は、背景画像を分離するように画像に二値化処理を施し、火花の二値画像を生成する処理部である。
線分分割部１３は、二値画像から火花領域を抽出し、火花領域を複数の線分に分割する処理部である。

流線抽出部１４は、線分分割部１３において抽出された各線分の中から、流線の画像領域を、流線として抽出する処理部である。具体的には、所定の閾値よりも長い線分が、流線として抽出される。
なお、線分の長さだけでなく、太さも加えて考慮して、各線分が流線であるか否かの判定を行うようにしてもよい。

破裂抽出部１５は、流線抽出部１４において抽出された流線以外の線分の中から、１つの破裂に属する１又は２以上の線分を１つの破裂のグループとしてグループ化して、破裂を抽出する処理部である。

材質判定部１６は、流線抽出部１４と破裂抽出部１５において抽出された流線と破裂の形状、色、大きさなどの情報に基づいて、被検査鋼材４の材質を判定する処理部である。判定には、サポートベクターマシン、Ｋ近傍法、Ｋ平均法、ニューラルネットワークなどの手法が用いられる。

判定された材質の情報は、メモリ１１ａに登録される。
（作用）
次に、鋼材材質判定装置３の処理について説明する。

図２は、本実施の形態の鋼材材質判定装置３の動作の流れを示すフローチャートである。
画像記憶部１１は、撮像装置２からの火花画像を取得すると、火花画像をメモリ１１ａに記憶すると共に、火花画像を二値化部１２へ出力する。二値化部１２は、火花画像の二値化処理を行い、二値画像を生成する（S1）。

二値化部１２において二値化された火花画像は、線分分割部１３に出力され、線分分割部１３は、二値画像から抽出された火花領域を複数の線分に分割する（S2）。各線分は、直線、略直線又は曲線である。

線分分割部１３において得られた複数の線分の情報は、流線抽出部１４に出力され、流線抽出部１４は、複数の線分の中から流線を抽出する（S3）。
図３は、火花の一部を示す模式図である。図３は、説明を簡単にするために火花の一部を模式的に示している。図３の火花画像では、線分分割部１３により、火花画像は、７つの線分L1からL7に分割される。線分L2,L3,L4,L5,L6,L7により１つの破裂が構成される。

流線抽出部１４は、まず、線分分割部１３により分割して得られた各線分の長さが、所定の閾値TH1よりも長いか否かを判定し、閾値TH1よりも長い線分を流線と判定することによって、複数の線分の中から流線を抽出する。図３の場合、例えば、線分L1からL7の内、線分L1が流線と判定される。

図２に戻り、流線以外の線分を１つ選択し、その選択した線分を所定の方向に所定量だけ移動する（S4）。S4の処理は、火花の一部が、隣接する火花と重なり合っている場合があるので、そのような場合においても、火花同士あるいは破裂同士を区別して、各火花を構成する線分のグループを判別するための処理である。

図４は、火花の一部が、隣接する火花と重なりあう場合を説明するための模式図である。図４には、２つの流線である線分L11,L12と、線分L11から延びた線分L13とが示されている。

線分L13は、本来、線分L11の火花に属するが、画像上では、線分L13は、隣接する流線である線分L12とも接している（ここでは交差している）。このような場合、後述するグループ化が適切にできなくなる。
そこで、線分L13を、中心軸CLに沿って、線分L13の端部の内、幅（あるいは面積）の広い方に向かって所定量だけ移動する。

図５は、図４における線分L13の移動を説明するための模式図である。図５に示すように、線分L13は、２つの端部LE1とLE2のうち、幅（あるいは面積）の広い端部LE2の方に向かって、線分L13の中心軸CLに沿って、所定量d1だけ移動されている。所定量d1は、例えば、線分L13の半分の長さである。これは、線分L11と交差しやすくするため、あるいは、移動しすぎてその先に別の流線があったときに接しないようにするためである。

線分L13が図５のように移動すると、線分L13は、流線である線分L11には接しているすなわち交差しているが、線分L12には接しなくなる。
なお、ここでは、線分の移動は、線分の両端部の内、幅（あるいは面積）の広い方へ移動させているが、輝度の高い方へ移動させるようにしてもよい。

すなわち、火花の線分は、破裂により先が細くなるような形状を有するため、あるいは輝度が先の方ほど低くなるような特徴を有する傾向があるため、線分の両端部のうち、線分の根元となる幅（あるいは面積）の広い方（あるいは輝度の高い方）へ移動させると、線分の先端は、隣接する流線あるいは他の火花の線分と接しなくなる。そこで、本実施の形態では、各線分を所定の方向に所定量だけ移動させた後に、その線分が流線と接するか、あるいは破裂と接するかを判定するようにしている。

図２に戻り、S4の後、選択して移動した線分が流線に接するか否かを判定する（S5）。
その選択して移動した線分が流線に接している場合（S5:YES）、その線分を、流線接触線分として、流線に接している破裂の１つのグループを生成して、そのグループに含めるようにグループ化する（S7）。その結果、その線分は、グループに属する線分となる。

S7において、一の線分と流線との接点の位置が、他の線分とその流線との接点の位置と同じ場合、その一の線分と他の線分は、同一のグループに属するものとしてグループ化される。なお、この場合、２つの接点の位置が完全に一致しなくても、２つの接点の位置同士が所定範囲内にあれば、２つの接点は略同じ位置であるとして、一の線分と他の線分は、同一のグループに属するものとしてグループ化される。

すなわち、上述した破裂抽出部１５のS5の処理は、流線以外の線分であって流線に接している流線接触線分を判定する流線接触線分判定部を構成する。

その線分が流線に接していない場合（S5:NO）、その線分が、既存の破裂のグループに属する線分に接しているか否かを判定する（S6）。その線分が既存の破裂のグループに属する線分に接していなければ（S6:NO）、全ての線分をチェックしたか、すなわち全ての線分についてS4からS7の処理を行ったかを判定する（S8）。全ての線分をチェックしていなければ（S8:NO）、処理は、S4に戻る。
選択した線分が既存の破裂のグループに属する線分に接していると（S6:YES）、その線分を、接している線分の属する既存の破裂のグループに含めるようにグループ化する（S7）。

全ての線分をチェックした場合（S8:YES）、S4からS7の処理において１つもグループ化した線分が無かったかを判定する（S9）。１つでもグループ化された線分があれば（S9:NO）、全ての線分のグルーピングの判断がされていないので、処理は、S4に戻り、グループ化されていない残りの線分についてS4以降の処理が実行される。
１つもグループ化された線分がなければ（S9:YES）、全ての線分のグルーピングの判断がされたことになり、処理は、終了する。すなわち、１つでもグループ化された線分があれば（S9:NO）、S4〜S8の繰り返し処理において、新たなグループの生成あるいは既存のグループへの新たな線分の追加があったことになる。よって、グループ化されていない残りの線分について、再度、S4〜S8の処理を実行して、グループ化の処理を実行する。しかし、１つもグループ化された線分がなければ（S9:YES）、グループ化されていない残りの線分についてはグループ化されることはないので、処理は、終了する。

図３の例では、線分L3とL7は、１つの火花の流線である線分L1に接する流線接触線分と判定され（S5:YES）、S7において、１つのグループが生成される。線分L2とL4は、線分L3に接すると判定され（S6:YES）、S7において、線分L3とL7のグループに属するようにグループ化される（S7）。線分L5とL6は、線分L7に接すると判定され（S6:YES）、S7において、線分L3とL7のグループに属するようにグループ化される（S7）。

図３の場合、線分L2,L3,L4,L5,L6,L7は、線分L1と線分L3,L7との交点を起点とする１つのグループに属するように、グループ化される。
すなわち、S6とS7の処理は、流線接触線分以外の線分を非流線接触線分とし、その非流線接触線分について、流線接触線分に接するかの判定を行い（S6）、その判定により流線接触線分に接していると判定された非流線接触線分を、その流線接触線分の破裂のグループに含めるようにグループ化を行うグループ化部を構成する。破裂のグループとは、同一の流線との交点を起点とする破裂を構成する線分の集まりである。

さらに、S6とS7の処理において、流線接触線分以外の線分（すなわち非流線接触線分）について、生成された既存のグループに属する線分に接するかの判定が行われ、流線接触線分以外の線分が既存のグループに属する非流線接触線分に接すると判定されると（S6:YES）、流線接触線分以外の線分は、その既存のグループに含められる（S7）。

図２の処理により、破裂を含む火花の形状が正確に検出されるので、材質判定部１６は、各グループに属する線分の形状に基づいて、火花を生じさせている鋼材の材質を精度良く判定することができる。

以上のように、本実施の形態によれば、二値化された火花画像から、破裂を含む火花の形状を正確に特定することができる鋼材材質判定装置及び鋼材火花形状検出方法を提供することができる。
特に、最初に流線を抽出し、その後に、破裂を構成する線分をグルーピングしながら抽出するので、火花の形状を正確に検出することができる。

また、各線分を所定の方向に所定量だけ移動させた後に、その線分が流線と接するか、あるいは既存のグループの線分と接するかを判定するようにしたので、火花の一部が、隣接する火花と重なり合うような場合があっても、各火花の形状を比較的正確に特定することができる。

なお、線分の移動は、流線に接する流線接触線分だけに対して行うようにしてもよいし、あるいは、流線接触線分以外の線部だけに行うようにしてもよい。
（変形例１）
上述した実施の形態では、１つの線分が２つの線分に接している場合を考慮して、線分を移動させた後に、グループ化が行われる。

しかし、線分を移動しないで、１つの線分が２つの線分に接しているか否かを判定し、２つの線分に接しているときは、接している領域部分の幅の広い方、あるいは重なっている領域部分の面積の大きい方、あるいは接している領域部分の輝度の高い方、の線分の接する線分のグループに属するという処理を追加してもよい。

図６は、変形例１に関わる、１つの線分が２つの線分に接している場合を説明するための図である。図６において、線分L13は、線分L11とL12の両方に接している。
しかし、線分L13と線分L11と接している部分の幅W1は、線分L13と線分L12と接している部分の幅W2よりも広い。あるいは線分L13と線分L11の重なっている領域部分の面積は線分L13と線分L12と接している領域部分の面積より大きい。あるいは線分L13と線分L11と接している領域部分の輝度は、線分L13と線分L12と接している領域部分の輝度より高い。

よって、図６の場合、線分L13は、流線である線分L11のグループに属すると判定される。
従って、本変形例１の処理を追加することにより、１つの線分が２つの線分に接している場合にも、その線分が属するグループを特定することができる。

本変形例は、上述した実施の形態において、線分を移動させた後においても、線分が２つの線分に接している場合にも適用可能である。
（変形例２）
上述した実施の形態及び変形例１では、線分分割により抽出された各線分が流線あるいは他の線分と接しているかを判定しているが、他の線分と接するように二値化されるべき線分が、他の線分と接していないように二値化されたり、線分を移動しても他の線分と接しない場合がある。

そのような場合を考慮して、各線分を、所定の方向に所定量だけ延長するように変形させてもよい。
図７は、変形例２に関わる、１つの線分を延長させた場合を説明するための図である。図７において、線分L14は、線分L11と接していないが、所定量d2だけ、所定の方向（ここでは、線分の両端部の内、幅若しくは面積の広い方あるいは輝度の高い方）へ延長している。

図７の場合、点線で示すように延長した線分L14は、線分L11と接するようになっている。
本変形例２のように、各線分を所定の方向に所定量だけ延長することにより、二値化部１２において二値化が正しくできない場合にも、図２の処理においてグループ化が適切に行われる。

なお、線分の延長は、流線に接する流線接触線分だけに対して行うようにしてもよいし、あるいは、流線接触線分以外の線部だけに行うようにしてもよい。
以上のように、上述した実施の形態及び各変形例によれば、二値化された火花画像から、破裂を含む火花の形状を正確に特定することができる鋼材材質判定装置及び鋼材火花形状検出方法を提供することができる。
（第２の実施の形態）
第１の実施の形態の鋼材材質判定システム１は、破裂を含む火花の形状を正確に特定することができるシステムであるが、第２の実施の形態の鋼材材質判定システム１Aは、破裂及び花粉を含む火花の形状を正確に特定することができるシステムである。

第２の実施の形態の鋼材材質判定システムは、第１の実施の形態の鋼材材質判定システム１と略同様の構成を有しており、以下では、第２の実施の形態において第１の実施の形態の鋼材材質判定システム１と同じ構成要素については、同じ符号を付して説明は省略する。

図８は、本実施の形態に係わる鋼材材質判定システム１Aの構成を示す構成図である。鋼材材質判定システム１Aは、撮像装置２と、鋼材材質判定装置３Aとを含む。
鋼材材質判定装置３Aは、上述した画像記憶部１１等に加えて、材質判定部１６A及び花粉抽出部１７を含む。材質判定部１６A及び花粉抽出部１７も、ハードウエア回路で実現してもよいし、ソフトウエアプログラムにより実現してもよい。ここでは、鋼材材質判定装置３Aは、例えば、パーソナルコンピュータであり、中央処理装置（CPU）を含む。

破裂抽出部１５Aは、上述した破裂抽出部１５と同様に、流線抽出部１４において抽出された流線以外の線分の中から、１つの破裂に属する１又は２以上の線分を１つの破裂のグループとしてグループ化して、破裂を抽出する処理部である。

花粉抽出部１７は、流線及び破裂に属する線分以外の、残りの線分の中から、花粉に属する１又は２以上の線分を１つの花粉のグループとしてグループ化して、花粉を抽出する処理部である。

材質判定部１６Aは、流線抽出部１４、破裂抽出部１５A及び花粉抽出部１７において抽出された流線、破裂及び花粉の形状、色、大きさなどの情報に基づいて、被検査鋼材４の材質を判定する処理部である。判定には、サポートベクターマシン、Ｋ近傍法、Ｋ平均法、ニューラルネットワークなどの手法が用いられる。

判定された材質の情報は、メモリ１１ａに登録される。
（作用）
次に、鋼材材質判定装置３Aの処理について説明する。

図９と図１０は、本実施の形態の鋼材材質判定装置３Aの動作の流れを示すフローチャートである。なお、図９と図１０において、図２の処理と同じ処理については、同じステップS番号を付して説明は省略する。

S1からS3の処理は、上述した図２のS1〜S3と同じである。
次に、破裂抽出部１５Aは、全ての線分を、第１の方向に第１の量だけ移動し、S3で求めた流線との交点を求める（S11）。第１の方向は、第１の実施の形態のS4で説明した所定の方向と同じ方向、すなわち各線分の２つの端部のうち幅（あるいは面積）の広い端部の方あるいは輝度の高い方、であり、第１の量も、第１の実施の形態で説明した所定量d1と同じ量である。

S11では、さらに全ての線分と流線との交点が求められる。すなわち、第１の方向に第１の量だけ移動した全ての線分の中で、流線と交差する線分の交点が求められる。
破裂抽出部１５Aは、S11で求めた交点に対して膨張処理を行い、膨張処理された交点（以下、膨張交点という）同士が一部でも重なる複数の交点を１つのグループとし、他の膨張交点と重ならない膨張交点も別の１つのグループにするように、S11で求めた複数の膨張交点のグループ化を行う（S12）。

図１１は、火花の一部を示す模式図である。図１１は、説明を簡単にするために火花の一部を模式的に示している。図１１の火花画像では、線分分割部１３により、火花画像は、図３の火花画像と同様に７つの線分L21からL27を含むと共に、火花に含まれる複数の花粉の複数の線分Pも含む。後述するように、線分L22,L23,L24,L25,L26,L27により１つの破裂グループが構成される。破裂グループとは、同一の流線との交点を起点とする破裂を構成する線分の集まりである。

S3において、流線抽出部１４により、複数の線分の中から流線が抽出されるが、図１１の場合、例えば、線分L21からL27の内、線分L21が流線と判定される。
図１２は、S12における膨張交点のグループ化を説明するための火花の一部の模式図である。

図１２には、流線である線分L31と、線分L31から延びた３つの線分L32,L33,L34とが示されている。図１２の場合、S11では、３つの線分L32,L33,L34が、それぞれの中心軸CLに沿って各線分の端部の内、幅（あるいは面積）の広い方（あるいは輝度の高い方）に向かって第１の量だけ移動した結果、線分L31と交差し、３つの交点CP1,CP2,CP3が検出される。

そして、S12の膨張処理では、図１２に示すように、交点CP1,CP2,CP3が、それぞれ点線で示すように所定の大きさを有する領域に拡大され、膨張交点CP1a,CP2a,CP3aが生成される。そして、S12では、膨張交点同士が一部でも重なるときは、その重なった膨張交点同士を１つの交点グループとしてグループ化する。また、他の膨張交点と重なるものがない膨張交点も、１つの交点グループを構成する。
図１２では、膨張交点CP1aと膨張交点CP2aが一部重なっているので、膨張交点CP1aと膨張交点CP2aは、１つの膨張交点グループG1となり、膨張交点CP3aは、他の膨張交点と重なっていないが、１つの膨張交点を有する１つの膨張交点グループG2となる。各膨張交点グループG1,G2は、破裂グループの起点となる。

以上のようにして、S11において破裂を構成する線分と流線との複数の交点が求められ、S12において、S11で求めた複数の交点は、破裂グループの起点となる膨張交点グループとしてグループ化される。

図９に戻り、S2で生成された複数の線分の中から流線以外の線分を１つ選択し、その選択した線分を上記の第１の方向に上記の第１の量だけ移動する（S13）。S13の処理は、上述したS4の処理と同じであり、火花の一部が、隣接する火花と重なり合っている場合があるので、そのような場合においても、火花同士あるいは破裂同士を区別して、各火花を構成する線分が属する破裂グループを判別するための処理である。

次に、破裂抽出部１５Aは、移動した線分がいずれかの膨張交点に接するか、あるいは既存のグループに属する線分に接するかを判定する（S14）。S14の判定の対象となる既存のグループは、後述するS15で生成された破裂グループである。

移動した線分がいずれかの膨張交点に接するか、あるいは既存のグループに属する線分に接する場合（S14:YES）、破裂抽出部１５Aは、その線分をグループ化する（S15）。
例えば、S13で最初に選択された線分が膨張交点に接している場合は、その線分は１つのグループに属する線分として１つの破裂グループが生成される。２番目以降に選択された線分については、その線分がS12で生成された膨張交点に接しているかあるいは既存のグループに属する線分に接しているかが判定される。その線分がある膨張交点に接している場合は、その膨張交点に接する線分について生成されたグループに含めるようにグループ化される。S15では、１つの膨張交点グループのいずれかの膨張交点に接する線分は、１つのグループに属するものとしてグループ化される。また、その線分が既存のグループに属する線分に接している場合は、その線分をその既存のグループに含めるようにグループ化される。

すなわち、S12で各交点が膨張処理により所定のサイズに拡大されるので、２本の線分が同じ流線に同じ交点で接していなくても、所定の範囲内で流線に接しているとして、２本の線分は、同一のグループに属するものとしてグループ化される。

線分がS12で生成された膨張交点のいずれかに接しているということは、流線に接していることを意味する。よって、破裂抽出部１５AのS14の処理は、流線以外の線分であって流線に接している流線接触線分を判定する流線接触線分判定部を構成する。

また、ある線分が既存のいずれかのグループに属する線分に接しているということは、その線分と、そのグループに属する線分とは、同じ破裂グループに属することを意味する。よって、S14とS15の処理は、流線接触線分以外の線分を非流線接触線分とし、その非流線接触線分について、流線接触線分に接するかの判定を行い（S14）、その判定により流線接触線分と接していると判定された非流線接触線分を、その流線接触線分について生成されたグループに含めるようにグループ化を行うグループ化部を構成する。

選択して移動した線分がいずれかの膨張交点にも、既存のいずれのグループに属する線分にも接しない場合（S14:NO）、又はグループ化処理（S15）の後、破裂抽出部１５Aは、全線分をチェックしたか、すなわち全ての線分についてS13からS15の処理を行ったかを判定する（S8）。

全線分のチェックがされていなければ（S8:NO）、処理は、S13へ戻り、破裂抽出部１５Aは、未処理の残りの線分についてS13からS15の処理を実行する。
その後、S13からS15の処理が繰り返されることにより、既存のグループに属する線分が徐々に増えていき、破裂を構成する各線分は、既存のグループに含められるようにグループ化される。

全ての線分をチェックした場合（S8:YES）、S13からS15の処理において１つもグループ化された線分が無かったかを判定する（S9）。１つでもグループ化された線分があれば（S9:NO）、全ての線分のグルーピングの判断がされていないので、処理は、S13に戻り、グループ化されていない残りの線分についてS13以降の処理が実行される。

１つもグループ化された線分がなければ（S9:YES）、全ての線分についてのグルーピングの判断がされたことになり、処理は、図１０のS21へ移行する。すなわち、１つでもグループ化された線分があれば（S9:NO）、S13〜S8の繰り返し処理において、新たなグループの生成あるいは既存のグループへの新たな線分の追加があったことになる。よって、グループ化されていない残りの線分について、再度、S13〜S8の処理を実行して、グループ化の処理を実行する。しかし、１つもグループ化された線分がなければ（S9:YES）、グループ化されていない残りの線分についてはグループ化されることはないので、処理は、S21へ移行する。

図１０は、火花の花粉の線分のグループ化を行う処理を示し、火花の花粉についての花粉グループの生成、及び花粉についての破裂グループへのグループ化を行う。
次に、図１０のS21へ移行すると、花粉抽出部１７は、S13からS15の処理によりグループ化された線分以外の残りの全ての線分を第２の方向へ移動し、流線との交点を求める（S21）。ここでは、第２の方向は、線分の両端部の内、幅（あるいは面積）の狭い方あるいは輝度の低い方である。

S13からS15の処理によりグループ化された線分以外の残りの全ての線分には、火花の花粉の線分が含まれ、花粉の情報も、鋼材の材質の判定に用いられる。
花粉を構成する各線分は、点在する小さな火花である。花粉は、一般に、流線あるいは破裂の周辺に生成され、花粉を構成する各線分は、先の方が幅が太くなるような形状を有する、あるいは先の方ほど輝度が高くなるような特徴を有する。そのため、線分の両端部のうち、線分の根元となる幅（あるいは面積）の狭い方（あるいは輝度の低い方）へ移動させると、線分の根元は、流線あるいは破裂グループの火花の線分に接する。そこで、本実施の形態では、各線分を第２の方向に所定量dd1だけ移動させた後に、その線分が流線に接するか、あるいは後述するように既存のグループの線分に接するかが判定される。

図１３は、火花の一部を示す模式図である。図１３は、説明を簡単にするために火花の花粉の一部を模式的に示している。図１３では、花粉は、点線の三角形で示されている。上述したように、花粉は、画像上では先端が太い形状を有しているので、図１３では、花粉を構成する火花の線分L41とL42が、根元の細い形状の方向である第２の方向に中心線CLに沿って第２の量dd1だけ移動した結果、実線で示す線分L41とL42が流線L21に接している状態が示されている。そして、S21では、線分L41の流線L21と接している交点CP4と、線分L42の流線L21と接している交点CP5とが求められる。

よって、S21の処理により、グループに属さない残りの全ての線分について流線との交点が求められる。
次に、花粉抽出部１７は、S21で求めた流線との交点に対してS12と同様の膨張処理を行い、膨張処理された交点である膨張交点同士が重なる複数の交点を１つの膨張交点グループにし、他の膨張交点と重ならない膨張交点も別の１つのグループにするように、S21で求めた交点のグループ化を行う（S22）。S22の膨張交点のグループ化は、図１２で説明した膨張交点と同じである。図１３の場合、交点CP4とCP5の２つの膨張交点CP4aとCP5aについて１つの膨張交点グループG11が生成される。

以上のようにして、S21において、S15でグループ化された線分以外の残りの線分と、流線との複数の交点が求められ、S22において、S21で求めた少なくとも一部が互いに重なる複数の膨張交点は、１つの花粉グループの起点となる。花粉グループとは、同一の破裂又は同一の流線との交点を起点とする花粉を構成する線分の集まりである。
図１０に戻り、S15でグループ化された線分以外の残りの全ての線分の中から１つの線分選択し、その選択した線分を第２の方向に第２の量dd1だけ移動する（S23）。

次に、花粉抽出部１７は、移動した線分がS22で生成されたいずれかの膨張交点に接するか、あるいはS15で生成された既存の破裂グループに属する線分に接するか、あるいは既存の花粉グループに属する線分に接するかを判定する（S24）。

移動した線分がS22で生成されたいずれかの膨張交点に接するか、あるいは既存の破裂グループに属する線分に接する、あるいは既存の花粉グループに属する線分に接する場合（S24:YES）、花粉抽出部１７は、その線分をグループ化する（S25）。
例えば、S23で選択された線分がS22で生成された膨張交点接している場合は、その線分は１つの花粉グループとしてグループが生成される。

さらに、S24において２本の線分が同じ膨張交点若しくはグループ化された膨張交点に接している場合、その２本の線分は、同一の花粉グループに属するものとしてグループ化される。

また、２本の線分がある既存の破裂グループに属する１本の線分に接している場合、その２本の線分は、その既存の破裂グループに属するものとしてグループ化される。また、２本の線分がある既存の破裂グループに属する異なる２本の線分に接している場合、その２本の線分は、その既存の破裂グループに属するものとしてグループ化される。

線分がS22で生成された膨張交点に接しているということは、流線に接していることを意味する。よって、花粉抽出部１７のS24とS25の処理は、いずれの破裂のグループにも属さない非流線接触線分である未グループ化線分を輝度の低い方あるいは線の幅若しくは面積の狭い方へ所定量である第２の量dd1だけ移動した後に、未グループ化線分が流線と接しているかの判定を行い、その判定により未グループ化線分が流線と接していると判定された未グループ化線分について、花粉のグループを生成する。従って、花粉抽出部１７のS24とS25の処理は、破裂のグループ化の後に、いずれの破裂のグループにも属さない線分に対して、花粉グループを生成する花粉グループ生成部を構成する。

さらに、花粉抽出部１７のS24とS25の処理では、流線以外の線分を第２の方向に第２の量dd1だけ移動した結果、既存の破裂グループに属する線分に接する場合、その線分は、その既存の破裂グループに属するものとしてグループ化される。

よって、花粉抽出部１７のS24とS25の処理は、いずれの破裂のグループにも属さない未グループ化線分を輝度の低い方あるいは線の幅若しくは面積の狭い方へ所定量である第２の量dd1だけ移動した後に、未グループ化線分が流線接触線分又は非流線接触線分と接しているかの判定を行い、その判定により未グループ化線分が流線接触線分又は非流線接触線分に接していると判定された未グループ化線分を、流線接触線分又は非流線接触線分の破裂のグループに含める第２のグループ化を行うグループ化部を構成する。

選択して移動した線分がS22で生成されたいずれかの花粉の膨張交点にも、既存の破裂グループに属する線分にも接しない場合（S24:NO）、又はグループ化処理（S25）の後、花粉抽出部１７は、全線分をチェックしたか、すなわち破裂グループにも花粉グループにも属さない残りの全ての線分についてS23からS25の処理を行ったかを判定する（S26）。

全線分のチェックがされていなければ（S26:NO）、処理は、S23へ戻り、花粉抽出部１７は、S23からS25の処理を実行する。

図１３の場合、線分L41とL42は、膨張交点CP4とCP5を有する膨張交点グループG11を起点とする花粉グループを形成する。
図１４は、火花の一部を示す模式図である。図１４は、説明を簡単にするために火花の花粉の一部を模式的に示している。図１４では、花粉を構成する火花の３つの線分L43,L44,L45が、根元の細い形状の方向である第２の方向に移動した結果、破裂のグループを構成する線分L46に接している状態が示されている。線分L46,L47,L48は、１つの破裂グループに属する線分である。S23において移動した線分L43,L44,L45が、S24において、それぞれ線分L46に接することが確認される。

そして、図１４の場合、S25において、線分L43,L44,L45は、線分L46の属する破裂グループに属するものとしてグループ化される。
S15でグループ化された線分以外の全ての線分をチェックした場合（S26:YES）、S23からS25の処理において１つもグループ化した線分が無かったかを判定する（S27）。１つでもグループ化された線分があれば（S27:NO）、グループに属さない残りの全ての線分のグルーピングの判断がされていないので、処理は、S23に戻り、グループ化されていない残りの線分についてS23以降の処理が実行される。

１つもグループ化された線分がなければ（S27:YES）、全ての線分についてのグルーピングの判断がされたことになり、処理は、終了する。すなわち、１つでもグループ化された線分があれば（S27:NO）、S23〜S26の繰り返し処理において、新たなグループの生成あるいは既存のグループへの新たな線分の追加があったことになる。よって、グループ化されていない残りの線分について、再度、S23〜S26の処理を実行して、グループ化の処理を実行する。しかし、１つもグループ化された線分がなければ（S27:YES）、グループ化されていない残りの線分についてはグループ化されることはないので、処理は、終了する。

すなわち、S24とS25の処理は、破裂グループに属さない非流線接触線分について、花粉の膨張交点に接するかあるいは破裂グループに属する線分に接するかの判定を行い（S24）、その判定により花粉の膨張交点に接すると判定された場合は、その非流線接触線分を花粉グループに含め、破裂グループに属する線分と接していると判定された場合は、その非流線接触線分を、破裂グループに含めるようにグループ化を行うグループ化部を構成する。
なお、破裂グループに属する線分に接していると判定された１あるいは２以上の線分は、破裂グループに含めるのではなく、１つの花粉グループとしてもよい。

図９と図１０の処理により、破裂及び花粉を含む火花の形状が正確に検出されるので、材質判定部１６は、各グループに属する線分の形状に基づいて、火花を生じさせている鋼材の材質を精度良く判定することができる。

なお、S21では、破裂グループに属さない非流線接触線分について、流線との交点だけを求めているが、破裂グループに属する線分との交点も求め、破裂グループに属する線分と接しているかを確認するようにしてもよい。このようにすれば、S22で、破裂グループに属する線分との交点もグループ化して、破裂グループ毎の花粉のグループ化をすることができる。さらに、破裂グループに属さない非流線接触線分について、S12でグループ化された膨張交点との交点を求め、破裂グループに属するかを確認するようにしてもよい。

以上のように、本実施の形態によれば、二値化された火花画像から、破裂及び花粉を含む火花の形状を正確に特定することができる鋼材材質判定装置及び鋼材火花形状検出方法を提供することができる。
従って、上述した２つの実施の形態及び各変形例によれば、破裂を含む火花の形状を正確に検出することができる鋼材材質判定装置、鋼材火花形状検出方法及び鋼材の火花の形状を検出するためのプログラムを提供することができる。
なお、線分の移動は、流線に接する流線接触線分だけに対して行うようにしてもよいし、あるいは、流線接触線分以外の線分だけに対して行うようにしてもよい。

特に、最初に流線を抽出し、その後に、破裂を構成する線分をグルーピングしながら抽出するので、火花の形状を正確に検出することができる。
また、各線分を所定の方向に所定量だけ移動させた後に、その線分が流線と接するか、あるいは既存のグループの線分と接するかを判定するようにしたので、火花の一部が、隣接する火花と重なり合うような場合があっても、各火花の形状を比較的正確に特定することができる。

なお、上述した実施の形態及び各変形例による火花の形状の検出方法は、例えば、特開平８−２４７９２８号公報等に開示の従来の鋼材の材質判定装置にも適用することができる。

本明細書における各「部」は、実施の形態の各機能に対応する概念的なもので、必ずしも特定のハードウエアやソフトウエア・ルーチンに１対１には対応しない。従って、本明細書では、以下、実施の形態の各機能を有する仮想的回路ブロック（部）を想定して実施の形態を説明した。また、本実施の形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施の形態における各手順の各ステップの全てあるいは一部をハードウエアにより実現してもよい。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

１、１A 鋼材材質判定システム、２ 撮像装置、３、３A 鋼材材質判定装置、４ 被検査鋼材、５ グラインダ、１１ 画像記憶部、１１ａ メモリ、１２ 二値化部、１３ 線分分割部、１４ 流線抽出部、１５、１５A 破裂抽出部、１６、１６A 材質判定部、１７ 花粉抽出部。

Claims (15)

1. 鋼材から発する火花を撮像装置により撮像して得られた前記火花の流線を含む画像に対して二値化処理を施して二値画像を生成する二値化部と、
   前記二値画像の火花領域を複数の線分に分割する線分分割部と、
   前記複数の線分の中から前記流線を抽出する流線抽出部と、
   前記流線以外の線分であって前記流線に接している流線接触線分を判定する第１の判定を行う流線接触線分判定部と、
   前記流線接触線分以外の線分を非流線接触線分とし、前記非流線接触線分について、前記流線接触線分に接するかの第２の判定を行い、前記第２の判定により前記流線接触線分に接していると判定された前記非流線接触線分を、前記流線接触線分の破裂のグループに含める第１のグループ化を行う第１グループ化部と、
   前記破裂のグループに属する線分の形状に基づいて、前記火花を生じさせている前記鋼材の材質を判定する材質判定部と、
   を有することを特徴とする鋼材材質判定装置。
2. 前記流線接触線分判定部は、前記流線以外の線分を、前記流線以外の線分における輝度の高い方あるいは線の幅若しくは面積の広い方へ第１の所定量だけ移動した後に、前記第１の判定を行うことを特徴とする請求項１に記載の鋼材材質判定装置。
3. 前記第１グループ化部は、前記非流線接触線分を、前記非流線接触線分における輝度の高い方あるいは線の幅若しくは面積の広い方へ第２の所定量だけ移動した後に、前記第２の判定を行うことを特徴とする請求項１又は２に記載の鋼材材質判定装置。
4. 前記第１グループ化部は、前記非流線接触線分を、前記非流線接触線分における輝度の高い方あるいは線の幅若しくは面積の広い方へ第２の所定量だけ延長した後に、前記第２の判定を行うことを特徴とする請求項１又は２に記載の鋼材材質判定装置。
5. 前記第１グループ化部は、前記非流線接触線分が２以上の線分に接しているときは、前記第２の判定において、前記非流線接触線分は、接している領域部分の幅若しくは面積の広い、又は輝度の高い、線分の方に接していると判定することを特徴とする請求項１から４のいずれか１つに記載の鋼材材質判定装置。
6. 前記第１グループ化部は、２本の前記流線接触線分が前記流線に接して２つの接点が同じあるいは所定範囲内にあるときは、前記２本の流線接触線分を同じ破裂のグループに含めるように前記第１のグループ化を行うことを特徴とする請求項１から５のいずれか１つに記載の鋼材材質判定装置。
7. 前記第１グループ化部は、前記非流線接触線分について、前記破裂のグループに属する非流線接触線分に接するかの第３の判定を行い、前記第３の判定により前記破裂のグループに属する非流線接触線分に接していると判定された非流線接触線分を、前記破裂のグループに含めることを特徴とする請求項１から６のいずれか１つに記載の鋼材材質判定装置。
8. 前記第１グループ化部は、前記非流線接触線分を、前記非流線接触線分における輝度の高い方あるいは線の幅若しくは面積の広い方へ第３の所定量だけ移動した後に、前記第３の判定を行うことを特徴とする請求項７に記載の鋼材材質判定装置。
9. 前記第１グループ化部は、前記非流線接触線分を、前記非流線接触線分における輝度の高い方あるいは線の幅若しくは面積の広い方へ第３の所定量だけ延長した後に、前記第３の判定を行うことを特徴とする請求項７に記載の鋼材材質判定装置。
10. 前記第１グループ化部は、前記非流線接触線分が２以上の線分に接しているときは、前記第３の判定において、前記非流線接触線分は、接している領域部分の幅若しくは面積の広い、又は輝度の高い、線分の接している線分に接していると判定することを特徴とする請求項６に記載の鋼材材質判定装置。
11. 前記第１グループ化部の前記第１のグループ化後に、前記第１グループ化部でいずれの破裂のグループにも属さない前記非流線接触線分に対して、花粉のグループを生成する花粉グループ生成部を有することを特徴とする請求項１から１０のいずれか１つに記載の鋼材材質判定装置。
12. 前記花粉グループ生成部は、前記第１グループ化部でいずれの破裂のグループにも属さない前記非流線接触線分である未グループ化線分を輝度の低い方あるいは線の幅若しくは面積の狭い方へ第４の所定量だけ移動した後に、前記未グループ化線分が前記流線と接しているかの第４の判定を行い、前記第４の判定により前記未グループ化線分が前記流線と接していると判定された前記未グループ化線分について、前記花粉のグループを生成することを特徴とする請求項１１に記載の鋼材材質判定装置。
13. 前記第１グループ化部でいずれの破裂のグループに属さない前記未グループ化線分を輝度の低い方あるいは線の幅若しくは面積の狭い方へ第５の所定量だけ移動した後に、前記未グループ化線分が前記流線接触線分又は前記非流線接触線分と接しているかの第５の判定を行い、前記第５の判定により前記未グループ化線分が前記流線接触線分又は前記非流線接触線分に接していると判定された前記未グループ化線分を、前記流線接触線分又は前記非流線接触線分の前記破裂のグループに含める又は花粉のグループを生成する第２のグループ化を行う第２グループ化部を有することを特徴とする請求項１２に記載の鋼材材質判定装置。
14. 鋼材から発する火花を撮像装置により撮像して得られた前記火花の流線を含む画像に対して二値化処理を施して二値画像を生成し、
    前記二値画像の火花領域を複数の線分に分割し、
    前記複数の線分の中から前記流線を抽出し、
    前記流線以外の線分であって前記流線に接している流線接触線分を判定し、
    前記流線接触線分以外の線分を非流線接触線分とし、前記非流線接触線分について、前記流線接触線分に接するかの第１の判定を行い、前記第１の判定により前記流線接触線分に接していると判定された前記非流線接触線分を、前記流線接触線分の前記破裂のグループに含める第１のグループ化を行うことを特徴とする鋼材火花形状検出方法。
15. 鋼材の火花の形状を検出するためのプログラムであって、
    鋼材から発する火花を撮像装置により撮像して得られた前記火花の流線を含む画像に対して二値化処理を施して二値画像を生成する手順と、
    前記二値画像の火花領域を複数の線分に分割する手順と、
    前記複数の線分の中から前記流線を抽出する手順と、
    前記流線以外の線分であって前記流線に接している流線接触線分を判定する手順と、
    前記流線接触線分以外の線分を非流線接触線分とし、前記非流線接触線分について、前記流線接触線分に接するかの第１の判定を行い、前記第１の判定により前記流線接触線分と接していると判定された前記非流線接触線分を、前記流線接触線分の前記破裂のグループに含める第１のグループ化を行う手順と、
    を、コンピュータに実行させるためのプログラム。

Images