JP2004219177A - Flaw detector and flaw detecting method - Google Patents

Flaw detector and flaw detecting method Download PDF

Info

Publication number
JP2004219177A
JP2004219177A JP2003005011A JP2003005011A JP2004219177A JP 2004219177 A JP2004219177 A JP 2004219177A JP 2003005011 A JP2003005011 A JP 2003005011A JP 2003005011 A JP2003005011 A JP 2003005011A JP 2004219177 A JP2004219177 A JP 2004219177A
Authority
JP
Japan
Prior art keywords
wrinkle
detection
candidates
threshold
flaw
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003005011A
Other languages
Japanese (ja)
Other versions
JP4216609B2 (en
Inventor
Takamichi Kobayashi
尊道 小林
Toshio Akagi
俊夫 赤木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Steel Corp
Original Assignee
Nippon Steel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Steel Corp filed Critical Nippon Steel Corp
Priority to JP2003005011A priority Critical patent/JP4216609B2/en
Publication of JP2004219177A publication Critical patent/JP2004219177A/en
Application granted granted Critical
Publication of JP4216609B2 publication Critical patent/JP4216609B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To detect the surface flaw of a steel plate certainly and to perform flaw detection of high quality stable over the total length of the steel plate. <P>SOLUTION: This flaw detector includes a flaw detecting processing part 5 for detecting the flaw candidate occurring in the steel plate on the basis of a detection threshold value when the flaw of the steel plate is detected, a flaw candidate number setting part 6 for setting the number of flaw candidates detected in the flaw detecting processing part 5 as a parameter and a threshold value renewing part 7 for renewing the detection threshold value on the basis of the parameter. The flaw detection threshold value is let correspond to the number of the flaw candidates to be controlled dynamically not only to certainly detect only the original flaw with high precision but also to reduce the influcence due to the number of flaws to stably detect the flaw over the whole of the steel plate. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、疵検出装置及び疵検出方法に関し、特に、鋼板や鋼材等の疵検出を行う対象物の表面を撮像して得られた画像信号に基づいて上記鋼板等の表面疵を検出するのに用いて好適なものである。
【0002】
【従来の技術】
従来、製鉄業の鋼板生産ラインにおいては、品質確保のために鋼板の表面疵を検出する疵検出が行われている。この疵検出では、鋼板の表面に光を照射し、得られた反射光より生成した画像信号に対して所定の画像処理を施すことで鋼板表面の状態を表した画像データを生成して、鋼板表面の疵の有無を検出している。
【0003】
上記疵検出における画像処理では、鋼板表面の疵を抽出するために、例えば、上記鋼板表面の状態を表した画像データを所定の閾値で分割する2値化処理を行い、上記閾値を越えた画像データに対応する鋼板位置が疵部分であるという判定をしている(例えば、特許文献1参照)。
【0004】
ここで、上記鋼板表面において状態が変化している部分が疵であるか否かの判定の際に用いられる閾値は、通常、一定の値に設定される固定閾値である。そして、鋼板表面のメッキ層の有無や鋼板の材質(鋼種)、或いは製造工程の特徴等を考慮して決定された最適な閾値が、鋼板の搬入動作が開始される前にあらかじめ設定されるようになされている。
【0005】
また、上記検出閾値を固定値として設定せずに疵判定する方法も知られている。例えば、製造ラインへ搬入される鋼板表面の肌の状態を実際にモニタリングして輝度分散値等の評価基準値を算出しながら、検出閾値を動的に設定する疵検出方法が挙げられる。上記疵検出方法によれば、実際の鋼板地肌の特徴が時系列で定量化され、鋼板の走行にあわせて疵検出閾値を逐次、変更していくことが可能になる。
【0006】
【特許文献1】
特開平8−189905号公報
【0007】
【発明が解決しようとする課題】
ところで、実際の鋼板の中には、例えば、表面部に地合模様を有して製造される鋼板、或いは、鋼種や製造工程の特徴により表面部が全体的に均一で滑らかな仕上がり状態にならず、いわゆる肌荒れ現象等が生じている鋼板等がある。
【0008】
上述したような肌荒れ現象等が生じている鋼板に対して、上記特許文献1に示すような固定の検出閾値を用いて疵検出を行うと、良好な疵検出を行うことが困難となることが多い。すなわち、肌荒れ現象が生じている鋼板では、実際の検出閾値が鋼板全長で大きく変動して、最適値であると見込んで設定した検出閾値と大きな差が生じてしまうことから誤検出が発生する。このことは、肌荒れ鋼板に限らず、地合模様を有する鋼板についても同様のことがいえる。
【0009】
このため、固定の検出閾値を用いた画像処理による疵検出方法では、鋼板全長にわたって精度の良い疵検出を実施することが困難であるという問題があった。
そこで、特に、肌荒れ鋼板等においては固定の検出閾値に替わり、上述したような閾値を動的に変えながら疵検出を行う手法(例えば、輝度分散値等)が用いられている。
【0010】
しかしながら、上記輝度分散値による疵検出は、疵自体を直接検出するものではなく、輝度の変化の度合いが変動する実際の鋼板の地肌状態をモニタリングして間接的に疵部分を推定する手法である。そのため、輝度分散値によっては、疵ではない地合模様または肌荒れ位置が、鋼板の疵と認識されてしまうことがあるという問題があった。
【0011】
また、製造/検出ラインに搬入される鋼板の疵検出処理をリアルタイムで実現するためには、1フレーム、すなわち各1画像画面の処理を短時間で行う必要がある。このため、一般に、疵検出を行う画像処理において、1フレーム内で検出可能な疵個数を制限するようなアルゴリズムが組み込まれている。
【0012】
上述したような検出可能な疵個数の上限が設けられた場合に、上記輝度分散値によって地合模様や肌荒れ部分等が疵と誤認識されると、疵検出処理では上記誤認識した地合模様や肌荒れ部分等を疵個数としてカウントしてしまうので、上記上限の範囲を超えてしまうことがあった。このため、本来、検出すべきであった重要な疵が存在していたのにもかかわらず、これを認識せずに見逃してしまうという問題があった。
【0013】
また、上記上限範囲内の疵個数ではあるが、規定個数以上の疵が1フレーム内で検出されるような場合、画像処理を行う計算機の負荷が過大となってしまい、これ以上計算処理を続けることが不可能な状態に陥ることがある。このような計算不能状態を回避するために、計算機はそのフレーム内の疵データを疵検出処理の途中で記憶メモリから廃棄するなどの措置を行っている。
【0014】
これにより、次のフレームの処理を続行して行うことができるようにして、連続的な疵検出がリアルタイムに行われることを可能にしている。しかしながら、上記の場合、処理が途中で打ち切られて疵データが廃棄されたフレームには、未検出の疵箇所が残っている可能性がある。
【0015】
さらに、上述した記憶メモリからデータ廃棄に要した時間に相当する走行距離の鋼板疵も、検出対象から外れてしまい疵未検出の鋼板が生じてしまうことになる。
このように、従来の疵検出方法では、鋼板の全長にわたって安定した疵検出が行われず、実際の製造/検出ラインにおける疵検出装置の実用化が困難であるという問題があった。
【0016】
そこで、本発明は、上述した問題点をかんがみ、製造/検出ラインに搬入される鋼板表面の疵を確実に検出できるようにするとともに、鋼板の全長にわたり安定した高品質の疵検出を行うことができるようにすることを目的とする。
【0017】
【課題を解決するための手段】
本発明の疵検出装置は、疵検出を行う対象物を撮像手段により撮像して得られた画像信号に基づいて疵検出を行う疵検出装置であって、上記疵検出を行うための検出閾値を、上記疵検出を行う対象物より検出した疵候補個数をパラメータとしてダイナミックに更新することを特徴とする。
【0018】
また、本発明の他の特徴とするところは、疵検出を行う対象物を撮像手段により撮像して得られた画像信号に基づいて疵検出を行う疵検出装置であって、上記疵検出を行う対象物に生じた疵候補を所定の検出閾値に基づいて検出する疵検出処理手段と、上記疵検出処理手段により検出した疵候補の個数をパラメータとして設定する疵候補個数設定手段と、上記疵候補個数設定手段により設定された疵候補の個数をパラメータとして、上記検出閾値を更新する閾値更新手段とを有することを特徴とする。
【0019】
本発明の疵検出方法は、疵検出を行う対象物を撮像手段により撮像して得られた画像信号に基づいて疵検出を行う疵検出方法であって、上記疵検出を行うための検出閾値を、上記疵検出を行う対象物より検出した疵候補個数をパラメータとしてダイナミックに更新することを特徴とする。
【0020】
また、本発明の他の特徴とするところは、疵検出を行う対象物を撮像手段により撮像して得られた画像信号に基づいて疵検出を行う疵検出方法であって、上記疵検出を行う対象物に生じた疵候補を所定の検出閾値に基づいて検出する疵検出処理手順と、上記疵検出処理手順により検出した疵候補の個数をパラメータとして設定する疵候補個数設定手順と、上記疵候補個数設定手順により設定された疵候補の個数をパラメータとして、上記検出閾値を更新する閾値更新手順とを有することを特徴とする。
【0021】
【発明の実施の形態】
以下、本発明の疵検出装置及び疵検出方法の実施の形態について図面を用いて説明する。
【0022】
本発明は、例えば、図1に示すような疵検出装置10に適用される。本実施の形態の疵検出装置10が疵検出を行う対象物として、圧延鋼板製造ラインで製造された鋼板を例に挙げて説明する。
【0023】
本実施の形態では、疵検出装置10は、鋼板地肌の模様(以下、地合模様と称する)の度合いと疵候補個数とを関連づけて、鋼板表面の実際の疵を含む上記疵候補個数を定量的に把握することにより、疵検出に用いるための閾値、すなわち検出感度を適宜更新するようにしている。
【0024】
<疵検出装置10の全体構成>
図1に示すように、疵検出装置10は、圧延工程後の鋼板1の表面を撮像するCCDカメラ等の撮像部2、上記撮像部2により撮像して得られた画像信号に基づいて生成した画像データを処理する画像処理部3、及びモニタ8等を備えている。
【0025】
撮像部2は、図示しない照明部により照明された鋼板1の反射光を受光して画像信号を生成し、上記生成した画像信号を画像処理部3へ出力する。画像処理部3は入力された画像信号に所定の画像処理を施して、鋼板表面の状態を表した画像データを生成する。
【0026】
画像処理部3は、信号処理部4、疵検出処理部5、疵候補個数算出部6、及び検出閾値更新部7を有している。
信号処理部4は、撮像部2より入力された画像信号に対して、後段の疵検出処理部5で行われるデータ処理の前処理を行う。前処理の内容はCCD素子のばらつき補正、画像明るさの補正、鋼板のエッジ検出、及びノイズ処理等がある。
【0027】
疵検出処理部5は、疵と推定できる鋼板箇所を所定のアルゴリズムによって検出する。また、上記検出した疵部分15、16がモニタ8の表示画面に映し出されるようにする表示制御を行う。疵検出処理部5は、画像処理単位に相当するフレーム11、12、13、...ごとに上記疵検出を行う。
【0028】
疵候補個数算出部6は、詳細は後述するが、疵検出処理部5によって検出された疵個数に基づいて、検出閾値を更新するか否かの判断に用いる疵候補個数を算出する。
なお、上述した疵検出処理部5によりフレーム11、12、13、...単位で検出される鋼板上の疵位置や疵個数、または疵候補個数算出部6により算出される疵候補個数の情報は、必要に応じて記録手段により記録されるようにしてもよい。
【0029】
<疵検出装置10の動作>
ここでは、疵検出装置10の基本的な動作について、図2に示すフローチャートを参照しながら説明する。疵検出装置10は、ラインに搬入されてくる鋼板1の表面を撮像部2により撮像して画像信号を生成し、上記生成した画像信号に対して画像処理部3により疵検出処理を行うとともに、上記疵検出処理を行いながら疵検出閾値を更新する動作を行う。以下に、疵検出装置10の動作を順に説明する。
【0030】
まず、走行ライン上の鋼板1が疵検出装置10の方向に移動を開始して、鋼板1が所定の位置に到達したことを不図示の鋼板位置検出部により検出されると、撮像部2は鋼板1に向かって光を照射するとともに、撮像部2を作動する(ステップS201)。
【0031】
次に、ステップS202で、撮像部2が鋼板1を撮像して鋼板表面の光学像を画像信号に変換して画像処理部3へ出力する。画像処理部3内の信号処理部4は、撮像部2より入力された画像信号に対して所定の信号処理(A/D変換、CCD素子のばらつき補正等)及び画像処理(画像明るさの補正、鋼板のエッジ検出、ノイズ除去等)を施し、疵検出処理部5へ出力する。
【0032】
次に、ステップS203で、疵検出処理部5は信号処理部4から画像信号が入力されたか否かを判断する。この判断の結果、画像信号が入力された場合にはステップS204に進み、疵検出処理部5は設定されている基準検出閾値に基づいて、現在のフレーム11に疵として推定される箇所(疵候補)の個数をカウントする疵検出を行う。
【0033】
次に、ステップS205で、疵候補個数算出部6は、現在のフレーム11を含む前のフレーム12、13等でそれぞれ検出された疵候補個数の移動平均値を算出する。本実施の形態では、上記前のフレームは6つにして7フレームの移動平均値を算出している。しかし、これに限らず、例えば、上記前のフレームを3フレームとすれば、上記移動平均値は合計4フレームの各フレームで検出された疵候補個数の平均となる。
【0034】
次に、ステップS206で、検出閾値更新部7は、上記ステップS205で算出された移動平均値による疵候補個数と所定の疵候補個数とを比較する。ここで、上記所定の疵候補個数とは画像処理の計算上の許容値の目安をあらわしており、各フレーム11、12、13、...で許容できる疵候補個数の上限値または下限値の目安である。
【0035】
次に、ステップS207で、検出閾値更新部7は、設定されていた基準検出閾値に対して所定のオフセット量の調整を行うか否かの判断を、上記ステップS206の比較結果に基づいて行う。そして、疵候補個数が上限値を超えている場合には、ステップS208に進み、検出閾値更新部7は、上記基準検出閾値にオフセット量の値を加算して、検出閾値を増加させた更新を行う。これに対して、疵候補個数が下限値を超えている場合には、上記基準検出閾値からオフセット量の値を減算して、検出閾値を減少させた更新を行う。
【0036】
次に、ステップS209で、疵検出装置10は鋼板1に対する疵検出が完了したか否かを判断する。上記判断の結果、疵検出が完了した場合には、鋼板1を照明していた照明部及び撮像部2の動作を停止して処理を終了する。
一方、ステップS209の判断の結果、疵検出が完了していないと判断した場合には、ステップ202に戻って、鋼板1の撮像、疵検出、及び検出閾値の更新等上述した一連の動作を繰返し行う。
【0037】
<疵検出のアルゴリズム>
次に、画像処理部3における疵検出処理部5が鋼板1に生じた疵15等を検出するための疵検出アルゴリズムについて説明する。
【0038】
まず、鋼板1表面の地合模様と疵候補個数との関係について説明する。
図3は、地合模様と疵候補個数の関係を表す図である。図3に示すグラフの横軸は、鋼板表面における単位面積当りに地合模様が存在する割合を示し、縦軸は疵候補の個数を示している。ここで、疵候補の個数とは、実際の疵の個数に、実際の疵ではないが画像処理上では疵として推定されるような箇所数を加算した個数をいうものとする。
【0039】
地合模様と疵候補個数との関係を調べたところ、図3に示すように、単位面積あたりの地合模様の割合がおよそ6〜7割を超えるようになると、疵候補個数が急激に増加するようになることが判明した。
【0040】
このため、本実施の形態の疵検出アルゴリズムでは、鋼板1表面の任意の部分が疵部分であると認識するための判断基準として上記疵候補個数を用いるようにしている。そして、実際の鋼板1表面の疵検出に柔軟に適応できるようにするために、フレーム11、12、13、...ごとの疵候補個数の増減に応じて、検出閾値(検出感度)が変動するように構成している。
【0041】
疵検出の閾値として、上述したような疵候補個数を用いるメリットは、画像の変動の度合いを、フレーム11、12、13、...ごとに直接的に計測できることにある。すなわち、地合模様や肌荒れによって画像の輝度に変化が生じた場合でも、この輝度変化箇所が直ちに鋼板1の疵として推定されるのではなく、直接計測して検出する疵候補個数に基づいて設定した閾値から疵箇所15等を推定するようにしているので、確実な疵検出を行うことができるという効果がある。
【0042】
具体的には、例えば、走行に比例して地合模様や肌荒れが増加するような鋼板1の場合、上記図3で示したように疵候補個数も増加していく。これに対して、地合模様や肌荒れの出現が少なくなれば、疵候補個数も減少していく。
【0043】
そこで、疵候補個数をリアルタイムで検出して、上記検出した疵候補個数が増加する傾向にあれば検出閾値の設定を高くするように修正を加えるようにし、これとは逆に、疵候補個数が減少する傾向にあれば検出閾値の設定を低くするように修正を加えるようにしている。
【0044】
このように、疵候補個数の変動に対応した検出閾値の調整を行いながら疵箇所の有無を判断するようにすることにより、疵検出を見逃してしまうミスをできるだけ防ぐようにしている。
【0045】
次に、上述した疵候補個数の算出方法ついて、さらに具体的に説明する。本実施の形態では、疵候補個数の算出に移動平均値を用いている。
図4に、上記移動平均値を用いた疵候補の検出を説明するための概念図を示す。図4に示す複数の黒丸部分41が、鋼板1の表面に生じた疵部分を示している。
【0046】
また、画像処理を行う処理単位であるフレーム11、12、13、...(1画面)ごとの区切りを、鋼板表面に点線で示している。上記1つのフレーム11の長さは、圧延方向(走行方向)で0.5m〜2m程度の範囲であり、実際には鋼板1のラインスピードによって決定される。
【0047】
例えば、ラインスピードが下がれば1フレームの長さは0.5mとなり、疵検出の分解能は上がる。これに対して、ラインスピードを上がれば1フレームの長さは2mとなり、疵検出の分解能は下がることになる。
【0048】
図4に示す鋼板1の例では、移動平均値を求めるために、7つのフレームに発生した疵候補個数の平均値を算出している。
移動平均値の算出の説明を容易にするため、図4では便宜上、7フレームごとに鋼板1を切断してこれらを段違いで重ねて示しているが、実際の圧延鋼板製造ラインに搬入される鋼板1は連続した板であり、鋼板1の全長にわたって連続した移動平均値を算出して疵検出を行っている。なお、フレームにおける圧延方向に垂直な方向(図4に示す鋼板の縦方向)は鋼板1の板幅に相当する。
【0049】
鋼板1表面に生じる疵候補が検出される場合というのは、何らかの理由により突発的に生じてしまった実際の鋼板疵を認識したか、或いは製造ラインや工程に依存して徐々に変化していく地合模様を認識した場合である。
【0050】
このため、検出される1フレームごとの疵候補個数の変動は、上述した突発的に出る実際の疵の場合は前後のフレームとの比較において急激な変動となる。
この場合、例えば、特定のフレーム11のみに発生した、いわゆる局所的な疵候補個数の増加を疵検出閾値に直接反映させること、すなわち、上記特定フレーム11の影響を他のフレームと同等の重み(重み値=1)とすることは、疵候補個数に基づく疵検出閾値の修正において適切ではない。
【0051】
一方、地合模様の変化の場合は同程度の疵候補個数が検出されることから、検出される1フレームごとの疵候補個数の変動は緩やかな状態が続くようになる。そのため、地合模様の変化を把握するためには、数m〜数100mの範囲で鋼板1表面の地肌の状態を検出する必要がある。
【0052】
このように各鋼板1によって疵候補個数の変動には緩急が存在し、その何れの変動も的確に判断した上で、疵検出の閾値を更新できるようにするために、本実施の形態では移動平均値による疵候補個数を算出している。
【0053】
例えば、移動平均値の対象とするフレーム数を7個として、7フレームごとの疵候補個数の平均を求める。上記図4に示した鋼板疵の場合、(2+4+4+1+1+4)/7≒2.3となり、最初の7フレーム(図4では、1列目の各フレーム)では平均2.3個の疵候補個数が存在していることになる。
【0054】
次に、最初の7フレーム中において、第1のフレームを除く第2のフレーム〜第7のフレーム、及び第8番目のフレーム(図4では、2列目の先頭のフレーム)を合わせた7つのフレームにおける疵候補個数の平均を同様に求める。これを順次、1フレームずつずらしながら7フレームの平均を常に求めていけば、鋼板1に対する移動平均値に基づく疵候補個数が求まることになる。
【0055】
上記図4に示した疵検出の場合、仮に3個以上で検出閾値を更新するとしたとき、最初の7フレームで計3回の閾値の更新が発生してしまう。ところが、このような短い範囲で閾値を頻繁に更新する必要はない。移動平均値を用いれば、例えば、7フレームであれば各フレームには1/7の重さでしか影響が及ばなくなり、7フレームの移動平均値を算出しながら各フレームで閾値の更新を行うか否かの判断することになる。
【0056】
このように、上記移動平均値を用いて検出閾値の更新を行うようにする疵検出は、特定のフレーム11内で局所的に発生した事情による閾値に対する影響を小さくできるとともに、地合模様が徐々に変化するような鋼板1においては、その地合の変動を閾値更新のパラメータとして正確に取り込むことが可能になる。
【0057】
また、詳細は後述するが、疵候補個数をその変動の経過(ヒステリシス)に依存するように反映させることで、地合模様の変化により正確に対応する疵検出を行うことができる。
【0058】
次に、求めた疵候補個数に基づいて、疵検出閾値を更新(修正)していく実際の手順について説明する。
図5は、閾値を更新する際の疵候補個数の時間推移を示している。図5に示す特性図の横軸は経過時間を示し、縦軸は移動平均疵候補個数と比較する疵候補個数である。
【0059】
図5では、疵検出閾値を更新する疵候補個数を、上限基準では40個、及び下限基準では5個に設定して行う例を示している。すなわち、検出される疵候補の個数が基準値の40個を超える場合、検出感度が良すぎることになる。そこで、現在設定されている検出閾値を高めに更新して検出感度を下げ、次のフレームで検出される疵候補の個数を40個以下に抑えるようにする。
【0060】
これに対して、検出される疵候補の個数が基準値の5個を下回る場合、検出感度が悪すぎることになる。そこで、現在設定されている検出閾値をさらに低めに更新して検出感度を上げ、次のフレームで検出される疵候補の個数を5個以上になるようにする。
【0061】
図5の特性図を用いて、上述した内容をさらに具体的に説明する。図5に示すように、例えば、ある時点で検出される移動平均疵候補個数が上限疵候補個数の40個を超えて2割以上増加した場合(48個以上)、検出感度を下げるようにするため検出閾値を徐々に遠ざけていく。これに対応して検出される疵候補個数は徐々に減少するようになるが、40個の2割以下(32個以下)になってくれば、検出感度が下がり過ぎになるので元の感度になるように閾値をやや近づける更新をして検出感度を戻すようにする。図6に、上述した検出閾値が更新される際の概念図を示す。
【0062】
また、例えば、ある時点で検出される移動平均疵候補個数が下限疵候補個数の5個の2割以下(4個以下)の場合、検出感度が低過ぎるので高感度にすべく、検出閾値をさらに近づけて設定する。これに対応して検出される疵候補個数は徐々に増加していくが、5個の2割以上(6個以上)になってくれば、検出感度が上がり過ぎになっていくので元の検出感度なるように閾値をやや遠ざける更新をして戻すようにする。
【0063】
このように、検出閾値に対して所定の幅(上述の場合、±2割)を有するようにすることで、検出閾値を更新するか否かの判断にそれまでの疵検出個数の履歴ともいうべきヒステリシスを考慮できるようになる。
【0064】
また、上記基準値の40個(及び5個)を判断基準にして、検出閾値を一回更新しても、また移動平均疵候補個数が40個以上(及び5個以下)になる場合は、さらに低感度(高感度)になるように、第2回目、第3回目等の修正という検出閾値の調整を重ねて施すようにしている。
【0065】
上述した多段階方式によって検出閾値を更新する方法を、図7を参照しながら説明する。図7に示す特性図は、疵検出するための画像処理上の検出フィルタとして5種類設定して、基準閾値及び更新オフセット値が各検出フィルタでそれぞれ独立していることを示している。
【0066】
上記5種類のフィルタは、具体的には例えば、凹凸疵検出フィルタ、一般疵検出フィルタ、微小疵検出フィルタ、製鋼、圧延疵検出フィルタ、及び自工程疵検出フィルタである。ここで、8ビットのデータであれば、256段階の輝度値であらわすことができるので、中間の128を境にして高輝度成分と低輝度成分とに分ける。図7では、高輝度成分を上、低輝度成分を下として示している。
【0067】
凹凸疵検出フィルタを例にすれば、本実施の形態では、上の基準閾値を180として、低感度オフセット値を10としている。上述したように、逐次算出される移動平均疵候補個数が、所定の上限疵候補個数(図5に示した例の場合、40個)の2割増し(40+40*0.2=48個)を超えた場合、検出感度を低くするために、基準閾値180にオフセット量10を加算して検出閾値を190(低感度1)にする。
【0068】
上述のように、検出閾値を基準閾値180よりも遠ざけることにより、これまでよりも高輝度の画素でないと疵候補として認識されなくなるので、検出感度は低感度の傾向になったことになる。検出閾値を190に更新しても、さらに算出される移動平均疵候補個数が、所定の上限疵候補個数の2割増しを超えるような場合、検出閾値190に対してオフセット量10を再加算して検出閾値を200(低感度2)にする。そして、必要に応じてこの処理を繰り返すことを行う(低感度1→低感度2→低感度3→……)。
【0069】
このような基準閾値に対するオフセット量の加算を用いた検出閾値の更新により、凹凸疵検出フィルタ(上)の検出感度は、段階的に低感度にすることができる。
同様な考え方で、下の基準値に対してもオフセット修正を行ったり、他の種類の検出フィルタに対してもオフセット修正を行ったりする。
また、検出感度を低感度にする場合のみならず、高感度にする場合にも同様な多段階修正を適用することが可能である。
【0070】
なお、図5に示す溶接点51は鋼板1の接続部であり、処理対象のフレームがこの溶接点51になった場合、上述した検出閾値をデフォルトに戻すようにする。そして、移動平均値を算出して戻した検出閾値が妥当であるか否かを判断するようにしている。
【0071】
また、本実施の形態で示した移動平均疵候補個数、基準閾値、及びオフセット値は一例であり、鋼板1の種類や製造ライン等によって適切な値が設定されることは言うまでもない。
【0072】
また、本実施の形態では1台の撮像部2(撮像カメラ)で鋼板1の幅方向をすべて網羅しているものとして説明したが、鋼板1の板幅長が大きく照明部または撮像部2との関係で、1台の撮像カメラで1フレームを板幅長までとれない場合もある。この場合、上記板幅方向を分割して1フレームがさらに複数のフレームとなることもあり得るが、この場合は幅方向の複数のフレームを合成することにより、移動平均値の算出をはじめとする疵検出アルゴリズムの基本的な考え方は同様に適用できるものである。
【0073】
また、本実施の形態では疵候補個数を移動平均値によって算出する方法を示したがこれに限るものではなく、他の算出指標によって疵候補個数を算出するようにしてもよい。
【0074】
また、本実施の形態では鋼板1表面の疵の有無を検出する疵検出装置10について説明したが、疵の存在する箇所が鋼板1表面でなく鋼板1内部に存在する場合にも適用することができる。例えば、照明処理部における発光部を、可視光の替わりに紫外線、赤外線、または放射線等を用いて構成した疵検出装置によっても、上述した疵検出を実現できるものである。
【0075】
上述したように、本実施の形態によれば、複数フレームから検出された疵候補個数の移動平均値を算出して、上記移動平均算出値が所定の基準検出閾値の範囲に入るように制御することで、画像処理部3における疵検出のための検出感度の調整を行うようにしている。
【0076】
これにより、地合模様を有する鋼板1の場合には、上記オフセット値の加算または減算によって検出感度を地合模様に追従させることができる。また、鋼板1表面に疵を有している場合には、疵候補の移動平均に基づく検出閾値の設定により、不必要な閾値更新が繰り返されることを防止することができる。
【0077】
【発明の効果】
上述したように、本発明によれば、疵検出を行う対象物を撮像手段により撮像して得られた画像信号に基づいて疵検出を行う際に、所定の検出閾値に基づいて上記対象物より検出した疵候補個数をパラメータとして上記疵検出を行う対象物の状態を把握して、上記検出閾値を更新するようにした。これにより、上記疵検出を行う対象物の色合いや輝度等の変化に基づく疵と推定してしまう不都合を可及的に防止することが可能となり、本来の疵を検出する精度を格段と向上させることができる。また、疵検出の過程で取り込んでしまった種々のノイズを排除して、精度の高い疵検出を行うことができる。
【0078】
また、本発明のその他の特徴によれば、1画像画面ごとに疵候補を検出して、得られた複数個の疵候補個数の移動平均値を算出し、疵検出の閾値を更新するか否かを判断するようにしているので、特定の画像画面で局所的に発生した事情による閾値に対する影響を小さくできるとともに、対象物全体で徐々に変化するような変動についてもその変化を閾値更新に正確に取り込むことができる。
【0079】
また、本発明のその他の特徴によれば、疵候補個数と所定の疵候補個数とを比較しながら、疵検出のための検出閾値を更新するようにしたので、疵検出の途中で過負荷により処理不能になるのを防止することができ、かつ処理限界付近で常に疵検出を行うことが可能となる。このため、疵個数の多少にかかわらず、画像処理が休止したり、或いは停止したりすることなく、対象物全体にわたって安定したリアルタイムの疵検出を行うようにすることができる。
【図面の簡単な説明】
【図1】本発明の実施の形態を示し、疵検出装置の概略構成の一例を示した図である。
【図2】本発明の実施の形態である疵検出装置の動作手順の一例を示すフローチャートである。
【図3】地合模様と疵候補個数との関係を示した特性図である。
【図4】フレーム単位で検出した疵候補個数の移動平均を算出する処理を説明するための図である。
【図5】検出閾値を更新する際のヒステリシスを説明するための図である。
【図6】検出閾値の更新を説明するための図である。
【図7】検出閾値を段階的に更新する処理を説明するための図である。
【符号の説明】
10 疵検出装置
1 鋼板
2 撮像部
3 画像処理部
4 信号処理部
5 疵検出処理部
6 疵候補個数算出部
7 検出閾値更新部
8 モニタ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a wrinkle detection device and a wrinkle detection method, and in particular, detects a surface wrinkle of the steel plate or the like based on an image signal obtained by imaging the surface of an object for detecting wrinkles such as a steel plate or steel material. It is suitable for use in.
[0002]
[Prior art]
Conventionally, in steel plate production lines of the steel industry, wrinkle detection for detecting surface flaws of a steel plate has been performed to ensure quality. In this wrinkle detection, the surface of the steel sheet is irradiated with light, and image data representing the state of the steel sheet surface is generated by applying predetermined image processing to the image signal generated from the obtained reflected light, The presence or absence of surface wrinkles is detected.
[0003]
In the image processing in the wrinkle detection, in order to extract wrinkles on the steel sheet surface, for example, a binarization process is performed to divide the image data representing the state of the steel sheet surface by a predetermined threshold value, and an image exceeding the threshold value is obtained. It is determined that the steel plate position corresponding to the data is a saddle portion (see, for example, Patent Document 1).
[0004]
Here, the threshold value used when determining whether or not the portion where the state of the steel sheet surface is changing is wrinkle is usually a fixed threshold value set to a constant value. An optimal threshold value determined in consideration of the presence or absence of a plating layer on the surface of the steel sheet, the material (steel type) of the steel sheet, or the characteristics of the manufacturing process is set in advance before the steel plate loading operation is started. Has been made.
[0005]
Also known is a method for determining wrinkles without setting the detection threshold as a fixed value. For example, there is a wrinkle detection method in which the detection threshold value is dynamically set while actually evaluating the skin condition on the surface of the steel sheet carried into the production line and calculating an evaluation reference value such as a luminance dispersion value. According to the wrinkle detection method, the characteristics of the actual steel sheet background are quantified in time series, and the wrinkle detection threshold can be sequentially changed in accordance with the travel of the steel sheet.
[0006]
[Patent Document 1]
JP-A-8-189905
[0007]
[Problems to be solved by the invention]
By the way, in an actual steel plate, for example, a steel plate manufactured with a texture pattern on the surface portion, or if the surface portion has an overall uniform and smooth finish due to the characteristics of the steel type and manufacturing process. There is a steel plate or the like in which a so-called rough skin phenomenon occurs.
[0008]
If wrinkle detection is performed on a steel plate in which the rough skin phenomenon as described above has occurred using a fixed detection threshold as shown in Patent Document 1, it may be difficult to perform good wrinkle detection. Many. That is, in the steel plate in which the rough skin phenomenon has occurred, the actual detection threshold varies greatly over the entire length of the steel plate, and a large difference occurs from the detection threshold set assuming that it is the optimum value. The same can be said for steel sheets having a texture pattern as well as rough steel sheets.
[0009]
For this reason, the wrinkle detection method based on image processing using a fixed detection threshold has a problem that it is difficult to carry out accurate wrinkle detection over the entire length of the steel sheet.
Therefore, in particular, a rough skin steel plate or the like uses a technique (for example, a luminance dispersion value) that detects wrinkles while dynamically changing the threshold as described above, instead of a fixed detection threshold.
[0010]
However, the wrinkle detection based on the luminance dispersion value is not a direct detection of the wrinkle itself, but a method of indirectly estimating the wrinkle portion by monitoring the actual state of the steel sheet where the degree of change in luminance varies. . Therefore, depending on the luminance dispersion value, there is a problem that a texture pattern or rough surface position that is not a wrinkle may be recognized as a wrinkle of a steel plate.
[0011]
Further, in order to realize the wrinkle detection processing of the steel sheet carried into the production / detection line in real time, it is necessary to perform processing for one frame, that is, each image screen in a short time. For this reason, in general, an algorithm for limiting the number of wrinkles that can be detected in one frame is incorporated in image processing for wrinkle detection.
[0012]
When the upper limit of the number of wrinkles that can be detected is set as described above, if the texture pattern or the rough skin portion is erroneously recognized as wrinkles by the luminance dispersion value, the erroneously recognized ground pattern is detected in the wrinkle detection process. Since the number of wrinkles and rough skin is counted as the number of wrinkles, the above upper limit range may be exceeded. For this reason, there is a problem that an important defect that should have been detected originally is missed without being recognized.
[0013]
In addition, when the number of wrinkles within the above upper limit range is detected within one frame, the load on the computer that performs image processing becomes excessive, and the calculation processing continues further. It can be impossible. In order to avoid such an incomputable state, the computer takes measures such as discarding soot data in the frame from the storage memory during the soot detection process.
[0014]
Thereby, the processing of the next frame can be continued and performed so that continuous wrinkle detection can be performed in real time. However, in the above-described case, there is a possibility that an undetected wrinkle location remains in the frame in which the processing is interrupted in the middle and the wrinkle data is discarded.
[0015]
Furthermore, a steel plate with a traveling distance corresponding to the time required for discarding data from the storage memory described above is also excluded from the detection target, resulting in a steel plate that has not been detected.
As described above, in the conventional wrinkle detection method, stable wrinkle detection is not performed over the entire length of the steel sheet, and there is a problem that it is difficult to put the wrinkle detection device in an actual production / detection line into practical use.
[0016]
In view of the above problems, the present invention makes it possible to reliably detect wrinkles on the surface of a steel sheet carried into a production / detection line, and to perform stable and high-quality wrinkle detection over the entire length of the steel sheet. The purpose is to be able to.
[0017]
[Means for Solving the Problems]
A wrinkle detection device according to the present invention is a wrinkle detection device that performs wrinkle detection based on an image signal obtained by imaging an object to be subjected to wrinkle detection with an imaging unit, and has a detection threshold for performing the above-described wrinkle detection. Further, the present invention is characterized in that the number of wrinkle candidates detected from the target for performing wrinkle detection is dynamically updated as a parameter.
[0018]
Another feature of the present invention is a wrinkle detection device that performs wrinkle detection based on an image signal obtained by imaging an object to be wrinkled with an imaging unit, and performs the wrinkle detection. A wrinkle detection processing means for detecting a wrinkle candidate generated in an object based on a predetermined detection threshold, a wrinkle candidate number setting means for setting the number of wrinkle candidates detected by the wrinkle detection processing means as a parameter, and the wrinkle candidate Threshold value updating means for updating the detection threshold value using the number of wrinkle candidates set by the number setting means as a parameter.
[0019]
The wrinkle detection method of the present invention is a wrinkle detection method that performs wrinkle detection based on an image signal obtained by imaging an object for wrinkle detection with an imaging unit, and sets a detection threshold for performing the above-described wrinkle detection. Further, the present invention is characterized in that the number of wrinkle candidates detected from the target for performing wrinkle detection is dynamically updated as a parameter.
[0020]
Another feature of the present invention is a wrinkle detection method that performs wrinkle detection based on an image signal obtained by imaging an object to be wrinkled with an imaging unit. A wrinkle detection processing procedure for detecting a wrinkle candidate generated in an object based on a predetermined detection threshold, a wrinkle candidate number setting procedure for setting the number of wrinkle candidates detected by the wrinkle detection processing procedure as a parameter, and the wrinkle candidate And a threshold value updating procedure for updating the detection threshold value using the number of wrinkle candidates set by the number setting procedure as a parameter.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of a wrinkle detection device and a wrinkle detection method of the present invention will be described with reference to the drawings.
[0022]
The present invention is applied to, for example, a wrinkle detection apparatus 10 as shown in FIG. A steel plate manufactured on a rolled steel plate manufacturing line will be described as an example of an object on which the wrinkle detection device 10 of the present embodiment performs wrinkle detection.
[0023]
In the present embodiment, the wrinkle detection apparatus 10 quantifies the number of wrinkle candidates including the actual wrinkles on the surface of the steel sheet by associating the degree of the steel sheet background pattern (hereinafter referred to as a texture pattern) with the number of wrinkle candidates. As a result, the threshold value used for wrinkle detection, that is, the detection sensitivity is appropriately updated.
[0024]
<Overall Configuration of Wrinkle Detection Device 10>
As shown in FIG. 1, the wrinkle detection device 10 is generated based on an imaging unit 2 such as a CCD camera that images the surface of the steel sheet 1 after the rolling process, and an image signal obtained by imaging by the imaging unit 2. An image processing unit 3 for processing image data and a monitor 8 are provided.
[0025]
The imaging unit 2 receives reflected light from the steel plate 1 illuminated by an illuminating unit (not shown), generates an image signal, and outputs the generated image signal to the image processing unit 3. The image processing unit 3 performs predetermined image processing on the input image signal to generate image data representing the state of the steel sheet surface.
[0026]
The image processing unit 3 includes a signal processing unit 4, a wrinkle detection processing unit 5, a wrinkle candidate number calculation unit 6, and a detection threshold update unit 7.
The signal processing unit 4 performs preprocessing of data processing performed by the subsequent eyelid detection processing unit 5 on the image signal input from the imaging unit 2. The contents of the preprocessing include CCD element variation correction, image brightness correction, steel plate edge detection, noise processing, and the like.
[0027]
The wrinkle detection processing unit 5 detects a steel plate portion that can be estimated as wrinkles by a predetermined algorithm. Further, display control is performed so that the detected heel portions 15 and 16 are displayed on the display screen of the monitor 8. The eyelid detection processing unit 5 includes frames 11, 12, 13,. . . The above-described wrinkle detection is performed every time.
[0028]
The wrinkle candidate number calculation unit 6 calculates the number of wrinkle candidates used for determining whether or not to update the detection threshold based on the number of wrinkles detected by the wrinkle detection processing unit 5, as will be described in detail later.
Note that the frames 11, 12, 13,. . . The information on the wrinkle position and the number of wrinkles detected on the steel sheet or the number of wrinkle candidates calculated by the wrinkle candidate number calculation unit 6 may be recorded by a recording unit as necessary.
[0029]
<Operation of Wrinkle Detection Device 10>
Here, the basic operation of the eyelid detection device 10 will be described with reference to the flowchart shown in FIG. The wrinkle detection device 10 picks up the surface of the steel sheet 1 carried into the line by the image pickup unit 2 to generate an image signal, performs the wrinkle detection process on the generated image signal by the image processing unit 3, and An operation of updating the wrinkle detection threshold is performed while performing the wrinkle detection process. Below, operation | movement of the wrinkle detection apparatus 10 is demonstrated in order.
[0030]
First, when the steel plate 1 on the travel line starts moving in the direction of the wrinkle detection device 10 and the steel plate position detection unit (not shown) detects that the steel plate 1 has reached a predetermined position, the imaging unit 2 While irradiating light toward the steel plate 1, the imaging unit 2 is operated (step S201).
[0031]
Next, in step S <b> 202, the imaging unit 2 captures the steel plate 1, converts an optical image of the steel plate surface into an image signal, and outputs the image signal to the image processing unit 3. The signal processing unit 4 in the image processing unit 3 performs predetermined signal processing (A / D conversion, CCD element variation correction, etc.) and image processing (image brightness correction) on the image signal input from the imaging unit 2. , Steel plate edge detection, noise removal, etc.) and output to the wrinkle detection processing unit 5.
[0032]
Next, in step S <b> 203, the wrinkle detection processing unit 5 determines whether an image signal is input from the signal processing unit 4. If an image signal is input as a result of this determination, the process proceeds to step S204, where the wrinkle detection processing unit 5 is estimated as a wrinkle in the current frame 11 based on the set reference detection threshold (a wrinkle candidate). ) Is detected.
[0033]
Next, in step S <b> 205, the wrinkle candidate number calculation unit 6 calculates a moving average value of the number of wrinkle candidates detected in the previous frames 12, 13 including the current frame 11. In the present embodiment, the moving average value of 7 frames is calculated with 6 previous frames. However, the present invention is not limited to this. For example, if the previous frame is 3 frames, the moving average value is an average of the number of wrinkle candidates detected in each frame of a total of 4 frames.
[0034]
Next, in step S206, the detection threshold value update unit 7 compares the number of wrinkle candidates based on the moving average value calculated in step S205 with a predetermined number of wrinkle candidates. Here, the predetermined number of wrinkle candidates represents a guideline of an allowable value in calculation of image processing, and each frame 11, 12, 13,. . . It is a guideline for the upper limit or lower limit of the number of wrinkle candidates allowed in.
[0035]
Next, in step S207, the detection threshold update unit 7 determines whether or not to adjust a predetermined offset amount with respect to the set reference detection threshold based on the comparison result in step S206. If the number of wrinkle candidates exceeds the upper limit value, the process proceeds to step S208, and the detection threshold update unit 7 adds the offset amount to the reference detection threshold and updates the detection threshold by increasing. Do. On the other hand, when the number of wrinkle candidates exceeds the lower limit value, the offset value is subtracted from the reference detection threshold value, and the detection threshold value is reduced.
[0036]
Next, in step S209, the wrinkle detection device 10 determines whether or not wrinkle detection on the steel sheet 1 has been completed. If the detection of wrinkles is completed as a result of the above determination, the operations of the illumination unit and the imaging unit 2 that are illuminating the steel plate 1 are stopped and the process is terminated.
On the other hand, if it is determined as a result of the determination in step S209 that the wrinkle detection has not been completed, the process returns to step 202 and the above-described series of operations such as imaging of the steel sheet 1, wrinkle detection, and detection threshold update are repeated. Do.
[0037]
<Wrinkle detection algorithm>
Next, a wrinkle detection algorithm for detecting wrinkles 15 and the like generated in the steel plate 1 by the wrinkle detection processing unit 5 in the image processing unit 3 will be described.
[0038]
First, the relationship between the formation pattern on the surface of the steel plate 1 and the number of wrinkle candidates will be described.
FIG. 3 is a diagram illustrating the relationship between the formation pattern and the number of wrinkle candidates. The horizontal axis of the graph shown in FIG. 3 indicates the ratio of formation patterns per unit area on the steel sheet surface, and the vertical axis indicates the number of ridge candidates. Here, the number of wrinkle candidates is the number obtained by adding the actual number of wrinkles to the number of places that are not actual wrinkles but are estimated as wrinkles in image processing.
[0039]
As a result of examining the relationship between the formation pattern and the number of candidate ridges, as shown in FIG. 3, when the ratio of the formation pattern per unit area exceeds approximately 60 to 70%, the number of candidate ridges increases rapidly. Turned out to be.
[0040]
For this reason, in the wrinkle detection algorithm of the present embodiment, the number of wrinkle candidates is used as a criterion for recognizing that an arbitrary portion of the surface of the steel plate 1 is a wrinkle portion. And in order to be able to adapt flexibly to wrinkle detection on the actual surface of the steel plate 1, the frames 11, 12, 13,. . . The detection threshold (detection sensitivity) varies according to the increase / decrease in the number of wrinkle candidates for each.
[0041]
The merit of using the number of wrinkle candidates as described above as a wrinkle detection threshold is that the degree of image fluctuation is determined by the frames 11, 12, 13,. . . It can be measured directly. That is, even when the brightness of the image changes due to the formation pattern or rough skin, the brightness change portion is not immediately estimated as the wrinkle of the steel plate 1, but is set based on the number of wrinkle candidates that are directly measured and detected. Since the wrinkle location 15 and the like are estimated from the threshold value, there is an effect that reliable wrinkle detection can be performed.
[0042]
Specifically, for example, in the case of the steel plate 1 in which the texture and roughness increase in proportion to the travel, the number of wrinkle candidates also increases as shown in FIG. On the other hand, if the appearance of texture patterns and rough skin decreases, the number of wrinkle candidates also decreases.
[0043]
Therefore, the number of wrinkle candidates is detected in real time, and if the detected number of wrinkle candidates tends to increase, a correction is made to increase the detection threshold setting. If there is a tendency to decrease, correction is made so as to lower the detection threshold setting.
[0044]
In this way, by adjusting the detection threshold corresponding to the variation in the number of wrinkle candidates, the presence / absence of a wrinkle location is determined, thereby preventing as much as possible a mistake that misses wrinkle detection.
[0045]
Next, the above-described method for calculating the number of wrinkle candidates will be described more specifically. In this embodiment, a moving average value is used for calculating the number of wrinkle candidates.
FIG. 4 is a conceptual diagram for explaining detection of wrinkle candidates using the moving average value. A plurality of black circle portions 41 shown in FIG. 4 indicate ridge portions generated on the surface of the steel plate 1.
[0046]
Also, frames 11, 12, 13,. . . The division for each (one screen) is indicated by a dotted line on the steel plate surface. The length of the one frame 11 is in the range of about 0.5 m to 2 m in the rolling direction (traveling direction), and is actually determined by the line speed of the steel plate 1.
[0047]
For example, if the line speed decreases, the length of one frame becomes 0.5 m, and the resolution of wrinkle detection increases. On the other hand, if the line speed is increased, the length of one frame becomes 2 m, and the resolution of wrinkle detection decreases.
[0048]
In the example of the steel plate 1 shown in FIG. 4, in order to obtain the moving average value, the average value of the number of wrinkle candidates generated in seven frames is calculated.
In order to facilitate the description of the calculation of the moving average value, in FIG. 4, for convenience, the steel plate 1 is cut every seven frames, and these are shown in a stacked manner. However, the steel plates carried into the actual rolled steel plate production line are shown. Reference numeral 1 denotes a continuous plate, which detects wrinkles by calculating a moving average value continuous over the entire length of the steel plate 1. In addition, the direction (longitudinal direction of the steel plate shown in FIG. 4) perpendicular to the rolling direction in the frame corresponds to the plate width of the steel plate 1.
[0049]
The case where the defect candidate generated on the surface of the steel plate 1 is detected means that the actual steel plate defect that has occurred suddenly for some reason is recognized or gradually changes depending on the production line and process. This is the case when the formation pattern is recognized.
[0050]
For this reason, the variation in the number of wrinkle candidates detected for each frame is abrupt variation in comparison with the preceding and succeeding frames in the case of the above-described actual wrinkle suddenly appearing.
In this case, for example, a so-called local increase in the number of wrinkle candidates that occurs only in a specific frame 11 is directly reflected in the wrinkle detection threshold, that is, the influence of the specific frame 11 is equal to the weight ( Setting weight value = 1) is not appropriate in correcting the wrinkle detection threshold based on the number of wrinkle candidates.
[0051]
On the other hand, since the same number of wrinkle candidates is detected in the case of a change in the formation pattern, the fluctuation of the number of wrinkle candidates detected for each frame continues to be moderate. Therefore, in order to grasp the change of the formation pattern, it is necessary to detect the state of the background on the surface of the steel sheet 1 within a range of several meters to several hundred meters.
[0052]
As described above, the variation in the number of wrinkle candidates by each steel plate 1 is moderate, and in order to be able to update the threshold value for wrinkle detection after accurately determining any variation, the movement is performed in the present embodiment. The number of wrinkle candidates based on the average value is calculated.
[0053]
For example, assuming that the number of frames targeted for the moving average value is 7, the average of the number of wrinkle candidates for every 7 frames is obtained. In the case of the steel plate cage shown in FIG. 4 above, (2 + 4 + 4 + 1 + 1 + 4) /7≈2.3, and in the first seven frames (each frame in the first row in FIG. 4), there are an average of 2.3 candidates for the cage. Will be.
[0054]
Next, in the first seven frames, the second frame to the seventh frame excluding the first frame and the eighth frame (the first frame in the second column in FIG. 4) are combined. The average of the number of wrinkle candidates in the frame is obtained in the same manner. If the average of 7 frames is constantly obtained while sequentially shifting this one frame at a time, the number of wrinkle candidates based on the moving average value for the steel plate 1 is obtained.
[0055]
In the case of wrinkle detection shown in FIG. 4, if the detection threshold value is updated with three or more, the threshold value is updated three times in the first seven frames. However, it is not necessary to frequently update the threshold within such a short range. If the moving average value is used, for example, if there are 7 frames, each frame will only be affected by 1/7 weight, and whether the threshold value is updated in each frame while calculating the moving average value of 7 frames. It will be judged whether or not.
[0056]
As described above, the wrinkle detection in which the detection threshold is updated using the moving average value can reduce the influence on the threshold due to the local occurrence in the specific frame 11 and the formation pattern gradually. In the steel plate 1 that changes to the above, it is possible to accurately capture the change in formation as a parameter for updating the threshold.
[0057]
Although details will be described later, by reflecting the number of wrinkle candidates so as to depend on the change (hysteresis) of the fluctuation, it is possible to accurately detect wrinkles corresponding to changes in the formation pattern.
[0058]
Next, an actual procedure for updating (correcting) the wrinkle detection threshold based on the obtained number of wrinkle candidates will be described.
FIG. 5 shows the time transition of the number of wrinkle candidates when the threshold is updated. The horizontal axis of the characteristic diagram shown in FIG. 5 indicates the elapsed time, and the vertical axis indicates the number of wrinkle candidates to be compared with the moving average number of wrinkle candidates.
[0059]
FIG. 5 shows an example in which the number of wrinkle candidates for updating the wrinkle detection threshold is set to 40 for the upper limit criterion and 5 for the lower limit criterion. That is, when the number of wrinkle candidates to be detected exceeds the reference value of 40, the detection sensitivity is too good. Therefore, the currently set detection threshold is updated to a higher value to lower the detection sensitivity so that the number of wrinkle candidates detected in the next frame is suppressed to 40 or less.
[0060]
On the other hand, when the number of wrinkle candidates to be detected is less than the reference value of 5, the detection sensitivity is too bad. Therefore, the detection threshold currently set is updated to a lower value to increase the detection sensitivity so that the number of wrinkle candidates detected in the next frame is 5 or more.
[0061]
The above content will be described more specifically with reference to the characteristic diagram of FIG. As shown in FIG. 5, for example, when the number of moving average wrinkle candidates detected at a certain time exceeds the upper limit wrinkle candidate number and increases by 20% or more (48 or more), the detection sensitivity is lowered. Therefore, the detection threshold is gradually moved away. Corresponding to this, the number of wrinkle candidates detected gradually decreases, but if it becomes less than 20% of 40 (32 or less), the detection sensitivity becomes too low, so the original sensitivity is restored. Thus, the detection sensitivity is returned by updating the threshold value so as to be slightly closer. FIG. 6 shows a conceptual diagram when the above-described detection threshold is updated.
[0062]
Also, for example, when the number of moving average wrinkle candidates detected at a certain time is 20% or less of the lower limit wrinkle candidate number (4 or less), the detection sensitivity is too low and the detection threshold is set to be high. Set it closer. Corresponding to this, the number of wrinkle candidates detected gradually increases, but if it becomes more than 20% (6 or more) of 5, the detection sensitivity will increase too much, so the original detection Update the threshold to be slightly further away so as to be sensitive.
[0063]
Thus, by having a predetermined width (± 20% in the above case) with respect to the detection threshold, it is also referred to as a history of the number of wrinkles detected so far in determining whether to update the detection threshold. Power hysteresis can be taken into account.
[0064]
In addition, even if the detection threshold is updated once with 40 (and 5) of the reference values as a criterion, and the number of moving average wrinkle candidates is 40 or more (and 5 or less), Further, detection threshold adjustments such as second and third corrections are repeatedly performed so as to lower the sensitivity (high sensitivity).
[0065]
A method of updating the detection threshold by the above-described multistage method will be described with reference to FIG. The characteristic diagram shown in FIG. 7 shows that five types of detection filters for image processing for detecting wrinkles are set, and the reference threshold value and the update offset value are independent for each detection filter.
[0066]
Specifically, the five types of filters are, for example, an uneven wrinkle detection filter, a general wrinkle detection filter, a fine wrinkle detection filter, steel making, a rolled wrinkle detection filter, and a self-process flaw detection filter. Here, since 8-bit data can be represented by 256 levels of luminance values, it is divided into a high-luminance component and a low-luminance component with 128 in the middle. In FIG. 7, the high luminance component is shown as the top and the low luminance component is shown as the bottom.
[0067]
Taking the uneven wrinkle detection filter as an example, in the present embodiment, the upper reference threshold value is 180 and the low sensitivity offset value is 10. As described above, the number of moving average wrinkle candidates calculated sequentially exceeds the predetermined upper limit wrinkle candidate number (40 in the example shown in FIG. 5) by 20% (40 + 40 * 0.2 = 48). In this case, in order to lower the detection sensitivity, the offset amount 10 is added to the reference threshold value 180 to set the detection threshold value to 190 (low sensitivity 1).
[0068]
As described above, by moving the detection threshold away from the reference threshold 180, the pixel is not recognized as a wrinkle candidate unless the pixel has a higher luminance than before, so that the detection sensitivity tends to be low. Even if the detection threshold value is updated to 190, if the calculated number of moving average wrinkle candidates exceeds 20% of the predetermined upper limit wrinkle candidate number, the offset amount 10 is re-added to the detection threshold value 190. The detection threshold is set to 200 (low sensitivity 2). Then, this process is repeated as necessary (low sensitivity 1 → low sensitivity 2 → low sensitivity 3 →...).
[0069]
By updating the detection threshold value using the addition of the offset amount with respect to the reference threshold value, the detection sensitivity of the uneven wrinkle detection filter (upper) can be gradually lowered.
In the same way, offset correction is performed for the lower reference value, and offset correction is performed for other types of detection filters.
Further, the same multi-step correction can be applied not only when the detection sensitivity is lowered but also when the detection sensitivity is raised.
[0070]
In addition, the welding point 51 shown in FIG. 5 is a connection part of the steel plate 1, and when the process target frame is the welding point 51, the above-described detection threshold value is returned to the default. Then, it is determined whether or not the detection threshold value obtained by calculating and returning the moving average value is appropriate.
[0071]
Further, the number of moving average soot candidates, the reference threshold value, and the offset value shown in the present embodiment are examples, and it goes without saying that appropriate values are set depending on the type of the steel plate 1 and the production line.
[0072]
Further, in the present embodiment, it has been described that one imaging unit 2 (imaging camera) covers all the width directions of the steel plate 1, but the plate width of the steel plate 1 is large and the illumination unit or the imaging unit 2 Therefore, there are cases where one frame cannot be taken up to the plate width by one imaging camera. In this case, one frame may be divided into a plurality of frames by dividing the plate width direction. In this case, the calculation of the moving average value is started by combining the plurality of frames in the width direction. The basic idea of the soot detection algorithm is applicable as well.
[0073]
In the present embodiment, a method of calculating the number of wrinkle candidates using a moving average value has been described. However, the present invention is not limited to this, and the number of wrinkle candidates may be calculated using another calculation index.
[0074]
Further, in the present embodiment, the wrinkle detection device 10 that detects the presence or absence of wrinkles on the surface of the steel plate 1 has been described. it can. For example, the above-described wrinkle detection can also be realized by a wrinkle detection device in which the light emitting unit in the illumination processing unit is configured using ultraviolet rays, infrared rays, radiation, or the like instead of visible light.
[0075]
As described above, according to the present embodiment, the moving average value of the number of wrinkle candidates detected from a plurality of frames is calculated, and the moving average calculated value is controlled to fall within a predetermined reference detection threshold range. Thus, adjustment of detection sensitivity for wrinkle detection in the image processing unit 3 is performed.
[0076]
Thereby, in the case of the steel plate 1 having a texture pattern, the detection sensitivity can be made to follow the texture pattern by adding or subtracting the offset value. Moreover, when the surface of the steel sheet 1 has wrinkles, unnecessary threshold updating can be prevented from being repeated by setting a detection threshold based on the moving average of wrinkle candidates.
[0077]
【The invention's effect】
As described above, according to the present invention, when wrinkle detection is performed based on an image signal obtained by imaging an object for wrinkle detection by an imaging unit, the object is detected based on a predetermined detection threshold. Using the detected number of wrinkle candidates as a parameter, the state of the object on which the wrinkle detection is performed is grasped, and the detection threshold value is updated. As a result, it is possible to prevent as much as possible the inconvenience of estimating a wrinkle based on a change in the color or brightness of an object for which the wrinkle is detected, and the accuracy of detecting the original wrinkle is greatly improved. be able to. In addition, it is possible to perform high-precision wrinkle detection by eliminating various noises captured during the wrinkle detection process.
[0078]
According to another feature of the present invention, whether a wrinkle candidate is detected for each image screen, a moving average value of the obtained number of wrinkle candidates is calculated, and a threshold value for wrinkle detection is updated. Therefore, it is possible to reduce the influence on the threshold due to the situation that occurred locally on a specific image screen, and to accurately update the threshold for changes that gradually change in the entire object. Can be imported.
[0079]
In addition, according to another feature of the present invention, the detection threshold value for detecting wrinkles is updated while comparing the number of wrinkle candidates with a predetermined number of wrinkle candidates. It is possible to prevent processing from becoming impossible, and it is possible to always detect wrinkles near the processing limit. Therefore, it is possible to perform stable real-time wrinkle detection over the entire object without pausing or stopping the image processing regardless of the number of wrinkles.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an example of a schematic configuration of a wrinkle detection device according to an embodiment of the present invention.
FIG. 2 is a flowchart showing an example of an operation procedure of the wrinkle detection device according to the embodiment of the present invention.
FIG. 3 is a characteristic diagram showing the relationship between the formation pattern and the number of wrinkle candidates.
FIG. 4 is a diagram for explaining a process of calculating a moving average of the number of wrinkle candidates detected in units of frames.
FIG. 5 is a diagram for explaining hysteresis when a detection threshold is updated.
FIG. 6 is a diagram for explaining detection threshold update;
FIG. 7 is a diagram for explaining a process of updating a detection threshold in stages.
[Explanation of symbols]
10 Wrinkle detection device
1 Steel plate
2 Imaging unit
3 Image processing section
4 Signal processor
5 Haze detection processing section
6 疵 candidate number calculation part
7 Detection threshold update unit
8 Monitor

Claims (10)

疵検出を行う対象物を撮像手段により撮像して得られた画像信号に基づいて疵検出を行う疵検出装置であって、
上記疵検出を行うための検出閾値を、上記疵検出を行う対象物より検出した疵候補個数をパラメータとしてダイナミックに更新することを特徴とする疵検出装置。
A wrinkle detection device that performs wrinkle detection based on an image signal obtained by imaging an object for wrinkle detection with an imaging means,
A wrinkle detection apparatus that dynamically updates a detection threshold for performing the wrinkle detection using, as a parameter, the number of wrinkle candidates detected from an object that performs the wrinkle detection.
疵検出を行う対象物を撮像手段により撮像して得られた画像信号に基づいて疵検出を行う疵検出装置であって、
上記疵検出を行う対象物に生じた疵候補を所定の検出閾値に基づいて検出する疵検出処理手段と、
上記疵検出処理手段により検出した疵候補の個数をパラメータとして設定する疵候補個数設定手段と、
上記疵候補個数設定手段により設定された疵候補の個数をパラメータとして、上記検出閾値を更新する閾値更新手段とを有することを特徴とする疵検出装置。
A wrinkle detection device that performs wrinkle detection based on an image signal obtained by imaging an object for wrinkle detection with an imaging means,
Wrinkle detection processing means for detecting wrinkle candidates generated in the target for performing the wrinkle detection based on a predetermined detection threshold;
疵 candidate number setting means for setting, as a parameter, the number of heel candidates detected by the heel detection processing means;
A wrinkle detection apparatus comprising threshold update means for updating the detection threshold using the number of wrinkle candidates set by the wrinkle candidate number setting means as a parameter.
上記閾値更新手段は、上記疵候補個数設定手段により設定された疵候補個数と、上記検出閾値と対応した所定の疵候補個数とを比較して、上記比較結果に基づいて上記検出閾値の更新を行うことを特徴とする請求項2に記載の疵検出装置。The threshold updating means compares the number of wrinkle candidates set by the wrinkle candidate number setting means with a predetermined number of wrinkle candidates corresponding to the detection threshold, and updates the detection threshold based on the comparison result. The wrinkle detection device according to claim 2, wherein the wrinkle detection device is performed. 上記疵候補個数設定手段は、上記疵検出処理手段により検出される複数の疵候補個数の移動平均値を上記パラメータとして設定することを特徴とする請求項2または3に記載の疵検出装置。4. The wrinkle detection device according to claim 2, wherein the wrinkle candidate number setting means sets a moving average value of a plurality of wrinkle candidate numbers detected by the wrinkle detection processing means as the parameter. 上記閾値更新手段は、上記疵検出処理手段により検出される疵候補個数のヒステリシスを考慮して、上記検出閾値を更新するか否かを判断することを特徴とする請求項2〜4の何れか1項に記載の疵検出装置。5. The threshold value updating unit determines whether or not to update the detection threshold value in consideration of hysteresis of the number of wrinkle candidates detected by the wrinkle detection processing unit. The wrinkle detection device according to item 1. 上記検出閾値を基準にして所定のオフセット量を設定するオフセット量設定手段を有し、
上記疵検出処理手段により検出される1画像画面の疵候補個数が上記疵候補個数を超える場合、上記閾値更新手段は上記検出閾値を上記オフセット量分だけ修正することを特徴とする請求項3〜5に記載の何れか1項に記載の疵検出装置。
An offset amount setting means for setting a predetermined offset amount based on the detection threshold;
4. The threshold updating means corrects the detection threshold by the offset amount when the number of wrinkle candidates on one image screen detected by the wrinkle detection processing means exceeds the number of wrinkle candidates. 6. The wrinkle detection device according to any one of items 5.
上記疵検出処理手段は、上記疵検出を行う対象物に疵が存在するか否かを判断する際に使用するための複数の検出フィルタを有し、上記検出フィルタ毎に上記オフセット量を個別に設定することを特徴とする請求項6に記載の疵検出装置。The wrinkle detection processing means has a plurality of detection filters for use in determining whether or not wrinkles are present in the object to be subjected to the wrinkle detection, and individually sets the offset amount for each detection filter. The wrinkle detection device according to claim 6, wherein the wrinkle detection device is set. 上記検出フィルタは、凹凸疵検出フィルタ、一般疵検出フィルタ、微小疵検出フィルタ、製鋼、圧延疵検出フィルタ、または自工程疵検出フィルタの少なくとも何れか1つを含むことを特徴とする請求項7に記載の疵検出装置。The said detection filter contains at least any one of an uneven | corrugated flaw detection filter, a general flaw detection filter, a fine flaw detection filter, steelmaking, a rolling flaw detection filter, or a self-process flaw detection filter. The wrinkle detection device described. 疵検出を行う対象物を撮像手段により撮像して得られた画像信号に基づいて疵検出を行う疵検出方法であって、
上記疵検出を行うための検出閾値を、上記疵検出を行う対象物より検出した疵候補個数をパラメータとしてダイナミックに更新することを特徴とする疵検出方法。
A wrinkle detection method for performing wrinkle detection on the basis of an image signal obtained by imaging an object to be subjected to wrinkle detection with an imaging means,
A wrinkle detection method that dynamically updates a detection threshold for performing the above-described wrinkle detection using, as a parameter, the number of wrinkle candidates detected from an object that performs the above-described wrinkle detection.
疵検出を行う対象物を撮像手段により撮像して得られた画像信号に基づいて疵検出を行う疵検出方法であって、
上記疵検出を行う対象物に生じた疵候補を所定の検出閾値に基づいて検出する疵検出処理手順と、
上記疵検出処理手順により検出した疵候補の個数をパラメータとして設定する疵候補個数設定手順と、
上記疵候補個数設定手順により設定された疵候補の個数をパラメータとして、上記検出閾値を更新する閾値更新手順とを有することを特徴とする疵検出方法。
A wrinkle detection method for performing wrinkle detection on the basis of an image signal obtained by imaging an object to be subjected to wrinkle detection with an imaging means,
A wrinkle detection processing procedure for detecting a wrinkle candidate generated in an object for performing the wrinkle detection based on a predetermined detection threshold;
疵 candidate number setting procedure for setting the number of 疵 candidates detected by the above 疵 detection processing procedure as a parameter;
A threshold update procedure for updating the detection threshold using the number of candidate candidates set by the procedure for setting the number of candidate candidates as a parameter.
JP2003005011A 2003-01-10 2003-01-10 Wrinkle detection device and wrinkle detection method Expired - Fee Related JP4216609B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003005011A JP4216609B2 (en) 2003-01-10 2003-01-10 Wrinkle detection device and wrinkle detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003005011A JP4216609B2 (en) 2003-01-10 2003-01-10 Wrinkle detection device and wrinkle detection method

Publications (2)

Publication Number Publication Date
JP2004219177A true JP2004219177A (en) 2004-08-05
JP4216609B2 JP4216609B2 (en) 2009-01-28

Family

ID=32895799

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003005011A Expired - Fee Related JP4216609B2 (en) 2003-01-10 2003-01-10 Wrinkle detection device and wrinkle detection method

Country Status (1)

Country Link
JP (1) JP4216609B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010249685A (en) * 2009-04-16 2010-11-04 Nippon Steel Corp Flaw detector, flaw detection method and program
US8506159B2 (en) 2008-09-17 2013-08-13 Nippon Steel & Sumitomo Metal Corporation Method for detecting defect in material and system for the method
JP2014085221A (en) * 2012-10-24 2014-05-12 Jfe Steel Corp Surface defect inspection method and device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04104046A (en) * 1990-08-24 1992-04-06 Asahi Chem Ind Co Ltd Apparatus and method for processing image
JP2002181722A (en) * 2000-12-15 2002-06-26 Nippon Steel Corp Apparatus and method for determining threshold for flaw detection of steel plate, and storage medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04104046A (en) * 1990-08-24 1992-04-06 Asahi Chem Ind Co Ltd Apparatus and method for processing image
JP2002181722A (en) * 2000-12-15 2002-06-26 Nippon Steel Corp Apparatus and method for determining threshold for flaw detection of steel plate, and storage medium

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8506159B2 (en) 2008-09-17 2013-08-13 Nippon Steel & Sumitomo Metal Corporation Method for detecting defect in material and system for the method
JP2010249685A (en) * 2009-04-16 2010-11-04 Nippon Steel Corp Flaw detector, flaw detection method and program
JP2014085221A (en) * 2012-10-24 2014-05-12 Jfe Steel Corp Surface defect inspection method and device

Also Published As

Publication number Publication date
JP4216609B2 (en) 2009-01-28

Similar Documents

Publication Publication Date Title
US20100225617A1 (en) Position detection device
US20190003987A1 (en) Surface defect inspecting device and method for steel sheets
JP2007132757A (en) Visual examination method and device
JP6264132B2 (en) Inspection device and inspection method for painted surface of vehicle body
CN112200823B (en) Hot-rolled slab head warping feature detection method based on machine vision
JP2009139239A (en) Method for detecting surface flaw of band form, device and computer program thereof
JP2007251694A5 (en)
JP2006266752A (en) Defect detection method, defect inspection method, defect detection device, defect inspection device, defect detection program and recording medium for recording program
JP4216609B2 (en) Wrinkle detection device and wrinkle detection method
US8085989B2 (en) Method and apparatus for determining authenticity
CN116862908B (en) Metal gear meshing defect detection method based on image processing
JP2019138900A (en) Defect inspection device for steel plate and defect inspection method for steel plate
US20150042761A1 (en) Method, apparatus, and stereo camera for controlling image lightness
JP3984418B2 (en) Defect inspection method
JP5116462B2 (en) Quality evaluation device for paper cut surface and quality evaluation method using the same
JP2005265467A (en) Defect detection device
US20070018382A1 (en) Paper sheet processor
JP2017038139A (en) Imaging apparatus, imaging apparatus control method, and program
JP2000036033A (en) Brightness/darkness inspecting device/method
JP5413283B2 (en) Focus shift detection device, focus shift detection method and program
JPH08189905A (en) Scratch tester
JP2003156451A (en) Defect detecting device
JP2008005194A (en) Detecting device and detecting method for defective pixel
JP5949690B2 (en) Evaluation method and evaluation apparatus
JP6182024B2 (en) Unevenness measuring method and unevenness measuring apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081028

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081106

R151 Written notification of patent or utility model registration

Ref document number: 4216609

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111114

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111114

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121114

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121114

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131114

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131114

Year of fee payment: 5

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131114

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees