JP2005003574A

JP2005003574A - Method and device for inspecting surface flaw

Info

Publication number: JP2005003574A
Application number: JP2003168829A
Authority: JP
Inventors: Hajime Hashimoto; 肇橋本; Shuntaro Saito; 俊太郎齊藤; Takahiro Tasaka; 隆弘田坂; Takanori Kajiya; 孝則加治屋
Original assignee: Nippon Steel Corp
Current assignee: Nippon Steel Corp
Priority date: 2003-06-13
Filing date: 2003-06-13
Publication date: 2005-01-06

Abstract

<P>PROBLEM TO BE SOLVED: To detect a substantially harmful flaw in inspection for inspecting the presence of the flaw on an inspected material surface. <P>SOLUTION: In this surface flaw inspecting method/device, the inspected material 1 surface is image-picked up by an image pick-up device 3, a picked-up image is image-processed by an image processor 4 to conduct primary determination about the presence of the flaw, in a determination device 5, an image in the image of the inspected material surface including a portion where the presence of the flaw is determined is displayed on an image display 6, as to an inspected material 1 having the flaw determined to require secondary determination, and the presence of the flaw is determined finally based on an input result to a secondary determination input part 7, which is provided in the determination device 5, input by a judge observing the displayed image. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、被検査材表面の疵の有無を検査する表面疵検査方法及び表面疵検査装置に関するものである。
【０００２】
【従来の技術】
連続鋳造鋳片の表面や圧延鋼板の表面には、表面疵が発生することがある。連続鋳造鋳片の表面に縦割れ等の表面疵が発生しており、その縦割れの長さあるいは深さが所定の値よりも大きい場合には、そのまま鋳片を圧延すると最終製品の欠陥として残存する可能性があるため、表面疵部分を溶削して疵除去を行う必要がある。また、圧延鋼板の表面に所定の大きさ以上の表面疵が発生しているときには、表面疵発生部分を手入れするかあるいは不合格とする必要がある。
【０００３】
従来、被検査材表面の疵検査は検査員の目視によって行われていた。しかし、被検査材の全数をかつ全面にわたって検査しようとすると、多人数の熟練した検査員を擁して検査を実施する必要がある。そこで、自動的に表面疵検査を行うことのできる表面疵検査方法や表面疵検査装置が種々提案されている。
【０００４】
ＣＣＤカメラ等の撮像装置で被検査材表面を撮像し、撮像した画像をフィルタ処理等の前処理を行い、あらかじめ設定した閾値を用いて２値化し、２値化した画像のパターンから疵有無の判定を行う疵検査方法が知られている。被検査材表面を照明装置によって照明し、照明で明るくなった被検査材表面を撮像装置で撮像すれば、疵部分は影になって明度差が現れるので、疵判定を容易にすることができる。
【０００５】
被検査材表面を撮像して疵判定を行う従来の方法においては、次のような問題があった。▲１▼疵候補を確実に拾うために疵候補を見つけやすい厳しい閾値を設定するか、▲２▼２値化閾値を甘めにして、疵ではない地合模様を拾わないように設定するかの選択を迫られる。このため、▲１▼の場合は地合模様を疵候補として頻繁に拾う過検出気味の疵検査となり、また▲２▼の場合は地合模様を頻繁には拾わなくなるものの、本来の疵をも見逃す未検出気味の疵検査となる。疵検査の現場では疵見逃しを防止する要求が強く、▲１▼のように厳しい閾値を設定する必要があり、過検出気味の疵検出となる。その結果、例えば連続鋳造鋳片の疵検査であれば、本来無手入れで圧延工場に直送できるはずの鋳片が手入れに回され、手入れ負荷が増大するとともに、鋳片が直送から外れることによるエネルギーロスが生じることとなる。
【０００６】
特許文献１においては、被検査材表面を撮像し、その画像を２値化処理して表目疵を検出する表面疵検査方法において、被検査材表面を撮像した原画像に前処理を行った画像の輝度標準偏差に基づいて決定した閾値で２値化処理し、前記２値化処理画像で検出された疵候補画像の近傍を原画像から切り出し、切り出し画像の全体面積に対する疵候補画面の表面比が設定表面比となる閾値で切り出し画像を再２値化処理し、再２値化処理画像について疵を検出する表面疵検査方法が開示されている。再２値化処理画像に基づいて疵検出を行うので、疵の判定精度が向上し、疵の未検出を防止しつつ過検出の発生頻度を低減することができる。
【０００７】
【特許文献１】
特開２００２−２１４１５１号公報
【０００８】
【発明が解決しようとする課題】
特許文献１に記載の方法によって、被検査材表面の疵検査において疵の過検出と疵の未検出の発生頻度を低減することができたが、未だ完全に精度の高い検査を実現するには至っていない。
【０００９】
本発明は、被検査材表面の疵の有無を検査するものであって、実質的に有害な疵のみを検出することができる表面疵検査方法及び表面疵検査装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
即ち、本発明の要旨とするところは以下の通りである。
（１）被検査材１表面を撮像装置３で撮像し、撮像した画像を画像処理装置４で画像処理を行った上で判定装置５において疵有無の一次判定を行い、疵有り二次判定要と判定された被検査材１については、画像表示装置６に被検査材表面の画像であって疵有りと判定された部分を含む画像を表示し、判定装置５は二次判定入力部７を有し、表示された画像を観察した判定員による二次判定入力部７への入力結果に基づいて疵有無の最終判定を行うことを特徴とする表面疵検査方法。
（２）画像表示装置６に表示する画像は、疵有りと判定された部分を切り出した画像を含むことを特徴とする上記（１）に記載の表面疵検査方法。
（３）画像表示装置６に表示する画像は、撮像装置３で撮像した原画像であることを特徴とする上記（１）又は（２）に記載の表面疵検査方法。
（４）前記一次判定は、被検査材１について疵無し、疵有り二次判定要、疵有り二次判定不要の３種類に分類することを特徴とする上記（１）乃至（３）のいずれかに記載の表面疵検査方法。
（５）被検査材１表面を撮像する撮像装置３と、撮像した画像を画像処理する画像処理装置４と、疵有無の判定を行う判定装置５と、画像表示装置６とを有し、判定装置５は二次判定入力部７を有し、判定装置５は画像処理装置４で画像処理した画像に基づいて疵有無の一次判定を行い、画像表示装置６は判定装置５で疵有り二次判定要と一次判定された被検査材表面の画像であって疵有りと判定された部分を含む画像を表示し、判定装置５は表示された画像を観察した判定員による二次判定入力部７への入力結果に基づいて疵有無の最終判定を行うことを特徴とする表面疵検査装置。
（６）画像表示装置６に表示する画像は、疵有りと判定された部分を切り出した画像を含むことを特徴とする上記（５）に記載の表面疵検査装置。
（７）画像表示装置６に表示する画像は、撮像装置で撮像した原画像であることを特徴とする上記（５）又は（６）に記載の表面疵検査装置。
（８）判定装置５による一次判定は、被検査材について疵無し、疵有り二次判定要、疵有り二次判定不要の３種類に分類することを特徴とする上記（５）乃至（７）のいずれかに記載の表面疵検査装置。
【００１１】
【発明の実施の形態】
被検査材表面を撮像装置で撮像し、撮像した画像を用いて有害疵の有無を自動判定するためには、撮像した画像を用いて画像処理装置で画像処理を行うことが必要である。最も一般的に行われる画像処理は、被検査材表面を撮像した原画像に前処理を行った画像の輝度標準偏差に基づいて決定した閾値で２値化処理し、２値化した画像において所定の方向に所定以上の長さを有する輝点の連なりが存在したときに、例えば有害縦割れと判定する判定ロジックを組み立てる。
【００１２】
原画像に前処理を加え、さらに２値化処理を行うのは、それによって判定精度を向上することが目的であるが、一方ではこのような処理によって原画像が有している情報の一部は失われる。それ故、本来合格とすべき被検査材を疵有り不合格とする過検出が生じたり、逆に本来疵有り不合格とすべき被検査材を合格としてしまう未検出が生じることとなる。
【００１３】
一方、原画像そのものを画像表示装置に表示し、あるいは原画像にわずかな画像処理を加えたのみの原画像に近い画像を画像表示装置に表示し、その画像を熟練した判定員が観察すると、原画像が有する豊富な情報に基づいて、判定員は容易に表示された模様が有害疵かそれとも合格とすべき単なる模様かを判定することができる。
【００１４】
製造ラインを流れるすべての被検査材のすべての表面を熟練した判定員が観察しようとすると、多数の判定員を配置することが必要になる。一方、疵有無の一次判定はあくまで自動判定装置によって行い、自動判定装置が疵有りと一次判定した被検査材について、特に疵有りと判定された部分を拡大した画像を画像表示装置に表示して判定員に二次判定を促すこととすれば、判定員は全体の中のごく一部の表面について判定を行えばいいので、判定員が観察に要する時間を大幅に短縮することができる。従って、たとえ多くの被検査材が流れる製造ラインであっても、少人数の判定員によって判定を行うことができる。
【００１５】
また、上記のように自動判定装置によって一次判定を行うに際し、たとえ過検出は発生しても未検出が発生しないように厳しめの判定基準を設定しておき、次いで一次判定で疵有りとされた被検査材表面部分を画像処理装置に表示し、判定員が二次判定を行うこととすれば、一次判定で過検出であった被検査材は二次判定で合格に振り替えられるので、過検出も未検出もきわめて少ない精度の高い表面疵検査を行うことが可能になるのである。
【００１６】
本発明は上記知見に基づいてなされたものであり、図１に示すように、被検査材１表面を撮像装置３で撮像し、撮像した画像を画像処理装置４で画像処理を行った上で判定装置５において疵有無の一次判定を行い、疵有り二次判定要と判定された被検査材については、図２に示すように画像表示装置６に被検査材表面の画像であって疵有りと判定された部分を含む画像を表示し、判定装置５は二次判定入力部７を有し、表示された画像を観察した判定員による二次判定入力部７への入力結果に基づいて疵有無の最終判定を行うことを特徴とする。
【００１７】
画像表示装置６に表示する被検査材表面の画像は、当然のことながら疵有りと判定された部分を含む画像である。この場合、疵有りと判定された被検査材の全体表面を１画面に表示することとしても良い。より好ましくは、疵有りと判定された部分を切り出した画像を拡大して表示すると、判定員はより詳細に画像の特徴を観察することが可能になるので、判定員による判定精度を向上することができる。表示する画像を２画像とし、第１の画像は対象とする被検査材の全体表面を表示し、第２の画面は疵有りと判定された部分を拡大した画像とすることもできる。
【００１８】
判定装置５は二次判定入力部７を有する。二次判定入力部７は、専用の入力ボタンを用いてもよいが、汎用のキーボード９の特定のキーを押すことによって二次判定入力とすることもできる。判定装置５は判定員に対して二次判定結果の入力を促す。画面上へのガイダンスの表示、あるいは音声によるガイダンスでも良い。画像表示装置６に被検査材表面の画像が表示されたことをもって判定員に促すこととしても良い。判定員は、画像表示装置６に表示された画像を観察し、一次判定によって疵有りと判定された部分が疵無し合格であるか疵有り不合格であるかを判定し、判定結果を二次判定入力部７に入力する。
【００１９】
判定装置５は、表示された画像を観察した判定員による二次判定入力部７への入力結果に基づいて疵有無の最終判定を行う。
【００２０】
画像表示装置６に表示する被検査材表面の画像としては、ＣＣＤカメラ等の撮像装置で撮像した被検査材表面の原画像をそのまま用いることができる。あるいは、疵がより鮮明に観察できるように原画像の明るさやコントラスト等の画像処理してもかまわない。
【００２１】
判定装置５による一次判定で疵有りと判定された部分について、その全部を二次判定要として二次判定を行うこととしても良い。一方、大きな疵、あるいは鮮明な疵であって、判定員による二次判定を行うことなく判定装置５によって明らかに疵有りと判定できる疵も存在する。従って、一次判定は、被検査材について疵無し、疵有り二次判定要、疵有り二次判定不要の３種類に分類することとし、疵有り二次判定不要とした被検査材については二次判定を行わずに疵有りとの最終判定を行い、疵有り二次判定要とした被検査材のみについて画像表示装置６に画像を表示して判定員による二次判定を促すこととすることができる。これにより、判定員が画像を観察して二次判定を行う頻度をさらに低減することができ、判定員の所要人数を削減することが可能になる。
【００２２】
本発明が対象とする被検査材としては、連続鋳造鋳片、連続鋳造鋳片を幅圧下した鋼片、圧延鋼板などの他、棒鋼や棒線のような鋼板以外のものも対象とすることができる。なお、表面のスケールが生成しやすい鋳片等の場合は、予め表面のスケールオフ処理した方が望ましい。
【００２３】
次に、本発明の表面疵検査方法を実施する装置の好ましい一例を図１、２に基づいて説明する。ここでは、被検査材１は連続鋳造鋳片である。
【００２４】
表面疵検査装置は、照明装置２、撮像装置３、画像処理装置４、判定装置５、画像表示装置６を有している。判定装置５は二次判定入力部７を有する。
【００２５】
照明装置２は、メタルハライドランプ等のような高輝度ランプを備えており、被検査材１の表面に光を照射し、撮像装置３で撮像した画像において疵の有無を際だたせる機能を有している。撮像装置３は、主としてＣＣＤカメラのような個体撮像素子を有するカメラが用いられ、画像処理装置４に接続されている。
【００２６】
被検査材１である連続鋳造鋳片を移送装置８で検査位置に移送し、照明装置２で鋳片の所要の検査領域を照明する。撮像装置３は設定された撮像領域毎に鋳片表面を撮像する。撮像した画像は画像処理装置４に送られる。画像処理装置４においては、撮像領域毎の画像を１原画像として処理する。
【００２７】
撮像装置３から画像処理装置４に入力された原画像は、必要に応じてまず画像の前処理を行う。前処理においては、濃度補正、フィルター処理による雑音除去、歪修正などが行われる。前処理により、原画像中の疵候補画像が強調される。前処理を終えた画像は、あらかじめ定めた閾値により２値化処理される。閾値としては、例えば前処理を行った画像の輝度標準偏差に基づいて決定したものを用いることができる。輝度標準偏差は、画像の中に含まれる疵以外のいわゆる模様がどの程度多く含まれるかを判断する重要な指標であり、これを用いて初期閾値を決定することで、過検出要因を大幅に低減することができる。
【００２８】
このように２値化した画像を用いて直ちに判定装置で一次判定を行っても良いが、好ましくは以下のような再２値化処理を行い、その後に判定装置での一次判定を行う。
【００２９】
２値化処理画像を元に、この中から疵候補画像を検出する。疵候補画像の検出は、画像処理装置、判定装置のいずれで行っても良い。検出にあたっては、過検出の出現率が高まることはやむを得ないとし、未検出の出現率が極力ゼロとなるように閾値を定めることとする。疵候補画像の検出は、例えば２値化画像の中で予め設定した輝度条件を満足する部分について、疵の特徴となる値（面積、長さ、幅および長さと幅の比）の計算を行い、それぞれの値が予め決められた疵候補判定の閾値（面積、長さ、幅、長さと幅の比）よりもすべて大きい部分のものを疵候補として検出する。なお、上記以外にも他の疵の特徴となる値（例えば角度）を疵候補として使用しても構わない。
【００３０】
疵候補画像の位置が特定されると、画像処理装置４は２値化処理画像から疵候補画像の近傍を切り出し領域として指定する。２値化処理画像で切り出し領域を指定すると、切り出し画像が自動的に原画像から切り出される。例えば、疵候補画像の最大長さ及び最大幅に対する適切なマージンをとって、疵候補画像を囲む四角形の領域を原画像から切り出す。マージンの大きさは、疵候補画像の面積に応じて定められる。
【００３１】
切り出し画像は、調整した閾値で画像処理装置４によって再２値化処理される。再２値化処理の閾値は、切り出し画像の全体面積に対する疵候補画像の面積比が設定面積比となるように調整し、設定する。この再２値化処理画像に基づき、判定装置において疵有無の一次判定を行う。一次判定は、前記疵候補画像の検出の際と同様に、例えば検出した疵候補の再２値化処理した画像の中で予め設定した輝度条件を満足する部分について、疵の特徴となる値（面積、長さ、幅および長さと幅の比）を計算し、それぞれの値が予め決められた一次判定の閾値（面積、長さ、幅、長さと幅の比）よりもすべて大きい部分のものを疵有りと判定する。
【００３２】
一次判定において、疵有り二次判定要と判定された被検査材については、画像表示装置に被検査材表面の画像であって疵有りと判定された部分を含む画像を表示する。
【００３３】
判定装置による一次判定で疵有りと判定された部分について、その全部を二次判定要として二次判定を行うこととしても良いが、好ましくは、一次判定は、被検査材について疵無し、疵有り二次判定要、疵有り二次判定不要の３種類に分類することとする。例えば、一次判定で鋳片に縦割れが認められた場合において、検出された縦割れの長さが所定の長さ（例えば３００ｍｍ）以上であれば過検出の可能性がほとんどあり得ないという実績が得られているのであれば、一次判定で３００ｍｍ以上の長さの縦割れが認められた場合は疵有り二次判定不要とし、一次判定をもって最終判定とすることができる。一方、一次判定で長さ３００ｍｍ未満の縦割れが認められた場合には、疵有り二次判定要とし、二次判定のために画像表示装置６に画像を表示することとする。
【００３４】
画像表示装置６に表示する画像としては、被検査材全体表示画像１１と被検査材疵有り部部分画像１２の２画面構成とすると好ましい。図２（ａ）に示す表示画像１０ａには、被検査材全体表示画像１１ａを表示して被検査材表面の全体における疵の分布状況を把握することができる。図２（ａ）に示す例では、被検査材全体表示画像１１ａに７個の疵（１３ａ〜１３ｇ）が表示されている。図２（ａ）の例では、次の被検査材全体表示画像１１ｂを表示することもできる。図２（ｂ）に示す表示画像１０ｂには、７個の疵（１３ａ〜１３ｇ）のそれぞれについて被検査材疵有り部部分画像（１２ａ〜１２ｇ）が表示されている。この表示画像において個々の疵について判定員が疵有無の二次判定を行う。図２に示す例では、図２（ａ）で疵有り部とされた７個の疵のうち、図２（ｂ）に示す部分画像で疵であると確認できたのは疵１３ａ、疵１３ｃ、疵１３ｅ、疵１３ｆの４個所であり、それ以外のものについては部分画像観察による判定では疵無しと判定された。前述の通り、画像表示装置に表示する被検査材表面の画像としては、ＣＣＤカメラ等の撮像装置で撮像した被検査材表面の原画像をそのまま用いることにより、精度の高い二次判定を行うことができる。
【００３５】
画像処理装置６の前に配置された汎用キーボードが二次判定入力部７である場合には、キーボードの所定のキーを押すことにより、二次判定を促された個々の疵について、最終的に疵有りとするか疵無しとするかの二次判定結果が入力される。判定装置５は、判定員による二次判定入力部への入力結果に基づいて疵有無の最終判定を行う。
【００３６】
本発明の疵検査装置において、画像処理装置４と判定装置５はそれぞれ別の処理装置として独立させても良いが、１台の情報処理装置、例えば１台のパーソナルコンピュータに画像処理装置４と判定装置５の両方の機能を備えさせることもできる。また、画像表示装置６についても、上と同じ１台のパーソナルコンピュータが有するディスプレイをもって対応させることができる。
【００３７】
【実施例】
図１に示すように、被検査材１として連続鋳造後の鋳片を用いて表面疵検査を行った。移送装置８として鋳片の移送テーブル上に撮像装置３としてＣＣＤカメラを設置し、その撮像信号を本発明の画像処理装置４と従来例（２値化処理のみで疵判定する装置）の画像処理装置に並列して入力して同じ鋳片の疵判定を行った。本発明例においては、撮像した画像を画像処理装置４で画像処理を行った上で判定装置５において疵有無の一次判定を行い、疵有り二次判定要と判定された被検査材については、画像表示装置６に被検査材表面の画像であって疵有りと判定された部分を含む画像を表示し、表示された画像を観察した判定員による二次判定入力部７への入力結果に基づいて疵有無の最終判定を行った。なお、従来例では画像処理の際に２値化閾値を２水準（甘めにした場合と厳しめにした場合）の判定を行った。疵判定後の鋳片はすべて常温まで冷却後に検査員の目視による疵判定を行い、目視により疵有りと疵無しと判定したそれぞれ１０００枚の疵検査結果を表１に示す。
【００３８】
【表１】

【００３９】
本発明では疵有り鋳片及び疵無し鋳片とも精度良く判定できたが、従来例では、疵有り鋳片、疵無し鋳片のいずれかの検知精度が低かった。
【００４０】
【発明の効果】
本発明は、撮像した画像に基づいて疵検査装置がまず疵有無の一次判定を行い、一次判定で疵有り二次検査要と判定されたものについて画像表示装置に画像を表示し、判定員が表示された画像を観察して疵有無の二次判定を行うので、本来合格とすべき被検査材を疵有り不合格とする過検出、及び本来疵有り不合格とすべき被検査材を合格としてしまう未検出をともに極少にして精度の高い疵検査を行うことが可能になる。
【図面の簡単な説明】
【図１】本発明の表面疵検査装置の全体構成図である。
【図２】画像表示装置に表示する表示画像を示す図であり、（ａ）は被検査材全体表面画像を表示する画像、（ｂ）は疵有り部部分画像を表示する画像である。
【符号の説明】
１被検査材
２照明装置
３撮像装置
４画像処理装置
５判定装置
６画像表示装置
７二次判定入力部
８移送装置
９キーボード
１０表示画像
１１被検査材全体表面画像
１２被検査材疵有り部部分画像
１３疵有り部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a surface wrinkle inspection method and a surface wrinkle inspection apparatus for inspecting the presence or absence of wrinkles on the surface of a material to be inspected.
[0002]
[Prior art]
Surface flaws may occur on the surface of the continuous cast slab or the surface of the rolled steel sheet. If surface flaws such as vertical cracks occur on the surface of the continuous cast slab, and the length or depth of the vertical crack is larger than the specified value, rolling the slab as it is will result in defects in the final product. Since it may remain, it is necessary to remove the wrinkles by melting the surface wrinkles. Further, when surface flaws having a predetermined size or more are generated on the surface of the rolled steel sheet, it is necessary to care for or reject the surface flaw occurrence portion.
[0003]
Conventionally, wrinkle inspection on the surface of the material to be inspected has been performed by visual inspection by an inspector. However, if it is intended to inspect the entire number of materials to be inspected over the entire surface, it is necessary to carry out the inspection with a large number of skilled inspectors. Therefore, various surface defect inspection methods and surface defect inspection apparatuses that can automatically perform surface defect inspection have been proposed.
[0004]
The surface of the material to be inspected is imaged with an imaging device such as a CCD camera, the captured image is preprocessed such as filter processing, binarized using a preset threshold, and the presence or absence of wrinkles is determined from the binarized image pattern A wrinkle inspection method for making a determination is known. If the surface of the material to be inspected is illuminated with an illuminating device, and the surface of the material to be inspected brightened by the illumination is imaged with an imaging device, the wrinkle portion becomes a shadow and a brightness difference appears, so that wrinkle determination can be facilitated .
[0005]
The conventional method for determining wrinkles by imaging the surface of a material to be inspected has the following problems. (1) Whether to set a strict threshold that makes it easy to find a candy candidate in order to pick up a candy candidate reliably, or (2) Set a binarization threshold so that it does not pick up a texture pattern that is not a candy You are forced to choose. For this reason, in the case of (1), it becomes an over-detected flaw inspection that frequently picks up the ground pattern as a candidate for a spear, and in the case of (2), although the ground pattern is not picked up frequently, the original wrinkle is also detected. It will be a missed undetected sputum inspection. There is a strong demand to prevent oversight at the spot of the soot inspection, and it is necessary to set a strict threshold as shown in (1), which leads to overdetection of soot detection. As a result, for example, in the case of flaw inspection of continuous cast slabs, the slabs that should be able to be sent directly to the rolling mill without any maintenance are turned into maintenance, the maintenance load increases, and the energy due to the slabs being removed from direct feed Loss will occur.
[0006]
In Patent Document 1, in a surface flaw inspection method in which a surface of a material to be inspected is imaged and binarized to detect the surface flaws, preprocessing is performed on the original image obtained by imaging the surface of the material to be inspected. The binarization process is performed with a threshold value determined based on the luminance standard deviation of the image, the vicinity of the wrinkle candidate image detected in the binarized image is cut out from the original image, and the surface of the wrinkle candidate screen with respect to the entire area of the cut-out image A surface wrinkle inspection method is disclosed in which a cut image is re-binarized with a threshold value at which the ratio becomes a set surface ratio, and wrinkles are detected in the re-binarized image. Since wrinkle detection is performed based on the re-binarized image, it is possible to improve wrinkle determination accuracy and reduce the frequency of overdetection while preventing undetected wrinkles.
[0007]
[Patent Document 1]
Japanese Patent Laid-Open No. 2002-214151
[Problems to be solved by the invention]
According to the method described in Patent Document 1, the frequency of occurrence of overdetection of wrinkles and undetected wrinkles in the wrinkle inspection on the surface of the material to be inspected can be reduced, but still to achieve a completely accurate inspection Not reached.
[0009]
The present invention inspects the presence or absence of wrinkles on the surface of a material to be inspected, and an object thereof is to provide a surface wrinkle inspection method and a surface wrinkle inspection apparatus capable of detecting only substantially harmful wrinkles. .
[0010]
[Means for Solving the Problems]
That is, the gist of the present invention is as follows.
(1) The surface of the material to be inspected 1 is imaged by the imaging device 3, the captured image is subjected to image processing by the image processing device 4, the determination device 5 performs a primary determination of wrinkles, and a secondary determination is required. For the inspected material 1 determined to be, the image display device 6 displays an image including the portion of the surface of the inspected material that has been determined to have wrinkles, and the determination device 5 displays the secondary determination input unit 7. A surface wrinkle inspection method characterized in that a final determination is made on the presence or absence of wrinkles based on an input result to the secondary determination input unit 7 by a judge who has observed the displayed image.
(2) The surface wrinkle inspection method according to (1) above, wherein the image displayed on the image display device 6 includes an image obtained by cutting out a portion determined to have wrinkles.
(3) The surface flaw inspection method according to (1) or (2) above, wherein the image displayed on the image display device 6 is an original image captured by the imaging device 3.
(4) Any of the above (1) to (3), wherein the primary determination is classified into three types of the material 1 to be inspected: wrinkle-free, wrinkled secondary determination required, wrinkled secondary determination unnecessary The surface wrinkle inspection method according to crab.
(5) It has an imaging device 3 that images the surface of the inspection object 1, an image processing device 4 that performs image processing on the captured image, a determination device 5 that determines the presence or absence of wrinkles, and an image display device 6. The apparatus 5 has a secondary determination input unit 7, the determination apparatus 5 performs primary determination of wrinkles based on the image processed by the image processing apparatus 4, and the image display apparatus 6 uses the determination apparatus 5 to have secondary wrinkles. An image of the surface of the material to be inspected that is primarily determined to be determined and including an image including a portion determined to have wrinkles is displayed, and the determination device 5 is a secondary determination input unit 7 by a judge who has observed the displayed image. A surface wrinkle inspection apparatus that performs final determination of wrinkle presence / absence based on an input result to the device.
(6) The surface wrinkle inspection device according to (5) above, wherein the image displayed on the image display device 6 includes an image obtained by cutting out a portion determined to have wrinkles.
(7) The surface defect inspection apparatus according to (5) or (6) above, wherein the image displayed on the image display device 6 is an original image captured by the imaging device.
(8) The primary determination by the determination device 5 is classified into three types of the material to be inspected: wrinkle-free, wrinkle-free secondary determination required, and wrinkle-added secondary determination unnecessary. The surface flaw inspection apparatus according to any one of the above.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
In order to image the surface of the material to be inspected with an imaging device and automatically determine the presence or absence of harmful flaws using the captured image, it is necessary to perform image processing with the image processing device using the captured image. The most commonly performed image processing is a binarization process using a threshold value determined based on a luminance standard deviation of an image obtained by performing preprocessing on an original image obtained by imaging the surface of a material to be inspected. For example, when there is a series of bright spots having a predetermined length or more in the direction, a determination logic for determining a harmful vertical crack is assembled.
[0012]
The purpose of adding pre-processing to the original image and further performing binarization is to improve the determination accuracy, but on the other hand, a part of the information that the original image has by such processing Is lost. Therefore, an overdetection that causes the inspection material that should originally be acceptable to pass is caused to fail, and conversely, an undetected state that causes the inspection material that is supposed to be inherently failed to pass is considered to be acceptable.
[0013]
On the other hand, the original image itself is displayed on the image display device, or an image close to the original image obtained by performing a slight image processing on the original image is displayed on the image display device, and when the skilled judge judges the image, Based on the abundant information of the original image, the judge can easily determine whether the displayed pattern is harmful or simply a pattern that should be passed.
[0014]
In order for a skilled judge to observe all surfaces of all materials to be inspected flowing through the production line, it is necessary to arrange a large number of judges. On the other hand, the primary determination of the presence or absence of wrinkles is performed solely by the automatic determination device, and the image display device displays an enlarged image of the portion that is determined to have wrinkles in particular for the material to be inspected that has been primarily determined by the automatic determination device. If the judgment member is prompted to make a secondary determination, the judgment member may make a determination on a very small part of the entire surface, so that the time required for the judgment member to observe can be greatly reduced. Therefore, even if it is a production line through which many materials to be inspected flow, it can be judged by a small number of judges.
[0015]
In addition, when performing the primary determination by the automatic determination device as described above, a strict determination criterion is set so that no detection will occur even if overdetection occurs, and then there is a defect in the primary determination. If the inspected material surface portion is displayed on the image processing apparatus and the judge performs a secondary determination, the inspection material that was over-detected in the primary determination is transferred to a pass in the secondary determination. This makes it possible to perform surface flaw inspection with high accuracy with very little detection and no detection.
[0016]
The present invention has been made based on the above knowledge. As shown in FIG. 1, the surface of the inspection object 1 is imaged by the imaging device 3, and the captured image is processed by the image processing device 4. The determination device 5 performs a primary determination of wrinkle presence / absence, and the inspected material determined to have a wrinkle secondary determination is an image of the surface of the inspection material on the image display device 6 as shown in FIG. The determination apparatus 5 has a secondary determination input unit 7, and based on the input result to the secondary determination input unit 7 by a judge who has observed the displayed image. It is characterized in that a final determination of presence / absence is performed.
[0017]
The image of the surface of the material to be inspected displayed on the image display device 6 is an image including a part determined to have wrinkles as a matter of course. In this case, the entire surface of the material to be inspected determined to have wrinkles may be displayed on one screen. More preferably, when an image obtained by cutting out a portion determined to have wrinkles is enlarged and displayed, the judge can observe the features of the image in more detail, thereby improving the judgment accuracy by the judge. Can do. It is also possible to display two images, the first image displays the entire surface of the material to be inspected, and the second screen is an enlarged image of the portion determined to have wrinkles.
[0018]
The determination device 5 has a secondary determination input unit 7. Although the secondary determination input unit 7 may use a dedicated input button, it can also be used as a secondary determination input by pressing a specific key of a general-purpose keyboard 9. The determination device 5 prompts the judge to input the secondary determination result. It may be a guidance display on the screen or a voice guidance. The judgment member may be prompted when the image on the surface of the inspection object is displayed on the image display device 6. The judgment member observes the image displayed on the image display device 6, judges whether the portion determined to have wrinkles by the primary determination is a wrinkle-free pass or a wrinkle-failed pass, and determines the determination result as a secondary Input to the determination input unit 7.
[0019]
The determination device 5 performs a final determination of the presence or absence of wrinkles based on an input result to the secondary determination input unit 7 by a determiner who has observed the displayed image.
[0020]
As an image of the surface of the inspection material displayed on the image display device 6, an original image of the surface of the inspection material captured by an imaging device such as a CCD camera can be used as it is. Alternatively, image processing such as brightness and contrast of the original image may be performed so that wrinkles can be observed more clearly.
[0021]
The secondary determination may be performed by assuming that all of the portions determined to have wrinkles in the primary determination by the determination device 5 are secondary determinations. On the other hand, there is a large kite or a clear kite that can be clearly determined as having a kite by the determination device 5 without performing a secondary determination by a judge. Therefore, the primary judgment shall be classified into three types of inspection materials: no wrinkle, wrinkle secondary determination required, wrinkle secondary determination unnecessary, and secondary inspection for inspection materials that have wrinkle secondary determination unnecessary. It is possible to make a final determination that there is wrinkles without making a determination, and display an image on the image display device 6 only for the material to be inspected that needs a second determination with wrinkles to encourage secondary determination by the judge. it can. As a result, the frequency at which the judge performs the secondary determination by observing the image can be further reduced, and the required number of judges can be reduced.
[0022]
Inspected materials targeted by the present invention include continuous cast slabs, steel slabs obtained by reducing the width of continuous cast slabs, rolled steel plates, and other steel plates such as steel bars and wires. Can do. In the case of a slab or the like where a surface scale is likely to be generated, it is desirable to perform a surface scale-off process in advance.
[0023]
Next, a preferred example of an apparatus for carrying out the surface flaw inspection method of the present invention will be described with reference to FIGS. Here, the material to be inspected 1 is a continuous cast slab.
[0024]
The surface defect inspection apparatus includes an illumination device 2, an imaging device 3, an image processing device 4, a determination device 5, and an image display device 6. The determination device 5 has a secondary determination input unit 7.
[0025]
The illumination device 2 includes a high-intensity lamp such as a metal halide lamp, and has a function of irradiating light on the surface of the material 1 to be inspected and highlighting the presence or absence of wrinkles in an image captured by the imaging device 3. Yes. As the imaging device 3, a camera having an individual imaging device such as a CCD camera is mainly used and is connected to the image processing device 4.
[0026]
The continuous cast slab which is the material 1 to be inspected is transferred to the inspection position by the transfer device 8, and the required inspection area of the slab is illuminated by the illumination device 2. The imaging device 3 images the slab surface for each set imaging region. The captured image is sent to the image processing device 4. In the image processing device 4, an image for each imaging region is processed as one original image.
[0027]
The original image input from the imaging device 3 to the image processing device 4 is first subjected to image preprocessing as necessary. In the preprocessing, density correction, noise removal by filter processing, distortion correction, and the like are performed. The pre-processing enhances the wrinkle candidate image in the original image. The image that has undergone the preprocessing is binarized using a predetermined threshold. As the threshold value, for example, a value determined based on the luminance standard deviation of the preprocessed image can be used. The luminance standard deviation is an important index for determining how many so-called patterns other than wrinkles contained in an image are included, and by using this to determine the initial threshold value, the over-detection factor is greatly increased. Can be reduced.
[0028]
The primary determination may be performed immediately by the determination device using the binarized image as described above, but preferably the following re-binarization processing is performed, and then the primary determination is performed by the determination device.
[0029]
A wrinkle candidate image is detected from the binarized image. Detection of a wrinkle candidate image may be performed by either an image processing device or a determination device. In detection, it is unavoidable that the occurrence rate of overdetection increases, and the threshold value is determined so that the undetected appearance rate is zero as much as possible. For example, the candidate image is detected by calculating a value (area, length, width, and ratio of length to width) that is a feature of the eyelid for a portion of the binarized image that satisfies a preset luminance condition. A part having a value that is larger than a predetermined threshold value (area, length, width, ratio of length to width) for the wrinkle candidate determination is detected as a wrinkle candidate. In addition to the above, a value (for example, an angle) that is a characteristic of other wrinkles may be used as a wrinkle candidate.
[0030]
When the position of the wrinkle candidate image is specified, the image processing apparatus 4 designates the vicinity of the wrinkle candidate image from the binarized processed image as a cutout region. When a cutout area is designated in the binarized image, the cutout image is automatically cut out from the original image. For example, an appropriate margin for the maximum length and maximum width of the wrinkle candidate image is taken, and a rectangular area surrounding the wrinkle candidate image is cut out from the original image. The size of the margin is determined according to the area of the wrinkle candidate image.
[0031]
The clipped image is re-binarized by the image processing device 4 with the adjusted threshold value. The threshold value for the re-binarization process is adjusted and set so that the area ratio of the eyelid candidate image to the entire area of the clipped image becomes the set area ratio. Based on the re-binarized image, the determination device performs a primary determination of wrinkles. As in the case of detection of the wrinkle candidate image, the primary determination is, for example, a value that is a characteristic of a wrinkle in a portion that satisfies a preset luminance condition in an image obtained by performing re-binarization processing on the detected wrinkle candidate ( Area, length, width, and ratio of length to width), where each value is all greater than a predetermined primary judgment threshold (area, length, width, ratio of length to width) It is determined that there is a defect.
[0032]
In the primary determination, for the material to be inspected that has been determined to require secondary determination with wrinkles, an image including the portion of the surface of the material to be inspected that has been determined to have wrinkles is displayed on the image display device.
[0033]
Although it is possible to perform secondary determination for all parts determined to have wrinkles in the primary determination by the determination device, it is preferable to perform secondary determination, but preferably, the primary determination is performed with no wrinkles or wrinkles on the material to be inspected. It is classified into three types that require secondary judgment and that do not require secondary judgment. For example, in the case where vertical cracks are recognized in the slab in the primary determination, there is almost no possibility of overdetection if the length of the detected vertical crack is equal to or longer than a predetermined length (for example, 300 mm). If a vertical crack with a length of 300 mm or more is recognized in the primary determination, the secondary determination is not necessary with a flaw, and the final determination can be made with the primary determination. On the other hand, when a vertical crack with a length of less than 300 mm is recognized in the primary determination, it is determined that the secondary determination is required with a wrinkle, and an image is displayed on the image display device 6 for the secondary determination.
[0034]
The image to be displayed on the image display device 6 preferably has a two-screen configuration of an entire inspection material display image 11 and an inspection material wrinkle portion partial image 12. In the display image 10a shown in FIG. 2A, the entire inspection material display image 11a can be displayed to grasp the distribution state of wrinkles on the entire surface of the inspection material. In the example shown in FIG. 2A, seven wrinkles (13a to 13g) are displayed on the entire inspection object display image 11a. In the example shown in FIG. 2A, the next entire inspection object display image 11b can be displayed. In the display image 10b shown in FIG. 2B, the part image (12a to 12g) with the inspected material wrinkles is displayed for each of the seven wrinkles (13a to 13g). In this display image, the judge makes a secondary determination of the presence or absence of wrinkles with respect to individual wrinkles. In the example shown in FIG. 2, among the seven wrinkles that have been wrinkled in FIG. 2A, the

wrinkles

13 a and 13 c that have been confirmed to be wrinkles in the partial image shown in FIG. , 13e, and 13f, and the other parts were determined to have no wrinkles in the determination by partial image observation. As described above, as the image of the surface of the material to be inspected displayed on the image display device, the original image of the surface of the material to be inspected that is imaged by an imaging device such as a CCD camera is used as it is, and a highly accurate secondary determination is performed Can do.
[0035]
When the general-purpose keyboard disposed in front of the image processing device 6 is the secondary determination input unit 7, finally, by pressing a predetermined key on the keyboard, each of the traps that are prompted for the secondary determination is finally The secondary determination result of whether or not wrinkle is present is input. The determination device 5 performs a final determination on the presence or absence of wrinkles based on the input result of the determination member to the secondary determination input unit.
[0036]
In the wrinkle inspection apparatus of the present invention, the image processing apparatus 4 and the determination apparatus 5 may be independent as separate processing apparatuses, but the image processing apparatus 4 is determined as one information processing apparatus, for example, one personal computer. Both functions of the device 5 can also be provided. Further, the image display device 6 can also be handled by the display of the same single personal computer as above.
[0037]
【Example】
As shown in FIG. 1, surface flaw inspection was performed using a slab after continuous casting as the material 1 to be inspected. A CCD camera is installed as the image pickup device 3 on the slab transfer table as the transfer device 8, and the image processing of the image processing device 4 of the present invention and the conventional example (device for judging wrinkles only by binarization processing) of the image pickup signal. Input in parallel to the apparatus and the slab of the same slab was judged. In the present invention example, the image processing apparatus 4 performs image processing on the captured image, and the determination apparatus 5 performs a primary determination of wrinkle presence / absence. Based on the input result to the secondary determination input unit 7 by the judge who has displayed the image including the portion determined to have wrinkles on the image display device 6 and observed the displayed image. The final judgment was made on the presence or absence of wrinkles. In the conventional example, the binarization threshold value is determined to be two levels (when sweetened and when tightened) during image processing. All the slabs after the flaw determination are cooled to room temperature and then subjected to visual inspection by an inspector. Table 1 shows the results of inspection of 1000 pieces of flaws that were visually determined to be wrinkled and wrinkle-free.
[0038]
[Table 1]

[0039]
In the present invention, both the slab with sword and the slab without sword can be determined with high accuracy. However, in the conventional example, the detection accuracy of either the slab with sword or the slab without sword is low.
[0040]
【The invention's effect】
According to the present invention, the wrinkle inspection device first performs the primary determination of wrinkle presence based on the captured image, and displays an image on the image display device for the case where the secondary determination is determined to have a wrinkle in the primary determination. Observe the displayed image to make a secondary determination of whether or not wrinkles are present, so over-detection that the material to be inspected should be accepted as flawed and rejected, and the material to be inspected that should be rejected originally passed It is possible to perform high-precision wrinkle inspection by minimizing undetected detection.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram of a surface flaw inspection apparatus according to the present invention.
FIGS. 2A and 2B are diagrams showing a display image displayed on the image display device, where FIG. 2A is an image that displays an entire surface image of a material to be inspected, and FIG. 2B is an image that displays a partial image with wrinkles.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Inspected material 2 Illuminating device 3 Imaging device 4 Image processing device 5 Judgment device 6 Image display device 7 Secondary determination input part 8 Transfer device 9 Keyboard 10 Display image 11 Surface image 12 of whole material to be inspected 12 Image 13

Claims

The surface of the material to be inspected is imaged with an imaging device, and the captured image is subjected to image processing with an image processing device, and then the determination device performs a primary determination of wrinkle presence / absence, and the inspection material that has been determined to have a wrinkle secondary determination required For, the image display device displays an image of the surface of the material to be inspected and includes an image that includes a portion determined to have wrinkles, and the determination device has a secondary determination input unit, and the determination is made by observing the displayed image. A surface wrinkle inspection method characterized by performing a final determination on the presence or absence of wrinkles based on a result input to a secondary determination input unit by a worker.

The surface wrinkle inspection method according to claim 1, wherein the image displayed on the image display device includes an image obtained by cutting out a portion determined to have wrinkles.

The surface flaw inspection method according to claim 1, wherein the image displayed on the image display device is an original image captured by an imaging device.

The surface defect inspection according to any one of claims 1 to 3, wherein the primary determination is classified into three types of materials to be inspected: wrinkle-free, wrinkle-free secondary determination required, and wrinkle-added secondary determination unnecessary. Method.

An image pickup apparatus that picks up an image of the surface of the material to be inspected, an image processing apparatus that performs image processing on the picked-up image, a determination apparatus that determines the presence or absence of wrinkles, and an image display apparatus, wherein the determination apparatus is a secondary determination input unit The determination device performs primary determination of presence / absence of wrinkles based on an image processed by an image processing device, and the image display device has a surface to be inspected that is primarily determined by the determination device as having wrinkles and secondary determination required An image including a portion determined to have wrinkles, and the determination device performs final determination of wrinkle presence based on an input result to a secondary determination input unit by a judge who observed the displayed image Surface flaw inspection device characterized by performing

6. The surface wrinkle inspection device according to claim 5, wherein the image displayed on the image display device includes an image obtained by cutting out a portion determined to have wrinkles.

The surface defect inspection apparatus according to claim 5, wherein the image displayed on the image display apparatus is an original image captured by an imaging apparatus.

The primary determination by the determination device is classified into three types of inspection materials: no wrinkles, secondary determination required with defects, and secondary determination unnecessary with defects. Surface flaw inspection device.