JP2006292593A - 疵検出装置、疵検出方法、コンピュータプログラム及び記録媒体 - Google Patents

Abstract

【課題】 設備の振動による画像の乱れや、電気的なノイズ、メッキ合金化のムラや検出する必要の無い模様などを疵として検出してしまう過検出をなくして、疵判定の精度を向上できるようにする。
【解決手段】 疵検査対象物を撮像して得られた画像信号を解析して有害疵を検出する際に、上記画像信号から抽出された疵候補画像の中から特定形状の模様を含む画像を抽出し、上記抽出した画像に所定の画像処理を行って有害疵を検出するようにすることにより、有害疵を検出するために行う画像処理対象を絞り込むことができるようにして、疵検出処理速度の向上及び疵検出の精度を向上できるようにする。
【選択図】 図１

Description

本発明は疵検出装置、疵検出方法、コンピュータプログラム及び記録媒体に関し、特に、鋼板の表面を撮影した画像信号に基づいて、その鋼板の表面疵を検出するために用いて好適な技術に関する。

従来、製鉄業の鋼板生産ラインにおいては、品質確保のために鋼板の表面疵を検出する疵検査が行われている。この疵検査では、例えば鋼板の表面に光を照射して得られた反射光より生成した画像信号に対して所定の疵検査処理を施すことで鋼板表面の状態を表した画像データを生成して、鋼板表面の疵の有無を検出している。

一般に、鋼板疵が検出される位置及び疵の大きさ（範囲）は鋼板の種類や製造状況によって様々であるので、疵の発生状況をあらかじめ想定して疵検査処理を行うことは困難である。したがって、鋼板表面の何れの箇所にどのような大きさの疵が発生していても、疵検査装置はその疵を確実に認識して特定できるようにする必要がある。

このため、鋼板疵検査を行うための疵検査処理では、例えば、鋼板表面を上記検査対象物の一定方向に沿って複数の疵検査領域に分割して、上記分割した領域毎に所定のアルゴリズムに基づいて疵箇所を特定するようにしている。上記分割領域としては、疵検査装置の１画像画面（１フレーム画像ともいう）とすることが多い。したがって、疵検査装置は、鋼板表面を１フレームずつ撮像しながら、そのフレーム内に疵と推定される箇所が存在するか否かを各画像毎に判断するようにしている。

このような判断を行うに際して、疵検査を行う各フレーム画像には検査対象となる「疵」の他にノイズが存在していることが多い。そこで、疵検査を行う場合には各画像からノイズを除去する必要がある。

画像からノイズを除去する方法としては、平滑フィルタなどの空間フィルタを適用する例が一般的である。しかしながら、平滑フィルタなどの空間フィルタを適用すると欠陥も含めて画像全体が変化(平滑化)するため、欠陥の検出が困難になるという問題があった。

そこで、特許文献１では、連続する特定画素の濃度（256階調の輝度の大きさ）に依存して、フィルタを局所的にノイズが発生した箇所に演算することでノイズのみを除去するようにした手法を提案している。

特開２００４―３３３２２３号公報

しかしながら、上記特許文献１にて提案されている手法では下記のような問題点があった。（イ）画像の中で局所的にフィルタを演算すると演算部と非演算部の境界がノイズとして過検出される場合がある。また、（ロ）単純な濃度の範囲設定を行っているのでノイズと疵の弁別が困難である。さらに、（ハ）疵とノイズとが重畳する画像からノイズのみを取り除くことが困難なので、検出精度を向上させるのに限界がある、等である。

このため、小さな疵まで検出する高精度な疵検出を行うようにすると、例えば設備の振動による画像の乱れや、電気的なノイズ、メッキ合金化のムラや検出する必要の無い模様などを疵として検出してしまう過検出が発生してしまう問題があった。

本発明は上述の問題点にかんがみ、設備の振動による画像の乱れや、電気的なノイズ、メッキ合金化のムラや検出する必要の無い模様などを疵として検出してしまう過検出をなくして、疵判定の精度を向上できるようにすることを目的としている。

本発明の疵検出装置は、疵検査対象物を撮像して得られた画像信号を解析して有害疵を検出する疵検出装置であって、上記画像信号の全体から特定形状の模様を含む画像を疵候補画像として抽出する疵候補画像抽出手段と、上記疵候補画像抽出手段により抽出された疵候補画像を切り出す疵候補画像切り出し手段と、上記疵候補画像切り出し手段により切り出された疵候補画像に対して画像補正を行う画像補正手段と、上記画像補正手段により補正された画像中に存在する有害疵を検出する有害疵検出手段とを有することを特徴とする。

本発明の疵検出方法は、疵検査対象物を撮像して得られた画像信号を解析して有害疵を検出する疵検出方法であって、上記画像信号の全体から特定形状の模様を含む画像を疵候補画像として抽出する疵候補画像抽出工程と、上記疵候補画像抽出工程により抽出された疵候補画像を切り出す疵候補画像切り出し工程と、上記疵候補画像切り出し工程により切り出された疵候補画像に対して画像補正を行う画像補正工程と、上記画像補正工程により補正された画像中に存在する有害疵を検出する有害疵検出工程とを有することを特徴とする。

本発明のコンピュータプログラムは、疵検査対象物を撮像して得られた画像信号を解析して有害疵を検出する疵検出方法をコンピュータに実行させるプログラムであって、上記画像信号の全体から特定形状の模様を含む画像を疵候補画像として抽出する疵候補画像抽出工程と、上記疵候補画像抽出工程により抽出された疵候補画像を切り出す疵候補画像切り出し工程と、上記疵候補画像切り出し工程により切り出された疵候補画像に対して画像補正を行う画像補正工程と、上記画像補正工程により補正された画像中に存在する有害疵を検出する有害疵検出工程とを有する疵検出方法をコンピュータに実行させることを特徴とする。

本発明の記録媒体は、上記に記載のコンピュータプログラムを記録したことを特徴とする。

本発明によれば、疵検査対象物を撮像して得られた画像信号の全体から切り出された疵候補画像の特徴を分析して、特定の形状の模様を含む疵候補画像を抽出し、上記抽出した画像に対して画像補正を行い、画像補正された画像中に存在する有害疵を検出するようにしたので、疵とノイズとが重畳された画像のみに対して画像補正を行うことで、画像処理量を低減しつつ、有害疵を検出することが可能となる。その結果、設備の振動による画像の乱れや、電気的なノイズ、メッキ合金化のムラや検出する必要の無い模様などを疵として検出してしまう過検出をなくすことができ、有害疵のみを検出する処理を高速に行うことができる。
また、本発明の他の特徴によれば、適切な画素の空間フィルタを演算することにより、ノイズを消去するようにしたので、疵画像の正しい特徴量を抽出することができ、疵判定の精度を大幅に向上させることができ、これにより、高品質の鋼板を製造するのに寄与することができる。

（第１の実施の形態）
図面を参照しながら本発明の実施の形態を説明する。
図１は、本発明の疵検出装置の全体構成を説明する図である。本実施の形態の疵検査装置１０は、撮像部２（例えば、ＣＣＤカメラ等）で撮像して得られた画像信号を鋼板１の板幅方向に複数分割して、撮像制御部３を介して疵検査処理部４に供給し、疵検査処理を行うようにしている。また、撮像部２により撮像された画像はモニタ５に表示され、オペレータにより確認できるようになされている。

図２（ａ）に示すように、本実施の形態においては、疵候補検出部４１、疵候補画像切り出し部４２、画像特徴抽出部４３、疵候補画像分類部４４、画像補正部４５、及び有害疵検出部４６等の各部を疵検査処理部４に設けている。

疵候補検出部４１は、撮像部２により撮影された画像Ｖ（例えば、4096×512画素）の中から有害疵が発生している個所を疵候補画像（例えば、128×128画素）として抽出している。本実施の形態においては、空間フィルタを演算しない画像のみに所定の閾値を設け、上記閾値以上あるいは閾値以下を疵候補として抽出するようにしている。

この他に、縦空間フィルタ、横空間フィルタあるいは浮動平均フィルタなど複数の空間フィルタを演算しその画像それぞれに所定の閾値を設け、上記閾値以上あるいは閾値以下を疵候補とし、空間フィルタを演算しない画像を含む複数画像の候補箇所の論理和演算処理を施して疵候補画像を抽出するようにしてもよい。

疵候補画像切り出し部４２は、上述のようにして特徴抽出された疵候補画像について、疵、及びノイズ部、疵とノイズの重畳画像の周辺部を独立に切り出す処理を行う。

画像特徴抽出部４３は、切り出された箇所の幅・長さなど形態情報と、輝度情報・テクスチャ情報などの特徴量を抽出する。加えて、フレーム画像全体の輝度情報・テクスチャ情報などの特徴量を抽出する。

疵候補画像分類部４４は、切り出された箇所の幅・長さなど形態情報と、輝度情報・テクスチャ情報などの特徴量と、フレーム画像全体の輝度情報・テクスチャ情報などの特徴量から特徴の範囲毎にグループに分類する処理を行う。本実施の形態においては、上記切り出し画像毎に図２（ｂ）に示される判別テーブルを参照して、各条件に合致した場合をそれぞれ（イ）「疵のみ」のグループ、（ロ）「疵＋ノイズ」のグループ、（ハ）「ノイズのみ」のグループに分類している。なお、この分類はディシジョンツリー（decision tree）などの方法で実行してもよい。

このようにして、３グループに分類した画像群の中から、疵とノイズの重畳画像を選択し、さらに形態により数種類に分類するようにしている。この小分類は、ノイズ形態に応じて複数に分類する。この場合も、判別テーブルを使用するが、クラスタ解析、パターンマッチなどで類似画像群に集約してもよい。上述したような画像分類を行うことにより、複数の画像の中から、疵とノイズとが重畳された画像を１つのグループに分類することができ、さらにノイズ形態および疵形態により細かなグループに分類することができる。

画像補正部４５は、上述のようにして分類した「疵とノイズ」とが重畳された画像に対してのみ、適切な画素（例：縦４×横１６）の空間フィルタを演算してノイズ除去を行う。本実施の形態においては、移動平均フィルタを用いて、有害疵に重畳されたノイズ除去を行っている。その手順としては、先ず、
（ａ）横１６画素、縦４画素の移動平均値画像を作成する。
次に、
（ｂ）下記の補正演算を各画素について実行する。
「ケース１」：（移動平均画素＋オフセット）≧ゲインリミットの画素について、
出力画素＝画像補正目標値×Ａ(入力画素＋オフセット)／ (移動平均画素＋オフセット) ・・・（１式）
但し、Ａ(入力画素＋オフセット)の範囲は「０〜２５５」で限定している。

「ケース２」：その他の画素について、
出力画素＝画像補正目標値×Ａ(入力画素＋ゲインリミット−移動平均画素)／ゲインリミット ・・・（２式）

有害疵検出部４６は、再度２値化を行い、疵とノイズとが重畳された画像から疵部のみを抽出する処理を行う。この場合、画像のヒストグラムを算出して「上位ｘ％」、及び「下位ｙ％」を疵部と認識し、認識した疵の連結、１画素除去（ノイズ除去）等を行って疵部を選択し、２値化を実施する。あるいは輝度閾値を複数設けて、閾値以上、あるいは閾値以下を疵部と認識するようにしても良い。

その後、再度、画像特徴量を抽出し、疵判定を行う。この場合、切り出された箇所の幅・長さなど形態情報と輝度情報、テクスチャ情報などの特徴量を抽出し、判定テーブルなどを用いて疵判定を実行する。

次に、図３のフローチャートを参照しながら本発明の疵検出方法の手順の一例を説明する。
まず、走行ライン上の鋼板１が疵検査装置１０の方向に移動を開始して、鋼板１が所定の位置に到達したことを不図示の鋼板位置検出部により検出されると、ステップＳ２０１で、撮像制御部３は照明部（不図示）に対して鋼板１に向かって光を照射させる制御を行うとともに、撮像部２を作動させるように制御する。なお、鋼板が連続的に通板されるラインでは、撮像制御部３は常時、撮像部２を作動させるように作動し、照明も常時、光を照射する。

次に、ステップＳ２０２で、撮像部２が鋼板１を撮像して鋼板表面の光学像を画像信号に変換して疵検査処理部４へ出力する。
次に、ステップＳ２０３で疵検査処理部４に画像信号が入力されたか否かを判定する。この判定の結果、画像信号が疵検査処理部４に入力された場合にはステップＳ２０４に進み、入力された画像信号中から疵候補画像を検出するとともに、特徴抽出した疵候補画像の切り出しを行い、上記検出した疵候補画像の特徴抽出を行う。これらの処理は上述した疵候補検出部４１、疵候補画像切り出し部４２及び画像特徴抽出部４３により行われる。

次に、ステップＳ２０５に進み、ステップＳ２０４で切り出した画像のグループ分けを行う。このグループ分けは、上述したように、疵候補画像分類部４４により行われる。
次に、ステップＳ２０６に進み、ステップＳ２０５で分類された画像群の中から疵とノイズとが重畳された画像を選択する処理を行う。

次に、ステップＳ２０７に進み、疵とノイズとが重畳された画像を形態により数種類の小グループに更に分類する。この小グループへの分類は、ノイズ形態に応じて行われる。
次に、ステップＳ２０８に進み、疵とノイズとが重畳された画像に対してのみ、適切な画素（例：縦４×横１６）の空間フィルタを演算して雑音除去を行う。この雑音除去は、上述したように画像補正部４５により行われる。

次に、ステップＳ２０９に進み、疵とノイズとが重畳された画像から疵部のみを抽出する。この疵部抽出は、有害疵検出部４６により行われるものであり、本実施の形態においては上述したように、画像のヒストグラムを算出して「上位ｘ％」、及び「下位ｙ％」を有害疵部と認識するようにしている。あるいは輝度閾値を複数設けて、閾値以上、閾値以下を疵部と認識しても良い。

その後、ステップＳ２１０に進んで疵判定を行う。この場合、切り出された箇所の幅・長さなど形態情報と輝度情報、テクスチャ情報などの特徴量を抽出し、予め作成した判定テーブルを用いて疵判定を行う。

次に、図４の画像補正手順の説明図を参照しながら本実施の形態で行う疵検出の具体例を説明する。
図４（ａ）に示すように、被検査対象の鋼板１は幅方向にメッキ合金化むらが発生している。このメッキ合金化むら自体は鋼板１の品質上は問題無いが、疵検出を行う場合のノイズとなり、疵検出を正確に行うための妨げとなる。

図４（ｂ）は、鋼板１上に存在する疵１ａを含む疵候補画像を切り出した状態を示している。また、図４（ｃ）は、この切り出した疵とノイズとが重畳された画像を２値化（図４（ｃ））した状態を示している。図４（ｄ）は、「ｘ−ｙ方向」に「幅」と「長さ」を示し、「ｚ方向」にグレースケールの輝度を表した特性図を示している。図４（ｄ）から明らかなように、メッキ合金化むらが発生している場合には、疵１ａ以外の個所においても輝度むらが発生しているので、疵模様を正確に検出することができない。

上述したように、本実施の形態においては２値化した図４（ｃ）の画像に、「１６×４画素」単位の画像補正を施して縞模様を除去し、図４（ｅ）及び（ｆ）に示したように、疵１ａのみを明確に認識可能な画像を得ることができるようにしている。

図５は、本実施の形態の疵検出装置を構成可能なコンピュータシステムの一例を示すブロックである。
図５において、５００はコンピュータＰＣである。ＰＣ５００は、ＣＰＵ５０１を備え、ＲＯＭ５０２またはハードディスク（ＨＤ）５１１に記憶された、あるいはフレキシブルディスクドライブ（ＦＤ）５１２より供給されるデバイス制御ソフトウェアを実行し、システムバス５０４に接続される各デバイスを総括的に制御する。

上記ＰＣ５００のＣＰＵ５０１，ＲＯＭ５０２またはハードディスク（ＨＤ）５１１に記憶されたプログラムにより、本実施の形態の各機能手段が構成される。

５０３はＲＡＭで、ＣＰＵ５０１の主メモリ、ワークエリア等として機能する。５０５はキーボードコントローラ（ＫＢＣ）であり、キーボード（ＫＢ）５０９から入力される信号をシステム本体内に入力する制御を行う。５０６は表示コントローラ（ＣＲＴＣ）であり、表示装置（ＣＲＴ）５１０上の表示制御を行う。５０７はディスクコントローラ（ＤＫＣ）で、ブートプログラム（起動プログラム：パソコンのハードやソフトの実行（動作）を開始するプログラム）、複数のアプリケーション、編集ファイル、ユーザファイルそしてネットワーク管理プログラム等を記憶するハードディスク（ＨＤ）５１１、及びフレキシブルディスク（ＦＤ）５１２とのアクセスを制御する。５０８はネットワークインタフェースカード（ＮＩＣ）で、ＬＡＮを介して、ネットワークプリンタ、他のネットワーク機器、あるいは他のＰＣと双方向のデータのやり取りを行う。

（本発明に係る他の実施の形態）
上述した本発明の実施の形態における疵検出装置を構成する各手段、並びに疵検出方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び上記プログラムを記録したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

なお、本発明は、前述した実施の形態の機能を実現するソフトウェアのプログラム（実施の形態では、図３に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが上記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、上記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリター（interpreter）により実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、上記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現される。

本発明の実施の形態を示し、疵検査装置の概略構成の一例を示した図である。 （ａ）は疵検査処理部の構成例を示すブロック図、（ｂ）は判定テーブルの処理を説明する図である。 疵検出方法の処理手順の一例を説明するフローチャートである。 画像補正の技術の具体例を説明する図である。 本実施の形態の疵検出装置を構成可能なコンピュータシステムの構成例を示すブロック図である。

符号の説明

１ 鋼板
２ 撮像部
３ 撮像制御部
４ 疵検査処理部
５ モニタ
４１ 疵候補検出部
４２ 疵候補画像切り出し部
４３ 画像特徴抽出部
４４ 疵候補画像分類部
４５ 画像補正部
４６ 有害疵検出部

Claims (10)

1. 疵検査対象物を撮像して得られた画像信号を解析して有害疵を検出する疵検出装置であって、
   上記画像信号の全体から特定形状の模様を含む画像を疵候補画像として抽出する疵候補画像抽出手段と、
   上記疵候補画像抽出手段により抽出された疵候補画像を切り出す疵候補画像切り出し手段と、
   上記疵候補画像切り出し手段により切り出された疵候補画像に対して画像補正を行う画像補正手段と、
   上記画像補正手段により補正された画像中に存在する有害疵を検出する有害疵検出手段とを有することを特徴とする疵検出装置。
2. 上記画像補正手段は、上記疵候補画像切り出し手段により切り出された疵候補画像を、所定の特徴毎に複数の疵候補画像群に分類し、特定形状の模様を含む疵候補画像群の各画像に対してのみ画像補正を施すことを特徴とする請求項１に記載の疵検出装置。
3. 上記画像補正手段は、移動平均フィルタを用いて有害疵からノイズを除去することを特徴とする請求項１または２に記載の疵検出装置。
4. 上記有害疵検出手段は、上記画像補正手段により補正された画像を多値化して疵形態を抽出する疵形態抽出手段を有し、上記疵形態抽出手段により抽出した疵の特徴に基いて疵種判定を行うことを特徴とする請求項１〜３の何れか１項に記載の疵検出装置。
5. 疵検査対象物を撮像して得られた画像信号を解析して有害疵を検出する疵検出方法であって、
   上記画像信号の全体から特定形状の模様を含む画像を疵候補画像として抽出する疵候補画像抽出工程と、
   上記疵候補画像抽出工程により抽出された疵候補画像を切り出す疵候補画像切り出し工程と、
   上記疵候補画像切り出し工程により切り出された疵候補画像に対して画像補正を行う画像補正工程と、
   上記画像補正工程により補正された画像中に存在する有害疵を検出する有害疵検出工程とを有することを特徴とする疵検出方法。
6. 上記画像補正工程は、上記疵候補画像切り出し工程により切り出された疵候補画像を、所定の特徴毎に複数の疵候補画像群に分類し、特定形状の模様を含む疵候補画像群の各画像に対してのみ画像補正を施すことを特徴とする請求項５に記載の疵検出方法。
7. 上記画像補正工程は、移動平均フィルタを用いて有害疵からノイズを除去することを特徴とする請求項５または６に記載の疵検出方法。
8. 上記有害疵検出工程は、上記画像補正工程により補正された画像を多値化して疵形態を抽出する疵形態抽出工程を有し、上記疵形態抽出工程により抽出した疵の特徴に基いて疵種判定を行うことを特徴とする請求項５〜７の何れか１項に記載の疵検出方法。
9. 疵検査対象物を撮像して得られた画像信号を解析して有害疵を検出する疵検出方法をコンピュータに実行させるプログラムであって、
   上記画像信号の全体から特定形状の模様を含む画像を疵候補画像として抽出する疵候補画像抽出工程と、
   上記疵候補画像抽出工程により抽出された疵候補画像を切り出す疵候補画像切り出し工程と、
   上記疵候補画像切り出し工程により切り出された疵候補画像に対して画像補正を行う画像補正工程と、
   上記画像補正工程により補正された画像中に存在する有害疵を検出する有害疵検出工程とを有する疵検出方法をコンピュータに実行させることを特徴とするコンピュータプログラム。
10. 上記請求項９に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images