【０００１】
【発明の属する技術分野】
本発明は、フィルム、紙、鉄鋼の圧延プロセスなど、平板状の製品を作る生産工程における表面検査技術における欠陥検出装置に関するものである。
【０００２】
【従来の技術】
工業製品の表面に生じる欠陥を光学的方法で検出する装置において、撮像によって得られた画像信号に対し、欠陥幅、欠陥部面積、縦横比、最大強度等の各種特徴量による欠陥の分類を行ってきた。
【０００３】
例えば特開平８−８２６０４号公報（特許文献１）には、寸法情報と強度情報に当たる多次元の特徴量を検出することにより、特に油汚れ、白色汚れ等にも高精度の表面欠陥と判別可能とする鋼板表面欠陥検査方法が提案されている。この技術は、鋼板表面に照明光を照射し、該鋼板表面をカメラにより撮像し、捉えられた鋼板表面欠陥幅、欠陥部面積、縦横比及び最大強度の４次元を主要特徴量として検出し、該検出された主要特徴量抽出から欠陥を判定することを特徴としている。欠陥の判定は、複数段の判定ステップにより分岐を繰返すツリー型の論理により構成されている。
【０００４】
しかしながら、欠陥種類または欠陥程度を分類するために重要な因子である欠陥形態の複雑さについては、有効な特徴量を得る手段がなく、分類は不完全であった。
【０００５】
欠陥の複雑さについて、扱うための試みが提案されている。例えば特開平９−１７９９８５号公報（特許文献２）には、欠陥の複雑さの指標としてｘ−ｙ平面を画像面、ｚ軸を輝度にとった３次元図形のフラクタル次元を採用する方法が提案されている。ここでは、感光体や色素を一様に塗布することを目的とする工業製品の製造工程において、例えば、ＣＣＤカメラなどの光学的な手段を用いて一様な被検査物の表面の輝度分布画像を前処理部に入力し、デジタル変換することにより取得した多階調の画像データを解析して被検査物の特異部分（欠陥部分）の検出を行っている。
【０００６】
この従来技術の装置は、欠陥の存在の可能性が高い非定常領域を入力画像から抽出する前処理手段と、その抽出画像領域内のフラクタル次元を算出するフラクタル次元算出手段と、算出されたフラクタル次元を設定変更可能な閾値で２値化可能な手段を持っている。その２値化出力により、抽出領域の欠陥部分と非欠陥部分を判別するとしている。
【０００７】
【特許文献１】
特開平８−８２６０４号公報
【０００８】
【特許文献２】
特開平９−１７９９８５号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、従来技術には次のような問題点があった。まず、特開平８−８２６０４号公報（特許文献１）記載の技術は、欠陥種類または欠陥程度を分類するために重要な因子である欠陥形態の複雑さについては、有効な特徴量を得る手段がなく、分類は不完全であった。
【００１０】
特開平９−１７９９８５号公報（特許文献２）には、欠陥の複雑さの指標として位置と輝度からなる３次元空間におけるフラクタル次元を採用する方法が記載されているが、本来は欠陥種類または欠陥程度の分類について、その形態の複雑さと輝度分布の粗さを独立に評価しなければいけない。すなわち、この文献記載の技術では、フラクタル次元への位置ｘ，ｙと輝度ｚの寄与が分離できず、フラクタル次元の変化が位置又は輝度のいずれの分布によるものか判定できなくなる。
【００１１】
そのため、特許文献２記載の技術では、変位と輝度を３次元化する際、輝度の尺度を大きく設定すれば、場所的分布（欠陥の形態）の影響が十分に反映されなくなり、一方、変位の尺度を大きく設定すれば、輝度の影響が反映されず、欠陥自体を認識することができなくなるという問題がある。しかし、この文献には、変位と輝度の尺度の設定比率（変換比率）について、好ましい範囲等の実施に必要なことが記載されていない。
【００１２】
また、欠陥検出に当たっては、元画像には欠陥信号の下地に輝度の大きなうねりや不要なノイズ成分を含んでいることが多く、これらを除いた上で複雑さの指標を得る必要がある。しかしながら、これらの問題も、従来技術においては十分には解決されていない。
【００１３】
本発明は、これらの問題を解決し、欠陥種類または欠陥程度の分類およびその形態の複雑さの指標を得ることが可能な欠陥検出装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記の課題は次の発明により解決される。その発明は、製品表面の欠陥を光学的に検出し欠陥の判定を行う欠陥検出装置において、画像信号のエッジ抽出又はフィルタリングを行うとともに規格化を行う画像前処理手段と、前処理された画像信号に対して所定の閾値により２値化を施す２値化手段と、得られた２値化画像についてフラクタル図形としてのフラクタル次元を算出するフラクタル次元演算手段と、得られたフラクタル次元を欠陥の形態の複雑さの特徴量として用いて欠陥の判定を行う欠陥判定手段と、を備えていることを特徴とする欠陥検出装置である。
【００１５】
この発明は、画像の前処理手段を用いて２値化前に画像のエッジを強調するとともに、欠陥候補以外の領域が規格化（中心輝度から上下に大きく離れた部分はエッジ強調部分）されているので、安定して２値化画像を得ることができる。すなわち、画像によらず同じ閾値による２値化画像により、欠陥候補を描出することができる。
【００１６】
さらに、２値化された画像についてフラクタル次元演算手段によりフラクタル次元を算出しているので、画像の位置情報を明度情報とは分離して解析することが可能である。従って、得られたフラクタル次元は、明度の影響を受けず、欠陥の形態のみにより決まる指標となる。フラクタル次元としては、通常のボックス次元（ｂｏｘ ｃｏｕｎｔｉｎｇ ｄｉｍｅｎｓｉｏｎ）等を用いることができる。
【００１７】
この発明において、さらに、２値化画像について残存画素数を測定する残存画素数測定手段を備え、欠陥判定手段は欠陥の形態の複雑さの特徴量としてこの残存画素数も用いて欠陥の判定を行うことを特徴とする欠陥検出装置とすることもできる。
【００１８】
この発明は、残存画素数を測定することにより欠陥候補の総面積を算出することができる。
【００１９】
これらの発明において、画像前処理手段は、画像信号にシェーディング処理を行うシェーディング処理手段であることを特徴とする欠陥検出装置とすることもできる。
【００２０】
この発明は、画像をシェーディング処理することにより輝度の大きなうねりを除去した後、画像を２値化手段で２値化しているので、不要なノイズ成分を除去することができる。
【００２１】
また、画像前処理手段は、ラプラシアンフィルタを用いて走査を行うフィルタリング処理手段であることを特徴とする欠陥検出装置とすることもできる。
【００２２】
この発明は、ラプラシアンフィルタを用いて、２値化前の元画像に対して走査することによりフィルタリング処理を行い、欠陥部のエッジを強調する。
【００２３】
さらに、これらの発明において、２値化前の画像について輝度のエントロピを測定する輝度エントロピ測定手段を備えていることを特徴とする欠陥検出装置とすることもできる。
【００２４】
この発明は、輝度エントロピ測定手段を用いて２値化前の画像の輝度のエントロピを測定することにより、輝度の分布状態を数値化することができる。
【００２５】
以上に述べた発明において、欠陥判定手段は得られた特徴量に最尤決定法を適用して欠陥の判定を行うことを特徴とする欠陥検出装置とすることもできる。
【００２６】
この発明は、欠陥の判定を最尤決定法を用いて行うので、統計計算により判定が可能である。従って、煩雑なツリー型の論理を組む必要がなく、ソフトウェアが簡素化されるとともにメンテナンス性も向上する。
【００２７】
【発明の実施の形態】
本発明は、画像に適切な前処理を施し、欠陥の形態をフラクタル図形としてその形態の複雑さをボックス（ｂｏｘ ｃｏｕｎｔｉｎｇ）次元をもちいた特徴量で表し、輝度分布の粗さについては情報のエントロピを用いた特徴量で表し、あらかじめ採取した多数のサンプルについての各特徴量の組から統計計算を行う。その後、ベイズの定理（Ｂａｙｅｓ’ ｔｈｅｏｒｅｍ）に基づいた最尤（ｍａｘｉｍｕｍ ｌｉｋｅｌｉｈｏｏｄ）決定を行うことにより、煩雑なツリー型の論理の設計をなしに容易に欠陥の分類を行うことを特徴とするものである。
【００２８】
装置は、図１に示すように、概ね撮像系と画像メモリ及び処理系で構成される。例えば光源とカメラ等を用いた撮像系で、検査対象表面の画像を画像メモリに記憶する。
【００２９】
画像メモリに採取された画像データに対して、以下、図２に示すように、エッジ抽出又はフィルタリングを行い、必要に応じて光学系に起因する輝度ムラを除去するためにシェーディング補正を行う。次に適当な閾値で２値化することにより欠陥候補を抽出する。欠陥候補があると、元画像に対してラプラシアンフィルタ処理を施して、画像のエッジ成分を強調する。図３に、ラプラシアンフィルタの例として８近傍ラプラシアンフィルタを示す。
【００３０】
このように前処理された画像について、フラクタル図形と見た場合のボックス次元を求める。すなわち、図４に示すように、１辺ｄの格子を考えて、欠陥部の画像が覆われる格子の数をＮ（ｄ）個とする。このようにして、格子寸法ｄを変化させてＮ（ｄ）を測定する。得られたＮ（ｄ）について、図５に示すように、Ｘ軸にｌｏｇ ｄ、Ｙ軸に−ｌｏｇＮ（ｄ）をプロットしたときの傾きをボックス次元ｄｉｍＢとする。
【００３１】
また、欠陥種類または欠陥程度の分類について、その形態の複雑さと輝度分布の粗さは独立に評価しなければいけない。そのため別に輝度のエントロピを定義する。まず画像上、欠陥候補の範囲内で、輝度ｎに占める割合をｐ（ｎ）とし、ｎの下限値ｎ＝ｎｍｉｎから上限値ｎ＝ｎｍａｘまでの総和がΣｐ（ｎ）＝１となるように輝度ヒストグラムを正規化する。
【００３２】
次に輝度ｎに占める割合をｐ（ｎ）とし、輝度分布の粗さの特徴量となる輝度のエントロピを、情報理論のエントロピからのアナロジーとして
Ｈ＝−Σ ｐ（ｎ）ｌｏｇ ｐ（ｎ） （１）
と定義する。総和Σは輝度ｎの下限値ｎ＝ｎｍｉｎから上限値ｎ＝ｎｍａｘまでとる。輝度のエントロピＨは、輝度分布と対応しており、輝度分布が狭いほど小さい値となる。
【００３３】
このようにして、計算された特徴量、即ち前述のボックス次元ｕ１＝ｄｉｍＢ、残存画素数ｕ２とエントロピｕ３＝Ｈ等を、ｎ次元ベクトルｕ＝（ｕ１，．．．，ｕｎ）で表しパターンと呼ぶ。またここで分類すべき欠陥種類または欠陥程度をそれぞれカテゴリと呼ぶ。
【００３４】
次に欠陥種類または欠陥程度について、カテゴリとして分類するためにベイズの定理に基づいた最尤決定を行う。この方法については例えば「パターン情報処理」（オーム社）に詳しい。この方法により、パターンｕが与えられたとき、そのカテゴリをｊとする確率をＰ（ｊ｜ｕ）、カテゴリｊがパターンｕを生起する確率をＰ（ｕ｜ｊ）、カテゴリｊの生起確率をＰ（ｊ）、パターンｕの生起確率をＰ（ｕ）とすれば、ベイズの定理により、
Ｐ（ｊ｜ｕ）＝Ｐ（ｕ｜ｊ）Ｐ（ｊ）／Ｐ（ｕ） （２）
となる。
【００３５】
ここでＰ（ｕ｜ｊ）、Ｐ（ｊ）はあらかじめ多数のサンプルを集めて求めておくことができ、またＰ（ｕ）はカテゴリによらない。ｊを変えてＰ（ｊ｜ｕ）が最大となるカテゴリｉを求めればよい。
【００３６】
あらかじめ多数のサンプルからカテゴリｊの生成確率Ｐ（ｊ）とカテゴリｊとなるパターンｖの要素ｖ１，ｖ２，．．．，ｖｎのそれぞれの平均ｍ１，ｍ２，．．．，ｍｎ、分散σ１１ ２，σ２２ ２， ．．．，σｎｎ ２及びｖｋとｖｌの共分散σｋｌ ２＝σｌｋ ２を計算しておき、これらを行列要素とする 行列（σｋｌ ２） を共分散行列と呼ぶ。パターンｖの平均からなるベクトルをｍ＝（ｍ１，．．．，ｍｎ）Ｔ（Ｔは行ベクトルを示す）、共分散行列（σｋｌ ２）を（Σｊ）、その行列式ｄｅｔ（Σｊ）を｜Σｊ｜と表せば、ベイズの定理からパターンｕのｎ次元正規分布を仮定して計算することにより、尤度（ｌｉｋｅｌｉｆｏｏｄ）関数は、
となる。ここでｊを変えて、この尤度関数ｇ（ｊ｜ｕ）が最大となるカテゴリｉを探せば、ｊ＝ｉのときＰ（ｊ｜ｕ）も最大となり、カテゴリｉに欠陥種類または欠陥程度を分類することができる。
【００３７】
【実施例】
本発明を、鉄鋼分野の熱間圧延プロセス（以下熱延と呼ぶ）に適用した例（前記図１）について述べる。この熱延装置において、圧延ロール２は７スタンドになっており、入り側最初のスタンドをＮｏ．１、最終スタンドをＮｏ．７スタンドとする。入り側より１３００℃程度の温度のスラブ鋼材１が挿入され、次第に圧延されて、Ｎｏ．７スタンド出口で１ｍｍ程度にまで圧延される。ここでの鋼板移動速度は２０ｍ毎秒程度、鋼板の幅は１０００ｍｍである。
【００３８】
撮像のための光源３としては、例えばメタルハライド２５０Ｗランプの光をバンドルファイバーで線状に形成し、シリンドリカルレンズで集光して鋼板表面を照らす。受光はラインセンサカメラを用いる。カメラ４の画素数は１０２４であり、１０００ｍｍの板幅を見るので、横方向の画素分解能は１ｍｍである。
【００３９】
カメラコントローラ６は、ロールに設けられたロータリエンコーダ５より信号を受け取って、鋼板が１ｍｍ進むごとにカメラにトリガ信号を送る。カメラはトリガ信号が入った時のみ４０９６データまで逐次、１０２４ラインの画像信号を出力するので、鋼板の運転速度が変化しても、画像メモリ内では常に１画素が実際の鋼板での縦横１ｍｍの像に相当している。マイクロコンピュータ９は、ロータリエンコーダからの信号で鋼板の進んだ長さを測定しており、指定された時刻から指定された距離の画像を取り込むよう、画像処理装置８を制御する。
【００４０】
画像処理装置内での信号処理の流れを図２に沿って説明すると、先ず画像データを採取し、次に光学系に起因する輝度ムラを除去するためにシェーディング補正を行う。次に適当な閾値で２値化することにより欠陥候補を抽出する。
【００４１】
欠陥候補があると、図３に示すようなラプラシアンフィルタによってエッジ成分を強調して２値化した後、欠陥候補の範囲に渡ってボックス（ｂｏｘ ｃｏｕｎｔｉｎｇ）次元ｄｉｍＢを求める。一方、２値化前の画像について欠陥候補の範囲にわたって適当な範囲で輝度を正規化し、ヒストグラムをとり、輝度のエントロピーＨを求める。
【００４２】
その後、前述のベイズの定理に基づき最尤（ｍａｘｉｍｕｍ ｌｉｋｅｌｉｈｏｏｄ）決定を行う。今回は前述のボックス次元ｄｉｍＢ、残存画素数と輝度のエントロピＨが特徴量であり３次元でかまわないが、欠陥幅、縦横比、最大強度等の従来から使われてきた各種特徴量をも含めて認識してもよいので一般的にｎ次元で説明する。すなわちｕ１＝ボックス次元ｄｉｍＢ、残存画素数ｕ２とエントロピｕ３＝Ｈ、ｕ４＝欠陥幅、ｕ５＝縦横比、ｕ６＝最大強度・・・のようになる。
以下、尤度関数ｇ（ｊ｜ｕ）が最大となるカテゴリｉに欠陥種類または欠陥程度を分類する。
【００４３】
また本発明は欠陥種類または欠陥程度の分類に主眼をおいて書かれているが、同様の原理から生産工程における処理むら等の無害な信号を欠陥候補から除外するために用いてもよい。
【００４４】
【発明の効果】
以上のように本発明によれば検査対象の画像信号の中の欠陥信号について、本発明では欠陥画像をフラクタル図形と見なし、その形態の複雑さをボックス次元と残存画素数をもちいた特徴量で表し、また輝度分布の粗さをエントロピを用いた特徴量で表し、この各特徴量の組からベイズの定理に基づいた最尤（ｍａｘｉｍｕｍ ｌｉｋｅｌｉｈｏｏｄ）決定により欠陥の分類を行うことにより正確に欠陥種類または欠陥程度の分類を行うことができる。
【図面の簡単な説明】
【図１】本発明に係る欠陥検出装置の熱延装置への適用例を示す図。
【図２】信号処理および演算の流れを示す図。
【図３】８近傍ラプラシアンオペレータを示す図。
【図４】ボックス次元を求めるため画像の分割の例を示す図。
【図５】ボックス次元の求めかたを示す図。
【符号の説明】
１ 鋼板
２ ロール
３ 光源
４ カメラ
５ ロータリエンコーダ
６ カメラコントローラ
７ 画像メモリ
８ 画像処理装置
９ マイクロコンピュータ
１０ 表示・出力装置[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a defect detection apparatus in a surface inspection technology in a production process of producing a flat product such as a film, paper, and steel rolling process.
[0002]
[Prior art]
A device that detects defects that occur on the surface of industrial products by an optical method, classifies defects based on various characteristic quantities such as defect width, defect area, aspect ratio, maximum intensity, etc. for image signals obtained by imaging. Have been.
[0003]
For example, Japanese Patent Application Laid-Open No. 8-82604 (Patent Document 1) discloses that by detecting a multidimensional feature amount corresponding to dimensional information and intensity information, it is possible to discriminate a surface defect with high accuracy, especially for oil stains and white stains. A steel sheet surface defect inspection method has been proposed. This technology irradiates the surface of the steel sheet with illumination light, images the surface of the steel sheet with a camera, and detects four dimensions of the detected steel sheet surface defect width, defect area, aspect ratio, and maximum intensity as main features, The method is characterized in that a defect is determined from the detected main feature amount extraction. The determination of a defect is configured by a tree-type logic in which branching is repeated by a plurality of determination steps.
[0004]
However, regarding the complexity of the defect form, which is an important factor for classifying the defect type or the defect degree, there is no means for obtaining an effective feature amount, and the classification is incomplete.
[0005]
Attempts to address the complexity of the defect have been proposed. For example, Japanese Patent Application Laid-Open No. Hei 9-179985 (Patent Literature 2) proposes a method of adopting a fractal dimension of a three-dimensional figure having an image plane on an xy plane and luminance on a z-axis as an index of the complexity of a defect. Have been. Here, in the manufacturing process of an industrial product for the purpose of uniformly applying a photoreceptor or a dye, for example, a uniform brightness distribution image of the surface of the inspection object is obtained using an optical means such as a CCD camera. Is input to a pre-processing unit, and multi-gradation image data obtained by digital conversion is analyzed to detect a peculiar part (defect part) of the inspection object.
[0006]
The prior art apparatus includes a pre-processing unit that extracts a non-stationary region where a defect is highly likely to exist from an input image, a fractal dimension calculation unit that calculates a fractal dimension in the extracted image region, and a calculated fractal dimension. There is a means that can be binarized with a threshold whose dimension can be changed. According to the binarized output, a defective portion and a non-defective portion of the extraction area are determined.
[0007]
[Patent Document 1]
Japanese Patent Application Laid-Open No. 8-82604
[Patent Document 2]
Japanese Patent Application Laid-Open No. Hei 9-179985
[Problems to be solved by the invention]
However, the prior art has the following problems. First, the technique described in Japanese Patent Application Laid-Open No. 8-82604 (Patent Document 1) has a means for obtaining an effective feature amount for the complexity of a defect form, which is an important factor for classifying a defect type or a defect degree. No classification was incomplete.
[0010]
Japanese Patent Application Laid-Open No. 9-179985 (Patent Document 2) describes a method of employing a fractal dimension in a three-dimensional space consisting of position and luminance as an index of the complexity of a defect. For the classification of the degree, the complexity of the form and the roughness of the luminance distribution must be evaluated independently. That is, in the technique described in this document, the contribution of the position x, y and the luminance z to the fractal dimension cannot be separated, and it is not possible to determine whether the change in the fractal dimension is due to the distribution of the position or the luminance.
[0011]
Therefore, in the technique described in Patent Document 2, when the displacement and the luminance are three-dimensionalized, if the luminance scale is set to be large, the influence of the spatial distribution (the form of the defect) is not sufficiently reflected. If the scale is set to be large, there is a problem that the influence of the luminance is not reflected and the defect itself cannot be recognized. However, this document does not disclose that a setting ratio (conversion ratio) of a scale of displacement and luminance is necessary for implementing a preferable range or the like.
[0012]
In detecting a defect, the original image often contains a large luminance swell or an unnecessary noise component in the base of the defect signal, and it is necessary to obtain an index of complexity after removing these components. However, these problems have not been sufficiently solved in the prior art.
[0013]
SUMMARY OF THE INVENTION It is an object of the present invention to solve the above problems and to provide a defect detection apparatus capable of classifying defect types or defect degrees and obtaining an index of the complexity of the form.
[0014]
[Means for Solving the Problems]
The above problem is solved by the following invention. The invention relates to a defect detection device for optically detecting a defect on a product surface and determining a defect, wherein an image preprocessing means for extracting and filtering an edge of an image signal and normalizing the image signal, and a preprocessed image signal. , A fractal dimension calculating means for calculating a fractal dimension as a fractal figure with respect to the obtained binarized image, and converting the obtained fractal dimension into a defect form. And a defect determination unit for determining a defect using the feature amount of the complexity.
[0015]
According to the present invention, the edges of an image are emphasized before binarization using image pre-processing means, and areas other than defect candidates are standardized (a part largely vertically separated from the center luminance is an edge emphasized part). Therefore, a binarized image can be stably obtained. That is, a defect candidate can be drawn using a binarized image with the same threshold value regardless of the image.
[0016]
Further, since the fractal dimension of the binarized image is calculated by the fractal dimension calculating means, it is possible to analyze the position information of the image separately from the brightness information. Therefore, the obtained fractal dimension is not affected by the brightness, and is an index determined only by the form of the defect. As the fractal dimension, a normal box counting dimension or the like can be used.
[0017]
The present invention further includes a remaining pixel number measuring unit for measuring the number of remaining pixels in the binarized image, and the defect determining unit determines the defect using the number of remaining pixels as a feature amount of the complexity of the defect form. The defect detection device may be characterized in that the defect detection is performed.
[0018]
According to the present invention, the total area of defect candidates can be calculated by measuring the number of remaining pixels.
[0019]
In these inventions, the image pre-processing unit may be a defect detection device, which is a shading processing unit that performs shading processing on an image signal.
[0020]
According to the present invention, since an image is subjected to shading processing to remove undulations having a large luminance and then binarized by the binarizing means, unnecessary noise components can be removed.
[0021]
Further, the image preprocessing means may be a defect detection device characterized by being a filtering processing means for performing scanning using a Laplacian filter.
[0022]
According to the present invention, a filtering process is performed by scanning an original image before binarization using a Laplacian filter, thereby emphasizing an edge of a defective portion.
[0023]
Further, according to these inventions, a defect detection device may be provided which includes a luminance entropy measuring means for measuring luminance entropy of an image before binarization.
[0024]
According to the present invention, the luminance entropy of an image before binarization is measured using a luminance entropy measuring unit, so that the luminance distribution state can be quantified.
[0025]
In the above-described invention, the defect determination unit may be a defect detection apparatus that performs a defect determination by applying a maximum likelihood determination method to the obtained feature amount.
[0026]
According to the present invention, since the defect is determined using the maximum likelihood determination method, the determination can be performed by statistical calculation. Therefore, it is not necessary to form complicated tree-type logic, and the software is simplified and the maintainability is improved.
[0027]
BEST MODE FOR CARRYING OUT THE INVENTION
According to the present invention, an image is subjected to appropriate preprocessing, the form of a defect is represented as a fractal figure, and the complexity of the form is represented by a feature quantity using a box counting dimension. The roughness of the luminance distribution is determined by entropy of information. , And a statistical calculation is performed from a set of each feature amount for a large number of samples collected in advance. Thereafter, by performing maximum likelihood determination based on Bayes' theorem, it is possible to easily classify defects without complicated tree-type logic design. is there.
[0028]
As shown in FIG. 1, the apparatus generally includes an imaging system, an image memory, and a processing system. For example, an image of the surface to be inspected is stored in an image memory by an imaging system using a light source and a camera.
[0029]
As shown in FIG. 2, the image data collected in the image memory is subjected to edge extraction or filtering, and if necessary, shading correction is performed to remove luminance unevenness caused by the optical system. Next, defect candidates are extracted by binarization with an appropriate threshold value. If there is a defect candidate, the original image is subjected to Laplacian filter processing to emphasize the edge components of the image. FIG. 3 shows an eight-neighbor Laplacian filter as an example of the Laplacian filter.
[0030]
With respect to the preprocessed image, a box dimension when the image is viewed as a fractal figure is obtained. That is, as shown in FIG. 4, considering the grid of one side d, the number of grids covered with the image of the defective portion is set to N (d). In this manner, N (d) is measured while changing the lattice dimension d. Regarding the obtained N (d), as shown in FIG. 5, a slope obtained by plotting log d on the X axis and −log N (d) on the Y axis is defined as a box dimension dimB.
[0031]
Further, regarding the classification of the defect type or the defect degree, the complexity of the form and the roughness of the luminance distribution must be independently evaluated. Therefore, entropy of luminance is separately defined. First, on the image, within the range of the defect candidate, the ratio of the luminance n to the luminance n is defined as p (n), and the sum of the lower limit n = nmin to the upper limit n = nmax of n is Σp (n) = 1. Normalize the luminance histogram.
[0032]
Next, the ratio of the luminance to the luminance n is defined as p (n), and the entropy of the luminance, which is a feature amount of the roughness of the luminance distribution, is expressed as an analogy from the entropy of the information theory as H = −Σ. p (n) log p (n) (1)
Is defined. The sum Σ ranges from the lower limit value n = nmin of the luminance n to the upper limit value n = nmax. The luminance entropy H corresponds to the luminance distribution, and becomes smaller as the luminance distribution becomes narrower.
[0033]
In this manner, the calculated characteristic amounts, i.e. above the box dimensions u 1 = DImb, the remaining number of pixels u 2 entropy u 3 = H or the like, n-dimensional vector u = (u 1, ..., u n ) And called a pattern. The type of defect or the degree of defect to be classified here is called a category.
[0034]
Next, the maximum likelihood determination based on Bayes' theorem is performed to classify the defect type or defect degree as a category. This method is described in detail in "Pattern Information Processing" (Ohm). According to this method, when a pattern u is given, the probability that the category is j is P (j | u), the probability that the category j produces the pattern u is P (u | j), and the probability that the category j occurs is If P (j) and the occurrence probability of pattern u are P (u), Bayes' theorem gives
P (j | u) = P (u | j) P (j) / P (u) (2)
It becomes.
[0035]
Here, P (u | j) and P (j) can be obtained by collecting a large number of samples in advance, and P (u) does not depend on the category. By changing j, the category i that maximizes P (j | u) may be obtained.
[0036]
The generation probability P (j) of category j from a large number of samples and the elements v 1, v 2 ,. . . Respective average m 1, m 2, of, v n. . . , M n, variance σ 11 2, σ 22 2, . . . , Σ nn 2 and the covariance σ kl 2 = σ lk 2 of v k and v l are calculated, and a matrix (σ kl 2 ) having these as matrix elements is referred to as a covariance matrix. M = (m 1 ,..., Mn ) T ( T indicates a row vector), the covariance matrix (σ kl 2 ) is (Σj), and its determinant det (Σj ) Is expressed as | Σj |, the likelihood (likelihood) function is calculated by assuming the n-dimensional normal distribution of the pattern u from Bayes' theorem.
It becomes. Here, if j is changed to find a category i in which the likelihood function g (j | u) becomes the maximum, P (j | u) also becomes the maximum when j = i, and the category i indicates the defect type or defect degree. Can be classified.
[0037]
【Example】
An example (FIG. 1) in which the present invention is applied to a hot rolling process (hereinafter, referred to as hot rolling) in the steel field will be described. In this hot rolling apparatus, the rolling roll 2 has seven stands, and the first stand on the entrance side is No. 1. 1. The last stand is No. There are seven stands. The slab steel 1 at a temperature of about 1300 ° C. was inserted from the entry side, and was gradually rolled. Rolled to about 1 mm at the exit of 7 stands. Here, the moving speed of the steel sheet is about 20 m / sec, and the width of the steel sheet is 1000 mm.
[0038]
As a light source 3 for imaging, for example, light of a metal halide 250 W lamp is formed linearly with a bundle fiber, and condensed by a cylindrical lens to illuminate the steel plate surface. Light is received using a line sensor camera. Since the number of pixels of the camera 4 is 1024 and a board width of 1000 mm is observed, the pixel resolution in the horizontal direction is 1 mm.
[0039]
The camera controller 6 receives a signal from the rotary encoder 5 provided on the roll, and sends a trigger signal to the camera every time the steel plate advances by 1 mm. The camera sequentially outputs 1024 lines of image signals up to 4096 data only when a trigger signal is input. Therefore, even if the operating speed of the steel plate changes, one pixel always remains in the image memory at 1 mm length and width of the actual steel plate. It corresponds to an image. The microcomputer 9 measures the advanced length of the steel plate by a signal from the rotary encoder, and controls the image processing device 8 to capture an image at a specified distance from a specified time.
[0040]
The flow of signal processing in the image processing apparatus will be described with reference to FIG. 2. First, image data is collected, and then shading correction is performed to remove luminance unevenness caused by the optical system. Next, defect candidates are extracted by binarization with an appropriate threshold value.
[0041]
When there is a defect candidate, the edge component is emphasized and binarized by a Laplacian filter as shown in FIG. 3, and then a box counting dimension dimB is obtained over the range of the defect candidate. On the other hand, for the image before binarization, the luminance is normalized in an appropriate range over the range of the defect candidate, a histogram is obtained, and the entropy H of the luminance is obtained.
[0042]
Thereafter, a maximum likelihood decision is made based on Bayes' theorem. This time, the box dimension dimB, the number of remaining pixels and the entropy H of the luminance are the feature quantities and may be three-dimensional, but include the various feature quantities that have been used conventionally, such as the defect width, aspect ratio, and maximum intensity. In general, the description will be made in n dimensions. That is, u 1 = box dimension dimB, number of remaining pixels u 2 and entropy u 3 = H, u 4 = defect width, u 5 = aspect ratio, u 6 = maximum intensity, and so on.
Hereinafter, the defect types or the defect degrees are classified into the category i in which the likelihood function g (j | u) is maximized.
[0043]
Although the present invention has been described with a focus on the classification of defect types or defect degrees, the same principle may be used to exclude harmless signals such as processing irregularities in the production process from defect candidates.
[0044]
【The invention's effect】
As described above, according to the present invention, regarding a defect signal in an image signal to be inspected, the present invention regards a defect image as a fractal figure, and determines the complexity of the form with a feature amount using a box dimension and the number of remaining pixels. And the roughness of the luminance distribution is represented by a feature value using entropy, and the defect type is accurately determined by classifying the defect from the set of each feature value by a maximum likelihood determination based on Bayes' theorem. Alternatively, the degree of defect can be classified.
[Brief description of the drawings]
FIG. 1 is a diagram showing an application example of a defect detection device according to the present invention to a hot rolling device.
FIG. 2 is a diagram showing a flow of signal processing and calculation.
FIG. 3 is a diagram showing an 8-neighbor Laplacian operator.
FIG. 4 is a diagram showing an example of image division for obtaining a box dimension.
FIG. 5 is a diagram showing how to obtain a box dimension.
[Explanation of symbols]
Reference Signs List 1 steel plate 2 roll 3 light source 4 camera 5 rotary encoder 6 camera controller 7 image memory 8 image processing device 9 microcomputer 10 display / output device
