CN110431404B - 表面缺陷检查方法及表面缺陷检查装置 - Google Patents

表面缺陷检查方法及表面缺陷检查装置 Download PDF

Info

Publication number
CN110431404B
CN110431404B CN201880018467.5A CN201880018467A CN110431404B CN 110431404 B CN110431404 B CN 110431404B CN 201880018467 A CN201880018467 A CN 201880018467A CN 110431404 B CN110431404 B CN 110431404B
Authority
CN
China
Prior art keywords
image
texture feature
defect
abnormality degree
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880018467.5A
Other languages
English (en)
Other versions
CN110431404A (zh
Inventor
腰原敬弘
梅垣嘉之
大重贵彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JFE Steel Corp
Original Assignee
JFE Steel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JFE Steel Corp filed Critical JFE Steel Corp
Publication of CN110431404A publication Critical patent/CN110431404A/zh
Application granted granted Critical
Publication of CN110431404B publication Critical patent/CN110431404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G01N21/898—Irregularities in textured or patterned surfaces, e.g. textiles, wood
    • G01N21/8983—Irregularities in textured or patterned surfaces, e.g. textiles, wood for testing textile webs, i.e. woven material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Textile Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Wood Science & Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

在作为本发明的一个实施方式的表面缺陷检查装置(1)中，纹理特征图像生成部(43)通过对输入图像实施基于多个空间滤波的滤波处理，从而生成多个纹理特征图像，纹理特征提取部(44)关于输入图像上的各位置分别提取多个纹理特征图像的对应的位置的值，生成图像上的各位置处的特征向量，异常程度计算部(45)关于各个特征向量计算特征向量所成的多维分布中的异常程度，生成表示关于输入图像上的各位置的异常程度的异常程度图像，缺陷候补检测部(46)将异常程度图像中异常程度超过规定值的部分检测为缺陷部或者缺陷候补部。

Description

表面缺陷检查方法及表面缺陷检查装置
技术领域
本发明涉及表面缺陷检查方法及表面缺陷检查装置。
背景技术
通常，在钢带的生产线中，为了产品表面的品质保证、品质管理，进行表面缺陷的检查。近年来，在检查表面缺陷时，推进表面缺陷检查装置的导入，实现了检查的自动化、省力化。近年导入的表面缺陷检查装置主要由利用照明及相机的光学系统和图像处理系统构成的装置成为主流。在现有的表面缺陷检查装置中，为了能够检测作为对象的表面缺陷，通常以获取到的图像中的表面缺陷部与正常部的对比度、即S/N比(信噪比)变大的方式，在调整照明、相机的角度这种使用光学滤波等方面下工夫。另一方面，钢带的表面缺陷存在多种多样的形态，关于它们全部得到较好的S/N比那样的光学系统较少。
特别是，存在虽凹凸小、对比度小，但在钢带的长边方向较长而且有害程度较大的表面缺陷。作为这样的表面缺陷的一例，存在热浸镀锌钢板的图案状结疤缺陷。该图案状结疤缺陷以被称为结疤部的部位与母材相比例如电镀厚度不同，或者合金化的程度不同为契机而产生。其结果为，例如在结疤部的电镀厚度较厚而相对于母材突出的情况下，通过施加平整轧制而使平整部(通过平整轧制辊被压扁成平坦的部分)的面积与非平整部的面积相比变多。另一方面，在结疤部相对于母材凹陷的情况下，由于结疤部与平整轧制辊不接触，因此非平整部占大部分。因此，虽然结疤部与母材相比不具有显著的凹凸，但根据凹凸而使平整部的比率不同，因此光的反射特性改变，外观不同，由此变成图案状结疤缺陷。该图案状结疤缺陷以在热浸镀锌钢板的长度方向上细长的形状产生，因此虽然凹凸较小，但在外观上变得有害，需要进行检测。
另外，作为难以检测除细长的表面缺陷以外的表面缺陷的例子，具有灰分。灰分在热浸镀锌钢板中产生。灰分是通过从锌槽蒸发出的锌的蒸气附着于槽的附带物之后，向锌浴面下落并漂浮而生成的异物附着于钢板而产生的表面缺陷，是凹凸较小的图案状的表面缺陷。由于灰分的图像的对比度较小，因此在至今为止的表面缺陷检查装置中难以进行自动检测。但是，有时通过客户的目视检测发现灰分而在外观上成为问题，因此灰分也成为需要进行检测的表面缺陷。
这些表面缺陷均需要进行检测，但对比度较小，在现有的技法中为难以进行检测的表面缺陷。为了检测这样的表面缺陷，多数情况也需要在图像处理系统中使S/N比提高那样的措施。在钢带的表面缺陷检查装置中的现有的图像处理系统中，通常在对由于照明的照度不均等而产生的输入图像的亮度不均进行修正之后，通过与规定的阈值的比较，检测表面缺陷部。进一步，在正常部的噪音较大的情况下，通常进行应用低通滤波来降低噪音，或者应用微分滤波来强调表面缺陷部的边缘等，来提高表面缺陷部的S/N比。然而，这些措施的大多数仅在特定的表面缺陷种类、状况中具有效果这一情况不在少数。特别是在前述那样的在长边方向较长的表面缺陷与在长边方向较短的表面缺陷(较小的表面缺陷)混在一起的情况下，存在如下问题，即：在通常进行的滤波处理中，若提高在长边方向较长的表面缺陷的S/N比来提高灵敏度，则在长边方向较短的表面缺陷的灵敏度下降，相反地若提高在长边方向较短的表面缺陷的灵敏度，则在长边方向较长的表面缺陷的灵敏度下降，同时使S/N比提高也是困难的。
另一方面，在非专利文献1中，记载有应用了加博滤波(加博小波)的表面缺陷检查方法。在非专利文献1所记载的方法中，对检查图像应用加博小波来进行各小波系数的统计解析，计算(推定)无缺陷的背景纹理中的各小波系数的分布，之后根据计算(推定)出的分布自动决定相对于各小波系数的阈值，并结合对各小波系数(图像)应用阈值而得的结果来生成将表面缺陷部从背景分离的二值图像。另外，非专利文献1所记载的方法不仅适用于具有布料那样的周期背景的对象，对于随机且具有非周期背景的对象也能够适用。
非专利文献1：Rallo et al.“Unsupervised novelty detection using Gaborfilters for defect segmentation in textures”，J.Opt.Soc.Am.A，Opt.Image.Sci.Vis.，2009，Sep；26(9)：1967-76.
根据利用现有的单纯的图像与阈值的比较的表面缺陷检查方法，在S/N比较低的范例中，不能将表面缺陷信号与噪音分离。即，产生若想检测表面缺陷则将噪音误检测，若不想误检测噪音则也无法检测表面缺陷这一两难问题。另外，具有如下问题，即：当利用低通滤波等的对策在特定的形态的表面缺陷、背景(质地)中具有效果的情况下，在其他形态的表面缺陷、背景中无法检测这一问题。另一方面，在非专利文献1所记载的表面缺陷检查方法中，存在难以检测作为钢带产品的表面缺陷常见的、在钢带的长度方向细长的线状的表面缺陷这一问题。图12的(a)示出钢带的线状的表面缺陷的图像例及图像中的虚线部的亮度轮廓，图12的(b)示出通过非专利文献1所记载的表面缺陷检查方法检测图12的(a)所示的表面缺陷的图像及图像中的虚线部的亮度轮廓。如图12的(b)所示，在非专利文献1所记载的表面缺陷检查方法中，可知不能检测出在钢带的长度方向细长的线状的表面缺陷。
发明内容
本发明是鉴于上述课题所做出的，其目的在于提供提高了针对线状的细长的表面缺陷的灵敏度并且即使在线状的细长的表面缺陷与短小的表面缺陷混在一起的情况下也能够高灵敏度地检测两者的表面缺陷检查方法及表面缺陷检查装置。
本发明所涉及的表面缺陷检查方法的特征在于，包括：图像输入步骤，拍摄检查对象而获取原始图像；纹理特征图像生成步骤，通过对上述原始图像实施基于多个空间滤波的滤波处理，从而生成多个纹理特征图像；纹理特征提取步骤，关于上述原始图像上的各位置分别提取上述多个纹理特征图像的对应的位置的值，生成上述原始图像上的各位置处的特征向量；异常程度计算步骤，关于各个上述特征向量计算上述特征向量所成的多维分布中的异常程度，生成表示关于上述原始图像上的各位置的异常程度的异常程度图像；以及检测步骤，将上述异常程度图像中上述异常程度超过规定值的部分检测为缺陷部或缺陷候补部。
本发明所涉及的表面缺陷检查方法在上述发明的基础上，其特征在于，上述纹理特征图像生成步骤包括如下处理，即：通过对缩小了上述原始图像而得的图像或者缩小了上述纹理特征图像而得的图像也实施基于上述空间滤波的滤波处理，从而生成其他纹理特征图像。
本发明所涉及的表面缺陷检查方法在上述发明的基础上，其特征在于，上述原始图像或者上述纹理特征图像的缩小方向包括如下方向，即：与检测对象亦即线状缺陷平行的方向。
本发明所涉及的表面缺陷检查方法在上述发明的基础上，其特征在于，上述多个空间滤波通过小波转换而实现。
本发明所涉及的表面缺陷检查方法在上述发明的基础上，其特征在于，上述多个空间滤波包括加博滤波。
本发明所涉及的表面缺陷检查方法在上述发明的基础上，其特征在于，作为上述特征向量所成的多维分布中的异常程度而使用马哈拉诺比斯距离。
本发明所涉及的表面缺陷检查装置的特征在于，具备：拍摄单元，其拍摄检查对象；图像输入单元，其获取上述拍摄单元拍摄到的上述检查对象的原始图像；纹理特征图像生成单元，其通过对上述原始图像实施基于多个空间滤波的滤波处理，从而生成多个纹理特征图像；纹理特征提取单元，其关于上述原始图像上的各位置分别提取上述多个特征图像的对应的位置的值而生成上述原始图像上的各位置处的特征向量；异常程度计算单元，其关于各个上述特征向量计算上述特征向量所成的多维分布中的异常程度，生成表示关于上述原始图像上的各位置的异常程度的异常程度图像；以及检测单元，其将上述异常程度图像中上述异常程度超过规定值的部分检测为缺陷部或者缺陷候补部。
根据本发明所涉及的表面缺陷检查方法及表面缺陷检查装置，能够提高针对线状的细长的表面缺陷的灵敏度并且即使在线状的细长的表面缺陷与短小的表面缺陷混在一起的情况下，也能够高灵敏度地检测两者。
附图说明
图1是表示作为本发明的一个实施方式的表面缺陷检查装置的结构的示意图。
图2是表示作为本发明的一个实施方式的表面缺陷检查处理的流程的流程图。
图3是表示针对输入图像的预处理的流程的流程图。
图4是表示针对修正图像的缺陷检测处理的流程的流程图。
图5是表示在三维空间图示的加博函数的一例的图。
图6是表示本发明的实施方式中的加博滤波处理的框线图。
图7是表示本发明的实施方式中的加博滤波处理的变形例的框线图。
图8是表示二维的主成分分析的一例的图。
图9是表示缺陷判定处理的流程的流程图。
图10是表示拍摄钢带表面的图像例的图。
图11是表示对图10所示的图像应用了本发明的缺陷检测处理的实施例的图。
图12是表示钢带的线状的表面缺陷的图像例、通过非专利文献1所记载的表面缺陷检查方法检测表面缺陷的结果、以及通过本发明的缺陷检测处理检测表面缺陷的结果的图。
具体实施方式
以下，参照附图对作为本发明的一个实施方式的表面缺陷检查装置的结构及利用该表面缺陷检查装置的表面缺陷检查方法进行说明。
〔结构〕
图1是表示作为本发明的一个实施方式的表面缺陷检查装置的结构的示意图。如图1所示，作为本发明的一个实施方式的表面缺陷检查装置1具备照明装置2、拍摄装置3、图像处理装置4、以及显示装置5。
照明装置2对作为表面缺陷检查装置1的检查对象的钢带S的表面进行照明。
拍摄装置3拍摄正在通过照明装置2照明的钢带S上的部位，并将得到的钢带S表面的图像(原始图像)的数据传送至图像处理装置4。拍摄装置3可以是具有一维拍摄元件的所谓线阵传感器相机或者具有二维拍摄元件的所谓面阵相机中的任意一种，但无论哪种情况均与钢带S的输送同步地进行拍摄。在拍摄装置3为线阵传感器相机的情况下，作为照明装置2使用连续亮灯照明。在拍摄装置3为面阵像机的情况下，作为照明装置2使用钢带S每前进恒定距离时发出闪光的闪光照明。
图像处理装置4对从拍摄装置3传送来的钢带S表面的图像的数据进行解析，若在钢带S表面存在表面缺陷，则对这些表面缺陷进行检测，且判定这些表面缺陷的类别、有害程度，并将该信息输出至显示装置5。
图像处理装置4在内部具备图像输入部41、图像修正部42、纹理特征图像生成部43、纹理特征提取部44、异常程度计算部45、以及缺陷候补检测部46。另外，图像处理装置4根据需要而在内部具备缺陷特征计算部47及缺陷判定部48。
图像输入部41在内部具有临时存储区域，将从拍摄装置3传送来的钢带S表面的图像的数据依次缓冲在临时存储区域中。
图像修正部42从图像输入部41的临时存储区域依次读取图像的数据，并对读取出的图像的数据进行修正处理，由此生成修正图像。在修正处理中，图像修正部42首先在图像中包含钢带S的双方或一方的边缘的情况下，检测该边缘位置，将相当于钢带S的边缘的外侧的图像区域设定为检查对象外区域，并且例如通过以边缘位置为边界的钢板S的内部区域的镜像填充检查对象外区域。接着，图像修正部42对由照明装置2的照度不均等所引起的钢带S的图像中的亮度不均进行修正(浓淡修正)，以使图像整体的亮度变得均匀。
纹理特征图像生成部43对修正图像实施多个空间滤波处理来生成多个与表示图像中的各位置处的局部图案(纹理)的特征(局部频率特性)的各空间滤波对应的特征图像(以下，有时特别称为纹理特征图像)。这里所说的空间滤波是使用输入图像对应的像素和其周围的像素值来生成输出图像的处理。特别是使用改变了通过波长域、通过的信号的波形的方向的多个空间滤波较好。
纹理特征提取部44从通过纹理特征图像生成部43生成的多个纹理特征图像提取与输入图像或修正图像上的各位置对应的位置的值，提取图像上的各位置的纹理特征向量。纹理特征向量的数量为图像中的总像素数，纹理特征向量的维度与纹理特征图像的数量一致。
异常程度计算部45对通过纹理特征提取部44提取出的多个纹理特征向量所成的多维空间中的分布进行解析，并计算各纹理特征向量的异常程度。进而，异常程度计算部45将计算出的各纹理特征向量的异常程度与对应的图像上的位置进行匹配，来生成异常程度图像。
缺陷候补检测部46针对通过异常程度计算部45生成的异常程度图像以规定的异常程度为阈值进行二值化，将异常程度为规定的阈值以上的像素连续相连的图像区域检测为缺陷部或缺陷候补(标注)。此外，缺陷候补检测部46也可以进行将检测出的缺陷候补中的面积过小等视为不是有害缺陷的缺陷候补除外的处理、将检测位置较近的多个缺陷候补汇总来作为一个缺陷候补进行连结的处理。
缺陷特征计算部47关于通过缺陷候补检测部46检测出的各缺陷候补，计算缺陷特征量。使用从修正图像切出缺陷候补的区域部分而得到的缺陷部浓淡图像、以及同样地从异常程度图像切出缺陷候补的区域部分而得到的缺陷部异常程度图像来计算缺陷特征量。
缺陷判定部48基于通过缺陷特征计算部47计算出的缺陷特征量，判定各缺陷候补的缺陷类别及有害程度。
显示装置5显示关于通过图像处理装置4检测出的表面缺陷的检测信息(表面缺陷部的图像、表面缺陷的位置)、判定信息(类别、有害程度)、统计信息(关于钢带S整体的或者按照缺陷类别、有害程度区分的缺陷总数、发生率等)等。
〔表面缺陷检查处理〕
接下来，参照图2～图6详细地对作为本发明的一个实施方式的表面缺陷检查处理的流程进行说明。
图2是表示作为本发明的一个实施方式的表面缺陷检查处理的流程的流程图。表面缺陷检查装置1在接受到表面缺陷检查开始指令时，利用拍摄装置3开始钢带S表面的拍摄，拍摄到的图像(以下，记为输入图像)的数据依次被缓冲在图像处理装置4的图像输入部41内的临时存储区域中。
如图2所示，表面缺陷检查开始后，图像处理装置4判别在图像输入部41内的临时存储区域是否存在未处理的输入图像的数据(步骤S1)。在为线阵传感器相机的情况下，在图像的数据被缓冲至规定的线数之前，判断为没有未处理的输入图像的数据。作为判别的结果，在没有未处理的输入图像的数据的情况下(步骤S1：否)，图像处理装置4待机直至输入新的图像的数据。另一方面，在具有未处理的输入图像的数据的情况下(步骤S1：是)，图像处理装置4依次执行预处理(步骤S2)、缺陷检测处理(步骤S3)、以及缺陷判定处理(步骤S4)。接着，图像处理装置4判别是否出现表面缺陷检查结束指示(步骤S5)。进而，作为判别的结果，在出现表面缺陷检查结束指示的情况下(步骤S5：是)，图像处理装置4结束表面缺陷检查。另一方面，在未出现表面缺陷检查结束指示的情况下(步骤S5：否)，图像处理装置4返回步骤S1的处理，继续进行表面缺陷检查处理。
[预处理]
接着，参照图3对上述预处理(步骤S2)进行说明。
图3是表示针对输入图像的预处理的流程的流程图。如图3所示，预处理包括边缘检测步骤S21、边缘外部修正步骤S22、以及浓淡修正步骤S23。这些处理通过图像修正部42执行。
在边缘检测步骤S21中，图像修正部42根据输入图像I(x，y)检测钢带S的边缘位置。这里，x为与钢带S的宽度方向对应的像素坐标、y为与钢带S的长度方向对应的像素坐标，x＝0，1，…，nx-1，y＝0，1，…，ny-1。这里，nx为图像的x方向的尺寸，ny为y方向的尺寸。
在边缘外部修正步骤S22中，图像修正部42将钢带S的边缘的外侧指定为检查处理对象外区域，并且例如将边缘内侧的区域的值以镜像补充在检查处理对象外区域中，由此以不检测边缘部的方式生成无害化的边缘外部修正图像IE(x，y)。
在浓淡修正步骤S23中，图像修正部42对边缘外部修正图像IE(x，y)的亮度不均进行修正(浓淡修正)来计算使图像整体的亮度均匀化的修正图像IC(x，y)。在浓淡修正处理中，例如可以将从原始图像的亮度减去一维亮度的移动平均值而得到的值除以移动平均值来进行标准化，也可以将其作为x方向及y方向两个方向的二维亮度的移动平均值。另外，也可以代替亮度的移动平均值而使用任意的低通滤波。另外，作为简便的方法，可以使用亮度的差量，进一步也可以使用与其等同的高通滤波。
此外，在以上的一系列的预处理中，可以根据输入图像I(x，y)的状态来适当选择是否实施边缘检测处理步骤S21、边缘外部修正步骤S22、以及浓淡修正步骤S23，例如在不实施任何的步骤的情况下，修正图像IC(x，y)＝输入图像I(x，y)。
[缺陷检测处理]
接下来，参照图4～图6对上述缺陷检测处理(步骤S3)进行说明。
图4是表示针对修正图像的缺陷检测处理的流程的流程图。如图4所示，缺陷检测处理包括纹理特征图像生成步骤S31、纹理特征提取步骤S32、异常程度计算步骤S33、以及缺陷候补检测步骤S34。
在纹理特征图像生成步骤S31中，纹理特征图像生成部43对修正图像IC(x，y)实施多个滤波处理来生成纹理特征图像Fj(x，y)(j＝0，1，2，…、NT-1)。这里，NT为空间滤波的数量。在本实施方式中，作为空间滤波，使用加博(Gabor)滤波。加博滤波为使用通过以下的数学表达式(1)表示的加博函数的线形滤波。
[式1]
Figure GDA0003359003300000091
数学表达式(1)表示加博滤波的通式，成为对正弦波乘以高斯型衰减函数的形式。在数学表达式(1)中，λ表示正弦波的波长，θ表示加博函数的条纹图案的方向，a表示波长的扩展(高斯函数的带宽)。另外，b表示空间宽高比，表示加博函数的支持的椭圆率。另外，i为虚数单位。图5的(a)、图5的(b)是在数学表达式(1)中，将设为λ＝8，θ＝120°，a＝0.125，b＝1.5的加博函数Gabor(x，y：a，b，λ，θ)图示在三维空间的图。如图5的(a)、图5的(b)所示，加博函数Gabor(x，y：a，b，λ，θ)形成切出了以高斯函数为窗函数无限扩展的正弦波的形式。通过将a、b、θ任意改变，能够改变加博函数的朝向、波的方向、以及衰减率。
在图像解析中，使用数学表达式(1)所示的加博函数作为空间滤波，特别是有时使用设为b＝1、a＝1/λ的以下的数学表达式(2)所示的加博函数。因此，以下，基于数学表达式(2)进行说明。
[式2]
Figure GDA0003359003300000101
在对图像卷积运算加博滤波时，能够提取波长λ(像素)以及波的朝向θ的局部频率成分。另外，通过使参数λ及θ各种变化，进一步使x方向及y方向的刻度各种变化(例如将x置换为x/4，将x方向的扩展扩大4倍)，能够提取与其对应的图像的局部频率成分。另一方面，若在实用计算中增大加博滤波的扩展，则卷积运算的计算时间增大。因此，如以下说明那样，代替增大加博滤波的扩展，而使用进行下采样来缩小图像的方法较好。不过，为了防止混叠，希望预先将低通滤波应用于被滤波图像。
图6是表示本发明的实施方式中的加博滤波处理的框线图。在图6中，Gq(x，y)(q＝0，1，2，3)及Hs(x，y)(s＝0，1，2)为按照以下的数学表达式(3)～(6)所示的定义的kx×ky像素的滤波系数矩阵，意味着对图像卷积运算加博滤波来应用。其中，滤波系数矩阵的中央的坐标(x，y)设为(0，0)。此外，在以下所示的数学表达式(3)、(5)中，λ＝4，在以下所示的数学表达式(4)、(6)中，λ＝4/√2，但其由采样定理(λ≥2)及欲检测的对象的信号在该方向的空间频率决定。
[式3]
Figure GDA0003359003300000102
[式4]
Figure GDA0003359003300000103
[式5]
H1(x、y)＝Gabor(x，y；4，0)，…(5)
[式6]
Figure GDA0003359003300000111
在数学表达式(3)～(6)所示的定义中，优选kx＝ky＝11。这是由于图5(a)所示的加博函数中的波的行进方向(θ(＝120°)方向)的波数包含2.5周期以上。为了满足该条件，需要更准确地满足kx/(λcosθ)＞2.5，且ky/(λsinθ)＞2.5的条件。另外，此时，数学表达式(2)的第一项衰减变成中央的10％以下，能够通过加博滤波提取在空间上局部存在的信号。
另外，在图6中，LP为xy的二维方向的低通滤波，LPY为y方向的低通滤波，例如意味着将按照以下的数学表达式(7)、(8)所示的定义的滤波矩阵应用于图像。低通滤波LPY被向作为y方向四个点的移动平均值的朝向卷积运算。低通滤波LP、LPY被设计为防止进行后述的下采样时的混叠的滤波。只要能够防止混叠，也可以不必一定为以下的数学表达式(7)、(8)所示的低通滤波。
[式7]
Figure GDA0003359003300000112
[式8]
Figure GDA0003359003300000113
在对图像卷积运算上述的两个低通滤波LP、LPY时，图像边界的外侧被假定为镜像进行计算。另外，在图6中，记为“X2，Y2”的框表示在图像的X方向及Y方向分别每隔两个像素进行提取，并将图像尺寸在X方向及Y方向分别设为1/2的下采样处理。另外，记为“Y4”的框表示仅在Y方向每隔四个像素进行提取，并将图像尺寸在Y方向设为1/4的下采样处理。以下，对按照图6所示的框线图的一系列的加博滤波处理进行说明。
首先，纹理特征图像生成部43将初始图像设为I0(x，y)＝IC(x，y)。接着，纹理特征图像生成部43对初始图像I0(x，y)依次执行低通滤波LP与“X2，Y2”型下采样来计算缩小图像Ip(p＝1，2，3)(x，y)。Ip(x，y)为进行了p次低通滤波LP与“X2，Y2”型下采样的缩小图像。进一步，纹理特征图像生成部43针对包含初始图像的缩小图像Ip(x，y)(p＝0，1，2，3)的每一个，分别卷积运算四种加博滤波Gq(x，y)(q＝0，1，2，3)，来计算特征图像Ipq(x，y)(p＝0，1，2，3，q＝0，1，2，3)。
在该阶段得到合计16种特征图像Ipq(x，y)，但特征图像Ipq(x，y)根据加博滤波的定义式(数学表达式(1))而为复数，因此若分解为实部图像与虚部图像，则得到合计32种特征图像。因此，将它们作为纹理特征图像Fj(x，y)(j＝0、1，2，…，31，即NT＝32)。其中，p≥1的情况下的特征图像Ipq(x，y)通过下采样被缩小，因此扩大为与初始图像I0(x，y)相同的尺寸而作为纹理特征图像。作为扩大方法，可以是线性插值、设为与最近旁的像素相同的值的方法，将与特征图像Ipq(x，y)的各像素的值相同的值仅复制下采样的方向、数量来填充的方法。
通过该运算，能够将空间频率不同的空间滤波与空间滤波的波形的方向不同的空间滤波组合来添加至原始图像。特别是，通过在进行下采样之后对原始空间滤波进行运算，从而以较少的计算量得到与对原始图像添加空间频率较大的空间滤波的情况相同的效果。也可以使用通过以上的处理而得到的32种纹理特征图像Fj(x，y)(j＝0，2，…，31)，但通过进一步执行由图6中的虚线围起来的“线状缺陷用扩张处理”，能够提高相对于在钢带S的流动方向上细长的缺陷的检测灵敏度。“线状缺陷用扩张处理”在计算出缩小图像Ip(x，y)(p＝0，1，2，3)之后，如以下那样执行。
首先，纹理特征图像生成部43针对通过对图像I0(x，y)实施“Y4”型下采样而生成的图像J0(x，y)，分别卷积运算三种加博滤波Hs(x，y)(s＝0，1，2)来计算特征图像J0s(x，y)(s＝0，1，2)。进一步，纹理特征图像生成部43针对通过对图像J0(x，y)实施“Y4”型下采样而生成的图像J1(x，y)，分别卷积运算三种加博滤波Hs(x，y)(s＝0，1，2)来计算特征图像J1s(x，y)(s＝0，1，2)。进一步，纹理特征图像生成部43针对通过对图像J1(x，y)实施“Y4”型下采样而生成的图像J2(x，y)，分别卷积运算三种加博滤波Hs(x，y)(s＝0，1，2)来计算特征图像J2s(x，y)(s＝0，1，2)。
接下来，纹理特征图像生成部43针对通过对图像I1(x，y)实施“Y4”型下采样而生成的图像J3(x，y)，分别卷积运算三种加博滤波Hs(x，y)(s＝0，1，2)来计算特征图像J3s(x，y)(s＝0，1，2)。进一步，纹理特征图像生成部43针对通过对图像J3(x，y)进一步实施“Y4”型下采样而生成的图像J4(x，y)，分别卷积运算三种加博滤波Hs(x，y)(s＝0，1，2)来计算特征图像J4s(x，y)(s＝0，1，2)。接下来，纹理特征图像生成部43针对通过对图像I2(x，y)实施“Y4”型下采样而生成的图像J5(x，y)，分别卷积运算三种加博滤波Hs(x，y)(s＝0，1，2)来计算特征图像J5s(x，y)(s＝0，1，2)。进一步，纹理特征图像生成部43针对通过对图像J5(x，y)进一步实施“Y4”型下采样而生成的图像J6(x，y)，分别卷积运算三种加博滤波Hs(x，y)(s＝0，1，2)来计算特征图像J6s(x，y)(s＝0，1，2)。
接下来，纹理特征图像生成部43针对通过对图像I3(x，y)实施“Y4”型下采样而生成的图像J7(x，y)，分别卷积运算三种加博滤波Hs(x，y)(s＝0，1，2)来计算特征图像J7s(x，y)(s＝0，1，2)。通过以上的运算，能够施加在Y方向较长的空间频率的空间滤波，从而能够提高针对在Y方向较长的表面缺陷的S/N比。通过将提高S/N比的方向设为产生在Y方向较长的表面缺陷的方向、即在钢带S的制造工序中钢带S的长边方向，而具有较长的表面缺陷的检测变得容易的优点。
根据以上内容，新得到32种特征图像Jrs(x，y)(r＝0，1，…，7，s＝0，1，2)。将先前得到的16种特征图像Ipq与新得到的32种特征图像Jrs合在一起而成的所有特征图像中的、在图6中作为终端的特征图像Ipq(x，y)(p＝0，1，2，3，q＝1，2，3)、J00(x，y)、J02(x，y)、J10(x，y)、J12(x，y)、J20(x，y)、J21(x，y)、J22(x，y)、J30(x，y)、J32(x，y)、J40(x，y)、J41(x，y)、J42(x，y)、J50(x，y)、J52(x，y)、J60(x，y)、J61(x，y)、J62(x，y)、J70(x，y)、J71(x，y)、J72(x，y)共计32种分解为实部图像与虚部图像而得到的64种特征图像作为纹理特征图像Fj(x，y)(j＝0，1，2，…，64，即NT＝64)。
其中，与不进行“线状缺陷用扩张处理”的情况相同地，特征图像Jrs(x，y)也通过下采样处理被缩小，因此扩大为与初始图像I0(x，y)相同的尺寸来作为纹理特征图像。此外，j的值与各特征图像的对应可以任意决定，但这里，为了方便，将上述的特征图像从I，J各自下标较小的那一个起按照实部、虚部的顺序表示为I00(x，y)的实部＝0，I00(x，y)的虚部＝1，I01(x，y)的实部＝2，…，J00(x，y)的实部＝25，…，J72(x，y)的虚部＝64。
在本算法中，使用将对I01(x，y)、I02(x，y)、I03(x，y)、I11(x，y)、I12(x，y)、I13(x，y)、I21(x，y)、I22(x，y)、I23(x，y)、I31(x，y)、I32(x，y)、I33(x，y)这12种加上J00(x，y)、J02(x，y)、J10(x，y)、J12(x，y)、J20(x，y)、J21(x，y)、J22(x，y)、J30(x，y)、J32(x，y)、J40(x，y)、J41(x，y)、J42(x，y)、J50(x，y)、J52(x，y)、J60(x，y)、J61(x，y)、J62(x，y)、J70(x，y)、J71(x，y)、J72(x，y)这20种而得到的32种分解为实部与虚部的图像而得到的64种纹理特征图像Fj(x，y)(j＝0，1，2，…，63)。也可以使用加上I00(x，y)、I10(x，y)、I20(x，y)、I30(x，y)而得到的68种纹理特征图像，但对I00(x，y)、I10(x，y)、I20(x，y)、I30(x，y)的滤波进行快速傅里叶变换(FFT)后的频域中的通带由Jxx(x，y)的滤波覆盖，因此能够省略。通过限定为64种，具有如下优点，即不仅计算量变少，且由于使用2的6次幂的图像，因此在之后的计算中易处理数字。
此外，纹理特征图像生成步骤S4中的实施方式并不限于上述内容，能够使用其他任意的空间滤波组。例如能够应用二维小波转换、小波包转换，最简单的是Haar小波。除此之外，也可以使用微分滤波、边缘提取滤波、DoG(Difference of Gaussian)滤波、LoG(Laplacian of Gaussian)滤波等，或者将它们组合来使用。
另外，如前述那样，下采样前的抗混叠滤波也可以不是上述的空间滤波。通过使用为了求出纹理特征图像而使用的加博滤波而具有能够削减计算量的优点。图7是表示该流程的图，代替低通滤波LPY的滤波而使用G0的空间滤波。
接下来，在纹理特征提取步骤S32中，纹理特征提取部44提取各像素中的纹理特征向量。针对特征图像Fj(x，y)＝{fj(x，y)}(fj(x，y)表示坐标x，y中的特征图像Fj(x，y)的值)，如以下的数学表达式(9)所示那样，将x，y的组用其他索引i置换，如以下的数学表达式(10)所示那样，能够将特征向量定义为Fj’＝{fi,j}；j＝0，2，…，NT-1。这里，i为分配给输入图像(修正图像)的像素(x，y)的唯一索引，例如定义为i＝nx×y+x，i＝0，1，2，…，nx×ny-1。另外，fi,j＝fj(x，y)。
[式9]
Figure GDA0003359003300000151
[式10]
Figure GDA0003359003300000152
接下来，在异常程度计算步骤S33中，异常程度计算部45统计解析在纹理特征提取步骤S32中提取出的纹理特征向量在NT维空间中的分布，并计算输入图像(修正图像)的各像素中的异常程度，生成异常程度图像。作为异常程度，例如使用马哈拉诺比斯距离。具体地，首先，如以下的数学表达式(11)所示那样，异常程度计算部45将特征向量Fj作为行向量并准备将其沿列方向排列的矩阵F。
[式11]
Figure GDA0003359003300000153
相对于此，异常程度计算部45计算以下的数学表达式(12)所示的mj。数学表达式(12)中的Σ表示关于所有像素之和，mj为关于矩阵F的所有像素的平均值。
[式12]
Figure GDA0003359003300000161
接下来，异常程度计算部45如以下的数学表达式(13)所示那样，求出从矩阵F减去平均值mj而得到的矩阵Z(＝{zi，j})。
[式13]
Z＝{zi，j}，zi，j＝fi，j-mj…(13)
这里，如以下的数学表达式(14)所示，异常程度计算部45根据zi，j计算方差-协方差矩阵C＝{cj1，j2}(j1，j2＝0，1，2，...，NT-1)。
[式14]
Figure GDA0003359003300000162
接下来，异常程度计算部45如以下的数学表达式(15)所示那样，计算出马哈拉诺比斯距离Di(准确来说是马哈拉诺比斯距离的平方，但简称为马哈拉诺比斯距离)。
[式15]
Figure GDA0003359003300000163
其中，W＝{wi，j}为联立方程式WC＝Z的解、即W＝ZC-1。然后，最后，异常程度计算部45根据索引i将马哈拉诺比斯距离Di重新映射到坐标(x，y)上并得到异常程度图像D(x，y)＝Di(i＝x+nx×y)。
此外，求出该马哈拉诺比斯距离的计算与以下的操作等同。即，若针对每个坐标观察NT张特征图像Fj(x，y)，则可知具有f1(x，y)，f2(x，y)，...，fNT(x，y)的NT维值。能够将其作为NT维空间的点表示为p(x，y)＝(f1(x，y)，f2(x，y)、...，fNT(x，y))。像这样将图像上的所有像素图示在NT维空间中。将图示出的集合关于偏差进行标准化，在该被标准化的空间中求出距原点的距离，该距离为马哈拉诺比斯距离。
针对偏差的标准化通过从偏差较大的方向起依次取正交的基底，并求出向各基底方向的偏差亦即标准偏差，将各基底方向的成分除以该标准偏差而进行。这与所谓的主成分分析的方法相同。在图8中示出了二维主成分分析的一例。在图8所示的主成分分析中，从偏差较大的方向起依次取正交的第一主成分及第二主成分，求出各主成分的偏差，并将各主成分方向的成分除以偏差，由此进行针对偏差的标准化。在图8中，O表示原点，D表示马哈拉诺比斯距离，P表示像素。
接下来，在缺陷候补检测步骤S34中，缺陷候补检测部46根据阈值Dthr对异常程度图像D(x，y)进行二值化，来检测成为D(x，y)≥Dthr的像素的连结区域作为缺陷部或者缺陷候补。另外，在本步骤中，缺陷候补检测部46也可以针对连结区域的面积、连结区域内的异常程度的最大值设置限制，将不满足限制的缺陷候补除外。例如，缺陷候补检测部46将比面积与异常程度的最大值双方各自设定的最小值小的缺陷候补除外。进一步，缺陷候补检测部46关于任意的两个缺陷候补，在连结区域间的距离满足规定的条件的情况下，作为同一缺陷候补进行连结的处理。例如将缺陷候补1内的坐标设为(x1，y1)，将缺陷候补2内的坐标设为(x2，y2)，将关于x坐标的距离限制设为dx，将关于y坐标的距离限制设为dy，当存在满足|x1-x2|＜dx、且|y1-y2|＜dy的坐标(x1，y1)，(x2，y2)时，缺陷候补检测部46将缺陷候补1与缺陷候补2连结。该连结也可以通过反复进行图像的膨胀及收缩而进行。
此外，阈值Dthr在马哈拉诺比斯距离(的平方)遵循卡方分布这一假定下，如以下的数学表达式(16)所示那样确定较好。这里，在数学表达式(16)中，pthr表示判断为异常程度为缺陷的显著性水平(概率)，fχ2 -1(p，n)为自由度n的卡方分布的累积密度函数的反函数。由此，能够作为概率对异常程度确定阈值。
[式16]
Figure GDA0003359003300000171
[缺陷判定处理]
接下来，参照图9对上述缺陷判定处理(步骤S4)进行说明。
图9是表示缺陷判定处理的流程的流程图。如图9所示，缺陷判定处理包括缺陷特征计算步骤S41及缺陷判定步骤S42。
在缺陷特征计算步骤S41中，缺陷特征计算部47使用从修正图像IC(x，y)切出缺陷候补的区域部分而成的缺陷部浓淡图像、及从异常程度图像D(x，y)切出缺陷候补的区域部分而成的缺陷部异常程度图像，来对它们进行各种运算，计算出缺陷特征量。作为代表性的缺陷特征量，具有关于宽度、长度、面积、宽高比、周长等的缺陷的尺寸、形状的缺陷特征量，关于缺陷区域内的最大亮度、最小亮度、平均亮度、与亮度相关的直方图频率等的浓淡的缺陷特征量等，从缺陷部浓淡图像得到这些缺陷特征量。进一步，在本实施方式中，从缺陷部异常程度图像也得到关于缺陷部的最大异常程度、平均异常程度、以及与异常程度相关的直方图频率等的异常程度的特征量。进一步，在本实施方式中，根据从各纹理特征图像Fj(x，y)切出缺陷候补的区域部分而成的缺陷部纹理特征图像也得到与各纹理特征相关的缺陷特征量。
接下来，在缺陷判定步骤S42中，缺陷判定部48基于在缺陷特征计算步骤S41中计算出的缺陷特征量，判定各缺陷候补的缺陷类别及有害程度。在判定时，使用与用户制作的与缺陷特征量相关的判定规则(if-then规则、判定表)、或通过所谓的机器学习而得到的判别器、或者它们的组合。
根据以上的说明可知，在作为本发明的一个实施方式的表面缺陷检查装置1中，纹理特征图像生成部43通过对输入图像实施基于多个空间滤波的滤波处理，从而生成多个纹理特征图像，纹理特征提取部44关于输入图像上的各位置分别提取多个纹理特征图像的对应的位置的值来生成图像上的各位置处的特征向量，异常程度计算部45关于各个特征向量计算特征向量所成的多维分布中的异常程度，生成表示关于输入图像上的各位置的异常程度的异常程度图像，缺陷候补检测部46将异常程度图像中异常程度超过规定值的部分检测为缺陷部或缺陷候补部。由此，提高了针对线状的细长的表面缺陷的灵敏度并且即使在线状的细长的表面缺陷与短小的表面缺陷混在一起的情况下也能够高灵敏度地检测两者。
实施例
图10是拍摄钢带表面的图像例。在由图10中的两个长方形围起来的部分存在表面缺陷。由左侧的长方形围起来的表面缺陷表示难以进行检测的细长的缺陷，由右侧的长方形围起来的表面缺陷表示难以进行检测的在长边方向较短的缺陷。图10所示的图像为纵1024像素、横1024像素，且纵向对应钢带的长度方向。图11是对图10的图像应用了本发明的缺陷检测处理(步骤S3)的实施例。在纹理特征图像生成步骤S31中，选择线状缺陷用扩张处理，而生成了64种纹理特征图像。另外，在缺陷候补检测步骤S34中，对异常程度使用设为pthr＝10-10时的阈值Dthr来进行二值化，并从缺陷候补将缺陷候补小于200像素的连结区域除外。在本实施例中，能够不将周围的钢带的图案误检测地，将在钢带的长边方向细长的缺陷及在长边方向较短的缺陷均进行检测。另外，图12的(c)示出在本发明的缺陷检测处理(步骤S3)中检测出图12的(a)所示的表面缺陷的图像及图像中的虚线部的亮度轮廓。pthr＝0.0027。与先前所示的图12的(b)的利用非专利文献1的方法的结果相比较，提高了针对线状缺陷的灵敏度。
以上，关于应用了由本发明人进行的发明的实施方式进行了说明，但本发明并不由形成本实施方式所涉及的本发明所公开的一部分的记述及附图限定。即，本领域技术人员等基于本实施方式进行的其他实施方式、实施例、以及运用技术等全部包含在本发明的范畴内。
工业实用性
根据本发明，能够提供提高了针对线状的细长的表面缺陷的灵敏度并且在线状的细长的表面缺陷与短小的表面缺陷混在一起的情况下也能够高灵敏度地检测两者的表面缺陷检查方法及表面缺陷检查装置。
附图标记说明
1…表面缺陷检查装置；2…照明装置；3…拍摄装置；4…图像处理装置；5…显示装置；41…图像输入部；42…图像修正部；43…纹理特征图像生成部；44…纹理特征提取部；45…异常程度计算部；46…缺陷候补检测部；47…缺陷特征计算部；48…缺陷判定部；S…钢带。

Claims (8)

1.一种表面缺陷检查方法，其特征在于，包括：
图像输入步骤，拍摄检查对象而获取原始图像；
纹理特征图像生成步骤，通过对所述原始图像实施基于多个空间滤波的滤波处理，从而生成多个纹理特征图像，并且通过对缩小了所述原始图像而得的图像或者缩小了所述纹理特征图像而得的图像也实施基于所述空间滤波的滤波处理，从而生成其他纹理特征图像；
纹理特征提取步骤，关于所述原始图像上的各位置分别提取所述多个纹理特征图像以及所述其他纹理特征图像的对应的位置的值，生成所述原始图像上的各位置处的特征向量；
异常程度计算步骤，关于各个所述特征向量计算所述特征向量所成的多维分布中的异常程度，生成表示关于所述原始图像上的各位置的异常程度的异常程度图像；以及
检测步骤，将所述异常程度图像中所述异常程度超过规定值的部分检测为缺陷部或缺陷候补部。
2.根据权利要求1所述的表面缺陷检查方法，其特征在于，
所述原始图像或者所述纹理特征图像的缩小方向包括如下方向，即：与检测对象亦即线状缺陷平行的方向。
3.根据权利要求1所述的表面缺陷检查方法，其特征在于，
所述多个空间滤波通过小波转换而实现。
4.根据权利要求2所述的表面缺陷检查方法，其特征在于，
所述多个空间滤波通过小波转换而实现。
5.根据权利要求1～4中的任一项所述的表面缺陷检查方法，其特征在于，
所述多个空间滤波包括加博滤波。
6.根据权利要求1～4中的任一项所述的表面缺陷检查方法，其特征在于，
作为所述特征向量所成的多维分布中的异常程度而使用马哈拉诺比斯距离。
7.根据权利要求5所述的表面缺陷检查方法，其特征在于，
作为所述特征向量所成的多维分布中的异常程度而使用马哈拉诺比斯距离。
8.一种表面缺陷检查装置，其特征在于，具备：
拍摄单元，其拍摄检查对象；
图像输入单元，其获取所述拍摄单元拍摄到的所述检查对象的原始图像；
纹理特征图像生成单元，其通过对所述原始图像实施基于多个空间滤波的滤波处理，从而生成多个纹理特征图像，并且通过对缩小了所述原始图像而得的图像或者缩小了所述纹理特征图像而得的图像也实施基于所述空间滤波的滤波处理，从而生成其他纹理特征图像；
纹理特征提取单元，其关于所述原始图像上的各位置分别提取所述多个纹理特征图像以及所述其他纹理特征图像的对应的位置的值而生成所述原始图像上的各位置处的特征向量；
异常程度计算单元，其关于各个所述特征向量计算所述特征向量所成的多维分布中的异常程度，生成表示关于所述原始图像上的各位置的异常程度的异常程度图像；以及
检测单元，其将所述异常程度图像中所述异常程度超过规定值的部分检测为缺陷部或者缺陷候补部。
CN201880018467.5A 2017-03-21 2018-02-28 表面缺陷检查方法及表面缺陷检查装置 Active CN110431404B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017054426A JP6358351B1 (ja) 2017-03-21 2017-03-21 表面欠陥検査方法及び表面欠陥検査装置
JP2017-054426 2017-03-21
PCT/JP2018/007418 WO2018173660A1 (ja) 2017-03-21 2018-02-28 表面欠陥検査方法及び表面欠陥検査装置

Publications (2)

Publication Number Publication Date
CN110431404A CN110431404A (zh) 2019-11-08
CN110431404B true CN110431404B (zh) 2022-05-27

Family

ID=62904948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880018467.5A Active CN110431404B (zh) 2017-03-21 2018-02-28 表面缺陷检查方法及表面缺陷检查装置

Country Status (7)

Country Link
US (1) US10859507B2 (zh)
EP (1) EP3605072A4 (zh)
JP (1) JP6358351B1 (zh)
KR (1) KR102257734B1 (zh)
CN (1) CN110431404B (zh)
MX (1) MX2019011283A (zh)
WO (1) WO2018173660A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110944950B (zh) * 2017-05-31 2023-04-04 尼普洛株式会社 玻璃容器的评价方法
JP6915693B2 (ja) * 2017-10-10 2021-08-04 日本電気株式会社 システム分析方法、システム分析装置、および、プログラム
JP6658711B2 (ja) * 2017-10-25 2020-03-04 Ｊｆｅスチール株式会社 表面欠陥検出方法及び表面欠陥検出装置
CN108823765B (zh) * 2018-08-13 2023-08-29 何辉 智能布面监测系统
CN109360186A (zh) * 2018-08-31 2019-02-19 广州超音速自动化科技股份有限公司 锂电池隔膜检测方法、电子设备、存储介质及系统
WO2020067262A1 (ja) * 2018-09-28 2020-04-02 Ｊｆｅスチール株式会社 金属板の表面欠陥検出方法及び装置並びにめっき鋼板の製造方法
JP7167615B2 (ja) * 2018-10-05 2022-11-09 コニカミノルタ株式会社 画像検査装置、画像検査方法及び画像検査プログラム
CN109557101B (zh) * 2018-12-29 2023-11-17 桂林电子科技大学 一种非标高反射曲面工件的缺陷检测装置及方法
JP6630912B1 (ja) * 2019-01-14 2020-01-15 株式会社デンケン 検査装置及び検査方法
WO2020190686A1 (en) 2019-03-15 2020-09-24 Certainteed Gypsum, Inc. Method of characterizing a surface texture and texture characterization tool
US11087449B2 (en) * 2019-10-24 2021-08-10 KLA Corp. Deep learning networks for nuisance filtering
CN111141753A (zh) * 2019-12-20 2020-05-12 三峡大学 基于机器视觉的陶瓷瓦表面裂纹检测方法
CN111161246A (zh) * 2019-12-30 2020-05-15 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
JP7237872B2 (ja) * 2020-02-14 2023-03-13 株式会社東芝 検査装置、検査方法、及びプログラム
JP7273748B2 (ja) * 2020-02-28 2023-05-15 株式会社東芝 検査装置、検査方法、及びプログラム
CN113313638A (zh) * 2020-12-23 2021-08-27 深圳市杰恩世智能科技有限公司 一种外观缺陷检测方法
CN113030422B (zh) * 2021-03-02 2022-12-16 成都积微物联电子商务有限公司 基于表检仪检测的冷轧带钢质量判定的方法
CN112686896B (zh) * 2021-03-12 2021-07-06 苏州鼎纳自动化技术有限公司 基于分割网络的频域空间结合的玻璃缺陷检测方法
KR20230089381A (ko) * 2021-12-13 2023-06-20 엘지디스플레이 주식회사 표시결함 검출 시스템 및 그 검출 방법
FR3134181A1 (fr) 2022-04-01 2023-10-06 Psa Automobiles Sa Procede de detection d’un defaut d’etat de surface sur une surface metallique d’un element de vehicule
KR102439163B1 (ko) * 2022-06-24 2022-09-01 주식회사 아이브 인공지능 기반의 비지도 학습 모델을 이용한 불량 제품 검출 장치 및 그 제어방법
JP2024013523A (ja) * 2022-07-20 2024-02-01 株式会社ニューフレアテクノロジー 検査装置及び検査画像の生成方法
WO2024044947A1 (zh) * 2022-08-30 2024-03-07 宁德时代新能源科技股份有限公司 缺陷检测的方法、装置和计算机可读存储介质
JP2024048292A (ja) * 2022-09-27 2024-04-08 Ｊｆｅスチール株式会社 表面欠陥検出方法及び表面欠陥検出装置
CN115641337B (zh) * 2022-12-23 2023-04-07 中科慧远视觉技术(北京)有限公司 一种线状缺陷检测方法、装置、介质、设备及系统
CN116309578B (zh) * 2023-05-19 2023-08-04 山东硅科新材料有限公司 一种应用硅烷偶联剂的塑料耐磨性图像辅助检测方法
CN116934746B (zh) * 2023-09-14 2023-12-01 常州微亿智造科技有限公司 划伤缺陷检测方法、系统、设备及其介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6983065B1 (en) * 2001-12-28 2006-01-03 Cognex Technology And Investment Corporation Method for extracting features from an image using oriented filters
CN104956210A (zh) * 2013-01-30 2015-09-30 住友化学株式会社 图像生成装置、缺陷检查装置以及缺陷检查方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6650779B2 (en) * 1999-03-26 2003-11-18 Georgia Tech Research Corp. Method and apparatus for analyzing an image to detect and identify patterns
JP2001255275A (ja) * 2000-03-13 2001-09-21 Kawasaki Steel Corp 表面欠陥検査方法及び装置
JP4012366B2 (ja) * 2000-12-26 2007-11-21 新日本製鐵株式会社 表面疵検出装置
US6753965B2 (en) * 2001-01-09 2004-06-22 The University Of Hong Kong Defect detection system for quality assurance using automated visual inspection
JP2004294202A (ja) * 2003-03-26 2004-10-21 Seiko Epson Corp 画面の欠陥検出方法及び装置
JP4814116B2 (ja) * 2007-01-29 2011-11-16 三菱重工業株式会社 実装基板外観検査方法
JP2011007553A (ja) * 2009-06-24 2011-01-13 Hitachi High-Technologies Corp 欠陥検出方法及び装置
KR101109351B1 (ko) * 2009-10-20 2012-01-31 인하대학교 산학협력단 가보 필터를 이용한 금속 패드의 상태 검사 방법
CN102279191B (zh) * 2010-06-13 2014-04-02 中钞特种防伪科技有限公司 周期性纹理图像中缺陷的检测方法和装置
JP2012127682A (ja) * 2010-12-13 2012-07-05 Hitachi High-Technologies Corp 欠陥検査方法及びその装置
US8705839B2 (en) * 2011-11-18 2014-04-22 Sharp Laboratories Of America, Inc. Electronic devices for defect detection
JP2013167596A (ja) * 2012-02-17 2013-08-29 Honda Motor Co Ltd 欠陥検査装置、欠陥検査方法及びプログラム
JP6009956B2 (ja) * 2013-01-31 2016-10-19 株式会社日立ハイテクノロジーズ 欠陥検査装置および欠陥検査方法
CN103234976B (zh) * 2013-04-03 2015-08-05 江南大学 基于Gabor变换的经编机布匹瑕疵在线视觉检测方法
US9098891B2 (en) * 2013-04-08 2015-08-04 Kla-Tencor Corp. Adaptive sampling for semiconductor inspection recipe creation, defect review, and metrology
JP2015041164A (ja) * 2013-08-20 2015-03-02 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN104458755B (zh) * 2014-11-26 2017-02-22 吴晓军 一种基于机器视觉的多类型材质表面缺陷检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6983065B1 (en) * 2001-12-28 2006-01-03 Cognex Technology And Investment Corporation Method for extracting features from an image using oriented filters
CN104956210A (zh) * 2013-01-30 2015-09-30 住友化学株式会社 图像生成装置、缺陷检查装置以及缺陷检查方法

Also Published As

Publication number Publication date
KR102257734B1 (ko) 2021-05-27
US10859507B2 (en) 2020-12-08
US20200025690A1 (en) 2020-01-23
JP6358351B1 (ja) 2018-07-18
EP3605072A4 (en) 2020-04-08
WO2018173660A1 (ja) 2018-09-27
EP3605072A1 (en) 2020-02-05
MX2019011283A (es) 2019-11-01
JP2018155690A (ja) 2018-10-04
KR20190118627A (ko) 2019-10-18
CN110431404A (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
CN110431404B (zh) 表面缺陷检查方法及表面缺陷检查装置
US7027934B2 (en) Apparatus and method for automated web inspection
CN107301637B (zh) 近矩形平面状工业产品表面瑕疵检测方法
Xu et al. Application of Shearlet transform to classification of surface defects for metals
CN109632808B (zh) 棱边缺陷检测方法、装置、电子设备及存储介质
CN116168026B (zh) 基于计算机视觉的水质检测方法及系统
Yun et al. Defect inspection system for steel wire rods produced by hot rolling process
CN108346141B (zh) 单边侧入光式导光板缺陷提取方法
Tsai et al. Morphology-based defect detection in machined surfaces with circular tool-mark patterns
JP2019078640A (ja) 表面欠陥検出方法及び表面欠陥検出装置
CN113610850B (zh) 一种基于图像处理的装饰纸纹理异常检测方法
CN111539927B (zh) 汽车塑料组合件紧固卡扣缺装检测装置的检测方法
CN116128873A (zh) 一种基于图像识别的轴承保持器检测方法、设备及介质
Prabha et al. Defect detection of industrial products using image segmentation and saliency
JP7469740B2 (ja) ベルト検査システムおよびベルト検査プログラム
JP5176372B2 (ja) 疵検査方法、疵検査装置、及びコンピュータプログラム
KR100955736B1 (ko) 표면 검사용 방법 및 이를 수행하는 장치
JP2004144668A (ja) 欠陥検出方法
CN112767400B (zh) 缺陷检测方法和装置
JP2007132858A (ja) 疵検出方法、装置、及びコンピュータプログラム
WO2024070101A1 (ja) 表面欠陥検出方法及び表面欠陥検出装置
JP2014135007A (ja) フラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法
Zhang et al. A Surface Defect Detection Method based on Information Entropy
JP2004125629A (ja) 欠陥検出装置
Joo et al. Automatic Inspection System for TFT-LCD Cell Defects Using Magnitude Spectrum

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant