CN112232399B - 基于多特征融合机器学习的汽车座椅缺陷检测方法 - Google Patents

基于多特征融合机器学习的汽车座椅缺陷检测方法 Download PDF

Info

Publication number
CN112232399B
CN112232399B CN202011077848.6A CN202011077848A CN112232399B CN 112232399 B CN112232399 B CN 112232399B CN 202011077848 A CN202011077848 A CN 202011077848A CN 112232399 B CN112232399 B CN 112232399B
Authority
CN
China
Prior art keywords
image
feature
automobile seat
defect detection
classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011077848.6A
Other languages
English (en)
Other versions
CN112232399A (zh
Inventor
史婷
粟华
张冶
王杰高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Estun Robotics Co Ltd
Original Assignee
Nanjing Estun Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Estun Robotics Co Ltd filed Critical Nanjing Estun Robotics Co Ltd
Priority to CN202011077848.6A priority Critical patent/CN112232399B/zh
Publication of CN112232399A publication Critical patent/CN112232399A/zh
Application granted granted Critical
Publication of CN112232399B publication Critical patent/CN112232399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及机器视觉检测领域，尤其涉及一种基于多特征融合机器学习的汽车座椅缺陷检测方法。本发明公开了一种基于多特征融合机器学习的汽车座椅缺陷检测方法，适用于不同颜色、材质的物料，无需多模板匹配，工业机器人根据检测结果自动分拣至指定区域。通过提取多类别汽车座椅物料的颜色和纹理特征，训练多特征融合分类器以识别物料类别信息，筛选物料类别异常；根据分类结果，结合Blob分析进行缺陷检测，判断是否存在破损、污渍；工业机器人接收缺陷检测结果，抓取工件，自动分拣至物料类别异常、破损、污渍、合格品指定区域。本发明无需多模板匹配，时效性高，实现高效分拣多类别汽车座椅物料缺陷。

Description

基于多特征融合机器学习的汽车座椅缺陷检测方法
技术领域
本发明涉及机器视觉检测领域，尤其涉及一种基于多特征融合机器学习的汽车座椅缺陷检测方法。
背景技术
工业机器人作为面向工业领域的多关节机械手或多自由度机器装置，现今已广泛应用于各行各业，旨在实现工业生产线上各类应用的自动化操控，如码垛、搬运、分拣等，从而节省时间和经济成本。随着人工智能和工业4.0的发展，机器视觉作为代替人眼的辅助工具，对图像进行处理、分析、计算，配合工业机器人，被广泛应用于工业领域外观检测、识别、定位，实现上下料、分拣等功能。
不同行业，相似的视觉应用需求，机器视觉方案会有所不同。例如3C行业物料缺陷检测方案较简单、通用，由于物料种类单一，只需要模板匹配，即可获取物料位置信息，将来料图像进行仿射变换，与模板图像对齐，并作差分比较，实现缺陷检测。然而，该方法在汽车制造业并不适用，例如同一汽车座椅生产线会处理不同品牌的汽车座椅，而每一品牌的汽车座椅在形状、颜色、材质等方面也会有所区别，因此，同一生产线的汽车座椅物料非常多，甚至多达几十种，通过单一模板匹配无法解决物料种类丰富的视觉应用问题。
中国发明专利申请CN106226325B公开了一种基于机器视觉的汽车座椅表面缺陷检测系统及检测方法，系统包括光源装置、单片机数控系统装置、图像采集装置、图像处理和分析平台、数据库系统和硬件装置，在此系统基础上，结合颜色识别、模板匹配等机器视觉算法，判断座椅是否存在缺陷，提供了一套完整的汽车座椅表面缺陷检测系统及方案。该缺陷检测视觉方案的关键在于通过数据库系统，对检测图像进行多模板匹配，依次计算该来料在每个搜索空间与每个模板的相似度，确定检测图像类型，再获取检测图像颜色和材质特征，与模板数据进行比较。汽车座椅的形状、颜色、材质种类丰富，若每一种物料建立一个模板，对新的检测图像进行多模板匹配效率太低，上述方法适合种类单一或较少、时效性要求不高的场景。
发明内容
本发明旨在一种基于多特征融合机器学习的汽车座椅缺陷检测方法，无需多模板匹配，通过预训练的基于多特征融合机器学习算法识实现物料类别信息，检测物料类别异常缺陷；根据分类结果进行分组Blob分析判断是否存在破损、污渍缺陷，筛选不合格品。
为解决以上技术问题，本发明的技术方案为：基于多特征融合机器学习的汽车座椅缺陷检测方法，其步骤包括：
步骤1：通过提取多类别物料样本图像的颜色特征和纹理特征，采用机器学习算法训练多特征融合分类器；
步骤2：采集汽车座椅图像，提取汽车座椅当前物料的颜色特征和纹理特征，并将颜色和纹理特征变量融合为综合特征向量，运用训练的多特征融合分类器进行识别，输出当前物料所属类别；
步骤3：对汽车座椅图像的灰度图像进行动态阈值分割，获取目标区域和背景；对目标区域进行Blob分析，获取连通区域，并计算连通区域特征，设置用于筛选出不合格品的连通区域特征阈值，进行缺陷检测。
按以上方案，所述步骤1具体为：
步骤1.1：将每种物料的图像ColorImg进行类别标注Label，表征为<ColorImg,Label>,添加至样本集，每种类别包含Num张图像；
步骤1.2：对样本集彩色图像ColorImg进行高斯滤波预处理，作噪声平滑，高斯滤波的核函数为：
Figure BDA0002717255970000021
其中x,y表示相对中心的偏移量，σ控制高斯核函数的径向范围，σ值越大，局部影响范围越大；
步骤1.3：将经预处理的彩色图像分解为R、G、B灰度图像；
步骤1.4：将R、G、B灰度图像转换至HSV空间，提取H通道图像Hue，其中H∈[0,2π]；
步骤1.5：对H通道图像进行特征提取，提取颜色特征变量，即直方图变量AbsHistoHue；
步骤1.6：将步骤1.2经高斯滤波预处理的彩色图像转换为灰度图像GrayImg：
GrayImg＝0.299R+0.587G+0.114B
步骤1.7：对灰度图像GrayImg进行特征提取，提取纹理特征变量，调整灰度区分数量LdGray和方向Direction参数，生成灰度共生矩阵Matrixcooc，根据Matrixcooc分别计算能量Engery、相关性Correlation、熵Homogeneity、对比度Contrast，用以描述纹理特征；
步骤1.8：采用边缘检测Sobel算子对灰度图像GrayImg进行一阶导数提取边缘幅值EdgeAmp，并计算其梯度直方图变量AbsHistoEdgeAmp；
步骤1.9：融合描述样本集颜色特征和纹理特征的多个特征变量，记特征向量
Feature＝(AbsHistoHue,Energy,Correlation,Homogeneity,Contrast,AbsHistoEdgeAmp)；
步骤1.10：根据特征向量训练多层感知器即MLP，保存多特征融合分类器C参数；加载多特征融合分类器即可识别物料种类，若有未知类别，分类器无法识别，则判定为物料种类异常；若某未知类别需要正确识别，则需要加入样本集，重新训练。
按以上方案，所述步骤2具体为：
步骤2.1：采集当前图像；
步骤2.2：根据上述步骤1.2-1.5提取采集图像的颜色特征变量AbsHistoHue；
步骤2.3：根据步骤1.6-1.8对采集图像进行处理，得到灰度图像GrayImg的纹理特征变量，即Engery、Correlation、Homogeneity、Contrast、AbsHistoEdgeAmp；
步骤2.4：根据步骤1.9，将颜色特征和纹理特征融合为综合特征向量Feature，特征向量作为输入层，运用上述步骤1.10得到的多特征融合分类器C进行识别，分类器输出当前物料所属类别Label，若当前分类器C无法识别标注类别，输出NG，表示物料种类异常。
按以上方案，所述步骤3具体为：
步骤3.1：对步骤2.3获得的灰度图像GrayImg进行动态阈值分割，获取目标区域和背景；
步骤3.2：对目标区域进行Blob分析，获取连通区域，并计算连通区域特征；
步骤3.3：设置用于检测不同类型缺陷的连通区域特征阈值，筛选出满足阈值条件的不合格品，输出污渍、破损、合格品检测结果。
按以上方案，所述连通区域特征包括连通区域的质心、面积、周长、长轴、短轴、角度、圆度、矩形度和紧凑度。
按以上方案，所述方法还包括步骤4，具体为：
步骤4：工业机器人根据缺陷检测结果，抓取工件，分拣物料种类异常、破损、污渍和合格品四类物料至指定区域。
按以上方案，所述步骤1.10具体为：
步骤1.10a：调整网络结构参数：网络层数为n，第l(l＝1,2,…,n)层神经元个数为nl，第一层为输入特征，神经单元个数n1＝|Feature|，即特征Feature的维度,中间层为隐含层网络，共n-2层，根据输入层和输出层及样本调整网络节点个数nl，最后一层为输出层，节点个数nn为分类的类别数量；
步骤1.10b：MLP反向传播学习：在每层中首先计算特征向量或上层结果的线性组合，即
Figure BDA0002717255970000031
然后将结果传递给非线性激活函数，即
Figure BDA0002717255970000041
其中
Figure BDA0002717255970000042
表示第l层第j单元的激活值，
Figure BDA0002717255970000043
为特征向量，
Figure BDA0002717255970000044
为l层结果向量，
Figure BDA0002717255970000045
和
Figure BDA0002717255970000046
为l层权值，非线性激活函数选用双曲正切函数，即
Figure BDA0002717255970000047
最后一层隐藏层到输出层归结为多类别回归问题，采用Softmax激活函数，即
Figure BDA0002717255970000048
步骤1.10c：保存分类器C参数：加载分类器即可识别物料种类，若有未知类别分类器无法识别，则判定为物料种类异常；若某未知类别需要正确识别，则需要加入样本集，重新训练。
本发明具有如下有益效果：
1、本发明融合图像多维特征，无需多模板匹配，利用机器学习训练分类器，自动分类汽车座椅物料类别，分类不同颜色、材质的物料，筛选出物料种类异常缺陷；匹配效率高，时效性高；
2、本发明采用动态阈值分割目标和背景，计算目标区域特征，结合Blob分析进行缺陷检测，筛选出破损、污渍、合格品；
3、工业机器人根据检测结果，抓取工件，智能分拣物料种类异常、破损、污渍和合格品四类物料至指定区域。
附图说明
图1为本发明检测方法流程示意图；
图2为本发明实施例中多特征融合分类器训练流程示意图；
图3为本实施例中多层感知器网络结构示意图；
图4为本实施例中多层感知器处理方法示意图；
图5为本实施例中汽车座椅检测部位示意图；其中图5(a)为汽车前排座椅示意图；图5(b)为汽车后排座椅示意图；
图6为本实施例中汽车座椅不同颜色和材质的局部图；其中图6(a)为汽车座椅黑色绒布局部图；图6(b)为汽车座椅黑色皮革局部图；图6(c)为汽车座椅灰色皮革局部图。
附图标记：1、头枕；2、靠背；3、坐垫；4、手枕。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明作进一步详细说明。
请参考图1至图6，本发明提出一种基于多特征融合机器学习的汽车座椅缺陷检测方法，适用于不同颜色、材质的物料，无需多模板匹配，代替多模板匹配的方法，通过提取多类别汽车座椅物料的颜色和纹理特征，基于多特征融合机器学习算法以识别物料类别信息，筛选物料类别异常缺陷，根据分类结果，利用Blob缺陷检测，分析判断是否存在破损、污渍，筛选不合格品，工业机器人根据检测结果抓取工件，自动分拣物料类别异常、破损、污渍和合格品至指定区域。具体方法为：
步骤1：通过提取多类别物料样本图像的颜色特征和纹理特征，采用机器学习算法训练多特征融合分类器；具体为：
步骤1.1：将每种物料的图像ColorImg进行类别标注Label，表征为<ColorImg,Label>,添加至样本集，每种类别包含Num张图像；
步骤1.2：对样本集彩色图像ColorImg进行高斯滤波预处理，作噪声平滑，高斯滤波的核函数为：
Figure BDA0002717255970000051
其中x,y表示相对中心的偏移量，σ控制高斯核函数的径向范围，σ值越大，局部影响范围越大；
步骤1.3：将经预处理的彩色图像分解为R、G、B灰度图像；
步骤1.4：将R、G、B灰度图像转换至HSV空间，提取H通道图像Hue，其中H∈[0,2π]；
步骤1.5：对H通道图像进行特征提取，提取颜色特征变量，即直方图变量AbsHistoHue；
步骤1.6：将步骤1.2经高斯滤波预处理的彩色图像转换为灰度图像GrayImg：
GrayImg＝0.299R+0.587G+0.114B
步骤1.7：对灰度图像GrayImg进行特征提取，提取纹理特征变量，由于汽车座椅材质不一样，纹理差别很大，需要提取灰度图像的特征，调整合适的灰度区分数量LdGray和方向Direction参数，生成灰度共生矩阵Matrixcooc，根据Matrixcooc分别计算能量Engery、相关性Correlation、熵Homogeneity、对比度Contrast，用以描述纹理特征；
步骤1.8：采用边缘检测Sobel算子对灰度图像GrayImg进行一阶导数提取边缘幅值EdgeAmp，并计算其梯度直方图变量AbsHistoEdgeAmp；
步骤1.9：融合描述样本集颜色特征和纹理特征的多个特征变量，记特征向量
Feature＝(AbsHistoHue,Energy,Correlation,Homogeneity,Contrast,AbsHistoEdgeAmp)；
步骤1.10：根据特征向量训练多层感知器(MLP)，保存多特征融合分类器C参数；加载多特征融合分类器即可识别物料种类，若有未知类别，分类器无法识别，则判定为物料种类异常；若某未知类别需要正确识别，则需要加入样本集，重新训练；步骤1.10具体为：
步骤1.10a：调整网络结构参数：网络层数为n，第l(l＝1,2,…,n)层神经元个数为nl，第一层为输入特征，神经单元个数n1＝|Feature|，即特征Feature的维度,中间层为隐含层网络，共n-2层，根据输入层和输出层及样本调整网络节点个数nl，最后一层为输出层，节点个数nn为分类的类别数量；
步骤1.10b：MLP反向传播学习：在每层中首先计算特征向量或上层结果的线性组合，即
Figure BDA0002717255970000061
然后将结果传递给非线性激活函数，即
Figure BDA0002717255970000062
其中
Figure BDA0002717255970000063
表示第l层第j单元的激活值，
Figure BDA0002717255970000064
为特征向量，
Figure BDA0002717255970000065
为l层结果向量，
Figure BDA0002717255970000066
和
Figure BDA0002717255970000067
为l层权值，非线性激活函数选用双曲正切函数，即
Figure BDA0002717255970000068
最后一层隐藏层到输出层归结为多类别回归问题，采用Softmax激活函数，即
Figure BDA0002717255970000069
步骤1.10c：保存分类器C参数：加载分类器即可识别物料种类，若有未知类别分类器无法识别，则判定为物料种类异常；若某未知类别需要正确识别，则需要加入样本集，重新训练。
步骤2：采集汽车座椅图像，提取汽车座椅当前物料的颜色特征和纹理特征，并将颜色特征和纹理特征变量融合为综合特征向量，运用预训练的多特征融合分类器进行识别，输出当前物料所属类别；具体为：
步骤2.1：利用相机模块采集当前图像；
步骤2.2：根据上述步骤1.2-1.5提取采集图像的颜色特征变量AbsHistoHue；
步骤2.3：根据步骤1.6-1.8对采集图像进行处理，得到灰度图像GrayImg的纹理特征变量，即Engery、Correlation、Homogeneity、Contrast、AbsHistoEdgeAmp；
步骤2.4：根据步骤1.9，将颜色特征和纹理特征融合为综合特征向量Feature，特征向量作为输入层，运用上述步骤1.10得到的多特征融合分类器C进行识别，分类器输出当前物料所属类别Label，若当前分类器C无法识别标注类别，输出NG，表示物料种类异常。
步骤3：对汽车座椅图像的灰度图像进行动态阈值分割，获取目标区域和背景；对目标区域进行Blob分析，即获取连通区域，并计算连通区域特征，设置用于筛选出不合格品的连通区域特征阈值，进行缺陷检测；具体为：
步骤3.1：考虑汽车座椅图像目标区域和背景区别显著，尤其包含破损、污渍情况，无法通过全局阈值分割目标区域和背景，对步骤2.3获得的灰度图像GrayImg进行动态阈值分割，获取目标区域和背景；
步骤3.2：对上述目标区域进行Blob分析，获取连通区域，并计算连通区域特征；连通区域特征包括质心、面积、周长、长轴、短轴、角度、圆度、矩形度、紧凑度等；
步骤3.3：根据污渍、破损情况，选择合适的一个或多个连通区域特征，设置用于筛选出不合格品的连通区域特征阈值，即合适的上、下限值，筛选出满足阈值条件的不合格品，进行缺陷检测，输出污渍、破损、合格品检测结果。
步骤4：工业机器人根据缺陷检测结果，抓取工件，分拣物料种类异常、破损、污渍和合格品四类物料至指定区域。
下面给出一种具体实施例：以某一生产线上几种不同座椅缺陷检测和分拣为例,说明本方案的具体实现方法：
本实施例以汽车座椅为对象，包括前排和后排座椅，如图5所示，座椅是汽车整车的核心部件之一，由头枕1、靠背2、坐垫3、手枕4组成，识别座椅不同部位的颜色、材质，包括黑色绒布、黑色皮革、灰色皮革，判断是否存在物料类别异常，如图6所示，并检测各部位是否存在破损、污渍问题，筛选出不合格品，根据分类识别和缺陷检测结果，工业机器人抓取工件，自动分拣物料类别异常、破损、污渍、合格品四类至指定区域。本实施例的具体检测方法为：
步骤1：标注样本集物料类别，再提取样本图像的颜色特征和纹理特征，采用机器学习算法训练多特征融合分类器；具体为：
步骤1.1：根据部位、颜色、材质信息，每个类别挑选Num＝100张彩色图像，并标注，作为训练样本；
步骤1.2：对样本集彩色图像ColorImg进行高斯滤波预处理，作噪声平滑，其核大小设为3×3，σ＝0.670；
步骤1.3：将经高斯滤波预处理的彩色图像分解为R、G、B灰度图像；
步骤1.4：将R、G、B灰度图像转换至HSV空间，提取H通道图像Hue，其中H∈[0,2π]；
步骤1.5：对上述图像Hue进行特征提取，提取颜色特征变量，即直方图变量AbsHistoHue；
步骤1.6：将步骤1.2经高斯滤波预处理的彩色图像转换为灰度图像GrayImg：
步骤1.7：对灰度图像GrayImg进行特征提取，提取纹理特征变量，调整合适的灰度区分数量和方向参数，设置LdGray＝6，Direction＝0，生成灰度共生矩阵Matrixcooc，根据Matrixcooc分别计算能量Engery、相关性Correlation、熵Homogeneity、对比度Contrast，用以描述纹理特征；
步骤1.8：采用边缘检测Sobel算子对灰度图像GrayImg进行一阶导数提取边缘幅值EdgeAmp，并计算其梯度直方图变量AbsHistoEdgeAmp；
步骤1.9：融合描述样本集颜色特征和纹理特征的多个特征向量，记特征向量
Feature＝(AbsHistoHue,Energy,Correlation,Homogeneity,Contrast,AbsHistoEdgeAmp)；
步骤1.10：设计网络结构：由于输出样本个数少，可适当减少隐含层层数，输入层为步骤1.9的特征向量Feature，调整网络参数，设置输入层神经元个数n1＝|Feature|，输出层节点即类别数量，隐含层为1层，节点数为5，反向传播训练分类器网络，并保存分类器参数。
步骤2：采集汽车座椅图像，提取汽车座椅当前物料的颜色特征和纹理特征，将颜色和纹理特征变量融合为综合特征向量，运用训练的多特征融合分类器进行识别，输出当前物料所属类别；具体为：
步骤2.1：利用相机模块采集当前图像；
步骤2.2：根据上述步骤1.2-1.5提取采集图像的颜色特征变量AbsHistoHue；
步骤2.3：根据步骤1.6-1.8对采集图像进行处理，得到灰度图像GrayImg的纹理特征变量，即Engery、Correlation、Homogeneity、Contrast、AbsHistoEdgeAmp；
步骤2.4：根据步骤1.9，将颜色特征和纹理特征融合为综合特征向量Feature，特征向量作为输入层，运用上述步骤1.10得到的多特征融合分类器C进行识别，分类器输出当前物料所属类别Label，若当前分类器C无法识别标注类别，输出NG，表示物料种类异常，类别识别成功率达99.9％。
步骤3：采用动态阈值分割目标和背景，计算目标区域特征，结合Blob分析进行缺陷检测，筛选出破损、污渍、合格品，具体为：
步骤3.1：考虑汽车座椅图像目标区域和背景区别显著，尤其包含破损、污渍情况，无法通过全局阈值分割目标区域和背景，对步骤2.3获得的灰度图像GrayImg进行动态阈值分割，获取目标区域和背景；
步骤3.2：对上述目标区域进行Blob分析，获取连通区域，并计算连通区域特征；连通区域特征包括质心、面积、周长、长轴、短轴、角度、圆度、矩形度和紧凑度等；
步骤3.3：根据污渍、破损情况，选择面积、长轴、圆度3个连通区域特征，设置用于筛选出不合格品的连通区域特征阈值，即合适的上、下限值，筛选出满足阈值条件的不合格品，进行缺陷检测，输出污渍、破损、合格品检测结果。
步骤4：工业机器人根据上述分类识别和缺陷检测结果，抓取工件，分拣物料种类异常、破损、污渍和合格品四类物料至指定区域，分拣正确率达99.5％。
本发明未涉及部分均与现有技术相同或采用现有技术加以实现。
以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (6)

1.基于多特征融合机器学习的汽车座椅缺陷检测方法，其特征在于，其步骤包括：
步骤1：提取多类别物料样本图像的颜色特征和纹理特征，采用机器学习算法训练多特征融合分类器；所述步骤1具体为：
步骤1.1：将每种物料的图像ColorImg进行类别标注Label，表征为＜ColorImg,Label＞,添加至样本集，每种类别包含Num张图像；
步骤1.2：对样本集彩色图像ColorImg进行高斯滤波预处理，作噪声平滑，高斯滤波的核函数为：
Figure FDA0003478706760000011
其中x,y表示相对中心的偏移量，σ控制高斯核函数的径向范围，σ值越大，局部影响范围越大；
步骤1.3：将经预处理的彩色图像分解为R、G、B灰度图像；
步骤1.4：将R、G、B灰度图像转换至HSV空间，提取H通道图像Hue，其中H∈[0,2π]；
步骤1.5：对H通道图像进行特征提取，提取颜色特征变量，即直方图变量AbsHistoHue；
步骤1.6：将步骤1.2经高斯滤波预处理的彩色图像转换为灰度图像GrayImg：
GrayImg＝0.299R+0.587G+0.114B
步骤1.7：对灰度图像GrayImg进行特征提取，提取纹理特征变量，调整灰度区分数量LdGray和方向Direction参数，生成灰度共生矩阵Matrixcooc，根据Matrixcooc分别计算能量Engery、相关性Correlation、熵Homogeneity、对比度Contrast，用以描述纹理特征；
步骤1.8：采用边缘检测Sobel算子对灰度图像GrayImg进行一阶导数提取边缘幅值EdgeAmp，并计算其梯度直方图变量AbsHistoEdgeAmp；
步骤1.9：融合描述样本集颜色特征和纹理特征的多个特征变量，记特征向量Feature＝(AbsHistoHue,Energy,Correlation,Homogeneity,Contrast,AbsHistoEdgeAmp)；
步骤1.10：根据特征向量训练多层感知器即MLP，保存多特征融合分类器C参数；加载多特征融合分类器即可识别物料种类，若有未知类别，分类器无法识别，则判定为物料种类异常；若某未知类别需要正确识别，则需要加入样本集，重新训练；
步骤2：采集汽车座椅图像，提取汽车座椅当前物料的颜色特征和纹理特征，并将颜色和纹理特征变量融合为综合特征向量，运用训练的多特征融合分类器进行识别，输出当前物料所属类别；
步骤3：对汽车座椅图像的灰度图像进行动态阈值分割，获取目标区域和背景；对目标区域进行Blob分析，获取连通区域，并计算连通区域特征，设置用于筛选出不合格品的连通区域特征阈值，进行缺陷检测。
2.根据权利要求1所述的基于多特征融合机器学习的汽车座椅缺陷检测方法，其特征在于：所述步骤2具体为：
步骤2.1：采集当前图像；
步骤2.2：根据上述步骤1.2-1.5提取采集图像的颜色特征变量AbsHistoHue；
步骤2.3：根据步骤1.6-1.8对采集图像进行处理，得到灰度图像GrayImg的纹理特征变量，即Engery、Correlation、Homogeneity、Contrast、AbsHistoEdgeAmp；
步骤2.4：根据步骤1.9，将颜色特征和纹理特征融合为综合特征向量Feature，特征向量作为输入层，运用上述步骤1.10得到的多特征融合分类器C进行识别，分类器输出当前物料所属类别Label，若当前分类器C无法识别标注类别，输出NG，表示物料种类异常。
3.根据权利要求2所述的基于多特征融合机器学习的汽车座椅缺陷检测方法，其特征在于：所述步骤3具体为：
步骤3.1：对步骤2.3获得的灰度图像GrayImg进行动态阈值分割，获取目标区域和背景；
步骤3.2：对目标区域进行Blob分析，获取连通区域，并计算连通区域特征；
步骤3.3：设置用于检测不同类型缺陷的连通区域特征阈值，筛选出满足阈值条件的不合格品，输出污渍、破损、合格品检测结果。
4.根据权利要求3所述的基于多特征融合机器学习的汽车座椅缺陷检测方法，其特征在于：所述连通区域特征包括连通区域的质心、面积、周长、长轴、短轴、角度、圆度、矩形度和紧凑度。
5.根据权利要求3所述的基于多特征融合机器学习的汽车座椅缺陷检测方法，其特征在于：所述方法还包括步骤4，具体为：
步骤4：工业机器人根据缺陷检测结果，抓取工件，分拣物料种类异常、破损、污渍和合格品四类物料至指定区域。
6.根据权利要求1所述的基于多特征融合机器学习的汽车座椅缺陷检测方法，其特征在于：所述步骤1.10具体为：
步骤1.10a：调整网络结构参数：网络层数为n，第l层神经元个数为nl，l＝1,2,…,n，第一层为输入特征，神经单元个数n1＝|Feature|，即特征Feature的维度,中间层为隐含层网络，共n-2层，根据输入层和输出层及样本调整网络节点个数nl，最后一层为输出层，节点个数nn为分类的类别数量；
步骤1.10b：MLP反向传播学习：在每层中首先计算特征向量或上层结果的线性组合，即
Figure FDA0003478706760000031
然后将结果传递给非线性激活函数，即
Figure FDA0003478706760000032
其中
Figure FDA0003478706760000033
表示第l层第j单元的激活值，
Figure FDA0003478706760000034
为特征向量，
Figure FDA0003478706760000035
为l层结果向量，l≥1，
Figure FDA0003478706760000036
和
Figure FDA0003478706760000037
为l层权值，非线性激活函数选用双曲正切函数，即
Figure FDA0003478706760000038
最后一层隐藏层到输出层归结为多类别回归问题，采用Softmax激活函数，即
Figure FDA0003478706760000039
步骤1.10c：保存分类器C参数：加载分类器即可识别物料种类，若有未知类别分类器无法识别，则判定为物料种类异常；若某未知类别需要正确识别，则需要加入样本集，重新训练。
CN202011077848.6A 2020-10-10 2020-10-10 基于多特征融合机器学习的汽车座椅缺陷检测方法 Active CN112232399B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011077848.6A CN112232399B (zh) 2020-10-10 2020-10-10 基于多特征融合机器学习的汽车座椅缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011077848.6A CN112232399B (zh) 2020-10-10 2020-10-10 基于多特征融合机器学习的汽车座椅缺陷检测方法

Publications (2)

Publication Number Publication Date
CN112232399A CN112232399A (zh) 2021-01-15
CN112232399B true CN112232399B (zh) 2022-04-15

Family

ID=74111931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011077848.6A Active CN112232399B (zh) 2020-10-10 2020-10-10 基于多特征融合机器学习的汽车座椅缺陷检测方法

Country Status (1)

Country Link
CN (1) CN112232399B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421271A (zh) * 2021-05-17 2021-09-21 江苏大学 基于mlp多层神经网络的天然皮革缺陷分割方法
US11724931B2 (en) * 2021-09-23 2023-08-15 Lear Corporation Vehicle seat correction system and method of correcting a defect in a vehicle seat
CN113705544B (zh) * 2021-10-28 2022-02-08 季华实验室 汽车内饰清洁方法、装置、电子设备及存储介质
CN114265586B (zh) * 2021-12-09 2023-12-05 深圳模德宝科技有限公司 一种切割自动编程方法、装置及计算机可读存储介质
CN116229126B (zh) * 2023-05-09 2023-07-25 日照皓诚电子科技有限公司 一种石英晶体镀膜智能检测方法、系统、设备及介质
CN116610080B (zh) * 2023-05-23 2023-11-10 浙江众邦家居有限公司 休闲椅的智能生产方法及其控制系统
CN117299596B (zh) * 2023-08-14 2024-05-24 江苏秦郡机械科技有限公司 一种自动检测的物料筛选系统及其筛选方法
CN117173181B (zh) * 2023-11-03 2024-01-26 沈阳金杯李尔汽车座椅有限公司 一种基于图像分解的座椅出厂校验方法与系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7761240B2 (en) * 2004-08-11 2010-07-20 Aureon Laboratories, Inc. Systems and methods for automated diagnosis and grading of tissue images
CN105806849A (zh) * 2016-04-08 2016-07-27 广东工业大学 基于机器视觉的汽车座椅表面缺陷检测系统及检测方法
CN106409711B (zh) * 2016-09-12 2019-03-12 佛山市南海区广工大数控装备协同创新研究院 一种太阳能硅晶片缺陷检测系统及方法

Also Published As

Publication number Publication date
CN112232399A (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
CN112232399B (zh) 基于多特征融合机器学习的汽车座椅缺陷检测方法
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
EP3379491B1 (en) Surface defect detection
CN110806736B (zh) 一种模锻成形智能制造生产线锻件质量信息检测方法
Anagnostopoulos et al. A license plate-recognition algorithm for intelligent transportation system applications
CN111145165A (zh) 一种基于机器视觉的橡胶密封圈表面缺陷检测方法
Battiato et al. Detection and classification of pollen grain microscope images
Chantakamo et al. The multi vehicle recognition using hybrid blob analysis and feature-based
Prasitmeeboon et al. Defect detection of particleboards by visual analysis and machine learning
Lin et al. Determination of the varieties of rice kernels based on machine vision and deep learning technology
CN114913132A (zh) 一种基于卷积神经网络的汽车电镀件缺陷检测方法
Sidehabi et al. The Development of Machine Vision System for Sorting Passion Fruit using Multi-Class Support Vector Machine.
Johan et al. Recognition of bolt and nut using artificial neural network
CN116228682A (zh) 一种基于多支路卷积神经网络的射线图像焊缝缺陷识别方法
Kousalya et al. Investigation of applying various filters for traffic sign board detection using convolution neural network
Ngendangenzwa Defect detection and classification on painted specular surfaces
CN112507327A (zh) 一种基于机器学习的晴雨检测与处理方法
Adachi et al. Detection and classification of painting defects using deep learning
Regayeg et al. Automatic detection system for verification and quality control: Application to water connector inspection
Papagianni et al. Surface Defects Detection on Pressure Die Castings by Machine Learning Exploiting Machine Vision Features
Thakur Multi-layer perceptron-based classification of recyclable plastics from waste using hyperspectral imaging for robotic sorting
Jørgensen et al. Detecting danger labels with RAM-based neural networks
Banerjee et al. A Proposed Method for Fruit Grading from Fruit Images using SVM
Han et al. Vision Based Vehicle Information Inspection System Using Deep Learning
Nandhini et al. Detecting of Road Signs with Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant