CN116205903A - 一种车身面漆缺陷检测方法 - Google Patents

一种车身面漆缺陷检测方法 Download PDF

Info

Publication number
CN116205903A
CN116205903A CN202310315286.1A CN202310315286A CN116205903A CN 116205903 A CN116205903 A CN 116205903A CN 202310315286 A CN202310315286 A CN 202310315286A CN 116205903 A CN116205903 A CN 116205903A
Authority
CN
China
Prior art keywords
defect
image
defects
light band
defect detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310315286.1A
Other languages
English (en)
Inventor
甘颖杰
顾屹
何旭栋
贺庆升
季洪成
张雯桦
邵健一
汪松
张晓清
陈杰
刘晓春
吴安
卞奇立
张佳樑
吕振宇
戚卫星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SAIC Volkswagen Automotive Co Ltd
Original Assignee
SAIC Volkswagen Automotive Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAIC Volkswagen Automotive Co Ltd filed Critical SAIC Volkswagen Automotive Co Ltd
Priority to CN202310315286.1A priority Critical patent/CN116205903A/zh
Publication of CN116205903A publication Critical patent/CN116205903A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于机器视觉的车身面漆缺陷检测方法，包括：将车身分若干部分，对每个部分分别设定检测区域；进行图像采集，对表面喷漆图像进行预处理；进行单帧图像缺陷检测，包括基于多阈值提取光带区域，基于动态阈值并结合Blob特征分析检测缺陷；进行融合图像缺陷检测，对融合后的图像基于最大灰度阈值方法提取缺陷特征，将图像的多种基本特征组合，形成综合性的缺陷描述特征向量并识别出车身缺陷；进行缺陷去重，对单相机拍摄图像和多相机拍摄图像缺陷检测结果进行去重处理，去除重复缺陷；进行缺陷定位，结合车身三维数据，通过特征点确定缺陷在车盖的具体位置，利用四点透视变换在图像上进行标记，进行缺陷定位。

Description

一种车身面漆缺陷检测方法
技术领域
本发明涉及一种检测方法，尤其涉及一种车身面漆缺陷检测方法。
背景技术
作为汽车生产的四大工艺之一，汽车涂装不仅起到装饰作用，还能提高汽车的防腐性能和抗磨损性，延长汽车的使用寿命。喷涂完成后，通常需要人工对喷涂质量进行检查，对缺陷进行修补。喷涂后会存在油污、划痕、颗粒等缺陷，而人工检测缺陷的方式存在效率低、成本高、漏检率高等缺点，降低了汽车涂装质量。
机器视觉是利用机器代替人眼来做监测和判断，是一门结合图像识别、图像处理、人工智能等众多学科术的综合性技术，已被广泛应用于汽车、飞机、船舶等领域的表面缺陷检测。与人工检测方法相比，基于机器视觉的缺陷检测技术具有检测精度高、速率高、稳定性好等优点。但由于检测算法的不同，不同基于机器视觉的缺陷检测方法之间也会存在检测效率高低、精度大小等问题。
例如，专利文献1(中国专利公开号：CN 115290668 A)公开了一种涂装车身面漆缺陷检测的系统及方法，缺陷检测首先对图片进行分割，修正数据分布，提取特征信息，将提取的缺陷特征与数据库中的缺陷检测模型对比，对缺陷进行检测识别，可以输出缺陷的长度、宽度、面积等信息。
然而，此方法依赖特征信息来识别缺陷，所需的数据量庞大、冗余信息多、特征空间维度高，实时性较低。
专利文献2(中国专利公开号：CN 109461149 A)公开了一种喷漆表面缺陷的智能检测系统及方法，通过利用基于熵率聚类的检测目标定位方法将图像中的目标信息与背景分离，提取目标信息，采用深度学习方法，参考熵衡量和多样性来进行样本挑选，识别缺陷。同样的，此方法需要大量的样本支持，数据量大，运算速度慢，实时性较低。
专利文献3(中国专利公开号：CN 109461149 A)公开了一种基于机器视觉的光滑漆面表面缺陷检测方法，通过在检测检测表面反射条纹光，凸显缺陷信息，采用局部自适应阈值法进行图像二值化，提取漆面条纹信息，判断条纹的畸变情况，识别缺陷。可能存在受光照影响较大、难以识别小缺陷、识别精度较低等问题。
发明内容
应当理解，本公开以上的一般性描述和以下的详细描述都是示例性和说明性的，并且旨在为本公开提供进一步的解释。
针对上述问题，本发明提出一种基于动态阈值检测缺陷并采用单帧图像缺陷检测与融合图像缺陷检测相结合的方式，实现检测效率快、检测精度高的基于机器视觉的车身前盖面漆缺陷检测方法。
本发明的目的在于针对现有技术的不足，提供一种检测效率快、检测精度高的汽车车身面漆缺陷检测方法，可以提升汽车车身面漆缺陷检测精度，有效提高生产效率。
为实现上述要求，本发明提出了一种车身面漆缺陷检测方法，其包括步骤：
步骤S100，设定检测区域，将车身分若干部分，对每个部分分别设定检测区域；
步骤S200，进行图像采集，提前设定好采集参数，获取车身表面喷漆图像，对表面喷漆图像进行预处理；
步骤S300，进行单帧图像缺陷检测，包括基于多阈值提取光带区域，基于动态阈值并结合Blob特征分析检测缺陷；
步骤S400，进行融合图像缺陷检测，对融合后的图像基于最大灰度阈值方法提取缺陷特征，将图像的多种基本特征组合，形成综合性的缺陷描述特征向量，基于动态阈值并结合Canny算子、Sobel算子及轮廓检测识别出车身缺陷；
步骤S500，进行缺陷去重，对单相机拍摄图像和多相机拍摄图像缺陷检测结果进行去重处理，去除重复缺陷；
步骤S600，进行缺陷定位，在缺陷检测后，结合车身三维数据，通过特征点确定缺陷在车盖的具体位置，利用四点透视变换在图像上进行标记，进行缺陷定位。
比较好的是，本发明进一步提供了一种基于机器视觉的车身面漆缺陷检测方法，其特征在于，
在所述步骤S300中，所述光带区域提取包括光带轮廓粗定位和光带轮廓精定位，其中，所述光带轮廓粗定位包括以下步骤：
步骤S30a，使用预先设定好的车身检测区域与待处理图像求与，过滤车身外侧光源，得到感兴趣区图像；
步骤S30b，将获得的单帧图像按列分割为三个子图，对每个子图定义光带位置，使光带定位处理更精细化；
步骤S30c，在每个子图上随机确定一列，根据光带宽度初设一个检测宽度，遍历该列连续检测宽度内灰度值和，取灰度值最大的一个检测宽度中心点为光带中心坐标；
步骤S30d，将光带中心点坐标所在行向上向下各扩大一个阈值范围，粗定位光带区域范围，对图像使用阈值矩阵进行二值化，完成对光带的粗提取；
所述光带轮廓精定位包括：
将粗定位光带区域内所有像素值相加除以总像素个数，求取粗定位光带区域内灰度值的平均值，公式为：
Figure BDA0004150061010000041
式中，Average为粗定位光带区域内灰度平均值，N为粗定位光带区域内像素个数，W为粗定位光带区域内像素总和；
将平均值减去一个阈值设定为精提取阈值，粗定位光带区域内灰度值再与设定的精提取阈值相比较，对图像进行二值化，进一步缩小光带范围，精准提取光带。
比较好的是，本发明进一步提供了一种基于机器视觉的车身面漆缺陷检测方法，其特征在于，
在所述步骤S300中进一步包括：
在步骤S30b中，提取光带后，进一步将三个子图中的光带重新组合成一个完整的光带，进行开运算去除光带内部噪音，通过闭运算把打断的光带部分填充，消除毛刺。
比较好的是，本发明进一步提供了一种基于机器视觉的车身面漆缺陷检测方法，其特征在于，
在所述步骤S400中采用图像融合使用的公式为：
Ifusion＝MAX(I1，I2，I3...，In)
式中，Ifusion是融合后的图像，Ii是采集到的第i帧图像的灰度值，融合后的图像表征的是离光源最近的光带区域，便于增强缺陷特征。
比较好的是，本发明进一步提供了一种基于机器视觉的车身面漆缺陷检测方法，其特征在于，
所述步骤S400中，对所述融合图像进行二值化并结合Canny算子与Sobel算子检测出车身缺陷，其中，所述Canny算子和所述Sobel算子用于图像边缘检测，取二者灰度值较小值作为检测结果，以增强缺陷特征。
比较好的是，本发明进一步提供了一种基于机器视觉的车身面漆缺陷检测方法，其特征在于，
所述步骤S500中，对单相机图像缺陷检测结果进行去重处理，包括对连续的单帧图像缺陷进行去重和对单帧图像与融合图像缺陷检测结果进行去重；
其中，对连续的单帧图像缺陷进行去重，对i帧图像上的n个缺陷和i+1帧图像上m个缺陷点坐标分别求欧式距离P1，公式如下：
Figure BDA0004150061010000051
式中，
Figure BDA0004150061010000052
为第i+1帧图像上第s个缺陷的点坐标，/>
Figure BDA0004150061010000053
为第i帧图像上第t个缺陷的点坐标，当欧式距离P1与设定的阈值比较，若小于阈值则认为两个缺陷重复，去除一个缺陷；
其中，对单帧图像与融合图像缺陷检测结果进行去重，对i单帧图像上n个缺陷和融合图像上m个缺陷点坐标分别求欧式距离P2，公式如下：
Figure BDA0004150061010000061
式中，
Figure BDA0004150061010000062
为融合图像上第s个缺陷的点坐标，/>
Figure BDA0004150061010000063
为第i帧图像上第t个缺陷的点坐标，欧式距离P2与设定的阈值比较，若小于阈值则认为两个缺陷重复，去除一个缺陷。
比较好的是，本发明进一步提供了一种基于机器视觉的车身面漆缺陷检测方法，其特征在于，
所述步骤S500中，对多相机图像缺陷检测结果进行去重处理，首先需要对多相机拍摄的图片进行拼接，通过单应矩阵获得不同图像间的重合区域，判断缺陷是否在重叠区域内，如若在重叠区域内，对拼接图像重叠区域内m个缺陷与第i个相机融合图像重叠区域内n个缺陷点坐标分别求欧式距离P3，公式如下：
Figure BDA0004150061010000064
/>
式中，
Figure BDA0004150061010000065
为多相机拼接图像重叠区域内第s个缺陷的点坐标，
Figure BDA0004150061010000066
为第i个相机融合图像重叠区域内第t个缺陷的点坐标，欧式距离P3与设定的阈值比较，若小于阈值则认为两个缺陷重复，去除一个缺陷。
比较好的是，本发明进一步提供了一种基于机器视觉的车身面漆缺陷检测方法，其特征在于，
在所述步骤S600中，缺陷定位使用的透视变化矩阵为：
Figure BDA0004150061010000067
式中，(x，y)为原图坐标，h11，h12，h21，h22，h31，h32为旋转量，h13，h23，h33为平移量。
比较好的是，本发明进一步提供了一种基于机器视觉的车身面漆缺陷检测方法，其特征在于，
所述车身的若干部分包括前盖、车尾、车顶、左侧和右侧。
比较好的是，本发明进一步提供了一种基于机器视觉的车身面漆缺陷检测方法，其特征在于，
所述单帧图像缺陷检测用于检测较小缺陷，且重叠部分要大于50％；所述融合图像缺陷检测用于检测较大缺陷。
由此可见，本发明提供了一种基于机器视觉的车身面漆缺陷检测方法，相比于现有技术，本发明的有益效果在于：通过基于视觉图像的识别，能够解决传统检测技术费时费力、工作量大的问题；采用单帧图片缺陷检测与融合图片缺陷检测相结合的方式，分别检测小缺陷和大缺陷，进一步通过缺陷去重，提升检测精度，使得缺陷检测准确率大于95％，满足工业生产需求；使用基于多阈值的光带提取和基于动态阈值的缺陷检测方式，提升检测效率，检测速度在60s内；采用经典缺陷识别算法，能够检测出多种缺陷，提升检出效率，降低运行成本。
附图说明
现在将详细参考附图描述本公开的实施例。现在将详细参考本公开的优选实施例，其示例在附图中示出。在任何可能的情况下，在所有附图中将使用相同的标记来表示相同或相似的部分。此外，尽管本公开中所使用的术语是从公知公用的术语中选择的，但是本公开说明书中所提及的一些术语可能是申请人按他或她的判断来选择的，其详细含义在本文的描述的相关部分中说明。此外，要求不仅仅通过所使用的实际术语，而是还要通过每个术语所蕴含的意义来理解本公开。
下面，参照附图，对于熟悉本技术领域的人员而言，从对本发明的详细描述中，本发明的上述和其他目的、特征和优点将显而易见。
图1给出了本发明车身面漆缺陷检测方法的步骤流程图；
图2为本发明的车身面漆缺陷检测方法较佳实施例中的检测区域划分图；
图3为本发明的车身面漆缺陷检测方法在一种实施方式下的车盖部分检测区域图；
图4为本发明的车身面漆缺陷检测方法在一种实施方式下的单帧图像缺陷检测流程图；
图5显示了本发明的车身面漆缺陷检测方法在一种实施方式下的单帧图像缺陷检测图；
图6显示了本发明的车身面漆缺陷检测方法在一种实施方式下的融合图像缺陷检测流程图；
图7显示了本发明的车身面漆缺陷检测方法在一种实施方式下的融合图像缺陷检测图；
图8显示了本发明的车身面漆缺陷检测方法在一种实施方式下的多相机缺陷去重流程图；
图9显示了本发明的车身面漆缺陷检测方法在一种实施方式下的多相机缺陷去重后图像；
图10显示了本发明的车身面漆缺陷检测方法在一种实施方式下的缺陷定位图。
附图标记
101――前盖
102――车尾
103――车顶
104――车身左侧
105――车身右侧
301，302――区域
具体实施方式
为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
在本申请的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本申请保护范围的限制；方位词“内、外”是指相对于各部件本身的轮廓的内外。
为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。
此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本申请保护范围的限制。此外，尽管本申请中所使用的术语是从公知公用的术语中选择的，但是本申请说明书中所提及的一些术语可能是申请人按他或她的判断来选择的，其详细含义在本文的描述的相关部分中说明。此外，要求不仅仅通过所使用的实际术语，而是还要通过每个术语所蕴含的意义来理解本申请。
图1所示为本发明的车身面漆缺陷检测方法的步骤流程图，包括：
步骤S100，设定检测区域，即将车身分为前盖、车尾、车顶、左侧、右侧、五个部分，对每个部分分别设定检测区域；
步骤S200，进行图像采集，提前设定好采集参数，包括：曝光时间，采集频率，获取该局部车身检测区域的表面喷漆图像，对表面喷漆图像进行预处理；
步骤S300，对步骤S200采集的图像进行单帧图像缺陷检测，具体是首先基于多阈值提取光带区域，基于动态阈值并结合Blob特征分析检测缺陷，该单帧图像缺陷检测用于检测较小缺陷；
步骤S400，对步骤S200采集的图像进行融合图像缺陷检测，对融合后的图像基于最大灰度阈值方法提取缺陷特征，将图像的多种基本特征进行组合，形成综合性的缺陷描述特征向量，基于动态阈值并结合Canny算子、Sobel算子及轮廓检测识别出车身缺陷，融合图像缺陷检测用于检测较大缺陷；
步骤S500，进行缺陷去重，对单相机图像和多相机拼接图像缺陷检测结果进行去重处理，去除在采集和拼接中出现的重复缺陷；
步骤S600，缺陷检测后，结合车身三维数据，通过特征点确定缺陷在车盖的具体位置，利用四点透视变换在图像上进行标记，进行缺陷定位。
下面将结合附图对上述步骤进行详细说明。
首先，在步骤S100中，如图2所示，将车身分为前盖101、车尾102、车顶103、车身左侧104、车身右侧105五个部分，对每个部分分别设定检测区域。
下面以车身前盖101为例，对本申请的基于机器视觉的车身面漆缺陷检测方法进行详细介绍：
首先，在步骤S100中，设定车身前盖101为检测区域，由于对于车身车盖101上存在曲率较陡的某些区域，如车盖的筋线可能会造成缺陷误报，需将其剔除出检测区域，如图3所示，其中区域301为待处理区域，区域302为车盖筋线围设外部区域，为去除区域。
在前盖图像采集中，应用到同日递交的“一种汽车前盖面漆缺陷检测系统及方法”中的检测系统，该系统中包括固定安装的若干工业摄像头和移动光源，即采用多目相机结合分布式、可移动光源拍摄区域需覆盖整个车身，以采集车身前盖1的图像，具体可参见其中的图1。
每个相机采集1500帧图片，单帧图片尺寸为1920×1200像素，设置相机采集速率为25fps，以保证序列图像采集时相邻两帧图像要有重叠区域，且重叠部分要大于50％。
图4显示了图1中步骤S300的单帧图像缺陷检测流程图。
步骤S401，首先对从相机获取的单帧图像提取光带区域，光带区域提取分为光带轮廓粗定位和光带轮廓精定位两步骤，其中，对光带轮廓粗定位包括以下步骤：
用图3预先设定好的车身检测区域301与待处理图像(该待处理图像就是相机采集的原始图像)求与，过滤车身外侧光源，得到感兴趣区图像；
将获得的单帧图像按列分割为三个子图，第一个子图为0-640列，第二个子图为640-1280列，第三个子图为1280-1920列，对每个子图定义光带位置，使光带定位处理更精细化；
在每个子图上随机确定一列，根据光带宽度初设一个检测宽度为60，遍历该列0-60，1-61……1140-1200行的灰度值和，取灰度值和最大的一个检测宽度中心点为光带中心坐标；
将光带中心点坐标所在行向上向下各增加40像素，粗定位光带区域范围，对图像使用阈值矩阵进行二值化，完成对光带的粗提取。
在完成光带轮廓粗定位后，再进一步对光带区域进行精定位，将粗定位光带区域内所有像素值相加除以总像素个数，求取粗定位光带区域内灰度值的平均值，公式为：
Figure BDA0004150061010000131
式中，Average为粗定位光带区域内灰度平均值，N为粗定位光带区域内像素个数，W为粗定位光带区域内像素总和；
较佳实施例中，将Average-20设定为精提取阈值，粗定位光带区域内灰度值再与Average-20相比较，对图像进行二值化，进一步缩小光带范围，精准提取光带。
步骤S402，在提取光带后，进一步将三个子图中的光带重新组合成一个完整的光带，进行开运算去除光带内部噪音，通过闭运算把打断的光带部分填充，消除毛刺，便于后续检测。
随后将三个子图按行分为三个部分，一帧图像分为9部分，对每个部分根据光带中心设置阈值，基于动态阈值提取缺陷。
步骤S403，通过Blob方法检测斑点，对于一幅图像在阈值区间内以某个阈值步长进行多次二值分割，得到多张二值图像；再对多张二值图像分别获取连通域的轮廓及轮廓中心；距离小于某个阈值的Blob中心点归为一类，对应的连通域也视为同个区域，再经过条件筛选对连通域进行过滤后留下来的就是斑点特征，基于动态阈值并结合Blob特征分析精确检测缺陷。
图5显示了本发明的车身面漆缺陷检测方法下的单帧图像缺陷检测图；其中，图中画圈部分就是检测到的缺陷。
图6显示了本发明的车身面漆缺陷检测方法下的融合图像缺陷检测流程图，具体说明如下：
步骤S601，首先在对融合图像进行缺陷检测前，由于相机设置在光带安装架上方，融合后的图像会存在遮光区域，对此区域融合图像并不检测，另外通过其它相机补光方式进行检测。
步骤S602，基于最大灰度值融合图像；
图像融合：图像融合使用的公式为：
Ifusion＝MAX(I1,2,3…,n)(2)
式中，Ifusion是融合后的图像，Ii是采集到的第i帧图像的灰度值，融合后的图像表征的是离光源最近的光带区域，便于增强缺陷特征。
步骤S603，对融合图像基于动态阈值检测缺陷，使用Canny算子和Sobel算子检测图像边缘。具体来说：
(1)使用Canny算子检测边缘：
具体，首先使用高斯滤波用来平滑图像，去除噪声，高斯函数如公式所示：
Figure BDA0004150061010000141
式中，(x，y)为点坐标，σ为标准差；
计算灰度图像中各像素点的梯度幅值和梯度方向，像素点的梯度大小：
Figure BDA0004150061010000142
像素点的梯度方向为：
Figure BDA0004150061010000143
其中g为梯度大小，gx表示像素点的水平梯度，gy表示像素点的竖直梯度；
对每个像素点应用非最大抑制技术过滤非边缘像素，将模糊的边界变得清晰；
使用双阈值技术来决定可能的边界，图像中的像素点如果大于阈值上界则认为必然是边界，小于阈值下界则认为必然不是边界，两者之间通过滞后技术来跟踪边界，若某一像素位置和上边界相连则认为是边界，否则认为不是边界。
(2)使用Sobel算子检测边缘：
首先对图像像素作卷积处理，分别得到横向及纵向的亮度差分近似值，公式如下：
Figure BDA0004150061010000151
/>
Figure BDA0004150061010000152
式中，Gx为横向边缘检测的图像灰度值，Gy为纵向边缘检测的图像灰度值，A为原始图像。
计算某个像素点的灰度值大小：
Figure BDA0004150061010000153
梯度方向：
Figure BDA0004150061010000154
将梯度G与设定的阈值相比较，如果大于阈值，则该点(x，y)为边缘点。
取二者灰度值较小值Min[greyCanny，greySobel]作为检测结果，以此增强缺陷特征，并结合轮廓检测结果，提升检测精度。
图7显示了一较佳实施例中本发明的车身面漆缺陷检测方法的融合图像缺陷检测图。其中，画圈标记的部分就是检测出来的缺陷。
对单相机缺陷检测结果去重，包括对连续的单帧图像缺陷进行去重和对单帧图像与融合图像缺陷检测结果进行去重。
(1)其中，对连续的单帧图像缺陷进行去重，对i帧图像上的n个缺陷和i+1帧图像上m个缺陷点坐标分别求欧式距离P1，公式如下：
Figure BDA0004150061010000161
式中，
Figure BDA0004150061010000162
为第i+1帧图像上第s个缺陷的点坐标，/>
Figure BDA0004150061010000163
为第i帧图像上第t个缺陷的点坐标，当欧式距离P1与设定的阈值比较，若小于阈值则认为两个缺陷重复，去除一个缺陷。
(2)对单帧图像与融合图像缺陷检测结果进行去重，对i单帧图像上n个缺陷和融合图像上m个缺陷点坐标分别求欧式距离P2，公式如下：
Figure BDA0004150061010000164
式中，
Figure BDA0004150061010000165
为融合图像上第s个缺陷的点坐标，/>
Figure BDA0004150061010000166
为第i帧图像上第t个缺陷的点坐标，欧式距离P2与设定的阈值比较，若小于阈值则认为两个缺陷重复，去除一个缺陷。
图8显示了本发明图1中步骤S500的多相机缺陷去重详细流程图。
步骤S801，对多相机缺陷检测结果进行去重，首先进行图像拼接，通过SURF算法提取不同图像间的特征点；计算单应性矩H；通过单应矩阵H，进行重叠区域融合；在对重叠边界进行特殊处理，实现图像拼接。
步骤S802，通过求取多张图片的交集，获取重叠区域的点集，然后利用单应矩阵还原在原始图像的点集信息，获得图像重叠区域。
步骤S803，进行缺陷去重。
判断缺陷是否在重叠区域内，如若在重叠区域内，对拼接图像重叠区域内m个缺陷与第i个相机融合图像重叠区域内n个缺陷点坐标分别求欧式距离P3，公式如下：
Figure BDA0004150061010000171
式中，
Figure BDA0004150061010000172
为多相机拼接图像重叠区域内第s个缺陷的点坐标，
Figure BDA0004150061010000173
为第i个相机融合图像重叠区域内第t个缺陷的点坐标，欧式距离P3与设定的阈值比较，若小于阈值则认为两个缺陷重复，去除一个缺陷。
图9显示了本发明的车身面漆缺陷检测方法在一种实施方式下的多相机缺陷去重后图像。
缺陷定位使用的透视变化矩阵为：
Figure BDA0004150061010000174
式中，(x，y)为原图坐标，h11，h12，h21，h22，h31，h32为旋转量，h13，h23，h33为平移量。通过特征点确定缺陷在车盖的具体位置，利用四点透视变换在图像上进行标记，进行缺陷定位，同时可以自动为不同尺寸的缺陷分配不同的颜色，区分缺陷大小，更为直观的显示缺陷，缺陷尺寸从大到小依次显示的颜色为：红、蓝、绿、白。具体请参见图10所示。
综合上述，本发明的优点和技术效果体现在如下几方面：
1.通过基于视觉图像的识别，能够解决传统检测技术费时费力、工作量大的问题；
2.采用单帧图片缺陷检测与融合图片缺陷检测相结合的方式，分别检测小缺陷和大缺陷，进一步通过缺陷去重，提升检测精度，使得缺陷检测准确率大于95％，满足工业生产需求；
3.使用基于多阈值的光带提取和基于动态阈值的缺陷检测方式，提升检测效率；
4.采用经典缺陷识别算法，能够检测出多种缺陷，提升检出效率，降低运行成本。
此外，本案中各技术特征的组合方式并不限本案权利要求中所记载的组合方式或是具体实施例所记载的组合方式，本案记载的所有技术特征可以以任何方式进行自由组合或结合，除非相互之间产生矛盾。
还需要注意的是，以上所列举的实施例仅为本发明具体实施例。显然本发明不局限于以上实施例，随之做出的类似变化或变形是本领域技术人员能从本发明公开的内容直接得出或者很容易便联想到的，均应属于本发明的保护范围。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述发明披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
虽然本申请已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本申请，在没有脱离本申请精神的情况下还可作出各种等效的变化或替换，因此，只要在本申请的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。

Claims (10)

1.一种基于机器视觉的车身面漆缺陷检测方法，其特征在于，包括：
步骤S100，设定检测区域，将车身分若干部分，对每个部分分别设定检测区域；
步骤S200，进行图像采集，提前设定好采集参数，获取车身表面喷漆图像，对表面喷漆图像进行预处理；
步骤S300，进行单帧图像缺陷检测，包括基于多阈值提取光带区域，基于动态阈值并结合Blob特征分析检测缺陷；
步骤S400，进行融合图像缺陷检测，对融合后的图像基于最大灰度阈值方法提取缺陷特征，将图像的多种基本特征组合，形成综合性的缺陷描述特征向量，基于动态阈值并结合Canny算子、Sobel算子及轮廓检测识别出车身缺陷；
步骤S500，进行缺陷去重，对单相机拍摄图像和多相机拍摄图像缺陷检测结果进行去重处理，去除重复缺陷；
步骤S600，进行缺陷定位，在缺陷检测后，结合车身三维数据，通过特征点确定缺陷在车盖的具体位置，利用四点透视变换在图像上进行标记，进行缺陷定位。
2.根据权利要求1所述的基于机器视觉的车身面漆缺陷检测方法，其特征在于，
在所述步骤S300中，所述光带区域提取包括光带轮廓粗定位和光带轮廓精定位，其中，所述光带轮廓粗定位包括以下步骤：
步骤S30a，使用预先设定好的车身检测区域与待处理图像求与，过滤车身外侧光源，得到感兴趣区图像；
步骤S30b，将获得的单帧图像按列分割为三个子图，对每个子图定义光带位置，使光带定位处理更精细化；
步骤S30c，在每个子图上随机确定一列，根据光带宽度初设一个检测宽度，遍历该列连续检测宽度内灰度值和，取灰度值最大的一个检测宽度中心点为光带中心坐标；
步骤S30d，将光带中心点坐标所在行向上向下各扩大一个阈值范围，粗定位光带区域范围，对图像使用阈值矩阵进行二值化，完成对光带的粗提取；
所述光带轮廓精定位包括：
将粗定位光带区域内所有像素值相加除以总像素个数，求取粗定位光带区域内灰度值的平均值，公式为：
Figure FDA0004150061000000021
式中，Average为粗定位光带区域内灰度平均值，N为粗定位光带区域内像素个数，W为粗定位光带区域内像素总和；
将平均值减去一个阈值设定为精提取阈值，粗定位光带区域内灰度值再与设定的精提取阈值相比较，对图像进行二值化，进一步缩小光带范围，精准提取光带。
3.根据权利要求2所述的基于机器视觉的车身面漆缺陷检测方法，其特征在于，在所述步骤S300中进一步包括：
在步骤S30b中，提取光带后，进一步将三个子图中的光带重新组合成一个完整的光带，进行开运算去除光带内部噪音，通过闭运算把打断的光带部分填充，消除毛刺。
4.根据权利要求1所述的基于机器视觉的车身面漆缺陷检测方法，其特征在于，在所述步骤S400中采用图像融合使用的公式为：
Ifusion＝MAX(I1,I2,I3…,In)
式中，Ifusion是融合后的图像，Ii是采集到的第i帧图像的灰度值，融合后的图像表征的是离光源最近的光带区域，便于增强缺陷特征。
5.根据权利要求4所述的基于机器视觉的车身面漆缺陷检测方法，其特征在于，
所述步骤S400中，对所述融合图像进行二值化并结合Canny算子与Sobel算子检测出车身缺陷，其中，所述Canny算子和所述Sobel算子用于图像边缘检测，取二者灰度值较小值作为检测结果，以增强缺陷特征。
6.根据权利要求1所述的基于机器视觉的车身面漆缺陷检测方法，其特征在于，
所述步骤S500中，对单相机图像缺陷检测结果进行去重处理，包括对连续的单帧图像缺陷进行去重和对单帧图像与融合图像缺陷检测结果进行去重；
其中，对连续的单帧图像缺陷进行去重，对i帧图像上的n个缺陷和i+1帧图像上m个缺陷点坐标分别求欧式距离P1，公式如下：
Figure FDA0004150061000000031
式中，
Figure FDA0004150061000000041
为第i+1帧图像上第s个缺陷的点坐标，/>
Figure FDA0004150061000000042
为第i帧图像上第t个缺陷的点坐标，当欧式距离P1与设定的阈值比较，若小于阈值则认为两个缺陷重复，去除一个缺陷；
其中，对单帧图像与融合图像缺陷检测结果进行去重，对i单帧图像上n个缺陷和融合图像上m个缺陷点坐标分别求欧式距离P2，公式如下：
Figure FDA0004150061000000043
式中，
Figure FDA0004150061000000044
为融合图像上第s个缺陷的点坐标，/>
Figure FDA0004150061000000045
为第i帧图像上第t个缺陷的点坐标，欧式距离P2与设定的阈值比较，若小于阈值则认为两个缺陷重复，去除一个缺陷。
7.根据权利要求6所述的基于机器视觉的车身面漆缺陷检测方法，其特征在于，
所述步骤S500中，对多相机图像缺陷检测结果进行去重处理，首先需要对多相机拍摄的图片进行拼接，通过单应矩阵获得不同图像间的重合区域，判断缺陷是否在重叠区域内，如若在重叠区域内，对拼接图像重叠区域内m个缺陷与第i个相机融合图像重叠区域内n个缺陷点坐标分别求欧式距离P3，公式如下：
Figure FDA0004150061000000046
式中，
Figure FDA0004150061000000047
为多相机拼接图像重叠区域内第s个缺陷的点坐标，
Figure FDA0004150061000000048
为第i个相机融合图像重叠区域内第t个缺陷的点坐标，欧式距离P3与设定的阈值比较，若小于阈值则认为两个缺陷重复，去除一个缺陷。
8.根据权利要求1所述的基于机器视觉的车身面漆缺陷检测方法，其特征在于，
在所述步骤S600中，缺陷定位使用的透视变化矩阵为：
Figure FDA0004150061000000051
式中，(x，y)为原图坐标，h11，h12，h21，h22，h31，h32为旋转量，h13，h23，h33为平移量。
9.根据权利要求1所述的基于机器视觉的车身面漆缺陷检测方法，其特征在于，
所述车身的若干部分包括前盖、车尾、车顶、左侧和右侧。
10.根据权利要求1所述的基于机器视觉的车身面漆缺陷检测方法，其特征在于，
所述单帧图像缺陷检测用于检测较小缺陷，且重叠部分要大于50％；所述融合图像缺陷检测用于检测较大缺陷。
CN202310315286.1A 2023-03-28 2023-03-28 一种车身面漆缺陷检测方法 Pending CN116205903A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310315286.1A CN116205903A (zh) 2023-03-28 2023-03-28 一种车身面漆缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310315286.1A CN116205903A (zh) 2023-03-28 2023-03-28 一种车身面漆缺陷检测方法

Publications (1)

Publication Number Publication Date
CN116205903A true CN116205903A (zh) 2023-06-02

Family

ID=86517414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310315286.1A Pending CN116205903A (zh) 2023-03-28 2023-03-28 一种车身面漆缺陷检测方法

Country Status (1)

Country Link
CN (1) CN116205903A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116596929A (zh) * 2023-07-18 2023-08-15 湖北三环三立汽车后视镜有限公司 一种汽车后视镜生产质量监控系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116596929A (zh) * 2023-07-18 2023-08-15 湖北三环三立汽车后视镜有限公司 一种汽车后视镜生产质量监控系统
CN116596929B (zh) * 2023-07-18 2023-10-20 湖北三环三立汽车后视镜有限公司 一种汽车后视镜生产质量监控系统

Similar Documents

Publication Publication Date Title
CN111310558B (zh) 一种基于深度学习和图像处理法的路面病害智能提取方法
CN106709436B (zh) 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统
CN108596849B (zh) 一种基于天空区域分割的单幅图像去雾方法
CN107330376B (zh) 一种车道线识别方法及系统
US8848978B2 (en) Fast obstacle detection
JP4942509B2 (ja) 車両位置検出方法及び装置
CN108256521B (zh) 用于车身颜色识别的有效区域定位方法
CN108052904B (zh) 车道线的获取方法及装置
CN115830033B (zh) 基于机器视觉的汽车轮毂表面缺陷检测方法
Wakaf et al. Defect detection based on extreme edge of defective region histogram
Kortli et al. A novel illumination-invariant lane detection system
US10445868B2 (en) Method for detecting a defect on a surface of a tire
CN107832674B (zh) 一种车道线检测方法
CN111667462A (zh) 一种焊接缺陷中弱小目标的自动检测方法与系统
CN101383005B (zh) 一种利用辅助规则纹理的乘客目标图像和背景分离方法
US8462211B2 (en) Method of detecting objects
CN112488046A (zh) 一种基于无人机高分辨率影像的车道线提取方法
CN116205903A (zh) 一种车身面漆缺陷检测方法
CN110705553B (zh) 一种适用于车辆远景图像的划痕检测方法
CN101369312B (zh) 检测图像中交叉口的方法和设备
CN106022268A (zh) 一种限速标识的识别方法和装置
US11710158B2 (en) Vehicle damage estimation
CN111325061A (zh) 一种基于深度学习的车辆检测算法、设备及存储介质
KR102242996B1 (ko) 자동차 사출제품의 비정형 불량 검출 방법
Khaliluzzaman et al. Zebra-crossing detection based on geometric feature and vertical vanishing point

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination