CN110596116B

CN110596116B - 一种车辆表面瑕疵检测方法及检测系统

Info

Publication number: CN110596116B
Application number: CN201910665156.4A
Authority: CN
Inventors: 项新建; 曾航明; 郑永平; 周跃琪; 王乐乐
Original assignee: Zhejiang Lover Health Science and Technology Development Co Ltd
Current assignee: Zhejiang Lover Health Science and Technology Development Co Ltd
Priority date: 2019-07-23
Filing date: 2019-07-23
Publication date: 2022-06-07
Anticipated expiration: 2039-07-23
Also published as: CN110596116A

Abstract

本发明属于车辆表面瑕疵检测技术领域，具体涉及一种车辆表面瑕疵检测方法及检测系统；其中，车辆表面瑕疵检测方法，包括以下步骤：S1、对车辆的待测表面均匀打光，然后利用相机对车辆的待测表面连续采集图像，以获取采样图像；S2、对所有采样图像进行图像融合，以得到拼接图像；S3、对拼接图像进行图像处理，以显示瑕疵区域。本发明的车辆表面瑕疵检测方法，能对车辆部分表面的划痕、色差、锈烂进行有效地检测。

Description

一种车辆表面瑕疵检测方法及检测系统

技术领域

本发明属于车辆表面瑕疵检测技术领域，具体涉及一种车辆表面瑕疵检测方法及检测系统。

背景技术

对于车辆表面瑕疵的检测，现有技术具有各种不同的测试方法、各种不同的测试设备。很多公开的现有技术中，大多是对车辆表面整体打上条纹光，通过相机采集来达到检测目的，虽然检测的速度很快，但是只能检测车辆表面的凹痕和大面积划痕、色差，对于表面的细小瑕疵和刮痕难以检测，容易出现缺检漏检的情况。现有技术的大范围打光检测方式难以对车辆一些复杂结构表面进行瑕疵检测，大范围的条纹光在复杂结构表面会形成很多不规则弯曲、断裂，提高了报错的概率。

发明内容

基于现有技术中存在的上述不足，本发明提供一种车辆表面瑕疵检测方法及检测系统。

为了达到上述发明目的，本发明采用以下技术方案：

一种车辆表面瑕疵检测方法，包括以下步骤：

S1、对车辆的待测表面均匀打光，然后利用相机对车辆的待测表面连续采集图像，以获取采样图像；

S2、对所有采样图像进行图像融合，以得到拼接图像；

S3、对拼接图像进行图像处理，以显示瑕疵区域。

作为优选方案，所述步骤S1还包括：

获取相机相对于车辆的待测表面的位移数据，并根据位移数据调整相机的图像采集频率。

作为优选方案，所述步骤S2具体包括：

S21、读取所有采样图像；

S22、对采样图像依次进行几何校正、预处理以及配准，然后进行图像融合；

S23、显示拼接图像。

作为优选方案，所述步骤S3具体包括：

S31、获取拼接图像的像素尺寸；

S32、使用生成矩阵算子，创建一个与坐标轴平行的矩形，框出ROI区域，消除图像边缘的桶形畸变；

S33、使用缩放图像的灰度值的算子，将图像的灰度值范围拉伸；

S34、使用图像增强算子增强图像对比度，然后依次进行中值滤波、动态阈值分割、检测区域连通域、开运算、条件选形、计数、提取边界区域、膨胀处理、提取瑕疵部分图像、边缘检测；

S35、在边缘检测时，利用双阈值算法检测边缘和连接边缘，生成亚像素精度轮廓；对亚像素精度轮廓进行分类、整合，生成区域轮廓；

S36、根据区域轮廓生成瑕疵区域，并显示瑕疵区域。

作为优选方案，所述步骤S31中，利用图像尺寸算子获取拼接图像的实际宽高的像素尺寸。

作为优选方案，所述步骤S35中，所述亚像素精度轮廓分类为直线和圆弧，将分类的线段和圆弧使用亚像素精度的临近整合算子，使各个接近的线段和圆弧合并，生成区域轮廓。

作为优选方案，所述步骤S36之后还包括：

S37、对瑕疵区域使用最小外接矩形算子，确定瑕疵区域的最小包围矩形，最小包围矩形的长度为瑕疵的最长距离。

本发明还提供一种车辆表面瑕疵检测系统，应用如上方案所述的检测方法，所述检测系统包括：

光源，用于对车辆的待测表面均匀打光；

相机，用于对车辆的待测表面连续采集图像；

上位机，与光源、相机通信连接，用于对采样图像进行图像融合以得到拼接图像，还用于对拼接图像进行图像处理以显示瑕疵区域。

作为优选方案，还包括：

机架，用于安装光源、相机；

光电位移传感器，安装于机架且与上位机通信连接，用于检测相机相对于车辆的待测表面的位移数据；

所述上位机还用于根据位移数据调整相机的图像采集频率。

作为优选方案，所述上位机配置有Halcon，以进行图像融合和图像处理。

本发明与现有技术相比，有益效果是：

本发明的车辆表面瑕疵检测方法及检测系统，能对车辆部分表面的划痕、色差、锈烂进行有效地检测。

附图说明

图1是本发明实施例的车辆表面瑕疵检测系统的立体结构示意图；

图2是本发明实施例的车辆表面瑕疵检测系统的剖视结构示意图；

图3是本发明实施例的车辆表面瑕疵检测方法的数据传输流程图；

图4是本发明实施例的车辆表面瑕疵检测方法的图像处理流程图；

图5是本发明实施例的车辆表面瑕疵检测方法检测的瑕疵区域的示意图。

具体实施方式

为了更清楚地说明本发明实施例，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

如图1和2所示，本发明实施例的车辆表面瑕疵检测系统，包括壳体1、相机2、环形光源3、光电位移传感器4、安装座5和上位机。其中，环形光源3用于对车辆的待测表面均匀打光；相机2用于对车辆的待测表面连续采集图像；上位机与环形光源3、相机2通信连接，用于对采样图像进行图像融合以得到拼接图像，还用于对拼接图像进行图像处理以显示瑕疵区域。其中，光电位移传感器4与上位机通信连接，用于检测相机相对于车辆的待测表面的位移数据，相应地，上位机还用于根据位移数据调整相机的图像采集频率，以便实现完整的车辆的待测表面的图像采集。

具体地，相机2垂直设置，顶端与壳体1通过螺纹相匹配，能够让相机快速且稳定的安装在壳体1上；安装座5侧面设置有与壳体1内壁相匹配的螺纹，使安装座5固定壳体1内，安装座5中间的孔洞匹配相机镜头的直径，将相机2穿过孔洞并固定，使相机2稳定地固定在壳体1和安装座5之间。环形光源3的顶部使用固定胶固定在安装座5底部的环形凹槽中；光电位移传感器4侧面安装在壳体1侧面相对应的滑槽上，使光电位移传感器4固定在壳体1的侧面，且光电位移传感器4底部与壳体1的底部处于同一水平面；滚珠底座6侧面与壳体1通过两个螺栓连接固定，使滚珠底座6底部平面与壳体1的底部处在同一水平面，三个相同规格的滚珠底座，周向安装在壳体1的底部，各个滚珠底座6相隔120°设置安装；尼龙万向球7使用螺丝固定在滚珠底座6的底部；上位机通过GigE工业相机线和USB3.0数据线相连接分别与相机2和环形光源3连接，将采集的车辆表面图像样本和壳体移动产生的相对位移数据传输至上位机。其中，上位机配置有Halcon，以进行图像融合和图像处理。

与上述检测系统相对应，本发明实施例还提供相应的检测方法，具体包括以下步骤：

S1、对车辆的待测表面均匀打光，然后利用相机对车辆的待测表面连续采集图像，以获取采样图像；具体地，利用环形光源对对车辆的待测表面进行均匀打光；如图3所示，在相机采集图像的过程中，设置图像采样频率，采集图像数据，并根据光电位移传感器采集的位移数据，计算位移与采样频率补偿，重新设置图像采样频率，以重新设置后的图像采样频率采集图像数据，将图像数据和位移数据整合上传至上位机，图像数据和位移数据的传输路径不同。

S2、对所有采样图像进行图像融合，以得到拼接图像；具体地，上位机利用Halcon对所有采样图像进行图像融合，如图4所示，具体流程如下：

使用Forstner算法检测感兴趣的点，从图像中提取重要的点。显著点是与邻域不同的点，即图像函数在二维中变化的点。这些变化一方面发生在图像边缘的交点(称为交点)，另一方面发生在颜色或亮度与周围邻居不同的地方(称为面积点)；

点的提取分两步进行：第一步是点区域，即从图像中提取非均匀各向同性区域。做一个平滑矩阵为：

其中，I_x，c和I_y，c是各图像通道的一阶导数，S为平滑系数；如果Smoothing是“gauss”，则使用尺寸为SigmaGrad的高斯导数计算导数，并使用尺寸为SigmaInt的高斯函数进行平滑。如果Smoothing是“mean”，则使用3x3sobel滤波器计算导数(因此忽略SigmaGrad)，并使用SigmaInt x SigmaInt均值滤波器进行平滑。

图像不均匀性的程度为：

inhomogeneity＝Trace(M)；

纹理在图像中各向同性的程度为：

points_foerstner(Image::SigmaGrad,SigmaInt,SigmaPoints,ThreshInhom,ThreshShape,Smoothing,EliminateDoublets:RowJunctions,ColumnJunctions,CoRRJunctions,CoRCJunctions,CoCCJunctions,RowArea,ColumnArea,CoRRArea,CoRCArea,CoCCArea)；

得到兴趣点后，通过自动查找点与点之间的对应关系，计算两幅图像之间的投影变换矩阵和径向畸变系数。给定一组特征点的坐标(Rows1，Cols1)和(Rows2，Cols2)在输入图像Image1 Image2，必须相同的大小，proj_match_points_distortion_ransac自动确定对应点，齐次射影变换矩阵HomMat2D，径向畸变系数kappa(k)，满足以下方程:

其中，(r1,c1)和(r2,c2)表示用除法模型对输入图像点进行不失真处理得到的图像点：

表示相对于图像中心指定的畸变图像点，w和h表示输入图像的宽度和高度。因此，proj_match_points_transformtion_ransac假设相机的主点，即径向畸变的中心位于图像的中心。

返回的Kappa可用于构造可用于校正图像或点的相机参数:

CamPar＝[0.0，Kappa，1.0，1.0，0.5*(w-1)，0.5*(h-1)，w，h]

proj_match_points_distortion_ransac(Image1,Image2::Rows1,Cols1,Rows2,Cols2,GrayMatchMethod,MaskSize,RowMove,ColMove,RowTolerance,ColT olerance,Rotation,MatchThreshold,EstimationMethod,DistanceThreshold,RandS eed:HomMat2D,Kappa,Error,Points1,Points2)；

根据指定的径向畸变确定新的相机参数。

change_radial_distortion_cam_par(::Mode,CamParamIn,DistortionCoeffs:CamParamOut)；

对图像使用新的相机参数改变图像的径向畸变。根据摄像机内部参数CamParamIn和CamParamOut改变输入图像的径向畸变。将该区域内的输出图像的每个像素用CamParamOut转换成图像平面，再用CamParamIn投影到图像的亚像素。得到的灰度值由双线性插值确定。如果亚像素在图像外部，则将ImageRectified中的对应像素设置为“black”，并从图像域中消除。

change_radial_distortion_image(Image,Region:ImageRectified:CamParamIn,CamParamOut:)；

将完成径向畸变矫正的图像联合成为一张图，得到拼接图像。

gen_projective_mosaic(Images:MosaicImage:StartImage,MappingSource,MappingDest,HomMatrices2D,StackingOrder,TransformDomain:MosaicMatrice s2D)；

S3、对拼接图像进行图像处理，以显示瑕疵区域。

具体地，对拼接图像使用获取图像尺寸算子，得到图像的实际宽高的像素尺寸：

get_image_size(Image:::Width,Height)；

使用生成矩阵算子，创建一个与坐标轴平行的矩形，框出ROI区域的同时，可以消除镜头产生的图像边缘的桶形畸变：

gen_rectangle1(:Rectangle:Row1,Column1,Row2,Column2:)；

使用确定区域内的最小和最大灰度值算子，计算区域内灰度值范围：

min_max_gray(Regions,Image::Percent:Min,Max,Range)；

计算出图像的灰度值范围后，使用缩放图像的灰度值的算子，将图像的灰度值范围拉伸，能够让金属表面的瑕疵所产生的阴暗区域与周围的明亮区域对比更强烈，方便后期对瑕疵的检测提取；GMin为图像的最大灰度值，GMax为图像的最小灰度值，通过上面的检测最大最小灰度值的算子获取；

scale_image(Image:ImageScaled:Mult,Add:)；

使用图像增强算子再次增强图像对比度，增强图像的高频区域(边缘和拐角)，使图像看起来更清晰。

emphasize(Image:ImageEmphasize:MaskWidth,MaskHeight,Factor:)；

金属表面在光源下会有一定的脉冲噪声，使用中值滤波算子对其进行一定抑制，对带有正方形或圆形掩码的输入图像执行中值筛选，并在ImageMedian中返回经过筛选的图像。遮罩的形状可以用MaskType选择。掩模的半径可以用半径来选择。二维中中值滤波的数学表达式：

g(X，y)＝M_ed{f(x，y)}

其中，g(x，y)为窗口数据中值滤波后的值，f(x，y)为二维图像数据序列。

median_image(Image:ImageMedian:MaskType,Radius,Margin:)；

对中值滤波的图像进行阈值分割，使用动态阈值分割算子，从输入图像中选择像素满足阈值条件的区域。设g_{o}＝g_{OrigImage}，g_{t}＝g_{thresholdimage}。将LightDark参数选择dark，即分割出图像中灰度值较低的区域，分割条件是：

g₀≤g_t-offset

dyn_threshold(OrigImage,ThresholdImage:RegionDynThresh:Offset,LightDark:)；

对二值化的区域使用检测连通域算子，计算一个区域的连通分量。即把领域内(4联通或8联通)区域归纳为一个区域，为下面对各类区域选择做准备。

connection(Region:ConnectedRegions::)；

对分类的各个联通域使用一个圆形结构对其进行开运算，将二值化所产生的细小的毛刺消除。使用结构元素g对图像f灰度进行开运算，记作

公式为：

opening_circle(Region:RegionOpening:Radius:)；

对消除一部分点区域的图像使用选形算子，利用形状特征选择区域。在特征Features内选择area作为选择条件，设置上下限Min和Max将噪点进一步消除，获得图像中瑕疵部分的区域。分类选形的条件是：

Min_i≤Feature_i(objet)≤Max_i

select_shape(Regions:SelectedRegions:Features,Operation,Min,Max:)；

对选择出来的区域进行计数操作，并提取各个区域在for循环内进行处理。

count_obj(Objects:::Number)；

select_obj(Objects:ObjectSelected:Index:)；

对区域提取其边界区域，使用提取边界算子；

boundary(Region:RegionBorder:BoundaryType:)；

将提取的边界轮廓使用膨胀算法，将已提取的边界做膨胀处理，使其区域涵盖金属表面瑕疵区域的轮廓边缘。通过设置圆形结构的半径，使膨胀过后的区域涵盖瑕疵边缘。膨胀数学公式记作

定义为：

dilation_circle(Region:RegionDilation:Radius:)；

膨胀完成的区域已涵盖瑕疵的边缘轮廓，使用裁剪算子，将图像中的区域位置提取出来，为下面的边缘检测提供条件。

reduce_domain(Image,Region:ImageReduced::)；

对提取的瑕疵边缘使用边缘检测算法，为了使检测精度更高，在提取边缘时，需要在使用canny边缘检测算法的基础上提取其亚像素精度数据。Canny算法利用高斯函数的一阶微分性质，把边缘检测问题转换为检测函数的极大值问题，能在噪声抑制和边缘检测之间取得较好的折中。Canny边缘检测首先对图像通过高斯滤波器进行滤波，再使用非极值抑制技术处理得到最后的边缘图像。

首先用高斯滤波器平滑图像，高斯函数记做H(x，y)，f(x，y)是图像数据

G(x，y)＝f(x，y)^*H(x，y)

用一阶偏导的有限差分来计算梯度的幅值和方向，利用一阶差分卷积模板：

计算后的幅值为：

方向为：

对梯度幅值进行非极大值抑制。保留局部梯度最大的点，而抑制非极大值，即将非局部最大值点置零，以得到细化的边缘。

用双阈值算法检测边缘和连接边缘。使用两个阈值T₁和T₂(T₁＜T₂)，从而得到两个阈值边缘图像N₁[i，j]和N₂[i，j]，由于N₂[i，j]使用高阈值得到，因而含有较少的假边缘，但有间断，双阈值法要在N₂[i，j]中把边缘连接成轮廓，当到达轮廓的端点时，该算法就在N₁[i，j]的8领域点位置寻找可以连接到轮廓上的边缘，这样算法不断地在N₁[i，j]中收集边缘，直到将N₂[i，j]连接起来为止。T₂用来找到每条线段，T₁用来在这些线段中的两个方向上延伸寻找边缘的断裂处，并连接这些边缘。

edges_sub_pix(Image:Edges:Filter,Alpha,Low,High:)；

对生成的亚像素精度轮廓根据他们不同的形状进行分类，使用分类算子，将Mode分类模式中选用lines_ellipses，将亚像素精度轮廓分类为直线和圆弧。

segment_contours_xld(Contours:ContoursSplit:Mode,SmoothCont,MaxLineDist1,MaxLineDist2:)；

将分类的线段和圆弧使用亚像素精度的临近整合算子，使各个接近的线段和圆弧合并，形成一个较为完整的区域。调整轮廓间断电的最大距离的上限参数，将整合轮廓调整至最完整的形状。

union_adjacent_contours_xld(Contours:UnionContours:MaxDistAbs,MaxDistRel,Mode:)；

整合好的亚像素精度轮廓的数据，通过算子生成相应的区域图像。为了方便结果的显示，将Mode中选用Margin。

gen_region_polygon_xld(Polygon:Region:Mode:)；

使用检测区域的面积与重心算子，计算输入区域的面积和中心。区域定义为区域的像素数。中心分别计算为所有像素点的线坐标或列坐标的平均值。

area_center(Regions:::Area,Row,Column)；

对瑕疵区域使用最小外接矩阵算子，确定区域的最小包围矩形，即，包含该区域的所有矩形中面积最小的矩形。对这个矩形的圆心、倾角和两个半径进行了计算。所得到的矩形的计算是基于区域像素的中心坐标。所得到最小外接矩阵的长轴数据，即为瑕疵最长距离，如图5所示。

smallest_rectangle2(Regions:::Row,Column,Phi,Length1,Length2)；

以上所述仅是对本发明的优选实施例及原理进行了详细说明，对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。

Claims

1.一种车辆表面瑕疵检测方法，其特征在于，包括以下步骤：

S2、对所有采样图像进行图像融合，以得到拼接图像；

S3、对拼接图像进行图像处理，以显示瑕疵区域；

所述步骤S2具体包括：

S21、读取所有采样图像；

S23、显示拼接图像；

所述步骤S3具体包括：

S31、获取拼接图像的像素尺寸；

S35、在边缘检测时，利用双阈值算法检测边缘和连接边缘，生成亚像素精度轮廓；对亚像素精度轮廓进行分类、整合，生成区域轮廓；其中，所述亚像素精度轮廓分类为直线和圆弧，将分类的线段和圆弧使用亚像素精度的临近整合算子，使各个接近的线段和圆弧合并，生成区域轮廓；

S36、根据区域轮廓生成瑕疵区域，并显示瑕疵区域；

2.根据权利要求1所述的一种车辆表面瑕疵检测方法，其特征在于，所述步骤S1还包括：

3.根据权利要求1所述的一种车辆表面瑕疵检测方法，其特征在于，所述步骤S31中，利用图像尺寸算子获取拼接图像的实际宽高的像素尺寸。

4.一种车辆表面瑕疵检测系统，应用如权利要求1所述的检测方法，其特征在于，所述检测系统包括：

光源，用于对车辆的待测表面均匀打光；

相机，用于对车辆的待测表面连续采集图像；

5.根据权利要求4所述的一种车辆表面瑕疵检测系统，其特征在于，还包括：

机架，用于安装光源、相机；

所述上位机还用于根据位移数据调整相机的图像采集频率。

6.根据权利要求4所述的一种车辆表面瑕疵检测系统，其特征在于，所述上位机配置有Halcon，以进行图像融合和图像处理。