CN116399871A - 一种基于机器视觉的汽车零部件装配检测系统及方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的汽车零部件装配检测系统及方法，属于自动化生产技术领域，包括以下步骤:机械手根据目标检测零部件的三维空间图判定抓取点位，根据抓取点位抓取目标检测零部件；抓取目标检测零部件后，根据坐标将目标检测零部件移动至视觉检测区域；应用工业相机对目标检测零部件进行拍照，根据拍照图像进行图像检测；发送检测结果，若检测结果为不合格则发出报警信号,通过PLC控制系统控制机械手精准抓取目标检测零部件至视觉检测区域，视觉检测区域内通过对目标检测零部件进行图像采集，再对图像进行分割，从而有目标地对有缺陷的区域图像进行分析，解决了汽车零部件视觉检测难的技术问题。

Description

一种基于机器视觉的汽车零部件装配检测系统及方法

技术领域

本发明属于自动化生产技术领域，具体涉及一种基于机器视觉的汽车零部件装配检测系统及方法。

背景技术

汽车零部件作为汽车工业的基础，是支撑汽车工业持续健康发展的必要因素，特别是当前汽车行业正朝着自主研发与创新的方向发展，更需要有一个强大的零部件体系作支撑，而随着汽车加工的速度越来越快，往往涉及到各种各样的设备检验、尺寸测量和零件识别等，其中针对需要精密加工的汽车零部件，在汽车零部件的生产流水线通常需要对不同生产批次的汽车零部件进行抽样检查，判断汽车零部件生产是否合格。

而在实际使用时，当需要对较大的汽车零件进行视觉检查时，由于汽车零件的重量较重，不便于放入到视觉检测装置的内部，同时不便于对汽车零件与自视觉检测设备贴合的位置进行检测。

发明内容

本发明的目的在于提供一种基于机器视觉的汽车零部件装配检测系统及方法，以解决背景技术中的问题。

本发明的目的可以通过以下技术方案实现：

一种基于机器视觉的汽车零部件装配检测方法，包括以下步骤：

机械手根据目标检测零部件的三维空间图判定抓取点位，根据抓取点位抓取目标检测零部件；

抓取目标检测零部件后，根据坐标将目标检测零部件移动至视觉检测区域；

应用工业相机对目标检测零部件进行拍照，根据拍照图像进行图像检测，分段采集目标检测零部件的图像，采用深度学习语义分割对采集到的图像进行语义分割，确定分段后具有缺陷的区域图像；

发送检测结果，若检测结果为不合格则发出报警信号。

进一步的，根据目标检测零部件的三维空间图判定抓取点位具体包括生成目标检测零部件的旋转变换矩阵f0,f0(α，β，γ)，其中α为在三维虚拟坐标中，目标检测零部件以X轴为轴线旋转的角度，β为在三维虚拟坐标中，目标检测零部件以Y轴为轴线旋转的角度，γ为在三维虚拟坐标中，目标检测零部件以Z轴为轴线旋转的角度。

进一步的，所述抓取点位包括第一抓取点位、第二抓取点位…第n抓取点位，不同的抓取点位各方面可旋转角度不同，所述第一抓取点位的旋转区间集合为(α11-α12，β11-β12，γ11-γ12)，所述第二抓取点位的旋转区间集合为(α21-α22，β21-β22，γ21-γ22)，…，第n抓取点位的旋转区间集合为(αn1-αn2，βn1-βn2，γn1-γn2)，n为整数，α11-α12为所述机械手通过第一抓取点位对目标检测零部件进行抓取时，目标检测零部件以X轴为轴线旋转时的角度范围；β11-β12为所述机械手通过第一抓取点位对目标检测零部件进行抓取时，目标检测零部件以Y轴为轴线旋转时的角度范围；γ11-γ12为所述机械手通过第一抓取点位对目标检测零部件进行抓取时，目标检测零部件以Z轴为轴线旋转时的角度范围；第二抓取点位的旋转区间至第n抓取点位的旋转区间表示含义同理于第一抓取点位的旋转区间。

进一步的，抓取点位的确定具体包括如下步骤：

将目标检测零部件旋转变换矩阵f0内的元素值与第一抓取点位的旋转区间集合、第二抓取点位的旋转区间集合、…、第n抓取点位的旋转集合内的角度范围分别进行比对，选取实际抓取点；

当有且仅有一个抓取点满足目标检测零部件的旋转变换矩阵f0的旋转要求时，则判定该抓取点为实际抓取点位；

当存在布置一个抓取点位满足目标检测零部件旋转变f0的旋转要求时，对满足条件的抓取点进行比对选取。

进一步的，采用深度学习语义分割对采集到的图像进行语义分割，具体包括以下步骤：

利用训练后的分割模型将检测区域分割为目标区域和非目标区域；所述分割模型为深度学习语义分割模型；

根据目标检测零部件的待检测面分割类别数，裁剪出目标区域中的目标区域图像，去除非目标区域图像；

将目标检测零部件外观检测区域的图像输入分割模型中，得到多类别语义掩膜图；

根据所述多类别语义掩膜图，从所述目标检测零部件外观检测区域的图像中裁剪得到所述目标区域图像。

进一步的，所述分割模型的类别数为目标检测零部件待检测面的数量，模型采用FCN系列模型。

进一步的，所述机械手通过PLC控制系统进行数据采集和控制操作。

进一步的，所述PLC控制系统还包括PID控制器。

进一步的，所述PLC控制系统控制机械手抓取目标检测零部件，所述PLC控制系统对目标检测零部件进行数据采集，通过采集到的数据进行处理从而控制机械手确定抓取点位。

一种基于机器视觉的汽车零部件装配检测系统，执行前述的一种基于机器视觉的汽车零部件装配检测方法，包括图像采集单元、预处理单元、区域定位单元、特征提取单元、分析单元和输出控制单元，其中：

图像采集单元，用于采集目标检测零部件的图像信号；

预处理单元，用于对所采集的被检测对象的图像进行预处理操作，提高图像的质量；

区域定位单元，用于对所采集的目标检测零部件的图像进行分析，分割定位出容易出现质量问题的敏感图像区域；

特征提取单元，用于提取出具有缺陷特征的敏感图像区域的特征，所述特征提取单元利用深度学习语义分割法来提取出容易出现质量问题的敏感图像区域的特征，其中敏感图像区域的标准特征由用户根据合格产品的敏感图像区域的特征进行预先设定；

分析单元，用于将所提取的敏感图像区域的缺陷特征与敏感图像区域的标准特征进行比较，根据两者的相似度是否达到预定值，来判断出被检测对象是否合格；

输出控制单元，用于将判断结果输出给控制平台，筛选出不合格的产品。

本发明的有益效果：

本发明公开的一种基于机器视觉的汽车零部件装配检测系统及方法，通过PLC控制系统控制机械手精准抓取目标检测零部件至视觉检测区域，视觉检测区域内通过对目标检测零部件进行图像采集，再对图像进行分割，从而有目标地对有缺陷的区域图像进行分析，对图像进行分割后再进行分析还可以精准地确定有缺陷区域，方便操作人员快速发现有缺陷的零部件，从而对故障零部件进行处理。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种基于机器视觉的汽车零部件装配检测方法的总体步骤流程图；

图2为本发明实施例中一种基于机器视觉的汽车零部件装配检测方法中步骤S3的部分过程具体流程图；

图3为本发明实施例中一种基于机器视觉的汽车零部件装配检测系统的总体结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

机器视觉系统就是用机器代替人眼来做测量和判断。视觉系统是指通过机器视觉目标检测零部件将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作，可以在最快的生产线上对目标检测零部件进行测量、引导、检测、和识别，并能保质保量的完成生产任务。机器视觉系统一般包括光源、镜头、CCD照相机、图像处理单元(或图像采集卡)、图像处理软件、监视器、通讯/输入输出单元。

图像语义分割任务是对图像进行像素级分类，将每个像素点的类别识别出来达到对图像分割的效果，语义图像分割会将每个像素都标注上其对应的类别，目前主流的图像语义分割网络模型都是采用的全卷积神经网络结构，即网络结构中不包括全连接层，图像语义分割任务中需要得到每个像素点的类别，因此需要较大的特征图尺寸来获得精确的细节特征，同时为了辨别出每个像素点的类别需要更多的语义信息，但是较大的特征图尺寸将带来指数级增长的计算量和内存消耗，因此大部分图像分类和目标检测网络都通过池化下采样来缩小特征图分辨率来减小计算代价，同时下采样操作能够获得更大的感受，从而获得更多的语义信息。卷积层可以有效地捕捉图像中的局部特征，并以层级的方式将许多这样的模块嵌套在一起，这样CNN就可以试着提取更大的结构了。通过一系列卷积捕捉图像的复杂特征，CNN可以将一张图的内容编码为紧凑表征。

但为了将单独的像素映射给标签，我们需要将标准CNN编码器扩展为编码器-解码器架构。在这个架构中，编码器使用卷积层和池化层将特征图尺寸缩小，使其成为更低维的表征。解码器接收到这一表征，用通过转置卷积执行上采样而「恢复」空间维度，这样每一个转置卷积都能扩展特征图尺寸。在某些情况下，编码器的中间步骤可用于调优解码器。最终，解码器生成一个表示原始图像标签的数组。

通过图像切分模块按列将图像分成若干具有相似性质的区域，得到图像向量列数据；所述图像向量列数据中的每两个相邻图像向量列之间存在重叠区域。

一种基于机器视觉的汽车零部件装配检测方法，如图1所示，包括以下步骤：

步骤S1、机械手根据目标检测零部件的三维空间图判定抓取点位，根据抓取点位抓取目标检测零部件；

具体的，在本申请实施例中，获取一个目标检测零部件的外观检测区域图像的方法，包括采用图像采集设备对一个产品所以的待检测面进行拍摄，具体指涉及产品质量检测标准的外观面，而非目标区域则会增大目标区域的分割难度和运算量，这些非目标区域通常不存在外观问题或者不需要关注外观问题，因此可以屏蔽掉这些区域，从而减轻运算量。

在本申请实施例中，根据实际坐标点对目标检测零部件的三维模型进行植入，生成待翻转目标检测零部件的三维空间图，其中，三维模型的生成通过带入零部件的三维虚拟坐标，并将数据信息坐标化，设分别取零部件的4个点，并分别设这四个点的坐标为B1(X1,Y1,Z1)、B2(X2,Y2,Z2)、B3(X3,Y3,Z3)、B4(X4,Y4,Z4)，通过对坐标信息进行整合得到目标检测零部件实际坐标点矩阵Bz，具体的：

在本申请实施例中，根据实际坐标点矩阵Bz对目标检测零部件的三维模型进行植入，生成待翻转的三维空间图。

步骤S2、抓取目标检测零部件后，根据坐标将目标检测零部件移动至视觉检测区域；

在本申请实施例中，所述机械手包括位置定位、视觉定位、抓取判断和准确抓取四部分，首先确定两者的相对位置，然后确定准确位置，最后精确的定位到抓取点，抓取，移动，放置。

具体为位置定位：采用DSRC技术，DSRC是指一种无线通信技术，负责在车路以及车车之间建立信息的双向传输，支持公共安全和私有操作。DSRC技术可以实现在特定小区域内(通常为数十米)对高速运动下的移动目标的识别和双向通信。

在本申请实施例中，通过位置定位技术，即采用DSRC技术确定两者的相对坐标。由于机械手和目标检测零部件是随动关系，当目标检测零部件停止运行后，通过DSRC技术调整机械手，使其与目标检测零部件处于固定的最近位置上，并且保持相对位置不发生变化，这样有助于进行进一步位置定位。

在本申请实施例中，所述机械手还通过定位模块确定视觉检测区域位置，具体的，所述定位模块包括测距单元，用于获取目标检测零部件与视觉检测区域的相对位置，并通过相对位置设计机械手转动和移动的路线，从而保证把目标检测零部件准确的抓取至视觉检测区域。

步骤S3、应用工业相机对目标检测零部件进行拍照，根据拍照图像进行图像检测，分段采集目标检测零部件的图像，采用深度学习语义分割对采集到的图像进行语义分割，确定分段后具有缺陷的区域图像；

步骤S3中的分段采集目标检测零部件的图像具体包括以下步骤：

步骤S310、对图像矩阵数据按列切分组成固定宽度图像段进行分段处理，得到多个图像向量列数据；

步骤S320、按列将图像分成若干具有相似性质的区域，得到图像向量列数据，通过所述图像向量列数据中的每两个相邻图像向量列之间存在重叠区域；

步骤S330、根据重叠区域确定分段区间。

步骤S4、发送检测结果，若检测结果为不合格则发出报警信号。

进一步的，在本申请的一种优选实施例中，根据目标检测零部件的三维空间图判定抓取点位具体包括生成目标检测零部件的旋转变换矩阵f0,f0(α，β，γ)，其中α为在三维虚拟坐标中，目标检测零部件以X轴为轴线旋转的角度，β为在三维虚拟坐标中，目标检测零部件以Y轴为轴线旋转的角度，γ为在三维虚拟坐标中，目标检测零部件以Z轴为轴线旋转的角度。

进一步的，在本申请的一种优选实施例中，所述抓取点位包括第一抓取点位、第二抓取点位…第n抓取点位，不同的抓取点位各方面可旋转角度不同，所述第一抓取点位的旋转区间集合为(α11-α12，β11-β12，γ11-γ12)，所述第二抓取点位的旋转区间集合为(α21-α22，β21-β22，γ21-γ22)，…，第n抓取点位的旋转区间集合为(αn1-αn2，βn1-βn2，γn1-γn2)，n为整数，α11-α12为所述机械手通过第一抓取点位对目标检测零部件进行抓取时，目标检测零部件以X轴为轴线旋转时的角度范围；β11-β12为所述机械手通过第一抓取点位对目标检测零部件进行抓取时，目标检测零部件以Y轴为轴线旋转时的角度范围；γ11-γ12为所述机械手通过第一抓取点位对目标检测零部件进行抓取时，目标检测零部件以Z轴为轴线旋转时的角度范围；第二抓取点位的旋转区间至第n抓取点位的旋转区间表示含义同理于第一抓取点位的旋转区间。

进一步的，在本申请的一种优选实施例中，步骤S1中，抓取点位的确定具体包括如下步骤：

步骤S101、将目标检测零部件旋转变换矩阵f0内的元素值与第一抓取点位的旋转区间集合、第二抓取点位的旋转区间集合、…、第n抓取点位的旋转集合内的角度范围分别进行比对，选取实际抓取点；

步骤S102、当有且仅有一个抓取点满足目标检测零部件的旋转变换矩阵f0的旋转要求时，则判定该抓取点为实际抓取点位；

步骤S103、当存在布置一个抓取点位满足目标检测零部件旋转变f0的旋转要求时，对满足条件的抓取点进行比对选取。

进一步的，在本申请的一种优选实施例中，如图2所示，步骤S3中的采用深度学习语义分割对采集到的图像进行语义分割，具体包括以下步骤：

步骤S301、利用训练后的分割模型将检测区域分割为目标区域和非目标区域；所述分割模型为深度学习语义分割模型；

步骤S302、根据目标检测零部件的待检测面分割类别数，裁剪出目标区域中的目标区域图像，去除非目标区域图像；

利用训练后的分割模型将所述外观检测区域分割为目标区域和非目标区域；

所述分割模型为深度学习语义分割模型、模板匹配模型、形态学分割模型或边缘分割模型；

分割的类别数为产品待检测面的数量。

步骤S303、将目标检测零部件外观检测区域的图像输入分割模型中，得到多类别语义掩膜图；

步骤S304、根据所述多类别语义掩膜图，从所述目标检测零部件外观检测区域的图像中裁剪得到所述目标区域图像。

所述分割模型为模板匹配模型时，一个待检测面生成一个模板匹配图像，包含该检测区域位置信息，根据模板匹配图像的各个特征点与所述目标区域的图像的各个特征点之间进行相似度计算，确定匹配定位信息。

进一步的，在本申请的一种优选实施例中，所述分割模型的类别数为目标检测零部件待检测面的数量，模型采用FCN系列模型。

所述分割模型为深度学习语义分割模型时，语义分割模型的类别数为产品待检测面的数量，模型还可以采用deeplab系列模型，unet、u2net等。

进一步的，在本申请的一种优选实施例中，所述机械手通过PLC控制系统进行数据采集和控制操作。

进一步的，在本申请的一种优选实施例中，所述PLC控制系统还包括PID控制器。

进一步的，在本申请的一种优选实施例中，所述PLC控制系统控制机械手抓取目标检测零部件，所述PLC控制系统采集对目标检测零部件进行数据采集，通过采集到的数据进行处理从而控制机械手确定抓取点位。

具有比例+积分+微分控制规律的控制称为比例积分微分(PID)控制，其传递函数为：

式中，Kp为比例系数，Ti为积分时间常数，┲为微分时间常数，三者都是可调参数。

PID控制器的输出信号为：

PID控制器的传递函数可写成：

PI控制器与被控对象串联连接时，可以使系统的型别提高一级，而且还提供了两个负实部的零点。与PI控制器相比，PID控制器除了同样具有提高系统稳定性能的优点外，还多提供了一个负实部零点，因此在提高系统动力系统方面提供了很大的优越性。在实际过程中，PID控制器被广泛应用。

PID控制通过积分作用消除误差，而微分控制可缩小超调量，加快反应，是综合了PI控制与PD控制长处，并消除其短处。从频域角度看，PID控制通过积分作用于系统的低频段，以提高系统的稳定性，而微分作用于系统的中频段，以改善系统的动态性能。

比例(P)控制能迅速反应误差，从而减小稳态误差。但是，比例控制不能消除稳态误差。比例放大系数的加大.会引起系统的不稳定。积分(I)控制的作用是：只要系统有误差存在，积分控制器就不断地积累，输出控制量，以消除误差。因而，只要有足够的时间，积分控制将能完全消除误差，使系统误差为零，从而消除稳态误差。积分作用太强会使系统超调加大，甚至使系统出现振荡。微分(D)控制可以减小超调量，克服振荡，使系统的稳定性提高，同时加快系统的动态响应速度.减小调整时间，从而改善系统的动态性能。根据不同的被控对象的控制特性，又可以分为P、PI、PD、PID等不同的控制模型。

在本申请实施例中，藉由一具有PID控制器的PLC控制系统对所述机械手进行数据采集和控制操作，所述PLC控制系统具有初始化模块21、原料配置模块22、流程控制模块23、进料控制模块24、反应釜控压模块25、以及反应釜控温模块26。需要特别交代的是，所述PLC控制系统还具有一PID控制器，用于对以上所述的各该模块进行控制，所述PID控制器工作原理，即PID参数整定是在以上所述的各该模块中，当回路控制投入后，先以一组初始的PID参数(P：比例系数，I：积分系数D：微分系数)进行控制，所述PID控制器的函数运算模块(图中未标号)获得的临界参数，计算出适合于稳定裕度要求的比例带(P)、积分(I)、微分(d)等控制参数；经由自整定PID学习调整系数，获得输入的最小稳定裕度、适中稳定裕度、最大稳定裕度的P、I、D参数及实测运行工况调整系数，调整P、I、D参数，以使系统获得理想的动静态控制。

一种基于机器视觉的汽车零部件装配检测系统，执行前述的一种基于机器视觉的汽车零部件装配检测方法，如图3所示，包括图像采集单元100、预处理单元200、区域定位单元300、特征提取单元400、分析单元500和输出控制单元600，其中：

图像采集单元100，用于采集目标检测零部件的图像信号；

预处理单元200，用于对所采集的被检测对象的图像进行预处理操作，提高图像的质量；

区域定位单元300，用于对所采集的目标检测零部件的图像进行分析，分割定位出容易出现质量问题的敏感图像区域；

特征提取单元400，用于提取出具有缺陷特征的敏感图像区域的特征，所述特征提取单元400利用深度学习语义分割法来提取出容易出现质量问题的敏感图像区域的特征，其中敏感图像区域的标准特征由用户根据合格产品的敏感图像区域的特征进行预先设定；

分析单元500，用于将所提取的敏感图像区域的缺陷特征与敏感图像区域的标准特征进行比较，根据两者的相似度是否达到预定值，来判断出被检测对象是否合格；

输出控制单元600，用于将判断结果输出给控制平台，筛选出不合格的产品。

在本申请实施例中，一种基于机器视觉的汽车零部件装配检测系统内部各单元工作方法与上述一种基于机器视觉的汽车零部件装配检测方法表述的工作方法一致，在此不作详细赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种基于机器视觉的汽车零部件装配检测方法，其特征在于，包括以下步骤：

机械手根据目标检测零部件的三维空间图判定抓取点位，根据抓取点位抓取目标检测零部件；

抓取目标检测零部件后，根据坐标将目标检测零部件移动至视觉检测区域；

应用工业相机对目标检测零部件进行拍照，根据拍照图像进行图像检测，分段采集目标检测零部件的图像，采用深度学习语义分割对采集到的图像进行语义分割，确定分段后具有缺陷的区域图像；

发送检测结果，若检测结果为不合格则发出报警信号。

2.根据权利要求1所述的一种基于机器视觉的汽车零部件装配检测方法，其特征在于，根据目标检测零部件的三维空间图判定抓取点位具体包括生成目标检测零部件的旋转变换矩阵f0,f0(α，β，γ)，其中α为在三维虚拟坐标中，目标检测零部件以X轴为轴线旋转的角度，β为在三维虚拟坐标中，目标检测零部件以Y轴为轴线旋转的角度，γ为在三维虚拟坐标中，目标检测零部件以Z轴为轴线旋转的角度。

3.根据权利要求2所述的一种基于机器视觉的汽车零部件装配检测方法，其特征在于，所述抓取点位包括第一抓取点位、第二抓取点位…第n抓取点位，不同的抓取点位各方面可旋转角度不同，所述第一抓取点位的旋转区间集合为(α11-α12，β11-β12，γ11-γ12)，所述第二抓取点位的旋转区间集合为(α21-α22，β21-β22，γ21-γ22)，…，第n抓取点位的旋转区间集合为(αn1-αn2，βn1-βn2，γn1-γn2)，n为整数，α11-α12为所述机械手通过第一抓取点位对目标检测零部件进行抓取时，目标检测零部件以X轴为轴线旋转时的角度范围；β11-β12为所述机械手通过第一抓取点位对目标检测零部件进行抓取时，目标检测零部件以Y轴为轴线旋转时的角度范围；γ11-γ12为所述机械手通过第一抓取点位对目标检测零部件进行抓取时，目标检测零部件以Z轴为轴线旋转时的角度范围；第二抓取点位的旋转区间至第n抓取点位的旋转区间表示含义同理于第一抓取点位的旋转区间。

4.根据权利要求3所述的一种基于机器视觉的汽车零部件装配检测方法，其特征在于，抓取点位的确定具体包括如下步骤：

将目标检测零部件旋转变换矩阵f0内的元素值与第一抓取点位的旋转区间集合、第二抓取点位的旋转区间集合、…、第n抓取点位的旋转集合内的角度范围分别进行比对，选取实际抓取点；

当有且仅有一个抓取点满足目标检测零部件的旋转变换矩阵f0的旋转要求时，则判定该抓取点为实际抓取点位；

当存在布置一个抓取点位满足目标检测零部件旋转变f0的旋转要求时，对满足条件的抓取点进行比对选取。

5.根据权利要求1所述的一种基于机器视觉的汽车零部件装配检测方法，其特征在于，采用深度学习语义分割对采集到的图像进行语义分割，具体包括以下步骤：

利用训练后的分割模型将检测区域分割为目标区域和非目标区域；所述分割模型为深度学习语义分割模型；

根据目标检测零部件的待检测面分割类别数，裁剪出目标区域中的目标区域图像，去除非目标区域图像；

将目标检测零部件外观检测区域的图像输入分割模型中，得到多类别语义掩膜图；

根据所述多类别语义掩膜图，从所述目标检测零部件外观检测区域的图像中裁剪得到所述目标区域图像。

6.根据权利要求5所述的一种基于机器视觉的汽车零部件装配检测方法，其特征在于，所述分割模型的类别数为目标检测零部件待检测面的数量，模型采用FCN系列模型。

7.根据权利要求1所述的一种基于机器视觉的汽车零部件装配检测方法，其特征在于，所述机械手通过PLC控制系统进行数据采集和控制操作。

8.根据权利要求7所述的一种基于机器视觉的汽车零部件装配检测方法，其特征在于，所述PLC控制系统还包括PID控制器。

9.根据权利要求8所述的一种基于机器视觉的汽车零部件装配检测方法，其特征在于，所述PLC控制系统控制机械手抓取目标检测零部件，所述PLC控制系统对目标检测零部件进行数据采集，通过采集到的数据进行处理从而控制机械手确定抓取点位。

10.一种基于机器视觉的汽车零部件装配检测系统，其特征在于，执行权利要求1至9任一项所述的一种基于机器视觉的汽车零部件装配检测方法，包括图像采集单元、预处理单元、区域定位单元、特征提取单元、分析单元和输出控制单元，其中：

图像采集单元，用于采集目标检测零部件的图像信号；

预处理单元，用于对所采集的被检测对象的图像进行预处理操作，提高图像的质量；

区域定位单元，用于对所采集的目标检测零部件的图像进行分析，分割定位出容易出现质量问题的敏感图像区域；

特征提取单元，用于提取出具有缺陷特征的敏感图像区域的特征，所述特征提取单元利用深度学习语义分割法来提取出容易出现质量问题的敏感图像区域的特征，其中敏感图像区域的标准特征由用户根据合格产品的敏感图像区域的特征进行预先设定；

分析单元，用于将所提取的敏感图像区域的缺陷特征与敏感图像区域的标准特征进行比较，根据两者的相似度是否达到预定值，来判断出被检测对象是否合格；

输出控制单元，用于将判断结果输出给控制平台，筛选出不合格的产品。

Images