CN114241342A - 工件上检测点错漏装检测的方法 - Google Patents

Abstract

本发明的工件上检测点错漏装检测的方法，属于图像识别方法的技术领域，解决现有技术的采用肉眼检测工件效率低的技术问题。其包括使用双目立体相机对工件进行拍摄获取待检测图像；所述双目立体相机与检测平面之间的坐标转换，确定所述双目立体相机的转换矩阵；确定所述待检测图像中待测检测点的参数，根据待测检测点的所述参数确定每个检测点的深度；所述深度和每个检测点的坐标通过所述转换矩阵确定每个检测点在世界坐标系中的坐标；获取工件标准件所有检测点在世界坐标中的的标准参数，通过对比完成检测。本发明通过相机图像识别的方式替代传统人工识别的方式，提高检测效率。

Description

工件上检测点错漏装检测的方法

技术领域

本发明属于汽车用工件检测方法的技术领域，尤其涉及一种工件上检测点错漏装检测的方法。

背景技术

对汽车用工件进行错漏装的检测是保证工件质量的重要步骤，目前，在产线上进行错漏装的检测主要依靠工人进行视觉检测，每个检测点都需要看一遍，时间长了，工人出现疲劳之后，难免出现错误。当工件较大时，检测点数量随之曾多，多的可以达到几十个甚至上百个，工人逐个看，时间长且效率低，致使生产节奏会拖慢，降低生产效率。

有鉴于此，特提出本发明。

发明内容

本发明的目的在于提供一种工件上检测点错漏装检测的方法，解决现有技术的采用肉眼检测工件效率低的技术问题。本案的技术方案有诸多技术有益效果，见下文介绍：

提供一种工件上检测点错漏装检测的方法，适用于检测上工件错或漏装的检测，所述方法包括：

使用双目立体相机对工件进行拍摄获取待检测图像，且在拍摄之前校验所述双目立体相机；

所述双目立体相机与检测平面之间的坐标转换，确定所述双目立体相机的转换矩阵，所述转换矩阵用以所述双目立体相机拍照的图像坐标能够转换到以检测平面为坐标系的世界坐标中；

确定所述待检测图像中待测检测点的参数，根据待测检测点的所述参数确定每个检测点的深度；待测检测点的参数至少包括在检测点在图像坐标中的位置、尺寸和待测类别；

获取每个检测点在图像坐标中的坐标，所述深度和每个检测点的坐标通过所述转换矩阵确定每个检测点在世界坐标系中的坐标，即为，第一坐标；

获取工件标准件所有检测点在世界坐标中的的标准参数，并根据待测试件的所有检测点的第一坐标和待测检测点的参数确定工件是否合格。

与现有技术相比，本发明提供的技术方案包括以下有益效果：

本发明的方法旨在通过对相机拍摄图像的识别，替代人工识别的方式，提高工件的检测的效率。通过图像坐标向世界坐标的转换，通过对坐标的判断，完成工件是否合格的检测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明工件上检测点错漏装检测的方法的示意图；

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本发明，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践方面。为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

工件为车载所使用的加工成型后的工件，上面设置嵌入件，螺钉，螺母和胶带或胶条等。在检测平台上检测时，需要对工件的每个检测点进行检测，是否有漏或错装的情况出现。

如图1所示的工件上检测点错漏装检测的方法，适用于检测上工件错或漏装的检测，其方法包括：

S101:使用双目立体相机对工件进行拍摄获取待检测图像，且在拍摄之前校验双目立体相机，具体的，校验双目立体相机的方法包括：

确定双目立体相机由两个相同型号的单目工业相机平行设置；

两个单目工业相机通过外部机械装置进行固定，并进行标准焦距的调整；

使用双目立体校正法进行校正，确定两个单目工业相机的内参；

通过立体校正矩阵，将两个内参校正为使两个单目工业相机拍摄图像在Y轴方向完全对齐。

即为，双目立体相机是由2个相同型号的单目工业相机平行摆放组成的，这两个相机通过机械装置进行固定，并调整好焦距，然后使用双目立体校正的方法，得到两个相机的内参，并将两个相机通过立体校正矩阵，校正到两个相机的图像y轴方向是完全对齐的。初始校验保证双目立体相机的图像坐标能够统一，为后续世界坐标的转换做好准备。

S102:双目立体相机与检测平面之间的坐标转换，确定双目立体相机的转换矩阵，转换矩阵用以双目立体相机拍照的图像坐标能够转换到以检测平面为坐标系的世界坐标中，具体的，检测过程中，根据实际情况设置相机的数量，如下：

1)当检测数量较少时，设置一个双目相机即可，确定双目立体相机的转换矩阵的方法包括：设置一个双目立体相机时，标定双目立体相机和检测平面之间的坐标转换关系，确定双目立体相机的转换矩阵。

2)检测平面上安装有多个双目立体相机，双目立体相机与检测平面之间的坐标转换，确定双目立体相机的转换矩阵的方法包括：

选定任意一个双目立体相机为主相机，其余为副相机；

标定副相机和主相机之间的转换矩阵，用于副相机的图像坐标转换到以检测平台上的检测平面为坐标系的世界坐标上；

标定主相机和检测平面之间的坐标转换关系，确定主相机的转换矩阵；

通过主相机与检测平面的转换矩阵和副相机和主相机之间的转换矩阵确定副相机以检测平面为坐标系的世界坐标的转换矩阵，确定所有副相机在世界坐标中的坐标。所有的相机拍照的图像坐标，都可以转换到同一个以检测平面为坐标系的世界坐标中，完成所有相机的坐标系统一。

多个相机的设置，在检测平台上相对可随意放置，通过后续的方法来进行校正，解决相机安装麻烦的问题。

现有技术中，产线上的机器视觉的检测产品是一种基于工装的检测产品，工件需要通过一个定制的工装，通过该工装，将工件固定，相机也安装在固定的位置，此时，工件上的检测点在图像上的位置也是固定的，可以通过预设的位置将检测点的ROI(感兴趣区域)取出来，然后通过图像坐标比对的方式进行检测，该方法的问题是相机需要工装固定，其次是当工件太大，或者检测点太小时，由于上面的方案相机视场需要覆盖整个工件，此时拍摄出来的检测点的像素密度会很小，此时基于图像的比对就会变得非常的不准，导致错误的结果。因此，现有的方案是对于这种情况，会用一个机械手对相机进行移动拍照，每次用机械手将相机移动到检测点所在的区域，然后可以拍摄出一张检测点像素密度足够大的图像，然后再进行图像比对。机械手的使用导致检测速度慢，且机械手的操作失误使图像比对错误率高，影响检测效率。

S103:确定待检测图像中待测检测点的参数，根据待测检测点的参数确定每个检测点的深度；待测检测点的参数至少包括在检测点在图像坐标中的位置、尺寸和待测类别，双目立体相机包括第一相机和第二相机，具体的：

获取第一相机和第二相机的第一待检测图像和第二待检测图像；

第一相机和第二相机分别进行图像的变换，变换的结果确定第一待检测图像和第二待检测图像只在x轴方向有平移的图像；

第一待检测图像使用深度学习模型处理得到每个检测点，并在第二待检测图像上寻找对应的位置，由于两张图像只在x方向上有偏移，只在x方向去寻找对应的位置；

确定第一待检测图像和第二待检测图像在图像坐标系中根据检测高度范围所确定一个最大和最小视差；

固定的x方向的范围内去搜索第一待检测图像中每个检测点所对应的右相机的坐标位置；

通过模板匹配的方式在第一相机确定的范围内，寻找第二相机和第一相机匹配度最大的图像块，图像块的位置即为第二相机对应的检测点的位置；

第一待检测图像和第二待检测图像中检测点的x方向的差，即为视差；

根据视差确定深度，具体的:

根据之前的双目相机立体标定，得到相机的焦距f及双目相机之间的基线距离b，通过视差d，可以计算出深度,且满足：z＝(f*b)/d。

该方法旨在将原始图像的平面坐标转为三维空间坐标，传统方式仅仅是在二维平面上进行检测，而，本案的方法是在三维坐标中进行检测，将检测点的检测转化为3D坐标的检测，避免二维检测图像像素检测需要昂贵硬件成本的投入且耗时长，易收到环境中光线的影响，通过3D坐标的检测能够大大提高检测效率，且耗时短。

S104:获取每个检测点在图像坐标中的坐标，深度和每个检测点的坐标通过转换矩阵确定每个检测点在世界坐标系中的坐标，即为，第一坐标。待检测图像通过深度学习图像模型处理，确定出所需要检测的检测点的参数，参数包括在检测件在图像坐标中的位置、尺寸和类别，即为：

使用深度学习中图像目标检测模型，可输出双目相机相机采集的图像中，所需要检测的检测点的位置、类别及其类别的尺寸。

S105:获取工件标准件所有检测点在世界坐标中的的标准参数，并根据待测试件的所有检测点的第一坐标和待测检测点的参数确定工件是否合格。

如，获取工件标准件所有检测点在世界坐标中的标准3D坐标和标准类别；

判断所有监测点的第一坐标和待测类别是否与标准3D坐标和标准类别相同或满足预设偏差，如是，当前所检测的工件为合格品，反馈信号，如否，当前所检测的工件为次品，反馈信号。

如，检测点为工件的固定型号的螺钉，判断该螺钉与标准螺钉的尺寸是否相同，或是，与标准件的对应位置是否设置有螺钉。

螺钉在工件上的位置是否正确，通过螺钉所对应的第一坐标与标准坐标进行对比即可。

作为本案所提供的具体实施方式，上述中使用多个双目相机时，图像会有充电区域，例如，由于所有的相机拍摄到的检测点的坐标都已经转换到了同一个坐标系中，同一个世界坐标点对应多个重叠监测点，需要将重复的检测点进行合并，只留下一个检测点。这些相同世界坐标的检测点为工件上同一个检测点，仅是被多个相机所拍摄，不需要并行处理，具体的：

确定所有双目立体相机的多个重叠区域；

确定所有重叠区域中的在世界坐标系中坐标相同的多个检测点，即为，多个检测点重叠在同一世界坐标中；

重复的检测点进行合并，只留下一个检测点。

本发明的整体技术效果：

1)在检测工件时，不需要工装，工件在检测台上可以在一定范围内任意的摆放。因此，一个台检测设备可以检测多种工件。而且，可以通过调整相机的位置以及增加相机来适应各种角度和范围上的检测点。因此，对于不同的工件，只需要更改相机的位置和个数以及检测模型即可适用。不需要提供工装，也不需要更改软件，可以做到产线上的柔性制造。

2)图像坐标(二维坐标)转为三维坐标，通过对监测点坐标的位置的判断，完成监测点位置是否在工件设置正确的检测，及其，型号和尺寸的检测。

以上对本发明所提供的产品进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离发明创造原理的前提下，还可以对发明进行若干改进和修饰，这些改进和修饰也落入发明权利要求的保护范围。

Claims (8)

1.一种工件上检测点错漏装检测的方法，适用于检测上工件错或漏装的检测，其特征在于，所述方法包括：

使用双目立体相机对工件进行拍摄获取待检测图像，且在拍摄之前校验所述双目立体相机；

所述双目立体相机与检测平面之间的坐标转换，确定所述双目立体相机的转换矩阵，所述转换矩阵用以所述双目立体相机拍照的图像坐标能够转换到以检测平面为坐标系的世界坐标中；

确定所述待检测图像中待测检测点的参数，根据待测检测点的所述参数确定每个检测点的深度；待测检测点的参数至少包括在检测点在图像坐标中的位置、尺寸和待测类别；

获取每个检测点在图像坐标中的坐标，所述深度和每个检测点的坐标通过所述转换矩阵确定每个检测点在世界坐标系中的坐标，即为，第一坐标；

获取工件标准件所有检测点在世界坐标中的的标准参数，并根据待测试件的所有检测点的第一坐标和待测检测点的参数确定工件是否合格。

2.根据权利要求1所述的方法，其特征在于，校验所述双目立体相机的方法包括：

所述双目立体相机由两个相同型号的单目工业相机平行设置；

两个所述单目工业相机通过外部机械装置进行固定，并进行标准焦距的调整；

使用双目立体校正法进行校正，确定两个所述单目工业相机的内参；

通过立体校正矩阵，将两个所述内参校正为使两个所述单目工业相机拍摄图像在Y轴方向完全对齐。

3.根据权利要求1所述的方法，其特征在于，所述双目立体相机与检测平面之间的坐标转换，确定所述双目立体相机的转换矩阵的方法包括：

设置一个所述双目立体相机时，标定所述双目立体相机和检测平面之间的坐标转换关系，确定所述双目立体相机的转换矩阵。

4.根据权利要求1所述的方法，其特征在于，所述双目立体相机与检测平面之间的坐标转换，确定所述双目立体相机的转换矩阵的方法包括：

检测平面上安装有多个所述双目立体相机，选定任意一个双目立体相机为主相机，其余为副相机；

标定副相机和主相机之间的转换矩阵，用于副相机的图像坐标转换到以检测平台上的检测平面为坐标系的世界坐标上；

标定所述主相机和检测平面之间的坐标转换关系，确定所述主相机的转换矩阵；

通过所述主相机与检测平面的转换矩阵和副相机和主相机之间的转换矩阵确定副相机以检测平面为坐标系的世界坐标的转换矩阵，确定所有副相机在世界坐标中的坐标。

5.根据权利要求4所述的方法，其特征在于，确定所有双目立体相机的多个重叠区域；

确定所有所述重叠区域中的在世界坐标系中坐标相同的多个检测点，即为，多个检测点重叠在同一世界坐标中；

重复的检测点进行合并，只留下一个检测点。

6.根据权利要求4或5所述的方法，其特征在于，确定所述待检测图像中待测检测点的参数的方法包括：

所述待检测图像通过深度学习图像模型处理，确定出所需要检测的检测点的参数，所述参数包括在检测件在图像坐标中的位置、尺寸和类别。

7.根据权利要求4或5所述的方法，所述双目立体相机包括第一相机和第二相机，其特征在于，根据待测检测点的所述参数确定每个检测点的深度的方法包括：

获取第一相机和第二相机的第一待检测图像和第二待检测图像；

所述第一相机和第二相机分别进行图像的变换，变换的结果确定第一待检测图像和第二待检测图像只在x轴方向有平移的图像；

第一待检测图像使用深度学习模型处理得到每个检测点，并在第二待检测图像上寻找对应的位置，且仅在x方向去寻找对应的位置；

确定第一待检测图像和第二待检测图像在图像坐标系中根据检测高度范围所确定一个最大和最小视差；

固定的x方向的范围内去搜索第一待检测图像中每个检测点所对应的右相机的坐标位置；

通过模板匹配的方式在第一相机确定的范围内，寻找第二相机和第一相机匹配度最大的图像块，所述图像块的位置即为第二相机对应的检测点的位置；

第一待检测图像和第二待检测图像中检测点的x方向的差，即为视差；

根据所述视差确定所述深度。

8.根据权利要求1所述的方法，其特征在于，获取工件标准件所有检测点在世界坐标中的的标准参数，并根据待测试件的所有检测点的第一坐标和待测检测点的参数确定工件是否合格的方法包括：

获取工件标准件所有检测点在世界坐标中的标准3D坐标和标准类别；

判断所有监测点的所述第一坐标和待测类别是否与所述标准3D坐标和标准类别相同或满足预设偏差，如是，当前所检测的工件为合格品，反馈信号，如否，当前所检测的工件为次品，反馈信号。

Images