CN117422714A - 装配检测方法、设备和存储介质 - Google Patents

Abstract

本申请涉及高端制造技术领域，公开了一种装配检测方法、设备和存储介质。该装配检测方法包括：获取待检测装配件对应的第一图像，待检测装配件由表牌和导光支架装配得到；确定第一图像中的待检测装配件的轮廓的尺寸参数，尺寸参数包括周长参数和面积参数中的至少一种；在待检测装配件的轮廓的尺寸参数与标准装配件的轮廓的尺寸参数匹配时，获取待检测装配件的轮廓对应的第一目标区域内的目标像素点数量；若目标像素点数量位于预设范围内，则确定待检测装配件装配合格，其中，预设范围基于第二图像中标准装配件的轮廓对应的第二目标区域内的目标像素点的数量确定。基于上述方案，可以有效提升装配检测结果的准确性。

Description

装配检测方法、设备和存储介质

技术领域

本申请涉及高端制造技术领域，特别涉及一种装配检测方法、设备和存储介质。

背景技术

在商用车（例如货车、公交车）等交通工具中，车辆内部的仪表盘发挥着重要作用。车辆的仪表盘通常用于显示车辆内部发动机的转数、车辆的行驶速度以及车辆油箱的剩余油量等信息。

当前，车辆内部仪表盘的结构通常包括电路板、导光支架和仪表牌（也可简称为表牌）。其中，导光支架和表牌需要通过位于导光支架上的卡口进行装配，以使得导光支架和表牌紧密连接。如何实现精确检测导光支架和表牌是否装配合格是需要解决的问题。

发明内容

本申请实施例提供了一种装配检测方法、设备和存储介质，基于待检测装配件的轮廓对应的第一目标区域内的目标像素点数量确定待检测装配件是否装配合格，可以有效提升装配检测结果的准确性。

第一方面，本申请实施例提供了一种装配检测方法，该方法包括：获取待检测装配件对应的第一图像，待检测装配件由表牌和导光支架装配得到；确定第一图像中的待检测装配件的轮廓的尺寸参数，尺寸参数包括周长参数和面积参数中的至少一种；在待检测装配件的轮廓的尺寸参数与标准装配件的轮廓的尺寸参数匹配时，获取待检测装配件的轮廓对应的第一目标区域内的目标像素点数量；若目标像素点数量位于预设范围内，则确定待检测装配件装配合格，其中，预设范围基于第二图像中标准装配件的轮廓对应的第二目标区域内的目标像素点的数量确定。

在上述第一方面的一种可能的实现中，上述方法还包括：获取待检测装配件对应的原始图像，原始图像基于对待检测装配件进行拍摄得到；对原始图像进行光照补偿处理，获取第三图像；基于第三图像获取第一图像。

在上述第一方面的一种可能的实现中，上述方法还包括：确定第三图像中的待分析区域，待分析区域为第三图像中待检测装配件的轮廓的最小外接多边形区域；对待分析区域进行目标处理，获取第一图像。

在上述第一方面的一种可能的实现中，上述方法还包括：在第三图像中确定待检测装配件的轮廓；对待检测装配件的轮廓和标准装配件的轮廓进行匹配，得到匹配结果；若匹配结果指示待检测装配件的轮廓和标准装配件的轮廓匹配成功，将第三图像中待检测装配件的轮廓的最小外接多边形区域作为待分析区域。

在上述第一方面的一种可能的实现中，上述方法还包括：对待分析区域进行图像锐化处理，得到锐化处理后的待分析区域；对锐化处理后的待分析区域进行形态学操作，获取第一图像。

在上述第一方面的一种可能的实现中，上述方法还包括：对锐化处理后的待分析区域进行自适应二值化处理，得到自适应二值化后的待分析区域；对自适应二值化后的待分析区域依次进行开运算和闭运算，得到闭运算后的待分析区域；对闭运算后的待分析区域进行小区域去除操作，获得第一图像。

在上述第一方面的一种可能的实现中，导光支架包括第一卡口和第二卡口，表牌包括表盘部，第一卡口和表盘部的外轮廓的两个交点之间具有第一重叠轮廓；第二卡口和表盘部的外轮廓的两个交点之间具有第二重叠轮廓；第一目标区域包括第三目标区域和第四目标区域；第三目标区域为距离第一重叠轮廓第一预设距离的第一边缘线、距离第一重叠轮廓第二预设距离的第二边缘线、以及第一卡口的侧壁边缘、第一卡口的侧壁边缘的延伸线形成的区域；第四目标区域为距离第二重叠轮廓第三预设距离的第三边缘线、距离第二重叠轮廓第四预设距离的第四边缘线、以及第二卡口的侧壁边缘、第二卡口的侧壁边缘的延伸线形成的区域；其中，第一预设距离小于第一重叠轮廓至第一卡口的顶部边缘之间的距离，第二预设距离大于第一重叠轮廓至第一卡口的顶部边缘之间的距离；第三预设距离小于第二重叠轮廓至第二卡口的顶部边缘之间的距离，第四预设距离大于第二重叠轮廓至第二卡口的顶部边缘之间的距离。

在上述第一方面的一种可能的实现中，确定待检测装配件的轮廓对应的第一目标区域内的目标像素点数量位于预设范围内的方式，包括：若第三目标区域内的目标像素点的数量位于第一预设范围内，且第四目标区域内的目标像素点的数量位于第二预设范围内，确定待检测装配件装配合格。

第二方面，本申请提供一种电子设备，包括：一个或多个处理器；一个或多个存储器；一个或多个存储器存储有一个或多个程序，当一个或者多个程序被一个或多个处理器执行时，使得电子设备执行第一方面及第一方面任一种可能的设计中的装配检测方法。

本申请实施例提供的技术方案至少带来如下有益效果：

在本申请实施例中，获取到待检测装配件对应的第一图像之后，确定第一图像中的待检测装配件的轮廓，然后通过判断该轮廓对应的第一目标区域内的目标像素点数量是否位于预设范围内确定待检测装配件是否装配合格，此种基于像素点的数量判断装配是否合格的方法可以提升装配检测结果的准确性。

附图说明

图1A根据本申请的一些实施例，示出了一种车辆仪表盘的局部结构示意图；

图1B根据本申请的一些实施例，示出了第一种装配完成的表牌和导光支架的装配件的图像的示意图；

图1C根据本申请的一些实施例，示出了一种包含标注框的装配件的示意图；

图2A根据本申请的一些实施例，示出了一种装配合格的装配件的示意图；

图2B根据本申请的一些实施例，示出了一种装配不合格的装配件的示意图；

图3根据本申请的一些实施例，示出了一种装配不合格的装配件的局部示意图；

图4根据本申请的一些实施例，示出了第一种装配检测方法的流程示意图；

图5根据本申请的一些实施例，示出了一种获取待检测装配件对应的第一图像的方法的流程示意图；

图6根据本申请的一些实施例，示出了一种基于第三图像获取第一图像的方法的流程示意图；

图7根据本申请的一些实施例，示出了一种获取第一图像的方法的流程示意图；

图8A根据本申请的一些实施例，示出了第二种装配完成的表牌和导光支架的装配件的图像的示意图；

图8B根据本申请的一些实施例，示出了一种包含第三目标区域的装配件的局部放大图的示意图；

图8C根据本申请的一些实施例，示出了一种包含第四目标区域的装配件的局部放大图的示意图；

图8D根据本申请的一些实施例，示出了一种包含第一预设距离和第二预设距离的装配件的局部放大图的示意图；

图9根据本申请的一些实施例，示出了第二种装配检测方法的流程示意图；

图10A根据本申请的一些实施例，示出了一种待检测装配件的原图的示意图；

图10B根据本申请的一些实施例，示出了一种光照补偿后的原图的示意图；

图10C根据本申请的一些实施例，示出了一种标准装配件的轮廓的示意图；

图10D根据本申请的一些实施例，示出了一种光照补偿后的原图中待分析的感兴区域的示意图；

图10E根据本申请的一些实施例，示出了一种卷积滤波操作之后的待分析的感兴区域的示意图；

图10F根据本申请的一些实施例，示出了一种二值化处理之后的感兴区域的示意图。

具体实施方式

本申请的说明性实施例包括但不限于装配检测方法、设备和存储介质。

下面先对本申请实施例涉及到的专有名词进行解释。

工作距离：在本申请实施例中指代工业摄像机的工作距离，为工业摄像机镜头的最下端机械面到所拍摄的物体的距离。

灰度图：用灰度值表示的图像，也可以称为灰阶图。其中，灰度值指的是图像中单个像素点的亮度。灰度值通常分为256阶，用数字0-255表示，灰度值越大表示像素点越亮。

二值图（Binary Image）：是指图像中的每一个像素只有两种灰度等级，也就是说，图像中的任何像素点的灰度值均为0或者255，0代表黑色，255代表白色。因此，通常可以使用黑白图、单色图等表示二值图。

图像的二值化：将图像中的像素点的灰度值设置为0或255，这样可以使得整个图像呈现出明显的黑白效果。在图像的二值化过程中，可以设定固定阈值，将灰度值大于该固定阈值的像素点的灰度值设置为0，反之，则将像素点的灰度值设置为255。在图像处理领域中，图像的二值化可以使图像中的数据量大幅减少，更能凸显出图像中的目标物体的轮廓。

自适应二值化：不需要确定的阈值，可以根据自适应方法，通过图像的局部特征自适应地设置阈值，从而对图像进行二值化处理。

插值运算：通过一系列已知的数据点，来猜测未知点，即由原图像矩阵中的点计算新图像矩阵中的点。在图像领域上，修改图像的尺寸时常用到插值运算。

感兴趣区域（Region of Interest，ROI）：从被处理的图像中以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域。

形态学操作：根据图像形状进行的简单操作，用来连接图像中相邻的元素或者分离成独立的元素，包括腐蚀、膨胀、开运算、闭运算等。其中，腐蚀和膨胀是基础操作，其他操作基于腐蚀和膨胀操作而成。形态学操作通常在二值化图像中进行，需要两个输入，一个是原始图像，一个是结构元素kernel。

开运算：先进行腐蚀，再进行膨胀的操作。通常情况下，含有噪声的图像经过二值化后，得到的边界是不平滑的，对此种图像进行开运算可以消除细小的噪声，平滑物体的边界等。

闭运算：先进行膨胀，再进行腐蚀的操作，通常被用来填充图像中的孔洞，使得图像更加清晰。

需要说明的是，本申请实施例涉及的装配检测方法尤其涉及对车辆内部表牌和导光支架的装配件的装配检测方法。可以理解，表牌和导光支架是车辆内部仪表盘的组成部分。

下面首先对车辆内部的仪表盘的结构做简要说明。

首先，车辆的仪表盘类型主要分为两种：机械式仪表盘和数字式仪表盘。其中，机械式仪表盘包括数字刻度和指针，也即，机械式仪表盘中的车辆相关信息的展示经由刻度和指针共同实现。数字式仪表盘也可以称为液晶仪表盘，也即是说，此种情况下，车辆的仪表盘采用液晶显示技术显示车辆的相关信息。示例性地，对于机械式仪表盘，仪表盘的结构均包括但不限于电路板、导光支架和表牌。其中，电路板也可以称为印刷电路板（PrintedCircuit Board，PCB），电路板上可以设置有多个可以独立点亮的光源。示例性地，该光源可以为发光二极管（Light Emitting Diode，LED）。

导光支架设置在前文所述的电路板上，可以具备多个导光孔。导光孔的作用是让电路板上光源发射的光束穿过导光孔，照射到表牌上。因此，可以理解，导光孔也具有聚拢光束，减少光子损失的作用。

可以理解，在本申请实施例中，表牌可以固定在导光支架上，也可以通过其他部件进行固定，只要确保电路板上光源发射的光束可以照射到表牌上即可。以表牌固定在导光支架上为例，表牌和导光支架通过表牌的卡接部和位于导光支架上的卡口进行装配，以使得导光支架和表牌紧密连接。此种方式可以使电路板上的光源发射的光束通过导光支架上的导光孔照射到表牌上，且表牌中便因此可以显示光束对应的颜色、亮度等信息，以便驾驶人员可以通过这些信息准确、及时地了解车辆状况。

可以理解，若表牌和导光支架装配不合格，表牌有可能从导光支架上脱落，导致用户的使用体验感较低。因此，检测表牌与导光支架是否装配合格至关重要。

下面对一些实施例中检测表牌和导光支架是否装配合格的方式进行说明。

目前，检测表牌和导光支架是否装配合格的方式包括如下步骤：

步骤A：电子设备获取已经装配完成的表牌和导光支架的装配件的图像。

获取已经装配完成的表牌和导光支架的图像（原图）的方式为利用图像采集设备对已经装配完成的表牌和导光支架在图像采集设备的工作距离下进行拍摄。示例性地，图像采集设备可以为工业摄像机。图1A示出了车辆仪表盘的局部结构示意图，其中，图1A包括表牌和导光支架的装配件101，因此，图像采集设备也即对图1A中的装配件101在工作距离下进行拍摄。

图像采集设备可以具备图像上传功能，图像采集设备经拍摄得到原图之后，可以将原图发送至电子设备，电子设备便可以获取该原图。

其中，图1B示出了已经装配完成的表牌和导光支架的装配件的图像的示意图。图1B包括上卡口102、下卡口103和环形区域104，环形区域104对应导光支架的架体部分。可以理解，导光支架包括上下两个卡口。

步骤B：对原图中的卡口区域进行标注，得到标注框。

其中，对卡口区域进行标注的方式为人工标注，且得到的标注框需要完全包含卡口区域。

图1C示出了包含标注框的装配件的示意图。其中，图1C包括上标注框105、下标注框106、环形区域107以及点a和点b，上标注框105和下标注框106分别对应一个卡口的位置，且表牌和导光支架通过卡口进行装配。由图1C可知，点a和点b为上卡口的轮廓（或表牌的卡接部的外轮廓）和环形区域106的外轮廓两个交点，此外，点a和点b也为上标注框105的两个端点。可以理解，技术人员在对卡口进行标注时，需要确定卡口和外轮廓的交点，然后基于交点确定标注框的大小。

步骤C：计算标注框中卡口的目标面积。

示例性地，可以对标注框中的卡口的轮廓进行绘制，得到可以表示卡口大小的封闭图形，然后计算该封闭图形的面积，得到目标面积。

步骤D：将目标面积与参考面积区间做比较，若目标面积处于参考面积区间内，则判定表牌和导光支架装配合格；若目标面积不处于参考面积区间内，则判定表牌和导光支架装配不合格。

其中，参考面积区间根据参考面积得到，也即是说，参考面积可经过上下浮动一定范围得到参考面积区间。参考面积则根据图像采集设备在工作距离下对装配合格的表牌和导光支架进行拍摄得到。如图2A所示，图2A中的上卡口201和下卡口202的面积均在参考面积区间之内，表示该表牌和导光支架装配合格；图2B中的上卡口203的面积不在参考面积区间之内，下卡口204的面积在参考面积区间之内，表示该表牌和导光支架上卡口装配不合格，下卡口装配合格。

但是上述装配检测方法只能粗略检测表牌和导光支架的装配是否合格，难以实现装配是否合格的精确检测。

例如，在一些情况下，可能因为图像采集设备的拍摄场景中的光线不均导致拍摄得到的原图的清晰度较低，导致卡口的轮廓不清晰，进而影响目标面积的计算结果。此外，上述方法中通过人工对卡口区域进行标注，可能会导致标注框的位置的精确度较低，影响目标面积的计算，进而影响装配是否合格的检测结果。另外，利用卡口面积确定装配是否合格的误差较大。例如，图3为装配不合格的装配件的局部示意图，其中，上卡口301的左上角部分302和右上角部分303未装配合格，但是计算出的上卡口301的面积却位于参考面积区间，若根据卡口面积是否位于参考面积区间确定上卡口301是否装配合格，则可能会将上卡口301的装配不合格误判为装配合格。综上，上述装配检测方法难以实现装配是否合格的精确检测。

为解决上述技术问题，本申请实施例提供了一种装配检测方法，可以用于电子设备，该方法可以包括：首先获取包含待检测装配件的第一图像，其中，待检测装配件由表牌和导光支架装配得到；然后，确定第一图像中的待检测装配件的轮廓；若待检测装配件的轮廓对应的第一目标区域内的目标像素点数量位于预设范围内，则确定待检测装配件装配合格，其中，预设范围基于第二图像中标准装配件的轮廓对应的第二目标区域内的目标像素点的数量确定。

上述方案中，通过判断该轮廓对应的第一目标区域内的目标像素点数量是否位于预设范围内确定待检测装配件是否装配合格，若第一目标区域内的目标像素点数量位于预设范围内，则待检测装配件装配合格；若第一目标区域内的目标像素点数量不位于预设范围内，则待检测装配件装配不合格。该方通过基于像素点的数量确定装配是否合格，可以提升装配检测结果的准确性。

在一实施例中，获取包含待检测装配件的第一图像，可以包括：对待检测装配件进行拍摄得到待检测装配件的原始图像，对原始图像进行光照补偿处理，获取包含待检测装配件的第三图像；对第三图像进行轮廓匹配以确定待分析区域，并对待分析区域进行卷积滤波操作（锐化处理）和形态学操作等处理，获取第一图像。

可以理解，在获取到待检测装配件对应的原始图像后，对原始图像进行光照补偿处理，可以避免因拍摄场景中的光线不均导致拍摄得到的原始图像的清晰度较低的情况，能够有效提升装配检测结果的准确性。此外，对待分析区域进行卷积滤波操作和形态学操作等，可以消除待分析区域中的噪声点，使得待分析区域的图像更加清晰，待检测装配件的轮廓更加平滑，进一步提升装配检测结果的准确性。

在一实施例中，还可以在基于待检测装配件的轮廓对应的第一目标区域内的目标像素点数量位于预设范围内确定待检测装配件装配合格之前，通过判断第一图像中的待检测装配件的轮廓的周长和面积等参数是否与标准装配件的轮廓的周长和面积等参数匹配，初步确定待检测装配件是否装配合格。若待检测装配件的轮廓的周长和面积等参数与标准装配件的轮廓的周长和面积等参数匹配，则说明待检测装配件初步装配合格，则可以通过像素点的数量进一步确定装配是否合格的检测结果。此种方式进行了两次匹配，提升了装配检测是否合格的结果的准确性。

下面对本申请实施例提供的装配检测方法进行详细介绍，如图4所示，本申请实施例提供的装配检测方法包括：

401：获取待检测装配件对应的第一图像，待检测装配件由表牌和导光支架装配得到。

在一种可能的实现方式中，如图5所示，获取待检测装配件对应的第一图像的方式可包含如下步骤4011至步骤4013：

4011：获取待检测装配件对应的原始图像。

在本申请实施例中，原始图像基于对待检测装配件进行拍摄得到，因此，若想获取包含待检测装配件的原始图像，则需先利用图像采集设备对装配完成的表牌和导光支架进行拍摄。可以理解，图像采集设备包括但不限于工业摄像机，且工业摄像机可以为色彩相机，也可以为灰度相机等。图像采集设备对待检测装配件拍摄完毕后，得到原始图像，后续电子设备便可以获取该原始图像。

本申请实施例不对电子设备获取原始图像的方式加以限定，示例性地，图像采集设备对待检测装配件进行拍摄，获得原始图像之后，电子设备可以在图像采集设备中直接获取该原始图像，或者，图像采集设备将原始图像上传至云端存储系统，电子设备从云端存储系统获得原始图像。

4012：对原始图像进行光照补偿处理，获取第三图像。

以原始图像为色彩图像为例，原始图像的色彩信息可能会受到拍摄环境的光源、图像采集设备的色彩偏差等因素的影响，从而导致原始图像的整体色彩不均匀，例如原始图像的某区域发亮等现象。若原始图像的色彩不均匀，则会导致原始图像中待检测装配件的清晰度较低，不利于待检测装配件的装配是否合格的检测结果，因此，电子设备获取到原始图像后，需对原始图像进行光照补偿处理，以提升原始图像的清晰度。

在本申请实施例中，可以按照如下步骤对原始图像进行光照补偿。

先将具有色彩信息的原始图像转换为利用灰度图表示的原始图像，对灰度图中各个像素点的灰度值进行累加求和，并将求和结果除以灰度图的总像素点个数，便可以得到灰度图的平均灰度值。按照一定大小m×n，将灰度图分为多个子块，按照上述的方法求出每个子块的平均灰度值，得到灰度图的子块亮度矩阵D，其中，m和n的取值可以根据经验设置，也可以根据应用场景灵活调整，本申请对此不进行限制。将矩阵D中的每一个元素与灰度图的平均灰度值作差，可以得到子块差值矩阵E。对子块差值矩阵E进行插值运算，得到灰度图的插值矩阵R，然后将灰度图各个像素点的灰度值减去灰度图的插值矩阵R中对应像素点的灰度值，即可得到光照补偿后的各个像素点的灰度值，进而得到光照补偿后的原始图像。

4013：基于第三图像获取第一图像。

如图6所示，基于第三图像获取第一图像的方式可以包括如下步骤4013a至步骤4013c。

4013a：确定第三图像中的待分析区域，待分析区域为第三图像中待检测装配件的轮廓的最小外接多边形区域。

对原始图像进行光照补偿，得到第三图像之后，还需要从第三图像中识别待检测装配件，确定出需要进行处理的待分析区域，待分析区域为待检测装配件的最小外接多边形区域。其中，待检测装配件的待分析区域也可以称为感兴趣区域（Region of Interest，ROI）或感兴区域。

在本申请实施例中，确定待检测装配件的待分析区域的前提是，待检测装配件与标准装配件匹配，其中，对标准装配件和待检测装配件进行匹配的方式包括如下步骤S1至步骤S2：

S1：确定第三图像中的待检测装配件的轮廓。

由于在前文步骤4012中，对原始图像进行光照补偿的过程需要将原始图像由色彩图像转换为灰度图，因此，光照补偿后得到的第三图像的显示形式也为灰度图。在本步骤中，若要确定待检测装配件的轮廓，则需进一步将灰度图像转换为二值图，此步骤也可以称为图像的二值化。示例性地，可以利用开源计算机视觉库（Open Source Computer VisionLibrary，Open CV）中的threshold函数将灰度图转换为二值图。

示例性地，二值图的转换方式对应的程序可以为，imgBinary=cv2.threshold(imgGray, thresh, maxVal, cv2.THRESH_BINARY)。其中，imgBinary表示输出的二值图；imgGray表示输入的灰度图；thresh表示当前阈值；maxVal表示最大阈值，该最大阈值通常为255（最大灰度值）；cv2.THRESH_BINARY表示阈值类型，该阈值类型对应的含义为，对于像素值大于当前阈值的像素点，将该像素点的像素值设置为1（白色），对于像素值小于当前阈值的像素点，将该像素点的像素值设置为0（黑色）。至此，输出的二值图便只呈现出黑白两个颜色。

得到第三图像的二值图之后，可以利用开源计算机视觉库（Open SourceComputer Vision Library，Open CV）中的findContours函数实现对二值图中待检测装配件的轮廓的检测。示例性地，轮廓的检测方式对应的程序可以为，contours, hierarchy=cv2.findContours(imgGray, mode, method)。其中，contours表示输出的待检测装配件的轮廓；hierarchy表示每个轮廓对应的属性；imgGray表示输入的二值图；mode表示轮廓的模式，在本步骤中，轮廓的模式可以为cv2.RETR_EXTERNAL，即只检测装配件的外轮廓；method表示轮廓的近似方法，例如可以为cv2.CHAIN_APPROXNOME，即存储所有的轮廓点，且相邻两个点的像素点的位置差不超过1。

S2：对待检测装配件的轮廓和标准装配件的轮廓进行匹配，得到匹配结果。

其中，标准装配件的轮廓可以基于模板图像确定，模板图像为采用图像采集设备对装配合格的表牌和导光支架的装配件进行拍摄得到的图像，装配合格的表牌和导光支架的装配件也可以理解为标准装配件。可以理解，标准装配件和待检测装配件的型号需完全一致，且对标准装配件进行拍摄的图像采集设备和对待检测装配件进行拍摄的图像采集设备需一致。

可以理解，模板图像中的标准装配件的轮廓的确定方式与上述原始图像中的待检测装配件的轮廓的确定方式的原理大致相同，此处不再赘述。此外，本申请实施例不对标准装配件的轮廓的确定时机加以限定，示例性地，标准装配件的轮廓可以预先确定，然后存储于数据库中，后续需要确定待检测装配件的轮廓和标准装配件的轮廓的匹配结果时，可以从数据库中获取标准装配件的轮廓，此外，也可以在需要确定待检测装配件的轮廓和标准装配件的轮廓的匹配结果时，确定标准装配件的轮廓。

获取到标准装配件的轮廓和待检测装配件的轮廓之后，对待检测装配件的轮廓和标准装配件的轮廓进行匹配，得到匹配结果。示例性地，该步骤可以利用Open CV中的matchShapes函数实现。例如，对应的程序可以为，ret=cv2.matchShapes(contour1,contour2, method)。其中，ret表示返回的匹配结果，以数值的形式体现；contour1表示标准装配件的轮廓；contour2表示待检测装配件的轮廓；method表示比较两个轮廓的匹配度的方法。可以理解，ret越小，匹配度越好。

若匹配结果指示标准装配件的轮廓和待检测装配件的轮廓匹配成功，即标准装配件与待检测装配件匹配成功，则可以确定光照补偿后的原始图像中待检测装配件的待分析区域。

在示例性实施例中，可以利用Open CV中的boundingRect函数确定待检测装配件的待分析区域。本申请不对待分析区域的形状加以限定，可以是圆形，也可以是矩形等。本申请实施例中，待分析区域的形状为矩形，因此，确定待检测装配件的待分析区域也即，确定待检测装配件的最小外接矩形。

示例性地，确定待分析区域对应的程序可以为，area=cv2.boundingRect(img)。其中，area表示输出的结果（待分析区域），且该结果的表示方式为四个值（x, y, w, h），（x,y）表示矩形左上角的点的坐标，w和h分别表示矩形的宽和高；img表示输入的第三图像。

4013b：对待分析区域进行图像锐化处理，得到锐化处理后的待分析区域。

示例性地，可以使用Open CV中的filter 2D函数利用卷积核对待分析区域进行卷积运算，该函数可以对图像进行线性滤波处理，提高待检测装配件的外轮廓的确定结果的准确性。

对应的程序可以为，dst=cv2.filter 2D(src, ddepth, kernel, point anchor,delta, border type)。其中，dst表示输出的图像，即经过锐化处理的待分析区域；src表示输入的待分析区域；ddepth表示输出图像的深度，且通常情况下设定输出图像的深度和输入图像的深度相同，此时，ddepth的值可以设定为-1；kernel表示卷积核，也可以称为相关核，是一个单通道的浮点数矩阵，本申请实施例中，可以设置5×5的卷积核，且卷积核矩阵元素（2，2）为13，其余为-1即可；point anchor是卷积核的锚点，默认可以设置为（-1，-1），表示锚点位于卷积核的中心；delta表示可选值，用于将卷积处理后的像素值存储到dst之前，与像素值相加；border type表示边界模式。

4013c：对锐化处理后的待分析区域进行形态学操作，获取第一图像。

示例性地，如图7所示，该步骤可以分为以下步骤S3至步骤S5：

S3：对锐化处理后的待分析区域进行自适应二值化处理，得到自适应二值化后的待分析区域。

在本申请实施例中，该步骤可以通过AdaptiveThreshold函数实现。具体地，可用下述程序对轮廓区域进行自适应二值化处理：dst=cv2.AdaptiveThreshold(img, 255,adaptive_method, threshold_type, block_size, double param) 。其中，dst表示输出的自适应二值化后的图像；img表示输入的锐化处理后的待分析区域；255表示超过阈值部分的取值；adaptive_method表示计算阈值所采用的方法；threshold_type表示阈值类型；block_size表示像素的邻阈块大小，通常取值为3、5、7等；double param表示偏移值调整量，计算阈值之后，再减或加盖偏移值调整量就是最终的阈值。

S4：对自适应二值化后的待分析区域进行开运算和闭运算，得到闭运算后的待分析区域。

对自适应二值化后的待分析区域进行开运算的目的是消除孤立点，以使得待检测装配件的轮廓更加平滑。示例性地，该步骤可以通过getstructuringelement函数和morphologyEx函数实现，且morphologyEx函数使用的参数由getstructuringelement函数返回的结果提供。具体地，getstructuringelement函数返回一个特定大小与形状的结构元素kernel用于形态学操作，生成的结构元素进一步传入morphologyEx函数中完成形态学操作。

示例性地，实现上述开运算，使得轮廓更加平滑所对应的程序可以为，kernel=cv2.getstructuringelement(shape, ksize, anchor)。其中，kernel表示定义的结构元素；shape表示元素的形状，例如可以为矩形、交叉形状以及椭圆等；ksize表示结构元素的大小，在本申请实施例中，ksize的取值可以为9，即表示定义的结构元素kernel的大小为9×9；anchor表示元素内的锚点位置，默认为（-1，-1），代表锚点位于形状的中心点。然后利用程序dst= cv2.morphologyEx(src, op, kernel)。其中，dst表示输出的经过开运算处理的待分析区域；src表示输入的自适应二值化后的待分析区域；op表示形态学操作的类型，由于该步骤为进行开运算，所以操作的类型为Morph_open；kernel表示结构元素，根据getstructuringelement函数定义得到。

对自适应二值化后的待分析区域进行开运算之后，再对进行开运算之后的待分析区域进行闭运算，提升轮廓的清晰度。可以理解，闭运算的实现方式与开运算的实现方式大致相同，只需要将结构元素kernel的大小换为15×15，op定义为Morph_close即可，因此，此处不再对闭运算的具体实现方式加以赘述。

S5：对闭运算后的待分析区域进行小区域去除操作，获得第一图像。

示例性地，可以使用Open CV中的RemoveSmallRegion函数进行小区域去除操作。具体地，对应的程序可以为，area=cv2.RemoveSmallRegion(src, checkMode,neihborMode)。其中，area表示输出的第一图像；src表示输入的闭运算之后的待分析区域；checkMode为0表示去除黑色区域，为1表示去除白色区域；neihborMode表示邻域类型，为0表示4邻域，为1表示8邻域，由于该步骤进行小区域去除操作，所以通常采用8邻域，即neihborMode取值为1。

402：确定第一图像中的待检测装配件的轮廓的尺寸参数，尺寸参数包括周长参数和面积参数中的至少一种。

在示例性实施例中，确定待检测装配件的轮廓的方式可以与前文步骤S1中确定装配件的轮廓方式相同，此处不再赘述。本申请不对轮廓的周长和面积等参数的计算方式加以限定。示例性地，得到轮廓之后，可以将具有待检测装配件的轮廓的图像输入至尺寸识别模型中，尺寸识别模型便可以输出待检测装配件的外轮廓的周长和面积等参数。此外，本申请实施例也不对外轮廓的周长和面积等参数的单位加以限定，示例性地，周长的单位可以为厘米、米，也可以为像素点个数等；同理，面积的单位可以为平方厘米、平方米，也可以像素点个数等。

403：在待检测装配件的轮廓的尺寸参数与标准装配件的轮廓的尺寸参数匹配时，获取待检测装配件的轮廓对应的第一目标区域内的目标像素点数量。

图8A示出了一种表牌和导光支架的装配件的图像示意图，如图8A所示，导光支架包括第一卡口801和第二卡口802，表牌包括表盘部（如图8A中所示的圆环外区域）、卡接于第一卡口801中的第一卡接部以及卡接于第二卡口802中的第二卡接部，第一卡口801的轮廓和表盘部的外轮廓重叠形成有第一重叠轮廓803（第一卡口801的轮廓和表盘部的外轮廓的交点c和点h之间的圆弧部分）；第二卡口802的轮廓和表盘部的外轮廓重叠形成有第二重叠轮廓804（第二卡口802的轮廓和表盘部的外轮廓的交点e和点f之间的圆弧部分）；在此种情况下，第一目标区域便可以包括第三目标区域805和第四目标区域806。因此，确定第一目标区域内的目标像素点数量也即分别确定第三目标区域805内的目标像素点数量和第四目标区域806内的目标像素点数量。

图8B示出了包含第三目标区域的装配件的局部放大图，如图8B所示，第三目标区域805为距离第一重叠轮廓803第一预设距离的第一边缘线807、距离第一重叠轮廓803第二预设距离的第二边缘线808、以及第一卡口的侧壁边缘809、第一卡口的侧壁边缘的延伸线810形成的区域；其中，第一预设距离小于第一重叠轮廓803至第一卡口的顶部边缘815之间的距离，第二预设距离大于第一重叠轮廓803至第一卡口的顶部边缘815之间的距离。

图8C示出了包含第四目标区域的装配件的局部放大图，如图8C所示，第四目标区域806为距离第二重叠轮廓804第三预设距离的第三边缘线811、距离第二重叠轮廓804第四预设距离的第四边缘线812、以及第二卡口的侧壁边缘813、第二卡口的侧壁边缘的延伸线814形成的区域；其中，第三预设距离小于第二重叠轮廓804至第二卡口的顶部边缘816之间的距离，第四预设距离大于第二重叠轮廓804至第二卡口的顶部边缘816之间的距离。

其中，将上述第三边缘线811、第四边缘线812、侧壁边缘813以及侧壁边缘的延伸线814形成的区域作为第三目标区域的原因是，该区域更靠近表牌和导光支架的卡接部分，也即，表牌和导光支架装配的合格与否主要体现在第三目标区域内部的像素点（也即第一卡口的顶部边缘的轮廓部分像素点）的个数上，因此，计算第三目标区域内的像素点的个数是确定装配件是否合格的较快速、简单且高效的方式，第四目标区域的选择同理。

在本申请实施例中，第一重叠轮廓和第一卡口的外轮廓之间的参考距离d根据图像采集设备在工作距离下对标准装配件进行拍摄得到，因此，对于与标准装配件同一批次的待检测装配件，d为固定值。且如图8D所示，在示例性实施例中，第一预设距离可以为0.9d，第二预设距离可以为1.1d。

同样的，第二重叠轮廓和第二卡口的外轮廓之间的参考距离d根据图像采集设备在工作距离下对标准装配件进行拍摄得到，且在示例性实施例中，第三预设距离可以为0.9d，第四预设距离可以为1.1d。

404：若目标像素点数量位于预设范围内，确定待检测装配件装配合格，其中，预设范围基于第二图像中标准装配件的轮廓对应的第二目标区域内的目标像素点的数量确定。

基于上述情况，确定待检测装配件的轮廓对应的第一目标区域内的目标像素点数量位于预设范围内的方式，包括：若第三目标区域内的目标像素点的数量位于第一预设范围内，且第四目标区域内的目标像素点的数量位于第二预设范围内，确定待检测装配件装配合格。

其中，第一预设范围基于第二图像中标准装配件的轮廓对应的第五目标区域内的目标像素点的数量N确定，同理，第二预设范围基于第二图像中标准装配件的轮廓对应的第六目标区域内的目标像素点的数量P确定。其中，标准装配件的轮廓对应的第五目标区域和第六目标区域可以理解为标准装配件对应的图像中的对应区域，该对应区域的位置确定方式与待检测装配件的图像中的第三目标区域和第四目标区域的位置确定方式一致。

示例性地，第一预设范围可以为0.9N-1.1N。因此，若第三目标区域的目标像素点数量M在0.9N-1.1N之内，则表示装配合格，若M不在0.9N-1.1N之内，则表示装配不合格。第二预设范围可以为0.9P-1.1P，因此，若第四目标区域的目标像素点数量L在0.9P-1.1P之内，则表示装配合格，若L不在0.9P-1.1P之内，则表示装配不合格。

此种方式可以使得第三目标区域和第四目标区域实现并行计算，提高计算速度和效率。此外，可以理解，只有第三目标区域和第四目标区域分别在第一预设范围和第二预设范围内时，才能表示待检测装配件装配合格。

图9示出了本申请实施例提供的装配检测方法的细节流程示意图。如图9所示，该方法包括如下步骤：

901：获取由表牌和导光支架装配得到的待检测装配件的原图。

其中，待检测装配件的原图的示意图可参见图10A。

902：对原图进行光照补偿，得到光照补偿后的原图。

其中，光照补偿后的原图的示意图可参见图10B。

903：确定光照补偿后的原图中的待检测装配件轮廓。

904：判断待检测装配件轮廓是否与标准装配件轮廓一致。

示例性地，标准装配件可以对应如图10C所示的模板图像，也即是说，模板图像为采用图像采集设备对标准装配件进行拍摄得到的图像。

若一致，则执行步骤905；若不一致，则表示待检测装配件不合格，结束操作。

905：确定光照补偿后的原图中待分析的感兴区域。

其中，待分析的感兴区域的示意图可参见图10D，即前述提及的待检测装配件的轮廓的最小外接多边形。

906：对待分析的感兴区域进行卷积滤波操作。

其中，卷积滤波操作之后的待分析的感兴区域的示意图可参见图10E。

907：对卷积滤波后的感兴区域进行二值化处理。

其中，该步骤包括对卷积滤波后的待分析的感兴区域进行自适应二值化，得到自适应二值化后的待分析的感兴区域，然后对自适应二值化后的待分析的感兴区域进行开运算和闭运算，再对闭运算之后的待分析的感兴区域进行小区域去除操作，得到二值化处理之后的感兴区域，且该感兴区域的示意图可参见图10F。

可以理解，上述步骤901-907与前文步骤401的原理相同，此处不再赘述。

908：确定二值化处理后的感兴区域中的待检测装配件的轮廓。

909：判断待检测装配件的轮廓的周长和面积是否指示装配合格。

若是，则执行步骤910；若否，则表示待检测装配件不合格，结束操作。

910：以质心将待检测装配件的轮廓分为上下轮廓，并拟合圆弧。

其中，以质心将待检测装配件的轮廓分为上下轮廓也即，将前文步骤403中提及的卡口的侧壁边缘、卡口的顶部边缘以及圆环外轮廓形成的轮廓以质心分为上下轮廓。且拟合圆弧指代前文所述的拟合出卡口轮廓和表盘外轮廓重叠形成的重叠轮廓，即对应图8A中的第一重叠轮廓803和第二重叠轮廓804。

911：确定上下轮廓分别在与拟合圆弧的距离差值在0.9d-1.1d范围内的像素点个数M。

在一些实施例中，确定出上下轮廓以及得到上轮廓对应的上拟合圆弧（第一重叠轮廓）、下轮廓对应的下拟合圆弧（第二重叠轮廓）之后，可以分别计算上轮廓在与上拟合圆弧的距离差值在0.9d-1.1d范围内的像素点个数和下轮廓在与下拟合圆弧的距离差值在0.9d-1.1d范围内的像素点个数。其中，上轮廓对应的像素点个数和下轮廓对应的像素点个数可以并行计算，此种方式可以提高计算效率。

912：判断M是否大于0.9N且小于1.1N。

若是，则表示待检测装配件装配合格，若否，则表示待检测装配件装配不合格。

可以理解，上述步骤908-912与前文步骤402-404的原理相同，此处不再赘述。

本申请提供的装配检测方法，在确定待检测装配件的轮廓的过程中，对待检测装配件对应的第一图像进行了光照补偿、图像锐化以及形态学操作等处理，使得待检测装配件的轮廓更加清晰、平滑，以便后续基于获取到的待检测装配件的轮廓对应的第一目标区域内的目标像素点数量是否位于预设范围内确定待检测装配件是否装配合格，可以提升装配检测结果的准确性。

此外，本申请提供一种计算机可读存储介质，其上存储有指令，该指令在计算机上执行时使计算机执行上述实施例中涉及的装配检测方法。

本申请还提供一种计算机程序产品，包括：执行指令，执行指令存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取执行指令，至少一个处理器执行执行指令使得电子设备实现上述实施例中涉及的装配检测方法。

可以理解，如本文所使用的，术语“模块”可以指代或者包括专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器（共享、专用、或群组）和/或存储器、组合逻辑电路、和/或提供所描述的功能的其他适当硬件组件，或者可以作为这些硬件组件的一部分。

可以理解，在本申请各实施例中，处理器可以是微处理器、数字信号处理器、微控制器等，和/或其任何组合。根据另一个方面，所述处理器可以是单核处理器，多核处理器等，和/或其任何组合。

本申请公开的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统（包括易失性和非易失性存储器和/或存储元件）、至少一个输入设备以及至少一个输出设备。

可将程序代码应用于输入指令，以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有诸如例如数字信号处理器（DSP）、微控制器、专用集成电路（ASIC)或微处理器之类的处理器的任何系统。

程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本申请中描述的机制 不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。

在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读（例如，计算机可读）存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读介质分发。因此，机器可读介质可以包括用于以机器（例如，计算机）可读的形式存储或传输信息的任何机制，包括但不限于，软盘、光盘、光碟、只读存储器（CD-ROMs）、磁光盘、只读存储器（ROM）、随机存取存储器（RAM）、可擦除可编程只读存储器（EPROM）、电可擦除可编程只读存储器（EEPROM）、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息（例如，载波、红外信号数字信号等）的有形的机器可读存储器。因此，机器可读介质包括适合于以机器（例如，计算机）可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。

在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。

需要说明的是，本申请各设备实施例中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元/模块可以是一个物理单元/模块，也可以是一个物理单元/模块的一部分，还可以以多个物理单元/模块的组合实现，这些逻辑单元/模块本身的物理实现方式并不是最重要的，这些逻辑单元/模块所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外，为了突出本申请的创新部分，本申请上述各设备实施例并没有将与解决本申请所提出的技术问题关系不太密切的单元/模块引入，这并不表明上述设备实施例并不存在其它的单元/模块。

需要说明的是，在本专利的示例和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本申请的某些优选实施例，已经对本申请进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本申请的范围。

Claims (10)

1.一种装配检测方法，应用于电子设备，其特征在于，所述方法包括：

获取待检测装配件对应的第一图像，所述待检测装配件由表牌和导光支架装配得到；

确定所述第一图像中的待检测装配件的轮廓的尺寸参数，所述尺寸参数包括周长参数和面积参数中的至少一种；

在所述待检测装配件的轮廓的尺寸参数与标准装配件的轮廓的尺寸参数匹配时，获取所述待检测装配件的轮廓对应的第一目标区域内的目标像素点数量；

若所述目标像素点数量位于预设范围内，则确定所述待检测装配件装配合格，其中，所述预设范围基于第二图像中所述标准装配件的轮廓对应的第二目标区域内的目标像素点的数量确定。

2.根据权利要求1所述的方法，其特征在于，所述获取待检测装配件对应的第一图像，包括：

获取所述待检测装配件对应的原始图像，所述原始图像基于对所述待检测装配件进行拍摄得到；

对所述原始图像进行光照补偿处理，获取第三图像；

基于所述第三图像获取所述第一图像。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第三图像获取所述第一图像，包括：

确定所述第三图像中的待分析区域，所述待分析区域为所述第三图像中所述待检测装配件的轮廓的最小外接多边形区域；

对所述待分析区域进行目标处理，获取所述第一图像。

4.根据权利要求3所述的方法，其特征在于，所述确定所述第三图像中的待分析区域，包括：

在所述第三图像中确定所述待检测装配件的轮廓；

对所述待检测装配件的轮廓和所述标准装配件的轮廓进行匹配，得到匹配结果；

若所述匹配结果指示所述待检测装配件的轮廓和所述标准装配件的轮廓匹配成功，将所述第三图像中待检测装配件的轮廓的最小外接多边形区域作为所述待分析区域。

5.根据权利要求3所述的方法，其特征在于，所述对所述待分析区域进行目标处理，获取所述第一图像，包括：

对所述待分析区域进行图像锐化处理，得到锐化处理后的待分析区域；

对所述锐化处理后的待分析区域进行形态学操作，获取所述第一图像。

6.根据权利要求5所述的方法，其特征在于，所述对所述锐化处理后的待分析区域进行形态学操作，获取所述第一图像，包括：

对所述锐化处理后的待分析区域进行自适应二值化处理，得到自适应二值化后的待分析区域；

对所述自适应二值化后的待分析区域依次进行开运算和闭运算，得到闭运算后的待分析区域；

对所述闭运算后的待分析区域进行小区域去除操作，获得所述第一图像。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述导光支架包括第一卡口和第二卡口，所述表牌包括表盘部，所述第一卡口和所述表盘部的外轮廓的两个交点之间具有第一重叠轮廓；所述第二卡口和所述表盘部的外轮廓的两个交点之间具有第二重叠轮廓；

所述第一目标区域包括第三目标区域和第四目标区域；

所述第三目标区域为距离所述第一重叠轮廓第一预设距离的第一边缘线、距离所述第一重叠轮廓第二预设距离的第二边缘线、以及所述第一卡口侧壁边缘、第一卡口的侧壁边缘的延伸线形成的区域；

所述第四目标区域为距离所述第二重叠轮廓第三预设距离的第三边缘线、距离所述第二重叠轮廓第四预设距离的第四边缘线、以及所述第二卡口的侧壁边缘、第二卡口的侧壁边缘的延伸线形成的区域；

其中，所述第一预设距离小于所述第一重叠轮廓至所述第一卡口的顶部边缘之间的距离，所述第二预设距离大于所述第一重叠轮廓至所述第一卡口的顶部边缘之间的距离；

所述第三预设距离小于所述第二重叠轮廓至所述第二卡口的顶部边缘之间的距离，所述第四预设距离大于所述第二重叠轮廓至所述第二卡口的顶部边缘之间的距离。

8.根据权利要求7所述的方法，其特征在于，确定所述待检测装配件的轮廓对应的第一目标区域内的目标像素点数量位于预设范围内的方式，包括：

若所述第三目标区域内的目标像素点的数量位于第一预设范围内，且所述第四目标区域内的目标像素点的数量位于第二预设范围内，确定所述待检测装配件装配合格。

9.一种电子设备，其特征在于，包括：一个或多个处理器；一个或多个存储器；所述一个或多个存储器存储有一个或多个程序，当所述一个或者多个程序被所述一个或多个处理器执行时，使得所述电子设备执行权利要求1至8中任一项所述的装配检测方法。

10.一种计算机可读介质，其特征在于，所述可读介质上存储有指令，所述指令在计算机上执行时使所述计算机执行权利要求1至8中任一项所述的装配检测方法。