CN116503413B - 基于计算机视觉的灯丝质量智能检测方法 - Google Patents

Abstract

本发明涉及灯丝照明技术领域，具体涉及一种基于计算机视觉的灯丝质量智能检测方法，包括，获取灯丝检测图像和灯丝模板图像，进而获得各个目标关键点对、各个目标检测关键点以及各个目标模块关键点；确定方向校正系数和距离矫正系数，进而确定第一匹配概率和第二匹配概率；通过由第一匹配概率和第二匹配概率确定的匹配程度，统计未匹配成功关键点的总数量；根据未匹配成功关键点的总数量，判断待检测灯丝是否发生弯曲。本发明通过每个目标检测关键点和各个目标模块关键点进行匹配时对应的匹配程度，获得更准确的未匹配成功关键点的总数量，有效提高了灯丝质量检测结果的准确性，主要应用于灯丝质量检测领域。

Description

基于计算机视觉的灯丝质量智能检测方法

技术领域

本发明涉及灯丝照明技术领域，具体涉及一种基于计算机视觉的灯丝质量智能检测方法。

背景技术

灯丝是电子器件中常用的电子元件之一，它在电路中起着导电、连接等作用。在灯丝安装过程中受一些外力作用的影响，灯丝容易发生弯曲或扭曲变形，弯曲的灯丝可能会影响其使用寿命和性能稳定性，导致不能正常工作。因此，需要检查灯丝的结构有无缺陷，具体为察看灯丝是否弯曲。

现有通常利用图像配准法检测灯丝是否发生弯曲变形，具体为采集的待检测灯丝图像与预设的模板图像的像素分布情况进行比较，从而判断灯丝是否存在质量问题。虽然图像配准法可以通过一个合适的多项式拟合两个图像之间的平移和旋转，但是受采集图像设备的影响，平移和旋转变换容易造成图像畸变，图像畸变改变了待检测灯丝图像中目标物体的像素分布。此时，再进行多项式拟合时会出现部分像素点无法对应的情况，导致图像矫正效果不佳，影响灯丝质量检测结果的准确性。

发明内容

为了解决上述灯丝质量检测结果的准确性较差的技术问题，本发明的目的在于提供一种基于计算机视觉的灯丝质量智能检测方法，所采用的技术方案具体如下：

本发明一个实施例提供了一种基于计算机视觉的灯丝质量智能检测方法，该方法包括以下步骤：

获取待检测灯丝对应的灯丝检测图像和灯丝模板图像，对所述灯丝检测图像和灯丝模板图像进行图像匹配处理，获得各个目标关键点对、各个目标检测关键点以及各个目标模块关键点；

根据任意两个目标关键点对在同一水平面上的位置确定方向校正系数；根据方向校正系数、任意一个目标关键点对、任意一个目标检测关键点和各个目标模块关键点的位置，确定对应目标检测关键点和各个目标模块关键点之间的距离矫正系数；

根据各个目标关键点对、对应目标检测关键点和各个目标模块关键点的位置、距离矫正系数和方向校正系数，确定对应目标检测关键点和各个目标模块关键点进行匹配时对应的第一匹配概率；

构建对应目标检测关键点和各个目标模块关键点对应的局部区域；根据所述局部区域内每个像素点的像素值，确定对应目标检测关键点和各个目标模块关键点进行匹配时对应的第二匹配概率；

根据所述第一匹配概率和所述第二匹配概率，确定对应目标检测关键点和各个目标模块关键点进行匹配时对应的匹配程度；

根据对应目标检测关键点和各个目标模块关键点进行匹配时对应的匹配程度，筛选出灯丝检测图像和灯丝模板图像中未匹配成功的关键点，进而统计未匹配成功关键点的总数量；

根据所述未匹配成功关键点的总数量，判断待检测灯丝是否发生弯曲。

进一步地，所述目标关键点对为灯丝检测图像中关键点和灯丝模板图像中与其相匹配的匹配关键点构成的关键点对；所述目标检测关键点为灯丝检测图像中初次匹配未匹配成功的关键点；所述目标模块关键点为灯丝模板图像中初次匹配未匹配成功的关键点。

进一步地，根据任意两个目标关键点对在同一水平面上的位置确定方向校正系数，包括：

根据任意两个目标关键点对在同一水平面上的位置，确定对应两个目标关键点对之间的距离，进而计算对应两个目标关键点之间的距离的比值，利用反正切函数对所述比值进行数据处理，将反正切函数处理后的比值确定为方向矫正系数。

进一步地，所述距离矫正系数的计算公式为：

其中，为灯丝检测图像中初次匹配未匹配成功的关键点与灯丝模板图像中初 次匹配未匹配成功的关键点之间的距离矫正系数，为方向校正系数，为方向校正系 数的正弦值，为灯丝检测图像中匹配成功的关键点与未匹配成功的关键点之 间的距离，为灯丝模板图像中匹配成功的关键点与未匹配成功的关键点之间 的距离，为方向校正系数的余弦值。

进一步地，所述第一匹配概率的计算公式为：

其中，为灯丝检测图像中初次匹配未匹配成功的关键点与灯丝模板图 像中初次匹配未匹配成功的关键点进行匹配时对应的第一匹配概率，n为灯丝检测图像 中匹配成功的关键点的数量，j为匹配成功的关键点的序号，为灯丝检测图像中第j 个匹配成功的关键点与灯丝模板图像中第j个匹配成功的关键点之间的距离，灯丝检测 图像中第j个匹配成功的关键点在灯丝模板图像中的匹配关键点为，为灯丝检测图像 中第j个匹配成功的关键点与灯丝模板图像中第j个匹配成功的关键点之间的连线与水 平方向的夹角，为180度，为灯丝检测图像中初次匹配未匹配成功的关键点与 灯丝模板图像中初次匹配未匹配成功的关键点之间的距离，为灯丝检测图像中初次匹 配未匹配成功的关键点与灯丝模板图像中初次匹配未匹配成功的关键点之间的距离 矫正系数，为灯丝检测图像中初次匹配未匹配成功的关键点与灯丝模板图像中初次匹 配未匹配成功的关键点之间的连线与水平方向的夹角，为方向校正系数，exp为指数函 数。

进一步地，根据所述局部区域内每个像素点的像素值，确定对应目标检测关键点和各个目标模块关键点进行匹配时对应的第二匹配概率，包括：

对于对应目标检测关键点和任意一个目标模块关键点，对目标检测关键点和目标模块关键点对应的局部区域进行边缘检测，获得所述局部区域内的边缘像素点个数和相邻边缘像素点的连线斜率；

将目标检测关键点对应的局部区域内的边缘像素点个数与目标模块关键点对应的局部区域内的边缘像素点个数之间的差值，确定为对应目标检测关键点的第一差值；

将目标检测关键点对应的局部区域内所有连线斜率的累加和确定为第一累加和，将目标模块关键点对应的局部区域内所有连线斜率的累加和确定为第二累加和，将所述第一累加和与所述第二累加和之间的差值，确定为对应目标检测关键点的第二差值；

将目标检测关键点对应的局部区域内所有像素点的像素值的平均值确定为第一像素平均值，将目标模块关键点对应的局部区域内所有像素点的像素值的平均值确定为第二像素平均值，将所述第一像素平均值与所述第二像素平均值之间的差值，确定为对应目标检测关键点的第三差值；

计算对应目标检测关键点的第一差值、第二差值和第三差值的乘积，将所述乘积的绝对值进行反比例的归一化处理，将反比例归一化处理后的数值确定为对应目标检测关键点和对应目标模块关键点进行匹配时对应的第二匹配概率。

进一步地，根据所述第一匹配概率和所述第二匹配概率，确定对应目标检测关键点和各个目标模块关键点进行匹配时对应的匹配程度，包括：

对于对应目标检测关键点和任意一个目标模块关键点，计算目标检测关键点和目标模块关键点进行匹配时第一匹配概率和第二匹配概率的乘积，将所述第一匹配概率和第二匹配概率的乘积确定为对应目标检测关键点和对应目标模块关键点进行匹配时对应的匹配程度。

进一步地，根据对应目标检测关键点和各个目标模块关键点进行匹配时对应的匹配程度，筛选出灯丝检测图像和灯丝模板图像中未匹配成功的关键点，包括：

将对应目标检测关键点和各个目标模块关键点进行匹配时对应的匹配程度与最小匹配程度阈值进行比对；若任意一个匹配程度大于最小匹配程度阈值，则将最大匹配程度对应的目标模块关键点确定为对应目标检测关键点的匹配关键点，否则，将对应目标检测关键点确定为灯丝检测图像中未匹配成功的关键点；

对灯丝检测图像和灯丝模板图像中匹配成功的关键点进行标记，剔除灯丝检测图像和灯丝模板图像中的标记关键点，将灯丝检测图像和灯丝模板图像中的剩余关键点确定为未匹配成功的关键点。

进一步地，根据所述未匹配成功关键点的总数量，判断待检测灯丝是否发生弯曲，包括：

若未匹配成功关键点的总数量大于关键点数量阈值，则判定待检测灯丝发生弯曲，否则，判定待检测灯丝没有发生弯曲。

进一步地，构建对应目标检测关键点和各个目标模块关键点对应的局部区域，包括：

对于目标检测关键点，以对应目标检测关键点为中心，构建中心对应的预设尺寸的窗口区域，将所述窗口区域确定为对应目标检测关键点的局域区域，从而获得对应目标检测关键点和各个目标模块关键点对应的局部区域。

本发明具有如下有益效果：

本发明提供了一种基于计算机视觉的灯丝质量智能检测方法，该方法通过分析灯丝检测图像中初次匹配时对应的各个目标检测关键点以及各个目标模块关键点之间的图像特征信息，获得每个目标检测关键点和各个目标模块关键点进行匹配时对应的匹配程度，根据匹配程度对灯丝检测图像中初次匹配时未匹配成功的关键点再次进行匹配，获得未匹配成功关键点的总数量，进而判断待检测灯丝是否发生弯曲，主要应用于灯丝质量检测领域。相比现有图像配准法，本发明确定的方向校正系数和距离矫正系数，有效提升了灯丝检测图像的矫正效果；通过方向校正系数和距离矫正系数获得的第一匹配概率，可以更准确地描述发生偏移或旋转的灯丝模板图像中的各个目标模块关键点为灯丝检测图像中目标检测关键点的匹配关键点的可能性；确定第二匹配概率可以有效克服灯丝检测图像中目标物体像素分布发生改变而导致匹配准确性降低的缺陷；从两个角度分析对应目标检测关键点和各个目标模块关键点进行匹配时对应的匹配程度，即第一匹配概率和第二匹配概率，有助于提高匹配程度的精准性；更精准的匹配程度，可以获得更准确的未匹配成功关键点的总数量，通过更准确的未匹配成功关键点的总数量，判断待检测灯丝是否发生弯曲，提高了灯丝质量检测结果的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一种基于计算机视觉的灯丝质量智能检测方法的流程图；

图2为本发明实施例中同一水平面的灯丝检测图像和灯丝模板图像；

图3为本发明实施例中灯丝检测图像映射到灯丝模板图像上对应的示意图。

其中，附图标记包括：同一水平面的灯丝模板图像2001、同一水平面的灯丝检测图像2002、被映射的灯丝模板图像3001和映射到灯丝模板图像上的灯丝检测图像3002。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一个实施例。此外，一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

本实施例所针对的情景为：灯丝存在的质量问题中弯曲变形是一种常见的缺陷，主要是安装灯丝过程中受一些外力作用的影响造成灯丝弯曲，导致不能正常工作，因此，需要对灯丝质量进行检测。为了实现灯丝质量检测，提供了一种基于计算机视觉的灯丝质量智能检测方法，该方法的流程图如图1所示，该检测方法可以有效提高生产效率和质量，减少人工操作和误判的风险。同时，该方法能够自动化处理大量的图像数据，发现潜在风险并及时进行应对，保证了灯丝生产质量的稳定性和可靠性。具体实现过程包括以下步骤：

S1，获取待检测灯丝对应的灯丝检测图像和灯丝模板图像，对灯丝检测图像和灯丝模板图像进行图像匹配处理，获得各个目标关键点对、各个目标检测关键点以及各个目标模块关键点，具体实现步骤可以包括：

第一步，获取待检测灯丝对应的灯丝检测图像和灯丝模板图像。

本实施例的主要目的是对灯丝进行质量检测，因此需要采集待检测灯丝的图像，为了便于后续区分灯丝模板图像，将采集的待检测灯丝图像称为灯丝检测图像。在进行图像配准时，需要选择一个标准的灯丝模板图像，灯丝模板图像中的灯丝和待检测灯丝属于同一个类型。对于灯丝检测图像，在采集灯丝检测图像时，将灯泡放在一个纯色背景板上，使用高清电荷耦合元件（Charge coupled Device，CCD）相机进行拍摄，然后，将所拍摄的灯丝检测图像通过数据传输线传输到缺陷检测系统，对灯丝检测图像进行图像处理；对于灯丝模板图像，选择的灯丝模板图像是通过高清相机在光照均匀的情况下从正前方拍摄的高清图像，并且背景均匀，不存在背景的干扰。

在拍摄待检测灯丝对应的灯丝检测图像和灯丝模板图像时，受外部环境的影响，图像中容易产生噪声，此时可以利用维纳滤波算法，对灯丝检测图像和灯丝模板图像进行去噪处理，获得去噪处理后的灯丝检测图像和灯丝模板图像。维纳滤波算法的实现过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。其中，关于图像配准，图像配准是一种常用的计算机视觉技术，可以在图像中找到特定的目标，其基本原理是通过在待检测图像中确定与给定模板相似的子图像区域来实现目标检测和定位。具体地，图像配准是基于像素级别的匹配，根据相同位置之间像素点来确定待测目标与模板目标之间的相似程度。相似程度越大，说明待测目标与模板目标越匹配，灯丝存在弯曲缺陷的可能性越小。

第二步，对灯丝检测图像和灯丝模板图像进行图像匹配处理，获得各个目标关键点对、各个目标检测关键点以及各个目标模块关键点。

在本实施例中，在进行图像配准时，需要根据灯丝检测图像和灯丝模板图像的局部特征进行相似度匹配。为了可以准确进行相似度匹配，利用尺度不变性特征匹配算法（Scale Invariant Feture Transform，SIFT）对灯丝检测图像和灯丝模板图像进行关键点检测，获得初次匹配时对应的灯丝检测图像中各个匹配成功的关键点和各个未匹配成功的关键点、灯丝模板图像中各个匹配成功的关键点和各个未匹配成功的关键点。为了便于描述，本实施例将灯丝检测图像中关键点和灯丝模板图像中与其相匹配的匹配关键点构成的关键点对确定为目标关键点对，目标关键点对中的两个关键点在对应图像中的图像特征极为相似；将灯丝检测图像中初次匹配未匹配成功的关键点确定为目标检测关键点；将灯丝模板图像中初次匹配未匹配成功的关键点确定为目标模块关键点。SIFT算法的实现过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

需要说明的是，若关键点检测后的两个图像中不存在未匹配成功的关键点，则说明灯丝检测图像的待测目标与灯丝模板图像的模板目标几乎不存在任何差异，可以直接判定待检测灯丝不存在灯丝弯曲缺陷。但本实施例所要解决的技术问题是图像畸变改变了的待检测灯丝图像中目标物体的像素分布，造成图像矫正效果不佳，导致通过SIFT算法所获得的匹配结果准确性较差，现有图像配准对应的灯丝质量检测结果的准确性较差，因此需要假设关键点检测后的两个图像中存在未匹配成功的关键点。

至此，本实施例获得了各个目标关键点对、各个目标检测关键点以及各个目标模块关键点。

S2，根据任意两个目标关键点对在同一水平面上的位置确定方向校正系数；根据方向校正系数、任意一个目标关键点对、任意一个目标检测关键点和各个目标模块关键点的位置，确定对应目标检测关键点和各个目标模块关键点之间的距离矫正系数，具体实现步骤可以包括：

第一步，根据任意两个目标关键点对在同一水平面上的位置确定方向校正系数。

根据任意两个目标关键点对在同一水平面上的位置，确定对应两个目标关键点对之间的距离，进而计算对应两个目标关键点之间的距离的比值，利用反正切函数对比值进行数据处理，将反正切函数处理后的比值确定为方向矫正系数。

在本实施例中，方向矫正系数为灯丝检测图像中的检测目标发生偏移或旋转时对应的偏移角度，而在采集图像时发生旋转或偏移是图像整体发生旋转或偏移，不同位置的关键点发生偏移角度相同，故可以对灯丝检测图像和灯丝模板图像中匹配成功的关键点进行分析，确定灯丝检测图像整体的方向校正系数。具体，将灯丝检测图像和灯丝模板图像放置在同一水平面上，同一水平面的灯丝检测图像和灯丝模板图像如图2所示，2001为同一水平面的灯丝模板图像，2002为同一水平面的灯丝检测图像，在图2中任意选择两个目标关键点对，根据两个目标关键点对中每个关键点在图像中的位置，计算每个目标关键点对之间的欧氏距离，欧氏距离的计算过程为现有技术，此处不再进行详细阐述。根据两个目标关键点对中每个目标关键点对之间的距离，确定方向校正系数，方向矫正系数的计算公式可以为：

其中，为方向矫正系数，为灯丝检测图像中匹配成功的关键点与灯丝 模板图像中匹配成功的关键点之间的距离，为灯丝模板图像中匹配成功的关键 点与灯丝模板图像中匹配成功的关键点之间的距离，为反正切函数。

需要说明的是，待检测灯丝在发生偏移和倾斜时是整体发生的，所以灯丝检测图 像中每个目标检测关键点与其相匹配的目标模块关键点连接构成的直线与水平方向的夹 角发生偏移时对应的偏移角度相同，也就是方向矫正系数相同。灯丝检测图像中关键点 在灯丝模板图像中对应的匹配关键点为关键点，因此，关键点和关键点可以构成目 标关键点对，关键点和关键点也可以构成目标关键点对。

第二步，根据方向校正系数、任意一个目标关键点对、任意一个目标检测关键点和各个目标模块关键点的位置，确定对应目标检测关键点和各个目标模块关键点之间的距离矫正系数。

在本实施例中，距离矫正系数是指目标检测关键点相对于目标模块关键点的偏移距离，将灯丝检测图像映射到灯丝模板图像中，此时，目标关键点对中两个匹配成功的关键点的位置相同，灯丝检测图像映射到灯丝模板图像上对应的示意图如图3所示，3001为被映射的灯丝模板图像，3002为映射到灯丝模板图像上的灯丝检测图像。灯丝检测图像整体对应的方向校正系数相同，故在计算距离偏移系数时，可以根据灯丝检测图像和灯丝模板图像中的各个关键点在图3中的位置，利用三角函数相关知识，计算任意一个目标检测关键点相对于各个目标模块关键点在偏移过程中产生的偏移距离，也就是确定对应目标检测关键点和各个目标模块关键点之间的距离矫正系数，距离矫正系数的计算公式可以为：

其中，为灯丝检测图像中初次匹配未匹配成功的关键点与灯丝模板图像中初 次匹配未匹配成功的关键点之间的距离矫正系数，为方向校正系数，为方向校正系 数的正弦值，为灯丝检测图像中匹配成功的关键点与未匹配成功的关键点之 间的距离，为灯丝模板图像中匹配成功的关键点与未匹配成功的关键点之间 的距离，为方向校正系数的余弦值。

值得说明的是，分析灯丝检测图像中任意一个目标检测关键点，就将对应目标检测关键点和灯丝模板图像中各个目标模块关键点之间的距离代入到距离矫正系数中，一个目标检测关键点可以对应多个距离矫正系数。

例如，分析灯丝检测图像中初次匹配未匹配成功的关键点e与灯丝模板图像中初 次匹配未匹配成功的关键点d之间的距离矫正系数，灯丝检测图像中初次匹配未匹配成功 的关键点也就是目标检测关键点，灯丝模板图像中初次匹配未匹配成功的关键点也就是目 标模块关键点，任意一个目标关键点对为重合的关键点c。首先，过关键点d作线段ce的垂 线，垂足为D，线段cd和线段ce的夹角为方向校正系数；然后，根据三角函数特征，线段dD的 长度应为，线段cD的长度应为，根据线段cD的长度和线段ce的长度可以 获得线段De的长度，即线段De的长度可以为；最后，根据勾股定理，计算线段de的长 度，即de=，线段de也就是偏移距离，将对应偏移距离确定为灯丝检测图像中初 次匹配未匹配成功的关键点e与灯丝模板图像中初次匹配未匹配成功的关键点d之间的距 离矫正系数。

至此，本实施例确定了方向矫正系数和距离矫正系数。

S3，根据各个目标关键点对、对应目标检测关键点和各个目标模块关键点的位置、距离矫正系数和方向校正系数，确定对应目标检测关键点和各个目标模块关键点进行匹配时对应的第一匹配概率。

需要说明的是，在进行图像配准时，需要根据灯丝检测图像和灯丝模板图像中关键点的位置关系，获得匹配矩阵，进而获得匹配参数。在确定匹配矩阵时，需要明确两个图像中各个关键点之间的对应关系，但是本实施例采集的灯丝检测图像受图像畸变和拍摄角度的影响，导致灯丝检测图像中的部分关键点的位置关系不准确，最后获得的匹配矩阵并不能包含所有匹配成功的关键点，导致灯丝检测图像的配准率低下，进而造成灯丝质量检测结果的准确性较差。

在本实施例中，在对两张完全相同的图像进行图像配准时，所有关键点与其对应的匹配关键点之间的距离和夹角应是相同的，但是灯丝检测图像发生倾斜、畸变和缩放等情况，导致关键点与其对应的匹配关键点之间的距离和夹角发生变化，出现关键点与其对应的匹配关键点匹配不上的情况。因此，在分析目标检测关键点和各个目标模块关键点进行匹配时对应的第一匹配概率时，通过匹配成功的各个目标关键点对、目标检测关键点和目标模块关键点的位置信息、距离矫正系数和方向校正系数进行匹配概率分析，第一匹配概率的计算公式可以为：

其中，为灯丝检测图像中初次匹配未匹配成功的关键点与灯丝模板图 像中初次匹配未匹配成功的关键点进行匹配时对应的第一匹配概率，n为灯丝检测图像 中匹配成功的关键点的数量，j为匹配成功的关键点的序号，为灯丝检测图像中第j 个匹配成功的关键点与灯丝模板图像中第j个匹配成功的关键点之间的距离，灯丝检测 图像中第j个匹配成功的关键点在灯丝模板图像中的匹配关键点为，为灯丝检测图像 中第j个匹配成功的关键点与灯丝模板图像中第j个匹配成功的关键点之间的连线与水 平方向的夹角，为180度，为灯丝检测图像中初次匹配未匹配成功的关键点与 灯丝模板图像中初次匹配未匹配成功的关键点之间的距离，为灯丝检测图像中初次匹 配未匹配成功的关键点与灯丝模板图像中初次匹配未匹配成功的关键点之间的距离 矫正系数，为灯丝检测图像中初次匹配未匹配成功的关键点与灯丝模板图像中初次匹 配未匹配成功的关键点之间的连线与水平方向的夹角，为方向校正系数，exp为指数函 数。

在第一匹配概率的计算公式中，可以表征所有目标关键点 对整体对应的距离特征和角度特征，即匹配成功的关键点之间的图像特征； 可以表征通过目标检测关键点和目标模块关键点之间的距离矫正系数对进 行矫正；可以表征通过方向校正系数对目标检测关键点和目标模块关键点 之间的夹角进行矫正；表示将角度制转化为弧度制；可以表 征未匹配成功但进行过矫正的关键点之间的图像特征；通过计算匹配成功的关键点之间的 图像特征与未匹配成功但进行过矫正的关键点之间的图像特征之间的差异，可以确定未匹 配成功的关键点为未匹配成功的关键点的匹配关键点的概率；若未匹配成功的两个点和之间的特征差异越小，匹配可能性越大；为利用负相关的指数函 数对两者之间的差异进行反比例的归一化处理，第一匹配概率的取值范围为0到1之间。

需要说明的是，参考灯丝检测图像中初次匹配未匹配成功的关键点与灯丝模板 图像中初次匹配未匹配成功的关键点进行匹配时对应的第一匹配概率的计算过程，可以 获得灯丝检测图像中每个未匹配成功的关键点与灯丝模板图像中所有未匹配成功的关键 点进行匹配时对应的第一匹配概率，每个目标检测关键点对应多个第一匹配概率。

至此，本实施例获得了每个目标检测关键点和各个目标模块关键点进行匹配时对应的第一匹配概率。

S4，构建对应目标检测关键点和各个目标模块关键点对应的局部区域；根据局部区域内每个像素点的像素值，确定对应目标检测关键点和各个目标模块关键点进行匹配时对应的第二匹配概率。

需要说明的是，在分析目标检测关键点和各个目标模块关键点进行匹配时的图像特征时，还需要考虑到采集的灯丝检测图像发生畸变的特殊情况。当灯丝检测图像发生畸变时，关键点位置发生变化，进而导致匹配程度降低，因此本实施例通过目标检测关键点和各个目标模块关键点所在局部区域的像素分布特征，计算第二匹配概率，具体实现步骤可以包括：

第一步，构建对应目标检测关键点和各个目标模块关键点对应的局部区域。

在本实施例中，灯丝检测图像和灯丝模板图像中的目标灯丝形状相同，那么两个 图像中相同位置的关键点对应的局部区域的像素分布特征相似。为了便于后续分析每个目 标检测关键点在灯丝模板图像中的匹配关键点，需要确定目标检测关键点和各个目标模块 关键点对应的局部区域。具体地，以目标检测关键点为例，将目标检测关键点作为中心，构 建中心对应的预设尺寸的窗口区域，将窗口区域确定为对应目标检测关键点的局域区域， 预设尺寸可以设置为，局部区域预设尺寸的大小可以由实施者根据具体实际情况 设置，本实施不做具体限定。

值得说明的是，每个目标检测关键点和各个目标模块关键点对应的局部区域的确定方式相同，因此，参考该目标检测关键点对应的局部区域的确定过程，可以获得每个目标检测关键点和各个目标模块关键点对应的局部区域。

第二步，根据局部区域内每个像素点的像素值，确定对应目标检测关键点和各个目标模块关键点进行匹配时对应的第二匹配概率。

需要说明的是，为了提高匹配程度的准确性，根据局部区域内像素点的灰度变化和形状变化，分析对应目标检测关键点和各个目标模块关键点进行匹配时对应的第二匹配概率具体实现步骤可以包括：

第一子步骤，对于对应目标检测关键点和任意一个目标模块关键点，对目标检测关键点和目标模块关键点对应的局部区域进行边缘检测，获得局部区域内的边缘像素点个数和相邻边缘像素点的连线斜率。

在本实施例中，首先，利用加权平均法，对灯丝检测图像和灯丝模板图像进行灰度化处理，获得灯丝检测图像和灯丝模板图像对应的灰度图像，通过灯丝检测图像对应的灰度图像和灯丝模板图像对应的灰度图像中每个像素点的灰度值。然后，根据目标检测关键点和目标模块关键点对应的局部区域内每个像素点的像素值，利用Canny边缘检测方法，对目标检测关键点和目标模块关键点对应的局部区域进行边缘检测，确定边缘像素点个数和每个边缘像素点的斜率是为了明确目标检测关键点和目标模块关键点对应的局部区域的形状变化情况。像素值即为灰度值，加权平均法和Canny边缘检测方法的实现过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

第二子步骤，将目标检测关键点对应的局部区域内的边缘像素点个数与目标模块关键点对应的局部区域内的边缘像素点个数之间的差值，确定为对应目标检测关键点的第一差值。

第三子步骤，将目标检测关键点对应的局部区域内所有连线斜率的累加和确定为第一累加和，将目标模块关键点对应的局部区域内所有连线斜率的累加和确定为第二累加和，将第一累加和与第二累加和之间的差值，确定为对应目标检测关键点的第二差值。

第四子步骤，将目标检测关键点对应的局部区域内所有像素点的像素值的平均值确定为第一像素平均值，将目标模块关键点对应的局部区域内所有像素点的像素值的平均值确定为第二像素平均值，将第一像素平均值与第二像素平均值之间的差值，确定为对应目标检测关键点的第三差值。

第五子步骤，计算对应目标检测关键点的第一差值、第二差值和第三差值的乘积，将乘积的绝对值进行反比例的归一化处理，将反比例归一化处理后的数值确定为对应目标检测关键点和对应目标模块关键点进行匹配时对应的第二匹配概率。

作为示例，第二匹配概率的计算公式可以为：

其中，为灯丝检测图像中初次匹配未匹配成功的关键点与灯丝模板图 像中初次匹配未匹配成功的关键点进行匹配时对应的第二匹配概率，为灯丝检测图 像中初次匹配未匹配成功的关键点对应的局部区域内的边缘像素点个数，为灯丝模 板图像中初次匹配未匹配成功的关键点对应的局部区域内的边缘像素点个数，为灯丝检测图像中初次匹配未匹配成功的关键点的第一差值，为灯丝检 测图像中初次匹配未匹配成功的关键点对应的局部区域内第b个连线斜率，为 灯丝检测图像中初次匹配未匹配成功的关键点的第一累加和，为灯丝模板图像中初 次匹配未匹配成功的关键点对应的局部区域内第m个连线斜率，为灯丝检测图 像中初次匹配未匹配成功的关键点的第二累加和，为灯丝检 测图像中初次匹配未匹配成功的关键点的第二差值，为灯丝检测图像中初次匹配未匹 配成功的关键点对应的局部区域的第一像素平均值，为灯丝模板图像中初次匹配未匹 配成功的关键点对应的局部区域的第二像素平均值，为灯丝检测图像中初次 匹配未匹配成功的关键点的第三差值，exp为指数函数，为绝对值函数。

在第二匹配概率的计算公式中，第一差值表示不同图像中两个未匹配 成功的关键点对应局部区域范围内的形状边缘上像素点数量的差异情况，第二差值表示不同图像中两个未匹配成功的关键点对应局部区域范围内 的形状边缘的差异程度，也就是形状边缘相似度，第三差值表示不同图像中两个 未匹配成功的关键点对应局部区域的像素分布差异；不同图像中相同位置上的关键点对应 的局部区域内灯丝形状和像素分布是相同，灯丝形状相同说明形状边缘的像素点数量和连 线斜率是近似相同，因此，第一差值越小，且第二差值也越小，说明灯丝模板图像中初次匹配未匹配成功的关键点 为灯丝检测图像中初次匹配未匹配成功的关键点的可能程度越大；局部区域像素分布相 同说明关键点和关键点对应的局部区域的像素平均值相差较小，因此，越 小，说明灯丝模板图像中初次匹配未匹配成功的关键点为灯丝检测图像中初次匹配未匹 配成功的关键点的可能程度越大；为对第一差值、第二差值 和第三差值的乘积的绝对值进行反比例的归一化处理，使第二概率值的取值范围在0到1之 间；计算第一差值、第二差值和第三差值的乘积的绝对值，是为了避免差值出现负数的特征 情况。

需要说明的是，参考灯丝检测图像中初次匹配未匹配成功的关键点与灯丝模板 图像中初次匹配未匹配成功的关键点进行匹配时对应的第二匹配概率，可以获得灯丝检 测图像中每个未匹配成功的关键点与灯丝模板图像中各个未匹配成功的关键点进行匹配 时对应的第二匹配概率，对应目标检测关键点为灯丝检测图像中的任意一个未匹配成功的 关键点。

至此，本实施例获得了每个目标检测关键点和各个目标模块关键点进行匹配时对应的第二匹配概率。

S5，根据第一匹配概率和第二匹配概率，确定对应目标检测关键点和各个目标模块关键点进行匹配时对应的匹配程度。

在本实施例中，对于对应目标检测关键点和任意一个目标模块关键点，计算目标检测关键点和目标模块关键点进行匹配时第一匹配概率和第二匹配概率的乘积，将第一匹配概率和第二匹配概率的乘积确定为对应目标检测关键点和对应目标模块关键点进行匹配时对应的匹配程度，一个目标检测关键点对应多个匹配程度，匹配程度的计算公式可以为：

其中，为灯丝检测图像中初次匹配未匹配成功的关键点与灯丝模板图 像中初次匹配未匹配成功的关键点进行匹配时对应的匹配程度，为灯丝检测图 像中初次匹配未匹配成功的关键点与灯丝模板图像中初次匹配未匹配成功的关键点 进行匹配时对应的第一匹配概率，为灯丝检测图像中初次匹配未匹配成功的关键 点与灯丝模板图像中初次匹配未匹配成功的关键点进行匹配时对应的第二匹配概率。

需要说明的是，在分析任意一个目标检测关键点与各个目标模块关键点进行匹配时对应的匹配程度时，考虑了灯丝检测图像发生倾斜、缩放或畸变时对应的关键点的图像特征，有效提高了由第一匹配概率和第二匹配概率相乘得到的匹配程度的准确性。

至此，本实施例获得了每个目标检测关键点和各个目标模块关键点进行匹配时对应的匹配程度。

S6，根据对应目标检测关键点和各个目标模块关键点进行匹配时对应的匹配程度，筛选出灯丝检测图像和灯丝模板图像中未匹配成功的关键点，进而统计未匹配成功关键点的总数量，具体实现步骤可以包括：

第一步，将对应目标检测关键点和各个目标模块关键点进行匹配时对应的匹配程度与最小匹配程度阈值进行比对；若任意一个匹配程度大于最小匹配程度阈值，则将最大匹配程度对应的目标模块关键点确定为对应目标检测关键点的匹配关键点，并判定对应目标检测关键点和其对应的匹配关键点为匹配成功的关键点，否则，将对应目标检测关键点确定为灯丝检测图像中未匹配成功的关键点。参考对应目标检测关键点的判断过程，根据每个目标检测关键点和各个目标模块关键点进行匹配时对应的匹配程度，可以确定灯丝检测图像和灯丝模板图像中所有匹配成功的关键点。

第二步，对灯丝检测图像和灯丝模板图像中匹配成功的关键点进行标记，剔除灯丝检测图像和灯丝模板图像中的标记关键点，将灯丝检测图像和灯丝模板图像中的剩余关键点确定为未匹配成功的关键点。其中，剩余关键点可以为灯丝检测图像和灯丝模板图像中标记关键点以外的关键点。

第三步，统计灯丝检测图像和灯丝模板图像中的剩余关键点的数量，将剩余关键点的数确定为未匹配成功关键点的总数量。

在本实施例中，将灯丝检测图像和灯丝模板图像中的标记关键点进行剔除后，若 还存在较多关键点为未匹配成功的关键点，说明灯丝检测图像因为待检测灯丝发生弯曲变 形而新增了部分关键点。同时，待检测灯丝发生弯曲变形也会造成原有关键点的损失，导致 灯丝模板图像中的部分关键点没有匹配上，灯丝模板图像中也存在未匹配成功关键点。因 此，需要统计灯丝检测图像和灯丝模板图像中所有未匹配成功关键点的总数量。将灯丝检 测图像中未匹配成功关键点的总数量记为，灯丝模板图像中未匹配成功关键点的总数量 记为，未匹配成功关键点的总数量等于。

至此，本实施例获得了灯丝检测图像和灯丝模板图像中未匹配成功关键点的总数量。

S7，根据未匹配成功关键点的总数量，判断待检测灯丝是否发生弯曲。

在本实施例中，若未匹配成功关键点的总数量大于关键点数量阈值，说明灯丝检测图像因为灯丝发生弯曲变形产生了新的关键点，则判定待检测灯丝发生弯曲，存在质量问题；若未匹配成功关键点的总数量不大于关键点数量阈值，说明灯丝检测图像和灯丝模板图像的匹配程度大，判定待检测灯丝没有发生弯曲，不存在质量问题。关键点数量阈值可以设置为6，实施者可以根据不同的实时环境自行设定，本实施例不做具体限定。

至此，本实施例完成了待检测灯丝的弯曲质量问题检测。

本发明提供了一种基于计算机视觉的灯丝质量智能检测方法，该方法通过对灯丝检测图像和灯丝模板图像的图像特征进行分析，获得每个目标检测关键点和各个目标模块关键点进行匹配时对应的匹配程度，有效提高了灯丝检测图像和灯丝模板图像之间的匹配程度的准确度，进而提升了灯丝质量检测结果的准确性，主要应用于灯丝质量检测领域。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于计算机视觉的灯丝质量智能检测方法，其特征在于，包括以下步骤：

获取待检测灯丝对应的灯丝检测图像和灯丝模板图像，对所述灯丝检测图像和灯丝模板图像进行图像匹配处理，获得各个目标关键点对、各个目标检测关键点以及各个目标模块关键点；

根据任意两个目标关键点对在同一水平面上的位置确定方向校正系数；根据方向校正系数、任意一个目标关键点对、任意一个目标检测关键点和各个目标模块关键点的位置，确定对应目标检测关键点和各个目标模块关键点之间的距离矫正系数；

根据各个目标关键点对、对应目标检测关键点和各个目标模块关键点的位置、距离矫正系数和方向校正系数，确定对应目标检测关键点和各个目标模块关键点进行匹配时对应的第一匹配概率；

构建对应目标检测关键点和各个目标模块关键点对应的局部区域；根据所述局部区域内每个像素点的像素值，确定对应目标检测关键点和各个目标模块关键点进行匹配时对应的第二匹配概率；

根据所述第一匹配概率和所述第二匹配概率，确定对应目标检测关键点和各个目标模块关键点进行匹配时对应的匹配程度；

根据对应目标检测关键点和各个目标模块关键点进行匹配时对应的匹配程度，筛选出灯丝检测图像和灯丝模板图像中未匹配成功的关键点，进而统计未匹配成功关键点的总数量；

根据所述未匹配成功关键点的总数量，判断待检测灯丝是否发生弯曲；

所述目标关键点对为灯丝检测图像中关键点和灯丝模板图像中与其相匹配的匹配关键点构成的关键点对；所述目标检测关键点为灯丝检测图像中初次匹配未匹配成功的关键点；所述目标模块关键点为灯丝模板图像中初次匹配未匹配成功的关键点。

2.根据权利要求1所述的一种基于计算机视觉的灯丝质量智能检测方法，其特征在于，根据任意两个目标关键点对在同一水平面上的位置确定方向校正系数，包括：

根据任意两个目标关键点对在同一水平面上的位置，确定对应两个目标关键点对之间的距离，进而计算对应两个目标关键点之间的距离的比值，利用反正切函数对所述比值进行数据处理，将反正切函数处理后的比值确定为方向矫正系数。

3.根据权利要求1所述的一种基于计算机视觉的灯丝质量智能检测方法，其特征在于，所述距离矫正系数的计算公式为：

其中，为灯丝检测图像中初次匹配未匹配成功的关键点/>与灯丝模板图像中初次匹配未匹配成功的关键点/>之间的距离矫正系数，/>为方向校正系数，/>为方向校正系数的正弦值，/>为灯丝检测图像中匹配成功的关键点/>与未匹配成功的关键点/>之间的距离，/>为灯丝模板图像中匹配成功的关键点/>与未匹配成功的关键点/>之间的距离，/>为方向校正系数的余弦值。

4.根据权利要求1所述的一种基于计算机视觉的灯丝质量智能检测方法，其特征在于，所述第一匹配概率的计算公式为：

其中，为灯丝检测图像中初次匹配未匹配成功的关键点/>与灯丝模板图像中初次匹配未匹配成功的关键点/>进行匹配时对应的第一匹配概率，n为灯丝检测图像中匹配成功的关键点的数量，j为匹配成功的关键点的序号，/>为灯丝检测图像中第j个匹配成功的关键点/>与灯丝模板图像中第j个匹配成功的关键点/>之间的距离，灯丝检测图像中第j个匹配成功的关键点/>在灯丝模板图像中的匹配关键点为/>，/>为灯丝检测图像中第j个匹配成功的关键点/>与灯丝模板图像中第j个匹配成功的关键点/>之间的连线与水平方向的夹角，/>为180度，/>为灯丝检测图像中初次匹配未匹配成功的关键点与灯丝模板图像中初次匹配未匹配成功的关键点/>之间的距离，/>为灯丝检测图像中初次匹配未匹配成功的关键点/>与灯丝模板图像中初次匹配未匹配成功的关键点/>之间的距离矫正系数，/>为灯丝检测图像中初次匹配未匹配成功的关键点/>与灯丝模板图像中初次匹配未匹配成功的关键点/>之间的连线与水平方向的夹角，/>为方向校正系数，exp为指数函数。

5.根据权利要求1所述的一种基于计算机视觉的灯丝质量智能检测方法，其特征在于，根据所述局部区域内每个像素点的像素值，确定对应目标检测关键点和各个目标模块关键点进行匹配时对应的第二匹配概率，包括：

对于对应目标检测关键点和任意一个目标模块关键点，对目标检测关键点和目标模块关键点对应的局部区域进行边缘检测，获得所述局部区域内的边缘像素点个数和相邻边缘像素点的连线斜率；

将目标检测关键点对应的局部区域内的边缘像素点个数与目标模块关键点对应的局部区域内的边缘像素点个数之间的差值，确定为对应目标检测关键点的第一差值；

将目标检测关键点对应的局部区域内所有连线斜率的累加和确定为第一累加和，将目标模块关键点对应的局部区域内所有连线斜率的累加和确定为第二累加和，将所述第一累加和与所述第二累加和之间的差值，确定为对应目标检测关键点的第二差值；

将目标检测关键点对应的局部区域内所有像素点的像素值的平均值确定为第一像素平均值，将目标模块关键点对应的局部区域内所有像素点的像素值的平均值确定为第二像素平均值，将所述第一像素平均值与所述第二像素平均值之间的差值，确定为对应目标检测关键点的第三差值；

计算对应目标检测关键点的第一差值、第二差值和第三差值的乘积，将所述乘积的绝对值进行反比例的归一化处理，将反比例归一化处理后的数值确定为对应目标检测关键点和对应目标模块关键点进行匹配时对应的第二匹配概率。

6.根据权利要求1所述的一种基于计算机视觉的灯丝质量智能检测方法，其特征在于，根据所述第一匹配概率和所述第二匹配概率，确定对应目标检测关键点和各个目标模块关键点进行匹配时对应的匹配程度，包括：

对于对应目标检测关键点和任意一个目标模块关键点，计算目标检测关键点和目标模块关键点进行匹配时第一匹配概率和第二匹配概率的乘积，将所述第一匹配概率和第二匹配概率的乘积确定为对应目标检测关键点和对应目标模块关键点进行匹配时对应的匹配程度。

7.根据权利要求1所述的一种基于计算机视觉的灯丝质量智能检测方法，其特征在于，根据对应目标检测关键点和各个目标模块关键点进行匹配时对应的匹配程度，筛选出灯丝检测图像和灯丝模板图像中未匹配成功的关键点，包括：

将对应目标检测关键点和各个目标模块关键点进行匹配时对应的匹配程度与最小匹配程度阈值进行比对；若任意一个匹配程度大于最小匹配程度阈值，则将最大匹配程度对应的目标模块关键点确定为对应目标检测关键点的匹配关键点，否则，将对应目标检测关键点确定为灯丝检测图像中未匹配成功的关键点；

对灯丝检测图像和灯丝模板图像中匹配成功的关键点进行标记，剔除灯丝检测图像和灯丝模板图像中的标记关键点，将灯丝检测图像和灯丝模板图像中的剩余关键点确定为未匹配成功的关键点。

8.根据权利要求1所述的一种基于计算机视觉的灯丝质量智能检测方法，其特征在于，根据所述未匹配成功关键点的总数量，判断待检测灯丝是否发生弯曲，包括：

若未匹配成功关键点的总数量大于关键点数量阈值，则判定待检测灯丝发生弯曲，否则，判定待检测灯丝没有发生弯曲。

9.根据权利要求1所述的一种基于计算机视觉的灯丝质量智能检测方法，其特征在于，构建对应目标检测关键点和各个目标模块关键点对应的局部区域，包括：

对于目标检测关键点，以对应目标检测关键点为中心，构建中心对应的预设尺寸的窗口区域，将所述窗口区域确定为对应目标检测关键点的局域区域，从而获得对应目标检测关键点和各个目标模块关键点对应的局部区域。