CN115761280A - 图像点检比对方法、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请实施例涉及图像处理技术领域，公开了一种图像点检比对方法、电子设备和计算机可读存储介质，该方法包括：从第一图像中提取第一特征点，并从第二图像中提取第二特征点；对第一特征点和第二特征点进行匹配，确定出匹配的特征点；根据第一图像和第二图像生成差分图像，并根据所述差分图像、所述匹配的特征的点和预设的灰度值阈值，得到二值化图像；在所述二值化图像中确定目标区域，并分别在所述第一图像和所述第二图像中确定所述目标区域对应的第一区域和第二区域；根据所述第一区域、所述第二区域和预训练的检测模型，确定出存在不同的目标区域，从而快速、准确地找出两张图像之间不同的地方，有效提升了检测结果的可靠性。

Description

图像点检比对方法、电子设备和计算机可读存储介质

技术领域

本申请实施例涉及图像处理技术领域，特别涉及一种图像点检比对方法、电子设备和计算机可读存储介质。

背景技术

图像点检比对的目的是为了找出两张图像中所有不一样的地方，以手机系统版本更新为例，由于更新的缘故，手机的基础界面和上一版本的界面相比较会存在正常的不同和因bug导致的不同，开发、测试人员需要对不同之处进行测试。

然而，无论是业内常用的基于图像直方图的图像点检比对方法、基于模板匹配的图像点检比对方法、还是基于感知哈希算法的图像检点比对方法，在实际使用中均存在较多数量的错误检测，并且需要测试人员进行人工配合，测试人员长时间工作后容易疲劳，进而导致检测速度较慢、检测结果的可靠性较低。

发明内容

本申请实施例的目的在于提供一种图像点检比对方法、电子设备和计算机可读存储介质，可以快速、准确地找出两张图像之间不同的地方，有效提升了检测结果的可靠性。

为解决上述技术问题，本申请的实施例提供了一种图像点检比对方法，包括以下步骤：从第一图像中提取第一特征点，并从第二图像中提取第二特征点；对所述第一特征点和所述第二特征点进行匹配，确定出匹配的特征点；根据所述第一图像和所述第二图像生成差分图像，并根据所述差分图像、所述匹配的特征的点和预设的灰度值阈值，得到二值化图像；在所述二值化图像中确定目标区域，并分别在所述第一图像和所述第二图像中确定所述目标区域对应的第一区域和第二区域；根据所述第一区域、所述第二区域和预训练的检测模型，确定出存在不同的目标区域；其中，所述检测模型用于确定所述第一区域与所述第二区域之间的相似程度。

本申请的实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的图像点检比对方法。

本申请的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的图像点检比对方法。

本申请的实施例提供的图像点检比对方法、电子设备和计算机可读存储介质，第一图像和第二图像是需要进行图像点检比对的两张图像，服务器从第一图像中提取第一特征点，并从第二图像中提取第二特征点；再对提取出的第一特征点和第二特征点进行匹配，确定出匹配的特征点；随后根据第一图像和第二图像生成差分图像，并根据差分图像、确定出的匹配的特征的点和预设的灰度值阈值，得到二值化图像；再在二值化图像中确定目标区域，并分别在第一图像和第二图像中确定目标区域对应的第一区域和第二区域；最后根据第一区域、第二区域和预训练的用于确定第一区域与第二区域之间的相似程度检测模型，确定出存在不同的目标区域。考虑到业内常用的图像点检比对方法在实际使用中存在错误检测，并且需要测试人员人工配合，检测速度较慢、检测结果的可靠性较低，而本申请的实施例通过匹配、差分、二值化的方式，快速找到可能存在不同的疑问区域，再结合预训练的检测模型对疑问区域进行判定，从而快速、准确地找出第一图像与第二图像之间不同的地方，有效提升了检测结果的可靠性。

另外，所述从第一图像中提取第一特征点，并从第二图像中提取第二特征点，包括：根据预设的提取算法和预设的第一提取参数从第一图像中提取第一特征点，并根据所述提取算法和预设的第二提取参数从第二图像中提取第二特征点；其中，所述第一提取参数包括第一对比度，所述第二提取参数包括第二对比度，所述第二对比度小于所述第一对比度。在实际使用中，第二图像往往是新的、更需要关注的图像，因此本申请在提取特征点时，要设置从第二图像提取特征点所使用的对比度小于从第一图像提取特征点所使用的对比度，这样可以从第二图像中提取到更多的特征点，使得图像点检比对的结果更加可靠。

另外，预设的提取算法包括尺度不变特征变换(Scale-invariant featuretransform，简称：SIFT)算法和平滑尺度不变特征变换(Smooth Scale-invariant featuretransform，简称：Smooth-SIFT)算法，所述根据预设的提取算法和预设的第一提取参数从第一图像中提取第一特征点，并根据所述提取算法和预设的第二提取参数从第二图像中提取第二特征点，包括：根据所述SIFT算法和所述第一提取参数从所述第一图像中提取第一基础特征点，并根据所述SIFT算法和所述第二提取参数从所述第二图像中提取第二基础特征点；根据所述Smooth-SIFT算法和预设的第三提取参数，分别从所述第一图像和所述第二图像中提取第一补充特征点和第二补充特征点；其中，所述第三提取参数包括第三对比度，所述第三对比度小于所述第二对比度；将所述第一基础特征点和所述第一补充特征点作为所述第一特征点，将所述第二基础特征点和所述第二补充特征点作为所述第二特征点。本申请采用SIFT算法和Smooth-SIFT算法共同从第一图像、第二图像中提取特征点，可以得到更多的、更丰富的特征点，从第一图像、第二图像中提取出的特征点的分布更加均匀，便于后续的二值化处理，以及检测模型的检测，从源头上提升了图像点检比对的准确性、可靠性。

另外，所述对所述第一特征点和所述第二特征点进行匹配，确定出匹配的特征点，包括：根据预设的特征向量描述子，分别计算各所述第一特征点对应的第一特征向量、以及各所述第二特征点对应的第二特征向量；遍历各所述第一特征向量，根据预设的匹配算法，确定各所述第二特征向量中是否有与当前第一特征向量匹配的第二特征向量；将所述当前第一特征向量对应的第一特征点，和与所述当前第一特征向量匹配的第二特征向量对应的第二特征点，作为一对匹配的特征点。

另外，所述匹配算法包括最近邻匹配(K-Nearest Neighbor，简称：KNN)算法，所述根据预设的匹配算法，确定各所述第二特征向量中是否有与当前第一特征向量匹配的第二特征向量，包括：根据所述KNN算法，分别计算所述当前第一特征向量与各所述第二特征向量之间的匹配距离，并确定各所述匹配距离中的最小值和第二小值；计算所述最小值与所述第二小值之间的比值，若所述最小值与所述第二小值之间的比值小于预设的比值阈值，则计算所述当前第一特征向量对应的第一特征点与所述最小值对应的第二特征点之间的坐标差值；若所述坐标差值小于预设的差值阈值，则确定所述最小值对应的第二特征向量与所述当前第一特征向量匹配。本申请在确定第一特征向量是否有匹配的第二特征向量时，采用了比例和坐标差值的双重判断标准，确保第一特征向量与匹配的第二特征向量之间较高的匹配度，从而保证确定出的匹配的特征点是准确度，进一步提升了图像点检比对的准确性、可靠性。

另外，在所述确定出匹配的特征点之后，所述根据所述第一图像和所述第二图像生成差分图像之前，还包括：获取所述第一特征点的数量与所述第二特征点的数量之中的最大值；判断所述匹配的特征点的数量与所述最大值之间的比值是否小于预设的截断阈值；若所述匹配的特征点的数量与所述最大值之间的比值小于所述截断阈值，则直接确定所述第一图像与所述第二图像不同；若所述匹配的特征点的数量与所述最大值之间的比值大于或等于所述截断阈值，则根据所述第一图像和所述第二图像生成差分图像。如果匹配的特征点的数量过少，说明第一图像与第二图像之间的差异非常大，无需再进行后续的检测，直接输出图像不同的结果，可以有效节约计算资源、检测资源。

另外，所述根据所述差分图像、所述匹配的特征的点和预设的灰度值阈值，得到二值化图像，包括：将灰度值大于预设的灰度值阈值的像素点的灰度值赋值为1，并将灰度值小于或等于所述灰度值阈值的像素点的灰度值赋值为0；将所述匹配的特征点所在位置的像素点的灰度值，以及所述匹配的特征点所在位置的像素点的邻域内各像素点的灰度值赋值为0；根据赋值后的各像素点的灰度值，对所述赋值后的各像素点进行形态学膨胀，得到二值化图像；其中，所述二值化图像中包括若干灰度值为0的区域和若干灰度值为1的区域。匹配的特征点可认为所表征的内容是一样的，因此无需检测，本申请还将匹配的特征点邻域内的各像素点的灰度值都赋值为0，可以有效消除插值噪声带来的误差，同时进行形态学膨胀操作，这样生成的二值化图像更容易确定出目标区域，进一步提升了图像点检比对的速度和效率。

另外，所述在所述二值化图像中确定目标区域，包括：获取所述二值化图像中各所述灰度值为1的区域的外接矩形；对各所述外接矩形进行嵌套去重；将去重后的各所述外接矩形确定为目标区域。外接矩形中往往存在大框套小框的情况，本申请将大框中套的小框去重，可以有效减少不必要的目标区域的数量，进一步提升图像点检比对的速度和效率。

另外，所述根据所述第一区域、所述第二区域和预训练的检测模型，确定出存在不同的目标区域，包括：将所述第一区域和所述第二区域均输入至所述检测模型中，获取所述检测模型输出的所述第一区域与所述第二区域之间的LOSS值；若所述LOSS值小于1，则确定所述目标区域为相同区域；若所述LOSS值大于2，则确定所述目标区域为不相同区域；若所述LOSS值大于或等于1且小于或等于2，则确定所述目标区域为疑问区域；将各所述不相同区域和各所述疑问区域作为存在不同的目标区域。

另外，所述预训练的检测模型通过以下步骤训练得到：获取若干组标注有标签的训练样本；其中，每组所述训练样本均包含第一样本图像和第二样本图像，所述训练样本包括相同训练样本和不同训练样本，所述相同训练样本中的所述第一样本图像与第二样本图像相同，所述不同训练样本中的所述第一样本图像与第二样本图像不相同；将所述第一样本图像和所述第二样本图像输入至预设的初始模型中，分别根据所述第一样本图像和所述第二样本图像得到第三特征向量和第四特征向量；根据所述标签、所述第三特征向量、所述第四特征向量和预设的损失函数，计算得到损失值；根据所述损失值和预设的反向传播算法对所述初始模型进行迭代训练，得到检测模型。

另外，所述根据所述损失值和预设的反向传播算法对所述初始模型进行迭代训练，得到检测模型，包括：对所述初始模型进行预设次数的训练，并记录每次训练得到的快照；根据预设的验证集对所述快照进行验证，得到所述快照对应的正确率；将正确率最大的所述快照作为检测模型。本申请虽然设定训练过程一定要完成预设的训练次数，但不会直接将最后一次训练得到的模型作为最终的模型输出，而是验证每一个快照的正确率，将正确率最高的快照作为检测模型，既保证了训练次数，也防止因样本选择的原因导致训练产生严重偏倚，保证检测模型有较高的正确率，从而进一步提升了图像点检比对的准确性、可靠性。

另外，在所述从第一图像中提取第一特征点，并从第二图像中提取第二特征点之前，还包括：获取第一图像和第二图像；若所述第一图像的宽和高是否与所述第二图像的宽和高存在不同，则获取所述第一图像和所述第二图像中宽的最大值和高的最大值；根据所述宽的最大值和所述高的最大值对所述第一图像和所述第二图像进行归一化，得到归一化的第一图像和归一化的第二图像；所述从第一图像中提取第一特征点，并从第二图像中提取第二特征点，包括：从所述归一化的第一图像中提取第一特征点，并从所述归一化的第二图像中提取第二特征点。在提取特征点之前要保证第一图像和第二图像的宽和高都是相同的，否则在进行特征点匹配时会出现大量错误匹配，本申请对第一图像和第二图像进行宽高归一化，可以进一步提升图像点检比对的准确性、可靠性。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。

图1是本申请的一个实施例提供的图像点检比对方法的流程图一；

图2是本申请的一个实施例中，对第一特征点和第二特征点进行匹配，确定出匹配的特征点的流程图；

图3是本申请的一个实施例中，根据预设的提取算法和预设的第一提取参数从第一图像中提取第一特征点，并根据所述提取算法和预设的第二提取参数从第二图像中提取第二特征点的流程图；

图4是本申请的一个实施例中，根据预设的匹配算法，确定各第二特征向量中是否有与当前第一特征向量匹配的第二特征向量的流程图；

图5是本申请的另一个实施例提供的图像点检比对方法的流程图二；

图6是本申请的另一个实施例中，根据差分图像、匹配的特征的点和预设的灰度值阈值，得到二值化图像的流程图；

图7是本申请的另一个实施例提供的一种检测模型的模型结构示意图；

图8是本申请的另一个实施例中，训练得到检测模型的流程图；

图9是本申请的另一个实施例提供的电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

图像点检比对的目的是为了找出两张图像中所有不一样的地方，目前业内主流的图像点检比对方法有三种，即基于图像直方图进行图像点检比对、基于模板匹配进行图像点检比对、以及基于感知哈希算法进行图像检点比对。

基于图像直方图的图像点检比对方法，是分别获取两张图像的直方图，在对两张图像的直方图进行归一化，再基于两张归一化后的直方图之间的某种距离来度量两张图像之间的相似程度。

基于模板匹配的图像点检比对方法，是对两张图像的对应位置的像素点的像素值做差值，然后按照预定公式和像素值之间的差值来计算两张图像之间的相似程度。

基于感知哈希算法的图像检点比对方法，则是对每张图像生成一个“指纹”字符串，然后比较两张图像对应的字符串的分布系数，二者的分布越接近则说明两张图像越相似。

本申请的发明人发现，直方图和感知哈希算法都比较注重图像中的整体轮廓，对图像中细节的差异关注不够，而模板匹配的关注度则取决于模板尺度，尺度较大时关注图像中的整体轮廓，尺度较小时关注图像中的细节差异，因此三种方法在细节差异层面都显得不足，在实际使用中均存在较多数量的错误检测，并且需要测试人员进行人工配合，测试人员长时间工作后容易疲劳，进而导致检测速度较慢、检测结果的可靠性较低。

为了解决上述的检测速度较慢、检测结果的可靠性较低的技术问题，本申请的一个实施例提出了一种图像点检比对方法，应用于电子设备，其中，电子设备可以为终端或服务器，本实施例以及以下各个实施例中电子设备以服务器为例进行说明。下面对本实施例的图像点检比对方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。

本实施例的图像点检比对方法的具体流程可以如图1所示，包括：

步骤101，从第一图像中提取第一特征点，并从第二图像中提取第二特征点。

具体而言，服务器先获取需要进行图像点检比对的第一图像和第二图像，再从第一图像中提取得到第一特征点，从第二图像中提取得到第二特征点。

在具体实现中，第二图像往往是新的、更需要关注的图像，而第一图像则往往是旧的、历史已有的图像。

在一个例子中，需要进行图像点检比对的图像为手机基础界面图像，第二图像为版本更新后的手机基础界面图像，第一图像则为上一个版本的手机基础界面图像。

在一个例子中，服务器可以根据预设的提取算法和预设的第一提取参数从第一图像中出提取第一特征点，并根据相同的提取算法和预设的第二提取参数从第二图像中出提取第二特征点，第一提取参数和第二提取参数均可以包括特征点数目nfeatures(特征点数目通常设置为0，即检测到多少特征点就保留多少特征点)、创建高斯金字塔中每组的层数noctave Layers、对比度(过滤掉较差的特征点的阈值)contrast Threshold、过滤掉边缘效应的阈值edge Threshold、金字塔第0层图像的高斯滤波系数初始值sigma，其中，第二提取参数中的第二对比度小于第一提取参数中的第一对比度。考虑到在实际使用中，第二图像往往是新的、更需要关注的图像，因此本实施例在提取特征点时，要设置从第二图像提取特征点所使用的对比度小于从第一图像提取特征点所使用的对比度，这样可以从第二图像中提取到更多的特征点，使得图像点检比对的结果更加可靠。

在一个例子中，第一提取参数可设置为(0，5，0.04，40，1.6)，第二提取参数可设置为(0，5，0.02，40，1.6)。

在一个例子中，服务器先获取第一图像和第二图像，随即判断第一图像的宽和高是否与第二图像的宽和高存在不同，若第一图像的宽和高与第二图像的宽和高存在不同，则获取第一图像和第二图像中宽的最大值和高的最大值，再根据宽的最大值和高的最大值对第一图像和第二图像进行归一化，得到归一化的第一图像和归一化的第二图像，后续服务器将从归一化的第一图像中提取第一特征点，并从归一化的第二图像中提取第二特征点。在提取特征点之前要保证第一图像和第二图像的宽和高都是相同的，否则在进行特征点匹配时会出现大量错误匹配，本实施例对第一图像和第二图像进行宽高归一化，可以进一步提升图像点检比对的准确性、可靠性。

步骤102，对第一特征点和第二特征点进行匹配，确定出匹配的特征点。

具体而言，服务器在分别从第一图像和第二图像中提取出第一特征点和第二特征点后，可以对第一特征点和第二特征点进行匹配，确定出匹配的特征点。

在一个例子中，服务器对第一特征点和第二特征点进行匹配，确定出匹配的特征点，可以通过如图2所示的各子步骤实现，具体包括：

子步骤1021，根据预设的特征向量描述子，分别计算各第一特征点对应的第一特征向量、以及各第二特征点对应的第二特征向量。

在具体实现中，服务器从第一图像中提取出第一特征点、从第二图像中提取出第二特征点后，可以根据预设的特征向量描述子，分别计算各第一特征点对应的第一特征向量、以及各第二特征点对应的第二特征向量，第一特征点对应的第一特征向量可记为feature1，第二特征点对应的第二特征向量可记为feature2，其中，预设的特征向量描述子可以有本领域的技术人员根据实际需要进行设置。

在一个例子中，预设的特征向量描述子为128维特征向量描述子。

子步骤1022，遍历各第一特征向量，根据预设的匹配算法，确定各第二特征向量中是否有与当前第一特征向量匹配的第二特征向量。

在具体实现中，服务器计算得到各第一特征向量和各第二特征向量后，可以遍历各第一特征向量，根据预设的匹配算法，确定各第二特征向量中是否有与当前第一特征向量匹配的第二特征向量，若各第二特征向量中有与当前第一特征向量匹配的第二特征向量，则可以输出这一对匹配的特征向量；若各第二特征向量中没有与当前第一特征向量匹配的第二特征向量，则舍弃当前第一特征向量，继续对下一个第一特征向量进行匹配。

子步骤1023，将当前第一特征向量对应的第一特征点，和与当前第一特征向量匹配的第二特征向量对应的第二特征点，作为一对匹配的特征点。

在具体实现中，服务器在确定出于第一特征向量对应的第二特征向量后，可以将当前第一特征向量对应的第一特征点，和与当前第一特征向量匹配的第二特征向量对应的第二特征点，作为一对匹配的特征点。

步骤103，根据第一图像和第二图像生成差分图像，并根据差分图像、匹配的特征的点和预设的灰度值阈值，得到二值化图像。

在具体实现中，服务器确定出匹配的特征点后，可以根据第一图像和第二图像生成差分图像，即用第二图像中各像素点的灰度值减去第一图像中各像素点的灰度值，得到第一图像与第二图像之间的差分图像，再根据差分图像、匹配的特征的点和预设的灰度值阈值，得到该差分图像对应的二值化图像，其中，预设的灰度值阈值可以由本领域的技术人员根据实际需要进行设置。

在一个例子中，服务器生成的二值化图像中各像素点的灰度值为0或1，灰度值为0表示该像素点在第一图像和第二图像之中所表征的内容是相同的，灰度值为1表示该像素点在第一图像和第二图像之中所表征的内容是不相同的。

步骤104，在二值化图像中确定目标区域，并分别在第一图像和第二图像中确定目标区域对应的第一区域和第二区域。

具体而言，服务器生成二值化图像后，可以将灰度值为1的区域选定为目标区域，并分别在第一图像和第二图像中确定该目标区域对应的第一区域和第二区域。

步骤105，根据第一区域、第二区域和预训练的检测模型，确定出存在不同的目标区域。

具体而言，服务器在确定第一区域和第二区域后，可以将第一区域和第二区域均输入至预训练的检测模型，通过该检测模型确定出存在不同的目标区域，其中，检测模型用于确定第一区域与第二区域之间的相似程度。

在一个例子中，服务器将第一区域和第二区域均输入至检测模型中，获取检测模型输出的第一区域与第二区域之间的LOSS值，该LOSS值可以表征第一区域与第二区域之间的相似程度，若该LOSS值小于1，则确定该目标区域为相同区域；若该LOSS值大于2，则确定该目标区域为不相同区域；若所该LOSS值大于或等于1且小于或等于2，则确定该目标区域为疑问区域，服务器将各不相同区域和各疑问区域作为存在不同的目标区域进行输出。

本实施例，第一图像和第二图像是需要进行图像点检比对的两张图像，服务器从第一图像中提取第一特征点，并从第二图像中提取第二特征点；再对提取出的第一特征点和第二特征点进行匹配，确定出匹配的特征点；随后根据第一图像和第二图像生成差分图像，并根据差分图像、确定出的匹配的特征的点和预设的灰度值阈值，得到二值化图像；再在二值化图像中确定目标区域，并分别在第一图像和第二图像中确定目标区域对应的第一区域和第二区域；最后根据第一区域、第二区域和预训练的用于确定第一区域与第二区域之间的相似程度检测模型，确定出存在不同的目标区域。考虑到业内常用的图像点检比对方法在实际使用中存在错误检测，并且需要测试人员人工配合，检测速度较慢、检测结果的可靠性较低，而本申请的实施例通过匹配、差分、二值化的方式，快速找到可能存在不同的疑问区域，再结合预训练的检测模型对疑问区域进行判定，从而快速、准确地找出第一图像与第二图像之间不同的地方，有效提升了检测结果的可靠性。

在一个实施例中，预设的提取算法包括SIFT算法和Smooth-SIFT算法，服务器根据预设的提取算法和预设的第一提取参数从第一图像中提取第一特征点，并根据所述提取算法和预设的第二提取参数从第二图像中提取第二特征点，可以通过如图3所示的各步骤实现，具体包括：

步骤201，根据SIFT算法和第一提取参数从第一图像中提取第一基础特征点，并根据SIFT算法和第二提取参数从第二图像中提取第二基础特征点。

具体而言，服务器在获取到第一图像和第二图像后，可以先使用SIFT算法进行特征点提取，即根据SIFT算法和第一提取参数从第一图像中提取第一基础特征点，并根据SIFT算法和第二提取参数从第二图像中提取第二基础特征点，其中，第一提取参数和第二提取参数中均包含对比度这一参数，第二提取参数中的第二对比度小于第一提取参数中的第一对比度。

在一个例子中，第一对比度可以设置为0.04，第二对比度可以设置为0.02，使用SIFT算法可以进行基础的特征点提取，第一基础特征点可以记为m1，第二基础特征点可以记为m2。

步骤202，根据Smooth-SIFT算法和预设的第三提取参数，分别从第一图像和第二图像中提取第一补充特征点和第二补充特征点。

在具体实现中，服务器在提取出第一基础特征点和第二基础特征点之后，可以根据Smooth-SIFT算法和预设的第三提取参数，分别从第一图像和第二图像中提取第一补充特征点和第二补充特征点，其中，第三提取参数中包括第三对比度，服务器设置第三对比度小于第二对比度。

在一个例子中，第三对比度可以设置为0.015，补充特征点是对基础特征点的补充，实际上就是在基础特征点周围50个像素的范围内寻找补充特征点，从而增加提取出的特征点，使特征点的分布更加均匀，第一补充特征点可以记为m3，第二补充特征点可以记为m3。

步骤203，将第一基础特征点和第一补充特征点作为第一特征点，将第二基础特征点和第二补充特征点作为第二特征点。

具体而言，服务器在得到第一基础特征点、第二基础特征点、第一补充特征点和第二补充特征点后，可以将第一基础特征点和第一补充特征点作为第一特征点，将第二基础特征点和第二补充特征点作为第二特征点。

在一个例子中，第一基础特征点记为m1、第二基础特征点记为m2、第一补充特征点记为m3、第二补充特征点记为m4，第一特征点记为a1，a1＝m1+m3，第二特征点记为a2，a2＝m2+m4。

本实施例，服务器采用SIFT算法和Smooth-SIFT算法共同从第一图像、第二图像中提取特征点，可以得到更多的、更丰富的特征点，从第一图像、第二图像中提取出的特征点的分布更加均匀，便于后续的二值化处理，以及检测模型的检测，从源头上提升了图像点检比对的准确性、可靠性。

在一个实施例中，预设的匹配算法包括KNN算法，服务器根据预设的匹配算法，确定各第二特征向量中是否有与当前第一特征向量匹配的第二特征向量，可以通过如图4所示的各步骤实现，具体包括：

步骤301，根据KNN算法，分别计算当前第一特征向量与各第二特征向量之间的匹配距离，并确定各匹配距离中的最小值和第二小值。

在具体实现中，服务器使用KNN算法进行特征向量的匹配，服务器分别计算当前第一特征向量与各第二特征向量之间的匹配距离，并确定各匹配距离中的最小值和第二小值，即KNN算法中的N(Nearest)设置为2，实际上就是在各第二特征向量中找到与当前第一特征向量最相似的两个第二特征向量。

步骤302，计算最小值与第二小值之间的比值，若最小值与第二小值之间的比值小于预设的比值阈值，则计算当前第一特征向量对应的第一特征点与最小值对应的第二特征点之间的坐标差值。

在具体实现中，服务器确定出各匹配距离中的最小值和第二小值后，可以计算该最小值与该第二小值之间的比值，并判断最小值与第二小值之间的比值是否小于预设的比值阈值，若最小值与第二小值之间的比值小于预设的比值阈值，则可以计算当前第一特征向量对应的第一特征点与最小值对应的第二特征点之间的坐标差值；若最小值与第二小值之间的比值大于或等于预设的比值阈值，说明这两个第二特征向量与当前第一特征向量之间的相似程度相差不大，即当前第一特征向量没有可以匹配的第二特征向量，服务器直接舍弃当前第一特征向量，并继续对下一个第一特征向量进行匹配，其中，预设的比值阈值可以由本领域的技术人员根据实际需要进行设置。

在一个例子中，预设的比值阈值设置为0.93。

步骤303，若所述坐标差值小于预设的差值阈值，则确定最小值对应的第二特征向量与当前第一特征向量匹配。

在具体实现中，服务器计算出当前第一特征向量对应的第一特征点与最小值对应的第二特征点之间的坐标差值，可以判断所述坐标差值是否小于预设的差值阈值，若所述坐标差值小于预设的差值阈值，则服务器可以确定最小值对应的第二特征向量与当前第一特征向量匹配；若所述坐标差值大于或等于预设的差值阈值，则服务器确定当前第一特征向量没有匹配的第二特征向量，服务器直接舍弃当前第一特征向量，并继续对下一个第一特征向量进行匹配，其中，预设的差值阈值可以由本领域的技术人员根据实际需要进行设置。

在一个例子中，预设的差值阈值为5，即判断当前第一特征向量对应的第一特征点与最小值对应的第二特征点之间的横纵坐标差值是否均小于5，如果是，则认定最小值对应的第二特征向量与当前第一特征向量匹配。

本实施例，服务器在确定第一特征向量是否有匹配的第二特征向量时，采用了比例和坐标差值的双重判断标准，确保第一特征向量与匹配的第二特征向量之间较高的匹配度，从而保证确定出的匹配的特征点是准确度，进一步提升了图像点检比对的准确性、可靠性。

本申请的另一个实施例涉及一种图像点检比对方法，下面对本实施例的图像点检比对方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施例的图像点检比对方法的具体流程可以如图5所示，包括：

步骤401，从第一图像中提取第一特征点，并从第二图像中提取第二特征点。

步骤402，对第一特征点和第二特征点进行匹配，确定出匹配的特征点。

其中，步骤401至步骤402与步骤101至步骤102大致相同，此处不再赘述。

步骤403，获取第一特征点的数量与第二特征点的数量之中的最大值。

步骤404，判断匹配的特征点的数量与最大值之间的比值是否小于预设的截断阈值，如果是，执行步骤405，否则，执行步骤406。

步骤405，直接确定第一图像与第二图像不同。

在具体实现中，服务器确定出匹配的特征点后，可以获取第一特征点的数量与第二特征点的数量之中的最大值，再计算匹配的特征点的数量与最大值之间的比值，并判断匹配的特征点的数量与最大值之间的比值是否小于预设的截断阈值，如果匹配的特征点的数量与最大值之间的比值小于预设的截断阈值，则直接确定第一图像与第二图像不同；若匹配的特征点的数量与最大值之间的比值大于或等于预设的截断阈值，则再根据第一图像和第二图像生成差分图像，其中预设的截断阈值可以由本领域的技术人员根据实际需要进行设置。

在一个例子中，预设的截断阈值设置为0.05。

步骤406，根据第一图像和第二图像生成差分图像，并根据差分图像、匹配的特征的点和预设的灰度值阈值，得到二值化图像。

步骤407，在二值化图像中确定目标区域，并分别在第一图像和第二图像中确定目标区域对应的第一区域和第二区域。

步骤408，根据第一区域、第二区域和预训练的检测模型，确定出存在不同的目标区域。

其中，步骤406至步骤408与步骤103至步骤105大致相同，此处不再赘述。

本实施例，如果匹配的特征点的数量过少，说明第一图像与第二图像之间的差异非常大，无需再进行后续的检测，服务器直接输出图像不同的结果，可以有效节约计算资源、检测资源。

在另一个实施例中，服务器根据差分图像、匹配的特征的点和预设的灰度值阈值，得到二值化图像，可以通过如图6所示的各步骤实现，具体包括：

步骤501，将灰度值大于预设的灰度值阈值的像素点的灰度值赋值为1，并将灰度值小于或等于灰度值阈值的像素点的灰度值赋值为0。

具体而言，服务器得到差分图像后，可以遍历差分图像中每一个像素点的灰度值，将灰度值大于预设的灰度值阈值的像素点的灰度值赋值为1，并将灰度值小于或等于灰度值阈值的像素点的灰度值赋值为0，其中，预设的灰度值阈值可以由本领域的技术人员根据实际需要进行设置。

在一个例子中，预设的灰度值赋值设置为5。

步骤502，将匹配的特征点所在位置的像素点的灰度值，以及匹配的特征点所在位置的像素点的邻域内各像素点的灰度值赋值为0。

在具体实现中，服务器可以将匹配的特征点所在位置的像素点的灰度值，以及匹配的特征点所在位置的像素点的邻域内各像素点的灰度值都直接赋值为0，很好地去除了插值噪声带来的误差。

在一个例子中，匹配的特征点所在位置的像素点的邻域内各像素点，指的是以匹配的特征点所在位置的像素点为中心周围2px×2px范围内的各像素点。

步骤503，根据赋值后的各像素点的灰度值，对赋值后的各像素点进行形态学膨胀，得到二值化图像。

在具体实现中，服务器完成对各像素点的重新赋值后，可以根据赋值后的各像素点的灰度值，对赋值后的各像素点进行形态学膨胀，从而得到差值图像对应的二值化图像，二值化图像中包括若干灰度值为0的区域和若干灰度值为1的区域，灰度值为0的区域表示在第一图像和第二图像中该区域所表征的内容是相同的，灰度值为1的区域表示在第一图像和第二图像中该区域所表征的内容是不相同的。

本实施例，匹配的特征点可认为所表征的内容是一样的，因此无需检测，本申请还将匹配的特征点邻域内的各像素点的灰度值都赋值为0，可以有效消除插值噪声带来的误差，同时进行形态学膨胀操作，这样生成的二值化图像更容易确定出目标区域，进一步提升了图像点检比对的速度和效率。

在一个实施例中，服务器在二值化图像中确定目标区域时，可以获取所述二值化图像中各灰度值为1的区域的外接矩形，并对各外接矩形进行嵌套去重，将去重后的各外接矩形确定为目标区域。考虑到外接矩形中往往存在大框套小框的情况，本实施例将大框中套的小框去重，可以有效减少不必要的目标区域的数量，进一步提升图像点检比对的速度和效率。

在一个实施例中，预训练的检测模型的模型结构可以如图7所示，服务器训练得到检测模型，可以通过如图8所示的各步骤实现，具体包括：

步骤601，获取若干组标注有标签的训练样本，每组训练样本均包含第一样本图像和第二样本图像。

在具体实现中，服务器需要先获取获取若干组标注有标签的训练样本，其中，每组训练样本均包含第一样本图像和第二样本图像，服务器获取到的训练样本包括相同训练样本和不同训练样本，相同训练样本中的第一样本图像与第二样本图像相同，不同训练样本中的第一样本图像与第二样本图像不相同。

在一个例子中，服务器可以获取两万组标注有标签的训练样本，相同训练样本的标签标注为1，不同训练样本的标签标注为0。

步骤602，将第一样本图像和第二样本图像输入至预设的初始模型中，分别根据第一样本图像和第二样本图像得到第三特征向量和第四特征向量。

在具体实现中，服务器可以将第一样本图像和第二样本图像转换成2通道数据结构的数据输入至预设的初始模型中，初始模型的两个分支的特征提取层分别对第一样本图像和第二样本图像进行特征提取，从第一样本图像中提取出第三特征向量，从第二样本图像中提取出第四特征向量。

步骤603，根据所述标签、第三特征向量、第四特征向量和预设的损失函数，计算得到损失值。

具体而言，服务器在提取出第三特征向量、第四特征向量之后，可以根据所述标签、第三特征向量、第四特征向量和预设的损失函数，计算得到损失值。

在一个例子中，服务器可以通过以下公式计算得到损失值：

式中，L表示计算得到的损失值，N表示通道数，y为标签，d为第三特征向量与第四特征向量之间的距离，margin为预设常数。

在一个例子中，margin可以设置为1.5。

步骤604，根据损失值和预设的反向传播算法对初始模型进行迭代训练，得到检测模型。

在具体实现中，服务器计算出损失值后，可以根据损失值和预设的反向传播算法对初始模型进行迭代训练，得到检测模型，其中，预设的反向传播算法可以由本领域的技术人员根据实际需要进行设置。

在一个例子中，服务器可以对初始模型进行预设次数的训练，并记录每次训练得到的快照，随后根据预设的验证集对所有快照进行验证，得到各快照对应的正确率，并将正确率最大的快照作为检测模型输出，得到训练完成的检测模型。本实施例虽然设定训练过程一定要完成预设的训练次数，但不会直接将最后一次训练得到的模型作为最终的模型输出，而是验证每一个快照的正确率，将正确率最高的快照作为检测模型，既保证了训练次数，也防止因样本选择的原因导致训练产生严重偏倚，保证检测模型有较高的正确率，从而进一步提升了图像点检比对的准确性、可靠性。

在一个例子中，预设次数的训练可以为一万次训练。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本申请另一个实施例涉及一种电子设备，如图9所示，包括：至少一个处理器701；以及，与所述至少一个处理器701通信连接的存储器702；其中，所述存储器702存储有可被所述至少一个处理器701执行的指令，所述指令被所述至少一个处理器701执行，以使所述至少一个处理器701能够执行上述各实施例中的图像点检比对方法。

其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。

处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。

本申请另一个实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，简称：ROM)、随机存取存储器(Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施例是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (14)

1.一种图像点检比对方法，其特征在于，包括：

从第一图像中提取第一特征点，并从第二图像中提取第二特征点；

对所述第一特征点和所述第二特征点进行匹配，确定出匹配的特征点；

根据所述第一图像和所述第二图像生成差分图像，并根据所述差分图像、所述匹配的特征的点和预设的灰度值阈值，得到二值化图像；

在所述二值化图像中确定目标区域，并分别在所述第一图像和所述第二图像中确定所述目标区域对应的第一区域和第二区域；

根据所述第一区域、所述第二区域和预训练的检测模型，确定出存在不同的目标区域；其中，所述检测模型用于确定所述第一区域与所述第二区域之间的相似程度。

2.根据权利要求1所述的图像点检比对方法，其特征在于，所述从第一图像中提取第一特征点，并从第二图像中提取第二特征点，包括：

根据预设的提取算法和预设的第一提取参数从第一图像中提取第一特征点，并根据所述提取算法和预设的第二提取参数从第二图像中提取第二特征点；其中，所述第一提取参数包括第一对比度，所述第二提取参数包括第二对比度，所述第二对比度小于所述第一对比度。

3.根据权利要求2所述的图像点检比对方法，其特征在于，预设的提取算法包括尺度不变特征变换SIFT算法和平滑尺度不变特征变换Smooth-SIFT算法，所述根据预设的提取算法和预设的第一提取参数从第一图像中提取第一特征点，并根据所述提取算法和预设的第二提取参数从第二图像中提取第二特征点，包括：

根据所述SIFT算法和所述第一提取参数从所述第一图像中提取第一基础特征点，并根据所述SIFT算法和所述第二提取参数从所述第二图像中提取第二基础特征点；

根据所述Smooth-SIFT算法和预设的第三提取参数，分别从所述第一图像和所述第二图像中提取第一补充特征点和第二补充特征点；其中，所述第三提取参数包括第三对比度，所述第三对比度小于所述第二对比度；

将所述第一基础特征点和所述第一补充特征点作为所述第一特征点，将所述第二基础特征点和所述第二补充特征点作为所述第二特征点。

4.根据权利要求1所述的图像点检比对方法，其特征在于，所述对所述第一特征点和所述第二特征点进行匹配，确定出匹配的特征点，包括：

根据预设的特征向量描述子，分别计算各所述第一特征点对应的第一特征向量、以及各所述第二特征点对应的第二特征向量；

遍历各所述第一特征向量，根据预设的匹配算法，确定各所述第二特征向量中是否有与当前第一特征向量匹配的第二特征向量；

将所述当前第一特征向量对应的第一特征点，和与所述当前第一特征向量匹配的第二特征向量对应的第二特征点，作为一对匹配的特征点。

5.根据权利要求4所述的图像点检比对方法，其特征在于，所述匹配算法包括最近邻匹配KNN算法，所述根据预设的匹配算法，确定各所述第二特征向量中是否有与当前第一特征向量匹配的第二特征向量，包括：

根据所述KNN算法，分别计算所述当前第一特征向量与各所述第二特征向量之间的匹配距离，并确定各所述匹配距离中的最小值和第二小值；

计算所述最小值与所述第二小值之间的比值，若所述最小值与所述第二小值之间的比值小于预设的比值阈值，则计算所述当前第一特征向量对应的第一特征点与所述最小值对应的第二特征点之间的坐标差值；

若所述坐标差值小于预设的差值阈值，则确定所述最小值对应的第二特征向量与所述当前第一特征向量匹配。

6.根据权利要求1所述的图像点检比对方法，其特征在于，在所述确定出匹配的特征点之后，所述根据所述第一图像和所述第二图像生成差分图像之前，还包括：

获取所述第一特征点的数量与所述第二特征点的数量之中的最大值；

判断所述匹配的特征点的数量与所述最大值之间的比值是否小于预设的截断阈值；

若所述匹配的特征点的数量与所述最大值之间的比值小于所述截断阈值，则直接确定所述第一图像与所述第二图像不同；

若所述匹配的特征点的数量与所述最大值之间的比值大于或等于所述截断阈值，则根据所述第一图像和所述第二图像生成差分图像。

7.根据权利要求1所述的图像点检比对方法，其特征在于，所述根据所述差分图像、所述匹配的特征的点和预设的灰度值阈值，得到二值化图像，包括：

将灰度值大于预设的灰度值阈值的像素点的灰度值赋值为1，并将灰度值小于或等于所述灰度值阈值的像素点的灰度值赋值为0；

将所述匹配的特征点所在位置的像素点的灰度值，以及所述匹配的特征点所在位置的像素点的邻域内各像素点的灰度值赋值为0；

根据赋值后的各像素点的灰度值，对所述赋值后的各像素点进行形态学膨胀，得到二值化图像；其中，所述二值化图像中包括若干灰度值为0的区域和若干灰度值为1的区域。

8.根据权利要求7所述的图像点检比对方法，其特征在于，所述在所述二值化图像中确定目标区域，包括：

获取所述二值化图像中各所述灰度值为1的区域的外接矩形；

对各所述外接矩形进行嵌套去重；

将去重后的各所述外接矩形确定为目标区域。

9.根据权利要求1所述的图像点检比对方法，其特征在于，所述根据所述第一区域、所述第二区域和预训练的检测模型，确定出存在不同的目标区域，包括：

将所述第一区域和所述第二区域均输入至所述检测模型中，获取所述检测模型输出的所述第一区域与所述第二区域之间的LOSS值；

若所述LOSS值小于1，则确定所述目标区域为相同区域；

若所述LOSS值大于2，则确定所述目标区域为不相同区域；

若所述LOSS值大于或等于1且小于或等于2，则确定所述目标区域为疑问区域；

将各所述不相同区域和各所述疑问区域作为存在不同的目标区域。

10.根据权利要求1至9中任一项所述的图像点检比对方法，其特征在于，所述预训练的检测模型通过以下步骤训练得到：

获取若干组标注有标签的训练样本；其中，每组所述训练样本均包含第一样本图像和第二样本图像，所述训练样本包括相同训练样本和不同训练样本，所述相同训练样本中的所述第一样本图像与第二样本图像相同，所述不同训练样本中的所述第一样本图像与第二样本图像不相同；

将所述第一样本图像和所述第二样本图像输入至预设的初始模型中，分别根据所述第一样本图像和所述第二样本图像得到第三特征向量和第四特征向量；

根据所述标签、所述第三特征向量、所述第四特征向量和预设的损失函数，计算得到损失值；

根据所述损失值和预设的反向传播算法对所述初始模型进行迭代训练，得到检测模型。

11.根据权利要求10所述的图像点检比对方法，其特征在于，所述根据所述损失值和预设的反向传播算法对所述初始模型进行迭代训练，得到检测模型，包括：

对所述初始模型进行预设次数的训练，并记录每次训练得到的快照；

根据预设的验证集对所述快照进行验证，得到所述快照对应的正确率；

将正确率最大的所述快照作为检测模型。

12.根据权利要求1至9中任一项所述的图像点检比对方法，其特征在于，在所述从第一图像中提取第一特征点，并从第二图像中提取第二特征点之前，还包括：

获取第一图像和第二图像；

若所述第一图像的宽和高是否与所述第二图像的宽和高存在不同，则获取所述第一图像和所述第二图像中宽的最大值和高的最大值；

根据所述宽的最大值和所述高的最大值对所述第一图像和所述第二图像进行归一化，得到归一化的第一图像和归一化的第二图像；

所述从第一图像中提取第一特征点，并从第二图像中提取第二特征点，包括：

从所述归一化的第一图像中提取第一特征点，并从所述归一化的第二图像中提取第二特征点。

13.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至12中任一所述的图像点检比对方法。

14.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的图像点检比对方法。

Images