CN109697240A - 一种基于特征的图像检索方法及装置 - Google Patents
一种基于特征的图像检索方法及装置 Download PDFInfo
- Publication number
- CN109697240A CN109697240A CN201711001272.3A CN201711001272A CN109697240A CN 109697240 A CN109697240 A CN 109697240A CN 201711001272 A CN201711001272 A CN 201711001272A CN 109697240 A CN109697240 A CN 109697240A
- Authority
- CN
- China
- Prior art keywords
- image
- sample image
- retrieved
- comparison result
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理和计算机视觉技术领域，特别涉及一种基于特征的图像检索方法及装置。该方法为：对输入的待检索图像进行预处理，并提取经过预处理后的待检索图像的局部特征点和全局特征点；将待检索图像的局部特征点与预设的样本图像索引库中存储的各样本图像分别对应的局部特征点进行比对，得到第一比对结果，并确定出目标样本图像；将待检索图像的全局特征点与样本图像索引库中存储的目标样本图像的全局特征点进行比对，得到第二比对结果；基于第一比对结果和第二比对结果进行图像检索，其中，样本图像索引库中存储有任一样本图像的图像标识与任一样本图像的全部特征点和局部特征点之间的映射关系。
Description
技术领域
本发明涉及图像处理和计算机视觉技术领域，特别涉及一种基于特征的图像检索方法及装置。
背景技术
随着互联网技术的快速发展，富媒体(Rich Media)内容的展示与分享形式也越来越丰富。随着社交网络的普及，包含有大量文字的文本图像也逐渐被人们认可和接受，成为一种新的内容分享方式。面对大规模的文本图像数据，如何便捷、有效的进行分类和检索成为棘手的问题。
目前，应用较为广泛的图像检索方式具体包括以下几种方式：
第一种方式为：提取图像的SIFT特征点与MSER区域，结合各个SIFT特征点的主方向与主尺度以及在MSER区域内各个SIFT特征点的空间特征参数进行图像检索，在进行图像匹配时利用这两个参数值对匹配上的SIFT特征点进行空间限制。
第二种方式为：提取SIFT特征额度时候利用地理统计方法生成图像特征点的全局特征向量，在粗检索的基础上生成特征描述子，然后利用特征描述子的匹配完成精确检索。
然而，采用上述方式进行图像检索，计算复杂度较高，图像检索效率不高，且并非针对文本图像的检索场景，对文本图像的检索效果不佳。
第三种方式为：采用基于符号列的滑动窗口计算对应窗口的符号部分列，在已有的文本检索中通过多个检索词进行文本图像检索。
然而，采用第三种方式进行图像检索，在具体实施过程中，计算成本较高，且仅针对办公场景下的文本图像，不具有普遍性。
发明内容
本发明实施例的目的是提供一种基于特征的图像检索方法及装置，用以解决现有技术中存在的计算复杂度较高，图像检索效率不高，以及检索方式不具有普遍性的问题。
本发明实施例中提供的具体技术方案如下：
一种基于特征的图像检索方法，包括：
对输入的待检索图像进行预处理，并提取经过预处理后的所述待检索图像的局部特征点和全局特征点；
将所述待检索图像的局部特征点与预设的样本图像索引库中存储的各样本图像分别对应的局部特征点进行比对，得到第一比对结果，并确定出目标样本图像；
将所述待检索图像的全局特征点与所述样本图像索引库中存储的所述目标样本图像的全局特征点进行比对，得到第二比对结果；
基于所述第一比对结果和所述第二比对结果进行图像检索，其中，所述样本图像索引库中存储有任一样本图像的图像标识与所述任一样本图像的全部特征点和局部特征点之间的映射关系。
较佳的，在对输入的待检索图像进行预处理之前，进一步包括：
获取包含有若干样本图像的样本图像库；
针对所述样本图像库中每一样本图像分别执行以下操作：
对一个样本图像进行预处理；
提取经过预处理后的所述一个样本图像的局部特征点和全局特征点；
将所述一个样本图像的图像标识与所述一个样本图像的局部特征点
和全局特征点之间的映射关系存储至样本图像索引库中。
较佳的，对图像进行预处理，具体包括：
对图像进行直方图均衡化处理和图像归一化处理。
较佳的，提取经过预处理后的图像的局部特征点和全局特征点，具体包括：
采用ORB算法对经过预处理后的图像进行ORB特征提取，得到可用于表征图像各局部特征的若干特征点描述子，其中，特征点描述子表示为一个多维向量；
采用感知哈希算法对经过预处理后的图像进行全局特征提取，得到可用于表征图像全局特征的指纹值，其中，指纹值表示为一个64位的二进制序列。
较佳的，将所述待检索图像的局部特征点与预设的样本图像索引库中存储的各样本图像分别对应的局部特征点进行比对，得到第一比对结果，并确定出目标样本图像，具体包括：
针对所述待检索图像的每一特征点描述子分别执行以下操作：从所述样本图像索引库中确定出与所述待检索图像的一个特征点描述子之间的距离最近的第一特征点描述子和距离第二近的第二特征点描述子，并在判定所述一个特征点描述子与所述第一特征点描述子之间的第一距离小于第一设定阈值，且所述第一距离与第二设定阈值之和小于所述一个特征点描述子与所述第二特征点描述子之间的第二距离时，确定所述一个特征点描述子命中所述第一特征点描述子对应的样本图像；
分别统计每一样本图像的命中次数，并将命中次数最大的样本图像确定为目标样本图像，并将所述目标样本图像的命中次数与所述目标样本图像的特征点描述子总数目之比，确定为所述待检测图像与所述目标样本图像的相似度。
较佳的，将所述待检索图像的全局特征点与所述样本图像索引库中存储的所述目标样本图像的全局特征点进行比对，得到第二比对结果，具体包括：
计算所述待检索图像的指纹值与所述目标样本图像的指纹值之间的汉明距离。
较佳的，基于所述第一比对结果和所述第二比对结果进行图像检索，具体包括：
若所述待检测图像与所述目标样本图像的相似度大于或等于第三设定阈值，且所述待检索图像的指纹值与所述目标样本图像的指纹值之间的汉明距离小于第四设定阈值，则确定所述待检索图像与所述目标样本图像相似，并输出所述目标样本图像。
一种基于特征的图像检索装置，包括：
提取单元，用于对输入的待检索图像进行预处理，并提取经过预处理后的所述待检索图像的局部特征点和全局特征点；
第一比对单元，用于将所述待检索图像的局部特征点与预设的样本图像索引库中存储的各样本图像分别对应的局部特征点进行比对，得到第一比对结果，并确定出目标样本图像；
第二比对单元，用于将所述待检索图像的全局特征点与所述样本图像索引库中存储的所述目标样本图像的全局特征点进行比对，得到第二比对结果；
检索单元，用于基于所述第一比对结果和所述第二比对结果进行图像检索，其中，所述样本图像索引库中存储有任一样本图像的图像标识与所述任一样本图像的全部特征点和局部特征点之间的映射关系。
较佳的，在对输入的待检索图像进行预处理之前，所述提取单元进一步用于：
获取包含有若干样本图像的样本图像库；
针对所述样本图像库中每一样本图像分别执行以下操作：
对一个样本图像进行预处理；
提取经过预处理后的所述一个样本图像的局部特征点和全局特征点；
将所述一个样本图像的图像标识与所述一个样本图像的局部特征点
和全局特征点之间的映射关系存储至样本图像索引库中。
较佳的，在对图像进行预处理时，所述提取单元具体用于：
对图像进行直方图均衡化处理和图像归一化处理。
较佳的，在提取经过预处理后的图像的局部特征点和全局特征点时，所述提取单元具体用于：
采用ORB算法对经过预处理后的图像进行ORB特征提取，得到可用于表征图像各局部特征的若干特征点描述子，其中，特征点描述子表示为一个多维向量；
采用感知哈希算法对经过预处理后的图像进行全局特征提取，得到可用于表征图像全局特征的指纹值，其中，指纹值表示为一个64位的二进制序列。
较佳的，在将所述待检索图像的局部特征点与预设的样本图像索引库中存储的各样本图像分别对应的局部特征点进行比对，得到第一比对结果，并确定出目标样本图像时，所述第一比对单元具体用于：
针对所述待检索图像的每一特征点描述子分别执行以下操作：从所述样本图像索引库中确定出与所述待检索图像的一个特征点描述子之间的距离最近的第一特征点描述子和距离第二近的第二特征点描述子，并在判定所述一个特征点描述子与所述第一特征点描述子之间的第一距离小于第一设定阈值，且所述第一距离与第二设定阈值之和小于所述一个特征点描述子与所述第二特征点描述子之间的第二距离时，确定所述一个特征点描述子命中所述第一特征点描述子对应的样本图像；
分别统计每一样本图像的命中次数，并将命中次数最大的样本图像确定为目标样本图像，并将所述目标样本图像的命中次数与所述目标样本图像的特征点描述子总数目之比，确定为所述待检测图像与所述目标样本图像的相似度。
较佳的，在将所述待检索图像的全局特征点与所述样本图像索引库中存储的所述目标样本图像的全局特征点进行比对，得到第二比对结果时，所述第二比对单元具体用于：
计算所述待检索图像的指纹值与所述目标样本图像的指纹值之间的汉明距离。
较佳的，在基于所述第一比对结果和所述第二比对结果进行图像检索时，所述检索单元具体用于：
若所述待检测图像与所述目标样本图像的相似度大于或等于第三设定阈值，且所述待检索图像的指纹值与所述目标样本图像的指纹值之间的汉明距离小于第四设定阈值，则确定所述待检索图像与所述目标样本图像相似，并输出所述目标样本图像。
一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行：对输入的待检索图像进行预处理，并提取经过预处理后的所述待检索图像的局部特征点和全局特征点；将所述待检索图像的局部特征点与预设的样本图像索引库中存储的各样本图像分别对应的局部特征点进行比对，得到第一比对结果，并确定出目标样本图像；将所述待检索图像的全局特征点与所述样本图像索引库中存储的所述目标样本图像的全局特征点进行比对，得到第二比对结果；基于所述第一比对结果和所述第二比对结果进行图像检索，其中，所述样本图像索引库中存储有任一样本图像的图像标识与所述任一样本图像的全部特征点和局部特征点之间的映射关系。
一种计算机存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述任一项方法。
本发明有益效果如下：
综上所述，本发明实施例中，在进行图像检索的过程中，对输入的待检索图像进行预处理，并提取经过预处理后的所述待检索图像的局部特征点和全局特征点；将所述待检索图像的局部特征点与预设的样本图像索引库中存储的各样本图像分别对应的局部特征点进行比对，得到第一比对结果，并确定出目标样本图像；将所述待检索图像的全局特征点与所述样本图像索引库中存储的所述目标样本图像的全局特征点进行比对，得到第二比对结果；基于所述第一比对结果和所述第二比对结果进行图像检索，其中，所述样本图像索引库中存储有任一样本图像的图像标识与所述任一样本图像的全部特征点和局部特征点之间的映射关系。
采用上述方法，预先建立样本图像索引库，并采用图像的局部特征点和全局特征点进行分别进行比对，提高了检索正确率，且采用速度更快的算法提取图像特征，降低了计算复杂度，从而提升了图像检索效率，且适用于对文本图像的检索。
附图说明
图1为本发明实施例中，一种基于特征的图像检索方法的详细流程图；
图2为本发明实施例中，一种基于特征的图像检索方法的流程示意图；
图3为本发明实施例中，一种基于特征的图像检索装置的结构示意图。
具体实施方式
为了解决现有技术中存在的计算复杂度较高，图像检索效率不高，以及检索方式不具有普遍性的问题，本发明实施例中提供了一种新的基于特征的图像检索方法及装置，适用于文本图像的检索场景，该方法为：对输入的待检索图像进行预处理，并提取经过预处理后的所述待检索图像的局部特征点和全局特征点；将所述待检索图像的局部特征点与预设的样本图像索引库中存储的各样本图像分别对应的局部特征点进行比对，得到第一比对结果，并确定出目标样本图像；将所述待检索图像的全局特征点与所述样本图像索引库中存储的所述目标样本图像的全局特征点进行比对，得到第二比对结果；基于所述第一比对结果和所述第二比对结果进行图像检索，其中，所述样本图像索引库中存储有任一样本图像的图像标识与所述任一样本图像的全部特征点和局部特征点之间的映射关系。
本发明实施例中，所谓文本图像，指的是包含有大量文本段落的图像，较佳的，可以定义为包含大量文字段落，文字覆盖区域占整张图像的70％以上的图像。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面将通过具体实施例对本发明的方案进行详细描述，当然，本发明并不限于以下实施例。
参阅图1所示，本发明实施例中，一种基于特征的图像检索方法的详细流程如下：
步骤100：对输入的待检索图像进行预处理，并提取经过预处理后的上述待检索图像的局部特征点和全局特征点。
本发明实施例中，在执行步骤100之前，需要预先建立样本图像索引库，具体的，获取包含有若干样本图像的样本图像库，并针对上述样本图像库中每一样本图像分别执行以下操作：对一个样本图像进行预处理；提取经过预处理后的上述一个样本图像的局部特征点和全局特征点；将上述一个样本图像的图像标识与上述一个样本图像的局部特征点和全局特征点之间的映射关系存储至样本图像索引库中。
实际应用中，建立图像样本索引库的过程中，针对每一样本图像进行的预处理，局部特征点的提取和全局特征点的提取的操作与步骤100中的执行方式是完全相同的。
本发明实施例中，进行图像检索的本质是判断样本图像索引库中是否存在与待检索图像相对应的，满足相关条件的样本图像。
那么，本发明实施例中，在对图像进行预处理时，首先，对输入的图像进行直方图均衡化处理，增加图像的全局对比度，以使得图像细节更清晰；然后，对图像进行图像归一化处理。可选的，本发明实施例中，对图像进行归一化处理的具体方式为：预设图像最大长度Lmax，若图像的长度或宽度大于Lmax时，将图像超过Lmax的长度或宽度缩放为Lmax，并对图像进行等比例缩放。
例如，假设待检索图像长度为L1，宽度为L2，L1＞Lmax，则将待检索图像长度缩放为Lmax，并将待检索图像的宽度等比例缩放为L2’＝Lmax/L1。
在对图像完成预处理后，接着，需要提取图像的局部特征点和全局特征点。
可选的，本发明实施例中，在提取图像的局部特征点时，可采用ORB算法对经过预处理后的图像进行ORB特征提取，得到可用于表征图像各局部特征的若干特征点描述子，其中，特征点描述子表示为一个多维向量。
具体的，执行ORB算法的步骤如下：首先采用FAST算法检测图像的特征点，并计算特征点方向；然后，采用BRIEF算法计算每一个特征点的描述子，并在BRIEF特征描述的基础上加入旋转因子。
可选的，本发明实施例中，在提取图像的全局特征点时，可采用感知哈希算法对经过预处理后的图像进行全局特征提取，得到可用于表征图像全局特征的指纹值，其中，指纹值表示为一个64位的二进制序列。
具体的，执行感知哈希算法的步骤如下：将图像缩放至规格为32像素×32像素的图像，并进行图像灰度化；对32像素×32像素的图像进行离散余弦变换(Discrete CosineTransform，DCT)变换，得到DCT变换后的32像素×32像素的图像；取DCT变换后的图像矩阵左上角的8像素×8像素的窗口，并计算每一像素的像素值8像素×8像素和窗口的像素均值P’；将8像素×8像素窗口内每一像素的像素值与像素均值P’进行比较，若大于像素均值P’，则标记为0，若小于等于像素均值P’，则标记为1；按照预设规则，将8像素×8像素窗口中每一像素点分别对应的标记(即0或1)进行排列，形成图像的指纹值，即一个64位的二进制序列。
当然，本发明实施例中，上述图像可以为待检索图像，也可以为样本图像库中的样本图像。显然，通过上述方式，即可针对样本图像库中每一样本图像分别进行预处理，局部特征点和全局特征点提取，并预先存储至样本图像索引库中，样本图像索引库中存储有各样本图像的图像标识与局部特征点和全局特征点之间的映射关系。一个样本图像的图像标识用于唯一标识上述一个样本图像。可选的，图像标识可以为图像文件名/图像MD5值。
步骤110：将上述待检索图像的局部特征点与预设的样本图像索引库中存储的各样本图像分别对应的局部特征点进行比对，得到第一比对结果，并确定出目标样本图像。
具体的，在完成对待检索图像的局部特征点和全局特征点的提取后，在执行步骤110时，针对上述待检索图像的每一特征点描述子分别执行以下操作：从上述样本图像索引库中确定出与上述待检索图像的一个特征点描述子之间的距离最近的第一特征点描述子和距离第二近的第二特征点描述子，并在判定上述一个特征点描述子与上述第一特征点描述子之间的第一距离小于第一设定阈值，且上述第一距离与第二设定阈值之和小于上述一个特征点描述子与上述第二特征点描述子之间的第二距离时，确定上述一个特征点描述子命中上述第一特征点描述子对应的样本图像。
例如，假设待检索图像的一个特征点描述子i属于第一类特征，第一设定阈值为Dabs，第二设定阈值为Drel，样本图像索引库中存在N个属于第一类特征的特征点描述子，那么，即可分别计算特征点描述子i与N个属于第一类特征的特征点描述子之间的距离，并确定距离最近的第一特征点描述子Pi1和第一距离Di1，确定距离第二近的第二特征点描述子Pi2和第二距离Di2，进一步的，若判定Di1＜Dabs，且Di1+Drel＜Di2，则确定特征点描述子i命中了Pi1所对应的样本图像。
本发明实施例中，之所以在判定第一距离小于第一设定阈值之后，进一步判断第一距离与第二设定阈值之和小于第二距离，是为了保证样本图像检索库中只存在一个样本图像在一个特征点描述子上与待检索图像相似。当然，第一设定阈值和第二设定阈值的设定与用户需求和/或实际应用场景相关联，本发明实施例中，在此不做具体限定。
采用上述方式直至处理完待检测图像的所有特征点描述子之后，分别统计每一样本图像的命中次数，并将命中次数最大的样本图像确定为目标样本图像，并将上述目标样本图像的命中次数与上述目标样本图像的特征点描述子总数目之比，确定为上述待检测图像与上述目标样本图像的相似度。
可选的，本发明实施例中，在对待检索图像的特征点描述子与样本图像检索库中的特征点描述子进行比对的过程中，实时记录每一样本图像的命中次数。
例如，假设样本图像索引库I中的一个样本图像的图像标识为x，其命中次数设置为Cx，初始值为0，那么，若判定一个特征点描述子命中该样本图像时，Cx自加1，最终得到样本图像的命中次数集合{Cx，x∈I}。若确定{Cx，x∈I}中命中次数最大的样本图像为样本图像1，其命中次数为C1，其特征点描述子总数目F1，那么，即可将计算待检索图像与样本图像1的相似度Sl，其中，Sl＝C1/F1。
步骤120：将上述待检索图像的全局特征点与上述样本图像索引库中存储的上述目标样本图像的全局特征点进行比对，得到第二比对结果。
具体的，在执行步骤120时，计算上述待检索图像的指纹值与上述目标样本图像的指纹值之间的汉明距离。所谓汉明距离，指的是两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数。
显然，本发明实施例中，待检索图像的指纹值(即全局特征点)是一个64位的二进制序列，目标样本图像(即命中次数最多的样本图像)的指纹值也是一个64位的二进制序列，那么，即可计算待检索图像与目标样本图像的指纹值之间的汉明距离，汉明距离越大，表征待检索图像与目标样本图像之间的相似性越小，汉明距离越小，表征待检索图像与目标样本图像之间的相似性越大。
例如，假设字符串1为：0101001，字符串2为0001000，字符串1与字符串2的第2位和第7位不同，那么，即可确定出字符串1和字符串2的汉明距离为2。
步骤130：基于上述第一比对结果和上述第二比对结果进行图像检索，其中，上述样本图像索引库中存储有任一样本图像的图像标识与上述任一样本图像的全部特征点和局部特征点之间的映射关系。
具体的，在执行步骤130时，需要判断上述待检测图像与上述目标样本图像的相似度是否大于或等于第三设定阈值，并上述待检索图像的指纹值与上述目标样本图像的指纹值之间的汉明距离是否小于第四设定阈值。
若判定上述待检测图像与上述目标样本图像的相似度大于或等于第三设定阈值，且上述待检索图像的指纹值与上述目标样本图像的指纹值之间的汉明距离小于第四设定阈值，则确定上述待检索图像与上述目标样本图像相似，并输出上述目标样本图像；否则，确定样本图像检索库中不存在与上述待检索图像相似的样本图像。
当然，本发明实施例中，第三设定阈值和第四设定阈值的设定与用户需求和/或实际应用场景相关联，本发明实施例中，在此不做具体限定。
下面采用具体的应用场景对上述实施例作进一步详细说明，参阅图2所示，本发明实施例中，一种基于特征的图像检索方法的流程示意图。预先针对样本图像库中的每一样本图像分别进行图像预处理和特征提取，并将样本图像的图像标识与提取出的局部特征点和全局特征点之间的映射关系存储至样本图像索引库中，建立起样本图像索引库；在接收到输入的待检索图像后，对待检索图像进行图像预处理和特征提取，将提取出的检索图像的局部特征点和全局特征点与样本图像索引库中的进行比对，得到相应的检索结果。
基于上述实施例，参阅图3所示，本发明实施例中，一种基于特征的图像检索装置，至少包括提取单元30，第一比对单元31，第二比对单元32和检索单元33，其中，
提取单元30，用于对输入的待检索图像进行预处理，并提取经过预处理后的所述待检索图像的局部特征点和全局特征点；
第一比对单元31，用于将所述待检索图像的局部特征点与预设的样本图像索引库中存储的各样本图像分别对应的局部特征点进行比对，得到第一比对结果，并确定出目标样本图像；
第二比对单元32，用于将所述待检索图像的全局特征点与所述样本图像索引库中存储的所述目标样本图像的全局特征点进行比对，得到第二比对结果；
检索单元33，用于基于所述第一比对结果和所述第二比对结果进行图像检索，其中，所述样本图像索引库中存储有任一样本图像的图像标识与所述任一样本图像的全部特征点和局部特征点之间的映射关系。
较佳的，在对输入的待检索图像进行预处理之前，所述提取单元30进一步用于：
获取包含有若干样本图像的样本图像库；
针对所述样本图像库中每一样本图像分别执行以下操作：
对一个样本图像进行预处理；
提取经过预处理后的所述一个样本图像的局部特征点和全局特征点；
将所述一个样本图像的图像标识与所述一个样本图像的局部特征点
和全局特征点之间的映射关系存储至样本图像索引库中。
较佳的，在对图像进行预处理时，所述提取单元30具体用于：
对图像进行直方图均衡化处理和图像归一化处理。
较佳的，在提取经过预处理后的图像的局部特征点和全局特征点时，所述提取单元30具体用于：
采用ORB算法对经过预处理后的图像进行ORB特征提取，得到可用于表征图像各局部特征的若干特征点描述子，其中，特征点描述子表示为一个多维向量；
采用感知哈希算法对经过预处理后的图像进行全局特征提取，得到可用于表征图像全局特征的指纹值，其中，指纹值表示为一个64位的二进制序列。
较佳的，在将所述待检索图像的局部特征点与预设的样本图像索引库中存储的各样本图像分别对应的局部特征点进行比对，得到第一比对结果，并确定出目标样本图像时，所述第一比对单元31具体用于：
针对所述待检索图像的每一特征点描述子分别执行以下操作：从所述样本图像索引库中确定出与所述待检索图像的一个特征点描述子之间的距离最近的第一特征点描述子和距离第二近的第二特征点描述子，并在判定所述一个特征点描述子与所述第一特征点描述子之间的第一距离小于第一设定阈值，且所述第一距离与第二设定阈值之和小于所述一个特征点描述子与所述第二特征点描述子之间的第二距离时，确定所述一个特征点描述子命中所述第一特征点描述子对应的样本图像；
分别统计每一样本图像的命中次数，并将命中次数最大的样本图像确定为目标样本图像，并将所述目标样本图像的命中次数与所述目标样本图像的特征点描述子总数目之比，确定为所述待检测图像与所述目标样本图像的相似度。
较佳的，在将所述待检索图像的全局特征点与所述样本图像索引库中存储的所述目标样本图像的全局特征点进行比对，得到第二比对结果时，所述第二比对单元32具体用于：
计算所述待检索图像的指纹值与所述目标样本图像的指纹值之间的汉明距离。
较佳的，在基于所述第一比对结果和所述第二比对结果进行图像检索时，所述检索单元33具体用于：
若所述待检测图像与所述目标样本图像的相似度大于或等于第三设定阈值，且所述待检索图像的指纹值与所述目标样本图像的指纹值之间的汉明距离小于第四设定阈值，则确定所述待检索图像与所述目标样本图像相似，并输出所述目标样本图像。
综上所述，本发明实施例中，在进行图像检索的过程中，对输入的待检索图像进行预处理，并提取经过预处理后的所述待检索图像的局部特征点和全局特征点；将所述待检索图像的局部特征点与预设的样本图像索引库中存储的各样本图像分别对应的局部特征点进行比对，得到第一比对结果，并确定出目标样本图像；将所述待检索图像的全局特征点与所述样本图像索引库中存储的所述目标样本图像的全局特征点进行比对，得到第二比对结果；基于所述第一比对结果和所述第二比对结果进行图像检索，其中，所述样本图像索引库中存储有任一样本图像的图像标识与所述任一样本图像的全部特征点和局部特征点之间的映射关系。
采用上述方法，预先建立样本图像索引库，并采用图像的局部特征点和全局特征点进行分别进行比对，提高了检索正确率，且采用速度更快的算法提取图像特征，降低了计算复杂度，从而提升了图像检索效率，且适用于对文本图像的检索。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于特征的图像检索方法，其特征在于，包括：
对输入的待检索图像进行预处理，并提取经过预处理后的所述待检索图像的局部特征点和全局特征点；
将所述待检索图像的局部特征点与预设的样本图像索引库中存储的各样本图像分别对应的局部特征点进行比对，得到第一比对结果，并确定出目标样本图像；
将所述待检索图像的全局特征点与所述样本图像索引库中存储的所述目标样本图像的全局特征点进行比对，得到第二比对结果；
基于所述第一比对结果和所述第二比对结果进行图像检索，其中，所述样本图像索引库中存储有任一样本图像的图像标识与所述任一样本图像的全部特征点和局部特征点之间的映射关系。
2.如权利要求1所述的方法，其特征在于，在对输入的待检索图像进行预处理之前，进一步包括：
获取包含有若干样本图像的样本图像库；
针对所述样本图像库中每一样本图像分别执行以下操作：
对一个样本图像进行预处理；
提取经过预处理后的所述一个样本图像的局部特征点和全局特征点；
将所述一个样本图像的图像标识与所述一个样本图像的局部特征点和全局特征点之间的映射关系存储至样本图像索引库中。
3.如权利要求1或2所述的方法，其特征在于，对图像进行预处理，具体包括：
对图像进行直方图均衡化处理和图像归一化处理。
4.如权利要求1或2所述的方法，其特征在于，提取经过预处理后的图像的局部特征点和全局特征点，具体包括：
采用ORB算法对经过预处理后的图像进行ORB特征提取，得到可用于表征图像各局部特征的若干特征点描述子，其中，特征点描述子表示为一个多维向量；
采用感知哈希算法对经过预处理后的图像进行全局特征提取，得到可用于表征图像全局特征的指纹值，其中，指纹值表示为一个64位的二进制序列。
5.如权利要求4所述的方法，其特征在于，将所述待检索图像的局部特征点与预设的样本图像索引库中存储的各样本图像分别对应的局部特征点进行比对，得到第一比对结果，并确定出目标样本图像，具体包括：
针对所述待检索图像的每一特征点描述子分别执行以下操作：从所述样本图像索引库中确定出与所述待检索图像的一个特征点描述子之间的距离最近的第一特征点描述子和距离第二近的第二特征点描述子，并在判定所述一个特征点描述子与所述第一特征点描述子之间的第一距离小于第一设定阈值，且所述第一距离与第二设定阈值之和小于所述一个特征点描述子与所述第二特征点描述子之间的第二距离时，确定所述一个特征点描述子命中所述第一特征点描述子对应的样本图像；
分别统计每一样本图像的命中次数，并将命中次数最大的样本图像确定为目标样本图像，并将所述目标样本图像的命中次数与所述目标样本图像的特征点描述子总数目之比，确定为所述待检测图像与所述目标样本图像的相似度。
6.如权利要求5所述的方法，其特征在于，将所述待检索图像的全局特征点与所述样本图像索引库中存储的所述目标样本图像的全局特征点进行比对，得到第二比对结果，具体包括：
计算所述待检索图像的指纹值与所述目标样本图像的指纹值之间的汉明距离。
7.如权利要求6所述的方法，其特征在于，基于所述第一比对结果和所述第二比对结果进行图像检索，具体包括：
若所述待检测图像与所述目标样本图像的相似度大于或等于第三设定阈值，且所述待检索图像的指纹值与所述目标样本图像的指纹值之间的汉明距离小于第四设定阈值，则确定所述待检索图像与所述目标样本图像相似，并输出所述目标样本图像。
8.一种基于特征的图像检索装置，其特征在于，包括：
提取单元，用于对输入的待检索图像进行预处理，并提取经过预处理后的所述待检索图像的局部特征点和全局特征点；
第一比对单元，用于将所述待检索图像的局部特征点与预设的样本图像索引库中存储的各样本图像分别对应的局部特征点进行比对，得到第一比对结果，并确定出目标样本图像；
第二比对单元，用于将所述待检索图像的全局特征点与所述样本图像索引库中存储的所述目标样本图像的全局特征点进行比对，得到第二比对结果；
检索单元，用于基于所述第一比对结果和所述第二比对结果进行图像检索，其中，所述样本图像索引库中存储有任一样本图像的图像标识与所述任一样本图像的全部特征点和局部特征点之间的映射关系。
9.一种计算设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行：对输入的待检索图像进行预处理，并提取经过预处理后的所述待检索图像的局部特征点和全局特征点；将所述待检索图像的局部特征点与预设的样本图像索引库中存储的各样本图像分别对应的局部特征点进行比对，得到第一比对结果，并确定出目标样本图像；将所述待检索图像的全局特征点与所述样本图像索引库中存储的所述目标样本图像的全局特征点进行比对，得到第二比对结果；基于所述第一比对结果和所述第二比对结果进行图像检索，其中，所述样本图像索引库中存储有任一样本图像的图像标识与所述任一样本图像的全部特征点和局部特征点之间的映射关系。
10.一种计算机存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711001272.3A CN109697240B (zh) | 2017-10-24 | 2017-10-24 | 一种基于特征的图像检索方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711001272.3A CN109697240B (zh) | 2017-10-24 | 2017-10-24 | 一种基于特征的图像检索方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109697240A true CN109697240A (zh) | 2019-04-30 |
| CN109697240B CN109697240B (zh) | 2020-12-22 |
Family
ID=66228077
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711001272.3A Active CN109697240B (zh) | 2017-10-24 | 2017-10-24 | 一种基于特征的图像检索方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109697240B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110119460A (zh) * | 2019-05-16 | 2019-08-13 | 广东三维家信息科技有限公司 | 图像检索方法、装置及电子设备 |
| CN110309335A (zh) * | 2019-07-03 | 2019-10-08 | 腾讯科技（深圳）有限公司 | 一种图片匹配方法、装置、设备及存储介质 |
| CN110807110A (zh) * | 2019-09-30 | 2020-02-18 | 奇安信科技集团股份有限公司 | 结合局部和全局特征的图片搜索方法、装置及电子设备 |
| CN113657136A (zh) * | 2020-05-12 | 2021-11-16 | 阿里巴巴集团控股有限公司 | 识别方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102542058A (zh) * | 2011-12-29 | 2012-07-04 | 天津大学 | 一种融合全局与局部视觉特征的层次化地标识别方法 |
| CN105184235A (zh) * | 2015-08-24 | 2015-12-23 | 中国电子科技集团公司第三十八研究所 | 一种基于特征融合的二代身份证识别方法 |
| US20160078057A1 (en) * | 2013-09-04 | 2016-03-17 | Shazura, Inc. | Content based image retrieval |
| CN106294798A (zh) * | 2016-08-15 | 2017-01-04 | 华为技术有限公司 | 一种基于缩略图的图像分享方法和终端 |
| CN106933816A (zh) * | 2015-12-29 | 2017-07-07 | 北京大唐高鸿数据网络技术有限公司 | 基于全局特征和局部特征的跨镜头目标检索系统及方法 |
-
2017
- 2017-10-24 CN CN201711001272.3A patent/CN109697240B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102542058A (zh) * | 2011-12-29 | 2012-07-04 | 天津大学 | 一种融合全局与局部视觉特征的层次化地标识别方法 |
| US20160078057A1 (en) * | 2013-09-04 | 2016-03-17 | Shazura, Inc. | Content based image retrieval |
| CN105184235A (zh) * | 2015-08-24 | 2015-12-23 | 中国电子科技集团公司第三十八研究所 | 一种基于特征融合的二代身份证识别方法 |
| CN106933816A (zh) * | 2015-12-29 | 2017-07-07 | 北京大唐高鸿数据网络技术有限公司 | 基于全局特征和局部特征的跨镜头目标检索系统及方法 |
| CN106294798A (zh) * | 2016-08-15 | 2017-01-04 | 华为技术有限公司 | 一种基于缩略图的图像分享方法和终端 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110119460A (zh) * | 2019-05-16 | 2019-08-13 | 广东三维家信息科技有限公司 | 图像检索方法、装置及电子设备 |
| CN110309335A (zh) * | 2019-07-03 | 2019-10-08 | 腾讯科技（深圳）有限公司 | 一种图片匹配方法、装置、设备及存储介质 |
| CN110309335B (zh) * | 2019-07-03 | 2023-01-06 | 腾讯科技（深圳）有限公司 | 一种图片匹配方法、装置、设备及存储介质 |
| CN110807110A (zh) * | 2019-09-30 | 2020-02-18 | 奇安信科技集团股份有限公司 | 结合局部和全局特征的图片搜索方法、装置及电子设备 |
| CN110807110B (zh) * | 2019-09-30 | 2023-02-28 | 奇安信科技集团股份有限公司 | 结合局部和全局特征的图片搜索方法、装置及电子设备 |
| CN113657136A (zh) * | 2020-05-12 | 2021-11-16 | 阿里巴巴集团控股有限公司 | 识别方法及装置 |
| CN113657136B (zh) * | 2020-05-12 | 2024-02-13 | 阿里巴巴集团控股有限公司 | 识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109697240B (zh) | 2020-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Melekhov et al. | Siamese network features for image matching | |
| CN108228915B (zh) | 一种基于深度学习的视频检索方法 | |
| Wang et al. | MARCH: Multiscale-arch-height description for mobile retrieval of leaf images | |
| CN110263659B (zh) | 一种基于三元组损失和轻量级网络的指静脉识别方法及系统 | |
| CN111651636B (zh) | 视频相似片段搜索方法及装置 | |
| US8358837B2 (en) | Apparatus and methods for detecting adult videos | |
| US8538164B2 (en) | Image patch descriptors | |
| EP2568429A1 (en) | Method and system for pushing individual advertisement based on user interest learning | |
| TW202207077A (zh) | 一種文本區域的定位方法及裝置 | |
| AU2018202767B2 (en) | Data structure and algorithm for tag less search and svg retrieval | |
| CN109697240A (zh) | 一种基于特征的图像检索方法及装置 | |
| CN110688524A (zh) | 视频检索方法、装置、电子设备及存储介质 | |
| CN105069457B (zh) | 图像识别方法和装置 | |
| CN115443490A (zh) | 影像审核方法及装置、设备、存储介质 | |
| CN106096028A (zh) | 基于图像识别的文物索引方法及装置 | |
| CN108090117B (zh) | 一种图像检索方法及装置，电子设备 | |
| CN111191584A (zh) | 一种人脸识别方法及装置 | |
| Abdesselam | Improving local binary patterns techniques by using edge information | |
| CN112001389A (zh) | 一种多场景视频中文本信息识别方法、装置及电子设备 | |
| CN115115981A (zh) | 数据处理方法、装置、设备、存储介质及计算机程序产品 | |
| CN113688261A (zh) | 图像数据清理方法、装置、电子设备及可读存储介质 | |
| Dixit et al. | Adaptive clustering-based approach for forgery detection in images containing similar appearing but authentic objects | |
| CN108122011B (zh) | 基于多种不变性混合的目标跟踪方法和系统 | |
| CN111178409B (zh) | 基于大数据矩阵稳定性分析的图像匹配与识别系统 | |
| Kurien et al. | Accurate and efficient copy-move forgery detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |