CN117576425A - 一种窜拍图像检测的方法和系统 - Google Patents

Abstract

本发明提出一种窜拍图像检测方法及系统，该方法包括：获取目标图像及所述目标图像的图像信息；对所述目标图像进行特征提取，得到目标图像特征；基于所述目标图像特征，在检索库中进行基于特征匹配的检索；基于所述目标图像的图像信息和预设的相似度阈值，对检索到的源图像进行过滤；若过滤后的结果为空，则确定所述目标图像为非窜拍图像；若过滤后的结果不为空，则对所述目标图像和过滤后的源图像进行关键点匹配，基于关键点匹配结果，确定所述目标图像是否为窜拍图像。本发明提供的窜拍图像检测方法，采用多维度、多层级的匹配方案来对目标图像进行识别，检索速度快、精度高，能充分解决用户对窜拍造假的识别需求。

Description

一种窜拍图像检测的方法和系统

技术领域

本发明涉及图像检测领域，具体涉及一种窜拍图像检测方法及系统。

背景技术

图像窜拍是指将拍摄的同一地点的同一物体的另一角度图像，伪造为不同地点拍摄的该物体的图像。图像窜拍行为通常发生在需要对相同物品在不同场地进行陈列的场景下，也就是说，假定需要在场地A和场地B分别陈列物品C，但是拍摄方仅拍摄了场地A陈列的物品C的不同角度图片，并将其中某个角度或多个角度的图片作为场地B的陈列图片上传。

目前，行业内并无有效方案，能够识别窜拍图像。

发明内容

发明目的：本发明旨在弥补现有技术的不足，提出窜拍图像检测方法及系统，能够精准识别出窜拍图像。

发明内容：为实现上述目的，本发明提出以下技术方案：

第一方面，提供了一种窜拍图像检测方法，该方法包括步骤：

获取目标图像及所述目标图像的图像信息，所述图像信息用于描述所述目标图像的拍摄场地、拍摄人员及拍摄时间；

对所述目标图像进行特征提取，得到目标图像特征；

基于所述目标图像特征，在检索库中进行基于特征匹配的检索；所述检索库中关联存储有源图像、所述源图像的图像特征及所述源图像的图像信息；所述源图像为非窜拍图像；

基于所述目标图像的图像信息和预设的相似度阈值，对检索到的源图像进行过滤；

若过滤后的结果为空，则确定所述目标图像为非窜拍图像；

若过滤后的结果不为空，则对所述目标图像和过滤后的源图像进行关键点匹配，基于关键点匹配结果，确定所述目标图像是否为窜拍图像。

作为第一方面所述方法的一种可选实施方式，对所述目标图像进行特征提取，得到目标图像特征，具体包括：

基于预设的特征提取模型，对所述目标图像进行特征提取，得到第一特征；

将所述目标图像分割为互不重叠的多个图像块；

针对每一个所述图像块，基于所述特征提取模型对所述图像块进行特征提取，得到第二特征；

将所述目标图像的第一特征和所有所述图像块的第二特征进行拼接，得到所述目标图像特征。

作为第一方面所述方法的一种可选实施方式，所述源图像的图像特征采用以下方式得到，具体包括：

基于预设的特征提取模型，对所述源图像进行特征提取，得到第三特征；

将所述源图像分割为互不重叠的多个图像块；

针对每一个所述图像块，基于所述特征提取模型对所述图像块进行特征提取，得到第四特征；

将所述源图像的第三特征和所有所述图像块的第四特征进行拼接，得到所述源图像的图像特征。

作为第一方面所述方法的一种可选实施方式，基于所述目标图像特征，在检索库中进行基于特征匹配的检索，具体包括：

针对所述检索库中的每个源图像，计算所述源图像的图像特征与所述目标图像特征之间的相似度；

选取与所述目标图像特征相似度最高的K个源图像，作为检索结果。

具体来说，基于所述目标图像的图像信息和预设的相似度阈值，对检索到的源图像进行过滤，可以采用以下方式：

从检索到的所述K个源图像中，找到与所述目标图像在同一预设时间段内拍摄且由同一拍摄人员拍摄的源图像，作为第一过滤结果；

从第一过滤结果中，筛选出相似度大于预设相似度阈值的源图像，作为第二过滤结果。

作为第一方面所述方法的一种可选实施方式，对所述目标图像和过滤后的源图像进行关键点匹配，基于关键点匹配结果，确定所述目标图像是否为窜拍图像，具体包括：

对所述目标图像和所述过滤后的源图像，分别进行关键点提取，并获取提取出的所述关键点的关键点特征；

基于所述关键点特征，对所述目标图像和所述过滤后的源图像进行关键点匹配；

确定匹配关键点的数量；

基于所述匹配关键点的数量与所述目标图像的关键点的数量，确定所述目标图像是否为窜拍图像。

具体来说，基于所述匹配关键点的数量与所述目标图像的关键点的数量，确定所述目标图像是否为窜拍图像，可以采用以下方式：

计算所述匹配关键点的数量与所述目标图像的关键点的数量的比值，若所述比值大于预设的关键点匹配率阈值，则确定所述目标图像为窜拍图像，否则，确定所述目标图像为非窜拍图像。

作为第一方面所述方法的一种可选实施方式，所述方法还可以包括：

若所述目标图像为窜拍图像，则将所述目标图像、所述目标图像的图像信息及所述目标图像特征关联存储在所述检索库中。

作为第一方面所述方法的一种可选实施方式，所述方法还可以包括：

对于每一个拍摄场地，定期从所述检索库中删除所述拍摄场地对应的源图像、所述源图像的图像特征及所述源图像的图像信息。

第二方面，提供了一种窜拍图像检测系统，该系统包括：

数据获取模块，配置为获取目标图像及所述目标图像的图像信息，所述图像信息用于描述所述目标图像的拍摄场地、拍摄人员及拍摄时间；

数据处理模块，配置为对所述目标图像进行特征提取，得到目标图像特征；

检索库，配置为对有源图像、所述源图像的图像特征及所述源图像的图像信息进行关联存储；

检索模块，配置为基于所述目标图像特征，在检索库中进行基于特征匹配的检索；

过滤模块，配置为基于所述目标图像的图像信息和预设的相似度阈值，对检索到的源图像进行过滤；

确定模块，配置为在所述过滤模块过滤后的结果为空时，确定所述目标图像为非窜拍图像；在所述过滤模块过滤后的结果不为空时，对所述目标图像和过滤后的源图像进行关键点匹配，基于关键点匹配结果，确定所述目标图像是否为窜拍图像。

第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的窜拍图像检测方法。

第四方面，提供了一种电子设备，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令，所述程序指令在被所述一个或多个处理器读取执行时，执行所述的窜拍图像检测方法的具体步骤。

有益效果：与现有技术相比，本发明具有以下优势：

本发明结合全局图像特征和局部图像特征构建用于检索的图像特征，以更多的融合图像采集场景的场景信息，提高初步检索的召回率。

窜拍图像一般发生在同一时间段，且由同一拍摄方拍摄。本发明利用这一特点，利用描述了拍摄场地、拍摄人员及拍摄时间的图像信息，来对基于图像特征匹配的初步检索结果进行过滤，能够提高窜拍图像的识别精度及识别效率。

本发明还利用关键点匹配的方案，来对过滤后的源图像和目标图像进行精准匹配，从而确定目标图像是否为窜拍图像。

由此可知，本发明提供的窜拍图像检测方法，采用多维度、多层级的匹配方案来对目标图像进行识别，检索速度快、精度高，能充分解决用户对窜拍造假的识别需求。

本发明提供的窜拍图像检测系统同样具备上述有益效果。

附图说明

图1为实施例示意性给出的一种窜拍图像检测方法的流程示意图；

图2为实施例示意性给出的一种窜拍图像检测系统的结构示意图。

具体实施方式

下面将结合附图和具体实施例对本发明作更进一步的说明。但应当理解的是，本发明可以以各种形式实施，以下在附图中出示并且在下文中描述的一些示例性和非限制性实施例，并不意图将本发明限制于所说明的具体实施例。

应当理解的是，在技术上可行的情况下，以上针对不同实施例所列举的技术特征可以相互组合，从而形成本发明范围内的另外的实施例。此外，本发明所述的特定示例和实施例是非限制性的，并且可以对以上所阐述的结构、步骤、顺序做出相应修改而不脱离本发明的保护范围。

本实施例旨在提出一种窜拍图像检测方法及系统，能够对窜拍图像进行精准、快速的识别。

请参考图1，本实施例示意性地提出一种窜拍图像检测方法，其流程包括以下步骤：

S100、获取目标图像及目标图像的图像信息。

目标图像是指需要检测其是否为窜拍图像的待检测图像。目标图像的图像信息用于描述目标图像的拍摄场地、拍摄人员及拍摄时间。

具体来说，目标图像的图像信息可以包括：图像id、图像url、提交图像的业务员id、图像所属客户id（可以用客户id表征拍摄场地）及图像提交时间。

S102、对目标图像进行特征提取，得到目标图像特征。

在一些可选的实施方式中，可以对目标图像进行整体特征提取和局部特征提取，然后将整体特征和局部特征进行融合，从而获得更多信息量。

具体来说，可以基于预设的特征提取模型，对目标图像进行特征提取，得到第一特征；然后将目标图像分割为互不重叠的多个图像块；再针对每一个图像块，基于特征提取模型对图像块进行特征提取，得到第二特征；最后将目标图像的第一特征和所有图像块的第二特征进行拼接，得到目标图像特征。

上述的特征提取模型可以采用VGG16、ResNet、VIT等深度学习神经网络模型实现。特征提取模型提取出的第一特征和第二特征的维度是一样，也就是说，假设第一特征为128维，将目标图像分割为互不重叠的4个图像块，则每个图像块的第二特征也是128维，将第一特征和4个第二特征进行拼接后，得到的目标图像特征的维度为128+4*128=640。

S104、基于目标图像特征，在检索库中进行基于特征匹配的检索。

上述的检索库中关联存储有源图像、源图像的图像特征及源图像的图像信息。上述的源图像为在入库之前通过上述的窜拍图像检测方法检测过的非窜拍图像。

源图像的图像信息用于描述源图像的拍摄场地、拍摄人员及拍摄时间。

源图像的图像特征可以采用以下方式提取得到：

基于预设的特征提取模型，对源图像进行特征提取，得到第三特征；将源图像分割为互不重叠的多个图像块；针对每一个图像块，基于特征提取模型对图像块进行特征提取，得到第四特征；将源图像的第三特征和源图像所有图像块的第四特征进行拼接，得到源图像的图像特征。

源图像分割出的图像块的数量应当与目标图像分割出的图像块的数量相等，这样可以保证源图像的图像特征的维度与目标图像特征的维度是一致的。

上述的特征提取模型可以采用VGG16、ResNet、VIT等深度学习神经网络模型实现。特征提取模型提取出的第三特征和第四特征的维度是一样。也就是说，假设第一特征为128维，目标图像分割为互不重叠的4个图像块，则源图像也需分割为4个互不重叠的图像块，源图像的第三特征为128维，源图像的每个图像块的第四特征也是128维，将第三特征和4个第四特征进行拼接后，得到的源图像的图像特征的维度为128+4*128=640。

上述基于目标图像特征，在检索库中进行基于特征匹配的检索，具体可以采用以下方式：针对检索库中的每个源图像，计算该源图像的图像特征与目标图像特征之间的相似度；源图像的图像特征与目标图像特征之间的相似度可以采用cos距离、欧式距离等方式来衡量。然后选取与目标图像特征相似度最高的K个源图像，作为检索结果，K为正整数。

S106、基于目标图像的图像信息和预设的相似度阈值，对检索到的源图像进行过滤。

在一些可选的实施方式中，可以从检索到的K个源图像中，找到与目标图像在同一预设时间段内拍摄且由同一拍摄人员拍摄的源图像，作为第一过滤结果；再从第一过滤结果中，筛选出相似度大于预设相似度阈值的源图像，作为第二过滤结果。

S108、若过滤后的结果为空，则确定该目标图像为非窜拍图像。若过滤后的结果不为空，则对该目标图像和过滤后的源图像进行关键点匹配，基于关键点匹配结果，确定目标图像是否为窜拍图像。

具体来说，可以采用sift或superpoint等方法提取目标图像和源图像的关键点，并计算提取出的关键点的特征。然后，利用superglue等图像关键点匹配方法，对目标图像和过滤后的源图像进行关键点匹配，得到匹配关键点的数量。最后，计算匹配关键点的数量与目标图像的关键点的数量的比值：

其中，表示匹配关键点的数量，/>表示目标图像上关键点的数量，ratio表示关键点匹配成功率。

若匹配关键点的数量与目标图像的关键点的数量的比值（也就是关键点匹配成功率）大于预设的关键点匹配率阈值，则确定该目标图像为窜拍图像，否则，确定该目标图像为非窜拍图像。

进一步的，在确定该目标图像为非窜拍图像后，即可将该目标图像、该目标图像的图像信息及该目标图像特征关联存储在上述的检索库中。

更进一步的，还可以对于每一个拍摄场地，定期从检索库中删除相关拍摄场地对应的源图像、源图像的图像特征及源图像的图像信息。

具体来说，对于图像的窜拍检测，通常是检测一定时间段内上传的图像，例如，在一个时间段内，每个目标场景都需要上传一张陈列物品C的图像，则系统只需要检测在这个时间段内接收到的图像是否存在窜拍图像即可。为了保障系统的存储空间，在这个时间段过去后，系统可以清除检索库中的存储数据。考虑到用户上传图像的时间节点不是一致的，因此，可以在用户空闲状态删除检索库中的存储数据，例如：

启动历史数据定时清理任务，设置定时任务的启动时间，如每周三和周日凌晨1点开始执行历史数量清理任务。

在检索库中获取用户数据仍保留的用户，并判断当前用户是否活跃，比如查询当前用户最近一条入库记录及检索记录，判断入库记录时间与当前时间差，检索记录时间与当前时间差，如果入库记录及检索记录与当前时间差均大于预设的时间阈值，比如一小时，就表示该用户此时处于休眠状态，可以执行清理任务，否则退出清理任务。

当用户处于休眠状态时，删除检索库中超过保留期限的记录。

与上述窜拍图像检测方法相对应的，本实施例还提供了一种窜拍图像检测系统，用于实现上述的窜拍图像检测方法，该系统的结构如图2所示，包括：

数据获取模块，配置为获取目标图像及目标图像的图像信息，图像信息用于描述所述目标图像的拍摄场地、拍摄人员及拍摄时间；

数据处理模块，配置为对目标图像进行特征提取，得到目标图像特征；

检索库，配置为对有源图像、源图像的图像特征及源图像的图像信息进行关联存储；

检索模块，配置为基于目标图像特征，在检索库中进行基于特征匹配的检索；

过滤模块，配置为基于目标图像的图像信息和预设的相似度阈值，对检索到的源图像进行过滤；

确定模块，配置为在过滤模块过滤后的结果为空时，确定目标图像为非窜拍图像；在过滤模块过滤后的结果不为空时，对目标图像和过滤后的源图像进行关键点匹配，基于关键点匹配结果，确定目标图像是否为窜拍图像。

与上述方法对应的，本实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的窜拍图像检测方法。

在一个典型的配置中，计算机包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

与上述方法对应的，本实施例还提供了一种电子设备，包括：一个或多个处理器；以及与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令，所述程序指令在被所述一个或多个处理器读取执行时，执行所述的窜拍图像检测方法的具体步骤。

在硬件层面，该电子设备包括处理器、计算机可读存储介质、内存、数据接口、网络接口，当然还可能包括其他业务所需要的硬件。本说明书一个或多个实施例可以基于软件方式来实现，比如由处理器从计算机可读存储介质中读取对应的计算机程序到内存中然后运行。当然，除了软件实现方式之外，本说明书一个或多个实施例并不排除其他实现方式，比如逻辑器件或者软硬件结合的方式等等，也就是说以上处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种窜拍图像检测方法，其特征在于，包括步骤：

获取目标图像及所述目标图像的图像信息，所述图像信息用于描述所述目标图像的拍摄场地、拍摄人员及拍摄时间；

对所述目标图像进行特征提取，得到目标图像特征；

基于所述目标图像特征，在检索库中进行基于特征匹配的检索；所述检索库中关联存储有源图像、所述源图像的图像特征及所述源图像的图像信息；所述源图像为非窜拍图像；

基于所述目标图像的图像信息和预设的相似度阈值，对检索到的源图像进行过滤；

若过滤后的结果为空，则确定所述目标图像为非窜拍图像；

若过滤后的结果不为空，则对所述目标图像和过滤后的源图像进行关键点匹配，基于关键点匹配结果，确定所述目标图像是否为窜拍图像。

2.如权利要求1所述的方法，其特征在于，对所述目标图像进行特征提取，得到目标图像特征，具体包括：

基于预设的特征提取模型，对所述目标图像进行特征提取，得到第一特征；

将所述目标图像分割为互不重叠的多个图像块；

针对每一个所述图像块，基于所述特征提取模型对所述图像块进行特征提取，得到第二特征；

将所述目标图像的第一特征和所有所述图像块的第二特征进行拼接，得到所述目标图像特征。

3.如权利要求1所述的方法，其特征在于，所述源图像的图像特征采用以下方式得到，具体包括：

基于预设的特征提取模型，对所述源图像进行特征提取，得到第三特征；

将所述源图像分割为互不重叠的多个图像块；

针对每一个所述图像块，基于所述特征提取模型对所述图像块进行特征提取，得到第四特征；

将所述源图像的第三特征和所有所述图像块的第四特征进行拼接，得到所述源图像的图像特征。

4.如权利要求1所述的方法，其特征在于，基于所述目标图像特征，在检索库中进行基于特征匹配的检索，具体包括：

针对所述检索库中的每个源图像，计算所述源图像的图像特征与所述目标图像特征之间的相似度；

选取与所述目标图像特征相似度最高的K个源图像，作为检索结果。

5.如权利要求4所述的方法，其特征在于，基于所述目标图像的图像信息和预设的相似度阈值，对检索到的源图像进行过滤，具体包括：

从检索到的所述K个源图像中，找到与所述目标图像在同一预设时间段内拍摄且由同一拍摄人员拍摄的源图像，作为第一过滤结果；

从第一过滤结果中，筛选出相似度大于预设相似度阈值的源图像，作为第二过滤结果。

6.如权利要求1所述的方法，其特征在于，对所述目标图像和过滤后的源图像进行关键点匹配，基于关键点匹配结果，确定所述目标图像是否为窜拍图像，具体包括：

对所述目标图像和所述过滤后的源图像，分别进行关键点提取，并获取提取出的所述关键点的关键点特征；

基于所述关键点特征，对所述目标图像和所述过滤后的源图像进行关键点匹配；

确定匹配关键点的数量；

基于所述匹配关键点的数量与所述目标图像的关键点的数量，确定所述目标图像是否为窜拍图像。

7.如权利要求6所述的方法，其特征在于，基于所述匹配关键点的数量与所述目标图像的关键点的数量，确定所述目标图像是否为窜拍图像，具体包括：

计算所述匹配关键点的数量与所述目标图像的关键点的数量的比值，若所述比值大于预设的关键点匹配率阈值，则确定所述目标图像为窜拍图像，否则，确定所述目标图像为非窜拍图像。

8.如权利要求1所述的方法，其特征在于，还包括：

若所述目标图像为窜拍图像，则将所述目标图像、所述目标图像的图像信息及所述目标图像特征关联存储在所述检索库中。

9.如权利要求1所述的方法，其特征在于，还包括：

对于每一个拍摄场地，定期从所述检索库中删除所述拍摄场地对应的源图像、所述源图像的图像特征及所述源图像的图像信息。

10.一种窜拍图像检测系统，其特征在于，包括：

数据获取模块，配置为获取目标图像及所述目标图像的图像信息，所述图像信息用于描述所述目标图像的拍摄场地、拍摄人员及拍摄时间；

数据处理模块，配置为对所述目标图像进行特征提取，得到目标图像特征；

检索库，配置为对有源图像、所述源图像的图像特征及所述源图像的图像信息进行关联存储；

检索模块，配置为基于所述目标图像特征，在检索库中进行基于特征匹配的检索；

过滤模块，配置为基于所述目标图像的图像信息和预设的相似度阈值，对检索到的源图像进行过滤；

确定模块，配置为在所述过滤模块过滤后的结果为空时，确定所述目标图像为非窜拍图像；在所述过滤模块过滤后的结果不为空时，对所述目标图像和过滤后的源图像进行关键点匹配，基于关键点匹配结果，确定所述目标图像是否为窜拍图像。