CN114255347A - 图像检测方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像检测方法、装置、电子设备及计算机可读存储介质，本申请实施例可以对图像进行自动检测。本实施例中图像检测装置获取待检测图像；然后分别提取所述待检测图像的深层特征以及特征点；再确定所述深层特征与预置的目标数据库中的目标深层特征的余弦相似度，所述目标数据库为目标图像对应的特征数据库；并将所述特征点与所述目标数据库中的目标特征点进行特征点匹配，得到特征点匹配数量；最后根据所述余弦相似度以及所述特征点匹配数量确定所述待检测图像是否为所述目标图像。本方案中，图像的处理装置根据提取的深层特征以及特征点自动检测待检测图像是否为目标图像，实现了图像的自动检测。

Description

图像检测方法、装置、电子设备及计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像检测方法、装置、电子设备及计算机可读存储介质。

背景技术

目前，在很多领域都还不能实现图像的自动检测。例如广告稽查领域，许多商家会委托广告商在电梯的广告机、路牌广告位等地方投放自家产品的广告，广告大多是图像的形式，广告投放的地点分布范围广，投放形式多样。

当需要进行某一商家的广告稽查时，稽查公司需要自己建立人工团队来审核是否在指定地点投放了该商家的广告，在获取指定地点的广告图像后，需要专门的人来人工识别获取到的广告图像是否为该商家的广告图像，现有的广告稽查，广告图像的检测不能实现自动化。

发明内容

本申请实施例提供一种图像检测方法、装置、电子设备及计算机可读存储介质，可以自动检测图像。

第一方面，本申请实施例提供了一种图像检测方法，包括：

获取待检测图像；

分别提取所述待检测图像的深层特征以及特征点；

确定所述深层特征与预置的目标数据库中的目标深层特征的余弦相似度，所述目标数据库为目标图像对应的特征数据库；

将所述特征点与所述目标数据库中的目标特征点进行特征点匹配，得到特征点匹配数量；

根据所述余弦相似度以及所述特征点匹配数量确定所述待检测图像是否为所述目标图像。

在一些实施例中，所述分别提取所述待检测图像的深层特征以及特征点，包括：

将所述待检测图像输入训练后的mobilenetV2网络模型，得到所述深层特征；

基于surf特征提取函数提取所述待检测图像的所述特征点。

在一些实施例中，所述将所述待检测图像输入训练后的mobilenetV2网络模型，得到所述深层特征之前，所述方法还包括：

获取Imagenet数据集；

根据所述Imagenet数据集训练预置的mobilenetV2网络模型，得到所述训练后的mobilenetV2网络模型；或，

获取正样本以及负样本，所述正样本为所述目标图像对应的图像样本，所述负样本为所述目标图像之外的图像对应的图像样本；

根据所述正样本以及所述负样本对所述预置的mobilenetV2网络模型进行训练，得到所述训练后的mobilenetV2网络模型。

在一些实施例中，所述根据所述余弦相似度以及所述特征点匹配数量确定所述待检测图像是否为所述目标图像，包括：

确定所述余弦相似度是否大于预设的相似度阈值，得到第一确定结果；

确定所述特征点匹配数量是否大于预设的匹配点阈值，得到第二确定结果；

根据所述第一确定结果以及所述第二确定结果确定所述待检测图像是否为所述目标图像。

在一些实施例中，所述分别提取所述待检测图像的深层特征以及特征点之前，所述方法还包括：

对所述待检测图像进行方向检测，得到方向检测结果；

根据所述方向检测结果调整所述待检测图像的方向，得到调整后的待检测图像；

从所述调整后的待检测图像中提取待检测区域图像；

所述分别提取所述待检测图像的深层特征以及特征点，包括：

分别提取所述待检测区域图像的所述深层特征以及所述特征点。

在一些实施例中，所述获取待检测图像之后，所述方法还包括：

对所述待检测图像进行文本检测处理，得到文本区域图像；

对所述文本区域图像进行文本识别处理，得到待检测文本；

确定所述待检测文本与所述目标数据库中的目标文本是否匹配，得到文本匹配结果；

所述根据所述余弦相似度以及所述特征点匹配数量确定所述待检测图像是否为所述目标图像，包括：

根据所述余弦相似度、所述特征点匹配数量以及所述文本匹配结果确定所述待检测图像是否为所述目标图像。

在一些实施例中，所述确定所述深层特征与预置的目标数据库中的目标深层特征的余弦相似度之前，所述方法还包括：

分别提取所述目标图像的所述目标深层特征以及所述目标特征点；

根据所述目标深层特征以及所述目标特征点构建所述目标数据库。

在一些实施例中，所述分别提取所述目标图像的所述目标深层特征以及所述目标特征点，包括：

将所述目标图像输入训练后的mobilenetV2网络模型，得到所述目标深层特征；

基于surf特征提取函数提取所述目标图像的所述目标特征点。

第二方面，本申请实施例还提供了一种图像检测装置，包括：

获取单元，用于获取待检测图像；

处理单元，用于分别提取所述待检测图像的深层特征以及特征点；

所述处理单元，还用于确定所述深层特征与预置的目标数据库中的目标深层特征的余弦相似度，所述目标数据库为目标图像对应的特征数据库；

所述处理单元，还用于将所述特征点与所述目标数据库中的目标特征点进行特征点匹配，得到特征点匹配数量；

所述处理单元，还用于根据所述余弦相似度以及所述特征点匹配数量确定所述待检测图像是否为所述目标图像。

在一些实施例中，所述处理单元还用于：

将所述待检测图像输入训练后的mobilenetV2网络模型，得到所述深层特征；

基于surf特征提取函数提取所述待检测图像的所述特征点。

在一些实施例中，所述处理单元还用于：

获取Imagenet数据集；

根据所述Imagenet数据集训练预置的mobilenetV2网络模型，得到所述训练后的mobilenetV2网络模型；或，

获取正样本以及负样本，所述正样本为所述目标图像对应的图像样本，所述负样本为所述目标图像之外的图像对应的图像样本；

根据所述正样本以及所述负样本对所述预置的mobilenetV2网络模型进行训练，得到所述训练后的mobilenetV2网络模型。

在一些实施例中，所述处理单元还用于：

确定所述余弦相似度是否大于预设的相似度阈值，得到第一确定结果；

确定所述特征点匹配数量是否大于预设的匹配点阈值，得到第二确定结果；

根据所述第一确定结果以及所述第二确定结果确定所述待检测图像是否为所述目标图像。

在一些实施例中，所述处理单元还用于：

对所述待检测图像进行方向检测，得到方向检测结果；

根据所述方向检测结果调整所述待检测图像的方向，得到调整后的待检测图像；

从所述调整后的待检测图像中提取待检测区域图像；

此时，所述处理单元还用于：

分别提取所述待检测区域图像的所述深层特征以及所述特征点。

在一些实施例中，所述处理单元还用于：

对所述待检测图像进行文本检测处理，得到文本区域图像；

对所述文本区域图像进行文本识别处理，得到待检测文本；

确定所述待检测文本与所述目标数据库中的目标文本是否匹配，得到文本匹配结果；

此时，所述处理单元还用于：

所述根据所述余弦相似度、所述特征点匹配数量以及所述文本匹配结果确定所述待检测图像是否为所述目标图像。

在一些实施例中，所述处理单元还用于：

分别提取所述目标图像的所述目标深层特征以及所述目标特征点；

根据所述目标深层特征以及所述目标特征点构建所述目标数据库。

在一些实施例中，所述处理单元还用于：

将所述目标图像输入训练后的mobilenetV2网络模型，得到所述目标深层特征；

基于surf特征提取函数提取所述目标图像的所述目标特征点。

第三方面，本申请实施例还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行本申请实施例提供的任一种图像检测方法中的步骤。

第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例提供的任一种图像检测方法中的步骤。

本申请实施例中，图像检测装置获取待检测图像；然后分别提取所述待检测图像的深层特征以及特征点；再确定所述深层特征与预置的目标数据库中的目标深层特征的余弦相似度，所述目标数据库为目标图像对应的特征数据库；并将所述特征点与所述目标数据库中的目标特征点进行特征点匹配，得到特征点匹配数量；最后根据所述余弦相似度以及所述特征点匹配数量确定所述待检测图像是否为所述目标图像。本方案中，图像的处理装置提取待检测图像的深层特征以及特征点，并根据提取的深层特征以及特征点自动检测待检测图像是否为目标图像，实现图像的自动检测。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的图像检测方法的一个应用场景示意图；

图2是本申请实施例提供的图像检测方法的一个流程示意图；

图3是本申请实施例提供的图像检测方法的另一个流程示意图；

图4是本申请实施例提供的图像检测装置的一个结构示意图；

图5是本申请实施例提供的服务器的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在以下的说明中，本申请的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明，除非另有述明。因此，这些步骤及操作将有数次提到由计算机执行，本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处，其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置，其具有由该数据格式所定义的特定特性。但是，本申请原理以上述文字来说明，其并不代表为一种限制，本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。

本申请的原理使用许多其它泛用性或特定目的运算、通信环境或组态来进行操作。所熟知的适合用于本申请的运算系统、环境与组态的范例可包括(但不限于)手持电话、个人计算机、服务器、多处理器系统、微电脑为主的系统、主架构型计算机、及分布式运算环境，其中包括了任何的上述系统或装置。

本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。

本发明实施例提供一种图像检测方法、装置、电子设备及计算机可读存储介质。

其中，该图像检测装置具体可以集成在网络设备，如终端或服务器等设备中，例如，参考图1，网络设备可以获取待检测图像，该待检测图像可以为需要稽查的广告图像，比如，可以接收图像采集设备如手机、摄像头设备等发送待检测图像；然后，网络设备可以分别提取待检测图像的深层特征以及特征点；然后确定深层特征与预置的目标数据库中的目标深层特征的余弦相似度，目标数据库为目标图像对应的特征数据库；并将特征点与目标数据库中的目标特征点进行特征点匹配，得到特征点匹配数量；最后根据余弦相似度以及特征点匹配数量确定待检测图像是否为目标图像。

以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。

在本发明实施例中，将以图像检测装置的角度进行描述，该图像检测装置具体可以集成在网络设备如终端或服务器等设备中。

在一实施例中，提供了一种图像检测方法，该方法可以由网络设备的处理器执行，如图2所示，该图像检测方法的具体流程可以如下：

201、获取待检测图像。

本实施例中，具体地，图像检测设备可以获取图像采集设备采集到的待检测图像。

在一些实施例中，图像采集设备可以在采集到待检测图像之后，直接发送该待检测图像至图像检测设备，也可以将该待检测图像发送至云端存储设备，图像检测设备在对该待检测图像进行检测时，再在从云端存储设备上获取待检测图像。

在一些实施例中，获取待检测图像之后，方法还包括：

a、对该待检测图像进行方向检测，得到方向检测结果。

由于图像采集设备采集图像时，拍摄方向有可能不统一，例如，有0度、90度、180度、270度四个方向，此时，需要对待检测图像进行方向检测，在一些实施例中，采用方向判别模型进行待检测图像的方向检测，其中，该方向判别模型可以为使用mobilenetV2网络训练的四分类模型。

b、根据该方向检测结果调整该待检测图像的方向，得到调整后的待检测图像。

例如，当根据方向检测结果确定待检测图像的方向为90度(默认为向右旋转了90度)，则此时，需要向左旋转图像90度以调整该待检测图像的方向。

c、从该调整后的待检测图像中提取待检测区域图像。

具体地，可以通过目标定位模型从该调整后的待检测图像中确定出该待检测区域图像，具体地，从该待检测图像中框选出待检测区域图像，以排除待检测图像中其他杂物的干扰，目标定位模型可以为使用EAST网络训练的检测模型，输出调整后的待检测图像中目标的坐标位置[x1，y1，x2，y2，x3，y3，x4，y4]，并根据坐标裁剪得到待检测区域图像，其中，x1，y1，x2，y2，x3，y3，x4，y4分别为待检测区域图像四个顶角的坐标。后续步骤基于待检测图像中的待检测区域图像进行。

202、分别提取该待检测图像的深层特征以及特征点。

本实施例中，提取该待检测图像的深层特征以及特征点具体包括以下步骤：

a、将该待检测图像输入训练后的mobilenetV2网络模型，得到该深层特征。

本实施例中的深层特征的具体表现形式可以为深层特征向量，其中，mobilenetV2网络模型为卷积神经网络(Convolutional Neural Networks，CNN)，其由卷积层、池化层以及全连接层组成，其中，本实施例中的深层特征向量为，由mobilenetV2网络模型中去掉全连接层之后的最后一层网络输出的特征向量。

在该步骤之前，需要对该训练后的mobilenetV2网络模型进行训练，其中，训练的方式有两种：

第一种：获取Imagenet(是一个计算机视觉系统识别项目名称，是目前世界上图像识别最大的数据库)数据集；然后根据该Imagenet数据集训练预置的mobilenetV2网络模型，得到该训练后的mobilenetV2网络模型。用这种方法训练mobilenetV2网络模型通用性较高。

具体地，在公开平台上把需要的Imagenet数据集下载下来，以该Imagenet数据集作为预置的mobilenetV2网络模型的训练集，训练得到该训练后的mobilenetV2网络模型。

第二种，获取正样本以及负样本；然后根据该正样本以及该负样本对该预置的mobilenetV2网络模型进行训练，得到该训练后的mobilenetV2网络模型。用这种方法训练mobilenetV2网络模型，模型的准确性较高。

其中，该正样本为该目标图像对应的图像样本，该负样本为该目标图像之外的图像对应的图像样本，例如，负样本为其他广告图像，广告位背景或黑屏图像等。

b、基于加速稳健特征surf(Speeded Up Robust Features，SURF)特征提取函数提取该待检测图像的该特征点。

本实施例中的特征点表示该待检测图像的浅层特征。

其中，本申请实施例中的深层特征可以表示待检测图像的图像结构特征；浅层特征可以表示待检测图像的图像颜色特征。

203、确定该深层特征与预置的目标数据库中的目标深层特征的余弦相似度。

其中，该目标数据库为目标图像对应的特征数据库，目标图像可以包括多个，本申请需要确认待检测图像是否为目标图像中多个图像中的一个，目标数据库中存储有多个目标图像的深层特征以及浅层特征。

当目标图像有多个时，此时，需要分别确定该深层特征与目标数据库中的每个目标深层特征的余弦相似度，并按照值的大小对余弦相似度进行排序，得到值最大的余弦相似度。

在一些实施例中，目标数据库还存储有目标图像对应的标文本信息，本申请可以根据提取得到的待检测图像的文本信息与该目标文本信息作比对，以确定待检测图像对应的位置与该目标图像对应的位置是否相对应。

本步骤需要确定该深层特征与预置的目标数据库中的目标深层特征的余弦相似度，其中，在该步骤之前，需要构建该目标数据库，具体地，包括以下步骤：

a、分别提取该目标图像的该目标深层特征以及该目标特征点。

具体地，将该目标图像输入训练后的mobilenetV2网络模型，得到该目标深层特征；然后基于surf特征提取函数提取该目标图像的该目标特征点。

其中，如果目标图像有多个，本实施例需要分别提取多个目标图像中的每个目标图像的目标深层图像特征以及目标特征点。

例如，本实施例是要稽查A广告商的广告图像，A广告商一共投放了5个类型的广告图像，则此时需要分别提取该5个类型的广告图像的目标深层图像特征以及目标特征点。

b、根据该目标深层特征以及该目标特征点构建该目标数据库。

提取到目标深层特征以及目标特征点之后，将这些特征存至目标数据库，以构建该目标数据库，其中，在一些实施例中，目标数据库中还存储有目标图像对应的目标文本信息，例如，当该目标图像为广告图像时，该目标文本信息为该广告图像的广告词。

204、将该特征点与该目标数据库中的目标特征点进行特征点匹配，得到特征点匹配数量。

得到待检测图像的特征点之后，需要将该特征点与目标数据库中的特征点进行特征点匹配，得到特征点匹配数量。

当目标图像有多个时，此时，目标数据库中也包含有多个目标特征点，此时，将该特征点与该目标数据库中的每个目标特征点分别进行特征点匹配，得到多个特征点匹配数量，然后按照数量值的大小将特征点匹配数量进行排序，得到排序后的特征点匹配数量。

205、根据该余弦相似度以及该特征点匹配数量确定该待检测图像是否为该目标图像。

根据该余弦相似度以及该特征点匹配数量确定该待检测图像是否为该目标图像，具体地，包括以下步骤：

a、确定该余弦相似度是否大于预设的相似度阈值，得到第一确定结果。

当有多个余弦相似度时，此时，需要对多个余弦相似度进行排序，并判断排序后的每个余弦相似度的值是否大于预设的相似度阈值，其中，第一确定结果的情况有，余弦相似度大于预设的相似度阈值，或余弦相似度不大于预设的相似度阈值，其中，相似度阈值的具体数值可以为0.8，也可能为其他数值，具体数值具体此处不做限定。

b、确定该特征点匹配数量是否大于预设的匹配点阈值，得到第二确定结果。

当有多个特征点匹配数量时，此时，需要根据数值的大小对该多个特征点匹配数量进行排序，得到排序后的特征点匹配数量，并且分别确定排序后的特征点匹配数量的值是否大于预设的匹配点阈值，其中，第二确定结果的情况有，特征点匹配数量大于预设的匹配点阈值，或特征点匹配数量不大于预设的匹配点阈值，其中，匹配点阈值的数值可以为80，也可能为其他数值，具体数值此处不做限定。

c、根据该第一确定结果以及该第二确定结果确定该待检测图像是否为该目标图像。

当不需要考虑待检测图像的文本信息或待检测图像无文本信息时，此时，只需根据第一确定结果以及第二确定结果确定该待检测图像是否为目标图像，其中，当确定余弦相似度大于预设的相似度阈值，并且特征点匹配数量大于预设的匹配点阈值时，此时确定待检测图像为目标图像，并且将得出该余弦相似度及特征点匹配数量的图像确定为目标图像中与该待检测图像对应的图像。

当需要考虑待检测图像的文本信息时，此时，该获取待检测图像之后，该方法还包括以下步骤：

a、对该待检测图像进行文本检测处理，得到文本区域图像。

具体地，通过EAST网络对待检测图像进行文本检测处理，得到文本区域图像。

b、对该文本区域图像进行文本识别处理，得到待检测文本。

具体地，通过文本识别模型对该文本区域图像进行文本识别处理，得到待检测文本，其中，本申请会根据目标文本的字体特征对该文本识别模型进行训练。其中，本实施例中的文本识别模型可以为深度残差卷积神经网络(DR-CNN)。

c、确定该待检测文本与该目标数据库中的目标文本是否匹配，得到文本匹配结果。

本申请使用python自带的正则表达式进行匹配，编写正则表达式形式和匹配规则，验证待检测图像中是否包含目标文本，得到文本匹配结果，其中，文本匹配结果为包含目标文本或不包含目标文本。

此时，根据该余弦相似度以及该特征点匹配数量确定该待检测图像是否为该目标图像，包括：

该根据该余弦相似度、该特征点匹配数量以及该文本匹配结果确定该待检测图像是否为该目标图像。

此时，当确定余弦相似度大于预设的相似度阈值、特征点匹配数量大于预设的匹配点阈值并且待检测图像中包含目标文本时，此时确定待检测图像为目标图像。

其中，当目标图像有多个时，此时，将符合余弦相似度大于预设的相似度阈值、特征点匹配数量大于预设的匹配点阈值并且待检测图像中包含目标文本的目标图像确定为待检测图像所对应的目标图像。

本申请实施例中，图像检测装置获取待检测图像；然后分别提取该待检测图像的深层特征以及特征点；再确定该深层特征与预置的目标数据库中的目标深层特征的余弦相似度，该目标数据库为目标图像对应的特征数据库；并将该特征点与该目标数据库中的目标特征点进行特征点匹配，得到特征点匹配数量；最后根据该余弦相似度以及该特征点匹配数量确定该待检测图像是否为该目标图像。本方案中，图像的处理装置提取待检测图像的深层特征以及特征点，并根据提取的深层特征以及特征点自动检测待检测图像是否为目标图像，实现图像的自动检测。

根据上述实施例所描述的图像检测方法，以下将结合具体的应用场景作进一步详细说明。

请参照图3，图3为本申请实施例提供的图像检测方法的另一流程示意图，本实施例以图像检测方法应用在广告图像稽查上为例进行说明。该图像检测方法可以应用于电子设备，本实施例以电子设备为服务器为例进行说明，如图3所示，该图像检测方法的流程可以如下：

301、服务器获取目标商家的各类型的广告图像。

如果目标商家投放的广告有5种类型，则此时，需要获取目标商家5种类型的广告图像，并将这5种类型的广告图像放置目标商家对应的广告库中。

其中，目标商家还可能投放了其他类型数的商家广告图像，目标商家所投放的广告图像的具体类型数目此处不做限定。

302、服务器获取该广告图像的深层特征、特征点以及广告词。

具体地，分别将5种类型的广告图像输入训练后的mobilenetV2网络模型，得到5个该广告图像对应的深层特征；并基于surf特征提取函数分别提取该5种类型的广告图像的目标特征点，得到5组目标特征点；每种类型的广告图像均设置有对应的广告词(若无广告词，则广告词设置为“无”)，此处需获取其对应的广告词。

303、服务器将该深层特征、特征点以及广告词保存至该目标商家对应的目标数据库中。

本实施例中，将获取得到的深层特征、特征点以及广告词保存至该目标商家对应的目标数据库中。

304、服务器获取待稽查广告图像。

本实施例中，待稽查广告图像可以由快递小哥到指定的地点用手机等终端拍摄的图像，该指定的地点可以为指定的电梯广告位等指定的广告位地点，具体位置此处不做限定。

快递小哥通过手机等终端获取到待稽查广告图像之后，可以通过手机等终端将该待稽查广告上传至云端存储设备，然后服务器再从该云端存储设备中获取该待稽查广告图像，也可以通过手机等终端直接发送待稽查广告图像至服务器。

由于图像拍照方向不统一，服务器获取到该待稽查广告图像之后，将会对该待稽查广告图像进行方向检测，并根据检测的结果将待稽查广告图像旋转为正方向。

将待稽查广告图像旋转为正方向之后，还需要通过广告内容定位模块，框选出广告的位置，排除其他杂物的影响，广告内容定位模块可以为使用EAST网络训练的检测模型，输出旋转后的待稽查广告图像中目标的坐标位置[x1，y1，x2，y2，x3，y3，x4，y4]，并根据坐标裁剪得到广告区域图像，其中，x1，y1，x2，y2，x3，y3，x4，y4分别为广告区域图像四个顶角的坐标。后续步骤基于待稽查广告图像中的广告图像进行。

本实施例可以通过快递小哥在送快递的图中顺便获取待稽查广告图像，不需要专人去拍摄，可以减少获取待稽查广告图像的成本。

305、服务器将该待稽查广告图像输入训练后的mobilenetV2网络模型，得到深层特征。

具体地，该深层特征的具体表现形式可以为深层特征向量，该深层特征向量为训练后的mobilenetV2网络模型中去掉全连接层之后的最后一层网络输出的特征向量。

306、服务器基于surf特征提取函数提取该待稽查广告图像的特征点。

本实施例中的特征点表示该待稽查广告图像的浅层特征。

在本实施例中，深层特征表示待稽查广告图像的图像结构特征；浅层特征表示待稽查广告图像的图像颜色特征，具体地，该浅层特征可以表示该待稽查广告图像中根据图像中颜色的分布而提取的特征点。

307、服务器对该待稽查广告图像进行文本检测处理，得到文本区域图像。

具体地，通过EAST网络对待稽查广告图像进行文本检测处理，得到文本区域图像。

308、服务器对该文本区域图像进行文本识别处理，得到待检测广告词。

具体地，通过文本识别模型对该文本区域图像进行文本识别处理，得到待检测广告词。

309、服务器根据该深层特征、特征点、待检测广告词与目标数据库对该待稽查广告图像进行稽查，得到稽查结果。

在本实施例中，根据该深层特征、特征点、待检测广告词与目标数据库对该待稽查广告图像进行稽查，得到稽查结果具体包括：

a、分别确定该深层特征与目标数据库中的5个深层特征的余弦相似度，得到5个余弦相似度。

其中，得到5个余弦相似度后，将按照相似度值的大小将该5个余弦相似度进行相似度排序。

b、分别将该特征点与该目标数据库中的5个特征点进行特征点匹配，得到5个特征点匹配数量。

其中，得到5个特征点匹配数量，将特征点匹配数量值的大小将该5个特征点匹配数量进行相似度排序。

c、分别将该待检测广告词与目标数据库中的5种广告词进行广告词匹配，得到广告词匹配结果。

d、根据该余弦相似度以及预设的相似度阈值，确定深层特征匹配结果。

e、根据该特征点匹配数量以及预设的匹配点阈值，确定浅层特征匹配结果。

f、根据该广告词匹配结果、深层特征匹配结果以及浅层特征匹配结果对该待稽查广告图像进行稽查，得到稽查结果。

具体地，将余弦相似度大于预设的相似度阈值，特征点匹配数量大于预设的匹配点阈值，且匹配度最高的广告图像(具体根据排序后的余弦相似度以及特征点匹配数量确定匹配度高低，余弦相似度以及特征点匹配数量值越大，匹配度越高)，且广告词匹配的广告图确定为与该待稽查图像对应的图像，此时，确定待稽查广告图像稽查通过。

如果不存在，余弦相似度大于预设的相似度阈值、特征点匹配数量大于预设的匹配点阈值且广告词匹配的广告图像，则此时确定待稽查广告图像稽查不通过。

需要说明的是，本申请实施例提供的图像检测方法，除了应用在广告图像稽查领域，还可以应用在其他图像检测方面，具体应用场景此处不做限定。

本申请实施例中，服务器获取目标商家的各类型的广告图像，并获取该广告图像的深层特征、特征点以及广告词，将该深层特征、特征点以及广告词保存至该目标商家对应的目标数据库中，当需要进行广告图像稽查时，服务器获取待稽查广告图像，然后将该待稽查广告图像输入训练后的mobilenetV2网络模型，得到深层特征，基于surf特征提取函数提取该待稽查广告图像的特征点，并且对该待稽查广告图像进行文本检测处理，得到文本区域图像，对该文本区域图像进行文本识别处理，得到待检测广告词，最后根据该深层特征、特征点、待检测广告词与目标数据库对该待稽查广告图像进行稽查，得到稽查结果，本方案中，可以通过服务器自动对获取到的待稽查广告进行稽查，不需要人工稽查，实现了广告图像的自动化稽查。

为便于更好的实施本申请实施例提供的图像检测方法，本申请实施例还提供一种基于上述图像检测方法的装置。其中名词的含义与上述图像检测方法中相同，具体实现细节可以参考方法实施例中的说明。

请参阅图4，图4为本申请实施例提供的图像检测装置的结构示意图，其中该图像检测装置400可以包括获取单元401以及处理单元402。其中：

获取单元401，用于获取待检测图像；

处理单元402，用于分别提取所述待检测图像的深层特征以及特征点；

所述处理单元402，还用于确定所述深层特征与预置的目标数据库中的目标深层特征的余弦相似度，所述目标数据库为目标图像对应的特征数据库；

所述处理单元402，还用于将所述特征点与所述目标数据库中的目标特征点进行特征点匹配，得到特征点匹配数量；

所述处理单元402，还用于根据所述余弦相似度以及所述特征点匹配数量确定所述待检测图像是否为所述目标图像。

在一些实施例中，所述处理单元402还用于：

将所述待检测图像输入训练后的mobilenetV2网络模型，得到所述深层特征；

基于surf特征提取函数提取所述待检测图像的所述特征点。

在一些实施例中，所述处理单元402还用于：

获取Imagenet数据集；

根据所述Imagenet数据集训练预置的mobilenetV2网络模型，得到所述训练后的mobilenetV2网络模型；或，

获取正样本以及负样本，所述正样本为所述目标图像对应的图像样本，所述负样本为所述目标图像之外的图像对应的图像样本；

根据所述正样本以及所述负样本对所述预置的mobilenetV2网络模型进行训练，得到所述训练后的mobilenetV2网络模型。

在一些实施例中，所述处理单元402还用于：

确定所述余弦相似度是否大于预设的相似度阈值，得到第一确定结果；

确定所述特征点匹配数量是否大于预设的匹配点阈值，得到第二确定结果；

根据所述第一确定结果以及所述第二确定结果确定所述待检测图像是否为所述目标图像。

在一些实施例中，所述处理单元402还用于：

对所述待检测图像进行方向检测，得到方向检测结果；

根据所述方向检测结果调整所述待检测图像的方向，得到调整后的待检测图像；

从所述调整后的待检测图像中提取待检测区域图像；

此时，所述处理单元402还用于：

分别提取所述待检测区域图像的所述深层特征以及所述特征点。

在一些实施例中，所述处理单元402还用于：

对所述待检测图像进行文本检测处理，得到文本区域图像；

对所述文本区域图像进行文本识别处理，得到待检测文本；

确定所述待检测文本与所述目标数据库中的目标文本是否匹配，得到文本匹配结果；

此时，所述处理单元402还用于：

所述根据所述余弦相似度、所述特征点匹配数量以及所述文本匹配结果确定所述待检测图像是否为所述目标图像。

在一些实施例中，所述处理单元402还用于：

分别提取所述目标图像的所述目标深层特征以及所述目标特征点；

根据所述目标深层特征以及所述目标特征点构建所述目标数据库。

在一些实施例中，所述处理单元402还用于：

将所述目标图像输入训练后的mobilenetV2网络模型，得到所述目标深层特征；

基于surf特征提取函数提取所述目标图像的所述目标特征点。

本申请实施例中，获取单元401获取待检测图像；然后处理单元402分别提取所述待检测图像的深层特征以及特征点；再确定所述深层特征与预置的目标数据库中的目标深层特征的余弦相似度，所述目标数据库为目标图像对应的特征数据库；并将所述特征点与所述目标数据库中的目标特征点进行特征点匹配，得到特征点匹配数量；最后根据所述余弦相似度以及所述特征点匹配数量确定所述待检测图像是否为所述目标图像。本方案中，图像的处理装置提取待检测图像的深层特征以及特征点，并根据提取的深层特征以及特征点自动检测待检测图像是否为目标图像，实现图像的自动检测。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

参考图5，本申请实施例提供了一种服务器500，可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、射频(RadioFrequency，RF)电路503、电源504、输入单元505、以及显示单元506等部件。本领域技术人员可以理解，图5中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器501是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器502内的软件程序和/或模块，以及调用存储在存储器502内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。可选的，处理器501可包括一个或多个处理核心；优选的，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。

存储器502可用于存储软件程序以及模块，处理器501通过运行存储在存储器502的软件程序以及模块，从而执行各种功能应用以及数据处理。

RF电路503可用于收发信息过程中，信号的接收和发送。

服务器还包括给各个部件供电的电源504(比如电池)，优选的，电源可以通过电源管理系统与处理器501逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

该服务器还可包括输入单元505，该输入单元505可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

该服务器还可包括显示单元506，该显示单元506可用于显示由用户输入的信息或提供给用户的信息以及服务器的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。具体在本实施例中，服务器中的处理器501会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中，并由处理器501来运行存储在存储器502中的应用程序，从而实现各种功能，如下：

获取待检测图像；

分别提取所述待检测图像的深层特征以及特征点；

确定所述深层特征与预置的目标数据库中的目标深层特征的余弦相似度，所述目标数据库为目标图像对应的特征数据库；

将所述特征点与所述目标数据库中的目标特征点进行特征点匹配，得到特征点匹配数量；

根据所述余弦相似度以及所述特征点匹配数量确定所述待检测图像是否为所述目标图像。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对图像检测方法的详细描述，此处不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种图像检测方法中的步骤。例如，该指令可以执行如下步骤：

获取待检测图像；

分别提取所述待检测图像的深层特征以及特征点；

确定所述深层特征与预置的目标数据库中的目标深层特征的余弦相似度，所述目标数据库为目标图像对应的特征数据库；

将所述特征点与所述目标数据库中的目标特征点进行特征点匹配，得到特征点匹配数量；

根据所述余弦相似度以及所述特征点匹配数量确定所述待检测图像是否为所述目标图像。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该计算机可读存储介质中所存储的指令，可以执行本申请实施例所提供的任一种图像检测方法中的步骤，因此，可以实现本申请实施例所提供的任一种图像检测方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种图像检测方法、装置、电子设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种图像检测方法，其特征在于，包括：

获取待检测图像；

分别提取所述待检测图像的深层特征以及特征点；

确定所述深层特征与预置的目标数据库中的目标深层特征的余弦相似度，所述目标数据库为目标图像对应的特征数据库；

将所述特征点与所述目标数据库中的目标特征点进行特征点匹配，得到特征点匹配数量；

根据所述余弦相似度以及所述特征点匹配数量确定所述待检测图像是否为所述目标图像。

2.根据权利要求1所述的方法，其特征在于，所述分别提取所述待检测图像的深层特征以及特征点，包括：

将所述待检测图像输入训练后的mobilenetV2网络模型，得到所述深层特征；

基于surf特征提取函数提取所述待检测图像的所述特征点。

3.根据权利要求2所述的方法，其特征在于，所述将所述待检测图像输入训练后的mobilenetV2网络模型，得到所述深层特征之前，所述方法还包括：

获取Imagenet数据集；

根据所述Imagenet数据集训练预置的mobilenetV2网络模型，得到所述训练后的mobilenetV2网络模型；或，

获取正样本以及负样本，所述正样本为所述目标图像对应的图像样本，所述负样本为所述目标图像之外的图像对应的图像样本；

根据所述正样本以及所述负样本对所述预置的mobilenetV2网络模型进行训练，得到所述训练后的mobilenetV2网络模型。

4.根据权利要求1所述的方法，其特征在于，所述根据所述余弦相似度以及所述特征点匹配数量确定所述待检测图像是否为所述目标图像，包括：

确定所述余弦相似度是否大于预设的相似度阈值，得到第一确定结果；

确定所述特征点匹配数量是否大于预设的匹配点阈值，得到第二确定结果；

根据所述第一确定结果以及所述第二确定结果确定所述待检测图像是否为所述目标图像。

5.根据权利要求1所述的方法，其特征在于，所述分别提取所述待检测图像的深层特征以及特征点之前，所述方法还包括：

对所述待检测图像进行方向检测，得到方向检测结果；

根据所述方向检测结果调整所述待检测图像的方向，得到调整后的待检测图像；

从所述调整后的待检测图像中提取待检测区域图像；

所述分别提取所述待检测图像的深层特征以及特征点，包括：

分别提取所述待检测区域图像的所述深层特征以及所述特征点。

6.根据权利要求1所述的方法，其特征在于，所述获取待检测图像之后，所述方法还包括：

对所述待检测图像进行文本检测处理，得到文本区域图像；

对所述文本区域图像进行文本识别处理，得到待检测文本；

确定所述待检测文本与所述目标数据库中的目标文本是否匹配，得到文本匹配结果；

所述根据所述余弦相似度以及所述特征点匹配数量确定所述待检测图像是否为所述目标图像，包括：

根据所述余弦相似度、所述特征点匹配数量以及所述文本匹配结果确定所述待检测图像是否为所述目标图像。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述确定所述深层特征与预置的目标数据库中的目标深层特征的余弦相似度之前，所述方法还包括：

分别提取所述目标图像的所述目标深层特征以及所述目标特征点；

根据所述目标深层特征以及所述目标特征点构建所述目标数据库。

8.根据权利要求7所述的方法，其特征在于，所述分别提取所述目标图像的所述目标深层特征以及所述目标特征点，包括：

将所述目标图像输入训练后的mobilenetV2网络模型，得到所述目标深层特征；

基于surf特征提取函数提取所述目标图像的所述目标特征点。

9.一种图像检测装置，其特征在于，包括：

获取单元，用于获取待检测图像；

处理单元，用于分别提取所述待检测图像的深层特征以及特征点；

所述处理单元，还用于确定所述深层特征与预置的目标数据库中的目标深层特征的余弦相似度，所述目标数据库为目标图像对应的特征数据库；

所述处理单元，还用于将所述特征点与所述目标数据库中的目标特征点进行特征点匹配，得到特征点匹配数量；

所述处理单元，还用于根据所述余弦相似度以及所述特征点匹配数量确定所述待检测图像是否为所述目标图像。

10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1至8任一项所述的图像检测方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至8任一项所述的图像检测方法。

Images