CN108304431A - 一种图像检索方法及装置、设备、存储介质 - Google Patents

Abstract

本发明公开了一种图像检索方法及装置、设备、存储介质，其中，所述方法包括：前台进程接收请求侧设备发送的图像检索请求；根据所述图像检索请求中的所述待审核图像的属性确定所述待审核图像的图像特征；加载后台进程建立和维护的图像索引库并根据所述图像特征查询所述图像索引库，得到检索结果，所述检索结果包括满足预设条件的图像的属性；将所述检索结果作为图像检索响应发送给业务请求侧设备。

Description

一种图像检索方法及装置、设备、存储介质

技术领域

本发明涉及图像检索技术，尤其涉及一种图像检索方法及装置、设备、存储介质。

背景技术

随着移动互联网技术的广泛应用，人们使用互联网越来越方便，图像的更新、上传、盗用也变得也越来越容易，因此互联网上充斥着大量的近重复信息，进而如何有效地识别近重复信息是一个很有意义的课题。目前图像检索系统主要存在以下待改进点：

1)使用简单图像特征计算过程简单，但对图像的表征能力不强，用于海量图像检索时效果不佳；复杂图像特征表达能力强，用于图像检索可以提升检索质量，但计算过程和检索速度较慢。那么如何既能提升检索质量，又能满足计算性能需求，在这里是需要考虑和解决的问题。

2)如2所述在使用复杂图像特征场景下，特征提取和图像检索过程对计算设备的性能消耗比较大，所以计算设备很容易卡、慢，那么如何将图像检索各过程进行隔离划分以提高效率；另外，图像检索的数据输入往往来自于外网，那么很容易受到网络攻击，如何提高安全性也成为需要亟需解决的问题。

3)现有技术中图像检索库的更新速度慢，抓取图像的周期过长，不能做到实时更新，从而无法及时更新图像检索库，进而当相似的先后图像出现时无法检索到最新的近似图像，所以返回的检索结果的精度低。

发明内容

有鉴于此，本发明实施例为解决现有技术中存在的至少一个问题而提供一种图像检索方法及装置、设备、存储介质，通过提供一种图像检索的网络架构，从而将图像检索各过程进行隔离，如此能够提高图像检索系统的效率和安全性。

本发明实施例的技术方案是这样实现的：

本发明实施例提供一种图像检索方法，所述方法包括：

前台进程接收请求侧设备发送的图像检索请求，所述图像检索请求中携带有待审核图像的属性；

所述前台进程根据所述图像检索请求中的所述待审核图像的属性确定所述待审核图像的图像特征；

所述前台进程加载后台进程建立和维护的图像索引库；

所述前台进程根据所述图像特征查询所述图像索引库，得到检索结果，所述检索结果包括满足预设条件的图像的属性；

所述前台进程将所述检索结果作为图像检索响应发送给请求侧设备。

本发明实施例又一种图像检索装置，所述装置包括：

前台进程，用于接收请求侧设备发送的图像检索请求，所述图像检索请求中携带有待审核图像的属性；

所述前台进程，用于根据所述图像检索请求中的所述待审核图像的属性确定所述待审核图像的图像特征；

所述前台进程，用于加载后台进程建立和维护的图像索引库；

所述前台进程，用于根据所述图像特征查询所述图像索引库，得到检索结果，所述检索结果包括满足预设条件的图像的属性；

所述前台进程，用于将所述检索结果作为图像检索响应发送给请求侧设备。

本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，该计算机可执行指令用于执行本发明实施例提供的图像检索方法。

本发明实施例还提供一种计算设备，包括：

存储介质，配置为存储可执行指令；

处理器，配置为执行存储的可执行指令，所述可执行指令用于执行本发明实施例提供的图像检索方法。

本发明实施例提供一种图像检索方法及装置、设备、存储介质，其中，前台进程接收请求侧设备发送的图像检索请求；根据所述图像检索请求中的所述待审核图像的属性确定所述待审核图像的图像特征；加载预设的图像索引库并根据所述图像特征查询所述图像索引库，得到检索结果，所述检索结果包括满足预设条件的图像的属性；将所述检索结果作为图像检索响应发送给请求侧设备；如此，通过提供一种图像检索的网络架构，从而将图像检索各过程进行隔离，如此能够提高图像检索系统的效率和安全性。

附图说明

图1A为本发明实施例图像检索方法的实现流程示意图；

图1B为本发明实施例的场景示意图；

图2为GPU处理器与CPU处理器的区别示意图；

图3为本发明实施例流式计算和图像相似度计算的实现流程示意图；

图4为本发明实施例在线和离线计算的实现流程示意图；

图5A为本发明实施例检索结果示意图；

图5B为本发明实施例检索结果示意图；

图6为本发明实施例图像检索装置的组成结构示意图；

图7为本发明实施例中计算设备的一种硬件实体示意图。

具体实施方式

图像检索系统是一种从海量数字图像数据库中浏览、搜索、返回指定图片的计算系统。在搜索图片时，用户需要提交查询条件(Query)，诸如：关键字、图片链接等，之后经图像检索系统计算返回对这次查询的相似计算结果。

为了更好的理解本发明的各实施例，现提供以下缩写的解释：

GPU：Graphic Processing Units，图形计算处理单元。

CUDA：Compute Unified Device Architecture，统一计算设备架构，是一种并行计算架构，该架构通过利用GPU的处理能力解决复杂的计算问题，可大幅提升计算性能。

Image Retrieval：图像检索；在给定查询图片的前提下，依据内容信息或指定查询标准，在图像数据库中搜索并查找出符合查询条件的相应图片。在广告场景中，“指定查询标准”即基于图像特征判定的相似图像。

SIFT：Scale-Invariant Feature Transform，尺度不变特征转换，一种检测局部特征的算法。

SURF：Speeded Up Robust Features，加速稳健特征，一种稳健的图像识别和描述算法。

simhash：局部敏感哈希的一种。

pHash：Perceptual Hash，感知哈希的一种。

TDE：Tencent Data Engine，腾讯数据平台的实时数据存储引擎。

CephFS：一个分布式文件存储系统。

HDFS：一个分布式文件存储系统。

QPS：Queries Per Second，每秒可处理请求数，每秒查询率。

下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。

本发明实施例提供一种图像检索方法，应用于计算设备，该方法所实现的功能可以通过计算设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该计算设备至少包括处理器和存储介质。

图1A为本发明实施例图像检索方法的实现流程示意图，如图1A所示，所述方法包括：

步骤S101，前台进程接收请求侧设备发送的图像检索请求，所述图像检索请求中携带有待审核图像的属性；

本实施例中，请求侧设备可以连接外网，在实现的过程中，请求侧设备可以从互联网上爬取图像作为待审核图像，并获取待审核图像的属性，然后根据待审核图像的属性生成图像检索请求。其中，图像的属性包括图像的标识(Identity，ID)、图像的地址如统一资源定位器(URL，Uniform Resource Locator)等信息。以广告为例进行说明，如果本实施例应用于广告系统，那么请求侧设备还可以接收用户侧设备发送的广告请求，该广告请求用于请求对该请求中携带的广告进行审核。一般来说，广告审核包括很多方面，例如对广告的内容进行审核，广告内容(图像和文字、语言)是否有违反法律法规的规定，如果广告内容没有违反法律法规的规定，那么还需要对广告的相似度进行审核，相似度审核一般采用图像检索，那么请求侧设备从广告请求中获取广告中的图像作为待审核图像。

本实施例中，图像检索请求可以为相似度检索、或者根据用户输入的关键词进行的检索、或者根据图像特征进行的检索，其中相似度检索是根据输入图像从图像数据库中查找出相似度满足条件的图像，从而将相似度满足条件的图像作为输出。图像检索请求中的待审核图像的属性可以是图像本身的标识、地址，也可以是描述图像的关键词或特征等。

步骤S102，所述前台进程根据所述图像检索请求中的所述待审核图像的属性确定所述待审核图像的图像特征；

步骤S103，所述前台进程加载预设的图像索引库；

在实施的过程中，图像索引库是基于图像特征而进行索引的，为了能够快速匹配，步骤S102中的图像特征与图像索引库所基于的图像特征具有一致性。在实现的过程中，图像索引库可以采用各种实现方式，例如可以采用索引树，索引树的大小由描述图像的特征维度数目所决定。

本实施例中，为了保证索引树的精度，描述图像特征尽可能的多，这样就可以找到更为相似或满足条件的图像，那么这就要求计算设备具有强大的计算能力，在实现的过程中，用于计算图像特征的计算设备可以采用图形处理器(GPU)计算服务集群，GPU计算服务集群中的GPU计算节点可以根据要处理的图像数量而扩容或缩容。

步骤S104，所述前台进程根据所述图像特征查询所述图像索引库，得到检索结果，所述检索结果包括满足预设条件的图像的属性；

步骤S105，所述前台进程将所述检索结果作为图像检索响应发送给请求侧设备。

在实现的过程中，前台进程和后台进程可以同时执行在同一个计算设备上，当然前台进程和后台进程还可以分别位于不同的计算设备上。如图1B所示，其中前台进程11用于与请求侧设备进行通信，前台进程与请求侧设备之间的通信包括步骤S101和步骤S105；后台进程12用于基于图像索引库向前台进程返回检索结果。

本实施例中，为了能够快速返回检索结果，将请求侧设备与检索设备(执行前台进程和后台进程的实体设备)进程分离，分离的好处在于只需要请求侧设备与用户侧设备进行通信，从而不需要检索设备就有连接外网的能力，那么能够很好保证检索设备的安全性，例如不容易受到外部的网络攻击。以广告系统为例进行说明，当本实施例应用于广告系统时，广告图片一般存储在外网，因此需要有外网访问权限，而访问外网意味着需要与外网进行连接，从而会导致安全性会降低，而本实施例中，只需要请求侧设备具有连接外网的能力即可，检索设备的输入来自于请求侧设备即可，从而保证检索设备、图像索引树和图像数据库的安全。

在本发明的其他实施例中，步骤S102中的“根据所述图像检索请求中的所述待审核图像的属性确定所述待审核图像的图像特征”有两种实现方式，其中：

方式一：所述待审核图像的属性包括所述待审核图像的标识，所述前台进程根据所述图像检索请求中的所述待审核图像的属性确定所述待审核图像的图像特征，包括：

步骤S11，所述前台进程根据所述待审核图像的标识在图像特征数据库中进行查找，得到查找结果，所述查找结果表明查找到或未查找所述待审核图像的图像特征。如果查找到，则得到所述待审核图像的图像特征。

本实施例中，图像特征数据库主要包括所有图像的图像特征，对于某些公司来说，图像库内的图像数量是非常大的，那么存储图像库中的图像特征也是特别大的，为了提高检索效率，可以将所有的图像进行分类，分类规则可以自行进行定义，例如可以按照常规的风景、人物、食物、衣服等对图像进行分类，然后每一类都作为一组图像，检索的时候可以先在可能性最大的图组里面继续查找，例如利用图像识别技术，对待审核图像进行识别，得到所述待审核图像所属的图组，然后再根据图像特征进行查找。当然每一图组都对应有图像索引库。

方式二：所述待审核图像的属性还包括待审核图像的标识和所述待审核图像的地址，所述前台进程根据所述图像检索请求中的所述待审核图像的属性确定所述待审核图像的图像特征，包括：

步骤S21，所述前台进程根据所述待审核图像的标识在图像特征数据库中进行查找，得到查找结果，所述查找结果表明未查找所述待审核图像的图像特征。

步骤S22，如果在所述图像特征数据中未查找所述待审核图像的图像特征，所述前台进程根据所述待审核图像的地址获取所述待审核图像；

这里，待审核图像的地址可以为待审核图像的URL地址。

步骤S23，所述前台进程向GPU计算服务集群发送图像特征提取请求，所述图像特征提取请求中携带有所述待审核图像；

步骤S24，所述前台进程接收所述GPU计算服务集群或所述GPU计算服务集群中GPU计算节点发送的图像特征提取响应，所述图像特征提取响应中携带有所述待审核图像的图像特征。

在实现的过程中，前台进程与GPU计算服务集群之间的交互的图像特征提取请求和所述图像特征提取响应可以采用远程过程调用协议(Remote Procedure CallProtocol，RPC)消息。本实施例中，使用RPC请求应答的方式(RPC消息)处理GPU计算任务，在硬件部署方面达到专集群专用，避免了处理器(Central Processing Unit，CPU)机型和GPU机型混合部署，有益于各集群独立运营运维。

下面介绍一下计算图像相似度，在应用中较常使用特征值匹配或哈希的方法来计算图像相似度，特征值匹配比较主流的有尺度不变特征转换算法(Scale-InvariantFeature Transform，SIFT)、加速稳健特征(Speeded Up Robust Features，SURF)等方法。其中，SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；哈希算法比较主流的有simhash、pHash等算法。为了提高计算图像相似度的准确性，还可以应用深度学习模型，深度学习的强大之处在于，可以利用网络中间某一层的输出当作是数据的另一种表达，即通过网络学习到的特征，基于该特征，可以进行进一步的相似度比较等操作。深度卷积神经网络在图像特征提取方面具有较强优势，可直接从原始图像中学习复杂的图像特征表达。在图像特征提取阶段，使用深度卷积神经网络以接近输出层的高维隐特征向量作为图像特征，该特征具有一定程度的旋转、缩放和平移不变性。

图像检索系统需要从海量历史广告图像中搜索到与请求图像相同或相似的图像，这里涉及频繁的图像特征计算。以广告系统为例进行说明，广告图像检索系统需要从海量历史广告图像中搜索到与请求图像相同或相似的图像，同时由于广告数据的复杂性，要求返回结果能够较好地区分完全重复、位移拉伸、局部相似、场景相似、创意相似等不同的图像相似属性，传统的特征匹配方法和Hash方法无法满足此处业务需求，故而在图像算法方面需求使用深度卷积神经网络提取高维图像特征向量来表达。由于深度学习模型的复杂性，将严重加大特征计算阶段开销，将势必影响流式特征提取及在线请求阶段计算性能。

为了解决这一问题，在计算硬件方面，本发明实施例中将采用GPU计算服务集群。图形计算处理单元(Graphic Processing Units，GPU)处理器采用了与CPU处理器完全不同的设计理念，如图2所示，区别于CPU的“多核”概念，GPU的设计走向“众核”方向，众核即由大量较小的内核组成，随着计算机的发展，内核的数量也在不断翻倍。传统的CPU的一个核心通常在一个时刻只能运行一个线程的指令，CPU的多线程机制通过操作系统提供的API实现，是一种软件粗粒度多线程。当一个线程中断，或者等待某种资源时，操作系统就保存当前线程的上下文，并装载另一个线程的上下文。这种机制使得CPU切换线程的代价十分高昂，通常需要数百个时钟周期。某些具有超线程功能的CPU可以将一个物理核心虚拟成多个核心，但每个虚拟核心在一个时刻也只能运行一个线程。GPU采用的则是硬件管理的轻量级线程，可以实现零开销的线程切换。当一个线程因为访问片外存储器或者同步指令开始等待以后，可立即切换至另一个处于就绪态的线程，通过计算来隐藏延迟。当线程中的计算指令需要的时间较多，而指令访存相对较少，即计算密集度较高时，延迟就可以被计算隐藏，且线程越多，延迟隐藏得更好。

从上面的分析可以看出，GPU的设计目标是以大量线程实现面向高吞吐量的数据并行计算，适合于处理计算密度高、逻辑分支简单的大规模数据并行任务。而CPU则有复杂的控制逻辑和大容量的缓存减小延迟，可适应各类型计算，尤其擅长复杂逻辑运算。使用GPU处理数据并行任务，而由CPU进行复杂逻辑和事物处理等串行计算，可以最大限度地利用计算机的处理能力。

在本发明的其他实施例中，所述方法还包括：

步骤S31，所述GPU计算服务集的管理节点群接收所述后台进程发送的图像特征提取请求；

本实施例中的GPU计算服务集群包括管理节点和计算节点，管理节点和计算节点是逻辑上的划分，在实现的过程中，管理节点可以是GPU计算服务集群中任一计算节点。

步骤S32，所述GPU计算服务集群的管理节点调用资源调度器确定满足预设的资源需求的GPU计算节点的标识；

步骤S33，所述GPU计算服务集群的管理节点根据所述GPU计算节点的标识将所述图像特征提取请求发送给对应的GPU计算节点；

在实现的过程中，GPU计算服务集群可以采用计算统一设备架构(ComputeUnified Device Architecture，CUDA)，这样图像计算可获得几倍、几十倍，甚至上百倍的加速比。本实施例中将GPU作为一种图像处理的加速器，能够有效地加速图像特征计算过程。

步骤S34，所述GPU计算节点接收所述图像特征提取请求，并加载所述图像特征提取请求中的待审核图像；

步骤S35，所述GPU计算节点利用自身加载的深度学习模型对所述待审核图像进行特征提取，得到所述待审核图像的图像特征，并将所述待审核图像的图像特征返回给所述GPU计算服务集群的管理节点。

步骤S36，所述GPU计算服务集群的管理节点接收所述GPU计算节点返回的所述待审核图像的图像特征；

步骤S37，所述GPU计算服务集群的管理节点将所述待审核图像的图像特征携带在所述图像特征提取响应中，并将所述图像特征提取响应发送给所述后台进程。

本实施例中，当图像特征提取请求(请求RPC报文)到来时，由集群中的资源调度器选择空闲中的计算节点执行计算，其中计算步骤包括：加截请求报文中携带的图像数据到显存中，调用深度卷积神经网络模型GPU计算程序以提取图像特征；之后将计算得到的图像特征填充在图像特征提取响应(应答RPC报文)中返回到请求侧。

在本发明的其他实施例中，所述方法还包括：所述GPU计算节点将所述待审核图像的图像特征发送给图像特征数据库，并向后台进程发送素材更新消息；

所述后台进程响应所述素材更新消息，获取所述待审核图像的图像特征，并根据所述待审核图像的图像特征更新图像索引库。

在一种实施例中，素材更新消息中包括待审核图像的图像特征，所述获取所述待审核图像的图像特征，包括从素材更新消息中获取待审核图像的图像特征。在另一种实施例中，素材更新消息中还可以不包括待审核图像的图像特征，只包括待审核图像的属性例如标识，然后后台进程根据待审核图像的属性从图像特征数据库中获取待审核图像的图像特征。

在本发明的其他实施例，当用户侧上传图像，例如用户侧终端向广告系统发送待审核的广告，那么请求侧设备就会接收到终端上传的图像，这样前述实施例中的方法还包括更新图像数据库的过程，该过程包括：

步骤S41，请求侧设备确定终端上传的图像；

本实施例中，当用户侧终端上传图像时，请求侧设备将所述上传的图像作为所述待审核图像。

步骤S42，所述请求侧设备将所述上传的图像作为所述待审核图像，获取所述待审核图像的属性，并向前台进程发送图像检索请求；

这里，流程进入图1A所示的步骤S101中。

步骤S43，所述请求侧设备将所述上传的图像作为素材图像，并向监听设备发送素材更新消息。

在实现的过程中，监听设备可以采用具有信息处理能力的计算设备来实现，在下面的实施例中可以采用离线图像处理服务器来实现。

步骤S44，监听设备接收请求侧设备发送的素材更新消息，所述素材更新消息中至少包括素材属性；

本实施例中，素材属性包括素材标识和/或素材地址，地址可以为素材的URL地址。

步骤S45，所述监听设备根据所述素材属性获取素材图像；

本实施例中，获取素材图像可以根据素材的标识从素材信息数据库中获取素材图像，也可以根据素材地址从网络上下载素材图像。

在其他实施例中，素材更新消息中还包括素材图像，监听设备还可以根据素材图像更新图像数据库，当然还可以更新素材信息数据库。在实现的过程中，图像数据库可以并入素材信息数据库。

步骤S46，所述监听设备将所述素材图像发送给GPU计算服务集群，所述图像特征提取请求中携带有所述素材图像；

步骤S47，所述GPU计算服务集群提取所述素材图像的图像特征，并将所述素材图像的图像特征和素材标识发送给图像特征数据库。

从以上实施例可以看出，本发明实施例提供的技术方案无论是图像检索库(图像索引库)、图像特征数据库、图像素材信息数据库等的更新非常快，当用户上传图像后，请求侧设备即感知到用户上传图像的操作，然后开启一系列的更新和图像检索流程，例如在步骤S42触发图像检索流程；在步骤S45更新素材信息数据库，在步骤S47更新图像特征数据库，由此可见，本发明实施例提供的技术方案解决了现有技术中图像检索库的更新速度慢，抓取图像的周期过长不能做到实时更新，从而无法及时更新图像检索库，进而当相似的先后图像出现时无法检索到最新的近似图像，所以返回的检索结果的精度低的问题。

在本发明的其他实施例，所述方法还包括：形成所述图像索引库的过程，该过程包括：

步骤S51，所述后台进程接收监听设备发送的素材更新消息，所述素材更新消息中至少包括素材标识；

步骤S52，所述后台进程根据所述素材标识从图像特征数据库获取对应的素材图像的图像特征；

步骤S53，所述后台进程根据所述素材图像的图像特征更新图像索引库。

下面以本实施例应用于广告素材审核为例进行说明，广告素材审核中图像检索是一种实时图像检索装置。目前广告图像检索的主要痛点(问题)在于：

1)广告图片一般存储在外网，需求外网访问权限；外网权限会影响系统的安全性。

2)复杂图像特征提取需求GPU计算加速，需要在GPU集群环境中运行。

3)对上百万广告图片每一张都需要提取图像特征并在CephFS或HDFS等分布式文件系统上持久化存储下来。

由此引入了对外网、分布式文件存储系统和GPU集群的依赖，以及对结构化数据存储引擎的依赖。为了解决以上问题，本发明实施例提供的图像检索装置包括广告素材图片流式处理部分和广告图像实时检索服务部分，这样，能够分离图像流式处理环节和按图像相似度的在线实时检索环节。其中，广告图像实时检索服务部分为广告素材图片审核提供在线图像检索功能，广告素材图片流式处理部分为建立图库，其中检索图库为千万量级规模，图像特征向量使用4096维浮点数，图像检索引擎在单机8线程工作时可达到1000每秒查询率(Query Per Second，QPS)。

继而根据互联网数据中心(IDC)服务器物理隔离规则和GPU集群，将整个处理流程部署在跨服务器、跨IDC机房的分布式计算环境。广告图像实时检索服务相对简单，只需要在启动时按所属图组(set)全量拉取该组的广告信息列表，依据广告图像特征新建或加载图像索引树，启动超文本传输协议(HTTP，Hyper Text Transfer Protocol)服务器(HTTPServer)例行监听、计算并返回相似图像检索请求；同时后台进程根据新老广告变更消息，保持对索引树的不断更新。

下面流式计算和图像相似度计算两个方面来描述本发明实施例，先介绍流式计算过程，参见图3，以流式计算来进行新素材图片的各阶段处理步骤，包括：

步骤S301，业务侧传入素材更新信息：例行监听业务侧传来的广告素材更新消息，更新图像数据库中的广告信息表。

这里，传入消息格式为：广告ID、素材ID、素材URL、变更类型，通过传入消息格式来唯一识别一张广告素材图片粒度的变更情况，其中变更类型有新上(add)、修改(alt)和下架(del)。

步骤S302，新素材图片下载；

这里，根据广告素材图片URL的新增或变更，下载素材图片。

步骤S303，图像处理和简单特征提取；

这里，基于OpenCV进行一些简单的图像处理和特征提取，如图像规格检查、计算md5sum、计算simhash等。

步骤S304，图片上传CephFS；

这里，将新素材图片上传到图像素材信息数据库(CephFS)来统一存储。

步骤S305，基于GPU计算的复杂图像特征提取；

在GPU集群环境中，从CephFS上读取到新素材图片，通过深层复杂的图像相似度模型提取图像特征，用于重建图像索引。

步骤S306，图像特征上传图像特征数据库。

图像特征数据库可以采用腾讯数据引擎(Tencent Data Engine，TDE)，这样即提供了一个分布式key-value结构化高效数据存储引擎，能够提供数据实时存储、更新、查询服务，因此需要将广告图像特征存储在TDE中待其他服务调用查询。

继续参见图3，图像实时检索过程包括：

步骤1，服务启动；

这里，服务启动时需要从素材信息数据库全量拉取属于本广告图库的广告素材信息表(步骤S321)，通过素材ID从图像特征数据库(TDE)中查询到所有广告素材的图像特征，以图像相似度特征向量为数据集，建立起图像索引树(步骤S322)。其中，广告素材信息表中包括待审素材ID、待审素材URL等信息。

步骤2，请求监听和请求返回；

这里，监听业务侧相似度计算请求(步骤311)，启动图像检索http server(步骤312)，加载图像索引树(步骤313)，在索引树上查找待审素材图片的N个最近邻图像，httpserver将待审素材图片与N个最近邻图像的广告素材信息进行绑定后，返回检索结果(相似素材信息结果)(步骤314)，其中绑定即建立对应关系，即查找到的N个最近邻图像的广告素材信息与待审素材图片建立对应关系，然后返回结果，即将N个最近邻图像的广告素材信息作为相似素材信息结果返回。

步骤S3，广告信息和图像索引触发式更新；

这里，新素材图片经广告图片流式处理后触发检索服务端获知广告素材信息及新图像特征插入索引树。

在本实施例中，图像相似度计算提供图像实时检索服务，即传入消息格式为：待审素材ID、待审素材URL、最相似的N条记录(Top N)、开始时间(BeginTime)；其中，最相似的N条记录是指返回查询到最相似的N条素材信息，N为整数；开始时间为忽略最后一次更新时间早于这个时间点的素材。返回查询结果可以为Json Array格式的Top M(M<＝N)条相似素材信息，每条相似素材信息由相似素材ID、相似素材URL、相似距离构成。

下面以离线和在线两方面来描述本发明实施例，其中，离线是指更新图像特征数据库和更新图像索引库，而在线是指图像检索过程，参见图4，模块工作原理及交互如下：

1)离线图像处理，包括：

步骤S411，离线图像处理服务器检索图库内新增的图像；

步骤S412，离线图像处理服务器响应新增的图像，下载新传入的图像，离线图像处理服务器提取新传入图像的图像特征；

这里，提取新传入图像的图像特征包括：向GPU计算服务器集群发送计算请求RPC，然后GPU计算服务器集群接收计算请求RPC报文时，由资源调度器选择空闲中的计算节点执行计算；具体计算步骤为加截请求报文中携带的图像数据到显存中，调用深度卷积神经网络模型GPU计算程序以提取图像特征；之后将计算得到的图像特征填充在计算应答RPC报文中返回到离线图像处理服务器。

步骤S413，离线图像处理服务器存储图像特征；

这里，离线图像处理服务器将图像特征存储到图像特征数据库(TDE)。

步骤S414，离线图像处理服务器更新检索图库；

这里，离线图像处理服务器向检索服务器(例如后台进程)发送素材更新消息，然后检索服务器根据更新的图像特征更新图像索引库。

从以上可以看出，采用流式计算方式，对于检索图库新增图片进行例行预处理任务。其中在提取图像特征时发送携带图像内容数据的计算请求RPC到GPU计算服务集群，获得携带计算结果的应答RPC。

2)在线检索服务，包括：

步骤S401，在线检索服务器接收请求侧设备发送的图像相似度计算请求；

这里，图像相似度计算请求作为前述实施例中的图像检索请求，且所述图像相似度计算请求中携带有待审核图像。

步骤S402，在线检索服务器下载图像；

步骤S403，在线检索服务器提取待审核图像的图像特征；

这里，如果图像特征数据库中有所述待审核图像的图像特征，则从图像特征数据库获取待审核图像的图像特征；如果图像特征数据库中没有所述待审核图像的图像特征，则向GPU计算服务器集群发送计算请求RPC，然后GPU计算服务器集群接收计算请求RPC报文时，由资源调度器选择空闲中的计算节点执行计算；具体计算步骤为加截请求报文中携带的图像数据到显存中，调用深度卷积神经网络模型GPU计算程序以提取图像特征；之后将计算得到的图像特征填充在计算应答RPC报文中返回到在线检索服务器。

步骤S404，在线检索服务器基于图像特征进行图像检索；

步骤S405，在线检索服务器向请求侧设备返回检索结果。

图5A和图5B示出了检索结果，以图5A的上图为例进行说明，待审核图像的ID“Tid”为“1601576523”，待审核图像为“广告图像(Advertise Image)”中的图像，检索结果见响应图像(Response Image)，检索结果中包括序列号(Response Order)1至3的两张图像，序列号1至3对应的ID为1601573296，从检索结果上看，序列号1与待审核图像相同，因为二者的欧氏距离(Euclidean Distance)是0。

从以上可以看出，在线检索服务器对线上图像相似度计算请求进行处理并返回检索结果。其中在提取图像特征时发送携带图像内容数据的计算请求RPC到GPU计算服务集群，获得携带计算结果的计算应答RPC；在获得请求图片的图像特征之后，即展开基于图像特征的检索步骤。

3)GPU计算服务，包括：GPU计算集群初始化各个计算节点，每个计算节点独占1颗GPU用于计算。当计算请求RPC到来时，由资源调度器选择空闲中的计算节点执行计算。具体计算步骤为加截请求报文中携带的图像数据到显存中，调用深度卷积神经网络模型GPU计算程序以提取图像特征。之后将计算得到的图像特征填充在应答RPC报文中返回到请求侧。

本发明实施例中，引入GPU计算环节以加速图像特征的离线和在线提取过程，确保在线检索性能不降低的情况下可以使用高维复杂图像特征，从而提升检索精度。

本发明涉及的图像检索系统由多个步骤组成：广告数据检索引擎、广告图像在线服务引擎和广告图像特征实时计算引擎，三者通过分布式计算服务调用，对于图像检索请求使用GPU实时计算图像特征并进行特征值匹配，加速了海量数据场景下图像检索效率和精度水平。

需要说明的是，实际应用于图像特征提取的模型包括但不限于深度卷积神经网络模型；当然实际应用于图像检索的特征索引数据结构包括但不限于文中所述的索引树。实际应用于图像特征实时存储的数据存储引擎包括但不限于文中所述的TDE、Redis等。

从以上实施例可以看出，本实施例提供的技术方案加速了实时图像检索和离线图像数据处理等多个阶段上的图像特征提取过程，减少了较复杂的图像模型应用于特征提取时的性能开销。而且剥离了各步骤计算依赖，使得GPU计算服务中的计算节点数量、在线检索服务节点数量、离线图像处理节点数量都可以依据实际情况方便地扩容缩容。由于本实施例采用GPU计算服务，因此能够使用复杂图像模型用于特征提取，从而提升了线上检索阶段召回结果的精度。当然，本技术方案使用RPC请求应答的方式处理GPU计算任务，在硬件部署方面达到专集群专用，避免了CPU机型和GPU机型混合部署，有益于各集群独立运营运维。

基于前述的实施例，本发明实施例提供一种图像检索装置，图6为本发明实施例图像检索装置的组成结构示意图，如图6所示，该装置600包括前台进程601和后台进程602，其中：

前台进程，用于接收请求侧设备发送的图像检索请求，所述图像检索请求中携带有待审核图像的属性；

所述前台进程，用于接收所述图像检索请求，并根据所述图像检索请求中的所述待审核图像的属性确定所述待审核图像的图像特征；

后台进程，用于建立和维护的图像索引库；

所述前台进程，用于加载后台进程建立和维护的图像索引库；

所述前台进程，用于根据所述图像特征查询所述图像索引库，得到检索结果，所述检索结果包括满足预设条件的图像的属性；

所述前台进程，用于将所述检索结果作为图像检索响应发送给请求侧设备。

在本发明的其他实施例中，所述前台进程，用于根据所述待审核图像的标识在图像特征数据库中进行查找，得到所述待审核图像的图像特征。

在本发明的其他实施例中，所述待审核图像的属性还包括所述待审核图像的地址，所述前台进程，用于：

如果在所述图像特征数据中未查找所述待审核图像的图像特征，根据所述待审核图像的地址获取所述待审核图像；

向图形处理器GPU计算服务集群发送图像特征提取请求，所述图像特征提取请求中携带有所述待审核图像；

接收所述GPU计算服务集群或所述GPU计算服务集群中GPU计算节点发送的图像特征提取响应，所述图像特征提取响应中携带有所述待审核图像的图像特征。

在本发明的其他实施例中，所述装置还包括所述GPU计算服务集群，用于：

接收所述前台进程发送的图像特征提取请求；

调用资源调度器确定满足预设的资源需求的GPU计算节点的标识；

根据所述GPU计算节点的标识将所述图像特征提取请求发送给对应的GPU计算节点；

接收所述GPU计算节点返回的所述待审核图像的图像特征；

将所述待审核图像的图像特征携带在所述图像特征提取响应中，并将所述图像特征提取响应发送给所述前台进程。

在本发明的其他实施例中，所述装置还包括所述GPU计算节点，用于：

接收所述图像特征提取请求，并加载所述图像特征提取请求中的待审核图像；

利用自身加载的深度学习模型对所述待审核图像进行特征提取，得到所述待审核图像的图像特征，并将所述待审核图像的图像特征返回给所述GPU计算服务集群。

在本发明的其他实施例中，所述GPU计算节点，还用于将所述待审核图像的图像特征发送给图像特征数据库，并向后台进程发送素材更新消息；

所述后台进程，用于响应所述素材更新消息，获取所述待审核图像的图像特征，并根据所述待审核图像的图像特征更新图像索引库。

在本发明的其他实施例中，所述后台进程还用于：接收监听设备发送的素材更新消息，所述素材更新消息中至少包括素材标识；根据所述素材标识从图像特征数据库获取对应的素材图像的图像特征；根据所述素材图像的图像特征更新图像索引库。

在本发明的其他实施例中，所述装置还包括监听设备，用于：监听设备接收请求侧设备发送的素材更新消息，所述素材更新消息中至少包括素材属性；根据所述素材属性获取素材图像；将所述素材图像发送给向GPU计算服务集群发送图像特征提取请求，所述图像特征提取请求中携带有所述素材图像；

所述GPU计算服务集群，还用于提取所述素材图像的图像特征，并将所述素材图像的图像特征和素材标识发送给图像特征数据库。

在本发明的其他实施例中，所述装置还包括请求侧设备，用于确定终端上传的图像；将所述上传的图像作为所述待审核图像，获取所述待审核图像的属性，并向前台进程发送图像检索请求；将所述上传的图像作为素材图像，并向监听设备发送素材更新消息。

在本发明的其他实施例中，所述图像特征提取请求和所述图像特征提取响应采用远程过程调用协议RPC消息。

需要说明的是，GPU计算服务器集群采用图2中B图所示的处理器结构来实现，而除GPU计算服务器集群之外的计算设备如监控设备、在线图像检索服务器、离线图像处理服务器可以采用如计算机、服务器等实现，图7为本发明实施例中计算设备的一种硬件实体示意图，该计算设备700的硬件实体包括：处理器701、通信接口702、输入模块703、显示模块704和存储器705，其中

处理器701通常控制计算设备700的总体操作。例如，输入模块703可以实施为触摸屏，向所述处理器701输出表征触摸屏的操作特征(包括触点位置、触点数量、触发压力)的用户操作数据，处理器701可以解析用户操作数据确定用户在显示界面中触发的功能，生成对应触发的功能的显示数据，以供显示模块704加载对应触发的功能的页面。

通信接口702可以使计算设备通过网络与其他终端或服务器通信。

输入模块703可配置为接收输入的字符信息，以及产生与用户设置以及功能控制有关信号输入。其中，输入模块可包括触控表面，该触控表面可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控表面上或在触控表面附近的操作)，获取触摸操作带来的信号，将信号转换成触点坐标，再送给处理器701处理，并能接收处理器701发来的命令并加以执行。

显示模块704可以配置为显示处理器701实现的功能以及相关的信息。

存储器705配置为存储由处理器701可执行的指令和应用，还可以缓存待处理器701以及计算设备700中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器705(RAM，RandomAccess Memory)实现。

本发明实施例中，如果以软件功能模块的形式实现上述的图像检索方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read OnlyMemory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本发明实施例不限制于任何特定的硬件和软件结合。

本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，该计算机可执行指令用于执行本发明实施例提供的图像检索方法。

本发明实施例还提供一种计算设备，包括：

存储介质，配置为存储可执行指令；

处理器，配置为执行存储的可执行指令，所述可执行指令用于执行本发明实施例提供的图像检索方法。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种图像检索方法，其特征在于，所述方法包括：

前台进程接收请求侧设备发送的图像检索请求，所述图像检索请求中携带有待审核图像的属性；

根据所述图像检索请求中的所述待审核图像的属性确定所述待审核图像的图像特征；

加载后台进程建立和维护的图像索引库；

根据所述图像特征查询所述图像索引库，得到检索结果，所述检索结果包括满足预设条件的图像的属性；

将所述检索结果作为图像检索响应发送给请求侧设备。

2.根据权利要求1所述的方法，其特征在于，所述待审核图像的属性包括所述待审核图像的标识，所述前台进程根据所述图像检索请求中的所述待审核图像的属性确定所述待审核图像的图像特征，包括：

所述前台进程根据所述待审核图像的标识在图像特征数据库中进行查找，得到所述待审核图像的图像特征。

3.根据权利要求2所述的方法，其特征在于，所述待审核图像的属性还包括所述待审核图像的地址，所述前台进程根据所述图像检索请求中的所述待审核图像的属性确定所述待审核图像的图像特征，还包括：

如果在所述图像特征数据中未查找所述待审核图像的图像特征，所述前台进程根据所述待审核图像的地址获取所述待审核图像；

所述前台进程向图形处理器GPU计算服务集群发送图像特征提取请求，所述图像特征提取请求中携带有所述待审核图像；

所述前台进程接收所述GPU计算服务集群或所述GPU计算服务集群中GPU计算节点发送的图像特征提取响应，所述图像特征提取响应中携带有所述待审核图像的图像特征。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

所述GPU计算服务集群接收所述前台进程发送的图像特征提取请求；

所述GPU计算服务集群调用资源调度器确定满足预设的资源需求的GPU计算节点的标识；

所述GPU计算服务集群根据所述GPU计算节点的标识将所述图像特征提取请求发送给对应的GPU计算节点；

所述GPU计算服务集群接收所述GPU计算节点返回的所述待审核图像的图像特征；

所述GPU计算服务集群将所述待审核图像的图像特征携带在所述图像特征提取响应中，并将所述图像特征提取响应发送给所述前台进程。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

所述GPU计算节点接收所述图像特征提取请求，并加载所述图像特征提取请求中的待审核图像；

所述GPU计算节点利用自身加载的深度学习模型对所述待审核图像进行特征提取，得到所述待审核图像的图像特征，并将所述待审核图像的图像特征返回给所述GPU计算服务集群。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

所述GPU计算节点将所述待审核图像的图像特征发送给图像特征数据库，并向后台进程发送素材更新消息；

所述后台进程响应所述素材更新消息，获取所述待审核图像的图像特征，并根据所述待审核图像的图像特征更新图像索引库。

7.根据权利要求5所述的方法，其特征在于，形成所述图像索引库包括：

所述后台进程接收监听设备发送的素材更新消息，所述素材更新消息中至少包括素材标识；

所述后台进程根据所述素材标识从图像特征数据库获取对应的素材图像的图像特征；

所述后台进程根据所述素材图像的图像特征更新图像索引库。

8.根据权利要求7所述的方法，其特征在于，所述根据所述素材标识从图像特征数据库获取对应的素材图像的图像特征，包括：

监听设备接收请求侧设备发送的素材更新消息，所述素材更新消息中至少包括素材属性；

所述监听设备根据所述素材属性获取素材图像；

所述监听设备将所述素材图像发送给GPU计算服务集群，所述图像特征提取请求中携带有所述素材图像；

所述GPU计算服务集群提取所述素材图像的图像特征，并将所述素材图像的图像特征和素材标识发送给图像特征数据库。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

请求侧设备确定终端上传的图像；

所述请求侧设备将所述上传的图像作为所述待审核图像，获取所述待审核图像的属性，并向前台进程发送图像检索请求；

所述请求侧设备将所述上传的图像作为素材图像，并向监听设备发送素材更新消息。

10.根据权利要求3至9任一项所述的方法，其特征在于，所述图像特征提取请求和所述图像特征提取响应采用远程过程调用协议RPC消息。

11.一种图像检索装置，其特征在于，所述装置包括：

前台进程，用于接收请求侧设备发送的图像检索请求，所述图像检索请求中携带有待审核图像的属性；

所述前台进程，用于根据所述图像检索请求中的所述待审核图像的属性确定所述待审核图像的图像特征；

后台进程，用于建立和维护的图像索引库；

所述前台进程，用于加载后台进程建立和维护的图像索引库；

所述前台进程，用于根据所述图像特征查询所述图像索引库，得到检索结果，所述检索结果包括满足预设条件的图像的属性；

所述前台进程，用于将所述检索结果作为图像检索响应发送给请求侧设备。

12.根据权利要求11所述的装置，其特征在于，所述待审核图像的属性包括待审核图像的标识，所述前台进程，用于根据待审核图像的标识在图像特征数据库中进行查找，得到所述待审核图像的图像特征。

13.一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，该计算机可执行指令用于执行权利要求1至10任一项的图像检索方法。

14.一种计算设备，包括：

存储介质，配置为存储可执行指令；

处理器，配置为执行存储的可执行指令，所述可执行指令用于执行权利要求1至10任一项的图像检索方法。