CN111046203A - 图像检索方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请实施例公开了一种图像检索方法、装置、存储介质及电子设备，其中，通过接收输入的针对图像的检索请求，并识别检索请求携带的检索目标为检索词或是检索语句，当检索目标为检索词时，检索出图像类别和/或图像对象与检索词匹配的图像，而当检索目标为检索语句时，对检索语句进行文本语义识别，得到检索语句的文本语义，再检索出图像语义与文本语义匹配的图像。由此，本申请能够实现基于检索词和检索语句的图像检索，并基于检索词进行图像类别以及图像对象的检索匹配，基于检索语句进行图像语义的检索匹配，相较于相关技术，本申请能够更灵活的进行图像检索。

Description

图像检索方法、装置、存储介质及电子设备

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像检索方法、装置、存储介质及电子设备。

背景技术

目前，人们的生活已离不开智能手机、平板电脑等电子设备，通过这些电子设备所提供的各种各样丰富的功能，使得人们能够随时随地的娱乐、办公等。比如，用户可以将大量的图像(比如拍摄得到的图像，从网络下载的图像等)存储在电子设备上，从而可以随时随地的进行浏览。为了便于用户浏览特定图像，相关技术提出了基于时间和地点的图像检索方案，其中，地点和时间来自图像属性中的已有信息，使得用户可以输入期望的“时间”或“地点”以检索到对应的图像进行浏览。然而，相关技术需要用户输入准确的“时间”和“地点”才能够检索到对应图像，限制了图像检索的灵活性。

发明内容

本申请实施例提供了一种图像检索方法、装置、存储介质及电子设备，能够灵活的进行图像检索。

本申请实施例提供图像检索方法，应用于电子设备，该图像检索方法包括：

接收输入的针对图像的检索请求；

识别所述检索请求携带的检索目标为检索词或是检索语句；

当所述检索目标为检索词时，检索出图像类别和/或图像对象与所述检索词匹配的图像；

当所述检索目标为检索语句时，检索出图像语义与所述检索语句匹配的图像。

本申请实施例提供的图像检索装置，应用于电子设备，该图像检索装置包括：

请求接收模块，用于接收输入的针对图像的检索请求；

目标识别模块，用于识别所述检索请求携带的检索目标为检索词或是检索语句；

第一检索模块，用于当所述检索目标为检索词时，检索出图像类别和/或图像对象与所述检索词匹配的图像；

第二检索模块，用于当所述检索目标为检索语句时，检索出图像语义与所述检索语句匹配的图像。

本申请实施例提供的存储介质，其上存储有计算机程序，当所述计算机程序被处理器加载时执行如本申请任一实施例提供的图像检索方法。

本申请实施例提供的电子设备，包括处理器和存储器，所述存储器存有计算机程序，所述处理器通过加载所述计算机程序，用于执行如本申请任一实施例提供的图像检索方法。

本申请能够实现基于检索词和检索语句的图像检索，并基于检索词进行图像类别以及图像对象的检索匹配，基于检索语句进行图像语义的检索匹配，相较于相关技术，本申请能够更灵活的进行图像检索。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的图像检索方法的一流程示意图。

图2是本申请实施例中电子设备提供的图像检索界面的示例图。

图3是本申请实施例中电子设备本地存储的图像的示例图。

图4是本申请实施例提供的图像检索方法的另一流程示意图。

图5是本申请实施例提供的图像检索装置的一结构示意图。

图6是本申请实施例提供的电子设备的一结构示意图。

具体实施方式

请参照图式，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是通过所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。

本申请实施例涉及一种图像检索方法、图像检索装置、存储介质以及电子设备，其中，该图像检索方法的执行主体可以是本申请实施例提供的图像检索装置，或者集成了该图像检索装置的电子设备，其中该图像检索装置可以采用硬件或者软件的方式实现。其中，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等配置有处理器而具有处理能力的设备。

请参照图1，图1为本申请实施例提供的图像检索方法的流程示意图，本申请实施例提供的图像检索方法的具体流程可以如下：

在101中，接收输入的针对图像的检索请求。

应当说明的是，本申请对于输入检索请求的方式不做限制，包括但不限于语音输入方式、触控输入方式等。

比如，用户可以直接说出“查找**的图像”的语音，电子设备在接收到该语音时，将该语音解析为针对图像的检索请求。

又比如，请参照图2，电子设备提供有图像检索界面，该图像检索界面包括输入框形式的输入控件，用户可以通过该输入控件输入用于描述期望图像的检索目标，比如检索词和检索语句。此外，该图像检索界面还提供有检索控件，用户在通过输入控件输入检索目标之后，可以通过触发检索控件以产生检索请求，该检索请求包括用户输入的检索目标，可以为检索词，也可以为检索语句。

在102中，识别检索请求携带的检索目标为检索词或是检索语句。

其中，电子设备在接收到输入的针对图像的检索请求之后，进一步识别该检索请求携带的检索目标为检索词还是检索语句。

示例性的，电子设备在接收到输入的针对图像的检索请求之后，解析出该检索请求携带的检索目标，将该检索目标与本地预存的常用词词库进行比对，当从常用词词库中比对出与检索目标一致的常用词时，即判定该检索目标为检索词，否则判定该检索目标为检索语句。

可以理解的是，本领域普通技术人员还可以根据实际需要定义检索词和检索语句的划分方式，本申请实施例中对此不作具体限制。

在103中，当检索目标为检索词时，检索出图像类别和/或图像对象与检索词匹配的图像。

应当说明的是，为了能够实现图像检索，本申请实施例中预先对图像在不同维度进行了标定，至少包括图像类别、图像对象以及图像语义。本申请实施例中对图像的标定方式不做具体限定，可以是人工标定，也可以是机器标定等。

其中，图像类别用于描述一图像中主体的类别，图像对象用于描述一图像中存在的对象，图像类别和图像对象通过对应的词进行表征，图像语义用于描述一图像中发生的内容，通过语句进行表征。

比如，请参照图3，为了便于理解本申请在所涉及的多个维度，采用三个图像进行示意，其中，图像A的图像类别为蓝天，图像B的图像对象包括“蓝天”和“芦苇”，图像C的图像语义为“棒球运动员在掷球”。

相应的，在本申请实施例中，电子设备在识别到检索请求所携带的检索目标为检索词时，电子设备从本地检索出图像类别和/或图像对象与检索词匹配的图像，作为检索结果。应当说明的是，图像类别与检索词匹配可以为图像类别与检索词完全一致，也可以为图像类别与检索词的相似度达到第一预设相似度。其中，第一预设相似度可由本领域普通技术人员根据实际需要进行设置，本申请实施例中对此不作具体限制。

比如，以图3所示的三个图像为例，当检索请求携带的检索目标为“蓝天”时，电子设备将该检索对象识别为检索词，图像类别与“蓝天”匹配的图像A，图像对象与“蓝天”匹配的图像B将被检索出，作为检索结果。

在104中，当检索目标为检索语句时，检索出图像语义与检索语句匹配的图像。

如上所述，本申请中除了支持基于检索词的图像检索之外，还支持基于检索语句的图像检索。

其中，当识别到检索目标为检索语句时，电子设备从本地检索出图像语义与检索语句匹配的图像，作为检索结果。其中，图像语义与检索语句匹配包括图像语义与检索语句的语义相似度达到第一预设相似度，该第一预设相似度的取值可由本领域普通技术人员根据实际需要取经验值，本申请实施例中对此不做具体限制。

示例性的，本申请实施例中在电子设备预置有语义相似度模型，该语义相似度模型基于DSSM架构，预先采用机器学习算法训练得到。相应的，电子设备在检索图像语义与检索语句匹配的图像时，可以将检索语句与图像的图像语义输入语义相似度模型进行语义相似度的计算。然后，检索出与检索语句的语义相似度达到第一预设相似度的图像语义所对应的图像。

其中，语义相似度模型首先将输入的图像语义和检索语句表达为低维的语义向量，然后计算两个语义向量间的余弦距离，作为图像语义和检索语句的语义相似度，表示为：

其中，Q表示检索语句，D表示图像语义，R(Q,D)表示图像语义和检索语句的相似度，y_Q表示检索语句的语义向量，y_D表示图像语义的语义向量。

比如，请继续参照图3，当检索请求携带的检索目标为“掷球的棒球运动员”时，电子设备将该检索对象识别为检索语句，图像语义与“掷球的棒球运动员”匹配的图像C将被检索出，作为检索结果。

由上可知，本申请中通过接收输入的针对图像的检索请求，并识别检索请求携带的检索目标为检索词或是检索语句，当检索目标为检索词时，检索出图像类别和/或图像对象与检索词匹配的图像，而当检索目标为检索语句时，对检索语句进行文本语义识别，得到检索语句的文本语义，再检索出图像语义与文本语义匹配的图像。由此，本申请能够实现基于检索词和检索语句的图像检索，并基于检索词进行图像类别以及图像对象的检索匹配，基于检索语句进行图像语义的检索匹配，相较于相关技术，本申请能够更灵活的进行图像检索。

在一实施例中，检索出图像语义与检索语句匹配的图像，包括：

(1)将检索语句发送至语义匹配服务器，指示语义匹配服务器匹配出与检索语句的语义相似度达到第一预设相似度的目标图像语义；

(2)从语义匹配服务器获取目标图像语义对应的图像标识，并检索出图像标识对应的图像。

应当说明的是，由于电子设备的处理能力有限，若由电子设备自身进行语义相似度的计算，将花费较长的计算时长，从而导致电子设备在接收到用户的检索请求后需要较长的时长才能反馈检索结果。因此，在本申请实施例中，电子设备通过处理能力更强的服务器来实现对语义相似度的计算。

本申请实施例中，电子设备在检索图像语义与检索语句匹配的图像时，首先按照与语义匹配服务器预先约定的报文格式，生成携带检索语句的语义匹配请求，并将该语义匹配请求发送至语义匹配服务器，指示该语义匹配服务器对语义匹配请求携带的检索语句进行匹配，以得到与该检索语句的语义相似度达到第一预设相似度的目标图像语义。其中，语义匹配服务器为提供语义匹配服务的服务器。

另一方面，语义匹配服务器中存储有图像标识和图像语义的对应关系(其描述了电子设备中所有图像对应的图像语义)，且预置有语义相似度模型，其在接收到来自于电子设备的语义匹配请求之后，从语义匹配请求中解析出检索语句，并调用语义相似度模型计算得到存储的各图像语义与该检索语句的语义相似度，并确定出与检索语句的语义相似度达到第一预设相似度的图像语义，记为目标图像语义，并将确定出的目标图像语义对应的图像标识返回至电子设备。

相应的，电子设备从语义匹配服务器接收其返回的图像标识，并以此检索出对应的图像，即为图像语义与检索语句匹配的图像。

在一实施例中实施例中，本申请提供的图像检索方法还包括：

(1)对检索语句进行分词处理，得到多个分词；

(2)获取与前述分词的语义相似度达到第二预设相似度的第一相似词；

(3)将检索语句中的分词替换为第一相似词，得到扩展检索语句；

(4)推荐扩展检索语句。

本申请实施例中，电子设备在识别到检索目标为检索语句后，除了根据该检索语句直接进行图像检索之外，还可以向用户推荐扩展检索语句用于图像检索。

其中，电子设备在识别到检索目标为检索语句后，通过分词工具对检索语句进行分词处理，得到构成检索语句的多个分词。比如，电子设备可以通过结巴分词器对检索语句进行分词处理。

在得到构成检索语句的多个分词之后，电子设备进一步获取与其中分词的语义相似度达到第二预设相似度的词，记为第一相似词，然后将检索语句中的对应分词替换为第一相似词，得到新的检索语句，记为扩展检索语句。

在得到对应检索语句的扩展检索语句后，还可以向用户推荐该扩展检索语句。

示例性的，电子设备在根据检索语句检索出匹配的图像之后，还展示检索出的图像，与此同时，电子设备推荐该扩展检索语句。

相应的，当推荐的扩展检索语句被触发时，电子设备即检索出图像语义与该扩展检索语句匹配的图像，具体可参照以上实施例中检索图像语义与检索语句匹配的图像的方式相应实施，此处不再赘述。

在一实施例中实施例中，本申请提供的图像检索方法还包括：

(1)获取与检索词的语义相似度达到第三预设相似度的第二相似词；

(2)将第二相似词作为扩展检索词，并推荐扩展检索词。

本申请实施例中，电子设备在识别到检索目标为检索词后，除了根据该检索词直接进行图像检索之外，还可以向用户推荐扩展检索词用于图像检索。

其中，电子设备在识别到检索目标为检索词后，进一步获取与该检索词的语义相似度达到第三预设相似度的词，记为第二相似词；然后，将该第二相似词作为扩展检索词，并推荐该扩展检索词。

示例性的，电子设备在根据检索词检索出匹配的图像之后，还展示检索出的图像，与此同时，电子设备推荐该扩展检索词。

相应的，当推荐的扩展检索词被触发时，电子设备即检索出图像类别和/或图像对象与该扩展检索词匹配的图像，具体可参照以上实施例中检索图像类别和/或图像对象与检索词匹配的图像的方式相应实施，此处不再赘述。

在一实施例中，本申请提供的图像检索方法还包括：

(1)当到达图像标定周期时，获取需要进行图像标定的待标定图像；

(2)基于图像分类模型对待标定图像进行分类，得到待标定图像的图像类别；

(3)基于对象识别模型对待标定图像进行对象识别，得到待标定图像中包括的对象；

(4)基于图像语义识别模型对待标定图像进行图像语义识别，得到待标定图像的图像语义。

应当说明的是，本申请实施例在电子设备中预置有用于标定图像类别的图像分类模型，用于标定图像对象的对象识别模型以及用于标定图像语义的图像语义识别模型。

图像分类模型采用轻量级神经网络作为模型的基础架构，并通过机器学习算法训练得到，其被配置为识别图像主体的类别，如蓝天、大海、沙滩等。其中，可以采用MobileNet、SqueezeNet以及ShuffleNet等轻量卷积神经网络来训练得到图像分类模型。

对象识别模型采用SSD模型作为基础架构，并通过机器学习算法训练得到。比如，可以采用公开数据库Open Images来对SSD模型进行训练，以得到对象识别模型，其被配置为识别图像中的对象，如人、生活用品、动植物等。

图像语义识别模型采用DMSM作为基础架构，并通过机器学习算法训练得到，其配置为识别图像的图像语义。可以理解的是，在复杂场景下，常用的词汇难以无法描述图片发生的内容。为此，本申请实施例中增加图像语义这一维度的信息作为补充。

基于预置的图像分类模型、对象识别模型以及图像语义识别模型，电子设备周期性的对图像进行标定。

其中，当到达图像标定周期时，电子设备首先确定当前需要进行图像标定的图像，记为待标定图像，并获取到待标定图像。图像标定周期可由本领域普通技术人员根据实际需要进行设置，本申请实施例中对此不作具体限制。比如，本申请实施例中将图像标定周期设置为一个自然日，即24小时。

在获取到需要进行图像标定的待标定图像之后，电子设备进一步基于图像分类模型对待标定图像进行分类，得到待标定图像的图像类别；基于对象识别模型对待标定图像进行对象识别，得到待标定图像中包括的对象；以及基于图像语义识别模型对待标定图像进行图像语义识别，得到待标定图像的图像语义。

在一实施例中，基于图像语义识别模型对待标定图像进行图像语义识别，得到待标定图像的图像语义，包括：

(1)将待标定图像发送至图像语义识别服务器，指示图像语义识别服务器调用图像语义识别模型对待标定图像进行图像语义识别，得到待标定图像的图像语义；

(2)从图像语义识别服务器获取待标定图像的图像语义。

应当说明的是，由于电子设备的处理能力有限，若由电子设备自身进行图像语义的识别，将花费较长的识别时长，更可能影响电子设备的正常使用。因此，在本申请实施例中，电子设备通过处理能力更强的服务器来实现图像语义的识别。

本申请实施例中，电子设备在对待标定图像进行图像语义识别时，首先按照与图像语义识别服务器预先约定的报文格式，生成携带待标定图像的语义识别请求，并将该语义识别请求发送至图像语义识别服务器，指示该图像语义识别服务器对语义识别请求携带的待标定图像进行图像语义识别，以得到该待标定图像的图像语义。其中，图像语义识别服务器为提供图像语义识别服务的服务器。

另一方面，图像语义识别服务器中预置有图像语义识别模型，其在接收到来自于电子设备的语义识别请求之后，从语义识别请求中解析出待标定图像，并调用图像语义识别模型对待标定图像进行图像语义识别，得到待标定图像的图像语义，并将待标定图像的图像语义返回至电子设备。

相应的，电子设备从图像语义识别服务器接收其返回的待标定图像的图像语义。

在一实施例中，获取需要进行图像标定的待标定图像，包括：

将图像标定周期内新增的图像作为待标定图像。

本申请实施例中，在获取需要进行图像标定的待标定图像时，电子设备可以直接将该图像标定周期内新增的图像作为待标定图像。比如，在一个图像标定周期内，电子设备新增了20个图像，则电子设备将这20个图像作为需要进行图像标定的待标定图像。

请参照图4，本申请提供的图像检索方法的流程还可以为：

在201中，当到达图像标定周期时，电子设备获取需要进行图像标定的待标定图像。

其中，当到达图像标定周期时，电子设备首先确定当前需要进行图像标定的图像，记为待标定图像，并获取到待标定图像。图像标定周期可由本领域普通技术人员根据实际需要进行设置，本申请实施例中对此不作具体限制。比如，本申请实施例中将图像标定周期设置为一个自然日，即24小时。

在202中，电子设备基于图像分类模型对待标定图像进行分类，得到待标定图像的图像类别。

应当说明的是，图像类别用于描述一图像中主体的类别，本申请实施例在电子设备中预置有用于标定图像类别的图像分类模型，其采用轻量级神经网络作为模型的基础架构，并通过机器学习算法训练得到，其被配置为识别图像主体的类别，如蓝天、大海、沙滩等。其中，可以采用MobileNet、SqueezeNet以及ShuffleNet等轻量卷积神经网络来训练得到图像分类模型。

相应的，在获取到需要进行图像标定的待标定图像之后，电子设备进一步基于图像分类模型对待标定图像进行分类，得到待标定图像的图像类别。

在203中，电子设备基于对象识别模型对待标定图像进行对象识别，得到待标定图像中包括的对象。

其中，图像对象用于描述一图像中存在的对象，本申请还在电子设备中用于标定图像对象的对象识别模型，其采用SSD模型作为基础架构，并通过机器学习算法训练得到。比如，可以采用公开数据库Open Images来对SSD模型进行训练，以得到对象识别模型，其被配置为识别图像中的对象，如人、生活用品、动植物等。

相应的，在获取到需要进行图像标定的待标定图像之后，电子设备还基于对象识别模型对待标定图像进行对象识别，得到待标定图像中包括的对象。

在204中，电子设备将待标定图像发送至图像语义识别服务器，指示图像语义识别服务器调用图像语义识别模型对待标定图像进行图像语义识别，得到待标定图像的图像语义。

其中，图像语义用于描述一图像中发生的内容，通过语句进行表征。电子设备还对待标定图像的图像语义进行标定。应当说明的是，由于电子设备的处理能力有限，若由电子设备自身进行图像语义的识别，将花费较长的识别时长，更可能影响电子设备的正常使用。因此，在本申请实施例中，电子设备通过处理能力更强的服务器来实现图像语义的识别。

本申请实施例中，电子设备在对待标定图像进行图像语义识别时，首先按照与图像语义识别服务器预先约定的报文格式，生成携带待标定图像的语义识别请求，并将该语义识别请求发送至图像语义识别服务器，指示该图像语义识别服务器对语义识别请求携带的待标定图像进行图像语义识别，以得到该待标定图像的图像语义。其中，图像语义识别服务器为提供图像语义识别服务的服务器。

另一方面，图像语义识别服务器中预置有图像语义识别模型，其在接收到来自于电子设备的语义识别请求之后，从语义识别请求中解析出待标定图像，并调用图像语义识别模型对待标定图像进行图像语义识别，得到待标定图像的图像语义，并将待标定图像的图像语义返回至电子设备。

相应的，电子设备从图像语义识别服务器接收其返回的待标定图像的图像语义。

在205中，电子设备接收输入的针对图像的检索请求，并识别检索请求携带的检索目标为检索词或是检索语句。

应当说明的是，本申请对于输入检索请求的方式不做限制，包括但不限于语音输入方式、触控输入方式等。

比如，用户可以直接说出“查找**的图像”的语音，电子设备在接收到该语音时，将该语音解析为针对图像的检索请求。

又比如，请参照图2，电子设备提供有图像检索界面，该图像检索界面包括输入框形式的输入控件，用户可以通过该输入控件输入用于描述期望图像的检索目标，比如检索词和检索语句。此外，该图像检索界面还提供有检索控件，用户在通过输入控件输入检索目标之后，可以通过触发检索控件以产生检索请求，该检索请求包括用户输入的检索目标，可以为检索词，也可以为检索语句。

其中，电子设备在接收到输入的针对图像的检索请求之后，进一步识别该检索请求携带的检索目标为检索词还是检索语句。

示例性的，电子设备在接收到输入的针对图像的检索请求之后，解析出该检索请求携带的检索目标，将该检索目标与本地预存的常用词词库进行比对，当从常用词词库中比对出与检索目标一致的常用词时，即判定该检索目标为检索词，否则判定该检索目标为检索语句。

可以理解的是，本领域普通技术人员还可以根据实际需要定义检索词和检索语句的划分方式，本申请实施例中对此不作具体限制。

在206中，当检索目标为检索词时，电子设备检索出图像类别和/或图像对象与检索词匹配的图像。

应当说明的是，为了能够实现图像检索，本申请实施例中预先对图像在不同维度进行了标定，至少包括图像类别、图像对象以及图像语义。本申请实施例中对图像的标定方式不做具体限定，可以是人工标定，也可以是机器标定等。

其中，图像类别用于描述一图像中主体的类别，图像对象用于描述一图像中存在的对象，图像类别和图像对象通过对应的词进行表征，图像语义用于描述一图像中发生的内容，通过语句进行表征。

比如，请参照图3，为了便于理解本申请在所涉及的多个维度，采用三个图像进行示意，其中，图像A的图像类别为蓝天，图像B的图像对象包括“蓝天”和“芦苇”，图像C的图像语义为“棒球运动员在掷球”。

相应的，在本申请实施例中，电子设备在识别到检索请求所携带的检索目标为检索词时，电子设备从本地检索出图像类别和/或图像对象与检索词匹配的图像，作为检索结果。应当说明的是，图像类别与检索词匹配可以为图像类别与检索词完全一致，也可以为图像类别与检索词的相似度达到第一预设相似度。其中，第一预设相似度可由本领域普通技术人员根据实际需要进行设置，本申请实施例中对此不作具体限制。

比如，以图3所示的三个图像为例，当检索请求携带的检索目标为“蓝天”时，电子设备将该检索对象识别为检索词，图像类别与“蓝天”匹配的图像A，图像对象与“蓝天”匹配的图像B将被检索出，作为检索结果。

在207中，当检索目标为检索语句时，电子设备将检索语句发送至语义匹配服务器，指示语义匹配服务器匹配出与检索语句的语义相似度达到第一预设相似度的目标图像语义。

在208中，电子设备从语义匹配服务器获取目标图像语义对应的图像标识，并检索出图像标识对应的图像。

如上所述，本申请中除了支持基于检索词的图像检索之外，还支持基于检索语句的图像检索。

其中，当识别到检索目标为检索语句时，电子设备从本地检索出图像语义与检索语句匹配的图像，作为检索结果。其中，图像语义与检索语句匹配包括图像语义与检索语句的语义相似度达到第一预设相似度，该第一预设相似度的取值可由本领域普通技术人员根据实际需要取经验值，本申请实施例中对此不做具体限制。

应当说明的是，由于电子设备的处理能力有限，若由电子设备自身进行语义相似度的计算，将花费较长的计算时长，从而导致电子设备在接收到用户的检索请求后需要较长的时长才能反馈检索结果。因此，在本申请实施例中，电子设备通过处理能力更强的服务器来实现对语义相似度的计算。

本申请实施例中，电子设备在检索图像语义与检索语句匹配的图像时，首先按照与语义匹配服务器预先约定的报文格式，生成携带检索语句的语义匹配请求，并将该语义匹配请求发送至语义匹配服务器，指示该语义匹配服务器对语义匹配请求携带的检索语句进行匹配，以得到与该检索语句的语义相似度达到第一预设相似度的目标图像语义。其中，语义匹配服务器为提供语义匹配服务的服务器。

另一方面，语义匹配服务器中存储有图像标识和图像语义的对应关系(其描述了电子设备中所有图像对应的图像语义)，且预置有语义相似度模型，其在接收到来自于电子设备的语义匹配请求之后，从语义匹配请求中解析出检索语句，并调用语义相似度模型计算得到存储的各图像语义与该检索语句的语义相似度，并确定出与检索语句的语义相似度达到第一预设相似度的图像语义，记为目标图像语义，并将确定出的目标图像语义对应的图像标识返回至电子设备。

相应的，电子设备从语义匹配服务器接收其返回的图像标识，并以此检索出对应的图像，即为图像语义与检索语句匹配的图像。

在一实施例中，还提供了一种图像检索装置。请参照图5，图5为本申请实施例提供的图像检索装置的结构示意图。其中该图像检索装置应用于电子设备，该图像检索装置包括请求接收模块301、目标识别模块302、第一检索模块303以及第二检索模块304，如下：

请求接收模块301，用于接收输入的针对图像的检索请求；

目标识别模块302，用于识别检索请求携带的检索目标为检索词或是检索语句；

第一检索模块303，用于当检索目标为检索词时，检索出图像类别和/或图像对象与检索词匹配的图像；

第二检索模块304，用于当检索目标为检索语句时，检索出图像语义与检索语句匹配的图像。

在一实施例中，在检索出图像语义与检索语句匹配的图像时，第二检索模块304用于：

将检索语句发送至语义匹配服务器，指示语义匹配服务器匹配出与检索语句的语义相似度达到第一预设相似度的目标图像语义；

从语义匹配服务器获取目标图像语义对应的图像标识，并检索出图像标识对应的图像。

在一实施例中，本申请提供的图像检索装置还包括第一推荐模块，用于：

对检索语句进行分词处理，得到多个分词；

获取与前述分词的语义相似度达到第二预设相似度的第一相似词；

将检索语句中的分词替换为第一相似词，得到扩展检索语句；

推荐扩展检索语句。

在一实施例中，本申请提供的图像检索装置还包括第二推荐模块，用于：

获取与检索词的语义相似度达到第三预设相似度的第二相似词；

将第二相似词作为扩展检索词，并推荐扩展检索词。

在一实施例中，本申请提供的图像检索装置还包括标定模块，用于：

当到达图像标定周期时，获取需要进行图像标定的待标定图像；

基于图像分类模型对待标定图像进行分类，得到待标定图像的图像类别；

基于对象识别模型对待标定图像进行对象识别，得到待标定图像中包括的对象；

基于图像语义识别模型对待标定图像进行图像语义识别，得到待标定图像的图像语义。

在一实施例中，在基于图像语义识别模型对待标定图像进行图像语义识别，得到待标定图像的图像语义时，标定模块用于：

将待标定图像发送至图像语义识别服务器，指示图像语义识别服务器调用图像语义识别模型对待标定图像进行图像语义识别，得到待标定图像的图像语义；

从图像语义识别服务器获取待标定图像的图像语义。

在一实施例中，在获取需要进行图像标定的待标定图像时，标定模块用于：

将图像标定周期内新增的图像作为待标定图像。

应当说明的是，本申请实施例提供的图像检索装置与上文实施例中的图像检索方法属于同一构思，在图像检索装置上可以运行图像检索方法实施例中提供的任一方法，其具体实现过程详见以上实施例，此处不再赘述。

在一实施例中，还提供一种电子设备，请参照图6，电子设备包括处理器401和存储器402。

本申请实施例中的处理器401是通用处理器，比如ARM架构的处理器。

存储器402中存储有计算机程序，其可以为高速随机存取存储器，还可以为非易失性存储器，比如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件等。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402中计算机程序的访问，实现如下功能：

接收输入的针对图像的检索请求；

识别检索请求携带的检索目标为检索词或是检索语句；

当检索目标为检索词时，检索出图像类别和/或图像对象与检索词匹配的图像；

当检索目标为检索语句时，检索出图像语义与检索语句匹配的图像。

在一实施例中，在检索出图像语义与检索语句匹配的图像时，处理器401用于执行：

将检索语句发送至语义匹配服务器，指示语义匹配服务器匹配出与检索语句的语义相似度达到第一预设相似度的目标图像语义；

从语义匹配服务器获取目标图像语义对应的图像标识，并检索出图像标识对应的图像。

在一实施例中，处理器401还用于执行：

对检索语句进行分词处理，得到多个分词；

获取与前述分词的语义相似度达到第二预设相似度的第一相似词；

将检索语句中的分词替换为第一相似词，得到扩展检索语句；

推荐扩展检索语句。

在一实施例中，处理器401还用于执行：

获取与检索词的语义相似度达到第三预设相似度的第二相似词；

将第二相似词作为扩展检索词，并推荐扩展检索词。

在一实施例中，处理器401还用于执行：

当到达图像标定周期时，获取需要进行图像标定的待标定图像；

基于图像分类模型对待标定图像进行分类，得到待标定图像的图像类别；

基于对象识别模型对待标定图像进行对象识别，得到待标定图像中包括的对象；

基于图像语义识别模型对待标定图像进行图像语义识别，得到待标定图像的图像语义。

在一实施例中，在基于图像语义识别模型对待标定图像进行图像语义识别，得到待标定图像的图像语义时，处理器401用于执行：

将待标定图像发送至图像语义识别服务器，指示图像语义识别服务器调用图像语义识别模型对待标定图像进行图像语义识别，得到待标定图像的图像语义；

从图像语义识别服务器获取待标定图像的图像语义。

在一实施例中，在获取需要进行图像标定的待标定图像时，处理器401用于执行：

将图像标定周期内新增的图像作为待标定图像。

应当说明的是，本申请实施例提供的电子设备与上文实施例中的图像检索方法属于同一构思，在电子设备上可以运行图像检索方法实施例中提供的任一方法，其具体实现过程详见特征提取方法实施例，此处不再赘述。

需要说明的是，对本申请实施例的图像检索方法而言，本领域普通测试人员可以理解实现本申请实施例的图像检索方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在电子设备的存储器中，并被该电子设备内的处理器和/或专用语音识别芯片执行，在执行过程中可包括如图像检索方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。

以上对本申请实施例所提供的一种图像检索方法、装置、存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像检索方法，应用于电子设备，其特征在于，包括：

接收输入的针对图像的检索请求；

识别所述检索请求携带的检索目标为检索词或是检索语句；

当所述检索目标为检索词时，检索出图像类别和/或图像对象与所述检索词匹配的图像；

当所述检索目标为检索语句时，检索出图像语义与所述检索语句匹配的图像。

2.根据权利要求1所述的图像检索方法，其特征在于，所述检索出图像语义与所述检索语句匹配的图像，包括：

将所述检索语句发送至语义匹配服务器，指示所述语义匹配服务器匹配出与所述检索语句的语义相似度达到第一预设相似度的目标图像语义；

从所述语义匹配服务器获取所述目标图像语义对应的图像标识，并检索出所述图像标识对应的图像。

3.根据权利要求1所述的图像检索方法，其特征在于，还包括：

对所述检索语句进行分词处理，得到多个分词；

获取与所述分词的语义相似度达到第二预设相似度的第一相似词；

将所述检索语句中的所述分词替换为所述第一相似词，得到扩展检索语句；

推荐所述扩展检索语句。

4.根据权利要求1所述的图像检索方法，其特征在于，还包括：

获取与所述检索词的语义相似度达到第三预设相似度的第二相似词；

将所述第二相似词作为扩展检索词，并推荐所述扩展检索词。

5.根据权利要求1-4任一项所述的图像检索方法，其特征在于，还包括：

当到达图像标定周期时，获取需要进行图像标定的待标定图像；

基于图像分类模型对所述待标定图像进行分类，得到所述待标定图像的图像类别；

基于对象识别模型对所述待标定图像进行对象识别，得到所述待标定图像中包括的对象；

基于图像语义识别模型对所述待标定图像进行图像语义识别，得到所述待标定图像的图像语义。

6.根据权利要求5所述的图像检索方法，其特征在于，所述基于图像语义识别模型对所述待标定图像进行图像语义识别，得到所述待标定图像的图像语义，包括：

将所述待标定图像发送至图像语义识别服务器，指示所述图像语义识别服务器调用图像语义识别模型对所述待标定图像进行图像语义识别，得到所述待标定图像的图像语义；

从所述图像语义识别服务器获取所述待标定图像的图像语义。

7.根据权利要求5所述的图像检索方法，其特征在于，所述获取需要进行图像标定的待标定图像，包括：

将所述图像标定周期内新增的图像作为所述待标定图像。

8.一种图像检索装置，应用于电子设备，其特征在于，包括：

请求接收模块，用于接收输入的针对图像的检索请求；

目标识别模块，用于识别所述检索请求携带的检索目标为检索词或是检索语句；

第一检索模块，用于当所述检索目标为检索词时，检索出图像类别和/或图像对象与所述检索词匹配的图像；

第二检索模块，用于当所述检索目标为检索语句时，检索出图像语义与所述检索语句匹配的图像。

9.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序被处理器加载时执行如权利要求1至7任一项所述的图像检索方法。

10.一种电子设备，包括处理器和存储器，所述存储器储存有计算机程序，其特征在于，所述处理器通过加载所述计算机程序，用于执行如权利要求1至7任一项所述的图像检索方法。

Images