CN108256549B - 图像分类方法、装置及终端 - Google Patents

Abstract

本发明实施例提供了一种图像分类方法、装置及终端，其中所述方法包括：通过卷积神经网络确定图像对应的图像特征向量；其中，所述图像对应有文字描述信息；通过双向循环神经网络对所述文字描述信息进行处理，得到文字特征向量；将所述图像特征向量和文字特征向量融合，得到目标特征向量；调用深度神经网络，由所述深度神经网络依据所述目标特征向量确定所述图像对应的分类。通过本发明实施例提供的图像分类方案，能够提升图像分类的准确性。

Description

图像分类方法、装置及终端

技术领域

本发明涉及图像处理技术领域，特别是涉及一种图像分类方法、装置及终端。

背景技术

深度学习在视频图像、语音识别、自然语言处理等相关领域得到了广泛应用。卷积神经网络作为深度学习的一个重要分支，由于其超强的拟合能力以及端到端的全局优化能力，使得其在目标检测、分类等计算机视觉任务中所得预测结果的精度大幅提升。

目前对图像进行分类时，依据图像自身的特征在预定的标签体系下匹配得到图像对应的标签，依据标签确定图像所属的分类，所得分类结果准确性差。而在实际应用场景中，用户在上传一个图像之后，还会为该图像追加一段简单的文字描述，而这段文字描述对图像的分类而言，也具有一定的参考价值。可见，如何获取图像的全面信息，依据所获取的全面信息对图像进行分类以提升图像分类的准确性，是目前本领域技术人员成为待解决的问题。

发明内容

本发明实施例提供一种图像分类方法、装置及终端，以解决现有技术中存在图像分类结果准确性差的问题。

依据本发明的一个方面，提供了一种图像分类方法，所述方法包括：通过卷积神经网络确定图像对应的图像特征向量；其中，所述图像对应有文字描述信息；通过双向循环神经网络对所述文字描述信息进行处理，得到文字特征向量；将所述图像特征向量和文字特征向量融合，得到目标特征向量；调用深度神经网络，由所述深度神经网络依据所述目标特征向量确定所述图像对应的分类。

可选地，所述通过双向循环神经网络对所述文字描述信息进行处理，得到文字特征向量的步骤，包括：去除所述文字描述信息中的停用词，得到多个分词；针对每个所述分词，确定所述分词在文字特征集合中的位置信息，依据所述位置信息生成分词对应的索引数值；其中，所述文字特征集合通过对样本图像对应的文字描述信息训练得到；调用嵌入网络，由所述嵌入网络依据各所述分词对应的索引数值确定各分词对应的特征向量；通过所述双向循环神经网络对各分词对应的特征向量进行处理，得到一个预设长度的文字特征向量。

可选地，所述将所述图像特征向量和文字特征向量融合，得到目标特征向量的步骤，包括：将所述文字特征向量和所述图像特征向量，映射为维度相同的向量；将映射后的文字特征向量和图像特征向量逐维度融合，生成目标特征向量。

可选地，在所述通过卷积神经网络确定图像对应的图像特征向量的步骤之前，所述方法还包括：获取各样本图像；针对每个样本图像，确定所述样本图像是否对应文字描述信息；若否，确定所述样本图像对应的文字特征子集合为空；若是，去除所述文字描述信息中的停用词得到多个分词，将各所述分词的集合作为所述样本图像对应的文字特征子集合；将各样本图像对应的文字特征子集合求并集，得到文字特征集合。

依据本发明的另一个方面，提供了一种图像分类装置，所述装置包括：确定模块，被配置为通过卷积神经网络确定图像对应的图像特征向量；其中，所述图像对应有文字描述信息；向量生成模块，被配置为通过双向循环神经网络对所述文字描述信息进行处理，得到文字特征向量；融合模块，被配置为将所述图像特征向量和文字特征向量融合，得到目标特征向量；调用模块，被配置为调用深度神经网络，由所述深度神经网络依据所述目标特征向量确定所述图像对应的分类。

可选地，所述向量生成模块包括：分词子模块，被配置为去除所述文字描述信息中的停用词，得到多个分词；索引值生成子模块，被配置为针对每个所述分词，确定所述分词在文字特征集合中的位置信息，依据所述位置信息生成分词对应的索引数值；其中，所述文字特征集合通过对样本图像对应的文字描述信息训练得到；第一调用子模块，被配置为调用嵌入网络，由所述嵌入网络依据各所述分词对应的索引数值确定各分词对应的特征向量；第二调用子模块，被配置为通过所述双向循环神经网络对各分词对应的特征向量进行处理，得到一个预设长度的文字特征向量。

可选地，所述融合模块包括：映射子模块，被配置为将所述文字特征向量和所述图像特征向量，映射为维度相同的向量；融合子模块，被配置为将映射后的文字特征向量和图像特征向量逐维度融合，生成目标特征向量。

可选地，所述装置还包括：获取模块，被配置为在所述确定模块通过卷积神经网络确定图像对应的图像特征向量之前，获取各样本图像；子集合确定模块，被配置为针对每个样本图像，确定所述样本图像是否对应文字描述信息；若否，确定所述样本图像对应的文字特征子集合为空；若是，去除所述文字描述信息中的停用词得到多个分词，将各所述分词的集合作为所述样本图像对应的文字特征子集合；特征集合确定模块，被配置为将各样本图像对应的文字特征子集合求并集，得到文字特征集合。

根据本发明的再一方面，提供了一种终端，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像分类程序，所述图像分类程序被所述处理器执行时实现本发明中所述的任意一种图像分类方法的步骤。

根据本发明的又一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有图像分类程序，所述图像分类程序被处理器执行时实现本发明中所述的任意一种图像分类方法的步骤。

与现有技术相比，本发明具有以下优点：

本发明实施例提供的图像分类方案，以卷积神经网络为基础作为图像特征提取的主干网络得到图像对应的图像特征向量，以双向循环神经网络为基础作为文字特征提取的主干网络得到图像所对应的文字描述信息的文字特征向量，以深度神经网络作为图像特征以及文本特征融合的主干网络，将图像特征向量和文字特征向量融合得到目标特征向量，依据目标特征向量确定图像在不同标签下的权重从而确定图像对应的分类，能够提升图像分类的准确性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是根据本发明实施例一的一种图像分类方法的步骤流程图；

图2是根据本发明实施例二的一种图像分类方法的步骤流程图；

图3是根据本发明实施例三的一种图像分类装置的结构框图；

图4是根据本发明实施例四的一种终端的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

实施例一

参照图1，示出了本发明实施例一的一种图像分类方法的步骤流程图。

本发明实施例的图像分类方法可以包括以下步骤：

步骤101：通过卷积神经网络确定图像对应的图像特征向量。

其中，图像对应有文字描述信息。文字描述信息可以为用户在上传该图像之后，追加上传的文字描述信息，也可以为图像中包含的文字描述信息。

本发明实施例中图像可以为视频中的单帧图像，也可以仅为一个多媒体图像。一张图像输入到卷积神经网络中，经过卷积层或者池化层之后会得到图像特征图向量，图像特征向量中包含多个点，每个点对应一张特征图以及一个权重值。对于将图像输入卷积神经网络中，得到图像对应的图像特征向量的具体处理方式，参照现有相关技术即可，本发明实施例中对此不作具体限制。

步骤102：通过双向循环神经网络对文字描述信息进行处理，得到文字特征向量。

在具体实现过程中，对文字描述信息进行处理时先将文字信息进行分词得到多个分词，基于预设的文字特征集合确定各分词对应特征向量，最终将各分词对应的特征向量输入双向循环神经网络中得到文字特征向量。所得到的文字特征向量中包含多个点，每个点对应一个文字特征集合中的文字特征以及权重值。

需要说明的是，步骤102并不局限于在步骤101之后执行，还可以与步骤101并行执行或者在步骤101之前执行。

步骤103：将图像特征向量和文字特征向量融合，得到目标特征向量。

图像特征向量和文字特征向量分别包含多个维度，每个维度在向量上对应一个点，将两个特征向量进行融合即分别将这两个向量相同维度上的特征进行融合，所得目标特征向量中的各维度既可提现图像特征又可提现文字特征。

步骤104：调用深度神经网络，由深度神经网络依据目标特征向量确定图像对应的分类。

深度神经网络确定目标特征向量中各点对应的概率值，将概率值最高的该点对应的特征标签确定为该图像的标签，确定标签后即可依据标签确定图像所属的分类。当然，也可直接将该标签作为图像所属的分类。

本发明实施例提供的图像分类方法，以卷积神经网络为基础作为图像特征提取的主干网络得到图像对应的图像特征向量，以双向循环神经网络为基础作为文字特征提取的主干网络得到图像所对应的文字描述信息的文字特征向量，以深度神经网络作为图像特征以及文本特征融合的主干网络，将图像特征向量和文字特征向量融合得到目标特征向量，依据目标特征向量确定图像在不同标签下的权重从而确定图像对应的分类，能够提升图像分类的准确性。

实施例二

参照图2，示出了本发明实施例二的一种图像分类方法的步骤流程图。

本发明实施例的图像分类方法具体可以包括以下步骤：

步骤201：通过卷积神经网络确定图像对应的图像特征向量。

图像对应有文字描述信息。文字描述信息可以为用户在上传该图像之后，追加上传的文字描述信息，也可以为图像中包含的文字描述信息。

对于通过卷积神经网络确定图像对应的图像特征向量的具体方式，参照现有相关技术即可，本发明实施例中对此不作具体限定。

步骤202：去除文字描述信息中的停用词，得到多个分词。

系统中预设有停用词表，在对文字描述信息进行处理时，将文字描述信息中词组分别与停用词表匹配，若匹配成功则将该词组确定为停用词将其从文字描述信息中去除，最终将文字描述信息中的各停用词去除，得到多个分词。其中，停用词为无实际涵义的词语，停用词表可以由本领域技术人员根据实际需求进行设置，本发明实施例中对此不作具体限制。

步骤203：针对每个分词，确定分词在文字特征集合中的位置信息，依据位置信息生成分词对应的索引数值。

文字特征集合通过对样本图像对应的文字描述信息训练得到，一种优选地训练文字描述信息的方式如下：

首先，获取各样本图像；

样本图像可以对应有文字描述信息，也可以无对应的文字描述信息。样本图像的数量以及选取可以由本领域技术人员根据实际需求进行设置，本发明实施例中对此不作具体限制。样本数量越多则所训练得到的文字特征集合中包含的文字特征越全面。

其次，针对每个样本图像，确定样本图像是否对应文字描述信息；若否，确定样本图像对应的文字特征子集合为空；若是，去除文字描述信息中的停用词得到多个分词，将各分词的集合作为所述样本图像对应的文字特征子集合；

单个样本图像对应的文字特征子集合可以用S_i表示，空集合则用null表示。

最后，将各样本图像对应的文字特征子集合求并集，得到文字特征集合。

文字特征集合其中，X表示全部训练样本图像。

步骤204：调用嵌入网络，由嵌入网络依据各分词对应的索引数值确定各分词对应的特征向量。

文字特征集合中包含多个文字特征，各文字特征在文字特征集合中分别对应一个位置，每个位置对应一个索引数值，具体地，可以将位置标号作为索引数值。在将图像对应的文字描述信息处理提取出多个分词后，每个分词将作为一个文字特征，分别确定各分词在文字特征集合中的位置，进一步依据位置与索引数值的对应关系，确定各分词对应的索引数值。

将各分词对应的索引数值输入嵌入网络，嵌入网络依据各分词对应的索引数值确定各分词对应的特征向量W_i。

步骤205：通过双向循环神经网络对各分词对应的特征向量进行处理，得到一个预设长度的文字特征向量。

预设长度可以由本领域技术人员根据实际需求进行设置，本发明实施例中对此不作具体限制。

步骤206：将文字特征向量和图像特征向量，映射为维度相同的向量。

由于图像特征向量与文字特征向量在分别经过卷积神经网络与循环神经网络输出之后，二者并不在同一个空间即二者维度不同；此时需要分别将这两个特征向量进行空间映射，使其映射到同一空间即影射为维度相同的向量。具体地，可以使用全连接对文字特征向量、图像特征向量中的特征进行空间映射。

步骤207：将映射后的文字特征向量和图像特征向量逐维度融合，生成目标特征向量。

例如：映射后的文字特征向量包含1-5五个维度，图像特征向量包含1-5五个维度，则将文字特征向量的第一维度指示的特征与图像特征向量中第一维度指示的特征融合并计算两特征的概率值和；将文字特征向量的第二维度指示的特征与图像特征向量中第二维度指示的特征融合并计算两特征的概率值和；依次将五个维度进行融合，得到一个目标特征向量，目标特征向量中依然包含五个维度，每个维度对应有融合后的特征以及求和后的概率值。

步骤208：调用深度神经网络，由深度神经网络依据目标特征向量确定图像对应的分类。

将目标特征向量输入深度神经网络中，深度神经网络依据目标特征向量确定图像对应的特征标签，其中特征标签为目标特征向量中概率值最高的点对应的融合特征，依据特征标签确定图像所属的分类。

本发明实施例提供的图像分类方法，以卷积神经网络为基础作为图像特征提取的主干网络得到图像对应的图像特征向量，以双向循环神经网络为基础作为文字特征提取的主干网络得到图像所对应的文字描述信息的文字特征向量，以深度神经网络作为图像特征以及文本特征融合的主干网络，将图像特征向量和文字特征向量融合得到目标特征向量，依据目标特征向量确定图像在不同标签下的权重从而确定图像对应的分类，能够提升图像分类的准确性。

实施例三

参照图3，示出了本发明实施例三的一种图像分类装置的结构框图。

本发明实施例的图像分类装置可以包括：确定模块301，被配置为通过卷积神经网络确定图像对应的图像特征向量；其中，所述图像对应有文字描述信息；向量生成模块302，被配置为通过双向循环神经网络对所述文字描述信息进行处理，得到文字特征向量；融合模块303，被配置为将所述图像特征向量和文字特征向量融合，得到目标特征向量；调用模块304，被配置为调用深度神经网络，由所述深度神经网络依据所述目标特征向量确定所述图像对应的分类。

优选地，所述向量生成模块302可以包括：分词子模块3021，被配置为去除所述文字描述信息中的停用词，得到多个分词；索引值生成子模块3022，被配置为针对每个所述分词，确定所述分词在文字特征集合中的位置信息，依据所述位置信息生成分词对应的索引数值；其中，所述文字特征集合通过对样本图像对应的文字描述信息训练得到；第一调用子模块3023，被配置为调用嵌入网络，由所述嵌入网络依据各所述分词对应的索引数值确定各分词对应的特征向量；第二调用子模块3024，被配置为通过所述双向循环神经网络对各分词对应的特征向量进行处理，得到一个预设长度的文字特征向量。

优选地，所述融合模块303可以包括：映射子模块3031，被配置为将所述文字特征向量和所述图像特征向量，映射为维度相同的向量；融合子模块3032，被配置为将映射后的文字特征向量和图像特征向量逐维度融合，生成目标特征向量。

优选地，所述装置还可以包括：获取模块305，被配置为在所述确定模块301通过卷积神经网络确定图像对应的图像特征向量之前，获取各样本图像；子集合确定模块306，被配置为针对每个样本图像，确定所述样本图像是否对应文字描述信息；若否，确定所述样本图像对应的文字特征子集合为空；若是，去除所述文字描述信息中的停用词得到多个分词，将各所述分词的集合作为所述样本图像对应的文字特征子集合；特征集合确定模块307，被配置为将各样本图像对应的文字特征子集合求并集，得到文字特征集合。

本发明实施例的图像分类装置用于实现前述实施例一、实施例二中相应的图像分类方法，并具有与方法实施例相应的有益效果，在此不再赘述。

实施例四

参照图4，示出了本发明实施例四的一种用于图像分类的终端的结构框图。

本发明实施例的终端可以包括：存储器、处理器及存储在存储器上并可在处理器上运行的图像分类程序，图像标签确定程序被处理器执行时实现本发明中所述的任意一种图像分类方法的步骤。

图4是根据一示例性实施例示出的一种图像分类终端600的框图。例如，终端600可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图4，终端600可以包括以下一个或多个组件：处理组件602，存储器604，电源组件606，多媒体组件608，音频组件610，输入/输出(I/O)的接口612，传感器组件614，以及通信组件616。

处理组件602通常控制装置600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理部件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。

存储器604被配置为存储各种类型的数据以支持在终端600的操作。这些数据的示例包括用于在终端600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件606为终端600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为终端600生成、管理和分配电力相关联的组件。

多媒体组件608包括在所述终端600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当终端600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当终端600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。

I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件614包括一个或多个传感器，用于为终端600提供各个方面的状态评估。例如，传感器组件614可以检测到终端600的打开/关闭状态，组件的相对定位，例如所述组件为终端600的显示器和小键盘，传感器组件614还可以检测终端600或终端600一个组件的位置改变，用户与终端600接触的存在或不存在，装置600方位或加速/减速和终端600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件616被配置为便于终端600和其他设备之间有线或无线方式的通信。终端600可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，终端600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行图像分类方法，具体地图像分类方法包括：通过卷积神经网络确定图像对应的图像特征向量；其中，所述图像对应有文字描述信息；通过双向循环神经网络对所述文字描述信息进行处理，得到文字特征向量；将所述图像特征向量和文字特征向量融合，得到目标特征向量；调用深度神经网络，由所述深度神经网络依据所述目标特征向量确定所述图像对应的分类。

优选地，所述通过双向循环神经网络对所述文字描述信息进行处理，得到文字特征向量的步骤，包括：去除所述文字描述信息中的停用词，得到多个分词；针对每个所述分词，确定所述分词在文字特征集合中的位置信息，依据所述位置信息生成分词对应的索引数值；其中，所述文字特征集合通过对样本图像对应的文字描述信息训练得到；调用嵌入网络，由所述嵌入网络依据各所述分词对应的索引数值确定各分词对应的特征向量；通过所述双向循环神经网络对各分词对应的特征向量进行处理，得到一个预设长度的文字特征向量。

优选地，所述将所述图像特征向量和文字特征向量融合，得到目标特征向量的步骤，包括：将所述文字特征向量和所述图像特征向量，映射为维度相同的向量；将映射后的文字特征向量和图像特征向量逐维度融合，生成目标特征向量。

优选地，在所述通过卷积神经网络确定图像对应的图像特征向量的步骤之前，所述方法还包括：获取各样本图像；针对每个样本图像，确定所述样本图像是否对应文字描述信息；若否，确定所述样本图像对应的文字特征子集合为空；若是，去除所述文字描述信息中的停用词得到多个分词，将各所述分词的集合作为所述样本图像对应的文字特征子集合；将各样本图像对应的文字特征子集合求并集，得到文字特征集合。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由终端600的处理器620执行以完成上述图像分类方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。当存储介质中的指令由终端的处理器执行时，使得终端能够执行本发明中所述的任意一种图像分类方法的步骤。

本发明实施例提供的终端，以卷积神经网络为基础作为图像特征提取的主干网络得到图像对应的图像特征向量，以双向循环神经网络为基础作为文字特征提取的主干网络得到图像所对应的文字描述信息的文字特征向量，以深度神经网络作为图像特征以及文本特征融合的主干网络，将图像特征向量和文字特征向量融合得到目标特征向量，依据目标特征向量确定图像在不同标签下的权重从而确定图像对应的分类，能够提升图像分类的准确性。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在此提供的图像分类方案不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的图像分类方案中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (8)

1.一种图像分类方法，其特征在于，所述方法包括：

通过卷积神经网络确定图像对应的图像特征向量；其中，所述图像对应有文字描述信息；

通过双向循环神经网络对所述文字描述信息进行处理，得到文字特征向量；

将所述图像特征向量和文字特征向量融合，得到目标特征向量；

调用深度神经网络，由所述深度神经网络依据所述目标特征向量确定所述图像对应的分类；

其中，所述通过双向循环神经网络对所述文字描述信息进行处理，得到文字特征向量的步骤，包括：去除所述文字描述信息中的停用词，得到多个分词；针对每个所述分词，确定所述分词在文字特征集合中的位置信息，依据所述位置信息生成分词对应的索引数值；其中，所述文字特征集合通过对样本图像对应的文字描述信息训练得到；调用嵌入网络，由所述嵌入网络依据各所述分词对应的索引数值确定各分词对应的特征向量；通过所述双向循环神经网络对各分词对应的特征向量进行处理，得到一个预设长度的文字特征向量。

2.根据权利要求1所述的方法，其特征在于，所述将所述图像特征向量和文字特征向量融合，得到目标特征向量的步骤，包括：

将所述文字特征向量和所述图像特征向量，映射为维度相同的向量；

将映射后的文字特征向量和图像特征向量逐维度融合，生成目标特征向量。

3.根据权利要求1所述的方法，其特征在于，在所述通过卷积神经网络确定图像对应的图像特征向量的步骤之前，所述方法还包括：

获取各样本图像；

针对每个样本图像，确定所述样本图像是否对应文字描述信息；若否，确定所述样本图像对应的文字特征子集合为空；若是，去除所述文字描述信息中的停用词得到多个分词，将各所述分词的集合作为所述样本图像对应的文字特征子集合；

将各样本图像对应的文字特征子集合求并集，得到文字特征集合。

4.一种图像分类装置，其特征在于，所述装置包括：

确定模块，被配置为通过卷积神经网络确定图像对应的图像特征向量；其中，所述图像对应有文字描述信息；

向量生成模块，被配置为通过双向循环神经网络对所述文字描述信息进行处理，得到文字特征向量；

融合模块，被配置为将所述图像特征向量和文字特征向量融合，得到目标特征向量；

调用模块，被配置为调用深度神经网络，由所述深度神经网络依据所述目标特征向量确定所述图像对应的分类；

其中，所述向量生成模块包括：

分词子模块，被配置为去除所述文字描述信息中的停用词，得到多个分词；

索引值生成子模块，被配置为针对每个所述分词，确定所述分词在文字特征集合中的位置信息，依据所述位置信息生成分词对应的索引数值；其中，所述文字特征集合通过对样本图像对应的文字描述信息训练得到；

第一调用子模块，被配置为调用嵌入网络，由所述嵌入网络依据各所述分词对应的索引数值确定各分词对应的特征向量；

第二调用子模块，被配置为通过所述双向循环神经网络对各分词对应的特征向量进行处理，得到一个预设长度的文字特征向量。

5.根据权利要求4所述的装置，其特征在于，所述融合模块包括：

映射子模块，被配置为将所述文字特征向量和所述图像特征向量，映射为维度相同的向量；

融合子模块，被配置为将映射后的文字特征向量和图像特征向量逐维度融合，生成目标特征向量。

6.根据权利要求4所述的装置，其特征在于，所述装置还包括：

获取模块，被配置为在所述确定模块通过卷积神经网络确定图像对应的图像特征向量之前，获取各样本图像；

子集合确定模块，被配置为针对每个样本图像，确定所述样本图像是否对应文字描述信息；若否，确定所述样本图像对应的文字特征子集合为空；若是，去除所述文字描述信息中的停用词得到多个分词，将各所述分词的集合作为所述样本图像对应的文字特征子集合；

特征集合确定模块，被配置为将各样本图像对应的文字特征子集合求并集，得到文字特征集合。

7.一种终端，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像分类程序，所述图像分类程序被所述处理器执行时实现如权利要求1至3中任一项所述的图像分类方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像分类程序，所述图像分类程序被处理器执行时实现如权利要求1至3中任一项所述的图像分类方法的步骤。