CN111291788A - 一种基于神经网络的图像描述方法、系统、设备以及介质 - Google Patents
一种基于神经网络的图像描述方法、系统、设备以及介质 Download PDFInfo
- Publication number
- CN111291788A CN111291788A CN202010057651.XA CN202010057651A CN111291788A CN 111291788 A CN111291788 A CN 111291788A CN 202010057651 A CN202010057651 A CN 202010057651A CN 111291788 A CN111291788 A CN 111291788A
- Authority
- CN
- China
- Prior art keywords
- vector
- name information
- image
- relationship
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 26
- 239000013598 vector Substances 0.000 claims abstract description 107
- 230000014509 gene expression Effects 0.000 claims abstract description 53
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 abstract description 17
- 238000005516 engineering process Methods 0.000 abstract description 8
- 230000001133 acceleration Effects 0.000 abstract description 4
- 238000011161 development Methods 0.000 abstract description 3
- 239000000284 extract Substances 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 229940050561 matrix product Drugs 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于神经网络的图像描述方法，包括以下步骤：获取待描述的图像；利用第一卷积神经网络和第二卷积神经网络分别提取所述图像中的物体的名称信息以及所述物体之间的关系特征；确定所述关系特征和所述名称信息之间的关系权重；利用所述关系权重以及所述名称信息得到向量表达式；对所述向量表达式进行解码处理以得到所述图像的文字描述。本发明还公开了一种系统、计算机设备以及可读存储介质。本发明提出的方案通过两个神经网络分别提取物体的名称信息以及物体之间的关系特征，这样可以采用并行计算加速技术，相比于现有的方案，能够通过扩展AI服务器训练集群的规模来缩短模型开发周期，对于工业领域的落地具有很大的实用性。
Description
技术领域
本发明涉及图像识别领域，具体涉及一种基于神经网络的图像描述方法、系统、设备以及存储介质。
背景技术
在计算机视觉领域，图像场景描述是指，给计算机输入一张图片，它能够根据图片中的信息，自动生成文本来描述图片中展示的场景内容。计算机不但要正确识别图片中的物体，而且要根据它们之间的相互关系，与自然语言处理相结合，是一项非常有挑战性的任务。
近年来，随着深度学习技术在图像识别和自然语言处理领域取得的突破，为上述任务的解决提供了可行的技术方案。CNN模型能够对图像中的物体进行有效识别，而RNN网络模型在自然语言处理领域达到了较高的准确度。因此，目前有很多结合CNN和RNN实现图像内容描述的方案。具体来讲，通过将图片输入给CNN，计算生成图像特征的矩阵序列，然后将该序列输入RNN，生成文字描述。
但是以上方案在进行模型训练时存在效率低的问题，这是由于上述模型中RNN的结构特点所导致的，无法充分发挥并行计算技术的能力，导致训练速度很慢。
由于现有技术方案采用了循环神经网络，而循环神经网络计算过程在时间尺度上具有依赖关系，即T时刻计算所需的变量，有一部分来自于T-1时刻，T-1时刻的输入又有一部分来自于T-2时刻，层层依赖，形成时间序列依赖关系，导致无法对整个模型运用并行加速技术。因此训练这种类型的神经网络模型会非常耗时。
发明内容
有鉴于此，为了克服上述问题的至少一个方面，本发明实施例提出一种基于神经网络的图像描述方法，包括以下步骤：
获取待描述的图像；
利用第一卷积神经网络和第二卷积神经网络分别提取所述图像中的物体的名称信息以及所述物体之间的关系特征；
确定所述关系特征和所述名称信息之间的关系权重；
利用所述关系权重以及所述名称信息得到向量表达式；
对所述向量表达式进行解码处理以得到所述图像的文字描述。
在一些实施例中，利用所述关系权重以及所述名称信息得到向量表达式，进一步包括：
根据所述关系权重生成所述物体之间的关系向量，并对所述名称信息进行词嵌入处理，以得到对象向量；
将所述关系向量和所述对象向量进行乘积运算后得到所述向量表达式。
在一些实施例中，对所述名称信息进行词嵌入处理，以得到对象向量，进一步包括：
将每一个所述物体的名称信息按照标签词典编码为One-Hot值；
利用全连接层将所述One-Hot值映射成长度为512的所述对象向量。
在一些实施例中，对所述向量表达式进行解码处理以得到所述图像的文字描述，进一步包括：
对所述向量表达式进行预设次数的多头注意力和正则化处理；
将经过处理后的所述向量表达式映射为目标单词的概率分布；
将概率值最大的目标单词确定为输出值；
利用多个输出值组成所述文字描述。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种基于神经网络的图像描述系统，包括：
获取模块，所述获取模块配置为获取待描述的图像；
提取模块，所述提取模块配置为利用第一卷积神经网络和第二卷积神经网络分别提取所述图像中的物体的名称信息以及所述物体之间的关系特征；
关系权重模块，所述关系权重模块配置为确定所述关系特征和所述名称信息之间的关系权重；
向量表达模块，所述向量表达模块配置为利用所述关系权重以及所述名称信息得到向量表达式；
解码模块，所述解码模块配置为对所述向量表达式进行解码处理以得到所述图像的文字描述。
在一些实施例中，所述向量表达模块还配置为：
根据所述关系权重生成所述物体之间的关系向量，并对所述名称信息进行词嵌入处理，以得到对象向量；
将所述关系向量和所述对象向量进行乘积运算后得到所述向量表达式。
在一些实施例中，所述向量表达模块还配置为：
将每一个所述物体的名称信息按照标签词典编码为One-Hot值；
利用全连接层将所述One-Hot值映射成长度为512的所述对象向量。
在一些实施例中，所述解码模块还配置为：
对所述向量表达式进行预设次数的多头注意力和正则化处理；
将经过处理后的所述向量表达式映射为目标单词的概率分布；
将概率值最大的目标单词确定为输出值；
利用多个输出值组成所述文字描述。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机设备，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如上所述的任一种基于神经网络的图像描述方法的步骤。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行如上所述的任一种基于神经网络的图像描述方法的步骤。
本发明具有以下有益技术效果之一：本发明提出的方案通过两个神经网络分别提取物体的名称信息以及物体之间的关系特征，这样可以采用并行计算加速技术，相比于现有的方案，能够通过扩展AI服务器训练集群的规模来缩短模型开发周期，对于工业领域的落地具有很大的实用性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明的实施例提供的基于神经网络的图像描述方法的流程示意图；
图2为本发明的实施例提供的解码器的结构框图；
图3为本发明的实施例提供的基于神经网络的图像描述的系统的结构示意图；
图4为本发明的实施例提供的计算机设备的结构示意图；
图5为本发明的实施例提供的计算机可读存储介质的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
根据本发明的一个方面，本发明的实施例提出一种基于神经网络的图像描述方法，如图1所示，其可以包括步骤：S1，获取待描述的图像；S2，利用第一卷积神经网络和第二卷积神经网络分别提取所述图像中的物体的名称信息以及所述物体之间的关系特征；S3，确定所述关系特征和所述名称信息之间的关系权重；S4，利用所述关系权重以及所述名称信息得到向量表达式；S5，对所述向量表达式进行解码处理以得到所述图像的文字描述。
本发明提出的方案通过两个神经网络分别提取物体的名称信息以及物体之间的关系特征，这样可以采用并行计算加速技术，相比于现有的方案，能够通过扩展AI服务器训练集群的规模来缩短模型开发周期，对于工业领域的落地具有很大的实用性。
在一些实施例中，在步骤S2中，第一卷积神经网络的功能在于检测图片中的物体，并输出其名称单词。该模块采用一个训练后的目标检测神经网络承担该功能，能够识别出输入图片中的物体。例如可以识别到人、小船、水、树林等对象。该模块输出的内容是一个单词向量，它的每个单元是一个文本单词，即识别到的物体。该模块的参数无需再进行训练更新。第二卷积神经网络可以是由一个典型的残差卷积神经网络修改得来。首先在ImageNet数据集上训练该残差卷积神经网络，使其精度达到Top-70％以上；然后拿掉最后一层分类器，这样该网络成为一个特征图提取器，作为该实施例的关系特征信息提取模块。需要注意的是，此处提到的训练过程，只是该实施例的预训练，完整的神经网络构建完成后，还需要对整体参数进行训练更新。该模块的功能是提取图片中不同物体之间的相互关系特征。
在一些实施例中，利用所述关系权重以及所述名称信息得到向量表达式，进一步包括：
根据所述关系权重生成所述物体之间的关系向量，并对所述名称信息进行词嵌入处理，以得到对象向量；
将所述关系向量和所述对象向量进行乘积运算后得到所述向量表达式。
具体的，由于第二卷积神经网络输出的关系特征是分散的，彼此之间并无关联，因此可以通过关系权重模块构造图像中不同物体之间或者物体与环境之间的关系向量。例如，可以使用该模块与第二卷积神经网络得到的向量(关系特征)进行乘积运算，得到多个新的向量。关系权重模块向量的个数为超参数，可以通过修改来进行模型优化。
在一些实施例中，对所述名称信息进行词嵌入处理，以得到对象向量，进一步包括：
将每一个所述物体的名称信息按照标签词典编码为One-Hot值；
利用全连接层将所述One-Hot值映射成长度为512的所述对象向量。
具体的，由于计算机最终处理的是数值化的序列，因此要对第一卷积神经网络输出的单词向量进行词嵌入操作。因此可以通过识别物单词嵌入模块将第一卷积神经网络识别到的物体单词向量，编码为数值向量，便于计算机处理。每个单词可以首先按照训练数据集的标签词典编码为One-Hot值，然后使用一层全连接层将其映射成长度为512的稀疏向量。标签词典是训练数据集中所有图片的标签包含的所有单词构成的一个词典。One-Hot编码是将词典中的每个单词编码为一个1xN维的矩阵，某一位是1，其它位为0.N等于单词库中所有单词的数量。例如“话筒”表示为[0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0...]，“麦克”表示为[0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0...]。但是由于词典中的单词量非常大，所以N非常大，不利于计算。词嵌入的作用是将N维的向量将为M维，M可以根据经验设定，本实例采用512。例如“话筒”表示为[0.2 0.3 0 0.1 0.2…]。可以看出，经过词嵌入操作后，表示每个单词的向量维数变为512，每个元素的数值不再局限为1，可以是0～1的任意值，并且所有元素的和等于1。
这样，将识别物单词嵌入模块与关系权重模块得到的向量进行乘积运算，得到一个新的多维向量，该向量包含图像中的目标物信息，以及目标物与环境相互作用信息。到此为止，将输入的图片信息进行了数值化的表示处理。所有信息构成一个数值矩阵作为编码器的输出。
需要说明的是，第一卷积神经网络、第二卷积神经网络、识别物单词嵌入模块、关系权重模块共同构成编码器。
在一些实施例中，对所述向量表达式进行解码处理以得到所述图像的文字描述，进一步包括：
对所述向量表达式进行预设次数的多头注意力和正则化处理；
将经过处理后的所述向量表达式映射为目标单词的概率分布；
将概率值最大的目标单词确定为输出值；
利用多个输出值组成所述文字描述。
具体的，如图2所示，解码器可以由若干个多头注意力单元和正则化单元、前向传播单元，线性变换单元，Softmax计算单元组成。接收编码器的输出向量作为输入，输出对图像场景信息的描述文字。
多头注意机制通过对接收到的多维向量中的每一维子向量，进行注意力表达，进一步对不同向量所表达的物体或者关系进行信息编码。该部分可以宏观上理解为一个查询(query)到一系列(键key-值value)对的映射。将输入的向量抽象成是由一系列的键值对数据对构成，此时给定目标中的某个元素Query(查询)，通过计算Query和各个Key的相似性或者相关性，得到每个Key对应Value的权重系数，通过softmax归一化后，对权重和相应Value进行加权求和，即得到了最终的Attention数值。其数学表达式如下：
正则化计算部分用来增强模型的表达能力。正则化的作用是将多头注意力机制计算得到的值进行规则化的表示。例如可以采用L2正则化。其公式如下：
C0代表原始的代价函数，后面的一项为L2正则化项。即所有参数w的平方和，除以训练集中样本大小n。lambda为正则项系数。正则化可以有效防止训练过程中的过拟合现象。
最后，线性变换和Softmax计算单元将解码后的向量映射为目标单词的概率分布，概率值最大的单词取为输出值。然后再由所有输出单词组成完整的句子。线性变换是一个简单的全连接神经网路，它可以把一个向量投射到比它大得多的，被称为对数几率的向量里。假设我们的数据集标签词典里有1万个不同的单词，则对应的几率向量是1x10000的向量；每个元素对应每个单词的分数。然后softmax把分数变成概率表示。假设一个向量V，Vi表示V中的第i个元素，那么这个元素的Softmax计算值为：
也就是该元素的指数与所有元素指数的比值，它的值为正数，并且小于1，所有元素的softmax值相加等于1。
这样，解码模块通过多头注意力、正则化、前向传播、线性转换、Softmax操作等一系列计算，将编码模块输入的向量表达式转换为英文单词。所有单词组成完成的图像场景描述语句。相比以前的技术方案，由于抛弃了原来的RNN网络，替换成无时间序列依赖的解码模块，使得该模型更适合进行并行训练，有效缩短训练时间。
本发明所使用的所有模块在计算过程没有时间序列上的依赖关系，并且所涉及到的卷积操作，词嵌入操作，矩阵乘积操作，多头注意力操作等所有计算单元都是可以拆分成多个操作单元，载入到大量的GPU设备中同时开展计算操作。因此本发明适合通过并行计算进行训练，能够有效提高训练速度。
基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种基于神经网络的图像描述系统400，如图3所示，包括：
获取模块401，所述获取模块401配置为获取待描述的图像；
提取模块402，所述提取模块402配置为利用第一卷积神经网络和第二卷积神经网络分别提取所述图像中的物体的名称信息以及所述物体之间的关系特征；
关系权重模块403，所述关系权重模块403配置为确定所述关系特征和所述名称信息之间的关系权重；
向量表达模块404，所述向量表达模块404配置为利用所述关系权重以及所述名称信息得到向量表达式；
解码模块405，所述解码模块405配置为对所述向量表达式进行解码处理以得到所述图像的文字描述。
在一些实施例中，所述向量表达模块404还配置为：
根据所述关系权重生成所述物体之间的关系向量，并对所述名称信息进行词嵌入处理，以得到对象向量；
将所述关系向量和所述对象向量进行乘积运算后得到所述向量表达式。
在一些实施例中，所述向量表达模块404还配置为：
将每一个所述物体的名称信息按照标签词典编码为One-Hot值；
利用全连接层将所述One-Hot值映射成长度为512的所述对象向量。
在一些实施例中，所述解码模块405还配置为：
对所述向量表达式进行预设次数的多头注意力和正则化处理；
将经过处理后的所述向量表达式映射为目标单词的概率分布；
将概率值最大的目标单词确定为输出值；
利用多个输出值组成所述文字描述。
基于同一发明构思，根据本发明的另
基于同一发明构思，根据本发明的另一个方面，如图4所示，本发明的实施例还提供了一种计算机设备501，包括：
至少一个处理器520；以及
存储器510，存储器510存储有可在处理器上运行的计算机程序511，处理器520执行程序时执行如上的任一种基于神经网络的图像描述方法的步骤。
基于同一发明构思，根据本发明的另一个方面，如图5所示，本发明的实施例还提供了一种计算机可读存储介质601，计算机可读存储介质601存储有计算机程序指令610，计算机程序指令610被处理器执行时执行如上的任一种基于神经网络的图像描述方法的步骤。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
此外，典型地，本发明实施例公开的装置、设备等可为各种电子终端设备，例如手机、个人数字助理(PDA)、平板电脑(PAD)、智能电视等，也可以是大型终端设备，如服务器等，因此本发明实施例公开的保护范围不应限定为某种特定类型的装置、设备。本发明实施例公开的客户端可以是以电子硬件、计算机软件或两者的组合形式应用于上述任意一种电子终端设备中。
此外，根据本发明实施例公开的方法还可以被实现为由CPU执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被CPU执行时，执行本发明实施例公开的方法中限定的上述功能。
此外，上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。
此外，应该明白的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里功能的下列部件来实现或执行：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器，但是可替换地，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。
结合这里的公开所描述的方法或算法的步骤可以直接包含在硬件中、由处理器执行的软件模块中或这两者的组合中。软件模块可以驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域已知的任何其它形式的存储介质中。示例性的存储介质被耦合到处理器，使得处理器能够从该存储介质中读取信息或向该存储介质写入信息。在一个替换方案中，存储介质可以与处理器集成在一起。处理器和存储介质可以驻留在ASIC中。ASIC可以驻留在用户终端中。在一个替换方案中，处理器和存储介质可以作为分立组件驻留在用户终端中。
在一个或多个示例性设计中，功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现，则可以将功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质，该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的，该计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储设备、磁盘存储设备或其它磁性存储设备，或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外，任何连接都可以适当地称为计算机可读介质。例如，如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(DSL)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件，则上述同轴线缆、光纤线缆、双绞线、DSL或诸如红外线、无线电和微波的无线技术均包括在介质的定义。如这里所使用的，磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘、蓝光盘，其中磁盘通常磁性地再现数据，而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。
Claims (10)
1.一种基于神经网络的图像描述方法，其特征在于，包括以下步骤：
获取待描述的图像；
利用第一卷积神经网络和第二卷积神经网络分别提取所述图像中的物体的名称信息以及所述物体之间的关系特征；
确定所述关系特征和所述名称信息之间的关系权重；
利用所述关系权重以及所述名称信息得到向量表达式；
对所述向量表达式进行解码处理以得到所述图像的文字描述。
2.如权利要求1所述的方法，其特征在于，利用所述关系权重以及所述名称信息得到向量表达式，进一步包括：
根据所述关系权重生成所述物体之间的关系向量，并对所述名称信息进行词嵌入处理，以得到对象向量；
将所述关系向量和所述对象向量进行乘积运算后得到所述向量表达式。
3.如权利要求2所述的方法，其特征在于，对所述名称信息进行词嵌入处理，以得到对象向量，进一步包括：
将每一个所述物体的名称信息按照标签词典编码为One-Hot值；
利用全连接层将所述One-Hot值映射成长度为512的所述对象向量。
4.如权利要求1所述的方法，其特征在于，对所述向量表达式进行解码处理以得到所述图像的文字描述，进一步包括：
对所述向量表达式进行预设次数的多头注意力和正则化处理；
将经过处理后的所述向量表达式映射为目标单词的概率分布；
将概率值最大的目标单词确定为输出值；
利用多个输出值组成所述文字描述。
5.一种基于神经网络的图像描述系统，其特征在于，包括：
获取模块，所述获取模块配置为获取待描述的图像；
提取模块，所述提取模块配置为利用第一卷积神经网络和第二卷积神经网络分别提取所述图像中的物体的名称信息以及所述物体之间的关系特征；
关系权重模块，所述关系权重模块配置为确定所述关系特征和所述名称信息之间的关系权重；
向量表达模块，所述向量表达模块配置为利用所述关系权重以及所述名称信息得到向量表达式；
解码模块，所述解码模块配置为对所述向量表达式进行解码处理以得到所述图像的文字描述。
6.如权利要求5所述的系统，其特征在于，所述向量表达模块还配置为：
根据所述关系权重生成所述物体之间的关系向量，并对所述名称信息进行词嵌入处理，以得到对象向量；
将所述关系向量和所述对象向量进行乘积运算后得到所述向量表达式。
7.如权利要求6所述的系统，其特征在于，所述向量表达模块还配置为：
将每一个所述物体的名称信息按照标签词典编码为One-Hot值；
利用全连接层将所述One-Hot值映射成长度为512的所述对象向量。
8.如权利要求5所述的系统，其特征在于，所述解码模块还配置为：
对所述向量表达式进行预设次数的多头注意力和正则化处理；
将经过处理后的所述向量表达式映射为目标单词的概率分布；
将概率值最大的目标单词确定为输出值；
利用多个输出值组成所述文字描述。
9.一种计算机设备，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如权利要求1-4任意一项所述的方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行如权利要求1-4任意一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010057651.XA CN111291788A (zh) | 2020-01-19 | 2020-01-19 | 一种基于神经网络的图像描述方法、系统、设备以及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010057651.XA CN111291788A (zh) | 2020-01-19 | 2020-01-19 | 一种基于神经网络的图像描述方法、系统、设备以及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111291788A true CN111291788A (zh) | 2020-06-16 |
Family
ID=71023453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010057651.XA Withdrawn CN111291788A (zh) | 2020-01-19 | 2020-01-19 | 一种基于神经网络的图像描述方法、系统、设备以及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111291788A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022083123A1 (zh) * | 2020-10-19 | 2022-04-28 | 北京捷通华声科技股份有限公司 | 证件定位方法 |
-
2020
- 2020-01-19 CN CN202010057651.XA patent/CN111291788A/zh not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022083123A1 (zh) * | 2020-10-19 | 2022-04-28 | 北京捷通华声科技股份有限公司 | 证件定位方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11210306B2 (en) | Dialogue system, a method of obtaining a response from a dialogue system, and a method of training a dialogue system | |
| CN110298037B (zh) | 基于增强注意力机制的卷积神经网络匹配的文本识别方法 | |
| US11741109B2 (en) | Dialogue system, a method of obtaining a response from a dialogue system, and a method of training a dialogue system | |
| CN108959246B (zh) | 基于改进的注意力机制的答案选择方法、装置和电子设备 | |
| CN111159485B (zh) | 尾实体链接方法、装置、服务器及存储介质 | |
| CN113723166A (zh) | 内容识别方法、装置、计算机设备和存储介质 | |
| CN115146068B (zh) | 关系三元组的抽取方法、装置、设备及存储介质 | |
| CN111145914A (zh) | 一种确定肺癌临床病种库文本实体的方法及装置 | |
| CN114218945A (zh) | 实体识别方法、装置、服务器及存储介质 | |
| CN117473071B (zh) | 数据检索方法、装置、设备及计算机可读介质 | |
| CN117875395A (zh) | 多模态预训练模型的训练方法、装置及存储介质 | |
| CN117558270B (zh) | 语音识别方法、装置、关键词检测模型的训练方法和装置 | |
| CN111507108B (zh) | 别名生成方法、装置、电子设备及计算机可读存储介质 | |
| CN116226357B (zh) | 一种输入中包含错误信息场景下的文档检索方法 | |
| CN111291788A (zh) | 一种基于神经网络的图像描述方法、系统、设备以及介质 | |
| CN114741487B (zh) | 基于图文语义嵌入的图文检索方法及系统 | |
| CN113704466B (zh) | 基于迭代网络的文本多标签分类方法、装置及电子设备 | |
| CN112818688B (zh) | 文本处理方法、装置、设备及存储介质 | |
| CN115203388A (zh) | 机器阅读理解方法、装置、计算机设备和存储介质 | |
| CN114692610A (zh) | 关键词确定方法及装置 | |
| CN112507081A (zh) | 相似句匹配方法、装置、计算机设备及存储介质 | |
| CN116150625B (zh) | 文本搜索模型的训练方法及装置、计算设备 | |
| CN113139382A (zh) | 命名实体识别方法及装置 | |
| CN115858791B (zh) | 短文本分类方法、装置、电子设备和存储介质 | |
| Sherki et al. | Retaining Semantic Data in Binarized Word Embedding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200616 |
|
| WW01 | Invention patent application withdrawn after publication |