CN110188775A - 一种基于联合神经网络模型的图像内容描述自动生成方法 - Google Patents

一种基于联合神经网络模型的图像内容描述自动生成方法 Download PDF

Info

Publication number
CN110188775A
CN110188775A CN201910453505.6A CN201910453505A CN110188775A CN 110188775 A CN110188775 A CN 110188775A CN 201910453505 A CN201910453505 A CN 201910453505A CN 110188775 A CN110188775 A CN 110188775A
Authority
CN
China
Prior art keywords
image
united nns
training
united
generation method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910453505.6A
Other languages
English (en)
Other versions
CN110188775B (zh
Inventor
张应福
陆文斌
周正斌
钟凯
张腾飞
花福军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Creative Information Technology Co Ltd
Original Assignee
Creative Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Creative Information Technology Co Ltd filed Critical Creative Information Technology Co Ltd
Priority to CN201910453505.6A priority Critical patent/CN110188775B/zh
Publication of CN110188775A publication Critical patent/CN110188775A/zh
Application granted granted Critical
Publication of CN110188775B publication Critical patent/CN110188775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]

Abstract

本发明公开了一种基于联合神经网络模型的图像内容描述自动生成方法，包括构建联合神经网络、联合神经网络多层映射参数训练、图片及对应文本预处理和输入模型进行描述结果检测等四个步骤。本发明通过使用多层偏移改进的卷积深度神经网络和具有学习长期依赖信息的循环神经网络构建联合神经网络；利用误差反向传播算法对神经网络多层映射参数进行训练；对图像进行预处理，利用卷积神经网络提取特征以及进行特征映射；输入模型进行描述结果检测，用于将测试数据集中的图像进行特征向量输入训练好的联合神经网络中进行生成对应的文本描述，能够显著有效的提升的自动描述图片内容的效果。

Description

一种基于联合神经网络模型的图像内容描述自动生成方法
技术领域
本发明涉及机器学习与图像处理技术领域，尤其涉及一种基于联合神经网络模型的图像内容描述自动生成方法。
背景技术
如何自动描述图像内容是人工智能在计算机视觉和自然语言处理领域中一项重要的研究课题。图像描述生成融合了计算机视觉，自然语言处理和机器学习的综合问题，类似翻译图像为一段描述文字，该问题对人类不具有挑战性，但是对机器有非常高的挑战性，因为该任务需要利用机器模型理解图像的内容和用自然语言去表达内容的关系，同时还要提取图像中的语义信息并生成人类的自然语言。
在机器翻译和大数据的研究热潮兴起后，也开始了图像自动描述研究的浪潮。当前大多数的Image Caption方法基于Encoder-Decoder模型。其中encoder一般为卷积神经网络，利用最后全连接层或者卷积层的特征作为图像的特征，decoder一般为递归神经网络，主要用于图像描述的生成。但普通RNN网络(Recurrent Neural Network)存在梯度下降的问题，RNN仅能记忆神经网络单元之前有限的单元内容，使得自动描述图像内容的效果不佳。因此需要一种基于联合神经网络模型的图像内容描述自动生成方法，用于显著有效的提升自动描述图像内容的效果。
发明内容
本发明的目的在于，针对上述问题，提出一种基于联合神经网络模型的图像内容描述自动生成方法。
一种基于联合神经网络模型的图像内容描述自动生成方法，包括如下步骤：
S1：构建卷积神经网络与循环神经网络的联合神经网络，用于使用多层偏移改进的卷积深度神经网络和具有学习长期依赖信息的循环神经网络联合构建；
S2：利用误差反向传播算法对联合神经网络多层映射参数进行训练；
S3：图像预处理，卷积神经网络提取特征以及进行特征映射，得到图像的特征向量，用于后续输入模型进行测试；
S4：特征向量输入联合神经网络进行类别判定，用于将测试数据集中的图像进行特征向量输入训练好的联合神经网络中进行生成对应的文本描述。
进一步的，一种基于联合神经网络模型的图像内容描述自动生成方法，构建联合神经网络包括如下子步骤：
S11：利用Flickr30k获得最大的图像字幕数据集，包括训练，验证，测试三部分；
S12：其中数据集中的train集中的图像处理作为卷积神经网络的输入；
S13：将训练集数据输入激活函数为ReLU的ResNet神经网络中进行多尺度检测和定向检测，其中卷积核规格分别为7*7,1*1，3*3，5*5；
S14：在卷积层中每层中将会复制输出向量进行映射运算，提取每层中的特征簇；
S15：构建2层的LSTM，将训练集中的文本向量集和ResNet提取的特征映射集进行匹配和反向传播计算，根据LSTM神经网络长短期记忆训练，完成联合神经网络的构建。
进一步的，一种基于联合神经网络模型的图像内容描述自动生成方法，映射运算模型构建包括如下子步骤：
S141：构建恒等快捷连接映射结构；
S142：在恒等快捷连接映射结构中的增加首端和末端的1*1卷积层
S143：利用ResNet网络结构将卷积网络进行拼接组合。
进一步的，一种基于联合神经网络模型的图像内容描述自动生成方法，所述步骤S2还包括如下子步骤：
S21：先行预训练LSTM部分的网络，进行模型稳定性训练；
S22：在数据集Flickr30k对整体模型进行训练，完成联合神经网络中的特征映射；
S23：训练步骤S21和S22中的形成的稳定效果的模型，最终完成联合神经网络的训练。
进一步的，一种基于联合神经网络模型的图像内容描述自动生成方法，所述步骤S22还包括如下子步骤：
S221：对每层输入数据进行标准化，使其以较小的方差集中在均值附近，需要满足：
其中x是最小batch中的值，即B＝{x1······m}，同时在正向传播的时候对数据进行标准化处理，即满足：
求随机下降的一个batch进行正规化，以减少计算量后进行规模和位置的线型转变即满足：
其中γ和β两个参数需要通过神经网络进行训练，完成特征映射的全部环节。
深层神经网络学习过程中容易出现偏导结果偏小，从而导致参数更新过小的情况；当网络足够深，将会导致参数过小的情况，从而使参数重新偏移变差，实现了特征映射这一步骤进行避免网络层数的增加影响学习结果的情况。
S222：根据映射运算中获取的连续矩阵，在LSTM网络的训练中，引入词典集与元矩阵进行匹配，获取最大概率，根据文本描述和连续分块矩阵的匹配度进行捕获关键词，同时删除在字典集已经被捕获的关键词。
进一步的，一种基于联合神经网络模型的图像内容描述自动生成方法，所述图像预处理，包括以下子步骤：
S31：使用Flickr30k数据集中训练集图片作为ResNet网络的输入；
S32：将训练集中的图像根据较小的边缩放至规格为256*480的图像，满足scale算法输入；
S33：随机剪裁224*224的图像规格，同时对图像进行随机水平镜像，同时减去均值，作为神经网络的输入值。
进一步的，一种基于联合神经网络模型的图像内容描述自动生成方法，所述类别判定，包括以下步骤：将图像预处理中得到的特征向量输入训练后的神经网络中，经过多层卷积层卷积、通过修改的特征映射连接，最终通过LSTM网络解码解析出图像叙述文本。
本发明的有益效果：改进了卷积神经网络中的底层特征的映射机，提出了一种新的构建联合神经网络的方法，同时改进解码卷积神网络捕获图像特征的LSTM网络结构，能够显著有效的提升的自动描述图片内容的效果。
附图说明
图1是恒等快捷连接的残差结构图；
图2-a是原本映射结构图，图2-b为改进的映射结构图；
图3为基于ResNet网络结构的特征映射结构图；
图4是本发明的系统结构框图；
图5为提出新的联合神经网络模型结构示意图；
图6为改进的联合神经网络的特征匹配结构示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。
一种基于联合神经网络模型的图像内容描述自动生成方法，包括如下步骤：
S1：构建卷积神经网络与循环神经网络的联合神经网络；
S2：利用误差反向传播算法对联合神经网络多层映射参数进行训练；
S3：图像预处理得到图像的特征向量；
S4：特征向量输入联合神经网络进行类别判定；
一种基于联合神经网络模型的图像内容描述自动生成方法，构建联合神经网络包括如下子步骤：
S11：利用Flickr30k获得最大的图像字幕数据集，包括训练，验证，测试三部分；
S12：其中数据集中的train集中的图像处理作为卷积神经网络的输入；
S13：将训练集数据输入激活函数为ReLU的ResNet神经网络中进行多尺度检测和定向检测，其中卷积核规格分别为7*7,1*1，3*3，5*5；
S14：在卷积层中每层中将会复制输出向量进行映射运算，提取每层中的特征簇；
S15：构建2层的LSTM，将训练集中的文本向量集和ResNet提取的特征映射集进行匹配和反向传播计算，根据LSTM神经网络长短期记忆训练，完成联合神经网络的构建。
本实施例中，一种基于联合神经网络模型的图像内容描述自动生成方法，映射运算模型的构建，包括构建改进的恒等快捷连接映射结构和利用ResNet网络结构将卷积网络进行拼接组合两个步骤：
如图1所示，构建函数表达式为F(x)＝W2σ(W1x)的恒等快捷连接映射结构，其中σ代表图1中的非线性函数Relu函数；通过恒等快捷连接(恒等映射)的F(x)+x函数表达式为：
y＝F(X,{Wi})+x
如图2所示，将上述的恒等快捷连接映射的结构的基础上，将3*3的卷积层替换成1*1+3*3+1*1的卷积层，弥补单层残差块实验效果不明显的影响，其中首端和末端的1*1卷积层用来削减和恢复维度，相比于原来的设计结构中3*3的结构，时间复杂度相似，使用zero-padding的同等映射代替原本的结构，增加机构的数量，网络深度随之增加，同时解决了退化问题，性能不断提升。
如图3所示，在ResNet网络结构上将特征映射进行进一步改进，将卷积神经网络进行拼接组合，形成连续矩阵，用于后续LSTM解码。
进一步的，一种基于联合神经网络模型的图像内容描述自动生成方法，所述步骤S2还包括如下子步骤：
S21：先行预训练LSTM部分的网络，进行模型稳定性训练；
S22：在数据集Flickr30k对整体模型进行训练，完成联合神经网络中的特征映射；
S23：训练步骤S21和S22中的形成的稳定效果的模型，最终完成联合神经网络的训练。
一种基于联合神经网络模型的图像内容描述自动生成方法，步骤S22还包括如下子步骤：
S221：对每层输入数据进行标准化，使其以较小的方差集中在均值附近，需要满足：
其中x是最小batch中的值，即B＝{x1······m}，同时在正向传播的时候对数据进行标准化处理，即满足：
求随机下降的一个batch进行正规化，以减少计算量后进行规模和位置的线型转变即满足：
其中γ和β两个参数需要通过神经网络进行训练，完成特征映射的全部环节。
S222：根据映射运算中获取的连续矩阵，在LSTM网络的训练中，引入词典集与元矩阵进行匹配，获取最大概率，根据文本描述和连续分块矩阵的匹配度进行捕获关键词，同时删除在字典集已经被捕获的关键词。LSTM网络在训练过程中可以根据矩阵和文本向量的长度进行自动中止，防止噪音匹配。
一种基于联合神经网络模型的图像内容描述自动生成方法，图像预处理，包括以下子步骤：
S31：使用Flickr30k数据集中训练集图片作为ResNet网络的输入；
S32：将训练集中的图像根据较小的边缩放至规格为256*480的图像，满足scale算法输入；
S33：随机剪裁224*224的图像规格，同时对图像进行随机水平镜像，同时减去均值，作为神经网络的输入值。
输入模型进行文本生成判定，包括以下步骤：
S41：将步骤S33中得到的特征向量输入训练后的神经网络中，经过多层卷积层卷积、通过修改的特征映射连接，
S42：通过改进的LSTM网络解码解析出图像叙述文本，其中包括联合矩阵和文本向量联合匹配和通过LSTM匹配字典的概率查询步骤。
本发明改进了卷积神经网络中的底层特征的映射机，提出了一种新的构建联合神经网络的方法，同时改进解码卷积神网络捕获图像特征的LSTM网络结构，能够显著有效的提升的自动描述图片内容的效果。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种基于联合神经网络模型的图像内容描述自动生成方法，其特征在于，包括如下步骤：
S1：构建卷积神经网络与循环神经网络的联合神经网络；
S2：利用误差反向传播算法对联合神经网络多层映射参数进行训练；
S3：图像预处理得到图像的特征向量；
S4：特征向量输入联合神经网络进行类别判定。
2.根据权利要求1所述的一种基于联合神经网络模型的图像内容描述自动生成方法，其特征在于，构建联合神经网络包括如下子步骤：
S11：利用Flickr30k获得最大的图像字幕数据集，包括训练，验证，测试三部分；
S12：其中数据集中的train集中的图像处理作为卷积神经网络的输入；
S13：将训练集数据输入激活函数为ReLU的ResNet神经网络中进行多尺度检测和定向检测，其中卷积核规格分别为7*7,1*1，3*3，5*5；
S14：在卷积层每层中将会复制输出向量进行映射运算，提取每层中的特征簇；
S15：构建2层的LSTM，将训练集中的文本向量集和ResNet提取的特征映射集进行匹配和反向传播计算，根据LSTM神经网络长短期记忆训练，完成联合神经网络的构建。
3.根据权利要求2所述的一种基于联合神经网络模型的图像内容描述自动生成方法，其特征在于，映射运算模型构建包括如下子步骤：
S141：构建恒等快捷连接映射结构；
S142：在恒等快捷连接映射结构中的增加首端和末端的1*1卷积层；
S143：利用ResNet网络结构将卷积网络进行拼接组合。
4.根据权利要求1所述的一种基于联合神经网络模型的图像内容描述自动生成方法，其特征在于，所述步骤S2还包括如下子步骤：
S21：先行预训练LSTM部分的网络，进行模型稳定性训练；
S22：在数据集Flickr30k对整体模型进行训练，完成联合神经网络中的特征映射；
S23：训练步骤S21和S22中的形成的稳定效果的模型，最终完成联合神经网络的训练。
5.根据权利要求4所述的一种基于联合神经网络模型的图像内容描述自动生成方法，其特征在于，所述步骤S22还包括如下子步骤：
S221：对每层输入数据进行标准化，使其以较小的方差集中在均值附近，需要满足：
其中x是最小batch中的值，即B＝{x1······m}，同时在正向传播的时候对数据进行标准化处理，即满足：
求随机下降的一个batch进行正规化，以减少计算量后进行规模和位置的线型转变即满足：
其中γ和β两个参数需要通过神经网络进行训练，完成特征映射的全部环节，
S222：根据映射运算中获取的连续矩阵，在LSTM网络的训练中，引入词典集与元矩阵进行匹配，获取最大概率，根据文本描述和连续分块矩阵的匹配度进行捕获关键词，同时删除在字典集已经被捕获的关键词。
6.根据权利要求1所述的一种基于联合神经网络模型的图像内容描述自动生成方法，其特征在于：所述图像预处理，包括以下子步骤：
S31：使用Flickr30k数据集中训练集图片作为ResNet网络的输入；
S32：将训练集中的图像根据较小的边缩放至规格为256*480的图像，满足scale算法输入；
S33：随机剪裁224*224的图像规格，同时对图像进行随机水平镜像，同时减去均值，作为神经网络的输入值。
7.根据权利要求1所述的一种基于联合神经网络模型的图像内容描述自动生成方法，其特征在于，所述类别判定，包括以下步骤：将图像预处理中得到的特征向量输入训练后的神经网络中，经过多层卷积层卷积、通过修改的特征映射连接，最终通过LSTM网络解码解析出图像叙述文本。
CN201910453505.6A 2019-05-28 2019-05-28 一种基于联合神经网络模型的图像内容描述自动生成方法 Active CN110188775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910453505.6A CN110188775B (zh) 2019-05-28 2019-05-28 一种基于联合神经网络模型的图像内容描述自动生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910453505.6A CN110188775B (zh) 2019-05-28 2019-05-28 一种基于联合神经网络模型的图像内容描述自动生成方法

Publications (2)

Publication Number Publication Date
CN110188775A true CN110188775A (zh) 2019-08-30
CN110188775B CN110188775B (zh) 2020-06-26

Family

ID=67718376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910453505.6A Active CN110188775B (zh) 2019-05-28 2019-05-28 一种基于联合神经网络模型的图像内容描述自动生成方法

Country Status (1)

Country Link
CN (1) CN110188775B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110941855A (zh) * 2019-11-26 2020-03-31 电子科技大学 一种AIoT场景下的神经网络模型窃取防御方法
CN110968725A (zh) * 2019-12-03 2020-04-07 咪咕动漫有限公司 图像内容描述信息生成方法、电子设备及存储介质
CN111013149A (zh) * 2019-10-23 2020-04-17 浙江工商大学 一种基于神经网络深度学习的卡牌设计生成方法及系统
CN111582447A (zh) * 2020-04-30 2020-08-25 电子科技大学 基于多种网络特征的闭环检测方法
CN113793404A (zh) * 2021-08-19 2021-12-14 西南科技大学 一种基于文本和轮廓的人为可控图像合成方法
CN114419402A (zh) * 2022-03-29 2022-04-29 中国人民解放军国防科技大学 图像故事描述生成方法、装置、计算机设备和存储介质
CN115861715A (zh) * 2023-02-15 2023-03-28 创意信息技术股份有限公司 基于知识表示增强的图像目标关系识别算法
CN116451177A (zh) * 2023-06-15 2023-07-18 创意信息技术股份有限公司 一种航迹关联方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106844442A (zh) * 2016-12-16 2017-06-13 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于fcn特征提取的多模态循环神经网络图像描述方法
CN106846306A (zh) * 2017-01-13 2017-06-13 重庆邮电大学 一种超声图像自动描述方法和系统
CN107729987A (zh) * 2017-09-19 2018-02-23 东华大学 基于深度卷积‑循环神经网络的夜视图像的自动描述方法
US20180082443A1 (en) * 2016-09-21 2018-03-22 Realize, Inc. Anomaly detection in volumetric images
US20180144208A1 (en) * 2016-11-18 2018-05-24 Salesforce.Com, Inc. Adaptive attention model for image captioning
CN108388900A (zh) * 2018-02-05 2018-08-10 华南理工大学 基于多特征融合和时空注意力机制相结合的视频描述方法
CN108509521A (zh) * 2018-03-12 2018-09-07 华南理工大学 一种自动生成文本索引的图像检索方法
CN108564122A (zh) * 2018-04-10 2018-09-21 北京工业大学 基于卷积-循环混合网络的图像描述模型的一体化训练方法
WO2018170671A1 (en) * 2017-03-20 2018-09-27 Intel Corporation Topic-guided model for image captioning system
CN108875807A (zh) * 2018-05-31 2018-11-23 陕西师范大学 一种基于多注意力多尺度的图像描述方法
CN109271628A (zh) * 2018-09-03 2019-01-25 东北大学 一种图像描述生成方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180082443A1 (en) * 2016-09-21 2018-03-22 Realize, Inc. Anomaly detection in volumetric images
US20180144208A1 (en) * 2016-11-18 2018-05-24 Salesforce.Com, Inc. Adaptive attention model for image captioning
CN106844442A (zh) * 2016-12-16 2017-06-13 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于fcn特征提取的多模态循环神经网络图像描述方法
CN106846306A (zh) * 2017-01-13 2017-06-13 重庆邮电大学 一种超声图像自动描述方法和系统
WO2018170671A1 (en) * 2017-03-20 2018-09-27 Intel Corporation Topic-guided model for image captioning system
CN107729987A (zh) * 2017-09-19 2018-02-23 东华大学 基于深度卷积‑循环神经网络的夜视图像的自动描述方法
CN108388900A (zh) * 2018-02-05 2018-08-10 华南理工大学 基于多特征融合和时空注意力机制相结合的视频描述方法
CN108509521A (zh) * 2018-03-12 2018-09-07 华南理工大学 一种自动生成文本索引的图像检索方法
CN108564122A (zh) * 2018-04-10 2018-09-21 北京工业大学 基于卷积-循环混合网络的图像描述模型的一体化训练方法
CN108875807A (zh) * 2018-05-31 2018-11-23 陕西师范大学 一种基于多注意力多尺度的图像描述方法
CN109271628A (zh) * 2018-09-03 2019-01-25 东北大学 一种图像描述生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAZI NAZMUL HAQUE ET AL.: "《Image denoising and restoration with CNN-LSTM Encoder Decoder with Direct Attention》", 《ARXIV:1801.05141V1》 *
窦敏: "基于CNN和LSTM的视频语义分析系统设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111013149A (zh) * 2019-10-23 2020-04-17 浙江工商大学 一种基于神经网络深度学习的卡牌设计生成方法及系统
CN110941855A (zh) * 2019-11-26 2020-03-31 电子科技大学 一种AIoT场景下的神经网络模型窃取防御方法
CN110968725A (zh) * 2019-12-03 2020-04-07 咪咕动漫有限公司 图像内容描述信息生成方法、电子设备及存储介质
CN110968725B (zh) * 2019-12-03 2023-04-28 咪咕动漫有限公司 图像内容描述信息生成方法、电子设备及存储介质
CN111582447A (zh) * 2020-04-30 2020-08-25 电子科技大学 基于多种网络特征的闭环检测方法
CN113793404A (zh) * 2021-08-19 2021-12-14 西南科技大学 一种基于文本和轮廓的人为可控图像合成方法
CN113793404B (zh) * 2021-08-19 2023-07-04 西南科技大学 一种基于文本和轮廓的人为可控图像合成方法
CN114419402A (zh) * 2022-03-29 2022-04-29 中国人民解放军国防科技大学 图像故事描述生成方法、装置、计算机设备和存储介质
CN114419402B (zh) * 2022-03-29 2023-08-18 中国人民解放军国防科技大学 图像故事描述生成方法、装置、计算机设备和存储介质
CN115861715A (zh) * 2023-02-15 2023-03-28 创意信息技术股份有限公司 基于知识表示增强的图像目标关系识别算法
CN116451177A (zh) * 2023-06-15 2023-07-18 创意信息技术股份有限公司 一种航迹关联方法及装置
CN116451177B (zh) * 2023-06-15 2023-09-12 创意信息技术股份有限公司 一种航迹关联方法及装置

Also Published As

Publication number Publication date
CN110188775B (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN110188775A (zh) 一种基于联合神经网络模型的图像内容描述自动生成方法
CN108416065B (zh) 基于层级神经网络的图像-句子描述生成系统及方法
CN110427461B (zh) 智能问答信息处理方法、电子设备及计算机可读存储介质
CN108733837B (zh) 一种病历文本的自然语言结构化方法及装置
CN109472024A (zh) 一种基于双向循环注意力神经网络的文本分类方法
CN109597891A (zh) 基于双向长短时记忆神经网络的文本情感分析方法
CN110428820B (zh) 一种中英文混合语音识别方法及装置
Xie et al. Attention-based dense LSTM for speech emotion recognition
CN111143563A (zh) 基于bert与lstm及cnn融合的文本分类方法
CN109783666A (zh) 一种基于迭代精细化的图像场景图谱生成方法
CN112232053A (zh) 一种基于多关键词对匹配的文本相似度计算系统、方法、及存储介质
CN113657115A (zh) 一种基于讽刺识别和细粒度特征融合的多模态蒙古文情感分析方法
CN112925904A (zh) 一种基于Tucker分解的轻量级文本分类方法
CN115757792A (zh) 一种基于深度学习的微博文本情感分类方法
CN115775349A (zh) 基于多模态融合的假新闻检测方法和装置
CN110991515A (zh) 一种融合视觉上下文的图像描述方法
CN114743217A (zh) 一种基于局部特征感知图文跨模态模型的行人识别方法和模型的训练方法
CN111008329A (zh) 基于内容分类的页面内容推荐方法及装置
Chowdhury et al. A cascaded long short-term memory (LSTM) driven generic visual question answering (VQA)
CN113486143A (zh) 一种基于多层级文本表示及模型融合的用户画像生成方法
US20220277145A1 (en) Domain Context Ellipsis Recovery for Chatbot
CN112287640B (zh) 一种基于中文字符结构的序列标注方法
CN111368026B (zh) 基于词语义关系与动态卷积神经网络的文本蕴含分析方法
CN113761874A (zh) 事件事实性预测方法、装置、电子设备与存储介质
CN113255360A (zh) 基于层次化自注意力网络的文档评级方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant