CN114020954A - 一种用于体现用户意图和风格的个性化图像描述方法 - Google Patents

一种用于体现用户意图和风格的个性化图像描述方法 Download PDF

Info

Publication number
CN114020954A
CN114020954A CN202111345659.7A CN202111345659A CN114020954A CN 114020954 A CN114020954 A CN 114020954A CN 202111345659 A CN202111345659 A CN 202111345659A CN 114020954 A CN114020954 A CN 114020954A
Authority
CN
China
Prior art keywords
node
graph
user
attention
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111345659.7A
Other languages
English (en)
Inventor
张灿龙
王宇航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wanzhida Technology Co ltd
Original Assignee
Guangxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Normal University filed Critical Guangxi Normal University
Publication of CN114020954A publication Critical patent/CN114020954A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种用于体现用户意图和风格的个性化图像描述方法，包括：构建一个包含三类抽象节点的空间关系图；利用图注意力机制获取用户所希望描述的内容和顺序，并通过添加控制阀门调节图流动的方向，利用图语义注意力机制结合上下文的关联度使语句更为流畅；加入动态访问节点，记录所访问过的节点，加入没有访问过的节点，并擦除废词，使描述更具多样性且不遗漏或者重复描述；在解码器中加入基于用户画像的字幕风格因子，输出符合用户期望的风格化语句。本发明可以控制图像描述生成中的不同细节，使描述语句更贴合图像且更流畅，生成的描述具有特定风格，从而实现生成结果的个性化和多样性。

Description

一种用于体现用户意图和风格的个性化图像描述方法
技术领域
本发明涉及图像描述的技术领域，尤其涉及一种用于体现用户意图和风格的个性化图像描述方法。
背景技术
图像描述(Image Captioning)是一个结合计算机视觉和自然语言处理的跨领域任务，其计算涉及自然文本的语义提取、图像目标的检测与特征提取、以及目标之间关系的识别与推理等，最终将图像识别的结果表述为一个自然语句；深度学习技术的应用使计算机描述图像场景的能力得到了大幅提升，在某些评估指标上甚至超过了人类。然而，若要让机器按照用户的意愿和个性去描述一个场景，就必须使它们拥有感知用户兴趣和个性的能力。
遗憾的是，现有的图像描述模型虽然可以生成较为流畅的描述语句，但是存在与用户交互性差、多样性低等问题。具体体现在以下两个方面：大多数图像描述模型仅机械地生成描述图像场景整体内容的句子，并没有考虑用户感兴趣的内容或者期望描述的详细程度；这种生成模式倾向于使用常见的高频词来表达生成较为“简单安全”的句子，容易造成句子缺乏多样性，无法体现用户的个性特征和用语习惯。如图1所示，现有模型可以准确地描述出“两个棒球运动员在运动场打球”，却不能依据用户的期望描述出男子的具体细节，如体态，衣服颜色，背景等细节内容，也不能控制是全局描述还是局部描述某一个男子，并且只是用简单的语言表达出来。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明解决的技术问题是：现有的图像描述模型虽然可以生成较为流畅的描述语句，但是存在与用户交互性差、多样性低等问题。
为解决上述技术问题，本发明提供如下技术方案：构建一个包含三类抽象节点的空间关系图，所述三类抽象节点分别代表目标、特征、目标之间的关系，每个抽象节点在图中有具体区域的定位；利用图注意力机制获取用户所希望描述的内容和顺序，并通过添加控制阀门调节图流动的方向，利用图语义注意力机制结合上下文的关联度使语句更为流畅；加入动态访问节点，记录所访问过的节点，加入没有访问过的节点，并擦除废词，使描述更具多样性且不遗漏或者重复描述；在解码器中加入基于用户画像的字幕风格因子，输出符合用户期望的风格化语句。
作为本发明所述的用于体现用户意图和风格的个性化图像描述方法的一种优选方案，其中：构建所述包含三类抽象节点的空间关系图包括，以输入图片I为基础，通过在VisualGenome数据集上运用图像卷积和目标检测进行图像预处理，获得场景图像中的目标、目标的特征，以及目标之间的空间关系，以此生成抽象空间关系图。
作为本发明所述的用于体现用户意图和风格的个性化图像描述方法的一种优选方案，其中：还包括，构建角色感知图编码器，在所述编码器中嵌入了一个角色感知节点体现用户意图，并使用一个多关系图卷积网络进行上下文编码，所述角色感知节点的编码方法为：对第i个节点，将其目标节点和特征节点均初始化为其对应图像区域的视觉特征vi，将关系节点的特征初始化为两相关目标的并集区域的图像特征，使用角色嵌入进一步增强每个节点，获得如下列公式所示的嵌入了角色感知的节点
Figure BDA0003353983110000021
Figure BDA0003353983110000022
其中，
Figure BDA0003353983110000023
为角色嵌入矩阵，d为特征维度，Wr[k]为Wr的第k行，pos[i]为一种位置嵌入，用于区分同一目标的同属性节点，r表示关系节点，o表示目标节点，f表示特征节点；
采用多关系图卷积神经网络在Gm中编码图的上下文信息，用下列公式进行计算：
Figure BDA0003353983110000024
其中，
Figure BDA0003353983110000025
和
Figure BDA0003353983110000026
为多关系卷积神经网络中需要学习的参数，σ为RELU激活函数，
Figure BDA0003353983110000027
表示相关联的第i个节点，
Figure BDA0003353983110000028
x表示用户意图，i、j表示不同的目标，l表示层数。
作为本发明所述的用于体现用户意图和风格的个性化图像描述方法的一种优选方案，其中：所述图注意力机制包括，为了同时考虑图形结构与语义内容的相关性，把图内容注意力和图流动注意力相结合形成图注意力机制，用节点xt和查询
Figure BDA0003353983110000031
之间的上下文的语义相关性计算出图内容注意力向量
Figure BDA0003353983110000032
，计算公式如下：
Figure BDA0003353983110000033
Figure BDA0003353983110000034
其中，Wxc、Whc和ωc表示网络训练参数，
Figure BDA0003353983110000035
表示计算生成，
Figure BDA0003353983110000036
表示注意力得分向量；
因为两节点间的连接可忽略不计，内容注意力在不同的解码时从一个节点传送到图中更远距离的另一个节点，图流动注意力用下列公式来表示：
Figure BDA0003353983110000037
Figure BDA0003353983110000038
其中，Ws、Wsh、Wsz都表示网络训练参数，
Figure BDA0003353983110000039
表示图流动注意力，Zt表示第t步预测单词的上下文向量；
利用下列公式将上述图内容注意力
Figure BDA00033539831100000310
与图流动注意力
Figure BDA00033539831100000311
进行动态融合，得到最终的图注意力αt：
Figure BDA00033539831100000312
Figure BDA00033539831100000313
其中，参数ωg、Wgh、Wgz是可学习参数，第t步预测单词的上下文向量为
Figure BDA00033539831100000314
βt是图内容注意力权重参数。
作为本发明所述的用于体现用户意图和风格的个性化图像描述方法的一种优选方案，其中：所述动态访问节点包括，为了解不同节点访问的情况，在每个解码阶段进行了记录，用αt表示每个节点的注意力得分，并加入视觉哨兵门实现注意力强度的修改，使模型更专注于重点单词而不是一些不可视的虚词，其计算公式为：
Figure BDA0003353983110000041
其中，fvs是一个有由θvs参数化的全连接网络，其生成的一个标量表示是否生成节点相关的词，αt表示每个节点的注意力得分；
为了保证图中所有节点都应被文本描述所表达，不能出现缺失或者重复的现象，则采用一种图节点动态更新机制，通过动态增加和动态擦除来实现动态节点更新，对于已表达过的节点采用下式进行动态擦除，对第i个节点表示为xt,i，根据其强度ut,i更新：
Figure BDA0003353983110000042
xt+1,i＝xt,i(1-ut,iet,i)
如果一个节点并不需要再表达，则可置为0，采用下式对新加入的节点进行更新，包括节点的特征：
Figure BDA0003353983110000043
Figure BDA0003353983110000044
其中，fers、fadd为擦除和添加，该式表示具有不同参数的全连接网络。
作为本发明所述的用于体现用户意图和风格的个性化图像描述方法的一种优选方案，其中：所述用户画像的构建以及其风格归类过程包括，采用句向量和词向量混合训练的Doc2vec模型对关键词进行向量构建；采用S-TFIWF权重计算策略对所述关键词加权，并基于K-means算法对加权后的数据进行聚类处理，通过计算所述关键词之间的相似度建立用户喜好词库；采用Stacking集成模型，融合SVM分类算法对搜索关键词进行分类和预测，得到用户的标签信息，即用户的用语风格。
作为本发明所述的用于体现用户意图和风格的个性化图像描述方法的一种优选方案，其中：所述S-TFIWF权重计算策略包括，
Figure BDA0003353983110000045
作为本发明所述的用于体现用户意图和风格的个性化图像描述方法的一种优选方案，其中：还包括，在语言解码的过程中，采用包含注意力LSTM和语言LSTM的双层LSTM结构，其中，所述注意力LSTM以全局编码特征
Figure BDA0003353983110000046
、语言LSTM前一个输出
Figure BDA0003353983110000047
以及上一个单词嵌入wt-1作为输入，经过LSTM解码成
Figure BDA0003353983110000048
用下式进行计算：
Figure BDA0003353983110000051
其中，θa作为参数串联输入经过LSTM解码成
Figure BDA0003353983110000052
作为本发明所述的用于体现用户意图和风格的个性化图像描述方法的一种优选方案，其中：还包括，分解式语言LSTM模块，将传统语言LSTM模型中输入xt的权重矩阵Wx分解为三个矩阵Ux,Sx,Vx的乘积，用下式来计算：
Wx＝UxSxVx
在分解式LSTM模型中，利用SP表示标准语言描述中的专业型文体的因子矩阵集，SR表示浪漫型文体的因子矩阵集，SH表示幽默型文体的因子矩阵集，最终，得到分解式LSTM的计算过程用下式来表示。
Figure BDA0003353983110000053
其中，
Figure BDA0003353983110000054
本发明的有益效果：本发明构建了基于细粒度的场景控制模型，以控制所希望描述的图像内容，如描述几个物体，是否描述背景，物体之间的关系，以及对物体进行简要描述还是详细描述；加入了门控阀，使图流动注意力机制与图内容注意力机制相结合，使描述语句更贴合图像且更流畅；提出了基于用户画像的风格因子生成方法，并将风格因子加入到语言解码器中，使生成的描述具有特定风格，从而实现生成结果的个性化和多样性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明一个实施例提供的一种用于体现用户意图和风格的个性化图像描述方法的现有图像描述实例示意图；
图2为本发明一个实施例提供的一种用于体现用户意图和风格的个性化图像描述方法的个性化图像描述模型示意图；
图3为本发明一个实施例提供的一种用于体现用户意图和风格的个性化图像描述方法的目标空间位置关系示意图；
图4为本发明一个实施例提供的一种用于体现用户意图和风格的个性化图像描述方法的原始图像示意图；
图5为本发明一个实施例提供的一种用于体现用户意图和风格的个性化图像描述方法的另一个原始图像示意图；
图6为本发明一个实施例提供的一种用于体现用户意图和风格的个性化图像描述方法的另一个原始图像示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
一个真正有用且能与人沟通的图像描述模型，应该是一个能体现用户个性、可供用户选择的可控型图像描述模型。基于这一认知，本发明提出了一种细粒度场景控制的个性化图像描述(Personalized Image Captioning with Fine-grained Control ofScene,PICFCS)模型，如图2所示。该模型由场景细粒度控制模块和用语风格控制模块组成，其中，场景控制模块是通过图结构来控制用户所希望表达的场景中的特定目标、目标特征和目标间的关系，以反映用户的描述意图，从而生成更具有多样性的图像描述，而用语风格控制模块则是通过由用户画像所控制的风格因子来生成特定风格的描述语句，以生成个性化的图像描述。本发明采用编码器—解码器框架来构建模型，编码器会根据用户意图和用户画像对给定图像I和风格因子进行编码，而解码器则会生成符合用户意图和个性的描述语句Y＝{y1,y2......,yT}(T为最大生成语句长度)。
参照图1～3，为本发明的一个实施例，提供了一种用于体现用户意图和风格的个性化图像描述方法，包括：
S1：构建一个包含三类抽象节点的空间关系图，三类抽象节点分别代表目标(object)、特征(feature)、目标之间的关系(relationship)，每个抽象节点在图中有具体区域的定位(如图2所示，1、4为特征节点，2、3为目标节点，5为关系节点)；
需要说明的是，首先，以输入图片I为基础，通过在VisualGenome数据集上运用图像卷积和目标检测等一系列预处理，获得场景图像中的目标、目标的特征，以及目标之间的空间关系，以此来生成抽象空间关系图。具体如下：添加用户感兴趣的目标节点oi，构建出目标在图中的位置，如果对多个目标感兴趣则添加多个目标节点，如果用户希望具体了解目标的信息则添加一个或多个特征节点f，并建立目标与特征之间的有向边，当用户希望描述目标与目标之间的关系时，则生成目标与目标之间的关系节点r，并建立从主语目标指向关系r和从关系r指向宾语目标的两条边，角色刻画不仅需要描述节点在图像中对应的视觉特征，还要体现出它所代表的角色意图。
由于PICFCS中的节点不是单独的，结合相邻节点的上下文信息有益于对节点的语义和角色信息的理解；尽管PICFCS中的边是单向的，但节点之间的影响却是相互的；此外，由于节点的类型不同，信息从一种类型节点传递到另一种类型节点的传递方式与其反方向也是不同的，因此，本发明将原始PICFCS的边扩展为不同的双向边，从而生成一个具有多关系的图，利用多关系图卷积神经网络进行图中上下文编码。以图3为例，模型先检测到了目标节点“horse”、“man”、“grass”然后模型添加了其特征节点“a brown”、“a young”、“dry”最后建立与“horse”相关的两个关系节点。
角色感知图编码器将基于图像I的目标空间关系图编码为节点嵌入的集合χ＝{x1,…xi,…,x|v|}，其中节点xi不仅要表现出其在图像中对应的视觉特征，而且要能反映出它的角色意图，这对于区分具有相同图像区域的目标节点和属性节点来说至关重要，此外，因为目标空间关系图中的节点并不是单独存在的，因此结合相邻节点的上下文信息有利于节点的语义识别和角色理解。基于以上原因，本发明构建了一个角色感知图编码器，在该编码器中嵌入了一个角色感知节点来体现用户意图，还使用了一个多关系图卷积网络来进行上下文编码。
角色感知节点的编码方法如下：对第i个节点，将其目标节点和特征节点均初始化为其对应图像区域的视觉特征vi，而关系节点的特征则被初始化为两相关目标的并集区域的图像特征。由于仅凭视觉特征不能区分不同节点的意图，所以本发明使用角色嵌入来进一步增强每个节点，从而获得如下公式所示的嵌入了角色感知的节点
Figure BDA0003353983110000081
Figure BDA0003353983110000082
其中，
Figure BDA0003353983110000083
为角色嵌入矩阵，d为特征维度，Wr[k]为Wr的第k行，pos[i]为一种位置嵌入，用于区分同一目标的同属性节点；
虽然目标空间关系图中的边是单向的，但相连节点之间的影响是相互的。而且，由于节点的类型不一样，本发明对原有的不具有双向边的目标空间关系图进行了扩展，从而得到了一个多关系图Gm＝{V,ε,R}。R中有六种边来捕捉相邻节点之间的相互关系，分别是：目标到目标、目标到属性、目标到关系及其反方向。本发明使用了多关系图卷积神经网络在Gm中编码图的上下文信息，用下列公式来计算。
Figure BDA0003353983110000091
其中，
Figure BDA0003353983110000092
和
Figure BDA0003353983110000093
为多关系卷积神经网络中需要学习的参数，σ为RELU激活函数，
Figure BDA0003353983110000094
表示相关联的第i个节点，
Figure BDA0003353983110000095
使用一层可以为每个节点带来来自其相邻节点的上下文信息，而堆叠多个层可以在图中编码更广泛的上下文。本发明堆叠L层，并将最后一层的输出作为最终的节点嵌入χ，也可以通过取χ的平均值
Figure BDA0003353983110000096
来获得全局嵌入图，并将其与全局图像特征表示进行融合，从而得到全局编码特征
Figure BDA0003353983110000097
S2：利用图注意力机制获取用户所希望描述的内容和顺序，并通过添加控制阀门调节图流动的方向，利用图语义注意力机制结合上下文的关联度使语句更为流畅；
需要说明的是，图注意力机制具体为：
为了同时考虑图形结构与语义内容的相关性，把图内容注意力和图流动注意力相结合形成图注意力机制，用节点xt和查询
Figure BDA0003353983110000098
之间的上下文的语义相关性来计算出图内容注意力向量
Figure BDA0003353983110000099
用下列公式来计算：
Figure BDA00033539831100000910
Figure BDA00033539831100000911
其中，Wxc、Whc和ωc表示网络训练参数，
Figure BDA00033539831100000912
表示计算生成；
因为两节点间的连接可忽略不计，因此，类似于电报的远距离传送，内容注意力可以在不同的解码时从一个节点传送到图中更远距离的另一个节点，图流动注意力用以下公式来表示：
Figure BDA00033539831100000913
Figure BDA0003353983110000101
其中，Ws、Wsh、Wsz都表示网络训练参数；
利用下列公式将上述图内容注意力
Figure BDA0003353983110000102
与图流动注意力
Figure BDA0003353983110000103
进行动态融合，得到最终的图注意力αt：
Figure BDA0003353983110000104
Figure BDA0003353983110000105
其中，参数ωg、Wgh、Wgz是可学习参数，第t步预测单词的上下文向量为
Figure BDA0003353983110000106
βt是图内容注意力权重参数。
S3：加入动态访问节点(Dynamic access node)，记录所访问过的节点，加入没有访问过的节点，并擦除废词，如介词(with)、助词(have)等，使描述更具多样性且不遗漏或者重复描述；
需要说明的是，为了了解不同节点访问的情况，本发明在每个解码阶段进行了记录，用αt表示每个节点的注意力得分；本发明加入了视觉哨兵门来实现注意力强度的修改，使模型更专注于重点单词而不是一些不可视的虚词，用下式来计算：
Figure BDA0003353983110000107
其中，fvs是一个有由θvs参数化的全连接网络，其生成的一个标量表示是否生成节点相关的词；
为了保证图中所有节点都应被文本描述所表达，不能出现缺失或者重复的现象，则采用一种图节点动态更新机制，通过动态增加和动态擦除来实现动态节点更新，对于已表达过的节点采用下式进行动态擦除，对第i个节点表示为xt,i，根据其强度ut,i更新：
Figure BDA0003353983110000108
xt+1,i＝xt,i(1-ut,iet,i)
如果一个节点并不需要再表达，则可置为0，采用下式对新加入的节点进行更新，包括节点的特征：
Figure BDA0003353983110000109
Figure BDA0003353983110000111
其中，fers、fadd为擦除和添加，该式表示具有不同参数的全连接网络。
S4：在解码器中加入基于用户画像的字幕风格因子，如专业型(Professional)、浪漫型(Romantic)或幽默型(Humorous)，输出符合用户期望的风格化语句；
需要说明的是，用户画像与风格化具体包括：
要实现可控的个性化的图像描述，就必须知道用户的特征，而用户的特征可以通过用户画像来刻画。由于用户在搜索数据的过程中，所使用的关键词和用户本身属于从属关系，对同一类用户而言，他们所使用的关键词通常具有一定的相似性和相关性，即同类用户所用关键词之间的相似度较高，因此，本发明采用基于搜索关键词的用户画像构建方法；为了简单起见，基于用户画像，本发明将用户的风格简化成三类，分别是专业型、幽默型和浪漫型。因此，本发明提出的用户画像的构建以及其风格归类过程如下：
首先，采用句向量和词向量混合训练的Doc2vec模型对关键词进行向量构建；
其次，采用S-TFIWF权重计算策略对关键词加权，并基于K-means算法对加权后的数据进行聚类处理，通过计算关键词之间的相似度建立用户喜好词库；
Figure BDA0003353983110000112
最后，采用Stacking集成模型，融合SVM分类算法对搜索关键词进行分类和预测，得到用户的标签信息，即用户的用语风格。
进一步的，在语言解码的过程中，本发明采用了包含注意力LSTM和语言LSTM的双层LSTM结构，其中，注意力LSTM是以全局编码特征
Figure BDA0003353983110000113
、语言LSTM前一个输出
Figure BDA0003353983110000114
以及上一个单词嵌入wt-1作为输入，经过LSTM解码成
Figure BDA0003353983110000115
，用下式来计算。
Figure BDA0003353983110000116
传统的语言LSTM网络用于生成图像描述时，主要是捕捉句子中单词之间的长期顺序依赖关系，而没有考虑语言中其他语言模式的风格。为了解决这个问题，本发明提出一个分解式语言LSTM模块，将传统语言LSTM模型中输入xt的权重矩阵Wx分解为三个矩阵Ux,Sx,Vx的乘积，用下式来计算：
Wx＝UxSxVx
在分解式LSTM模型中，矩阵集Ux、Vx在不同的样式之间共享，这些样式被设计用来对所有文本数据中的一般事实描述建模。矩阵Sx代表特定的用户用语风格，因此可以提取文本数据中的底层样式因素。具体来说，本发明用SP表示标准语言描述中的专业型文体的因子矩阵集，SR表示浪漫型文体的因子矩阵集，SH表示幽默型文体的因子矩阵集。最终，本发明得到了分解式LSTM的计算过程用下式来表示。
Figure BDA0003353983110000121
其中，
Figure BDA0003353983110000122
it表示输入门，ft表示忘记门，ct-1表示以前的记忆，ot表示输出门，LSTM块中的门和单元格定时更新规则t，w表示待学习的LSTM参数，Wih、Wfh、Woh、Wch表示应用于递归更新隐藏状态值的权重矩阵。
实施例2
参照图4～6为本发明另一个实施例，该实施例不同于第一个实施例的是，提供了一种用于体现用户意图和风格的个性化图像描述方法，为对本方法中采用的技术效果加以验证说明，本实施例采用传统技术方案与本发明方法进行对比测试，以科学论证的手段对比试验结果，以验证本方法所具有的真实效果。
本实施例用实验来评估所提出的模型的有效性,首先介绍了实验用的基准数据集和评估指标,并给出了实验的实现细节,然后将本发明方法与最新的一些方法进行了比较,并对生成描述语句的结果进行了定量和定性的分析。
本实施例主要使用FlickrStyle10K和MSCOCO 2014数据集来验证模型的有效性。FlickrStyle10K是在Flickr 30K数据集中创建的，该数据包含10000图片，每张图片至少标注了1个幽默型语句和1个浪漫型语句和5个真实标注语句，实验使用了7000张图像用于训练，2000张图像用于测试，1000张图像用于验证，测试集中收集了由5名不同工作人员撰写的5种浪漫和幽默型的评价说明。MSCOCO 2014数据集包含123287张图像，每张图像至少有5个真实标注语句用于图像描述任务，实验中使用113,287幅图像用于训练，5000幅图像用于验证，5000幅图像用于测试。实验中使用的评价指标包括BLEU[1-4]、METEOR、CIDER、SPICE和ROUGE-L。
本实施例实验在pytorch框架上实现，使用python 3.6语言编程,使用NVIDIAGeForce RTX 3090进行实验；本实施例使用Faster R-CNN来检测图像中包含的目标，Faster R-CNN首先在Visual Genome数据集上进行预训练,然后在MSCOCO数据集上进行微调；因此,对于每一幅经过预处理得到的大小为256×256的图像,可以得到36个2048维的图像特征向量；在解码阶段，使用LSTM作为语言生成器,其输入层和隐藏层数量均设置为512，设置嵌入向量的维度为512；设置参数λ的值为0.2，整个训练过程分为以下两个阶段:在第一阶段,利用交叉熵损失函数训练模型,训练的批量大小为64，设置动量大小为0.9，设置学习率为1×10-4，在训练过程中，每经过5个epoch，学习率衰减为原来的0.7倍，使用集束搜索技术从候选语句集中选择最合适的描述语句,集束的大小设置为3，其实验结果如下：
(1)在FlickrStyle上生成描述示例。
表1展示了所提出的模型在FlickrStyle上的实验结果。从表1的第二列不难看出，本发明提出的方法可以有效地从位置、属性、关系等方面按照用户的意图生成相应的图像描述，以图4为例，“Two people”既可描述成“A man and awoman”，也可以更加细粒度的描述成“A group of skiers”；从第二列的描述语句对图6中目标与目标之间的动作关系“jumping to catch”的描述，可以发现模型可以通过有向节点的控制来表达用户所希望描述的物体及物体之间的关系，从而更加细粒度地描述用户所感兴趣的内容或要忽略的内容，从而更高效地表达关键性的、用户需要的细节信息；从图5第四列可以看出，“Twohorses graze in a field near trees.”可以浪漫的表述成“Two horses graze in afield,as a landscape painting.”，也可以幽默的表述成“A horse graze in a fieldnear trees,wants go home.”，本模型可以显著地提升句子的可读性，极大地丰富了图像描述中文字的表现力。
表1：在数据集FlickrStyle的实验结果表。
Figure BDA0003353983110000131
Figure BDA0003353983110000141
表2展示了本发明提出方法与其他方法的性能对比，其中OURS_P、OURS_R和OURS_H分别代表本发明的专业型、浪漫型以及幽默型字幕生成方法，与普通的图像描述数据集相比，FlickrStyle数据集中的标准描述语句更具多样性、表现力和吸引力，从表2中本发明方法的各项评价指标都要优于其他方法的现象可以说明，本发明方法所产生的描述更具多样性、更受欢迎和易于记忆，这也说明带有样式的图像字幕任务有望为许多现实世界的应用程序提供便利。
表2：不同图像描述生成方法在FlickrStyle性能比较表。
Figure BDA0003353983110000142
(2)消融实验结果分析。
本发明提出的模型主要包含以下几个模块：空间关系图(Spatial Relation，SR)、多关系卷积神经网络(MR-GCN，MG)、图语义注意力(Graph Content Attention，GCA)、图流动注意力(Graph Flow Attention，GLA)、动态访问节点(Dynamic Access Node，DAN)、风格因子(Factored，FAT)和集束搜索(Beam Search，BS)。为了验证各模块的贡献，本实施例进行了如表3所示的消融实验，其中√表示对应的模块被选中，由于MSCOCO数据集中的描述语句是不带风格化的，因此表3中最后一行在加入了风格化模块后就无法测试MSCOCO数据集了，其对应的实验结果本实施例用--表示。在第3行中本实施例在编码器中加入了空间关系图极大的提升了模型的性能，这说明区分同一区域不同的节点至关重要，在第4和第5行中分别加入了图语义注意力和图流动注意力，可以看出两个注意力之间有一定的互补性，使得描述语句更通顺。第6第7行中的动态访问节点以及集束搜索均在数据量更大的MSCOCO上表现更佳，而加入了风格因子后模型的性能得到了进一步提升，这主要得益于风格因子的多样性。
表3：消融实验结果表。
Figure BDA0003353983110000151
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种用于体现用户意图和风格的个性化图像描述方法，其特征在于，包括：
构建一个包含三类抽象节点的空间关系图，所述三类抽象节点分别代表目标、特征、目标之间的关系，每个抽象节点在图中有具体区域的定位；
利用图注意力机制获取用户所希望描述的内容和顺序，并通过添加控制阀门调节图流动的方向，利用图语义注意力机制结合上下文的关联度使语句更为流畅；
加入动态访问节点，记录所访问过的节点，加入没有访问过的节点，并擦除废词，使描述更具多样性且不遗漏或者重复描述；
在解码器中加入基于用户画像的字幕风格因子，输出符合用户期望的风格化语句。
2.如权利要求1所述的用于体现用户意图和风格的个性化图像描述方法，其特征在于：构建所述包含三类抽象节点的空间关系图包括，
以输入图片I为基础，通过在VisualGenome数据集上运用图像卷积和目标检测进行图像预处理，获得场景图像中的目标、目标的特征，以及目标之间的空间关系，以此生成抽象空间关系图。
3.如权利要求2所述的用于体现用户意图和风格的个性化图像描述方法，其特征在于：还包括，
构建角色感知图编码器，在所述编码器中嵌入了一个角色感知节点体现用户意图，并使用一个多关系图卷积网络进行上下文编码，所述角色感知节点的编码方法为：
对第i个节点，将其目标节点和特征节点均初始化为其对应图像区域的视觉特征vi，将关系节点的特征初始化为两相关目标的并集区域的图像特征，使用角色嵌入进一步增强每个节点，获得如下列公式所示的嵌入了角色感知的节点
Figure FDA0003353983100000011
Figure FDA0003353983100000012
其中，
Figure FDA0003353983100000013
为角色嵌入矩阵，d为特征维度，Wr[k]为Wr的第k行，pos[i]为一种位置嵌入，用于区分同一目标的同属性节点，r表示关系节点，o表示目标节点，f表示特征节点；
采用多关系图卷积神经网络在Gm中编码图的上下文信息，用下列公式进行计算：
Figure FDA0003353983100000021
其中，
Figure FDA0003353983100000022
和
Figure FDA0003353983100000023
为多关系卷积神经网络中需要学习的参数，σ为RELU激活函数，
Figure FDA0003353983100000024
表示相关联的第i个节点，
Figure FDA0003353983100000025
x表示用户意图，i、j表示不同的目标，l表示层数。
4.如权利要求1所述的用于体现用户意图和风格的个性化图像描述方法，其特征在于：所述图注意力机制包括，
为了同时考虑图形结构与语义内容的相关性，把图内容注意力和图流动注意力相结合形成图注意力机制，用节点xt和查询
Figure FDA0003353983100000026
之间的上下文的语义相关性计算出图内容注意力向量
Figure FDA0003353983100000027
计算公式如下：
Figure FDA0003353983100000028
Figure FDA0003353983100000029
其中，Wxc、Whc和ωc表示网络训练参数，
Figure FDA00033539831000000210
表示计算生成，
Figure FDA00033539831000000211
表示注意力得分向量；
因为两节点间的连接可忽略不计，内容注意力在不同的解码时从一个节点传送到图中更远距离的另一个节点，图流动注意力用下列公式来表示：
Figure FDA00033539831000000212
Figure FDA00033539831000000213
其中，Ws、Wsh、Wsz都表示网络训练参数，
Figure FDA00033539831000000214
表示图流动注意力，Zt表示第t步预测单词的上下文向量；
利用下列公式将上述图内容注意力
Figure FDA00033539831000000215
与图流动注意力
Figure FDA00033539831000000216
进行动态融合，得到最终的图注意力αt：
Figure FDA00033539831000000217
Figure FDA00033539831000000218
其中，参数ωg、Wgh、Wgz是可学习参数，第t步预测单词的上下文向量为
Figure FDA0003353983100000031
βt是图内容注意力权重参数。
5.如权利要求1所述的用于体现用户意图和风格的个性化图像描述方法，其特征在于：所述动态访问节点包括，
为了解不同节点访问的情况，在每个解码阶段进行了记录，用αt表示每个节点的注意力得分，并加入视觉哨兵门实现注意力强度的修改，使模型更专注于重点单词而不是一些不可视的虚词，其计算公式为：
Figure FDA0003353983100000032
其中，fvs是一个有由θvs参数化的全连接网络，其生成的一个标量表示是否生成节点相关的词，αt表示每个节点的注意力得分；
为了保证图中所有节点都应被文本描述所表达，不能出现缺失或者重复的现象，则采用一种图节点动态更新机制，通过动态增加和动态擦除来实现动态节点更新，对于已表达过的节点采用下式进行动态擦除，对第i个节点表示为xt,i，根据其强度ut,i更新：
Figure FDA0003353983100000033
xt+1,i＝xt,i(1-ut,iet,i)
如果一个节点并不需要再表达，则可置为0，采用下式对新加入的节点进行更新，包括节点的特征：
Figure FDA0003353983100000034
Figure FDA0003353983100000035
其中，fers、fadd为擦除和添加，该式表示具有不同参数的全连接网络。
6.如权利要求1所述的用于体现用户意图和风格的个性化图像描述方法，其特征在于：所述用户画像的构建以及其风格归类过程包括，
采用句向量和词向量混合训练的Doc2vec模型对关键词进行向量构建；
采用S-TFIWF权重计算策略对所述关键词加权，并基于K-means算法对加权后的数据进行聚类处理，通过计算所述关键词之间的相似度建立用户喜好词库；
采用Stacking集成模型，融合SVM分类算法对搜索关键词进行分类和预测，得到用户的标签信息，即用户的用语风格。
7.如权利要求6所述的用于体现用户意图和风格的个性化图像描述方法，其特征在于：所述S-TFIWF权重计算策略包括，
Figure FDA0003353983100000041
8.如权利要求1所述的用于体现用户意图和风格的个性化图像描述方法，其特征在于：还包括，
在语言解码的过程中，采用包含注意力LSTM和语言LSTM的双层LSTM结构，其中，所述注意力LSTM以全局编码特征
Figure FDA0003353983100000042
语言LSTM前一个输出
Figure FDA0003353983100000043
以及上一个单词嵌入wt-1作为输入，经过LSTM解码成
Figure FDA0003353983100000044
用下式进行计算：
Figure FDA0003353983100000045
其中，θa作为参数串联输入经过LSTM解码成
Figure FDA0003353983100000046
9.如权利要求8所述的用于体现用户意图和风格的个性化图像描述方法，其特征在于：还包括，
分解式语言LSTM模块，将传统语言LSTM模型中输入xt的权重矩阵Wx分解为三个矩阵Ux,Sx,Vx的乘积，用下式来计算：
Wx＝UxSxVx
在分解式LSTM模型中，利用SP表示标准语言描述中的专业型文体的因子矩阵集，SR表示浪漫型文体的因子矩阵集，SH表示幽默型文体的因子矩阵集，最终，得到分解式LSTM的计算过程用下式来表示。
Figure FDA0003353983100000047
其中，
Figure FDA0003353983100000048
CN202111345659.7A 2021-09-10 2021-11-15 一种用于体现用户意图和风格的个性化图像描述方法 Pending CN114020954A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111063680 2021-09-10
CN2021110636808 2021-09-10

Publications (1)

Publication Number Publication Date
CN114020954A true CN114020954A (zh) 2022-02-08

Family

ID=80064260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111345659.7A Pending CN114020954A (zh) 2021-09-10 2021-11-15 一种用于体现用户意图和风格的个性化图像描述方法

Country Status (1)

Country Link
CN (1) CN114020954A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116453120A (zh) * 2023-04-19 2023-07-18 浪潮智慧科技有限公司 基于时序场景图注意力机制的图像描述方法、设备及介质
CN116611131A (zh) * 2023-07-05 2023-08-18 大家智合(北京)网络科技股份有限公司 一种包装图形自动生成方法、装置、介质及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150356102A1 (en) * 2014-06-05 2015-12-10 Mobli Technologies 2010 Ltd. Automatic article enrichment by social media trends
CN108171283A (zh) * 2017-12-31 2018-06-15 厦门大学 一种基于结构化语义嵌入的图像内容自动描述方法
CN110413844A (zh) * 2019-05-24 2019-11-05 浙江工业大学 基于时空注意力深度模型的动态链路预测方法
CN111160467A (zh) * 2019-05-31 2020-05-15 北京理工大学 一种基于条件随机场和内部语义注意力的图像描述方法
CN112329918A (zh) * 2020-10-28 2021-02-05 东南大学 一种基于注意力机制的对抗正则化网络嵌入方法
US20210157312A1 (en) * 2016-05-09 2021-05-27 Strong Force Iot Portfolio 2016, Llc Intelligent vibration digital twin systems and methods for industrial environments
CN113360621A (zh) * 2021-06-22 2021-09-07 辽宁工程技术大学 一种基于模态推理图神经网络的场景文本视觉问答方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150356102A1 (en) * 2014-06-05 2015-12-10 Mobli Technologies 2010 Ltd. Automatic article enrichment by social media trends
US20210157312A1 (en) * 2016-05-09 2021-05-27 Strong Force Iot Portfolio 2016, Llc Intelligent vibration digital twin systems and methods for industrial environments
CN108171283A (zh) * 2017-12-31 2018-06-15 厦门大学 一种基于结构化语义嵌入的图像内容自动描述方法
CN110413844A (zh) * 2019-05-24 2019-11-05 浙江工业大学 基于时空注意力深度模型的动态链路预测方法
CN111160467A (zh) * 2019-05-31 2020-05-15 北京理工大学 一种基于条件随机场和内部语义注意力的图像描述方法
CN112329918A (zh) * 2020-10-28 2021-02-05 东南大学 一种基于注意力机制的对抗正则化网络嵌入方法
CN113360621A (zh) * 2021-06-22 2021-09-07 辽宁工程技术大学 一种基于模态推理图神经网络的场景文本视觉问答方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BEHNAM SAMADI等: "Accelerating Decoding Step in Image Captioning on Smartphones", 《 HIGH-PERFORMANCE COMPUTING AND BIG DATA ANALYSIS》, vol. 891, 20 October 2019 (2019-10-20), pages 426 *
YUHANG WANG等: "Image Captioning According to User\'s Intention and Style", 《2022 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN)》, 30 September 2022 (2022-09-30), pages 1 - 20 *
林欣: "基于上下文的场景图生成", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 February 2021 (2021-02-15), pages 138 - 2316 *
王宇航等: "体现用户意图和风格的图像描述生成", 《广西师范大学学报(自然科学版)》, vol. 40, no. 4, 7 April 2022 (2022-04-07), pages 91 - 103 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116453120A (zh) * 2023-04-19 2023-07-18 浪潮智慧科技有限公司 基于时序场景图注意力机制的图像描述方法、设备及介质
CN116453120B (zh) * 2023-04-19 2024-04-05 浪潮智慧科技有限公司 基于时序场景图注意力机制的图像描述方法、设备及介质
CN116611131A (zh) * 2023-07-05 2023-08-18 大家智合(北京)网络科技股份有限公司 一种包装图形自动生成方法、装置、介质及设备
CN116611131B (zh) * 2023-07-05 2023-12-26 大家智合(北京)网络科技股份有限公司 一种包装图形自动生成方法、装置、介质及设备

Similar Documents

Publication Publication Date Title
Zhou et al. A comprehensive survey on pretrained foundation models: A history from bert to chatgpt
CN109844741B (zh) 在自动聊天中生成响应
CN109614471B (zh) 一种基于生成式对抗网络的开放式问题自动生成方法
Karpathy Connecting images and natural language
CN110390103A (zh) 基于双编码器的短文本自动摘要方法及系统
CN108829719A (zh) 一种非事实类问答答案选择方法及系统
CN107133224A (zh) 一种基于主题词的语言生成方法
CN108363697A (zh) 文本信息生成方法、装置、存储介质及设备
Li et al. Residual attention-based LSTM for video captioning
CN114020954A (zh) 一种用于体现用户意图和风格的个性化图像描述方法
CN108628935A (zh) 一种基于端到端记忆网络的问答方法
CN111814982A (zh) 面向多跳问答的动态推理网络及方法
CN111652357A (zh) 一种利用基于图的特定目标网络解决视频问答问题的方法及其系统
CN110991290A (zh) 基于语义指导与记忆机制的视频描述方法
CN113297364A (zh) 一种面向对话系统中的自然语言理解方法及装置
Sun et al. Video question answering: a survey of models and datasets
CN111651661B (zh) 一种图文跨媒体检索方法
CN114840747A (zh) 一种基于对比学习的新闻推荐方法
Nezami et al. Senti-attend: image captioning using sentiment and attention
Al-Qatf et al. Image captioning with novel topics guidance and retrieval-based topics re-weighting
Maslennikova ELMo Word Representations For News Protection.
CN112215346B (zh) 一种实现类人通用人工智能机器的方法
Wang et al. Contextual and selective attention networks for image captioning
CN114328866A (zh) 应答流畅准确的强拟人化智能对话机器人
CN116150334A (zh) 基于UniLM模型和Copy机制的中文共情语句训练方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240618

Address after: 518000 1002, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Applicant after: Shenzhen Wanzhida Technology Co.,Ltd.

Country or region after: China

Address before: 541004 No. 15, Yucai Road, Qixing District, Guilin City, Guangxi Zhuang Autonomous Region

Applicant before: Guangxi Normal University

Country or region before: China