CN113378552A - 一种基于多模态gpt2模型的商品标题生成方法 - Google Patents
一种基于多模态gpt2模型的商品标题生成方法 Download PDFInfo
- Publication number
- CN113378552A CN113378552A CN202110760314.1A CN202110760314A CN113378552A CN 113378552 A CN113378552 A CN 113378552A CN 202110760314 A CN202110760314 A CN 202110760314A CN 113378552 A CN113378552 A CN 113378552A
- Authority
- CN
- China
- Prior art keywords
- commodity
- gpt2
- title
- attribute
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 102100033814 Alanine aminotransferase 2 Human genes 0.000 title claims abstract description 57
- 101000779415 Homo sapiens Alanine aminotransferase 2 Proteins 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 13
- 239000003550 marker Substances 0.000 claims abstract description 15
- 238000012805 post-processing Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 9
- 101710096000 Alanine aminotransferase 2 Proteins 0.000 claims description 8
- 229910000831 Steel Inorganic materials 0.000 claims description 8
- 239000010959 steel Substances 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000586 desensitisation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/258—Heading extraction; Automatic titling; Numbering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
- Document Processing Apparatus (AREA)
Abstract
基于多模态GPT2模型的商品标题生成方法，将不同模态的商品信息融入GPT2的上下文状态中，在理解商品内容的基础上生成商品标题：1)商品语音资料做预处理，2)采用商品信息编码模块，分别使用ResNet和Embedding对商品图片和属性做编码，用GPT2对商品品类名称编码，得到GPT2网络与ResNet图像编码器、Embedding属性编码器三种不同模态信息的编码表示；3)采用标题生成模块；4)对生成的商品标题进行后处理，识别出商品标题中的特殊标记符并替换为对应的商品属性；完善生成后的标题文本的规格、参数信息。
Description
技术领域
本发明涉及多模态理解、文本生成技术，涉及一种通过多种模态信息(包括自然语言处理模型等)理解商品内容并自动生成商品标题的技术。
背景技术
电子商务平台需要频繁发布商品信息，包括商品的品类、属性、标题、描述以及图片等信息，尤其以标题、描述等文本信息的编辑最为耗费人力。商品标题的文本组织需要用高度精炼的语言突出商品的特点，要求在商品内容理解的基础上准确地描述商品信息，同时平台上海量的商品信息需要保证多样性，这对商品标题发布提出了非常高的智能化要求。
目前以GPT2为代表的文本生成模型在大量参数与海量语料的预训练基础上，可以生成非常连贯的文本，达到以假乱真的效果，但是这类模型很难控制生成的内容，而商品标题的发布需要与商品本身内容高度相关，需要很强的条件控制能力。实际上商品本身的信息是丰富的，包括品类、属性、图片多种不同模态的信息，而深度神经网络可以灵活地处理不同结构的数据，甚至融合不同模态的信息。
本发明使用深度神经网络对商品不同模态的信息分别做编码表示，然后使用GPT2注意力机制对这些信息做交互式融合，在商品内容理解的基础上生成标题，达到严格的内容条件控制。
发明内容
本发明目的是，克服现有技术的不足，提供一种高可控、多样性的商品标题生成算法模型。基于多模态GPT2模型对自然语音和图片等处理生成商品标题。
为解决上述技术问题，本发明提供的技术方案是，基于多模态GPT2模型的商品标题生成方法，其特征在于，能够将不同模态的商品信息融入GPT2的上下文状态中，在理解商品内容的基础上生成相关的、高质量(符合性好，更具有接近标准的标题)的商品标题，具体包括如下步骤：
步骤1：商品语料做预处理，构建属性字典，并且对规格类敏感信息做脱敏处理；
步骤2：采用商品信息编码模块，分别使用ResNet和Embedding对商品图片和属性做编码，用GPT2对商品品类名称编码，得到GPT2网络与ResNet图像编码器、Embedding属性编码器三种不同模态信息的编码表示；
步骤3：标题生成模块，将以上三种模态的商品信息编码添加到GPT2的上下文状态中，用GPT2的注意力机制融合所有的上下文信息，并自回归式地生成标题；
步骤4：后处理，完善生成后的标题文本的规格、参数等敏感信息。
所述步骤1中，所述处理流程具体包括如下步骤：
步骤1-1：构建属性字典，统计所有属性中的高频属性，将属性的键与值拼接之后加入属性字典中，例如{“Color：Red”，“Bound：2.4GHZ”，“Size：26Inch”}；
步骤1-2：脱敏处理，将标题文本中的规格参数信息使用标记属性的特殊符号代替。
所述步骤2中，需要用不同结构的子网络分别对商品不同模态的信息做编码表示，处理流程具体包括如下步骤：
步骤2-1：将商品图片用ResNet子网络编码得到特征图I∈Rw×h×s，其中w和h分别表示编码后的宽和高，s表示特征图向量维度，经过一个线性变换将特征图的维度s变换为d，d表示GPT2的隐藏层维度大小，再通过形状变换将w和h两个维度合并，最后得到图片状态向量Hi w·h×d；
步骤2-2：将商品属性通过步骤一的属性字典做属性编码，再使用维度大小为d的Embedding子网络做向量嵌入，得到Ha k×d，其中k表示属性数量；
步骤2-3：将商品标题通过GPT2得到文本表征Ht l×d，其中1表示标题长度。
所述步骤3中，将步骤2中得到的所有文本表征特征向量拼接到不同位置上H＝[Hi；Ha；Ht]，[；]表示拼接操作，假设当前已经生成的文本状态为X∈Rn×d，其中n表示已经生成的词语数量，则K＝V＝[H；X]，Q＝X，
从A的概率分布中采样生成下一个词语；
所述步骤4中，将步骤3生成的文本做进一步后处理还原出常规文本，具体操作为将生成文本中的特殊标记符，通过商品属性查表将特殊标记符替换为对应的属性值，例如将生成的“[Tire size]All Steel Radial Truck and Bus Tire([Model NO.]+[Spec])with Superb Wear”中的特殊标记符替换为对应的商品属性，处理后变为“20Inch AllSteel Radial Truck and Bus Tire(AR5157A+12.00R20)with Superb Wear”。
有益效果：通过商品多种不同模态的信息综合理解商品内容，从而能生成准确描述商品信息的标题文本，而利用GPT2语言模型生成更加自然、多样化的标题，达到快速发布高质量商品标题的目标。
附图说明
图1为本发明的示例性实施例中总体流程示意图；
图2为本发明的示例性实施例中模型结构示意图，即OpenAI预训练模型示意图；
具体实施方式
下面结合附图和示例性实施例对本发明作进一步的说明：
如图1所示，本发明公开一种基于多模态GPT2的商品标题生成方案，包括统一的前处理和后处理流程。
GPT是一个NLP(自然语言处理)模型，GPT-2是GPT的升级版本，其最大的区别在于规模更多，训练数据更多，GPT是12层的transformer，BERT最深是24层的transformer，GPT-2则可以是48层，其训练数据是一个WebText的数据集，该数据集做了一些简单的数据清理，并且覆盖领域十分广阔。
步骤1：对语料做预处理，统计属性字典和特殊标记符，并得到脱敏后的商品标题，；
步骤2：对商品内容进行编码，包括用ResNet对图片编码，用GPT2对品类名称编码，以及用Embedding对属性编码；
步骤3：对三种模态的编码信息用GPT2的注意力层进行融合；对GPT2网络与ResNet图像编码器、Embedding属性编码器三种模态的编码信息用GPT2的注意力层进行融合；
步骤4：用GPT2对融合后的状态信息生成商品标题；
步骤5：对生成的标题进行后处理，识别出标题中的特殊标记符并替换为对应的商品属性；
多模态GPT2的商品标题生成模型，可以综合商品的各个模态信息，全面理解商品内容，生成能够描述商品特点的高质量标题。
多模态GPT2网络模型，具体包含GPT2网络与ResNet图像编码器、Embedding属性编码器。
如图2所示，本发明公开一种多模态GPT2网络模型，具体包含GPT2网络与ResNet图像编码器、Embedding属性编码器。
商品的品类名称(Catalog)直接作为文本输入GPT2。所述GPT2网络使用图2的OpenAI预训练模型，包含Word Embedding(词语嵌入层)、Position Embedding(位置编码层)、N个Transformer块、一个Linear(线性层)以及Softmax输出激活函数，其中每个Transformer块包括一个Masked Multi-Head Attention(多头注意力层)与Feed Forward(前馈层)，并且在多头注意力层与前馈层后面分别连接一个残差层与LayerNorm层。
所述ResNet图像编码器采用ResNet50预训练骨干网络再接一个线性变换层，图像统一size为224×224，ResNet50输出为7×7×2048，再用线性变换层得到输出7×7×1024。
所述Embedding属性编码器包括D个属性向量，D表示属性字典的大小，向量的维度也是1024维。因推荐系统分召回和排序，召回为将找出可能语词的候选集，排序是对候选集按照某种指标程度进行排序，最终得出给用户推荐的结果。在推荐系统的召回阶段，需要对每个用户和每个被推荐语词做数学层面的表示，通过向量即Embedding表示。具体为Embedding属性编码器。
文本Embedding方法，也是目前最流行的方案是动态词表征算法，比如Bert、ELMo、GPT，这类算法会考虑文本上下文。
在网站上获得图像和网文描述商品信息的标题文本，输入的量有200M，先将商品的品类名称(Catalog)直接作为文本输入GPT2后，品类名称处理成商品属性字典，统计所有属性中的高频属性，将商品属性的键与值拼接之后加入商品属性字典中，将商品属性字典中标题文本中的规格参数信息使用标记属性的特殊符号代替，例如原始文本为“20InchAll Steel Radial Truck and Bus Tire(AR5157A+12.00R20)with Superb Wear”，处理后为“[Tire size]All Steel Radial Truck and Bus Tire([Model NO.]+[Spec])withSuperb Wear”，并将统计得到的特殊符号如本例中的“[Tire size]”等添加到GPT2词表中。
将商品图片用ResNet子网络编码得到特征图I∈Rw×h×s，其中w和h分别表示编码后的宽和高，s表示特征图向量维度，经过一个线性变换将特征图的维度s变换为d，d表示GPT2的隐藏层维度大小，再通过形状变换将w和h两个维度合并，最后得到图片状态向量Hi w·h×d；
再使用维度大小为d的Embedding子网络做向量嵌入，得到Ha k×d，其中k表示属性数量；
将商品标题通过GPT2得到文本表征Ht l×d，其中1表示标题长度。
将步骤2中得到的所有特征向量拼接到不同位置上H＝[Hi；Ha；Ht]，[；]表示拼接操作，假设当前已经生成的文本状态为X∈Rn×d，其中n表示已经生成的词语数量，则K＝V＝[H；X]，Q＝X，
从A的概率分布中采样生成下一个词语；
将步骤3生成的文本做进一步后处理还原出常规文本，具体操作为将生成文本中的特殊标记符，通过商品属性查表将特殊标记符替换为对应的属性值，例如将生成的“[Tire size]All Steel Radial Truck and Bus Tire([Model NO.]+[Spec])withSuperb Wear”中的特殊标记符替换为对应的商品属性，处理后变为“20Inch All SteelRadial Truck and Bus Tire(AR5157A+12.00R20)with Superb Wear”。
所述GPT2网络使用图2的OpenAI预训练模型，包含Word Embedding(词语嵌入层)、Position Embedding(位置编码层)、N个Transformer块、一个Linear(线性层)以及Softmax输出激活函数，其中每个Transformer块包括一个Masked Multi-Head Attention(多头注意力层)与Feed Forward(前馈层)，并且在多头注意力层与前馈层后面分别连接一个残差层与LayerNorm层。商品的品类名称(Catalog)直接作为文本输入GPT2。
所述ResNet图像编码器采用ResNet50预训练骨干网络再接一个线性变换层，图像统一size为224×224，ResNet50输出为7×7×2048，再用线性变换层得到输出7×7×1024。
所述Embeddi。
将图像编码输出、属性编码输出与商品品类的表示在多头注意力层做融合，获得商品的综合表征状态，再用GPT2完成标题的生成操作。即应用三种编码得到结果并融合。而利用GPT2语言模型生成更加自然、多样化的标题，达到快速发布高质量商品标题的目标。
本发明主要用于提供一种在电子商务场景下自动化、智能化发布商品标题的模型，在添加少量额外编码器的基础上充分利用GPT2预训练语言模型，可以生成高质量、多样化的商品标题描述。
以上实施例不以任何方式限定本发明，凡是对以上实施例以等效变换方式做出的其它改进与应用，都属于本发明的保护范围。
Claims (4)
1.基于多模态GPT2模型的商品标题生成方法，其特征在于，将不同模态的商品信息融入GPT2的上下文状态中，在理解商品内容的基础上生成商品标题，具体步骤如下：
步骤1：商品语音资料做预处理，统计属性字典和特殊标记符，构建属性字典，并且对规格类敏感信息做脱敏处理；并得到脱敏后的商品标题；
步骤2：采用商品信息编码模块，分别使用ResNet和Embedding对商品图片和属性做编码，用GPT2对商品品类名称编码，得到GPT2网络与ResNet图像编码器、Embedding属性编码器三种不同模态信息的编码表示；
步骤3：采用标题生成模块，将以上三种模态的商品信息编码添加到GPT2的上下文状态中，对GPT2网络与ResNet图像编码器、Embedding属性编码器三种模态的编码信息用GPT2的注意力层进行融合；用GPT2的注意力机制融合所有的上下文信息，并自回归式地生成商品标题；
步骤4：对生成的商品标题进行后处理，识别出商品标题中的特殊标记符并替换为对应的商品属性；完善生成后的标题文本的规格、参数信息；
所述步骤1中，所述处理流程具体包括如下步骤：
步骤1-1：构建商品属性字典，统计所有属性中的高频属性，将商品属性的键与值拼接之后加入商品属性字典中，例如{“Color：Red”，“Bound：2.4GHZ”，“Size：26Inch”}；
步骤1-2：脱敏处理，将商品属性字典中标题文本中的规格参数信息使用标记属性的特殊符号代替。
2.根据权利要求1所述的基于多模态GPT2模型的商品标题生成方法，其特征是，所述步骤2中，需要用不同结构的子网络分别对商品不同模态的信息做编码表示，处理流程具体包括如下步骤：
步骤2-1：将商品图片用ResNet子网络编码得到特征图I∈Rw×h×s，其中w和h分别表示编码后的宽和高，s表示特征图向量维度，经过一个线性变换将特征图的维度s变换为d，d表示GPT2的隐藏层维度大小，再通过形状变换将w和h两个维度合并，最后得到图片状态向量Hi w ·h×d；
步骤2-2：将商品属性通过步骤一的属性字典做属性编码，再使用维度大小为d的Embedding子网络做向量嵌入，得到Ha k×d，其中k表示属性数量；
步骤2-3：将商品标题通过GPT2得到文本表征Ht l×d，其中l表示标题长度。
3.根据权利要求1所述的基于多模态GPT2模型的商品标题生成方法，其特征是，所述步骤3中，将步骤2中得到的所有特征向量拼接到不同位置上H＝[Hi；Ha；Ht]，[；]表示拼接操作，假设当前已经生成的文本状态为X∈Rn×d，其中n表示已经生成的词语数量，则K＝V＝[H；X]，Q＝X，
从A的概率分布中采样生成下一个词语；
所述步骤4中，将步骤3生成的文本做进一步后处理还原出常规文本，具体操作为将生成文本中的特殊标记符，通过商品属性查表将特殊标记符替换为对应的属性值，例如将生成的“[Tire size]All Steel Radial Truck and Bus Tire([ModelNO.]+[Spec])withSuperb Wear”中的特殊标记符替换为对应的商品属性，处理后变为“20 Inch All SteelRadial Truck and Bus Tire(AR5157A+12.00R20)with Superb Wear”。
4.根据权利要求1所述的基于多模态GPT2模型的商品标题生成方法，其特征是，将商品图片用ResNet子网络编码得到特征图I∈Rw×h×s，其中w和h分别表示编码后的宽和高，s表示特征图向量维度，经过一个线性变换将特征图的维度s变换为d，d表示GPT2的隐藏层维度大小，再通过形状变换将w和h两个维度合并，最后得到图片状态向量Hi w·h×d；
再使用维度大小为d的Embedding子网络做向量嵌入，得到Ha k×d，其中k表示属性数量；
将商品标题通过GPT2得到文本表征Ht l×d，其中l表示标题长度；
将步骤2中得到的所有特征向量拼接到不同位置上H＝[Hi；Ha；Ht]，[]表示拼接操作，假设当前已经生成的文本状态为X∈Rn×d，其中n表示已经生成的词语数量，则K＝V＝[H；X]，Q＝X，
从A的概率分布中采样生成下一个词语；
将步骤3生成的文本做进一步后处理还原出常规文本，具体操作为将生成文本中的特殊标记符，通过商品属性查表将特殊标记符替换为对应的属性值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110760314.1A CN113378552B (zh) | 2021-07-06 | 2021-07-06 | 一种基于多模态gpt2模型的商品标题生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110760314.1A CN113378552B (zh) | 2021-07-06 | 2021-07-06 | 一种基于多模态gpt2模型的商品标题生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113378552A true CN113378552A (zh) | 2021-09-10 |
| CN113378552B CN113378552B (zh) | 2024-04-19 |
Family
ID=77581096
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110760314.1A Active CN113378552B (zh) | 2021-07-06 | 2021-07-06 | 一种基于多模态gpt2模型的商品标题生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113378552B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114611498A (zh) * | 2022-03-18 | 2022-06-10 | 腾讯科技（深圳）有限公司 | 标题生成方法、模型训练方法及装置 |
| CN114998631A (zh) * | 2022-08-08 | 2022-09-02 | 成都薯片科技有限公司 | 企业logo生成方法、装置及存储介质 |
| CN115438654A (zh) * | 2022-11-07 | 2022-12-06 | 华东交通大学 | 文章标题生成方法、装置、存储介质及电子设备 |
| CN116911715A (zh) * | 2023-09-12 | 2023-10-20 | 运易通科技有限公司 | 一种基于人工智能的物流识别分配机器人及其控制方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110209789A (zh) * | 2019-05-29 | 2019-09-06 | 山东大学 | 一种用户注意力引导的多模态对话系统及方法 |
| CN110968775A (zh) * | 2018-09-30 | 2020-04-07 | 北京京东尚科信息技术有限公司 | 商品属性生成模型的训练方法及生成、搜索方法和系统 |
| CN111107435A (zh) * | 2019-12-17 | 2020-05-05 | 腾讯科技（深圳）有限公司 | 视频推荐方法及装置、设备、存储介质 |
| CN111444367A (zh) * | 2020-03-24 | 2020-07-24 | 哈尔滨工程大学 | 一种基于全局与局部注意力机制的图像标题生成方法 |
| WO2020190103A1 (en) * | 2019-03-20 | 2020-09-24 | Samsung Electronics Co., Ltd. | Method and system for providing personalized multimodal objects in real time |
| CN112800254A (zh) * | 2021-01-26 | 2021-05-14 | 浙江香侬慧语科技有限责任公司 | 多模态视频标题生成方法、装置、存储介质及存储设备 |
| US20210174162A1 (en) * | 2019-12-09 | 2021-06-10 | Salesforce.Com, Inc. | Spatial-Temporal Reasoning Through Pretrained Language Models for Video-Grounded Dialogues |
-
2021
- 2021-07-06 CN CN202110760314.1A patent/CN113378552B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110968775A (zh) * | 2018-09-30 | 2020-04-07 | 北京京东尚科信息技术有限公司 | 商品属性生成模型的训练方法及生成、搜索方法和系统 |
| WO2020190103A1 (en) * | 2019-03-20 | 2020-09-24 | Samsung Electronics Co., Ltd. | Method and system for providing personalized multimodal objects in real time |
| CN110209789A (zh) * | 2019-05-29 | 2019-09-06 | 山东大学 | 一种用户注意力引导的多模态对话系统及方法 |
| US20210174162A1 (en) * | 2019-12-09 | 2021-06-10 | Salesforce.Com, Inc. | Spatial-Temporal Reasoning Through Pretrained Language Models for Video-Grounded Dialogues |
| CN111107435A (zh) * | 2019-12-17 | 2020-05-05 | 腾讯科技（深圳）有限公司 | 视频推荐方法及装置、设备、存储介质 |
| CN111444367A (zh) * | 2020-03-24 | 2020-07-24 | 哈尔滨工程大学 | 一种基于全局与局部注意力机制的图像标题生成方法 |
| CN112800254A (zh) * | 2021-01-26 | 2021-05-14 | 浙江香侬慧语科技有限责任公司 | 多模态视频标题生成方法、装置、存储介质及存储设备 |
Non-Patent Citations (1)
| Title |
|---|
| 马龙龙;韩先培;孙乐;: "图像的文本描述方法研究综述", 中文信息学报, no. 04, 15 April 2018 (2018-04-15) * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114611498A (zh) * | 2022-03-18 | 2022-06-10 | 腾讯科技（深圳）有限公司 | 标题生成方法、模型训练方法及装置 |
| CN114998631A (zh) * | 2022-08-08 | 2022-09-02 | 成都薯片科技有限公司 | 企业logo生成方法、装置及存储介质 |
| CN115438654A (zh) * | 2022-11-07 | 2022-12-06 | 华东交通大学 | 文章标题生成方法、装置、存储介质及电子设备 |
| CN116911715A (zh) * | 2023-09-12 | 2023-10-20 | 运易通科技有限公司 | 一种基于人工智能的物流识别分配机器人及其控制方法 |
| CN116911715B (zh) * | 2023-09-12 | 2023-12-08 | 运易通科技有限公司 | 一种基于人工智能的物流识别分配机器人及其控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113378552B (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113378552A (zh) | 一种基于多模态gpt2模型的商品标题生成方法 | |
| CN111694924B (zh) | 一种事件抽取方法和系统 | |
| CN111563166B (zh) | 一种针对数学问题分类的预训练模型方法 | |
| CN112232149A (zh) | 一种文档多模信息和关系提取方法及系统 | |
| CN111783459A (zh) | 一种基于改进Transformer+CRF的老挝语命名实体识别方法 | |
| CN111563164A (zh) | 一种基于图神经网络的特定目标情感分类方法 | |
| CN113128214A (zh) | 一种基于bert预训练模型的文本摘要生成方法 | |
| CN112434535A (zh) | 基于多模型的要素抽取方法、装置、设备及存储介质 | |
| CN112966503A (zh) | 方面级情感分析方法 | |
| CN111814450B (zh) | 一种基于残差注意力的方面级情感分析方法 | |
| CN116663566A (zh) | 一种基于商品评价的方面级情感分析方法及系统 | |
| CN115048511A (zh) | 一种基于Bert的护照版面分析方法 | |
| CN115964638A (zh) | 多模态社交数据情感分类方法、系统、终端、设备及应用 | |
| CN114281982B (zh) | 一种多模态融合技术的图书宣传摘要生成方法和系统 | |
| Chen et al. | Multimodal item categorization fully based on transformer | |
| CN117173450A (zh) | 一种交通场景生成式图像描述方法 | |
| CN116737922A (zh) | 一种游客在线评论细粒度情感分析方法和系统 | |
| CN117688936B (zh) | 一种图文融合的低秩多模态融合情感分析方法 | |
| CN109947894B (zh) | 一种文本标签提取系统 | |
| CN112966676B (zh) | 一种基于零样本学习的文档关键信息抽取方法 | |
| CN115906845B (zh) | 一种电商商品标题命名实体识别方法 | |
| CN115687625B (zh) | 文本分类方法、装置、设备及介质 | |
| CN111694960A (zh) | 基于词性特征和观点特征结合卷积神经网络的电商评论情感分析模型 | |
| CN111339734A (zh) | 一种基于文本生成图像的方法 | |
| CN116244435A (zh) | 文本情感分析模型训练方法、情感分析方法、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |