CN113011202A - 基于多任务训练的端到端图像文本翻译方法、系统、装置 - Google Patents
基于多任务训练的端到端图像文本翻译方法、系统、装置 Download PDFInfo
- Publication number
- CN113011202A CN113011202A CN202110306816.7A CN202110306816A CN113011202A CN 113011202 A CN113011202 A CN 113011202A CN 202110306816 A CN202110306816 A CN 202110306816A CN 113011202 A CN113011202 A CN 113011202A
- Authority
- CN
- China
- Prior art keywords
- model
- translation
- image
- text
- image text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013519 translation Methods 0.000 title claims abstract description 241
- 238000012549 training Methods 0.000 title claims abstract description 131
- 238000000034 method Methods 0.000 title claims abstract description 88
- 238000007781 pre-processing Methods 0.000 claims abstract description 46
- 230000008569 process Effects 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 24
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 230000007246 mechanism Effects 0.000 claims description 17
- 238000013140 knowledge distillation Methods 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 13
- 230000002457 bidirectional effect Effects 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 10
- 230000000306 recurrent effect Effects 0.000 claims description 9
- 125000004122 cyclic group Chemical group 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 5
- 238000004821 distillation Methods 0.000 claims description 5
- 238000004508 fractional distillation Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 2
- 230000002787 reinforcement Effects 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 4
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 239000011159 matrix material Substances 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 238000010845 search algorithm Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/42—Data-driven translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明属于自然语言处理技术领域，具体涉及一种基于多任务训练的端到端图像文本翻译方法，旨在解决现有的图像文本翻译模型因缺乏训练数据、模型结构设计，导致翻译性能较差的问题。本发明方法包括：获取待翻译的数据，作为输入数据；对输入数据进行预处理，预处理后，输入预构建的图像文本翻译模型，得到所述输入数据对应的翻译结果；图像文本翻译模型包括特征提取器、编码器‑解码器。本发明提高了图像文本翻译性能。
Description
技术领域
本发明属于自然语言处理技术领域，具体涉及一种基于多任务训练的端到端图像文本翻译方法、系统、装置。
背景技术
图像文本翻译是利用计算机系统自动地将图片或视频中包含的源语言翻译为目标语言。图像文本翻译技术能够快速、有效地帮助人们翻译和理解图片、视频中的文本内容。该技术可以将图像、视频中的一种语言的文本快速地翻译到不同语言，来促进使用不同语言的人们的理解。
目前常用的图像文本翻译的架构是将图像文本识别系统同机器翻译系统进行系统级联来实现对图片中的源端语言进行翻译。然而系统级联的两个子任务在各自的训练数据集上进行独立训练，导致子任务的训练领域不一致。同时，系统级联在系统部署时，需要部署两个分立的模型，增加了部署的复杂度，且模型存储空间复杂度高，模型解码时间复杂度高。端到端图像文本翻译系统虽然模型空间复杂度小，但是由于没有专门针对端到端图像文本翻译模型结构设计以及缺乏训练数据等问题，现阶段的端到端图像文本翻译模型的性能依然较差。针对上述问题，本发明提出了一种基于多任务训练的端到端图像文本翻译方法。
发明内容
为了解决现有技术中的上述问题，即为了解决现有的图像文本翻译模型因缺乏训练数据、模型结构设计，导致翻译性能较差的问题，本发明提出了一种基于多任务训练的端到端图像文本翻译方法，该方法包括：
步骤S10，获取待翻译的数据，作为输入数据；所述输入数据包括图像、视频、文本；
步骤S20，对所述输入数据进行预处理，预处理后，输入预构建的图像文本翻译模型，得到所述输入数据对应的翻译结果；
所述图像文本翻译模型包括特征提取器、编码器-解码器；所述图像文本翻译模型其训练方法为：
A10，获取训练样本数据及其对应的翻译结果真值标签；所述训练样本数据包括图像、视频、文本；
A20，对所述训练样本数据进行预处理，得到预处理数据；并提取所述预处理数据的特征；
A30，将提取的特征输入编码器-解码器中，得到训练样本数据对应的翻译预测结果；
A40，计算翻译预测结果、翻译结果真值标签的损失值，并将图像、视频、文本不同类别的训练样本数据对应的损失值进行加权求和，作为总损失；基于所述总损失更新图像文本翻译模型的模型参数。
在一些优选的实施方式中，若所述输入数据为文本，预处理包括：标点符号标准化、分词以及将低频词替换为特殊标记；所述低频词为未出现在词表中的词汇；
若所述输入数据为图像，预处理包括：图像尺寸变换、图像文本检测、分割、矫正；
若所述输入数据为视频，预处理过程为：将视频分帧，并提取视频的帧图像；将帧图像按照图像预处理方法进行预处理。
在一些优选的实施方式中，步骤A20中“提取所述预处理数据的特征”，其方法为：
若所述输入数据为图像/视频，提取过程为：通过基于残差连接的卷积神经网络构建的特征提取器提取预处理数据的特征；
若所述输入数据为文本，提取过程为：通过词嵌入模型对所述预处理数据进行向量化表示。
在一些优选的实施方式中，所述编码器基于双向循环神经网络构建；所述解码器基于注意力机制的循环神经网络构建。
在一些优选的实施方式中，所述编码器-解码器为基于自注意力机制的编码器-解码器。
在一些优选的实施方式中，步骤A40之后还包括对图像文本翻译模型的强化训练，其方法为：结合训练好的图像文本识别模型和文本机器翻译模型，通过预设的多教师分部知识蒸馏方法对图像文本翻译模型进行强化训练学习；所述图像文本识别模型均基于特征提取器、编码器、解码器构建；
通过预设的多教师分部知识蒸馏方法对图像文本翻译模型进行强化训练学习，具体包括：
将图像文本识别模型作为教师模型：通过图像文本识别模型对输入的包含文本的图像进行解码输出，用输出的句子或每一时刻在源端词表上对各个词语的预测分布作为监督信息，对所述图像文本翻译模型的特征提取器、编码器进行监督学习；
将文本机器翻译模型作为教师模型：通过文本机器翻译模型对输入的源端文本进行解码输出，用输出的目标端文本或每一时刻在目标端词表上对各个词语的预测分布作为监督信息，对所述图像文本翻译模型的解码器进行监督学习。
在一些优选的实施方式中，通过预设的多教师分部知识蒸馏方法对图像文本翻译模型进行强化训练学习时的损失函数
为：
其中，
表示图像文本翻译的损失函数，
表示图像文本识别模型知识蒸馏的损失函数，
表示文本机器翻译模型知识蒸馏的损失函数，I表示图像，x表示源端文本，y表示目标端文本，θ表示对应模型的参数，其中
表示图像文本翻译模型的特征提取器，θε表示图像文本翻译模型的编码器，
图像文本翻译模型的解码器，
表示学生模型中的识别解码器，学生模型为以端到端图像文本翻译模型为主体，并替换图像文本识别模型的解码器或文本机器翻译模型的特征提取器后构建的模型，
表示学生模型中的文本特征提取器，
表示图像文本识别模型作为教师模型的参数，
表示文本机器翻译模型作为教师模型的参数，v表示对应词的索引，|Vsrc|表示源端词表大小，|Vtgt|表示目标端词表大小，α、β表示基于分部蒸馏算法的多任务权重，
表示真值函数，当函数的输入为真时，输出为1，否则为0；s表示源端语言的解码时刻，S表示源端语言的最大长度,t表示目标端语言的解码时刻,T表示目标端语言的最大长度。
本发明的第二方面，提出了一种基于多任务训练的端到端图像文本翻译系统，该系统包括：数据获取模块、翻译模块；
所述数据获取模块，配置为获取待翻译的数据，作为输入数据；所述输入数据包括图像、视频、文本；
所述翻译模块，配置为对所述输入数据进行预处理，预处理后，输入预构建的图像文本翻译模型，得到所述输入数据对应的翻译结果；
所述图像文本翻译模型包括特征提取器、编码器-解码器；所述图像文本翻译模型其训练方法为：
A10，获取训练样本数据及其对应的翻译结果真值标签；所述训练样本数据包括图像、视频、文本；
A20，对所述训练样本数据进行预处理，得到预处理数据；并提取所述预处理数据的特征；
A30，将提取的特征输入编码器-解码器中，得到训练样本数据对应的翻译预测结果；
A40，计算翻译预测结果、翻译结果真值标签的损失值，并将图像、视频、文本不同类别的训练样本数据对应的损失值进行加权求和，作为总损失；基于所述总损失更新图像文本翻译模型的模型参数。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并执行以实现上述的基于多任务训练的端到端图像文本翻译方法。
本发明的第四方面，提出了一种处理装置，包括处理器和存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的基于多任务训练的端到端图像文本翻译方法。
本发明的有益效果：
本发明提高了图像文本翻译性能。本发明在训练过程中为多个任务同时训练，可以同时利用不同任务的训练数据，且不同任务之间存在共享信息以及共享部分模型参数，提高了模型的训练效果；在测试和部署过程中，只需要部署端到端图像文本翻译任务，所需的模型存储空间复杂度小，且在测试阶段，模型直接由包含源语言的图像翻译到目标语言，所需的模型解码时间少，可以有效的从质量和效率上提升现阶段基于级联系统的图像文本翻译架构。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的基于多任务训练的端到端图像文本翻译方法的流程示意图；
图2为本发明一种实施例的基于多任务训练的端到端图像文本翻译系统的框架示意图；
图3是本发明一种实施例的图像文本翻译模型的训练过程的详细流程示意图；
图4是本发明一种实施例的图像文本翻译模型的训练过程的框架示意图；
图5是本发明一种实施例的使用循环神经网络作为编解码器的单任务端到端图像文本翻译模型架构图；
图6是本发明一种实施例的使用基于自注意力机制编解码器的单任务端到端图像文本翻译模型架构图；
图7是本发明一种实施例的图像文本翻译任务组合文本机器翻译任务的模型架构图；
图8是本发明一种实施例的图像文本翻译任务组合图像文本识别任务的模型架构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明第一实施例的一种基于多任务训练的端到端图像文本翻译方法，如图1所示，该方法包括以下步骤：
步骤S10，获取待翻译的数据，作为输入数据；所述输入数据包括图像、视频、文本；
步骤S20，对所述输入数据进行预处理，预处理后，输入预构建的图像文本翻译模型，得到所述输入数据对应的翻译结果；
所述图像文本翻译模型包括特征提取器、编码器-解码器；所述图像文本翻译模型其训练方法为：
A10，获取训练样本数据及其对应的翻译结果真值标签；所述训练样本数据包括图像、视频、文本；
A20，对所述训练样本数据进行预处理，得到预处理数据；并提取所述预处理数据的特征；
A30，将提取的特征输入编码器-解码器中，得到训练样本数据对应的翻译预测结果；
A40，计算翻译预测结果、翻译结果真值标签的损失值，并将图像、视频、文本不同类别的训练样本数据对应的损失值进行加权求和，作为总损失；基于所述总损失更新图像文本翻译模型的模型参数。
为了更清晰地对本发明基于多任务训练的端到端图像文本翻译方法进行说明，下面对本发明方法一种实施例中各步骤进行展开详述。
在下文实施例中，先对图像文本翻译模型的训练过程进行描述，如图3所示，具体在下文中描述，再对基于多任务训练的端到端图像文本翻译方法获取检测结果进行详述。
1、图像文本翻译模型的训练过程，如图3、4所示
A10，获取训练样本数据及其对应的翻译结果真值标签；所述训练样本数据包括图像、视频、文本；
在本实施例中，获取训练样本数据，本发明中训练样本数据包括图像、文本、视频；并获取训练样本数据对应的翻译结果真值标签。
A20，对所述训练样本数据进行预处理，得到预处理数据；并提取所述预处理数据的特征；
在本实施例中，先判断当前任务的输入的数据模态，即判断训练样本数据的类别。若训练样本数据为文本，则对文本进行预处理操作。文本的预处理操作包括：标点符号标准化、分词、低频词(低频词为未出现在词表中的词汇)替换为特殊标记(如[UNK])即预设的标记符号。文本预处理的输出为将文本中的每一句话表示为一个处理后的字符串(字符串长度为按照相应分词单元切分的句子长度Lensent)。
若训练样本数据为图像，预处理操作包括：图像尺寸变换、图像文本检测、分割、矫正等模块。具体的，图像尺寸变化是利用插值算法将图像放大(或缩小)到预定义的图像大小(imgW×imgH，imgW为图像宽度，imgH为图像高度)；图像文本检测是检测出一个图像中文本所在的位置；分割是将包含文本的图像区域分割出来得到一个子图像；矫正是将分割得到的子图像中的文本按照水平方式进行重新呈现。图像预处理模块的输出为：每一张图片表示为一个矩阵(imgW×imgH)。
若训练样本数据为视频，预处理操作为：将视频分帧后，提取视频的帧图像，并按照图像预处理操作方法对帧图像进行预处理。
预处理后，通过特征提取预处理数据的特征，具体如下：
若训练样本数据为图像或视频时，通过基于残差连接的卷积神经网络，即残差网络，例如ResNet等，提取预处理数据的特征。其中，基于残差连接的卷积神经网络通过卷积、池化、残差连接和激活的复用得到图像的特征表达。双向循环神经网络则是对图像文本特征进行初步的序列化建模。输出为：每一张图像表示为一个矩阵(Lenimg×Dimg，Lenimg为图像特征序列长度，Dimg为图像特征隐层维度)。
若训练样本数据为文本，通过词嵌入模型对文本中每一个分词单元(如字符单元、亚词单元、词单元)进行向量化表示。输出为：每一个句子表示为一个矩阵(Lensent×Demb，Lensent为按照相应分词单元切分的句子长度，Demb为文本嵌入维度)。
A30，将提取的特征输入编码器-解码器中，得到训练样本数据对应的翻译预测结果；
在本实施例中，编码器-解码器的结构包括两种，一种：编码器基于双向循环神经网络构建；解码器基于注意力机制的循环神经网络构建；另一种：编码器-解码器为基于自注意力机制的编码器-解码器。
另外，在进行特征编码器时，可以设置当前任务编码器是否共享模型参数(即图像编码器、视频编码器、文本编码器是否共享模型参数)。若共享模型参数，则根据共享设置，将相应任务的编码器模型参数进行共享；否则对不同的任务使用不同的编码器模型参数；编码后的特征输出为：每一个特征输入编码为一个矩阵(LenEnc×DEnc，LenEnc为编码器的特征编码长度，DEnc为编码器的隐层特征维度)。
在对编码后的特征进行解码时，也可以设置当前任务解码器是否共享模型参数，若共享模型参数，则根据共享设置，将相应任务的解码器模型参数进行共享；否则对不同的任务使用不同的解码器模型参数。解码后的特征输出为：每一个编码器输入解码为一个矩阵(LenDec×DDec，LenDec为解码器的特征编码长度，DDec为解码器的隐层特征维度)，即翻译预测结果。
A40，计算翻译预测结果、翻译结果真值标签的损失值，并将图像、视频、文本不同类别的训练样本数据对应的损失值进行加权求和，作为总损失；基于所述总损失更新图像文本翻译模型的模型参数。
在本实施例中，对每一任务的特征解码结果，即翻译预测结果和相应的真值标签计算损失，每一个任务的训练损失为一个实数值。并根据预定义的任务权重，对不同任务的训练损失进行加权求和，作为总损失。
基于总损失，使用梯度下降优化算法更新图像文本翻译模型的模型参数。循环执行步骤A10-A40，直至模型收敛或达到设定的训练次数，得到训练好的图像文本翻译模型。
为了进一步提升图像文本翻译模型的性能，本发明在步骤A40之后，结合训练好的图像文本识别模型和文本机器翻译模型，通过多教师分部知识蒸馏方法对图像文本翻译模型进行强化训练学习。
一般的知识蒸馏方法常用于大模型简化、相同或相似任务的模型的知识迁移，而在本发明提出的方法中，是进行跨模态、跨任务的知识蒸馏。
端到端图像文本翻译模型与图像文本识别模型和文本机器翻译模型(在本发明中图像文本识别模型和文本机器翻译模型均基于特征提取器、编码器、解码器构建，其中图像文本识别模型的为识别解码器(即输出的预测单词为源端语言单词)，文本机器翻译模型的特征提取器为文本特征提取器)在一定程度上具有相似性。端到端图像文本翻译的输入同图像文本识别模型的输入模态相同，均为含有图像文本的图片或视频帧；端到端图像文本翻译的输出同文本机器翻译模型的输出模态相同，均为目标语言的文本。图像文本识别模型和文本机器翻译模型都具有大规模的训练数据，且这两个任务都有大量的研究进行特定的模型设计。基于已经训练完成的具有较好性能的图像文本识别模型和文本机器翻译模型，可以利用我们改进的跨模态，跨任务的分部蒸馏方法来提升端到端图像文本翻译模型的性能，且分部蒸馏方法可以非常容易的引入到我们提出的多任务的端到端图像文本翻译的框架中。具体的，在图像文本识别模型为教师模型时，使用端到端图像文本翻译的特征提取器、编码器，并引入学生识别解码器(即图像文本识别模型的解码器，输出的预测单词为源端语言单词)来进行训练。训练过程的监督信号可以分为两种类型，一种是将输入的图片直接由图像文本识别教师模型进行解码输出，得到的句子为伪标签，并让学生模型来进行监督学习；另一种是将输入的图片由图像文本识别教师模型解码的每一个时刻的预测的分布作为监督信息让学生模型来进行监督学习。该过程为将图像文本识别模型的知识蒸馏到端到端图像文本翻译的图像特征提取器和编码器中。
利用图像文本识别模型作为教师模型进行分部蒸馏的方法具体如下：
1)首先构建学生模型的识别解码器，其输入为来自端到端图像文本翻译编码器输出的特征编码矩阵(LenEnc×DEnc，LenEnc为编码器的特征编码长度，DEnc为编码器的隐层特征维度)。经过识别解码器解码运算后得到特征解码矩阵HD(LenDec×|Vsrc|，LenDec为解码器的特征解码长度，|Vsrc|为源端词表大小),该特征解码矩阵表示模型各个时刻在源端词表上对各个词语的预测分布；
2)给定图像输入，使用步骤A20的图像预处理方法。图像文本识别模型对输入的图像进行处理，得到输出的教师模型的特征解码矩阵
(LenDec×|Vsrc|，LenDec为解码器的特征解码长度，|Vsrc|为源端词表大小),即教师模型在解码的各个时刻在源端词表上对各个词语的预测分布。根据柱搜索算法可以得到每个时刻教师模型的预测词语的输出；
3)给定相同的图像输入，使用步骤A20的图像预处理方法。使用端到端图像文本翻译模型的特征提取器、编码器和学生模型识别解码器，得到教师模型的特征解码矩阵
(LenDec×|Vsrc|，LenDec为解码器的特征解码长度，|Vsrc|为源端词表大小)。类似的，根据柱搜索算法，可以得到每个时刻学生模型的预测词语的输出；
4)以教师模型的输出作为训练标签对学生模型进行参数优化。在训练过程中，教师模型的参数不进行更新。
在文本机器翻译模型作为教师模型时，添加学生模块文本特征提取器(即将端到端图像文本翻译模型的特征提取器替换为文本机器翻译模型的特征提取器)，结合端到端图像文本翻译的编码器和解码器来进行训练。训练过程的监督信号类似的分为两种，一种是将输入的源端语言经过文本翻译模型的到目标端语言句子，作为伪标签来让学生模型进行监督学习；另一种是将文本翻译模型解码的每一个时刻的预测的目标语言的分布作为监督信息让学生模型来进行监督学习。该过程为将文本机器翻译模型的知识蒸馏到端到端图像文本翻译的解码器中。
利用文本机器翻译模型作为教师模型进行分部蒸馏的方法具体如下：
1)首先构建学生模型的文本特征提取器，其输入为经过词嵌入的源端语言句子。其特征编码输出将由端到端图像文本翻译模型的编码器、解码器进一步计算后得到最终的特征解码矩阵HD(LenDec×|Vtgt|，LenDec为解码器的特征解码长度，|Vtgt|为目标端词表大小),该特征解码矩阵表示模型各个时刻在目标端词表上对各个词语的预测分布；
2)给定源端语言句子输入，文本机器翻译教师模型对源端语言句子进行处理，得到输出的教师模型的特征解码矩阵
(LenDec×|Vtgt|，LenDec为解码器的特征解码长度，|Vtgt|为目标端词表大小),即教师模型在解码的各个时刻在目标端词表上对各个词语的预测分布。根据柱搜索算法可以得到每个时刻教师模型的预测词语的输出；
3)给定源端语言句子输入，使用学生模型的文本特征提取器，端到端图像文本翻译的编码器和解码器，得到教师模型的特征解码矩阵
(LenDec×|Vtgt|，LenDec为解码器的特征解码长度，|Vtgt|为目标端词表大小)。类似的，根据柱搜索算法，可以得到每个时刻学生模型的预测词语的输出；
4)以教师模型的输出作为训练标签对学生模型进行参数优化。在分部知识蒸馏训练过程中，教室模型的参数不进行更新。
通过多教师分部知识蒸馏方法对图像文本翻译模型进行强化训练学习时的损失函数
为：
其中，
表示图像文本翻译的损失函数，
表示图像文本识别模型知识蒸馏的损失函数，
表示文本机器翻译模型知识蒸馏的损失函数，I表示图像，x表示源端文本，y表示目标端文本，θ表示对应模型的参数，其中
表示图像文本翻译模型的特征提取器，θε表示图像文本翻译模型的编码器，
图像文本翻译模型的解码器，
表示学生模型中的识别解码器，学生模型为以端到端图像文本翻译模型为主体，并替换图像文本识别模型的解码器或文本机器翻译模型的特征提取器后构建的模型，
表示学生模型中的文本特征提取器，
表示图像文本识别模型作为教师模型的参数，
表示文本机器翻译模型作为教师模型的参数，v表示对应词的索引，|Vsrc|表示源端词表大小，|Vtgt|表示目标端词表大小，α、β表示基于分部蒸馏算法的多任务权重，
表示真值函数，当函数的输入为真时，输出为1，否则为0；s表示源端语言的解码时刻，S表示源端语言的最大长度，t表示目标端语言的解码时刻,T表示目标端语言的最大长度。
通过上述方法，虽然引入了额外的学生模块(文本特征提取器，识别解码器)，但是可以在不改变多任务学习的框架下，进一步强化训练端到端图像文本翻译模型的特征提取器、编码器和解码器，以得到更好的翻译效果。需要注意的是，如果没有已经训练好的图像文本识别模型和文本机器翻译模型，也可以将多任务学习中引入的识别模型和文本翻译模型作为教师模型进行知识蒸馏的训练，这样可以将简单任务的模型(图像文本识别、文本机器翻译)学习到的知识更好的蒸馏到困难任务(端到端图像文本翻译)模型上。
另外，本发明使用了一个视频字幕的图像文本翻译测试集验证基于不同任务组合的训练效果。为了验证本发明的方法，我们采用了多种任务组合的方式进行多任务图像文本翻译模型训练。具体如下：
任务组合1：单任务训练端到端图像文本翻译。图像文本预处理模块使用残差网络(ResNet)、双向循环神经网络等；编码器模块使用双向循环神经网络；解码器模块使用基于注意力机制的循环神经网络解码器。模型架构图如图5所示。
任务组合2:单任务训练端到端图像文本翻译。图像文本预处理模块使用残差网络(ResNet)、双向循环神经网络等；编码器模块使用基于自注意力机制的编码器；解码器模块使用基于自注意力机制的解码器。模型架构图如图6所示。
任务组合3:图像文本翻译任务+文本机器翻译任务。对于图像文本翻译任务，图像文本预处理模块使用残差网络(ResNet)、双向循环神经网络等；编码器模块使用基于自注意力机制的编码器；解码器模块使用基于自注意力机制的解码器。对于文本机器翻译任务，文本预处理模块使用标点标准化、分词、低频词替换及可训练的词嵌入；编码器模块使用基于自注意力机制的编码器；解码器模块使用基于自注意力机制的解码器。两个任务共享解码器模块。模型架构图如图7所示。
图像文本翻译模型联合文本机器翻译模型(Machine Translation,MT)的损失函数为：
任务组合4:图像文本翻译任务+图像文本识别任务(即图像文本翻译和图像文本识别两个任务共享了图像的特征提取模块，这两个任务联合训练可以更好的提升图像特征提取模型的训练效果，以得到更好的图像特征提取，在进行翻译的时候，得到更好的翻译结果)。对于图像文本翻译任务，图像文本预处理模块使用残差网络(ResNet)、双向循环神经网络等；编码器模块使用基于自注意力机制的编码器；解码器模块使用基于自注意力机制的解码器。对于图像文本识别翻译任务，图像文本预处理模块使用残差网络(ResNet)、双向循环神经网络等；编码器模块使用基于自注意力机制的编码器；解码器模块使用基于自注意力机制的解码器。两个任务共享编码器模块。模型架构图如图8所示。
图像文本翻译模型联合图像文本识别模型训练时的损失函数
为：
其中，I表示图像，x表示源端语言文本，y表示目标端语言文本，θ表示对应模型的参数，v表示对应词的索引，|V|表示词表大小，λ表示多任务学习中预设权重，
表示真值函数，当函数的输入为真时，输出为1，否则为0，s表示源端语言的解码时刻，S表示源端语言的最大长度，t表示目标端语言的解码时刻，T表示目标端语言的最大长度。
可见任务组合1、任务组合2为单任务图像文本翻译模型训练；任务组合3、任务组合4为双任务组合的图像文本翻译模型训练。在解码器的粒度选择上，我们同时进行了使用字符和亚词作为解码单元的实验。
表1
表1给出了本发明的实验结果，其指标是计算机器翻译的译文和标准译文之间的BLEU值(该指标数值越大越好)。可见(1)任务组合2较任务组合1有一定的性能提升，说明使用基于自注意力的编解码器有利于图像文本翻译的特征编码及解码输入；(2)任务组合3、任务组合4较任务组合2有一定的性能提升，说明双任务联合训练有利于提升端到端图像文本翻译的性能；(3)任务组合3较任务组合4有一定的性能提升，说明图像文本翻译任务+文本翻译任务比图像文本翻译任务+图像文本识别任务更有利于提升端到端图像文本翻译任务的训练；(4)解码粒度，字符级别的解码粒度对于英中翻译效果较好，亚词级别的解码粒度对于中英翻译效果较好。
2、基于多任务训练的端到端图像文本翻译方法
步骤S10，获取待翻译的数据，作为输入数据；所述输入数据包括图像、视频、文本；
在本实施例中，先获取待翻译的数据，作为输入数据。
步骤S20，对所述输入数据进行预处理，预处理后，输入预构建的图像文本翻译模型，得到所述输入数据对应的翻译结果。
在本实施例中，对所述输入数据进行预处理，得到预处理数据。将预处理数据输入上述训练好的图像文本翻译模型，得到翻译结果，具体过程可参考上述A20-A30。
本发明第二实施例的一种基于多任务训练的端到端图像文本翻译系统，如图2所示，包括：数据获取模块100、翻译模块200；
所述数据获取模块100，配置为获取待翻译的数据，作为输入数据；所述输入数据包括图像、视频、文本；
所述翻译模块200，配置为对所述输入数据进行预处理，预处理后，输入预构建的图像文本翻译模型，得到所述输入数据对应的翻译结果；
所述图像文本翻译模型包括特征提取器、编码器-解码器；所述图像文本翻译模型其训练方法为：
A10，获取训练样本数据及其对应的翻译结果真值标签；所述训练样本数据包括图像、视频、文本；
A20，对所述训练样本数据进行预处理，得到预处理数据；并提取所述预处理数据的特征；
A30，将提取的特征输入编码器-解码器中，得到训练样本数据对应的翻译预测结果；
A40，计算翻译预测结果、翻译结果真值标签的损失值，并将图像、视频、文本不同类别的训练样本数据对应的损失值进行加权求和，作为总损失；基于所述总损失更新图像文本翻译模型的模型参数。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的系统的具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于多任务训练的端到端图像文本翻译系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并实现上述的基于多任务训练的端到端图像文本翻译方法。
本发明第四实施例的一种处理装置，包括处理器和存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的基于多任务训练的端到端图像文本翻译方法。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种基于多任务训练的端到端图像文本翻译方法，其特征在于，该方法包括：
步骤S10，获取待翻译的数据，作为输入数据；所述输入数据包括图像、视频、文本；
步骤S20，对所述输入数据进行预处理，预处理后，输入预构建的图像文本翻译模型，得到所述输入数据对应的翻译结果；
所述图像文本翻译模型包括特征提取器、编码器-解码器；所述图像文本翻译模型其训练方法为：
A10，获取训练样本数据及其对应的翻译结果真值标签；所述训练样本数据包括图像、视频、文本；
A20，对所述训练样本数据进行预处理，得到预处理数据；并提取所述预处理数据的特征；
A30，将提取的特征输入编码器-解码器中，得到训练样本数据对应的翻译预测结果；
A40，计算翻译预测结果、翻译结果真值标签的损失值，并将图像、视频、文本不同类别的训练样本数据对应的损失值进行加权求和，作为总损失；基于所述总损失更新图像文本翻译模型的模型参数。
2.根据权利要求1所述的基于多任务训练的端到端图像文本翻译方法，其特征在于，
若所述输入数据为文本，预处理包括：标点符号标准化、分词以及将低频词替换为特殊标记；所述低频词为未出现在词表中的词汇；
若所述输入数据为图像，预处理包括：图像尺寸变换、图像文本检测、分割、矫正；
若所述输入数据为视频，预处理过程为：将视频分帧，并提取视频的帧图像；将帧图像按照图像预处理方法进行预处理。
3.根据权利要求1所述的基于多任务训练的端到端图像文本翻译方法，其特征在于，步骤A20中“提取所述预处理数据的特征”，其方法为：
若所述输入数据为图像/视频，提取过程为：通过基于残差连接的卷积神经网络构建的特征提取器提取预处理数据的特征；并利用双向循环神经网络对图像特征进行初步的序列建模；
若所述输入数据为文本，提取过程为：通过词嵌入模型对所述预处理数据进行向量化表示。
4.根据权利要求1所述的基于多任务训练的端到端图像文本翻译方法，其特征在于，所述编码器基于双向循环神经网络构建；所述解码器基于注意力机制的循环神经网络构建。
5.根据权利要求1所述的基于多任务训练的端到端图像文本翻译方法，其特征在于，所述编码器-解码器为基于自注意力机制的编码器-解码器。
6.根据权利要求1所述的基于多任务训练的端到端图像文本翻译方法，其特征在于，步骤A40之后还包括对图像文本翻译模型的强化训练，其方法为：结合训练好的图像文本识别模型和文本机器翻译模型，通过预设的多教师分部知识蒸馏方法对图像文本翻译模型进行强化训练学习；所述图像文本识别模型均基于特征提取器、编码器、解码器构建；
通过预设的多教师分部知识蒸馏方法对图像文本翻译模型进行强化训练学习，具体包括：
将图像文本识别模型作为教师模型：通过图像文本识别模型对输入的包含文本的图像进行解码输出，用输出的句子或每一时刻在源端词表上对各个词语的预测分布作为监督信息，对所述图像文本翻译模型的特征提取器、编码器进行监督学习；
将文本机器翻译模型作为教师模型：通过文本机器翻译模型对输入的源端文本进行解码输出，用输出的目标端文本或每一时刻在目标端词表上对各个词语的预测分布作为监督信息，对所述图像文本翻译模型的解码器进行监督学习。
7.根据权利要求6所述的基于多任务训练的端到端图像文本翻译方法，其特征在于，通过预设的多教师分部知识蒸馏方法对图像文本翻译模型进行强化训练学习时的损失函数
为：
其中，
表示图像文本翻译的损失函数，
表示图像文本识别模型知识蒸馏的损失函数，
表示文本机器翻译模型知识蒸馏的损失函数，I表示图像，x表示源端文本，y表示目标端文本，θ表示对应模型的参数，其中
表示图像文本翻译模型的特征提取器，θε表示图像文本翻译模型的编码器，
图像文本翻译模型的解码器，
表示学生模型中的识别解码器，学生模型为以端到端图像文本翻译模型为主体，并替换图像文本识别模型的解码器或文本机器翻译模型的特征提取器后构建的模型，
表示学生模型中的文本特征提取器，
表示图像文本识别模型作为教师模型的参数，
表示文本机器翻译模型作为教师模型的参数，v表示对应词的索引，|Vsrc|表示源端词表大小，|Vtgt|表示目标端词表大小，α、β表示基于分部蒸馏算法的多任务权重，
表示真值函数，当函数的输入为真时，输出为1，否则为0；s表示源端语言的解码时刻，S表示源端语言的最大长度，t表示目标端语言的解码时刻，T表示目标端语言的最大长度。
8.一种基于多任务训练的端到端图像文本翻译系统，其特征在于，该系统包括：数据获取模块、翻译模块；
所述数据获取模块，配置为获取待翻译的数据，作为输入数据；所述输入数据包括图像、视频、文本；
所述翻译模块，配置为对所述输入数据进行预处理，预处理后，输入预构建的图像文本翻译模型，得到所述输入数据对应的翻译结果；
所述图像文本翻译模型包括特征提取器、编码器-解码器；所述图像文本翻译模型其训练方法为：
A10，获取训练样本数据及其对应的翻译结果真值标签；所述训练样本数据包括图像、视频、文本；
A20，对所述训练样本数据进行预处理，得到预处理数据；并提取所述预处理数据的特征；
A30，将提取的特征输入编码器-解码器中，得到训练样本数据对应的翻译预测结果；
A40，计算翻译预测结果、翻译结果真值标签的损失值，并将图像、视频、文本不同类别的训练样本数据对应的损失值进行加权求和，作为总损失；基于所述总损失更新图像文本翻译模型的模型参数。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-7任一项所述的基于多任务训练的端到端图像文本翻译方法。
10.一种处理装置，包括处理器和存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-7任一项所述的基于多任务训练的端到端图像文本翻译方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110306816.7A CN113011202B (zh) | 2021-03-23 | 2021-03-23 | 基于多任务训练的端到端图像文本翻译方法、系统、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110306816.7A CN113011202B (zh) | 2021-03-23 | 2021-03-23 | 基于多任务训练的端到端图像文本翻译方法、系统、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113011202A true CN113011202A (zh) | 2021-06-22 |
| CN113011202B CN113011202B (zh) | 2023-07-25 |
Family
ID=76405167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110306816.7A Active CN113011202B (zh) | 2021-03-23 | 2021-03-23 | 基于多任务训练的端到端图像文本翻译方法、系统、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113011202B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113360701A (zh) * | 2021-08-09 | 2021-09-07 | 成都考拉悠然科技有限公司 | 一种基于知识蒸馏的素描图处理方法及其系统 |
| CN113780252A (zh) * | 2021-11-11 | 2021-12-10 | 深圳思谋信息科技有限公司 | 视频处理模型的训练方法、视频处理方法和装置 |
| CN114626392A (zh) * | 2022-01-29 | 2022-06-14 | 北京中科凡语科技有限公司 | 端到端文本图像翻译模型训练方法 |
| CN116453132A (zh) * | 2023-06-14 | 2023-07-18 | 成都锦城学院 | 基于机器翻译的日语假名和汉字识别方法、设备及存储器 |
| CN116486421A (zh) * | 2023-04-28 | 2023-07-25 | 书行科技(北京)有限公司 | 图像翻译和检测方法、图像模型训练方法及相关产品 |
| CN116843030A (zh) * | 2023-09-01 | 2023-10-03 | 浪潮电子信息产业股份有限公司 | 基于预训练语言模型的因果图像生成方法、装置及设备 |
| CN117034965A (zh) * | 2023-08-08 | 2023-11-10 | 中国科学院自动化研究所 | 基于视觉语言预训练的图像文本翻译方法及装置 |
| CN117079264A (zh) * | 2023-10-17 | 2023-11-17 | 中国科学技术大学 | 场景文本图像识别方法、系统、设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002123744A (ja) * | 2000-10-16 | 2002-04-26 | Iis:Kk | 通信ネットワークによる多言語に翻訳された多言語情報提供の実施方法及びその通信システム並びに記録媒体。 |
| CN108985250A (zh) * | 2018-07-27 | 2018-12-11 | 大连理工大学 | 一种基于多任务网络的交通场景解析方法 |
| CN109447242A (zh) * | 2018-10-10 | 2019-03-08 | 复旦大学 | 基于迭代学习的图像描述重生成系统及方法 |
| US20190180732A1 (en) * | 2017-10-19 | 2019-06-13 | Baidu Usa Llc | Systems and methods for parallel wave generation in end-to-end text-to-speech |
| AU2019101138A4 (en) * | 2019-09-30 | 2019-10-31 | Cheng, Shiyun MISS | Voice interaction system for race games |
| CN110765966A (zh) * | 2019-10-30 | 2020-02-07 | 哈尔滨工业大学 | 一种面向手写文字的一阶段自动识别与翻译方法 |
| CN111223483A (zh) * | 2019-12-10 | 2020-06-02 | 浙江大学 | 一种基于多粒度知识蒸馏的唇语识别方法 |
| CN111310485A (zh) * | 2020-03-12 | 2020-06-19 | 南京大学 | 机器翻译方法、装置及存储介质 |
| CN111950302A (zh) * | 2020-08-20 | 2020-11-17 | 上海携旅信息技术有限公司 | 基于知识蒸馏的机器翻译模型训练方法、装置、设备及介质 |
| CN112015863A (zh) * | 2020-08-26 | 2020-12-01 | 华东师范大学 | 一种基于图神经网络的多元特征融合中文文本分类方法 |
-
2021
- 2021-03-23 CN CN202110306816.7A patent/CN113011202B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002123744A (ja) * | 2000-10-16 | 2002-04-26 | Iis:Kk | 通信ネットワークによる多言語に翻訳された多言語情報提供の実施方法及びその通信システム並びに記録媒体。 |
| US20190180732A1 (en) * | 2017-10-19 | 2019-06-13 | Baidu Usa Llc | Systems and methods for parallel wave generation in end-to-end text-to-speech |
| CN108985250A (zh) * | 2018-07-27 | 2018-12-11 | 大连理工大学 | 一种基于多任务网络的交通场景解析方法 |
| CN109447242A (zh) * | 2018-10-10 | 2019-03-08 | 复旦大学 | 基于迭代学习的图像描述重生成系统及方法 |
| AU2019101138A4 (en) * | 2019-09-30 | 2019-10-31 | Cheng, Shiyun MISS | Voice interaction system for race games |
| CN110765966A (zh) * | 2019-10-30 | 2020-02-07 | 哈尔滨工业大学 | 一种面向手写文字的一阶段自动识别与翻译方法 |
| CN111223483A (zh) * | 2019-12-10 | 2020-06-02 | 浙江大学 | 一种基于多粒度知识蒸馏的唇语识别方法 |
| CN111310485A (zh) * | 2020-03-12 | 2020-06-19 | 南京大学 | 机器翻译方法、装置及存储介质 |
| CN111950302A (zh) * | 2020-08-20 | 2020-11-17 | 上海携旅信息技术有限公司 | 基于知识蒸馏的机器翻译模型训练方法、装置、设备及介质 |
| CN112015863A (zh) * | 2020-08-26 | 2020-12-01 | 华东师范大学 | 一种基于图神经网络的多元特征融合中文文本分类方法 |
Non-Patent Citations (5)
| Title |
|---|
| MA CONG 等: "E2TIMT: Efficient and Effective Modal Adapter for Text Image Machine Translation", 《网页在线公开：HTTPS://ARXIV.ORG/ABS/2305.05166》, pages 1 - 18 * |
| MA CONG 等: "Improving End-to-End Text Image Translation From the Auxiliary Text Translation Task", 《2022 26TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR)》, pages 1664 - 1670 * |
| 叶楠 等: "多语言机器人深度学习模型构建", 《信息与控制》, vol. 49, no. 6, pages 680 - 687 * |
| 李泫才: "端到端语音翻译研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 01, pages 138 - 2476 * |
| 赵阳: "面向语义理解的行为识别研究", 《中国博士学位论文全文数据库信息科技辑》, no. 05, pages 138 - 19 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113360701A (zh) * | 2021-08-09 | 2021-09-07 | 成都考拉悠然科技有限公司 | 一种基于知识蒸馏的素描图处理方法及其系统 |
| CN113360701B (zh) * | 2021-08-09 | 2021-11-02 | 成都考拉悠然科技有限公司 | 一种基于知识蒸馏的素描图处理方法及其系统 |
| CN113780252A (zh) * | 2021-11-11 | 2021-12-10 | 深圳思谋信息科技有限公司 | 视频处理模型的训练方法、视频处理方法和装置 |
| CN114626392A (zh) * | 2022-01-29 | 2022-06-14 | 北京中科凡语科技有限公司 | 端到端文本图像翻译模型训练方法 |
| CN114626392B (zh) * | 2022-01-29 | 2023-02-21 | 北京中科凡语科技有限公司 | 端到端文本图像翻译模型训练方法 |
| CN116486421A (zh) * | 2023-04-28 | 2023-07-25 | 书行科技(北京)有限公司 | 图像翻译和检测方法、图像模型训练方法及相关产品 |
| CN116486421B (zh) * | 2023-04-28 | 2024-03-22 | 书行科技(北京)有限公司 | 一种图像翻译模型的训练方法及相关产品 |
| CN116453132A (zh) * | 2023-06-14 | 2023-07-18 | 成都锦城学院 | 基于机器翻译的日语假名和汉字识别方法、设备及存储器 |
| CN116453132B (zh) * | 2023-06-14 | 2023-09-05 | 成都锦城学院 | 基于机器翻译的日语假名和汉字识别方法、设备及存储器 |
| CN117034965A (zh) * | 2023-08-08 | 2023-11-10 | 中国科学院自动化研究所 | 基于视觉语言预训练的图像文本翻译方法及装置 |
| CN117034965B (zh) * | 2023-08-08 | 2024-03-22 | 中国科学院自动化研究所 | 基于视觉语言预训练的图像文本翻译方法及装置 |
| CN116843030A (zh) * | 2023-09-01 | 2023-10-03 | 浪潮电子信息产业股份有限公司 | 基于预训练语言模型的因果图像生成方法、装置及设备 |
| CN116843030B (zh) * | 2023-09-01 | 2024-01-19 | 浪潮电子信息产业股份有限公司 | 基于预训练语言模型的因果图像生成方法、装置及设备 |
| CN117079264A (zh) * | 2023-10-17 | 2023-11-17 | 中国科学技术大学 | 场景文本图像识别方法、系统、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113011202B (zh) | 2023-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113011202B (zh) | 基于多任务训练的端到端图像文本翻译方法、系统、装置 | |
| RU2691214C1 (ru) | Распознавание текста с использованием искусственного интеллекта | |
| Wu et al. | Nüwa: Visual synthesis pre-training for neural visual world creation | |
| CN106960206B (zh) | 字符识别方法和字符识别系统 | |
| CN110750959B (zh) | 文本信息处理的方法、模型训练的方法以及相关装置 | |
| RU2661750C1 (ru) | Распознавание символов с использованием искусственного интеллекта | |
| CN111079601A (zh) | 基于多模态注意力机制的视频内容描述方法、系统、装置 | |
| CN113076441A (zh) | 关键词抽取方法、装置、电子设备及计算机可读存储介质 | |
| RU2619712C1 (ru) | Оптическое распознавание символов серии изображений | |
| CN111475622A (zh) | 一种文本分类方法、装置、终端及存储介质 | |
| CN114596566B (zh) | 文本识别方法及相关装置 | |
| RU2768211C1 (ru) | Оптическое распознавание символов посредством комбинации моделей нейронных сетей | |
| CN111612010A (zh) | 图像处理方法、装置、设备以及计算机可读存储介质 | |
| CN113177435A (zh) | 试卷分析方法、装置、存储介质及电子设备 | |
| CN113283336A (zh) | 一种文本识别方法与系统 | |
| CN113989577B (zh) | 图像分类方法及装置 | |
| CN114821613A (zh) | 一种pdf中表格信息的抽取方法和系统 | |
| CN113836929A (zh) | 命名实体识别方法、装置、设备及存储介质 | |
| CN116433977B (zh) | 未知类别图像分类方法、装置、计算机设备及存储介质 | |
| CN116311322A (zh) | 一种文档版面要素检测方法、装置、存储介质及设备 | |
| CN115438220A (zh) | 一种噪音鲁棒学习的跨语言跨模态检索方法及装置 | |
| CN108921911B (zh) | 结构化图片自动转换为源代码的方法 | |
| CN117690192B (zh) | 多视图实例-语义共识挖掘的异常行为识别方法和设备 | |
| Diesbach et al. | Generating synthetic styled chu nom characters | |
| CN116847091B (zh) | 图像编码方法、系统、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |