CN116681088A - 一种基于大模型的翻译系统、方法及储存介质 - Google Patents

一种基于大模型的翻译系统、方法及储存介质 Download PDF

Info

Publication number
CN116681088A
CN116681088A CN202310596554.1A CN202310596554A CN116681088A CN 116681088 A CN116681088 A CN 116681088A CN 202310596554 A CN202310596554 A CN 202310596554A CN 116681088 A CN116681088 A CN 116681088A
Authority
CN
China
Prior art keywords
language text
text
translation
model
target language
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310596554.1A
Other languages
English (en)
Inventor
周玉
翟飞飞
史桂华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongkefan Language Technology Co ltd
Original Assignee
Beijing Zhongkefan Language Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongkefan Language Technology Co ltd filed Critical Beijing Zhongkefan Language Technology Co ltd
Priority to CN202310596554.1A priority Critical patent/CN116681088A/zh
Publication of CN116681088A publication Critical patent/CN116681088A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于大模型的翻译系统，包括神经网络翻译模型、以及对神经网络翻译模型翻译结果进行优化的优化模型；与现有技术相比，本发明首先通过神经网络翻译模型得到初始的翻译结果，随后通过大模型配合优化模型来对初始的翻译结果的翻译结果进行优化，兼具两者的优点，使得翻译结果语言通畅流利，文本忠实高，同时，通过文本分类将源语言文本X划分成不同类型，构建不同的模板库，在为大模型对翻译结果的优化提供更具体技术支持的同时，也能够在优化翻译结果的过程中，根据不同的翻译结果来对模板库进行动态优化，确保后续翻译效果，提高后续的翻译精度。

Description

一种基于大模型的翻译系统、方法及储存介质
技术领域
本发明涉及自然语言处理领域，具体为一种基于大模型的翻译系统、方法及储存介质。
背景技术
自然语言处理是指利用人类交流所使用的自然语言与机器进行交互通讯的技术，通过人为对自然语言的处理，促使计算机能够理解人类的语言，进而实现人机的交互，而机器翻译技术是自然语言处理领域的一个重要方向，随着人工智能技术的发展，神经机器翻译技术在日常生活中的应用日臻成熟和完善，然而仍然存在互译性差的问题。
而在对语言文本的翻译领域中，通过大模型进行翻译的方法也较为常见，大模型又可以称为Foundation Model模型，模型通过亿级的语料或者图像进行知识抽取，学习进而生产了亿级参数的大模型，在单独使用大模型进行翻译时，其翻译结果语言通畅流利，却存在意思不忠实原文的问题。
综上所述，现需提供一种解决现有翻译系统中，大模型翻译不忠实原文以及神经机器翻译技术互译性差的技术方案。
发明内容
为解决上述问题，本发明提供如下技术方案：
一种基于大模型的翻译方法，包括如下步骤：
S1、选取源语言文本，记作X，将源语言文本X输入至神经网络翻译模型，经由神经网络翻译模型得到目标语言文本，记作Y1；
S2、至少将目标语言文本Y1输入至大模型，经由大模型获得目标语言文本，记作Y2。
进一步的，一种基于大模型的翻译方法还包括如下步骤：
S3、计算目标语言文本Y1与目标语言文本Y2的相似度值，并与第一设定阈值相比对；
S4、在目标语言文本Y1与目标语言文本Y2的相似度值大于第一设定阈值时，输出目标语言文本Y2，反之，则输出目标语言文本Y1。
进一步的，本方法构建至少一个prompt模板库，将prompt模板库和目标语言文本Y1输入至大模型进行文本优化。
进一步的，根据预先设定的文本类型构建至少一个prompt模板库。
进一步的，所述预先设定的文本类型包括新闻、论文、文学。
进一步的，将目标语言文本Y1输入至大模型之前，由文本分类模型对源语言文本X进行分类，得到源语言文本X的类型
进一步的，本方法还包括选取与源语言文本X的类型对应的prompt模板库，将并源语言文本X、目标语言文本Y1以及与源语言文本X的类型对应的prompt模板库输入至大模型，得到目标语言文本Y2
进一步的，目标语言文本Y1与目标语言文本Y2的相似度值大于第二设定阈值时，将文本对(X，Y2)加入prompt模板库
本发明还公开了一种基于大模型的翻译系统，包括：
神经网络翻译模型，其用于对源语言文本进行翻译，并得出翻译结果文本；
优化模型，其用于将翻译结果文本输入至大模型中，并根据大模型所得出翻译结果文本对神经网络翻译模型的翻译结果文本进行优化；
至少一个prompt模板库；
文本分类模型，用于对源语言文本进行分类，得到源语言文本类型，并根据源语言文本类型选取prompt模板库。
本发明还公开了一种可读存储介质，其特征在于，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现上述方法中任一项所述的方法。
有益效果
与现有技术相比，本发明首先通过神经网络翻译模型得到初始的翻译结果，随后通过大模型配合优化模型来对初始的翻译结果的翻译结果进行优化，兼具两者的优点，使得翻译结果语言通畅流利，文本忠实高，同时，通过文本分类模型将源语言文本X划分成不同类型，构建不同的prompt模板库，为大模型对翻译结果的优化提供更具体技术支持，本发明在优化翻译结果的过程中，能够根据翻译结果来对模板库进行动态优化，确保后续翻译效果，提高后续的翻译精度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为发明实施例1的流程框图；
图2为发明实施例2的流程框图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
实施例1：
请参阅图1，本发明公开了一种基于大模型的翻译系统，包括神经网络翻译模型，神经网络翻译模型能够用于对源语言文本X进行翻译，并得出翻译结果文本，随后将翻译结果文本输入至大模型中，利用大模型对神经网络翻译模型的翻译结果文本进行优化。
具体的，为对上述系统进行详细说明，现公开一种基于大模型的翻译方法，包括如下步骤：
S1、选取源语言文本，记作X，将源语言文本X输入至神经网络翻译模型，经由神经网络翻译模型得到目标语言文本，记作Y1。
S2、优化模型将目标语言文本Y1输入至大模型，经由大模型获得目标语言文本，记作Y2。
本实施例首先通过神经网络翻译模型得到初始的翻译结果，接着使用大模型对初始的翻译结果的翻译结果进行润色，兼具两者的优点，从而使得翻译结果语言通畅流利，文本忠实高。
实施例2：
请参阅图2，与实施例1不同的是，本实施例的基于大模型的翻译系统，优化模型能够对大模型的输出结果与神经网络翻译模型的输出结果进行比对，从而筛选出准确率高，且语言流畅的翻译结果。
具体的，为对上述系统进行详细说明，现公开一种基于大模型的翻译方法，包括如下步骤：
S1、选取源语言文本，记作X，将源语言文本X输入至神经网络翻译模型，经由神经网络翻译模型得到目标语言文本，记作Y1。
S2、优化模型将目标语言文本Y1输入至大模型，经由大模型获得目标语言文本，记作Y2。
S3、优化模型计算目标语言文本Y1与目标语言文本Y2的相似度，并与第一设定阈值相比对，其用于Y1与Y2的相似性，判断是否有偏差，其中第一设定阈值由操作者事先进行设定，而Y1与Y2相似度的计算方式为现有公知技术，可根据例如计算余弦相似度的方法进行计算。
S4、根据比对结果输出符合标准的目标语言文本，在Y2与Y1的相似度与第一设定阈值相比，偏差过大时，将Y2进行剔除。
上述系统及方法，通过将神经网络翻译模型与大模型相结合，在对大模型根据神经网络翻译模型翻译结果进行优化的基础上，进一步的对大模型以及神经网络翻译模型所得出的翻译结果进行比对，实现对翻译结果的优化，确保得出的翻译结果尽可能的符合使用者的预期。
实施例3：
与实施例2不同的是，基于大模型的翻译系统还包括文本分类模型、以及prompt模板库。
其中，文本分类模型能够用于对源语言文本进行分类，而prompt模板库则根据文本类型构建而成，能够为大模型提供与源语言文本的类型相对应的模板库。
本实施例的基于大模型的翻译方法包括如下步骤：
S1、构建至少一个prompt模板库。
其中，prompt模板库的数量根据需要进行翻译的文本的文本类型进行选择，常见的文本类型包括新闻、论文、文学，不同的文本分类方式也能够分出不同的文本类型；
S2、选取源语言文本，记作X，将源语言文本X输入至神经网络翻译模型，经由神经网络翻译模型得到目标语言文本，记作Y1。
S3、对源语言文本进行分类，得到源语言的文本类型，获得源语言文本X类型后，选取与之对应的prompt模板库。
S4、选取与源语言文本X的类型对应的prompt模板库，将并源语言文本X、目标语言文本Y1以及与源语言文本X的类型对应的prompt模板库输入至大模型，得到目标语言文本Y2。
S5、计算目标语言文本Y1与目标语言文本Y2的相似度值，并与第一设定阈值相比对。
S6、在目标语言文本Y1与目标语言文本Y2的相似度值大于第一设定阈值时，输出目标语言文本Y2，反之，则输出目标语言文本Y1。
上述系统及方法，在实施例2的基础上，加入了文本分类模型以及与若干文本类型相对应的prompt模板库，通过先将源语言文本X根据文本类型进行分类，再为大模型提供与源语言文本X类型一致的prompt模板的方式，为对大模型的输出结构进行优化，确保大模型所得出翻译结果与原文的忠实度更高，进一步的提升翻译系统整体的翻译精度。
实施例4：
与实施例3不同的是，在将目标语言文本Y1与目标语言文本Y2的相似度与第一设定阈值相比对后，若目标语言文本Y2未被剔除，再对目标语言文本Y1与目标语言文本Y2的相似度与第二设定阈值进行比对，在Y1与Y2的相似度大于第二设定阈值时，将文本对(X，Y2)加入prompt模板库。
其中，Y1与Y2相似度的计算方式可与实施例3中一致，为现有公知技术，而第二设定阈值用于判断文本Y2是否同时具备翻译的流畅性以及准确性。
通过将大模型所得出的翻译结果的文本对输入至模板库的方式，能够实现对模板库的动态优化，进而提升后续的翻译结果对文本的忠实度。
实施例5：
与实施例4不同的是，本实施例公开了一种可读存储介质，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现实施例1～4中的任一项所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于大模型的翻译方法，其特征在于，包括如下步骤：
S1、选取源语言文本，记作X，将源语言文本X输入至神经网络翻译模型，经由神经网络翻译模型得到目标语言文本，记作Y1；
S2、至少将目标语言文本Y1输入至大模型，经由大模型获得目标语言文本，记作Y2。
2.根据权利要求2所述的一种基于大模型的翻译方法，其特征在于，还包括如下步骤：
S3、计算目标语言文本Y1与目标语言文本Y2的相似度值，并与第一设定阈值相比对；
S4、在目标语言文本Y1与目标语言文本Y2的相似度值大于第一设定阈值时，输出目标语言文本Y2，反之，则输出目标语言文本Y1。
3.根据权利要求1或2所述的一种基于大模型的翻译方法，其特征在于，还包括：构建至少一个prompt模板库，将prompt模板库和目标语言文本Y1输入至大模型进行文本优化。
4.根据权利要求3所述的一种基于大模型的翻译方法，其特征在于，还包括：根据预先设定的文本类型构建至少一个prompt模板库。
5.根据权利要求4所述的一种基于大模型的翻译方法，其特征在于，所述预先设定的文本类型包括新闻、论文、文学。
6.根据权利要求1-5所述的一种基于大模型的翻译方法，其特征在于，还包括：将目标语言文本Y1输入至大模型之前，由文本分类模型对源语言文本X进行分类，得到源语言文本X的类型。
7.根据权利要求6所述的一种基于大模型的翻译方法，其特征在于，还包括：选取与源语言文本X的类型对应的prompt模板库，将并源语言文本X、目标语言文本Y1以及与源语言文本X的类型对应的prompt模板库输入至大模型，得到目标语言文本Y2。
8.根据权利要求7所述的一种基于大模型的翻译方法，其特征在于，目标语言文本Y1与目标语言文本Y2的相似度值大于第二设定阈值时，将文本对(X，Y2)加入prompt模板库。
9.一种基于大模型的翻译系统，其特征在于，包括：
神经网络翻译模型，其用于对源语言文本进行翻译，并得出翻译结果文本；
优化模型，其用于将翻译结果文本输入至大模型中，并根据大模型所得出翻译结果文本对神经网络翻译模型的翻译结果文本进行优化；
至少一个prompt模板库；
文本分类模型，用于对源语言文本进行分类，得到源语言文本类型，并根据源语言文本类型选取prompt模板库。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现如权利要求1至8中任一项所述的方法。
CN202310596554.1A 2023-05-25 2023-05-25 一种基于大模型的翻译系统、方法及储存介质 Pending CN116681088A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310596554.1A CN116681088A (zh) 2023-05-25 2023-05-25 一种基于大模型的翻译系统、方法及储存介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310596554.1A CN116681088A (zh) 2023-05-25 2023-05-25 一种基于大模型的翻译系统、方法及储存介质

Publications (1)

Publication Number Publication Date
CN116681088A true CN116681088A (zh) 2023-09-01

Family

ID=87781699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310596554.1A Pending CN116681088A (zh) 2023-05-25 2023-05-25 一种基于大模型的翻译系统、方法及储存介质

Country Status (1)

Country Link
CN (1) CN116681088A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117273026A (zh) * 2023-10-11 2023-12-22 北京寻医问译科技发展有限公司 专业文本翻译方法、装置、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117273026A (zh) * 2023-10-11 2023-12-22 北京寻医问译科技发展有限公司 专业文本翻译方法、装置、电子设备和存储介质
CN117273026B (zh) * 2023-10-11 2024-10-18 北京寻医问译科技发展有限公司 专业文本翻译方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN109800306B (zh) 意图分析方法、装置、显示终端及计算机可读存储介质
CN111026842B (zh) 自然语言处理方法、自然语言处理装置及智能问答系统
CN110798636B (zh) 字幕生成方法及装置、电子设备
CN107861954B (zh) 基于人工智能的信息输出方法和装置
CN107402912B (zh) 解析语义的方法和装置
US20200233908A1 (en) Interactive system and computer program therefor
CN114168619B (zh) 语言转换模型的训练方法及装置
CN118170894B (zh) 一种知识图谱问答方法、装置及存储介质
CN109801349A (zh) 一种声音驱动的三维动画角色实时表情生成方法和系统
CN116010581A (zh) 一种基于电网隐患排查场景的知识图谱问答方法及系统
CN112115252A (zh) 智能辅助写作处理方法、装置、电子设备及存储介质
CN116681088A (zh) 一种基于大模型的翻译系统、方法及储存介质
CN116644167A (zh) 目标答案的生成方法和装置、存储介质及电子装置
CN117056481A (zh) 基于大模型技术的云服务行业对话帮助系统及实现方法
CN116913278B (zh) 语音处理方法、装置、设备和存储介质
Lyu et al. Deep learning for textual entailment recognition
CN117610649A (zh) 知识图谱的构建方法、装置、存储介质及电子设备
CN117290478A (zh) 一种知识图谱问答方法、装置、设备和存储介质
CN113360630B (zh) 交互信息提示方法
US11132514B1 (en) Apparatus and method for applying image encoding recognition in natural language processing
CN114969544A (zh) 基于热点数据的推荐内容生成方法、装置、设备及介质
CN114676239A (zh) 一种文本处理方法、装置、存储介质及设备
CN111566665B (zh) 在自然语言处理中应用图像编码识别的装置和方法
CN114341867B (zh) 翻译方法、装置、客户端、服务器和存储介质
CN114331932A (zh) 目标图像生成方法和装置、计算设备以及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination