CN114861653A - 用于虚拟交互的语言生成方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供一种用于虚拟交互的语言生成方法、装置、设备及存储介质，涉及人工智能技术领域，该方法包括：响应于构建待生成语言的词汇的指令，获取构建好的目标词汇；响应于对待生成语言的词法和句法的第一选择指令，得到目标词法和目标句法；基于目标词汇、目标词法和目标句法进行增强处理，获得目标文本；响应于对待生成语言的应用场景的第二选择指令，将目标文本输入至应用场景对应的语言生成模型，通过语言生成模型在目标文本中添加场景信息，得到目标文本在应用场景中的目标应用语言。本申请能够丰富虚拟交互的方式，实现符合用户需求的虚拟交互语言的个性化定制。

Description

用于虚拟交互的语言生成方法、装置、设备及存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种用于虚拟交互的语言生成方法、装置、设备及存储介质。

背景技术

随着科技的发展，虚拟现实技术得到越来越广泛的应用。其中，基于虚拟现实技术的元宇宙是与现实世界映射与交互的虚拟世界，具备新型社会体系的数字生活空间。元宇宙本质上是对现实世界的虚拟化、数字化过程，需要对内容生产、经济系统、用户体验以及实体世界内容等进行大量改造。

目前，用户仅可以通过视觉交互的方式进行元宇宙的虚拟交互，交互方式单一。

发明内容

本申请提供一种用于虚拟交互的语言生成方法、装置、设备及存储介质，以丰富虚拟交互的方式。

第一方面，本申请提供一种用于虚拟交互的语言生成方法，包括：

响应于构建待生成语言的词汇的指令，获取构建好的目标词汇；

响应于对待生成语言的词法和句法的第一选择指令，得到目标词法和目标句法；

基于目标词汇、目标词法和目标句法进行增强处理，获得目标文本；

响应于对待生成语言的应用场景的第二选择指令，将目标文本输入至应用场景对应的语言生成模型，通过语言生成模型在目标文本中添加场景信息，得到目标文本在应用场景中的目标应用语言。

可以看出，在本申请实施例中，通过语言生成模型来得到不同应用场景对应的目标应用语言，以用于虚拟交互，因此，能够丰富虚拟交互的方式；其中，在获取输入至语言生成模型的目标文本时，所用到的目标词汇、目标词法和目标句法是响应于用户的自主选择指令获得的，且进行了增强处理，因此，能够生成具有个性化的虚拟交互的语言，实现符合用户需求的虚拟交互语言的个性化定制。

第二方面，本申请提供一种语言生成模型的训练方法，包括：

获取训练样本，训练样本包括至少一种应用场景对应的通用场景数据样本和标签场景数据样本；

将通用场景数据样本输入至语言生成模型，进行编码和解码处理，得到目标场景数据；

根据目标场景数据和标签场景数据样本的相似度，确定损失函数值；

根据损失函数值，调整语言生成模型的参数，得到训练好的语言生成模型，语言生成模型用于生成应用场景对应的进行虚拟交互的语言。

可以看出，在本申请实施例中，将应用场景对应的通用场景数据样本作为语言生成模型的输入，将语言生成模型输出的目标场景数据与标签场景数据样本进行比对，确定损失函数值，进而基于损失函数值得到训练好的语言生成模型，因此，能够获得应用场景对应的进行虚拟交互的语言生成模型，该语言生成模型能够较好地用于虚拟交互的语言的生成。

第三方面，本申请提供一种用于虚拟交互的语言生成装置，包括：

获取模块，用于响应于构建待生成语言的词汇的指令，获取构建好的目标词汇；

得到模块，用于响应于对待生成语言的词法和句法的第一选择指令，得到目标词法和目标句法；

第一处理模块，用于基于目标词汇、目标词法和目标句法进行增强处理，获得目标文本；

第二处理模块，用于响应于对待生成语言的应用场景的第二选择指令，将目标文本输入至应用场景对应的语言生成模型，通过语言生成模型在目标文本中添加场景信息，得到目标文本在应用场景中的目标应用语言。

第四方面，本申请提供一种语言生成模型的训练装置，包括：

获取模块，用于获取训练样本，训练样本包括至少一种应用场景对应的通用场景数据样本和标签场景数据样本；

第一处理模块，用于将通用场景数据样本输入至语言生成模型，进行编码和解码处理，得到目标场景数据；

确定模块，用于根据目标场景数据和标签场景数据样本的相似度，确定损失函数值；

第二处理模块，用于根据损失函数值，调整语言生成模型的参数，得到训练好的语言生成模型，语言生成模型用于生成应用场景对应的进行虚拟交互的语言。

第五方面，本申请提供一种电子设备，包括：处理器，以及与处理器通信连接的存储器；

存储器存储计算机执行指令；

处理器执行存储器存储的计算机执行指令，以实现如本申请第一方面或第二方面所描述的方法。

第六方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序指令，计算机程序指令被处理器执行时，实现如本申请第一方面或第二方面所描述的方法。

第七方面，本申请提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如本申请第一方面或第二方面所描述的方法。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的应用场景示意图；

图2为本申请一实施例提供的用于虚拟交互的语言生成方法的流程图；

图3为本申请一实施例提供的第七声的调值的示意图；

图4为本申请一实施例提供的与动物有关的元概念的示意图；

图5为本申请另一实施例提供的用于虚拟交互的语言生成方法的流程图；

图6为本申请一实施例提供的语言生成模型的训练方法的流程图；

图7为本申请一实施例提供的用于虚拟交互的语言生成装置的结构示意图；

图8为本申请一实施例提供的语言生成模型的训练装置的结构示意图；

图9为本申请一实施例提供的电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的技术方案中，所涉及的金融数据或用户数据等信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

首先，对本申请涉及的部分技术术语进行解释说明：

自然语言处理(Natural Language Processing，NLP)，是计算机科学领域与人工智能领域中的一个重要方向，它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。

深层双向语言表征模型(Bidirectional Encoder Representation fromTransformers，BERT)，是一个预训练的语言表征模型；它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的掩盖语言模型(Masked Language Model，MLM)，以致能生成深度的双向语言表征。

词向量模型(word2vec)：是一群用来产生词向量的相关模型；这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本；网络以词表现，并且需猜测相邻位置的输入词，在word2vec中词袋模型假设下，词的顺序是不重要的；训练完成之后，word2vec模型可用来映射每个词到一个向量，可用来表示词对词之间的关系，该向量为神经网络之隐藏层。

语言模型困惑度(perplexity，ppl)，用来衡量一个语言模型在未见过的字符串S上的表现；对于一个长度为N的字符串S，语言模型给出概率P(S)，对应的困惑度为2^{-(1/N)log2 P(S)}；其中字符串长度单位可以是字符也可以是单词(words)。

世界语(Esperanto)，是由波兰籍犹太人眼科医生拉扎鲁·路德维克·柴门霍夫博士在印欧语系的基础上于1887年7月26日发明创立的一种人造语言。他期待这门语言能够为不同语言人群的交流提供便利，能够帮助人们跨越语言、肤色、种族、地域等界限，用同一个身份——世界公民来平等、友好地相处，而并不打算用取代任何民族语。

音素，是根据语音的自然属性划分出来的最小语音单位，依据音节里的发音动作来分析，一个动作构成一个音素；音素分为元音与辅音两大类。

国际音素表(International Phonetic Alphabet，IPA)，是一套用来标音的系统，以拉丁字母为基础，由国际语音学学会设计来作为口语声音的标准化标示方法；分为严式音标和宽式音标，其中，严式音标，即采用音素标音；宽式标音，是在严式标音的基础上，整理出一种语音的音位系统，然后按音位来标记语音，也就是只记音位，不记音位变体及其它非本质的伴随现象，因此，宽式标音又称为“音位标音”；在现代汉语中，舌面低元音比如包括[ε]、[A]、[a]和[ɑ]，用宽式标音只用/a/就可以了。

音系，即语音系统，每种语言均有独立的音系。

目前，NLP研究在自然语言理解(NLU，Natural Language Understanding)领域旨在分析、理解已有的自然语言，在自然语言生成(NLG，Natural Language Generation)领域旨在生成自然语言。

世界语是以印欧语系为基础创造出来的国际辅助语，又称国际普通话，是国际科技文化交流的工具，也是学习其他外语的桥梁和钥匙，但是，世界语并未得到广泛使用。

相关技术中，提供了一种数码世界语，数码世界语的字母是由0、1、2、3、4、5、6、7、8、9共十个阿拉伯数字组成，这十个阿拉伯数字的中文读音为相应字母的发音，由上述一个或多个字母的组合构成一个语句，每一语句表示一句话、或一个完整的意思。但是，上述数码世界语仅限于世界语的构建方式，构建的是一种基于目前语言的，表述概念有限的世界语，未综合考虑世界语语音、语义以及语法的构建，且未与目前的元宇宙结合，未实现世界语的个性定制。

相关技术中，提供了一种虚拟现实的元宇宙系统，其包括开发者系统和用户系统；用户系统将正常视野按所选取的场景形成显示内容呈现给用户。通过开发者系统提供大量开发者可参与建设的通用场景和特定场景，用户系统将虚拟现实结合起来，使得用户身临其境地利用现实世界的正常视野，参与到场景所形成的显示内容所构建的融入于现实世界的虚拟化呈现中，能够将游戏融入现实又不影响自己正常生活，而且用户能够正常认知周边世界，所以不会影响他人的正常生活；可以实现元宇宙进入现实生活；无论是开发者还是用户，都可以海量地参与到虚拟现实的元宇宙系统，而且当用户对通用场景或特定场景作出改变时，他们又成为了开发者，由此可以实现推进元宇宙快速应用。但是，上述元宇宙系统中，用户仅可以通过视觉交互的方式进行元宇宙的虚拟交互，交互方式单一。

基于上述问题，本申请提供一种用于虚拟交互的语言生成方法、装置、设备及存储介质，通过打通人类自然语言、编程语言以及动物语言的界限，构建一种通用于人与机器、动物的共同语，让其成为元宇宙中的通用语言，即元宇宙中的世界语，以用于元宇宙中的虚拟交互，从而能够丰富元宇宙中虚拟交互的方式；且通过让用户自主选择音素和元概念，对音节与元概念建立对应关系，能够生成具有个性化的元宇宙语言，实现了符合用户需求的元宇宙语言的个性化定制。

以下，首先对本申请提供的方案的应用场景进行示例说明。

图1为本申请一实施例提供的应用场景示意图。如图1所示，本应用场景中，用户通过所佩戴的外接式虚拟现实(Virtual Reality，VR)头显设备103在元宇宙中进行虚拟交互。其中，摄像头104可以采集用户的肢体动作，传输给客户端101，进而传输给服务器102以对用户的肢体动作进行相应的响应处理；用户可以在客户端101中显示的元宇宙系统中进行要生成的元宇宙中世界语的相关操作，服务器102从客户端101获取用户对要生成的元宇宙中世界语的相关操作对应的信息；服务器102根据该信息生成用户自定制的世界语，并将用户自定制的世界语发送给客户端101，客户端101显示用户自定制的世界语；用户在使用自定制的世界语时，可以通过外接式VR头显设备103接收自定制的世界语对应的语音，以在元宇宙中进行虚拟交互。其中，服务器102根据该信息生成用户自定制的世界语的具体实现过程可以参见下述各实施例的方案。

需要说明的是，图1仅是本申请实施例提供的一种应用场景的示意图，本申请实施例不对图1中包括的设备进行限定，也不对图1中设备之间的位置关系进行限定。例如，在图1所示的应用场景中，还可以包括数据存储设备，该数据存储设备相对客户端101或者服务器102可以是外部存储器，也可以是集成在客户端101或者服务器102中的内部存储器。

接下来，通过具体实施例介绍用于虚拟交互的语言生成方法。

图2为本申请一实施例提供的用于虚拟交互的语言生成方法的流程图。本申请实施例的方法可以应用于电子设备中，该电子设备可以是服务器或服务器集群等。如图2所示，本申请实施例的方法包括：

S201、响应于构建待生成语言的词汇的指令，获取构建好的目标词汇。

本申请实施例中，构建待生成语言的词汇的指令比如是用户向执行本方法实施例的电子设备输入的。该步骤中，响应于用户构建待生成语言的词汇的指令，可以获取构建好的目标词汇。

可选的，响应于构建待生成语言的词汇的指令，获取构建好的目标词汇之前，本申请实施例的方法还可以包括：响应于从预设音素库中选择音素的指令，得到目标音素；响应于根据目标音素确立音节的指令，获取目标音节；响应于从预设元概念库中选择元概念的指令，得到目标元概念，元概念用于表征对人类所感知的事物的共同本质特点进行抽象获得的信息；响应于构建待生成语言的词汇的指令，获取构建好的目标词汇，可以包括：响应于构建待生成语言的词汇的指令，根据目标音节和目标元概念的对应关系，获取目标词汇。

示例性地，预设音素库中的音素比如可以通过以下两种方式获得：(1)根据目前的语言学书籍，可以获得人类可以发出的所有音以及其发音方式(比如舌位、唇形、是否送气或声带是否振动)；(2)人工录制，通过改变人的发音部位(比如舌位或唇形)与发音方式(比如是否送气或声带是否振动)，生成不同的音，记录发音部位与方法，并保存其发音视频。

示例性地，用户进入元宇宙系统，元宇宙系统初始化完成，用户在元宇宙系统中进入如表1所示的预设音素库，预设音素库中存储有人类可以发出的所有音及其国际音标(即音素音标)、发音方法和部位以及发音视频对应的音频链接。用户可以选择构建自己的元宇宙需要用到的所有音素，比如用户可以选择辅音音素。相应地，执行本方法实施例的电子设备响应于用户从预设音素库中选择音素的指令，得到目标音素。

表1预设音素库

序号	音素音标	发音方法和部位	音频链接
				0	[p]	双唇音，塞音，不送气	0.MP4
1	[p‘]	双唇音，塞音，送气	1.MP4
				……	……	……	……

可选的，用户也可以自创目前语言中不存在的音素，比如将仅自己可以发出的音作为备选音素，存储至预设音素库中。

可选的，可以根据用户在元宇宙系统中输入的构建自己的元宇宙需要用到的所有音素的数量，自动随机生成目标音素。

在获得了目标音素后，用户可以根据目标音素，自主确立音节结构，即确定是否使用声调以及声调种类，确定自己的元宇宙需要用到的所有音节。相应地，执行本方法实施例的电子设备响应于用户根据目标音素确立音节的指令，获取目标音节。其中，对于声调种类，比如汉语普通话中，声调种类包括四种，即阴平(一声)、阳平(二声)、上声(三声)和去声(四声)。示例性地，假设一个音节只由声母和声调构成，声母由辅音充当，辅音一共选择有5个，比如为[p]、[p‘]、[m]、[n]和[l]；声调有8个，每个声调有对应的调值，比如第一声的调值为55、第七声的调值为16。图3为本申请一实施例提供的第七声的调值的示意图，如图3所示，调值分析采用六度(即1、2、3、4、5和6)标记法，从1至6，声调的调值逐渐升高，第七声的调值为16。

元概念是人类在认识过程中，从感性认识上升到理性认识，把所感知的事物的共同本质特点抽象出来，加以概括，是自我认知意识的一种表达，形成概念式思维惯性。在人类所认知的思维体系中最基本的构筑单位。预设元概念库比如是通过以下方式获得的：语言学专家自省梳理的方式，通过对目前真实世界、编程世界以及动物视角的世界中存在的概念进行分类和分层，构建有层级的元概念知识体系，比如：“动物”这一元概念下有“哺乳动物”，“哺乳动物”这一元概念下有“猫科动物”等。该元概念知识体系中包含目前真实世界、编程世界以及动物视角的世界中的所有元概念。基于预设元概念库，比如用户可以选择与动物、植物、书籍、人称、人名、动作有关的概念。示例性地，图4为本申请一实施例提供的与动物有关的元概念的示意图，如图4所示，“动物”这一元概念下有两个元概念，即能制造工具并使用工具进行劳动的高等动物和不能制造工具并使用工具进行劳动的动物。可以理解，能制造工具并使用工具进行劳动的高等动物这一元概念下还可以有其他元概念，以及不能制造工具并使用工具进行劳动的动物这一元概念下也可以有其他元概念。

可选的，用户也可以自创目前语言中不存在的概念作为元概念，存储至预设元概念库中。

在获得了目标音节和目标元概念后，用户可以根据目标音节和目标元概念，自主构建目标音节与目标元概念的对应关系。相应地，执行本方法实施例的电子设备响应于构建待生成语言的词汇的指令，根据目标音节和目标元概念的对应关系，得到目标词汇。示例性地，表2为本申请一实施例提供的音节和元概念的对应关系表，通过表2，可以得到对应的词汇比如为羊、牛和猫。可以理解，音节和元概念的对应关系可以是一对一的关系，或者，可以是多对一的关系，或者，可以是一对多的关系。

表2

序号	元概念	音节
			0	咩咩叫的动物	mm1
1	哞哞叫的动物	n7
			2	喵喵叫的动物	mm1
……	……	……

S202、响应于对待生成语言的词法和句法的第一选择指令，得到目标词法和目标句法。

示例性地，比如可以通过语法库来存储待生成语言的词法和句法，即通过语法库中的词法库存储待生成语言的词法，通过语法库中的句法库存储待生成语言的句法。用户可以自主选择待生成语言所需要用到的词法和句法。相应地，执行本方法实施例的电子设备响应于对待生成语言的词法和句法的第一选择指令，得到目标词法和目标句法。具体地，目标词法比如为“X完”，目标句法比如为“我给YZ”。可以理解，通过目标词法，能够获得符合目标词法的更多的词汇，通过目标句法，能够获得符合目标句法的更多的句子。

S203、基于目标词汇、目标词法和目标句法进行增强处理，获得目标文本。

该步骤中，在获得了目标词汇、目标词法和目标句法后，可以基于目标词汇、目标词法和目标句法进行增强处理，获得目标文本。示例性地，基于目标词汇，比如可以采用预设文本增强技术对目标词法完成扩展(即进行文本增强处理)，生成用户指定的目标词法下更多的词汇；可以采用预设文本增强技术对目标句法完成扩展，生成用户指定的目标词法下更多的句子。对于具体如何基于目标词汇、目标词法和目标句法进行增强处理，获得目标文本，可参考后续实施例，此处不再赘述。

S204、响应于对待生成语言的应用场景的第二选择指令，将目标文本输入至应用场景对应的语言生成模型，通过语言生成模型在目标文本中添加场景信息，得到目标文本在应用场景中的目标应用语言。

该步骤中，语言生成模型是预先训练好的，对于具体如何获得训练好的语言生成模型，可参考后续实施例，此处不再赘述。一示例中，用户可以选择待生成语言的一种应用场景，执行本方法实施例的电子设备响应于用户对该应用场景的第二选择指令，将目标文本输入至该应用场景对应的语言生成模型，通过语言生成模型在目标文本中添加场景信息，得到目标文本在应用场景中的目标应用语言。另一示例中，用户可以同时选择待生成语言的多种应用场景，执行本方法实施例的电子设备响应于用户对多种应用场景的第二选择指令，将目标文本输入至多种应用场景分别对应的语言生成模型，得到目标文本在多种应用场景中的目标应用语言，即完成了用户自定制的世界语的构建。

在完成用户自定制的世界语的构建后，即形成了用户元宇宙中不同应用场景的交际库，每个交际库中存放有表达不同意图的句子，意图与句子之间建立有映射关系。例如，意图为：本人离开意图，相应的句子为：我想离开。用户可以为自己的元宇宙创造多个不同角色的成员，用户可以将自定制的世界语初始化到每个成员的大脑中，以便于元宇宙中的每个成员都按照用户自定制的世界语进行虚拟交互。

本申请实施例提供的用于虚拟交互的语言生成方法，通过响应于用户的自主选择指令来获得目标词汇、目标词法和目标句法；基于目标词汇，对目标词法和目标句法进行文本增强处理，获得目标文本；将目标文本作为语言生成模型的输入，通过语言生成模型来得到不同应用场景对应的目标应用语言，以用于虚拟交互，因此，能够丰富虚拟交互的方式；且能够生成具有个性化的虚拟交互的语言，实现符合用户需求的虚拟交互语言的个性化定制。

图5为本申请另一实施例提供的用于虚拟交互的语言生成方法的流程图。在上述实施例的基础上，本申请实施例对用于虚拟交互的语言生成方法进行进一步说明。如图5所示，本申请实施例的方法可以包括：

S501、响应于构建待生成语言的词汇的指令，获取构建好的目标词汇。

该步骤的具体描述可以参见图2所示实施例中S201的相关描述，此处不再赘述。

S502、响应于对词法发达类型或句法发达类型的第三选择指令，得到目标发达类型。

其中，词法发达类型用于表征用户可选择的词法数量多于句法数量，句法发达类型用于表征用户可选择的词法数量少于句法数量。

可以理解，词法发达或是句法发达是相对的，一种语言中需要表述的语义是一定的，语言一般情况下会选择：词法发达&句法简单(比如英语)，或者，句法发达&词法简单(比如汉语)这两种方式来表示所有想要表达的语义。如果词法和句法都发达，则会造成表述的赘余、语言学习的负担。比如汉语中表示完成，可以使用句法：动词后加“了”；英语中表示完成，可以使用词法：在动词后加“ed”。该步骤中，词法发达类型意味着在用于表述一些语义时，更多的使用词法，也不排除会用到句法，句法可以有变化；句法发达类型词意味着在用于表述一些语义时，更多的使用句法，也不排除词法会有变化。示例性地，响应于用户对元宇宙中词法发达类型的第三选择指令，可以得到目标发达类型为词法发达类型；响应于用户对元宇宙中句法发达类型的第三选择指令，可以得到目标发达类型为句法发达类型。

本申请实施例中，图2中S202步骤可以进一步包括如下的S503和S504两个步骤：

S503、若目标发达类型为词法发达类型，则响应于对词法发达类型对应的词法的第四选择指令，得到目标词法；响应于对待生成语言的句法的第一选择指令，得到目标句法。

该步骤，若目标发达类型为词法发达类型，则表示用户可选择的词法数量多于句法数量。响应于用户对词法发达类型对应的词法的第四选择指令，可以得到目标词法。响应于用户对待生成语言的句法的第一选择指令，可以得到目标句法。可以理解，目标词法的数量多于目标句法的数量。

S504、若目标发达类型为句法发达类型，则响应于对句法发达类型对应的句法的第五选择指令，得到目标句法；响应于对待生成语言的词法的第一选择指令，得到目标词法。

该步骤，若目标发达类型为词法发达类型，则表示用户可选择的词法数量少于句法数量。响应于用户对句法发达类型对应的句法的第五选择指令，可以得到目标句法；响应于用户对待生成语言的词法的第一选择指令，可以得到目标词法。可以理解，目标词法的数量少于目标句法的数量。

本申请实施例中，图2中S203步骤可以进一步包括如下的S505至S507三个步骤：

S505、基于目标词汇对应的词向量表和目标词法，通过语言表征模型进行增强处理，获得增强处理后的词汇。

该步骤中，词向量表是词与其词向量的映射表，在得到了目标词汇后，比如可以通过语言表征模型BERT得到目标词汇对应的词向量表。示例性地，目标词法比如为“X完”，目标词法对应的词法样例比如为写完、吃完，通过BERT可以得到词法样例中“写”的词向量，比如用e1表示；通过BERT可以得到词法样例中“吃”的词向量，比如用e2表示。查询目标词汇对应的词向量表，通过BERT计算与e1、e2的距离和小于预设距离阈值的前n个(即top-n)词向量，假设n为2，则可以得到与e1、e2的距离和小于预设距离阈值的前2个词向量，分别用e3和e4表示。在目标词汇对应的词向量表中找到e3和e4分别对应的词，比如为画、喝，则可以获得文本增强处理后的词汇即为：画完、喝完。

S506、根据增强处理后的词汇，对词向量表进行更新，获得更新后的词向量表。

该步骤中，在获得了文本增强处理后的词汇，可以根据文本增强处理后的词汇，对词向量表进行更新，获得更新后的词向量表。

S507、基于更新后的词向量表和目标句法，通过语言表征模型进行增强处理，获得目标文本。

该步骤中，更新后的词向量表中包含目标句法需要用到的词。示例性地，目标句法比如为“我给YZ”，目标句法对应的句法样例比如为我给他书、我给他苹果、我给你书、我给你苹果。通过BERT可以得到句法样例中“书”的词向量，比如用e5表示，通过BERT可以得到句法样例中“苹果”的词向量，比如用e6表示，e5和e6对应目标句法中的Z；通过BERT可以得到句法样例中“你”的词向量，比如用e7表示，通过BERT可以得到句法样例中“他”的词向量，比如用e8表示，e7和e8对应目标句法中的Y。对于目标句法中的Z，可以通过以下方式进行文本增强处理：查询更新后的词向量表，通过BERT计算与e5、e6的距离和小于预设距离阈值的top-m个词向量,假设m＝1，则可以得到与e1、e2的距离和小于预设距离阈值的1个词向量，比如用e7表示。在更新后的词向量表中找到e7对应的词，比如为梨，因此，可以得到目标文本比如为：我给他梨。对于目标句法中的Y，可以通过以下方式进行文本增强处理：查询更新后的词向量表，通过BERT计算与e7、e8的距离和小于预设距离阈值的top-k个词向量,假设k＝1，则可以得到与e7、e8的距离和小于预设距离阈值的1个词向量，比如用e9表示。在更新后的词向量表中找到e9对应的词，比如为小明，因此，可以得到目标文本比如为：我给小明书。

S508、获取目标文本中通用场景对应的文本。

可以理解，通用场景的数据较多，扩展更有意义。示例性地，可以通过人工方式区来获得目标文本中通用场景对应的文本，或者，可以通过预设分类模型来获得目标文本中通用场景对应的文本。

本申请实施例中，图2中S204步骤可以进一步包括如下的S509步骤：

S509、响应于对待生成语言的应用场景的第二选择指令，将通用场景对应的文本输入至应用场景对应的语言生成模型，通过语言生成模型在通用场景对应的文本中添加场景信息，得到通用场景对应的文本在应用场景中的目标应用语言。

该步骤中，参考S204步骤的相关描述，在获得了目标文本中通用场景对应的文本后，可以响应于对待生成语言的应用场景的第二选择指令，将通用场景对应的文本输入至应用场景对应的语言生成模型，通过语言生成模型在通用场景对应的文本中添加场景信息，得到通用场景对应的文本在应用场景中的目标应用语言，即完成了用户自定制的世界语的构建。

本申请实施例提供的用于虚拟交互的语言生成方法，根据用户选择的词法发达类型或句法发达类型来得到目标词法和目标句法，能够准确地表述语言；通过语言表征模型对目标词法进行文本增强处理，能够更好地获得对目标词法和目标句法扩展后的目标文本；通过语言生成模型来得到元宇宙中不同应用场景对应的目标应用语言，即元宇宙中的世界语，以用于元宇宙中的虚拟交互，因此，能够丰富元宇宙中虚拟交互的方式；且目标词汇、目标词法、目标句法以及词法发达类型或句法发达类型是响应于用户的自主选择指令获得的，因此，能够生成具有个性化的虚拟交互的语言，实现符合用户需求的虚拟交互语言的个性化定制。

在上述实施例的基础上，图6为本申请一实施例提供的语言生成模型的训练方法的流程图，该语言生成模型的训练方法是基于目前的多语言的文本转换生成模型(Multilingual Text-to-Text Transfer Transformer 5，MT5)进行微调训练的方法。如图6所示，本申请实施例的方法可以包括：

S601、获取训练样本，训练样本包括至少一种应用场景对应的通用场景数据样本和标签场景数据样本。

可以理解，对于不同的应用场景，训练样本中包含与应用场景对应的通用场景数据样本和标签场景数据样本。通用场景数据样本用于作为MT5模型的输入，标签场景数据样本用于作为MT5模型的输出的参考，以通过MT5模型获得某一具体应用场景的交际语言。

S602、将通用场景数据样本输入至语言生成模型，进行编码和解码处理，得到目标场景数据。

该步骤中，示例性地，语言生成模型比如为MT5预训练模型(即MT5-base)，通过语言生成模型对通用场景数据样本进行编码和解码处理，可以得到目标场景数据。

S603、根据目标场景数据和标签场景数据样本的相似度，确定损失函数值。

该步骤中，在获得了语言生成模型输出的目标场景数据后，可以根据目标场景数据和标签场景数据样本的相似度，确定损失函数值，以将该损失函数值用于语言生成模型的迭代微调训练。

S604、根据损失函数值，调整语言生成模型的参数，得到训练好的语言生成模型。

其中，语言生成模型用于生成应用场景对应的进行虚拟交互的语言。

该步骤中，语言生成模型的参数比如可以包括句子的最大长度、分词后词元(token)的最大长度、热身步数、每个设备训练的批量数、学习率以及训练轮数等。在获得了损失函数值后，可以根据损失函数值，调整语言生成模型的参数，在损失函数值趋于稳定时，停止迭代微调训练，得到训练好的语言生成模型。

本申请实施例提供的语言生成模型的训练方法，基于目前的MT5模型进行微调训练，得到应用场景对应的进行虚拟交互的语言生成模型，因此，获得的语言生成模型能够较好地用于虚拟交互的语言的生成。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图7为本申请一实施例提供的用于虚拟交互的语言生成装置的结构示意图，如图7所示，本申请实施例的用于虚拟交互的语言生成装置700包括：获取模块701、得到模块702、第一处理模块703和第二处理模块704。其中：

获取模块701，用于响应于构建待生成语言的词汇的指令，获取构建好的目标词汇。

得到模块702，用于响应于对待生成语言的词法和句法的第一选择指令，得到目标词法和目标句法。

第一处理模块703，用于基于目标词汇、目标词法和目标句法进行增强处理，获得目标文本。

第二处理模块704，用于响应于对待生成语言的应用场景的第二选择指令，将目标文本输入至应用场景对应的语言生成模型，通过语言生成模型在目标文本中添加场景信息，得到目标文本在应用场景中的目标应用语言。

在一些实施例中，第一处理模块703可以具体用于：基于目标词汇对应的词向量表和目标词法，通过语言表征模型进行增强处理，获得增强处理后的词汇；根据增强处理后的词汇，对词向量表进行更新，获得更新后的词向量表；基于更新后的词向量表和目标句法，通过语言表征模型进行增强处理，获得目标文本。

可选的，获取模块701还可以用于：响应于从预设音素库中选择音素的指令，得到目标音素；响应于根据目标音素确立音节的指令，获取目标音节；响应于从预设元概念库中选择元概念的指令，得到目标元概念，元概念用于表征对人类所感知的事物的共同本质特点进行抽象获得的信息；获取模块701可以具体用于：响应于构建待生成语言的词汇的指令，根据目标音节和目标元概念的对应关系，获取目标词汇。

可选的，得到模块702还可以用于：响应于对词法发达类型或句法发达类型的第三选择指令，得到目标发达类型，词法发达类型用于表征用户可选择的词法数量多于句法数量，句法发达类型用于表征用户可选择的词法数量少于句法数量；得到模块702可以具体用于：若目标发达类型为词法发达类型，则响应于对词法发达类型对应的词法的第四选择指令，得到目标词法；响应于对待生成语言的句法的第一选择指令，得到目标句法；若目标发达类型为句法发达类型，则响应于对句法发达类型对应的句法的第五选择指令，得到目标句法；响应于对待生成语言的词法的第一选择指令，得到目标词法。

在一些实施例中，第二处理模块704还可以用于：获取目标文本中通用场景对应的文本；第二处理模块704可以具体用于：响应于对待生成语言的应用场景的第二选择指令，将通用场景对应的文本输入至应用场景对应的语言生成模型，通过语言生成模型在通用场景对应的文本中添加场景信息，得到通用场景对应的文本在应用场景中的目标应用语言。

本申请实施例的装置，可以用于执行上述任一方法实施例中用于虚拟交互的语言生成方法的方案，其实现原理和技术效果类似，此处不再赘述。

图8为本申请一实施例提供的语言生成模型的训练装置的结构示意图，如图8所示，本申请实施例的语言生成模型的训练装置800包括：获取模块801、第一处理模块802、确定模块803和第二处理模块804。其中：

获取模块801，用于获取训练样本，训练样本包括至少一种应用场景对应的通用场景数据样本和标签场景数据样本。

第一处理模块802，用于将通用场景数据样本输入至语言生成模型，进行编码和解码处理，得到目标场景数据。

确定模块803，用于根据目标场景数据和标签场景数据样本的相似度，确定损失函数值。

第二处理模块804，用于根据损失函数值，调整语言生成模型的参数，得到训练好的语言生成模型，语言生成模型用于生成应用场景对应的进行虚拟交互的语言。

本申请实施例的装置，可以用于执行上述任一方法实施例中语言生成模型的训练方法的方案，其实现原理和技术效果类似，此处不再赘述。

图9为本申请一实施例提供的电子设备的结构示意图。示例性地，电子设备可以被提供为一服务器或计算机。参照图9，电子设备900包括处理组件901，其进一步包括一个或多个处理器，以及由存储器902所代表的存储器资源，用于存储可由处理组件901的执行的指令，例如应用程序。存储器902中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件901被配置为执行指令，以执行上述任一方法实施例。

电子设备900还可以包括一个电源组件903被配置为执行电子设备900的电源管理，一个有线或无线网络接口904被配置为将电子设备900连接到网络，和一个输入输出(I/O)接口905。电子设备900可以操作基于存储在存储器902的操作系统，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

本申请还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上用于虚拟交互的语言生成方法的方案以及语言生成模型的训练方法的方案。

本申请还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上的用于虚拟交互的语言生成方法的方案以及语言生成模型的训练方法的方案。

上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于用于虚拟交互的语言生成装置或语言生成模型的训练装置中。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种用于虚拟交互的语言生成方法，其特征在于，包括：

响应于构建待生成语言的词汇的指令，获取构建好的目标词汇；

响应于对所述待生成语言的词法和句法的第一选择指令，得到目标词法和目标句法；

基于所述目标词汇、所述目标词法和所述目标句法进行增强处理，获得目标文本；

响应于对所述待生成语言的应用场景的第二选择指令，将所述目标文本输入至所述应用场景对应的语言生成模型，通过所述语言生成模型在所述目标文本中添加场景信息，得到所述目标文本在所述应用场景中的目标应用语言。

2.根据权利要求1所述的用于虚拟交互的语言生成方法，其特征在于，所述基于所述目标词汇、所述目标词法和所述目标句法进行增强处理，获得目标文本，包括：

基于所述目标词汇对应的词向量表和所述目标词法，通过语言表征模型进行增强处理，获得增强处理后的词汇；

根据所述增强处理后的词汇，对所述词向量表进行更新，获得更新后的词向量表；

基于所述更新后的词向量表和所述目标句法，通过所述语言表征模型进行增强处理，获得所述目标文本。

3.根据权利要求1所述的用于虚拟交互的语言生成方法，其特征在于，所述响应于构建待生成语言的词汇的指令，获取构建好的目标词汇之前，还包括：

响应于从预设音素库中选择音素的指令，得到目标音素；

响应于根据所述目标音素确立音节的指令，获取目标音节；

响应于从预设元概念库中选择元概念的指令，得到目标元概念，所述元概念用于表征对人类所感知的事物的共同本质特点进行抽象获得的信息；

所述响应于构建待生成语言的词汇的指令，获取构建好的目标词汇，包括：响应于构建待生成语言的词汇的指令，根据所述目标音节和所述目标元概念的对应关系，获取所述目标词汇。

4.根据权利要求1至3中任一项所述的用于虚拟交互的语言生成方法，其特征在于，所述响应于对所述待生成语言的词法和句法的第一选择指令，得到目标词法和目标句法之前，还包括：

响应于对词法发达类型或句法发达类型的第三选择指令，得到目标发达类型，所述词法发达类型用于表征用户可选择的词法数量多于句法数量，所述句法发达类型用于表征用户可选择的词法数量少于句法数量；

所述响应于对所述待生成语言的词法和句法的第一选择指令，得到目标词法和目标句法，包括：

若所述目标发达类型为词法发达类型，则响应于对所述词法发达类型对应的词法的第四选择指令，得到所述目标词法；响应于对所述待生成语言的句法的第一选择指令，得到所述目标句法；

若所述目标发达类型为句法发达类型，则响应于对所述句法发达类型对应的句法的第五选择指令，得到所述目标句法；响应于对所述待生成语言的词法的第一选择指令，得到所述目标词法。

5.根据权利要求1至3中任一项所述的用于虚拟交互的语言生成方法，其特征在于，所述基于所述目标词汇、所述目标词法和所述目标句法进行增强处理，获得目标文本之后，还包括：

获取所述目标文本中通用场景对应的文本；

所述响应于对所述待生成语言的应用场景的第二选择指令，将所述目标文本输入至所述应用场景对应的语言生成模型，通过所述语言生成模型在所述目标文本中添加场景信息，得到所述目标文本在所述应用场景中的目标应用语言，包括：

响应于对所述待生成语言的应用场景的第二选择指令，将所述通用场景对应的文本输入至所述应用场景对应的语言生成模型，通过所述语言生成模型在所述通用场景对应的文本中添加场景信息，得到所述通用场景对应的文本在所述应用场景中的目标应用语言。

6.一种语言生成模型的训练方法，其特征在于，包括：

获取训练样本，所述训练样本包括至少一种应用场景对应的通用场景数据样本和标签场景数据样本；

将所述通用场景数据样本输入至语言生成模型，进行编码和解码处理，得到目标场景数据；

根据所述目标场景数据和所述标签场景数据样本的相似度，确定损失函数值；

根据所述损失函数值，调整语言生成模型的参数，得到训练好的语言生成模型，所述语言生成模型用于生成应用场景对应的进行虚拟交互的语言。

7.一种用于虚拟交互的语言生成装置，其特征在于，包括：

获取模块，用于响应于构建待生成语言的词汇的指令，获取构建好的目标词汇；

得到模块，用于响应于对所述待生成语言的词法和句法的第一选择指令，得到目标词法和目标句法；

第一处理模块，用于基于所述目标词汇、所述目标词法和所述目标句法进行增强处理，获得目标文本；

第二处理模块，用于响应于对所述待生成语言的应用场景的第二选择指令，将所述目标文本输入至所述应用场景对应的语言生成模型，通过所述语言生成模型在所述目标文本中添加场景信息，得到所述目标文本在所述应用场景中的目标应用语言。

8.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至6中任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令被处理器执行时，实现如权利要求1至6中任一项所述的方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法。

Images