CN117809629B - 基于大模型的交互系统更新方法、装置及存储介质 - Google Patents

Abstract

本申请公开了一种基于大模型的交互系统更新方法、装置及存储介质，涉及数据处理技术领域，其中，上述方法包括：构建与目标虚拟空间对应的第一提示信息，第一提示信息用于提示目标虚拟空间的空间环境、目标虚拟空间内的智能设备以及目标虚拟空间内的目标虚拟对象；通过目标大模型基于第一提示信息的提示模拟目标虚拟对象通过发出语音对目标虚拟空间内的智能设备的使用过程，得到模拟出的一组对象语音内容，并将一组对象语音内容传入目标交互系统，以由目标交互系统生成一组对象语音内容的系统日志；基于一组对象语音内容的系统日志对目标交互系统的系统模型进行更新。通过本申请，解决了由于交互语料覆盖不足导致的系统模型优化滞后的问题。

Description

基于大模型的交互系统更新方法、装置及存储介质

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种基于大模型的交互系统更新方法、装置及存储介质。

背景技术

目前，可以为智能设备配置语音交互功能，以提高智能家居设备控制的便捷性。例如，在智能家居场景中，可以通过为智能家居设备配置语音交互功能，以提高智能家居设备控制的便捷性。语音交互功能可以是由语音交互系统实现的，而考虑到用户的交互方式具有不确定性，为了提高语音交互的准确性，需要使用不断使用新的交互语料对语音交互系统的系统模型进行模型训练及优化，以适配复杂的使用场景。

相关技术中，可以从语音交互系统的系统日志中提取出交互语料，并使用提取的交互语料对语音交互系统的系统模型进行优化。然而，语音交互系统的系统日志中语料覆盖不足，从而导致存在系统模型优化滞后的问题。

由此可见，相关技术中的交互系统更新方法，存在由于交互语料覆盖不足导致的系统模型优化滞后的问题。

发明内容

本申请实施例提供了一种基于大模型的交互系统更新方法、装置及存储介质，以至少解决相关技术中的交互系统更新方法存在由于交互语料覆盖不足导致的系统模型优化滞后的问题。

根据本申请实施例的一个方面，提供了一种基于大模型的交互系统更新方法，包括：构建与目标虚拟空间对应的第一提示信息，其中，所述第一提示信息用于提示所述目标虚拟空间的空间环境、所述目标虚拟空间内的智能设备以及所述目标虚拟空间内的目标虚拟对象；通过目标大模型基于所述第一提示信息的提示模拟所述目标虚拟对象通过发出语音对所述目标虚拟空间内的智能设备的使用过程，得到模拟出的一组对象语音内容，并将所述一组对象语音内容传入目标交互系统，以由所述目标交互系统生成所述一组对象语音内容的系统日志，其中，所述一组对象语音内容的系统日志用于记录所述一组对象语音内容的执行结果；基于所述一组对象语音内容的系统日志对所述目标交互系统的系统模型进行更新，得到更新后的所述目标交互系统。

根据本申请实施例的另一个方面，还提供了一种基于大模型的交互系统更新装置，包括：构建单元，用于构建与目标虚拟空间对应的第一提示信息，其中，所述第一提示信息用于提示所述目标虚拟空间的空间环境、所述目标虚拟空间内的智能设备以及所述目标虚拟空间内的目标虚拟对象；第一执行单元，用于通过目标大模型基于所述第一提示信息的提示模拟所述目标虚拟对象通过发出语音对所述目标虚拟空间内的智能设备的使用过程，得到模拟出的一组对象语音内容，并将所述一组对象语音内容传入目标交互系统，以由所述目标交互系统生成所述一组对象语音内容的系统日志，其中，所述一组对象语音内容的系统日志用于记录所述一组对象语音内容的执行结果；更新单元，用于基于所述一组对象语音内容的系统日志对所述目标交互系统的系统模型进行更新，得到更新后的所述目标交互系统。

根据本申请实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述基于大模型的交互系统更新方法。

根据本申请实施例的又一方面，还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的基于大模型的交互系统更新方法。

在本申请实施例中，采用通过大模型模拟虚拟对象对虚拟空间内的智能设备的使用过程、并将该过程生成的系统日志作为系统模型更新（即，迭代优化）的数据的方式，构建与目标虚拟空间对应的第一提示信息，其中，第一提示信息用于提示目标虚拟空间的空间环境、目标虚拟空间内的智能设备以及目标虚拟空间内的目标虚拟对象；通过目标大模型基于第一提示信息的提示模拟目标虚拟对象通过发出语音对目标虚拟空间内的智能设备的使用过程，得到模拟出的一组对象语音内容，并将一组对象语音内容传入目标交互系统，以由目标交互系统生成一组对象语音内容的系统日志，其中，一组对象语音内容的系统日志用于记录一组对象语音内容的执行结果；基于一组对象语音内容的系统日志对目标交互系统的系统模型进行更新，得到更新后的目标交互系统，由于通过大模型模拟用户对于智能设备的使用情况，所得到系统日志中的交互语料（对象语音内容，用户语音内容，即，用户发出的语音中的内容）不限于已有语料（用户实际使用过程中所发出的交互语料），其包含预测出的交互语料，可以实现提高语料覆盖的目的，达到提高模型优化的超前性的技术效果，进而解决了相关技术中的交互系统更新方法存在由于交互语料覆盖不足导致的系统模型优化滞后的问题。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本申请实施例的一种可选的基于大模型的交互系统更新方法的硬件环境的示意图。

图2是根据本申请实施例的一种可选的基于大模型的交互系统更新方法的流程示意图。

图3是根据本申请实施例的一种可选的提取动作列表的示意图。

图4是根据本申请实施例的一种可选的动作列表合并的示意图。

图5是根据本申请实施例的另一种可选的动作列表合并的示意图。

图6是根据本申请实施例的又一种可选的动作列表合并的示意图。

图7是根据本申请实施例的另一种可选的基于大模型的交互系统更新方法的流程示意图。

图8是根据本申请实施例的一种可选的基于大模型的交互系统更新装置的结构框图。

图9是根据本申请实施例的一种可选的电子设备的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本申请实施例的一个方面，提供了一种基于大模型的交互系统更新方法。该基于大模型的交互系统更新方法可以应用于数据处理技术领域，例如，语音交互系统（或称语音系统）中的数据处理，该语音交互系统可以适用于全屋智能数字化控制应用场景，全屋智能数字化控制应用场景可以包括但不限于以下至少之一：智慧家庭（Smart Home），智能家居，智能家用设备生态，智慧住宅（Intelligence House）生态等。可选地，在本实施例中，上述基于大模型的交互系统更新方法可以应用于如图1所示的由智能设备102和服务器104所构成的硬件环境中。如图1所示，服务器104通过网络与智能设备102进行连接，可用于为智能设备或智能设备上安装的客户端提供服务（如应用服务等），可在服务器上或独立于服务器设置数据库，用于为服务器104提供数据存储服务，可在服务器上或独立于服务器配置云计算和/或边缘计算服务，用于为服务器104提供数据运算服务。

上述网络可以包括但不限于以下至少之一：有线网络，无线网络。上述有线网络可以包括但不限于以下至少之一：广域网，城域网，局域网，上述无线网络可以包括但不限于以下至少之一：WIFI（Wireless Fidelity，无线保真），蓝牙。智能设备102可以并不限定于为PC、手机、平板电脑、智能空调、智能烟机、智能冰箱、智能烤箱、智能炉灶、智能洗衣机、智能热水器、智能洗涤设备、智能洗碗机、智能投影设备、智能电视、智能晾衣架、智能窗帘、智能影音、智能插座、智能音响、智能音箱、智能新风设备、智能厨卫设备、智能卫浴设备、智能扫地机器人、智能擦窗机器人、智能拖地机器人、智能空气净化设备、智能蒸箱、智能微波炉、智能厨宝、智能净化器、智能饮水机、智能门锁等等。

本申请实施例的基于大模型的交互系统更新方法可以由服务器104来执行，也可以由智能设备102来执行，还可以是由服务器104和智能设备102共同执行。其中，智能设备102执行本申请实施例的基于大模型的交互系统更新方法也可以是由安装在其上的客户端来执行。

以由服务器104来执行本实施例中的基于大模型的交互系统更新方法为例，图2是根据本申请实施例的一种可选的基于大模型的交互系统更新方法的流程示意图，如图2所示，该方法的流程可以包括以下步骤S202至步骤S206。

步骤S202，构建与目标虚拟空间对应的第一提示信息，其中，第一提示信息用于提示目标虚拟空间的空间环境、目标虚拟空间内的智能设备以及目标虚拟空间内的目标虚拟对象。

本实施例中的基于大模型的交互系统更新方法可以应用针对语音交互系统的数据处理技术，所处理的数据可以是与语音交互系统的系统模型更新相关的数据，例如，系统日志、交互语料等。这里，语音交互系统可以是一种通过声音输入和输出来进行人机交互的系统，其能够识别和理解人类语言，并通过语音回应和执行指令。语音交互系统可以应用在智能音箱、智能手机、汽车导航、智能家居等领域，为用户提供便捷的交互方式。在本申请的部分示例中，以语音交互系统为智慧家庭交互系统为例进行说明。

为了提高交互语料的丰富度，可以使用如自动泛化标注工具等手段对用户的交互语料进行泛化处理，由于上述语料泛化方式的能力有限，例如，缺乏对环境变量的描述以及用户（例如，家庭成员）人设的设置，导致泛化后的交互语料仍存在覆盖不足的问题。

在本实施例中，通过提示信息来提示大模型所要模拟的虚拟空间、虚拟空间的空间环境、虚拟空间内的智能设备（虚拟出的智能设备）以及虚拟空间内的虚拟对象，从而由大模型基于提示信息模拟虚拟对象对虚拟空间内的智能设备的使用过程，得到对应的系统日志，从而可以使用得到的系统日志对语音交互系统的系统模型进行更新（即，优化迭代），上述系统日志的生成方式可以提高交互语料的覆盖率，进而提高模型优化的超前性。

在机器学习和人工智能等领域，大模型指具有大规模参数和复杂结构的模型，其可以是生成式预训练语言模型，例如GPT（Generative Pre-Trained Transformer，生成式预训练Transformer）模型。这些模型通常包括数百万甚至数十亿个参数，需要大量的计算资源和数据来训练和运行。大模型通常具有更高的预测能力和泛化能力，可以应用于复杂的任务和场景，例如，自然语言处理、计算机视觉和语音识别等领域。前述的大模型可以为目标大模型，该目标大模型可以用于模拟虚拟对象对虚拟空间内的智能设备的使用过程。

这里，生成的系统日志并不是用于实际使用语音交互系统所生成的系统日志，也就是，大模型模拟出了不同用户对于语音交互系统的使用场景，则更新后的语音交互系统可以对后续相同或者类似的用户语音内容进行处理，因此，可以提高模型优化的超前性。

需要说明的是，由于通过设计虚拟空间及人设，使用大模型自动生成虚拟对象（例如，虚拟家庭对象）对智能设备的使用过程，该过程生成的系统日志可以作为线上交互系统模型迭代优化的数据，从而对用户体验中的问题预先发现并修复，提升用户的使用体验。

本实施例中的语音交互系统为目标交互系统，其可以是基于大模型的智慧家庭虚拟交互生成系统。为了对目标交互系统的系统模型进行迭代优化，可以构建与目标虚拟空间对应的第一提示信息（prompt，也可称为提示词），该第一提示信息用于提示目标虚拟空间的空间布局、目标虚拟空间的空间环境、目标虚拟空间内的智能设备以及目标虚拟空间内的目标虚拟对象。第一提示信息可以通过不同的描述信息（例如，布局信息、环境信息、设备信息、对象信息等）来描述目标虚拟空间的空间布局、目标虚拟空间的空间环境、目标虚拟空间内的智能设备以及目标虚拟对象等。

目标虚拟空间的空间布局的布局信息可以包括目标虚拟空间的空间形状、目标虚拟空间内包含的虚拟区域以及虚拟区域的区域形状、不同虚拟区域之间的位置关系等。目标虚拟空间的空间环境的环境信息可以包含目标虚拟空间的温度、湿度、时间、天气、气候中的至少部分，还可以包含其他的环境信息。目标虚拟空间内的智能设备的设备信息可以包含智能设备本身的信息，例如，设备名称、品牌、型号、设备运行参数等，还可以包含设备位置等信息。目标虚拟对象的对象信息可以包括目标虚拟对象的一组对象属性的属性信息，例如，性别、年龄、性格等，还可以包含目标虚拟对象的对象状态的状态信息。本实施例中对于第一提示信息所使用的描述信息的类型不做限定。

例如，可以首先构造第一种提示词（prompt，即，第一提示信息的一种示例），用来生成虚拟家庭成员操控智能设备的行为计划。其中，该种提示词用于向大模型交代虚拟家庭成员的人设信息和环境信息，主要包括四个部分：家电设备（智能设备的一种示例）的功能描述，虚拟家庭的房间布局， 虚拟家庭成员的人设描述，当前环境状态的描述，不同部分的提示顺序可以是设定好的，也可以是不限定各部分之间的先后顺序。为了提高第一种提示词的可解读性，可以在第一种提示词中增加一些描述信息对大模型进行提示，以下为第一种提示词的一个具体示例。

现在请扮演成员A，这是成员A的一些信息（这里提示的是虚拟家庭成员的人设）：成员A的日常习惯是，成员A这个月每天都在加班，心情很糟糕；成员A的当前状态是，感觉非常疲惫，还没有吃晚饭，非常饿；成员A刚刚下班回到家。

成员A记忆中家中有以下房间（这里提示的是虚拟家庭的房间布局）：客厅，主卧，次卧，卫生间，厨房，其中，从客厅可以去主卧、次卧、卫生间、厨房以及室外（outside），从主卧可以去客厅，从次卧可以去客厅，从阳台可以去厨房，从卫生间可以去客厅，从厨房可以去客厅和阳台，从室外可以去客厅。

这是成员A所在的房间信息（这里提示的是当前环境状态）：客厅当前环境温度28度，湿度40，亮度黑暗。

客厅有空调、电视、音箱和灯，卫生间有热水器，厨房用水可用卫生间的热水器（这里提示的是家电设备的功能描述）。

空调有以下所述的功能: {"开关机": "打开或者关闭空调, 可以对空调说：开机, 关机", "软风": "别名主动软风、复合软风、双塔软风, 解决吹空调不舒服问题， 可以对空调说：打开空调的软风", "加湿": "别名水洗空气，洗空气, 解决去除甲醛、PM2.5、异味等7类污染物, 除病毒率，有效缓解因室内湿度低引起的皮肤干燥问题，可以对空调说：打开空调的加湿", "衡温除湿": "别名除湿不降温，有效解决除湿降温不舒适的问题，可以对空调说：打开衡温除湿", "衡温送风": "解决使温度更均匀，可以对空调说：打开恒温送风", "舒适家场景": "一句话解决房间内全部空气问题，温湿净氧，可以对空调说：打开舒适家", "新风": "别名双向双动力新风，解决室内空气不新鲜、不好问题, 可以对空调说：打开空调新风", "洗空气": "别名水氧洗空气，离子洗空气，解决室内空气不新鲜、质量差问题, 可以对空调说：打开洗空气", "自清洁": "别名自清洗，解决空调存在脏污时有异味的问题，可以对空调说：打开空调自清洁", "温度调节": "调节空调温度，可以对空调说：空调温度调高一点，空调设置26度", "风向调节": "调节空调风力，向左吹、向右吹、向上吹、向下吹，可以对空调说：空调向下吹", "风力调节": "调节空调风力，风力有强风、微风等, 可以对空调说：空调强风", "定位送风": "让风吹向一个位置，可以对空调说：打开定位送风", "静眠模式": "适合睡觉时打开的模式，可以对空调说：打开空调静眠，关闭空调静眠", "PMV模式": "自动选择最好的模式给用户, 可以对空调说：打开PMV模式, 关闭PMV模式", "人感跟随": "让空调风跟随人吹，可以对空调说：打开空调人感跟随", "定时功能": "定时关机，定时开机, 可以对空调说：1小时后关闭空调", "播放": "播放音乐、电台、故事等功能, 可以对空调说：播放音乐，放首歌", "调节音量": "播放声音调高，调低, 可以对空调说：调高音量，调低音量", "屏幕显示": "打开或者关闭屏幕显示，可以对空调说：关闭空调灯，关闭空调屏显，打开空调屏显，打开空调灯"}。

电视有以下所述的功能：{"开关机": "打开或者关闭电视，可以对电视说：开机，关机", "播放": "播放音乐、电台、故事、视频、电影等功能，可以对电视说：播放音乐，放首歌，成员A要看电影B", "调节音量": "播放声音调高，调低，可以对电视说调高音量，调低音量", "调节亮度"："屏幕亮度调高，调低，可以对电视说：调高屏幕亮度，屏幕太暗了"}。

音箱有以下所述的功能：{"开关机": "打开或者关闭音响，可以对音箱说：开机，关机", "播放": "播放音乐、电台、故事等功能，可以对音箱说：播放音乐，放首歌", "调节音量": "播放声音调高，调低，可以对音箱说：调高音量，调低音量"}。

灯有以下所述的功能：{"开关": "打开或者关闭等，可以对灯说：开灯，关灯", "亮度调节": "调高灯的亮度，调低灯的亮度，可以对灯说：调高亮度，调低亮度"}。

现在是19: 30，所扮演成员A现在想干什么（这里提示的是模拟成员A在虚拟空间内的一个场景，该场景可以是虚拟对象通过发出语音对虚拟空间内的智能设备的使用过程）。

步骤S204，通过目标大模型基于第一提示信息的提示模拟目标虚拟对象通过发出语音对目标虚拟空间内的智能设备的使用过程，得到模拟出的一组对象语音内容，并将一组对象语音内容传入目标交互系统，以由目标交互系统生成一组对象语音内容的系统日志。

对于构建的第一提示信息，可以通过目标大模型基于第一提示信息的提示模拟目标虚拟对象通过发出语音对目标虚拟空间内的智能设备的使用过程，所述使用过程可以是将第一提示信息输入到目标大模型之后由目标大模型直接模拟的，也可以是由处理设备（可以是服务器）通过与目标大模型进行多轮交互，并对每轮的交互结果进行处理来模拟的，本实施例中对此不做限定。上述的使用过程可以包含一系列的智能设备的使用操作，可以是目标虚拟对象通过发出语音使用智能设备的操作，通过上述使用过程的模拟，而目标虚拟对象通过发出语音使用智能设备可以是通过调用目标交互系统实现的（即，模拟用户通过语音控制智能设备的过程，该过程涉及到对目标交互系统的调用），因此，可以目标交互系统可以生成一组对象语音内容的系统日志，而一组对象语音内容的系统日志用于记录一组对象语音内容的执行结果。

这里，目标大模型所模拟的使用过程可以是属于由目标大模型所模拟出的目标虚拟对象在目标虚拟空间内的活动情景，不仅包含了通过目标交互系统对目标虚拟空间内的智能设备的使用过程，还可以包含目标虚拟对象在目标虚拟空间内的移动过程、状态变化过程等，以更为真实的模拟出用户对于语音交互系统的使用过程。

步骤S206，基于一组对象语音内容的系统日志对目标交互系统的系统模型进行更新，得到更新后的目标交互系统。

一组对象语音内容的系统日志可以表征出目标交互系统对于目标虚拟对象对于智能设备的语音控制的响应情况，因此可以作为目标交互系统的系统模型迭代优化的数据。在得到一组对象语音内容的系统日志之后，可以基于一组对象语音内容的系统日志对目标交互系统的系统模型进行更新，得到更新后的目标交互系统。这里，一组对象语音内容的系统日志可以是使用目标大模型进行多次模拟得到的，同时，系统模型的迭代优化也可以执行多次。

可选地，在基于一组对象语音内容的系统日志对目标交互系统的系统模型进行更新之前，可以对一组对象语音内容的系统日志进行预处理，例如，可以提取出其中的部分系统日志，提取的部分日志可以是目标交互系统响应失败的系统日志，又例如，可以按照设定格式从对象语音内容的系统日志中提取部分信息，提取出的信息可以用于对目标交互系统的系统模型进行更新，再例如，一组对象语音内容的系统日志可以先保存到数据库中，在需要进行系统模型更新时再读取所需的系统日志，还可以是其他的预处理操作，本实施例中对此不做限定。

通过上述步骤S202至步骤S206，构建与目标虚拟空间对应的第一提示信息，其中，第一提示信息用于提示目标虚拟空间的空间环境、目标虚拟空间内的智能设备以及目标虚拟空间内的目标虚拟对象；通过目标大模型基于第一提示信息的提示模拟目标虚拟对象通过发出语音对目标虚拟空间内的智能设备的使用过程，得到模拟出的一组对象语音内容，并将一组对象语音内容传入目标交互系统，以由目标交互系统生成一组对象语音内容的系统日志，其中，一组对象语音内容的系统日志用于记录一组对象语音内容的执行结果；基于一组对象语音内容的系统日志对目标交互系统的系统模型进行更新，得到更新后的目标交互系统，解决了相关技术中的交互系统更新方法存在由于交互语料覆盖不足导致的系统模型优化滞后的问题，提高了模型优化的超前性。

在一些示例性实施例中，上述步骤S204可以是通过循环执行以下处理流程执行的，每执行一次该处理流程，可以得到与一个对象语音内容对应的系统日志，上述循环过程的结束条件可以是与流程执行次数对应的结束条件（例如，循环100次），或者与已得到的对象语音内容的数量（有效对象语音内容的数量为100个）对应的结束条件。该处理流程可以分成多个阶段，可以包括但不限于：基于第一提示信息的提示生成目标虚拟对象的行为计划（行为计划用于描述目标虚拟对象在目标虚拟空间内执行行为的过程）的阶段，即，行为计划生成阶段；基于第二提示信息（用于提示从目标大模型输入的行为计划中抽取动作的方式）的提示从生成的行为计划中抽取目标对象所执行的动作的阶段，即，动作列表抽取阶段；按照抽取的动作列表中与目标虚拟对象发出语音对应的动作生成对象语音内容的阶段，即，语音内容生成阶段；使用生成的对象语音内容与目标交互系统进行交互，从而得到系统日志的阶段，即，系统交互阶段。

对于第一提示信息，可以将第一提示信息输入到目标大模型，目标大模型可以基于第一提示信息的提示，生成目标虚拟对象的行为计划，该行为计划可以描述以下场景：目标虚拟对象在目标虚拟空间内执行行为的过程，其中可以包含目标虚拟对象想要通过发出语音对目标虚拟空间内的智能设备进行的控制。

例如，将所构造的第一种提示词输入至大模型，生成基于当前虚拟家庭环境下的计划。基于所构建的第一种提示词，生成的一个行为计划（行为计划P1）如下：成员A想现在去厨房做晚饭，但是感觉非常疲惫，还没有吃晚饭，非常饿，所以成员A想先打开空调，调节温度，让室内变得更加舒适；然后，成员A想打开电视，用它来放一些音乐或者电影来放松一下自己；如果成员A有时间的话，成员A也想试试空调的加湿功能，让室内的空气更加舒适。

可选地，上述第二提示信息可以为第二种提示词，其所提示的内容可以包括从目标大模型输入的行为计划抽取动作的动作参数，例如，类型参数，即，抽取的动作类型，内容参数，即，抽取的动作包含的信息，还可以包含抽取出的动作的输出格式等，还可以提示其他的信息，本实施例中对此不做限定。

作为一种可选的实施方式，第二提示信息可以用于提示抽取目标大模型输入的行为计划中的动作、动作的对象以及动作的描述结构。例如，第二提示信息可以包含以下内容："请抽取句子中的行为和动作的对象，并用json格式返回[{"action": "取值有移动，说话"; "object": "对象"; "effect": "可能会造成的影响"; "content": "一些补充的内容"; "desc": "描述这个行为"}]"。

可选地，第二提示信息还可以用于提示编排不同动作的执行顺序，例如，第二提示信息可以包含以下内容："请抽取句子中的行为和动作的对象，并编排动作执行的顺序，用json格式返回[{"action": "取值有移动，说话"; "object": "对象"; "effect": "可能会造成的影响"; "content": "一些补充的内容"; "desc": "描述这个行为"}]"。

为了保证动作列表抽取的准确性，第二提示信息还可以对输入的行为计划和输出的动作进行示例性说明。例如，第二提示信息可以包含以下内容："例如: \n 输入: 成员A现在感觉非常疲惫，还没有吃晚饭，非常饿，所以成员A要去厨房做晚饭。成员A可以在客厅里面对空调说打开温度调节，调高一点温度，同时对灯说打开厨房的灯。然后成员A可以去厨房开始做饭。\n 输出: {["action": "说话"; "object": "空调", "content": "打开温度调节，调高一点温度", "desc": "控制空调调高温度"], ["action": "移动", "object": "成员A", "content": "厨房", "desc": "移动到厨房" ], ["action": "说话", "object": "灯", "content": "打开厨房的灯", "desc": "控制厨房灯打开"], ["action": "做晚饭", "object": "成员A", "effect": "解决饿的问题", "desc": "做晚饭"]}"。基于上述信息，请回答以下问题: '<所生成的计划>' \n 输出: "。

在得到上述行为计划之后，可在将第二提示信息和上述行为计划输入到目标大模型，目标大模型可以基于第二提示信息的提示，从输入的行为计划中抽取出动作列表，这里，可以将行为计划填入到第二提示信息中的对应位置，再将填入行为计划的第二提示信息输入到目标大模型。抽取出的动作列表可以包含一组动作，动作列表中的动作的数量可以为至少一个，也可以为零（即，未抽取到动作）。

例如，可以构造第二种提示词，用来抽取计划中的动作类型（action）、对象（object）、对象语音内容（content）以及描述（desc）。在基于所构建的第一种提示词生成行为计划之后，可以将所生成的行为计划填入上述第二种提示词，并输入至大模型，将行为计划抽取为动作列表。

示例性地，从前述的行为计划P1中抽取出的动作列表L1包括：[{"action": "说话", "object": "空调", "content": "打开空调，调节温度", "desc": "控制空调调节温度"}, {"action": "说话", "object": "成员A", "content": "去厨房", "desc": "表达想去厨房的意愿"}, {"action": "移动", "object": "成员A", "content": "去厨房", "desc": "移动到厨房"}, {"action": "说话", "object": "电视", "content": "打开电视，放音乐或电影", "desc": "控制电视打开，放音乐或电影"}, {"action": "说话", "object": "空调", "content": "打开加湿功能", "desc": "控制空调打开加湿功能"}, {"action": "尝试", "object": "湿度", "effect": "让室内空气更加舒适", "desc": "尝试使用空调的加湿功能"}]。动作列表L1的一个示例可以如图3所示，该动作列表L1中包含了一组动作，即，动作A11至动作A1m，其中，m为大于或者等于1的正整数。

在本实施例中，抽取的动作类型可以有一种或多种，可以包括说话（与虚拟对象发出语音对应），此外，考虑到虚拟对象所处的位置会对虚拟对象的感知等造成影响，抽取的动作类型还可以包括移动，对于其他的动作类型的动作，可以抽取，也可以不抽取，在此不做限定。

对应地，第一动作列表中可以包含与虚拟对象发出语音对应的动作，也可以包含其他类型的动作。与虚拟对象发出语音对应的动作的数量可以有一个或多个。在得到上述动作列表之后，可以按照动作列表中与虚拟对象发出语音对应的目标动作，生成与目标动作对应的对象语音内容，这里的目标动作可以是与虚拟对象发出语音对应的任一个动作、与虚拟对象发出语音对应的第一个动作等，本实施例中对于目标动作不做限定。对象语音内容可以是按照目标动作的动作格式，从目标动作（通过前述描述结构所描述的动作）中提取出所需的信息得到，提取的信息可以进行组合或者其他调整，本实施例中对此不做限定。

例如，对于动作列表L1，目标动作可以是action为“说话”的第一个动作，即，{"action": "说话", "object": "空调", "content": "打开空调，调节温度", "desc": "控制空调调节温度"}，也可以是其他的动作。基于该动作所生成的对象语音内容可以为“打开空调，调节温度”。

得到的对象语音内容可以传入目标交互系统，以由目标交互系统对传入的对象语音内容进行解析，并基于解析结果对目标虚拟空间内对应的智能设备进行控制（控制对应的智能设备执行匹配的设备操作），得到对象语音内容的执行结果，这里，对象语音内容的执行结果可以是通过系统日志记录的。

例如，可以调用待检测的对话系统（即，语音交互系统）接口，输入家庭成员发出语音，通过该接口得到当前设备的播报结果（response，即，执行结果），该步骤可视为对当前家庭的设备状态进行了更新。示例性地，将对象语音内容“打开空调，调节温度”作为userInput（用户输入）输入至待检测的对话系统，得到设备播报结果（即，空调语音播报）为“空调已开机”。通过上述步骤，可以视为对当前虚拟家庭的设备状态进行了一次更新。

可选地，目标虚拟空间内的智能设备可以为虚拟设备，目标交互系统控制智能设备执行匹配的设备操作可以是由目标交互系统模拟执行的，即，目标交互系统针对该对象语音内容模拟对应的智能设备的执行过程，并生成系统日志，而没有对应设备操作的执行过程。

可选地，目标虚拟空间也可以是对现实空间的映射，例如，目标虚拟空间是与目标物理空间对应的虚拟空间，两者的空间布局一致；目标虚拟空间内的智能设备是与目标物理空间内的物理设备对应的虚拟设备，两者的设备状态一致；目标虚拟空间的空间环境与目标物理空间的空间环境一致。因此，目标交互系统也可以控制目标物理空间内与对象语音内容对应的物理设备执行匹配的设备操作，从而基于实际执行结果生成系统日志。而采用目标交互系统模拟智能设备执行过程的方式，其具有更高的灵活性，提供了更多样的可能性。

需要说明的是，对象语音内容是指模拟出的虚拟对象发出的对象语音所包含的内容，虚拟对象发出的对象语音的动作是模拟执行的。

通过本实施例，按照行为计划生成、动作列表抽取、对象语音内容生成以及系统交互的顺序进行系统日志的生成，可以提高智能设备使用过程模拟的合理性，同时提高了生成的系统日志的有效性。

在一些示例性实施例中，第二提示信息可以用于抽取目标大模型输入的行为计划中的动作、动作的对象以及动作的描述结构，描述结构包括动作类型、动作的对象以及语音内容，还可以提示其他信息。第二提示信息进行信息提示的方式与前述实施例中类似，在此不做赘述。

对应地，将第二提示信息和目标虚拟对象的行为计划输入到目标大模型，以由目标大模型基于第二提示信息的提示从目标虚拟对象的行为计划中抽取出与目标虚拟对象对应的动作列表可以包括：将第二提示信息和目标虚拟对象的行为计划输入到目标大模型，以由目标大模型基于第二提示信息的提示从目标虚拟对象的行为计划中抽取出结构化的与目标虚拟对象对应的动作列表。这里，由于第二提示信息中提示了抽取的动作的描述结构，因此，输出的第一动作列表可以为结构化的动作列表。

通过本实施例，通过提示信息提示提取动作的描述结构（即，动作的表示结构），可以提取出结构化的动作列表，提高基于动作的数据处理的效率。

在一些示例性实施例中，与目标虚拟对象对应的动作列表中的动作可以是按照执行顺序排列的，对抽取的动作进行排列可以是由第二提示信息提示的。与前述实施例中类似的，动作列表中的动作的描述结构可以包括动作类型、动作的对象和语音内容，已经进行过说明的，在此不做赘述。

考虑到交互语音是需要用户通过说话的形式发出的，且一次语音交互对于空间环境等会造成影响，因此，可以选择动作列表中动作类型为说话的第一个动作，作为目标动作。对应地，按照与目标虚拟对象对应的动作列表中与虚拟对象发出语音对应的目标动作，生成与目标动作对应的对象语音内容可以包括：从与目标虚拟对象对应的动作列表中抽取出第一个动作类型为说话的动作，得到目标动作；按照与目标动作对应的对象和与目标动作对应的语音内容，生成与目标动作对应的对象发话内容。

例如，根据抽取到的动作列表，可以选择动作类型（action）为“说话”的第一个动作，得到对应的语音内容（content），例如对空调说“打开空调”，将对应的对象语音内容输入至待检测的对话系统。

通过本实施例，将动作列表中的动作按照执行顺序进行排序，并选择其中的第一个动作类型为说话的动作进行交互，可以提高语音交互的合理性，避免由于设备控制错乱导致的空间环境更新不准确的问题。

在一些示例性实施例中，可以依次执行与动作列表中动作类型为说话的每个动作。考虑到一次交互完成之后，用户的需求可能会发生变化，目标虚拟空间的空间环境也可能会发生变化，为了提高场景模拟的合理性，则可以在每执行完一次上述处理流程之后，更新第一提示信息，再使用更新的第一提示信息执行下一次的处理流程。

可选地，在执行完一次处理流程之后，在不满足循环结束条件的情况下，使用当前次处理流程所生成的对象发话内容的执行结果对第一提示信息执行扩充操作，得到扩充后的第一提示信息，而下一次处理流程所使用的第一提示信息为扩充后的第一提示信息。

这里，使用当前次处理流程所生成的对象发话内容的执行结果对第一提示信息执行扩充操作的方式可以是在第一提示信息中添加当前次处理流程所生成的对象发话内容的执行结果的描述信息，添加的描述信息可以描述目标虚拟对象发出了对象语音内容以及该对象语音内容的执行结果。通过添加的描述信息，目标大模型可以模拟出该执行结果对于目标虚拟空间的空间环境等的影响，从而提高空间环境模拟的准确性。

例如，基于上述虚拟出的用户语音内容和设备播报结果，对第一种提示词进行扩充，扩充的第一种提示词可以输入至大模型，用于生成新的动作计划。

通过本实施例，通过使用前一轮的对象语音内容以及对应的执行结果更新第一提示信息，可以提高场景模拟的准确性和合理性，进而提高执行结果的可靠性。

在一些示例性实施例中，可以通过目标扩充内容描述当前次处理流程所生成的对象发话内容和与当前次所述处理流程所生成的对象发话内容的执行结果之间的关联关系，并且，该目标扩充内容用于提示已对目标虚拟空间内的智能设备的设备状态所进行的调整。对应地，可以将目标扩充内容添加到第一提示信息的最后，得到扩充后的第一提示信息，以实现使用对象语音内容的执行结果对第一提示信息的扩充。

可选地，除了目标扩充内容以外，还可以将目标虚拟对象的行为计划与目标扩充内容一起添加到第一提示信息的最后，从而实现使用对象语音内容的执行结果对第一提示信息的扩充，得到扩充后的第一提示信息。

通过本实施例，通过将上一次处理流程所生成的行为计划与上一次处理流程的执行结果的描述信息一起添加到第一提示信息中，可以提高场景模拟的连续性和合理性，进而提高执行结果的可靠性。

在一些示例性实施例中，考虑到生成的动作列表中未执行的动作也是目标虚拟对象预期执行的，为了保证使用过程模拟的连续性，在得到与目标虚拟对象对应的动作列表之后，如果当前次处理流程不是第一次处理流程，即，存在已有的动作列表，则可以将移除已执行动作的上一次动作列表与当前次动作列表进行合并，得到更新的与目标虚拟对象对应的动作列表，这里，上一次动作列表为上一次处理流程抽取的目标虚拟对象对应的动作列表，当前次动作列表为当前次处理流程抽取的目标虚拟对象对应的动作列表。

例如，上一次处理流程得到的动作列表为L1，当前次处理流程得到的动作列表为L2，该动作列表L2中包含动作A21至动作A2n，其中，n为大于或者等于1的正整数。动作列表L1中的动作A11已执行，对此，可以将移除了动作L11的动作列表L1与动作列表L2合并。

例如，可以将设备播报结果作为新的家庭设备状态，扩充第一种提示词并输入至大模型。扩充第一种提示词的方式可以如下：原始第一种提示词，成员A的行为计划（即，“<所生成的行为计划>”），成员A对<Object>说：“<content>”，<Object>语音播报：“<response>”。 请更新成员A的行为计划。

示例性地，第一种提示词的扩充内容为：“成员A想现在去厨房做晚饭，但是感觉非常疲惫，还没有吃晚饭，非常饿，所以成员A想先打开空调，调节温度，让室内变得更加舒适。然后成员A想打开电视，用它来放一些音乐或者电影来放松一下自己。如果成员A有时间的话，成员A也想试试空调的加湿功能，让室内的空气更加舒适”，成员A对空调说：“打开空调，调节温度”，空调语音播报：“空调已开机”。请更新成员A的计划。

将扩充后的第一种提示词输入到大模型，由大模型重新生成的行为计划为：现在空调已经打开，成员A想调节一下温度，把室内变得更加舒适。然后成员A想打开电视，用它来放一些音乐或者电影来放松一下自己。如果成员A有时间的话，成员A也想试试空调的加湿功能，让室内的空气更加舒适。

从上述新的行为计划中抽取出的动作为：[{"action": "说话", "object": "空调", "content": "调节温度，使室内更加舒适", "desc": "控制空调温度"}, {"action": "说话", "object": "电视", "content": "打开电视，播放音乐或电影", "desc": "控制电视"}, {"action": "说话", "object": "空调", "content": "打开空调加湿功能", "effect": "改善室内空气质量，使其更加舒适", "desc": "控制空调加湿功能"}]。

移除已执行的动作的老行为计划与新行为计划合并得到的动作列表为：[{"action": "说话", "object": "成员A", "content": "去厨房", "desc": "表达想去厨房的意愿"}, {"action": "移动", "object": "成员A", "content": "去厨房", "desc": "移动到厨房"}, {"action": "说话", "object": "电视", "content": "打开电视，放音乐或电影", "desc": "控制电视打开，放音乐或电影"}, {"action": "说话", "object": "空调", "content": "调节温度，使室内更加舒适", "desc": "控制空调温度"}, {"action": "说话", "object": "空调", "content": "打开空调加湿功能", "effect": "改善室内空气质量，使其更加舒适", "desc": "控制空调加湿功能"}]。

更新的行为列表中，action为“说话”的第一个动作为：{"action": "说话", "object": "电视", "content": "打开电视，放音乐或电影", "desc": "控制电视打开，放音乐或电影"}，其对应的对象语音内容为“打开电视，放音乐或电影”。将对应的对象语音内容作为userInput输入至待检测的对话系统，得到设备播报结果为“好的，开始为您播放”。

对于得到的设备播报结果，可以继续进行第一种提示词的扩充至与语音系统的交互过程，以此类推，直到得到的系统日志满足数量需求或其他需求。

这里，将设备播报结果“好的，开始为您播放”作为新的家庭设备状态，扩充提示词时，扩充的第一种提示词为：“现在空调已经打开，成员A想调节一下温度，把室内变得更加舒适。然后成员A想打开电视，用它来放一些音乐或者电影来放松一下自己。如果成员A有时间的话，成员A也想试试空调的加湿功能，让室内的空气更加舒适”，成员A对电视说: “打开电视，放音乐或电影”，电视语音播报：“好的，开始为您播放”。请更新成员A的计划。

而将上述扩充的第一种提示词输入到大模型所生成的行为计划为：“成员A现在还非常疲惫，所以在放松享受电影放映的同时，成员A想利用空调的加湿功能，提高室内湿度，让空气更加舒适。在这个过程中，成员A也会根据需要调节空调的温度，以确保室内的温度合适”。

从上述行为计划中抽取新的动作列表并与移除已执行动作的老动作列表进行合并所得到的行为列表为：[{"action":"说话", "object":"空调", "content":"打开加湿功能，提高室内湿度", "desc":"控制空调开启加湿功能"}, {"action":"说话", "object":"空调", "content":"调节温度，确保室内温度合适", "desc":"控制空调调节温度"}, {"action":"放松", "object":"我", "effect":"享受电影放映", "desc":"放松享受电影放映"}]。

通过本实施例，通过该将新抽取的动作与历史未执行动作的合并，可以提高场景模拟的准确性和合理性，进而提高执行结果的可靠性。

在一些示例性实施例中，将移除已执行动作的上一次动作列表与当前次动作列表进行合并的方式可以有多种，可以包括但不限于以下至少之一：将当前次动作列表中的动作合并到移除已执行动作的上一次动作列表的最后，得到更新的与目标虚拟对象对应的动作列表；按照动作的执行顺序，将移除已执行动作的上一次动作列表与当前次动作列表进行合并，得到更新的与目标虚拟对象对应的动作列表。

动作列表的合并可以是动作列表的直接拼接（例如，如图4所示，将动作列表L2直接拼接到移除了动作A11的动作列表L1之后），也可以是基于动作的执行逻辑对动作列表进行的合并，这里的合并可以包括对于动作执行顺序的调整（例如，如图5所示，动作列表L2与移除了动作A11的动作列表L1合并之后，动作A21插入到动作A12与动作A13之间），也可以包括相同动作或者冲突动作的移除或者合并（例如，如图6所示，动作列表L2与移除了动作A11的动作列表L1合并之后，动作A22被删除），还可以是其他的合并方式，本实施例中对此不做限定。

通过本实施例，通过多种动作列表的合并方式中的至少一种对不同次处理流程中所抽取的动作列表进行合并，可以提高动作列表合并的灵活性。

在一些示例性实施例中，对象语音内容可以是通过调用目标交互系统的系统端口传入目标交互系统的。对于目标交互系统，在将对象语音内容传入目标交互系统之后，可以对对象语音内容进行解析，得到对象语音内容的解析结果；在对象语音内容解析成功、且对象语音内容用于控制目标虚拟空间内的目标智能设备执行目标设备操作的情况下，获取目标智能设备响应于对象语音内容所播报的交互内容。

目标交互系统对于对象语音内容的解析结果可能有两种，解析成功，解析失败，如果对象语音内容解析成功，且该对象语音内容的解析结果为控制目标智能设备执行目标设备操作，则可以模拟目标智能设备执行目标设备操作，并获取目标智能设备响应于对象语音内容所播报的交互内容。这里，与前述实施例中类似的，模拟智能设备执行设备操作的方式可以是：判断目标智能设备是否可以执行目标设备操作（即，可以基于预置限定、或者其他对设备操作的执行过程造成限定的条件），如果可以执行，则推理目标智能设备执行目标设备操作所播报的内容，从而得到目标智能设备所播报的交互内容。

这里，对象语音内容的执行结果包括目标智能设备所播报的交互内容，目标智能设备所播报的交互内容是目标交互系统模拟出的目标智能设备执行目标设备操作时所播报的交互内容。当目标智能设备执行目标设备操作时，其设备状态、目标虚拟区域的区域环境等可能会发生同步变化，这些变化可以通过目标智能设备所播报的交互内容进行指示。因此，采用与前述实施例中类似的方式对第一提示信息进行扩充，以保证通过第一提示信息所提示的设备状态为最新的设备状态，通过第一提示信息所提示的区域环境为最新的区域环境。

通过本实施例，通过语音系统对对象语音内容进行解析，并基于解析结果获取智能设备所播报的交互内容，以通过智能设备所播报的内容表征交互过程，可以提高数据处理的便捷性（例如，无需每次都重新构建第一指示信息）。

在一些示例性实施例中，对于解析成功的对象语音内容（即，正常对象语音内容），可以认为其是目标交互系统已经能够理解的对象语音内容，使用其对系统模型进行模型更新的作用较小。因此，可以仅使用解析失败的对象语音内容（即，异常对象语音内容）对目标交互系统的系统模型进行模型更新。对应地，基于一组对象语音内容的系统日志对目标交互系统的系统模型进行更新，得到更新后的目标交互系统可以包括：基于一组对象语音内容的系统日志所记录的执行结果，将一组对象语音内容中，执行结果为解析失败的对象语音内容，确定为异常对象语音内容；使用异常对象语音内容对目标交互系统的系统模型进行模型更新，得到更新后的目标交互系统。

例如，通过多轮模拟家庭成员对智慧家庭智能设备的执行和交互过程，在每轮均生成行动计划以及抽取动作列表，可以得到大量的虚拟用户发出语音，实现根据家庭环境状况和家庭成员人设来动态生成大量可执行的用户发出语音。而如果某次发出语音无法被对话系统成功解析，则将该发出语音存入数据库，可作为交互模型迭代优化的训练数据，从而对用户体验中的问题预先发现并修复。

通过本实施例，通过使用异常发送内容对语音系统的系统模型进行迭代优化，可以提高模型迭代优化的效率。

以应用到虚拟家庭场景为例，下面结合可选示例对本实施例中的基于大模型的交互系统更新方法进行解释说明。在本可选示例中，第一提示词为第一种提示词，第二提示词为第二种提示词，目标虚拟空间为虚拟出的智慧家庭，目标虚拟空间内的智能设备为智慧家庭设备，目标虚拟对象为虚拟家庭成员，第一种提示信息中，描述该家庭成员的信息为人设描述信息，目标虚拟空间的区域环境的描述信息为环境信息。

结合图7，本可选示例中的基于大模型的交互系统更新方法的流程包括以下步骤S701至步骤S711。

步骤S701，构建第一种提示词。

首先，可以构建第一种提示词（prompt），用来生成虚拟家庭成员操控智慧家庭设备的行为计划。其中，该第一种提示词可以向大模型交代虚拟家庭成员的人设信息和环境信息。

步骤S702，生成行为计划。

将所构造的第一种提示词输入至大模型，由大模型生成基于当前虚拟家庭环境下的行为计划，即，该虚拟家庭成员的行为计划。

步骤S703，构建第二种提示词，抽取行为计划中的动作列表。

构造第二种提示词，用来抽取行动计划中的动作，抽取的动作信息可以包括动作类型、对象、发话以及描述等信息。将所生成的行为计划填入上述第二种提示词，并输入至大模型，由大模型将行为计划抽取为结构化的动作列表。

步骤S704，判断是否是首轮，如果是，执行步骤S706，否则，执行步骤S705。

步骤S705，移除老的动作列表中已执行的动作，并与新的动作列表进行合并，更新动作列表。

步骤S706，从动作列表中选择动作类型为说话的第一个动作，并获取发话（即，虚拟家庭成员所发出的语音内容）。

根据抽取到的动作列表，选择动作类型（action）为“说话”的第一个动作，得到对应的发话（content），例如，对空调说“打开空调”。

步骤S707，调用待检测的对话系统接口，将发话输入至对话系统。

可以调用待检测的对话系统接口，输入家庭成员发话，通过该接口得到当前设备的播报结果。例如，空调语音播报：“空调已开机”。步骤S707可视为对当前家庭的设备状态进行了更新。

步骤S708，判断当前发话能否被对话系统成功解析，如果是，执行步骤S709，否则，执行步骤S710。

步骤S709，获取设备播报结果。

通过步骤S706至步骤S709，可视为对当前虚拟家庭的设备状态进行了一次更新。

步骤S710，将该发话存入数据库。存入数据库的发话可作为交互模型迭代优化的训练数据。

步骤S711，基于发话和设备播报结果，对第一中提示词进行扩充，生成新的行动计划。

基于上述的用户发话和设备播报结果，对步骤S701中的第一种提示词进行扩充，并输入至大模型，用于生成新的行动计划。后续抽取新的行动计划中的动作与步骤S703相同，可以是将新的行动计划填入步骤S703中的第二种提示词，通过大模型提取新的行动计划的动作列表。

重复步骤S703至步骤S711，依次执行并实现“选择动作、执行动作、调用接口更新家庭环境、更新行动计划、提取动作列表、合并动作”这一系列的操作。

示例性地，以两轮处理为例，在第一轮处理的过程中，可以基于所构建的第一种提示词，生成行动计划；基于所构建的第二种提示词，抽取所生成的行动计划中的动作；选择动作类型action为“说话”的第一个动作，将对应的发话输入至待检测的对话系统；将设备播报结果作为新的家庭设备状态，扩充第一种提示词并输入至大模型，生成新的行动计划；抽取新的行动计划中的动作；移除老的动作列表中已执行的动作，并与新的动作列表合并，得到新的动作列表，这里，也可以先进行行动计划的合并，再抽取动作列表。

在第一轮处理的过程中，选择动作类型action为“说话”的第一个动作，将对应的发话输入至待检测对话系统；将设备播报结果作为新的家庭设备状态，扩充第一种提示词并输入至大模型，生成新的行动计划；抽取新的行动计划中的动作；移除老的动作列表中已执行的动作，并与新的动作列表合并，得到新的动作列表。依次类推，直到满足循环结束条件。

通过本可选示例，通过每轮生成的行动计划和抽取到的动作列表，得到了大量的虚拟用户发话；如果当前发话无法被对话系统成功解析，则将该发话存入数据库，可作为交互模型迭代优化的训练数据，从而对用户体验中的问题预先发现并修复。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM（Read-Only Memory，只读存储器）/RAM(Random Access Memory，随机存取存储器)、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本申请各个实施例的方法。

根据本申请实施例的另一个方面，还提供了一种基于大模型的交互系统更新方法的基于大模型的交互系统更新装置。图8是根据本申请实施例的一种可选的基于大模型的交互系统更新装置的结构框图，如图8所示，该装置可以包括：构建单元802，用于构建与目标虚拟空间对应的第一提示信息，其中，第一提示信息用于提示目标虚拟空间的空间环境、目标虚拟空间内的智能设备以及目标虚拟空间内的目标虚拟对象；第一执行单元804，用于通过目标大模型基于第一提示信息的提示模拟目标虚拟对象通过发出语音对目标虚拟空间内的智能设备的使用过程，得到模拟出的一组对象语音内容，并将一组对象语音内容传入目标交互系统，以由目标交互系统生成一组对象语音内容的系统日志，其中，一组对象语音内容的系统日志用于记录一组对象语音内容的执行结果；更新单元806，用于基于一组对象语音内容的系统日志对目标交互系统的系统模型进行更新，得到更新后的目标交互系统。

需要说明的是，该实施例中的构建单元802可以用于执行上述步骤S202，该实施例中的第一执行单元804可以用于执行上述步骤S204，该实施例中的更新单元806可以用于执行上述步骤S206。

通过上述模块，构建与目标虚拟空间对应的第一提示信息，其中，第一提示信息用于提示目标虚拟空间的空间环境、目标虚拟空间内的智能设备以及目标虚拟空间内的目标虚拟对象；通过目标大模型基于第一提示信息的提示模拟目标虚拟对象通过发出语音对目标虚拟空间内的智能设备的使用过程，得到模拟出的一组对象语音内容，并将一组对象语音内容传入目标交互系统，以由目标交互系统生成一组对象语音内容的系统日志，其中，一组对象语音内容的系统日志用于记录一组对象语音内容的执行结果；基于一组对象语音内容的系统日志对目标交互系统的系统模型进行更新，得到更新后的目标交互系统，解决了相关技术中的交互系统更新方法存在由于交互语料覆盖不足导致的系统模型优化滞后的问题，提高了模型优化的超前性。

在一些示例性实施例中，第一执行单元包括：执行模块，用于基于第一提示信息循环执行以下的处理流程，直到满足循环结束条件，其中，循环结束条件是与流程执行次数对应的结束条件或者与已得到的对象语音内容的数量对应的结束条件：将第一提示信息输入到目标大模型，以由目标大模型基于第一提示信息的提示生成目标虚拟对象的行为计划，其中，目标虚拟对象的行为计划用于描述目标虚拟对象在目标虚拟空间内执行行为的过程；将第二提示信息和目标虚拟对象的行为计划输入到目标大模型，以由目标大模型基于第二提示信息的提示从目标虚拟对象的行为计划中抽取出与目标虚拟对象对应的动作列表，其中，第二提示信息用于提示从目标大模型输入的行为计划中抽取动作的方式；按照与目标虚拟对象对应的动作列表中与虚拟对象发出语音对应的目标动作，生成与目标动作对应的对象语音内容，其中，一组对象语音内容包括与目标动作对应的对象语音内容；将与目标动作对应的对象语音内容传入目标交互系统，得到目标交互系统生成的与一个对象语音内容对应的系统日志。

在一些示例性实施例中，第二提示信息用于抽取目标大模型输入的行为计划中的动作、动作的对象以及动作的描述结构，描述结构包括动作类型、动作的对象以及语音内容。对应地，执行模块包括：输入子模块，用于将第二提示信息和目标虚拟对象的行为计划输入到目标大模型，以由目标大模型基于第二提示信息的提示从目标虚拟对象的行为计划中抽取出结构化的与目标虚拟对象对应的动作列表。

在一些示例性实施例中，与目标虚拟对象对应的动作列表中的动作是按照执行顺序排列的，与目标虚拟对象对应的动作列表中的动作的描述结构包括动作类型、动作的对象以及语音内容。对应地，执行模块包括：抽取子模块，用于从与目标虚拟对象对应的动作列表中抽取出第一个动作类型为说话的动作，得到目标动作；生成子模块，用于按照与目标动作对应的对象和与目标动作对应的语音内容，生成与目标动作对应的对象语音内容。

在一些示例性实施例中，上述装置还包括：第二执行单元，用于在执行完一次处理流程之后，在不满足循环结束条件的情况下，使用当前次处理流程所生成的对象语音内容的执行结果对第一提示信息执行扩充操作，得到扩充后的第一提示信息，其中，下一次处理流程所使用的第一提示信息为扩充后的第一提示信息。

在一些示例性实施例中，第二执行单元包括：添加模块，用于将目标虚拟对象的行为计划以及目标扩充内容添加到第一提示信息的最后，得到扩充后的第一提示信息，其中，目标扩充内容用于描述当前次处理流程所生成的对象语音内容和与当前次处理流程所生成的对象语音内容的执行结果之间的关联关系，目标虚拟对象的行为计划用于提示已为目标虚拟对象生成的行为计划，目标扩充内容用于提示已对目标虚拟空间内的智能设备的设备状态所进行的调整。

在一些示例性实施例中，上述装置还包括：合并单元，用于在按照与目标虚拟对象对应的动作列表中与虚拟对象发出语音对应的目标动作，生成与目标动作对应的对象语音内容之前，在当前次处理流程不是第一次处理流程的情况下，将移除已执行动作的上一次动作列表与当前次动作列表进行合并，得到更新的与目标虚拟对象对应的动作列表，其中，上一次动作列表为上一次处理流程抽取的目标虚拟对象对应的动作列表，当前次动作列表为当前次处理流程抽取的目标虚拟对象对应的动作列表。

在一些示例性实施例中，合并单元包括：第一合并模块，用于将当前次动作列表中的动作合并到移除已执行动作的上一次动作列表的最后，得到更新的与目标虚拟对象对应的动作列表；或者，第二合并模块，用于按照动作的执行顺序，将移除已执行动作的上一次动作列表与当前次动作列表进行合并，得到更新的与目标虚拟对象对应的动作列表。

在一些示例性实施例中，上述装置还包括：解析单元，用于在将与目标动作对应的对象语音内容传入目标交互系统之后，通过目标交互系统对与目标动作对应的对象语音内容进行解析，得到与目标动作对应的对象语音内容的解析结果；获取单元，用于在与目标动作对应的对象语音内容解析成功、且与目标动作对应的对象语音内容用于控制目标虚拟空间内的目标智能设备执行目标设备操作的情况下，获取目标智能设备响应于与目标动作对应的对象语音内容所播报的交互内容，其中，目标智能设备所播报的交互内容是目标交互系统模拟出的目标智能设备执行目标设备操作时所播报的交互内容。

在一些示例性实施例中，更新单元包括：确定模块，用于基于一组对象语音内容的系统日志所记录的执行结果，将一组对象语音内容中，执行结果为解析失败的对象语音内容，确定为异常对象语音内容；更新模块，用于使用异常对象语音内容对目标交互系统的系统模型进行模型更新，得到更新后的目标交互系统。

此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。

根据本申请实施例的又一个方面，还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行本申请实施例中上述任一项基于大模型的交互系统更新方法的程序代码。

可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例中对此不再赘述。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、ROM、RAM、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

根据本申请实施例的又一个方面，还提供了一种用于实施上述基于大模型的交互系统更新方法的电子设备，该电子设备可以是服务器、终端、或者其组合。

图9是根据本申请实施例的一种可选的电子设备的结构框图，如图9所示，包括处理器902、通信接口904、存储器906和通信总线908，其中，处理器902、通信接口904和存储器906通过通信总线908完成相互间的通信，其中，存储器906，用于存储计算机程序；处理器902，用于执行存储器906上所存放的计算机程序时，实现上述任一项基于大模型的交互系统更新方法。

可选地，通信总线可以是PCI (Peripheral Component Interconnect，外设部件互连标准)总线、或EISA (Extended Industry Standard Architecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括RAM，也可以包括非易失性存储器(non-volatile memory)，例如，至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。

作为一种示例，上述存储器906中可以但不限于包括上述基于大模型的交互系统更新装置中的构建单元802、第一执行单元804以及更新单元806。此外，还可以包括但不限于上述基于大模型的交互系统更新装置中的其他模块单元，本示例中不再赘述。

上述处理器可以是通用处理器，可以包含但不限于：CPU (Central ProcessingUnit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP (DigitalSignal Processing，数字信号处理器)、ASIC (Application Specific IntegratedCircuit，专用集成电路)、FPGA (Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。

本领域普通技术人员可以理解，图9所示的结构仅为示意，实施上述基于大模型的交互系统更新方法的设备可以是终端设备，该终端设备可以是智能手机（如Android手机、iOS手机等）、平板电脑、掌上电脑以及移动互联网设备（Mobile Internet Devices，MID）、PAD等终端设备。图9其并不对上述电子设备的结构造成限定。例如，电子设备还可包括比图9中所示更多或者更少的组件（如网络接口、显示装置等），或者具有与图9所示的不同的配置。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、ROM、RAM、磁盘或光盘等。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例中所提供的方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以至少两个单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (11)

1.一种基于大模型的交互系统更新方法，其特征在于，包括：

构建与目标虚拟空间对应的第一提示信息，其中，所述第一提示信息用于提示所述目标虚拟空间的空间环境、所述目标虚拟空间内的智能设备以及所述目标虚拟空间内的目标虚拟对象；

通过目标大模型基于所述第一提示信息的提示模拟所述目标虚拟对象通过发出语音对所述目标虚拟空间内的智能设备的使用过程，得到模拟出的一组对象语音内容，并将所述一组对象语音内容传入目标交互系统，以由所述目标交互系统生成所述一组对象语音内容的系统日志，其中，所述一组对象语音内容的系统日志用于记录所述一组对象语音内容的执行结果；

基于所述一组对象语音内容的系统日志对所述目标交互系统的系统模型进行更新，得到更新后的所述目标交互系统；

其中，所述通过目标大模型基于所述第一提示信息的提示模拟所述目标虚拟对象通过发出语音对所述目标虚拟空间内的智能设备的使用过程，得到模拟出的一组对象语音内容，并将所述一组对象语音内容传入目标交互系统，包括：

基于所述第一提示信息循环执行以下的处理流程，直到满足循环结束条件，其中，所述循环结束条件是与流程执行次数对应的结束条件或者与已得到的所述对象语音内容的数量对应的结束条件：

将所述第一提示信息输入到所述目标大模型，以由所述目标大模型基于所述第一提示信息的提示生成所述目标虚拟对象的行为计划，其中，所述目标虚拟对象的行为计划用于描述所述目标虚拟对象在所述目标虚拟空间内执行行为的过程；

将第二提示信息和所述目标虚拟对象的行为计划输入到所述目标大模型，以由所述目标大模型基于所述第二提示信息的提示从所述目标虚拟对象的行为计划中抽取出与所述目标虚拟对象对应的动作列表，其中，所述第二提示信息用于提示从所述目标大模型输入的行为计划中抽取动作的方式；

按照与所述目标虚拟对象对应的动作列表中与虚拟对象发出语音对应的目标动作，生成与所述目标动作对应的对象语音内容，其中，所述一组对象语音内容包括与所述目标动作对应的对象语音内容；

将与所述目标动作对应的对象语音内容传入所述目标交互系统，得到所述目标交互系统生成的与一个所述对象语音内容对应的系统日志。

2.根据权利要求1所述的方法，其特征在于，所述第二提示信息用于抽取所述目标大模型输入的行为计划中的动作、动作的对象以及动作的描述结构，所述描述结构包括动作类型、动作的对象以及语音内容；

所述将第二提示信息和所述目标虚拟对象的行为计划输入到所述目标大模型，以由所述目标大模型基于所述第二提示信息的提示从所述目标虚拟对象的行为计划中抽取出与所述目标虚拟对象对应的动作列表，包括：

将所述第二提示信息和所述目标虚拟对象的行为计划输入到所述目标大模型，以由所述目标大模型基于所述第二提示信息的提示从所述目标虚拟对象的行为计划中抽取出结构化的与所述目标虚拟对象对应的动作列表。

3.根据权利要求1所述的方法，其特征在于，与所述目标虚拟对象对应的动作列表中的动作是按照执行顺序排列的，与所述目标虚拟对象对应的动作列表中的动作的描述结构包括动作类型、动作的对象以及语音内容；

所述按照与所述目标虚拟对象对应的动作列表中与虚拟对象发出语音对应的目标动作，生成与所述目标动作对应的对象语音内容，包括：

从与所述目标虚拟对象对应的动作列表中抽取出第一个动作类型为说话的动作，得到所述目标动作；

按照与所述目标动作对应的对象和与所述目标动作对应的语音内容，生成与所述目标动作对应的对象语音内容。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在执行完一次所述处理流程之后，在不满足所述循环结束条件的情况下，使用当前次所述处理流程所生成的对象语音内容的执行结果对所述第一提示信息执行扩充操作，得到扩充后的所述第一提示信息，其中，下一次所述处理流程所使用的所述第一提示信息为扩充后的所述第一提示信息。

5.根据权利要求4所述的方法，其特征在于，所述使用当前次所述处理流程所生成的对象语音内容的执行结果对所述第一提示信息执行扩充操作，得到扩充后的所述第一提示信息，包括：

将所述目标虚拟对象的行为计划以及目标扩充内容添加到所述第一提示信息的最后，得到扩充后的所述第一提示信息，其中，所述目标扩充内容用于描述当前次所述处理流程所生成的对象语音内容和与当前次所述处理流程所生成的对象语音内容的执行结果之间的关联关系，所述目标虚拟对象的行为计划用于提示已为所述目标虚拟对象生成的行为计划，所述目标扩充内容用于提示已对所述目标虚拟空间内的智能设备的设备状态所进行的调整。

6.根据权利要求1所述的方法，其特征在于，在所述按照与所述目标虚拟对象对应的动作列表中与虚拟对象发出语音对应的目标动作，生成与所述目标动作对应的对象语音内容之前，所述方法还包括：

在当前次所述处理流程不是第一次所述处理流程的情况下，将移除已执行动作的上一次动作列表与当前次动作列表进行合并，得到更新的与所述目标虚拟对象对应的动作列表，其中，所述上一次动作列表为上一次所述处理流程抽取的所述目标虚拟对象对应的动作列表，当前次动作列表为当前次所述处理流程抽取的所述目标虚拟对象对应的动作列表。

7.根据权利要求6所述的方法，其特征在于，所述将移除已执行动作的上一次动作列表与当前次动作列表进行合并，得到更新的与所述目标虚拟对象对应的动作列表，包括：

将当前次动作列表中的动作合并到移除已执行动作的所述上一次动作列表的最后，得到更新的与所述目标虚拟对象对应的动作列表；或者，

按照动作的执行顺序，将移除已执行动作的所述上一次动作列表与当前次动作列表进行合并，得到更新的与所述目标虚拟对象对应的动作列表。

8.根据权利要求1所述的方法，其特征在于，在所述将与所述目标动作对应的对象语音内容传入所述目标交互系统之后，所述方法还包括：

通过所述目标交互系统对与所述目标动作对应的对象语音内容进行解析，得到与所述目标动作对应的对象语音内容的解析结果；

在与所述目标动作对应的对象语音内容解析成功、且与所述目标动作对应的对象语音内容用于控制所述目标虚拟空间内的目标智能设备执行目标设备操作的情况下，获取所述目标智能设备响应于与所述目标动作对应的对象语音内容所播报的交互内容，其中，所述目标智能设备所播报的交互内容是所述目标交互系统模拟出的所述目标智能设备执行所述目标设备操作时所播报的交互内容。

9.根据权利要求1至8中任一项所述的方法，其特征在于，所述基于所述一组对象语音内容的系统日志对所述目标交互系统的系统模型进行更新，得到更新后的所述目标交互系统，包括：

基于所述一组对象语音内容的系统日志所记录的执行结果，将所述一组对象语音内容中，执行结果为解析失败的对象语音内容，确定为异常对象语音内容；

使用所述异常对象语音内容对所述目标交互系统的系统模型进行模型更新，得到更新后的所述目标交互系统。

10.一种基于大模型的交互系统更新装置，其特征在于，包括：

构建单元，用于构建与目标虚拟空间对应的第一提示信息，其中，所述第一提示信息用于提示所述目标虚拟空间的空间环境、所述目标虚拟空间内的智能设备以及所述目标虚拟空间内的目标虚拟对象；

第一执行单元，用于通过目标大模型基于所述第一提示信息的提示模拟所述目标虚拟对象通过发出语音对所述目标虚拟空间内的智能设备的使用过程，得到模拟出的一组对象语音内容，并将所述一组对象语音内容传入目标交互系统，以由所述目标交互系统生成所述一组对象语音内容的系统日志，其中，所述一组对象语音内容的系统日志用于记录所述一组对象语音内容的执行结果；

更新单元，用于基于所述一组对象语音内容的系统日志对所述目标交互系统的系统模型进行更新，得到更新后的所述目标交互系统；

其中，所述第一执行单元包括：

执行模块，用于基于所述第一提示信息循环执行以下的处理流程，直到满足循环结束条件，其中，所述循环结束条件是与流程执行次数对应的结束条件或者与已得到的所述对象语音内容的数量对应的结束条件：

将所述第一提示信息输入到所述目标大模型，以由所述目标大模型基于所述第一提示信息的提示生成所述目标虚拟对象的行为计划，其中，所述目标虚拟对象的行为计划用于描述所述目标虚拟对象在所述目标虚拟空间内执行行为的过程；

将第二提示信息和所述目标虚拟对象的行为计划输入到所述目标大模型，以由所述目标大模型基于所述第二提示信息的提示从所述目标虚拟对象的行为计划中抽取出与所述目标虚拟对象对应的动作列表，其中，所述第二提示信息用于提示从所述目标大模型输入的行为计划中抽取动作的方式；

按照与所述目标虚拟对象对应的动作列表中与虚拟对象发出语音对应的目标动作，生成与所述目标动作对应的对象语音内容，其中，所述一组对象语音内容包括与所述目标动作对应的对象语音内容；

将与所述目标动作对应的对象语音内容传入所述目标交互系统，得到所述目标交互系统生成的与一个所述对象语音内容对应的系统日志。

11.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行权利要求1至9中任一项所述的方法。