CN116756277B - 基于目标生成式预训练gpt模型的交互语句的处理方法 - Google Patents
基于目标生成式预训练gpt模型的交互语句的处理方法 Download PDFInfo
- Publication number
- CN116756277B CN116756277B CN202310428886.9A CN202310428886A CN116756277B CN 116756277 B CN116756277 B CN 116756277B CN 202310428886 A CN202310428886 A CN 202310428886A CN 116756277 B CN116756277 B CN 116756277B
- Authority
- CN
- China
- Prior art keywords
- interactive
- ith
- sentence
- interaction
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 729
- 238000012549 training Methods 0.000 title claims abstract description 209
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 230000003993 interaction Effects 0.000 claims abstract description 264
- 238000012545 processing Methods 0.000 claims abstract description 103
- 230000009466 transformation Effects 0.000 claims abstract description 95
- 238000013145 classification model Methods 0.000 claims abstract description 66
- 238000000034 method Methods 0.000 claims abstract description 62
- 108020001568 subdomains Proteins 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 19
- 238000002372 labelling Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 239000000523 sample Substances 0.000 claims 15
- 230000000694 effects Effects 0.000 abstract description 2
- 238000004378 air conditioning Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 102100036475 Alanine aminotransferase 1 Human genes 0.000 description 9
- 230000001131 transforming effect Effects 0.000 description 7
- 101710096214 Alanine aminotransferase 1 Proteins 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 101000928460 Homo sapiens Alanine aminotransferase 1 Proteins 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 4
- 230000002787 reinforcement Effects 0.000 description 4
- 102100033814 Alanine aminotransferase 2 Human genes 0.000 description 3
- 101000779415 Homo sapiens Alanine aminotransferase 2 Proteins 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008014 freezing Effects 0.000 description 2
- 238000007710 freezing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000004243 sweat Anatomy 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Machine Translation (AREA)
Abstract
本申请公开了一种基于目标生成式预训练GPT模型的交互语句的处理方法及装置、系统、存储介质及电子装置，涉及智慧家庭技术领域，该方法包括：通过领域分类模型确定输入的原始交互语句的领域分类结果，并基于所述领域分类结果确定所述原始交互语句是否属于预设领域；在确定所述原始交互语句不属于所述预设领域的情况下，通过目标生成式预训练GPT模型解析所述原始交互语句在所述预设领域上的意图信息，并根据所述意图信息生成变换交互语句；根据所述变换交互语句进行交互处理。采用上述技术方案，解决了交互系统直接根据交互语句进行交互处理，导致交互效果较差的问题。
Description
技术领域
本申请涉及智慧家庭技术领域，具体而言，涉及一种基于目标生成式预训练GPT模型的交互语句的处理方法及装置、系统、存储介质及电子装置。
背景技术
随着智慧生活的到来，越来越多的用户喜欢使用交互语句的方式同交互系统进行交互，但现有方式中，交互系统是直接基于用户输入的交互语句进行交互，但在一些情况下，由于交互系统无法正确识别用户的交互语句，进而导致无法对用户的交互语句做出正确的响应。
针对相关技术中，交互系统直接根据交互语句进行交互处理，导致交互效果较差的问题，目前尚未提出有效的解决方案。
因此，有必要对相关技术予以改良以克服相关技术中的所述缺陷。
发明内容
本发明实施例提供了一种基于目标生成式预训练GPT模型的交互语句的处理方法及装置、存储介质及电子装置，以至少解决交互系统直接根据交互语句进行交互处理，导致交互效果较差的问题。
根据本发明实施例的一方面，提供一种基于目标生成式预训练GPT模型的交互语句的处理方法，包括：通过领域分类模型确定输入的原始交互语句的领域分类结果，并基于所述领域分类结果确定所述原始交互语句是否属于预设领域；在确定所述原始交互语句不属于所述预设领域的情况下，通过目标生成式预训练GPT模型解析所述原始交互语句在所述预设领域上的意图信息，并根据所述意图信息生成变换交互语句；根据所述变换交互语句进行交互处理。
根据本发明实施例的另一方面，还提供了一种基于目标生成式预训练GPT模型的交互语句的处理装置，包括：确定模块，用于通过领域分类模型确定输入的原始交互语句的领域分类结果，并基于所述领域分类结果确定所述原始交互语句是否属于预设领域；生成模块，用于在确定所述原始交互语句不属于所述预设领域的情况下，通过目标生成式预训练GPT模型解析所述原始交互语句在所述预设领域上的意图信息，并根据所述意图信息生成变换交互语句；交互模块，用于根据所述变换交互语句进行交互处理。
根据本发明实施例的又一方面，还提供了一种基于目标生成式预训练GPT模型的交互语句的处理系统，包括：领域分类模型，用于对输入的原始交互语句进行领域分类，确定所述原始交互语句是否属于预设领域；目标生成式预训练GPT模型，用于在所述原始交互语句不属于所述预设领域的情况下，解析所述原始交互语句在所述预设领域上的意图信息，并根据所述意图信息生成变换交互语句；对话引擎，用于根据所述变换交互语句进行交互处理。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述基于目标生成式预训练GPT模型的交互语句的处理方法。
根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述基于目标生成式预训练GPT模型的交互语句的处理方法。
本发明，在通过领域分类模型确定原始交互语句不属于预设领域的情况下，通过目标生成式预训练GPT模型解析原始交互语句在预设领域上的意图信息，并根据意图信息生成变换交互语句，进而根据变换交互语句进行交互处理，采用上述技术方案，使得交互系统可以挖掘用户的隐含意图，提高了交互系统对输入的交互语句的理解能力，进而交互系统可以准确地进行相应的响应，提高了交互效果，解决了交互系统直接根据交互语句进行交互处理，导致交互效果较差的问题。此外，由于交互系统可以挖掘用户的隐含意图，对交互语句的理解能力更强，使得交互系统可以根据用户意图实现更加自然贴心的交互方式、提高了交互系统的智能度；并且由于交互系统更加准确的识别了用户的隐含意图，使得交互系统可以主动地延续或者引导出新的话题，进而交互系统具备像人与人之间那样进行连续对话的能力，使得人机交互领域的交互体验有了质的飞跃。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请实施例的一种基于目标生成式预训练GPT模型的交互语句的处理方法的硬件环境示意图；
图2是根据本发明实施例的基于目标生成式预训练GPT模型的交互语句的处理方法的流程图；
图3是根据本发明实施例的基于目标生成式预训练GPT模型的交互语句的处理方法的整体框架图（一）；
图4（a）是根据本发明实施例的一种预设领域的示意图；
图4（b）是根据本发明实施例的另一种预设领域的示意图；
图5是根据本发明实施例的一种生成变换交互语句的流程示意图；
图6是根据本发明实施例的另一种生成变换交互语句的流程示意图；
图7是根据本发明实施例的基于目标生成式预训练GPT模型的交互语句的处理方法的整体框架图（二）；
图8是根据本发明实施例的强化学习的框架图；
图9是根据本发明实施例的基于目标生成式预训练GPT模型的交互语句的处理装置的结构框图；
图10是根据本发明实施例的基于目标生成式预训练GPT模型的交互语句的处理系统的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一个方面，提供了一种基于目标生成式预训练GPT模型的交互语句的处理方法。该基于目标生成式预训练GPT模型的交互语句的处理方法广泛应用于智慧家庭（Smart Home）、智能家居、智能家用设备生态、智慧住宅（IntelligenceHouse）生态等全屋智能数字化控制应用场景。可选地，在本实施例中，上述基于目标生成式预训练GPT模型的交互语句的处理方法可以应用于如图1所示的由终端设备102和服务器104所构成的硬件环境中。如图1所示，服务器104通过网络与终端设备102进行连接，可用于为终端或终端上安装的客户端提供服务（如应用服务等），可在服务器上或独立于服务器设置数据库，用于为服务器104提供数据存储服务，可在服务器上或独立于服务器配置云计算和/或边缘计算服务，用于为服务器104提供数据运算服务。
上述网络可以包括但不限于以下至少之一：有线网络，无线网络。上述有线网络可以包括但不限于以下至少之一：广域网，城域网，局域网，上述无线网络可以包括但不限于以下至少之一：WIFI（Wireless Fidelity，无线保真），蓝牙。终端设备102可以并不限定于为PC、手机、平板电脑、智能空调、智能烟机、智能冰箱、智能烤箱、智能炉灶、智能洗衣机、智能热水器、智能洗涤设备、智能洗碗机、智能投影设备、智能电视、智能晾衣架、智能窗帘、智能影音、智能插座、智能音响、智能音箱、智能新风设备、智能厨卫设备、智能卫浴设备、智能扫地机器人、智能擦窗机器人、智能拖地机器人、智能空气净化设备、智能蒸箱、智能微波炉、智能厨宝、智能净化器、智能饮水机、智能门锁等。
为了解决上述问题，在本实施例中提供了一种基于目标生成式预训练GPT模型的交互语句的处理方法，包括但不限于应用在交互系统（交互系统包括但不限于部署在上述终端设备102）中，图2是根据本发明实施例的基于目标生成式预训练GPT模型的交互语句的处理方法的流程图，该流程包括如下步骤：
步骤S202：通过领域分类模型确定输入的原始交互语句的领域分类结果，并基于所述领域分类结果确定所述原始交互语句是否属于预设领域；
作为一种可选的示例，领域分类模型用于确定原始交互语句是否属于预设领域，即领域分类模型实现一种二分类，领域分类结果为原始交互语句属于预设领域或者原始交互语句不属于预设领域。
作为一种可选的示例，所述预设领域为交互系统所处的领域（例如：智慧家庭领域、智能车载系统领域等）。在一些实施例中，交互系统为基于目标生成式预训练GPT模型的交互语句的处理系统，该交互系统包括对话引擎。
在一个示例性的实施例中，在上述步骤S202之后，还包括：在基于所述领域分类结果确定所述原始交互语句属于所述预设领域的情况下，使用所述原始交互语句进行交互处理。
需要说明的是，如果原始交互语句本身就属于预设领域，进而交互系统是可以准确地确定用户的意图，可以准确地基于原始交互语句进行相应的响应，无需将原始交互语句输入至目标GPT模型中。
步骤S204：在确定所述原始交互语句不属于所述预设领域的情况下，通过目标生成式预训练GPT模型解析所述原始交互语句在所述预设领域上的意图信息，并根据所述意图信息生成变换交互语句；
作为一种可选的示例，上述目标生成式预训练GPT模型为与预设领域相对应的GPT模型，进而通过预设领域对应的目标GPT模型解析原始交互语句在预设领域上的意图信息，并根据意图信息生成变换交互语句，可以提高交互系统对原始交互语句的理解能力。
作为一种可选的示例，可以对现有的通用GPT模型（包括但不限于微软 AzureOpen AI 提供的GPT4模型、Text-to-Text Transfer Transformer（T5）模型等对话式通用大规模文本预训练模型）、或者厂商自主研发的类大规模文本预训练模型（使用厂商的研发人员收集到大量的数据训练得到的模型）进行微调处理，得到预设领域对应的目标GPT模型。
作为一种可选的示例，目标生成式预训练GPT（Generative Pre-Training，生成式预训练）模型可以对原始交互语句在预设领域上进行语法纠错处理，得到弱泛化语句，也可以对原始交互语句在预设领域上进行语义扩展处理，得到强泛化语句。
在一个示例性的实施例中，在上述步骤S202之后，还包括：在基于所述领域分类结果确定所述原始交互语句属于所述预设领域的情况下，通过目标生成式预训练GPT模型解析所述原始交互语句在所述预设领域上的意图信息，并根据所述意图信息生成变换交互语句。
需要说明的是，为了进一步的提高交互系统对原始交互语句的理解能力，可以在原始交互语句属于预设领域的情况下，也通过目标生成式预训练GPT模型解析所述原始交互语句在所述预设领域上的意图信息，并根据意图信息生成变换交互语句。
步骤S206：根据所述变换交互语句进行交互处理。
在一个示例性的实施例中，上述步骤S206可以通过以下方式实现：在确定所述变换交互语句不属于所述预设领域的情况下，使用所述原始交互语句进行交互处理。
需要说明的是，如果变换交互语句不属于预设领域，则说明交互系统通过目标GPT模型也无法识别出原始交互语句在预设领域的意图，进而基于用户的原始表达，交互系统直接使用原始交互语句进行交互处理。
在一个示例性的实施例中，上述步骤S206还可以通过以下方式实现：在确定所述变换交互语句属于所述预设领域的情况下，使用所述变换交互语句进行交互处理。
需要说明的是，如果变换交互语句属于预设领域，则说明通过目标GPT模型已经识别出了原始交互语句在预设领域的意图，进而为了提高交互效果，则交互系统使用变换交互语句进行交互处理。
需要说明的是，本申请实施例中，确定原始交互语句是否属于预设领域的领域分类模型与确定变换交互语句是否属于预设领域的领域分类模型例如可以是同一个领域分类模型。为了更好的进行理解，以下结合图3进行具体说明，通过领域分类器（相当于上述领域分类模型）对原始交互语句进行分类，得到领域分类结果，并根据领域分类结果确定原始交互语句是否属于预设领域，在确定原始交互语句属于预设领域的情况下，将原始交互语句直接输入至对话引擎（对话引擎位于交互系统），在确定原始交互语句不属于预设领域的情况下，将原始交互语句输入至目标GPT模型中，得到目标GPT模型输出的变换交互语句，并继续使用领域分类器对变换交互语句进行领域分类，如果变换交互语句属于预设领域，则将变换交互语句输入至对话引擎中，如果变换交互语句不属于预设领域，则将原始交互语句输入至对话引擎中。
需要说明的是，在相关技术中的交互系统直接根据用户的原始交互语句进行交互处理主要存在以下问题：
1、不够拟人化：当前人机交互系统仅仅只是基于现有知识库进行搜索，简单的理解用户所要表达意图，进而在面对复杂、实时、与用户主观观点相关的深度交互语句时，难以从深层次的理解用户的意图，进而难以针对用户的交互语句做出有效理解和回答；
2、缺乏持续交互能力：当前人机交互系统无法主动地延续或者引导出新的话题，使得当前人机交互系统无法像人与人之间那样进行持续地交互；
3、准确度不高，智能化程度较低：当前人机交互系统无法挖掘用户的隐含意图，进而无法准确的理解用户的交互语句，无法实现自然贴心的交互方式。
针对上述问题，本申请实施例通过上述步骤，在通过领域分类模型确定原始交互语句不属于预设领域的情况下，通过目标生成式预训练GPT模型解析原始交互语句在预设领域上的意图信息，并根据意图信息生成变换交互语句，进而根据变换交互语句进行交互处理，采用上述技术方案，使得交互系统可以挖掘用户的隐含意图，提高了交互系统对输入的交互语句的理解能力，进而交互系统可以准确地进行相应的响应，解决了交互系统直接根据交互语句进行交互处理，导致交互效果较差的问题。此外，由于交互系统可以挖掘用户的隐含意图，对交互语句的理解能力更强，使得交互系统可以根据用户意图实现更加自然贴心的交互方式、提高了交互系统的智能度；并且由于交互系统更加准确的识别了用户的隐含意图，使得交互系统可以主动地延续或者引导出新的话题，进而交互系统具备像人与人之间那样进行连续对话的能力，使得人机交互领域的交互体验有了质的飞跃。
在一个示例性的实施例中，预设领域包括具有层级关系的N层子领域。
为了更好的理解，作为一种可选的示例，如图4（a）所示，在N为3、且每层中不存在并列的子领域的情况下，N层子领域为：智慧家庭领域（第一层），空调领域（第二层）、温度调节领域（第三层）。需要说明的是，一个子领域对应一个GPT模型，下一层领域为相对应的上一层领域的子领域。
作为一种可选的示例，在预设领域包括具有层级关系的N层子领域、且每层中不存在并列的子领域的情况下，通过每一层子领域对应的领域分类模型确定交互语句是否属于每一层子领域。例如，通过空调领域对应的领域分类模型确定交互语句是否属于空调领域，通过温度调节领域对应的领域分类模型确定交互语句是否属于温度调节领域。
作为一种可选的示例，如图4（b）所示，在N为3、且每层中存在并列的子领域的情况下，则N层子领域为：智慧家庭领域（第一层），空调领域（第二层）、冰箱领域（第二层）、温度调节领域（第三层）…冷冻领域（第三层）…。
作为一种可选的示例，在预设领域包括具有层级关系的N层子领域、且每层中存在并列的子领域的情况下，通过每一层子领域中每个子领域对应的领域分类模型确定交互语句是否属于所述每个子领域。例如，通过空调领域对应的领域分类模型确定交互语句是否属于空调领域，通过冰箱领域对应的领域分类模型确定交互语句是否属于冰箱领域。
在一些实施例中，空调领域对应的领域分类模型与冰箱领域对应的领域分类模型不同，空调领域对应的领域分类模型仅用于确定交互语句是否属于空调领域，冰箱领域对应的领域分类模型仅用于确定交互语句是否属于冰箱领域。在一个示例性的实施例中，在预设领域包括具有层级关系的N层子领域，所述N层子领域中的每层子领域分别对应至少一个GPT模型，N为正整数，上述步骤S204通过以下步骤S11-S12实现：
步骤S11：根据当前层子领域对应的GPT模型对预设层输出的交互语句或所述原始交互语句进行处理，得到当前层输出的交互语句，其中，在所述当前层是第一层的情况下，所述预设层输出的交互语句是所述原始交互语句；
作为一种可选的示例，在当前层为第一层的情况下，根据第一层子领域对应的GPT模型对原始交互语句进行处理，得到当前层输出的交互语句。在当前层不是第一层的情况下，根据当前层子领域对应的GPT模型对预设层输出的交互语句进行处理，得到当前层输出的交互语句。
作为一种可选的示例，预设层为当前分支的先前层，或者其他分支的任一层（包括先前层、后续层）。在一个分支上，后续每一层子领域均为先前任一层子领域的子领域。例如，智慧家庭领域（第一层），空调领域（第二层）、温度调节领域（第三层）为一个分支；智慧家庭领域（第一层）、冰箱领域（第二层）、冷冻领域（第三层）为另一个分支。
步骤S12：根据所述当前层输出的交互语句和所述当前层对应的层级，确定所述变换交互语句。
在本实施例中，针对智慧家庭领域及智慧家庭领域下的子类，进行更精细化、针对性的语料泛化，使得交互系统在获取到用户的交互语句以后，可以逐层进行泛化，从而更深层次的理解用户的意图，进而可以给用户提供个性化的推荐和服务，提升家庭领域用户语言交互的自然度、便利性、准确性等。
在一个示例性的实施例中，上述步骤S12包括步骤S121与步骤S122：
步骤S121：在所述当前层输出的交互语句不属于所述当前层子领域、且所述当前层不是第一层的情况下，将所述预设层输出的交互语句确定为所述变换交互语句，其中，所述预设层输出的交互语句属于所述预设层子领域；
需要说明的是，如果当前层对应的GPT模型输出的交互语句不属于对应的当前层子领域，则说明当前层对应的GPT模型对预设层对应的GPT模型输出的交互语句泛化失败（泛化失败即表明未识别出预设层输出的交互语句在当前层子领域的意图），则不继续进行下一层泛化，由于当前层不是第一层，则说明预设层输出的交互语句属于所述预设层子领域，进而将预设层输出的交互语句确定为所述变换交互语句。
为了更好的理解，作为一种可选的示例，如图4（a）所示，假设当前层子领域为空调领域，则如果当前层子领域对应的GPT模型输出的交互语句不属于空调领域，则将预设层子领域对应的GPT模型（智慧家庭领域对应的GPT模型）输出的交互语句确定为变换交互语句，其中，预设层对应的GPT模型（智慧家庭领域对应的GPT模型）输出的交互语句属于智慧家庭领域。
步骤S122：在所述当前层输出的交互语句属于所述当前层子领域、且所述当前层不是第N层的情况下，将下一层获取为所述当前层，并继续执行所述根据当前层子领域对应的GPT模型对预设层输出的交互语句或所述原始交互语句进行处理，得到当前层输出的交互语句的操作，直至得到所述变换交互语句。
需要说明的是，如果当前层输出的交互语句属于所述当前层子领域、则说明当前层对应的GPT模型对预设层对应的GPT模型输出的交互语句或者原始交互语句泛化成功（泛化失败即表明未识别出预设层输出的交互语句或者原始交互语句在当前层子领域的意图），而由于当前层不是第N层，进而需要继续对当前层输出的交互语句进行泛化，将下一层获取为当前层，并继续执行根据当前层子领域对应的GPT模型对预设层输出的交互语句或所述原始交互语句进行处理，得到当前层输出的交互语句的操作，直至得到变换交互语句。
为了更好的进行理解，作为一种可选的示例，如图4（a）所示，假设当前层子领域为智慧家庭领域，则如果当前层子领域对应的GPT模型输出的交互语句属于智慧家庭领域，则将当前层子领域对应的GPT模型（智慧家庭领域对应的GPT模型）输出的交互语句输入至下一层子领域对应的GPT模型（空调领域对应的GPT模型），继续使用下一层子领域对应的GPT模型对预设层输出的交互语句（智慧家庭领域对应的GPT模型输出的交互语句）进行处理，直至得到变换交互语句。
在一个示例性的实施例中，上述步骤S12还包括步骤S123与步骤S124：
步骤S123：在所述当前层输出的交互语句不属于所述当前层子领域、且所述当前层是第一层的情况下，将所述当前层输出的交互语句确定为所述变换交互语句；
需要说明的是，如果当前层对应的GPT模型输出的交互语句不属于对应的当前层子领域，则说明当前层对应的GPT模型对原始交互语句泛化失败（泛化失败即表明未识别出原始交互语句在当前层子领域的意图），则不继续进行下一层泛化，由于当前层是第一层，进而将当前层输出的交互语句确定为所述变换交互语句。
作为一种可选的示例，如图4（a）所示，假设当前层子领域为智慧家庭领域，则如果当前层对应的GPT模型输出的交互语句不属于智慧家庭领域，则将预设层对应的GPT模型（智慧家庭领域对应的GPT模型）输出的交互语句确定为变换交互语句。
步骤S124：在所述当前层输出的交互语句属于所述当前层子领域、且所述当前层是第N层的情况下，将所述当前层输出的交互语句确定为所述变换交互语句。
需要说明的是，如果当前层输出的交互语句属于所述当前层子领域、则说明当前层对应的GPT模型对预设层对应的GPT模型输出的交互语句或者原始交互语句泛化成功（泛化失败即表明未识别出预设层输出的交互语句或者原始交互语句在当前层子领域的意图），而由于当前层已经是第N层，即已经不存在下一层继续进行泛化，进而将当前层输出的交互语句确定为变换交互语句。
需要说明的是，上述步骤S121-S124为在不同的情况下，如何确定变换交互语句，上述步骤S121-S124之间并不存在执行的先后顺序。
在一个示例性的实施例中，所述方法还包括：通过所述当前层对应的领域分类模型确定所述当前层输出的交互语句是否属于所述当前层子领域。
作为一种可选的示例，在当前层中仅有一个当前层子领域的情况下，通过当前层子领域对应的领域分类模型确定当前层子领域对应的GPT模型输出的交互语句是否属于所述当前层子领域。
作为一种可选的示例，在当前层中有多个并列的当前层子领域的情况下，通过每个当前层子领域对应的领域分类模型确定所述每个当前层子领域自身对应的GPT模型输出的交互语句是否属于所述每个当前层子领域。例如，如图4（b）所示，在当前层为第二层的情况下，当前层至少包括并列的空调领域和冰箱领域，则通过空调领域对应的领域分类模型确定空调领域对应的GPT模型输出的交互语句是否属于空调领域，通过冰箱领域对应的领域分类模型确定冰箱领域对应的GPT模型输出的交互语句是否属于冰箱领域。
在一个示例性的实施例中，上述步骤S11包括步骤S111：在所述N层子领域包括N个子领域、且所述N个子领域中的第i个子领域为第i-1个子领域的子领域的情况下，通过所述第i个子领域对应的第i个GPT模型解析所述第i-1个交互语句或所述原始交互语句在所述第i个子领域上的意图信息，生成第i个交互语句，其中，所述第i-1个交互语句根据第i-1个子领域对应的第i-1个GPT模型得到。需要说明的是，i为小于或等于N的正整数。
作为一种可选的示例，在当前层为第i层，且i为1的情况下，通过第1个子领域对应的第1个GPT模型解析原始交互语句在所述第1个子领域上的意图信息，生成第1交互语句，在当前层为第i层，且i不为1的情况下，通过第i个子领域对应的第i个GPT模型解析第i-1个子领域对应的第i-1个GPT模型输出的第i-1个交互语句在所述第i个子领域上的意图信息，生成第i个交互语句，其中，所述当前层为第i层，所述预设层为第i-1层。
需要说明的是，在第1个子领域对应的第1个GPT模型输出的第1个交互语句属于所述第1个子领域的情况下，才通过第2个子领域对应的第2个GPT模型解析第1个交互语句在第2个子领域上的意图信息，生成第2个交互语句。在所述第1个交互语句不属于所述第1个子领域的情况下，直接将第1个交互语句确定为变换交互语句。
需要说明的是，在i不为1、第i-1个子领域对应的第i-1个GPT模型输出的第i-1个交互语句属于所述第i个子领域的情况下，才通过第i个子领域对应的第i个GPT模型解析第i-1个交互语句在第i个子领域上的意图信息，生成第i个交互语句，并通过第i个子领域对应的领域分类模型确定第i个交互语句是否属于第i个子领域，在第i个交互语句不属于所述第i个子领域的情况下，将第i-1个交互语句确定为变换交互语句；在所述第i个交互语句属于第i个领域的交互语句、且i等于N的情况下，将第i个交互语句确定为变换交互语句，在第i个交互语句属于第i个领域的交互语句、且i小于N的情况下，将i的取值加1，继续 执行通过第i个子领域对应的第i个GPT模型解析第i-1个交互语句在第i个子领域上的意图信息，生成第i个交互语句的操作，直至得到变换交互语句。
为了更好的理解，以下结合图3进行具体说明，在N层子领域包括图3中的领域1、领域2、领域3、领域4…的情况下，通过领域1对应的GPT模型GPT1对原始交互语句进行处理，得到第1个交互语句，在第1个交互语句不属于领域1的情况下，将第1个交互语句确定为变换交互语句，在第1个交互语句属于领域1的情况下，通过领域2对应的GPT模型GPT2对第1个交互语句进行处理，得到第2个交互语句，在第2个交互语句不属于领域2的情况下，将第1个交互语句（即第2个交互语句的上一个交互语句）确定为变换交互语句，在第2个交互语句属于领域2的情况下，通过领域3对应的GPT模型GPT3对第2个交互语句进行处理，得到第3个交互语句，在第3个交互语句不属于领域3的情况下，将第2个交互语句（即第3个交互语句的上一个交互语句）确定为变换交互语句，在第3个交互语句属于领域3的情况下，通过领域4对应的GPT模型GPT4对第3个交互语句进行处理，得到第4个交互语句，以此类推，直至得到变换交互语句。
作为一种可选的示例，在当前层为第i层，且i为1的情况下，通过第1个子领域对应的第1个GPT模型解析原始交互语句在所述第1个子领域上的意图信息，生成第1交互语句，在当前层为第i+k层，且i不为1的情况下，通过第i+k个子领域对应的第i+k个GPT模型解析第i-1个子领域对应的第i-1个GPT模型输出的第i-1个交互语句在所述第i+k个子领域上的意图信息，生成第i个交互语句，其中，第i-1个交互语句属于所述第i-1个子领域、所述第i-1个交互语句属于第i+k-1个子领域、且第i-1个交互语句不属于第i+k个子领域，k为大于或等于0的正整数，i+k<=N，所述当前层为第i+k层，所述预设层为第i-1层。
为了更好的进行理解，以下结合图5进行具体说明，在N层子领域包括图5中的领域1、领域2、领域3、领域P…的情况下，通过领域1对应的GPT模型GPT1对原始交互语句进行处理，得到第1个交互语句；在第1个交互语句不属于领域1的情况下，将第1个交互语句确定为变换交互语句；在第1个交互语句属于领域1、且不属于领域2的情况下，通过领域2对应的GPT模型GPT2对第1个交互语句进行处理，得到第2个交互语句；在第1个交互语句属于领域1、且属于领域2的情况下，则需要从N层领域中找到领域P（第1个交互语句属于领域P-1、且不属于领域P、P为大于或等于2、小于或等于N正整数），并通过领域P对应的GPT模型GPTP对第1个交互语句进行处理，得到第2个交互语句，以此类推，直至得到变换交互语句。
也就是说，只有在先前层输出的交互语句不属于当前层子领域的情况下，才使用当前层子领域对应的GPT模型对先前层输出的交互语句进行处理。
在一个示例性的实施例中，在上述步骤S11包括步骤S111的情况下，上述步骤S12还包括：在所述第i个交互语句属于所述第i个子领域的交互语句、所述第i个交互语句属于第i+k个子领域的交互语句、且所述第i个交互语句不属于第i+k+1个子领域的交互语句的情况下，将所述第i个交互语句获取为所述预设层输出的交互语句，将所述第i+k+1层获取为所述当前层，并继续执行所述根据当前层子领域对应的GPT模型对预设层输出的交互语句或所述原始交互语句进行处理，得到当前层输出的交互语句的操作，直至得到所述变换交互语句，其中，所述k为自然数，i+k<N。
需要说明的是，如果第i个交互语句已经属于所述第i+1个子领域的交互语句，则无需通过第i+1个子领域对应的GPT模型来对第i个交互语句进行处理，需要从具有层级关系的N个子领域中找到第i+k+1个子领域（第i个交互语句属于第i+k个子领域的交互语句、但不属于第i+k+1个子领域的交互语句），将所述第i+k+1层确定为当前层，通过第i+k+1个子领域对应的GPT模型来对第i个交互语句进行处理，得到第i+1个交互语句，并确定是否得到变换交互语句，如果没有得到变换交互语句，则基于相同的逻辑继续进行相应的操作，直至得到变换交互语句。
在一个示例性的实施例中，上述步骤S11包括步骤S112-S113：
步骤S112：在所述N层子领域包括N组领域、所述N组领域中的第i组领域为第i-1组领域的子领域、同一组领域中的各个领域属于同一层级、且各组领域对应一组GPT模型的情况下，通过第i子组领域对应的第i子组GPT模型中的各个GPT模型解析第i-1个交互语句或所述原始交互语句在所述第i子组领域中对应的子领域上的意图信息，得到第i组交互语句，其中，所述第i-1个交互语句是第i-1子组GPT模型中的第i-1个当前GPT模型生成的交互语句，所述第i-1个当前GPT模型是第i-1组领域中的第i-1个当前领域对应的GPT模型，所述第i子组领域是所述第i-1个当前领域在第i组领域中的子领域；
步骤S113：在所述第i组交互语句中选择第i个交互语句，其中，所述第i个交互语句是所述第i子组GPT模型中的第i个当前GPT模型生成的交互语句，所述第i个当前GPT模型是所述第i子组领域中的第i个当前领域对应的GPT模型，所述当前层为第i层，所述预设层为第i-1层。
需要说明的是，N层中的每一层具有一组领域，进而N层子领域包括N组领域，每一组领域中的每一个领域都对应一个GPT模型，进而N组领域中的每一组领域对应一组GPT模型。需要说明的是，在i等于1的时候，第i-1个交互语句为原始交互语句，并且不存在第i-1子组GPT模型、第i-1个当前GPT模型i-1组领域、以及第i-1个当前领域。
在一个示例性的实施例中，在上述步骤S11包括步骤S112-S113的情况下，上述步骤S12包括：在所述第i个交互语句不属于所述第i个当前领域的交互语句、且i等于1的情况下，将所述第i个交互语句确定为所述变换交互语句；在所述第i个交互语句不属于所述第i个当前领域的交互语句、且i不等于1的情况下，将所述第i-1个交互语句确定为所述变换交互语句；在所述第i个交互语句属于所述第i个当前领域的交互语句、且i小于N的情况下，将i的取值加1，并继续执行所述根据当前层子领域对应的GPT模型对预设层输出的交互语句或所述原始交互语句进行处理，得到当前层输出的交互语句的操作，直至得到所述变换交互语句；在所述第i个交互语句属于所述第i个当前领域的交互语句、且i等于N的情况下，将所述第i个交互语句确定为所述变换交互语句。
在一个示例性的实施例中，通过所述第i个当前领域对应的第i个当前领域分类模型确定所述第i个交互语句是否属于所述第i个当前领域。
为了更好的理解上述N层子领域包括N组领域的情况，以下结合图6进行具体说明，如图6所示，N层子领域包括：第一组领域（GPT1对应的领域）、第二组领域（GPT2-1对应的领域、GPT2-2对应的领域…）、第三组领域（GPT3-1对应的领域、GPT3-2对应的领域、GPT3-3对应的领域、GPT3-4对应的领域…）、第四组领域（GPT4-1对应的领域、GPT4-2对应的领域、GPT4-3对应的领域、GPT4-4对应的领域…）…。
通过第1子组领域（GPT1对应的领域）对应第1子组GPT模型（GPT1）解析原始交互语句在第1子组领域（GPT1对应的领域）上的意图信息，得到第1组交互语句，并从第1组交互语句中选择第1个交互语句。其中，第1个当前GPT模型为GPT1，GPT1对应的领域为第1个当前领域，第2子组领域是第1个当前领域（GPT1对应的领域）在第2组领域中的子领域（GPT2-1对应的领域、GPT2-2对应的领域…）。
在第1个交互语句不属于第1个当前领域的情况下，将第1个交互语句确定为变换交互语句。
在第1个交互语句属于第1个当前领域的情况下，通过第2子组领域（GPT2-1对应的领域、GPT2-2对应的领域…）对应的第2子组GPT模型（GPT2-1、GPT2-2…）中的各个GPT模型解析第1个交互语句在第2子组领域中对应的子领域上的意图信息，得到第2组交互语句。具体的，通过GPT2-1解析第1个交互语句在GPT2-1对应的领域的意图信息，得到GPT2-1输出的交互语句，通过GPT2-2解析第1个交互语句在GPT2-2对应的领域的意图信息，得到GPT2-2输出的交互语句…进而得到第2组交互语句，并从第2组交互语句中选择第2个交互语句。如果第2个交互语句是GPT2-1解析第1个交互语句在GPT2-1对应的领域的意图信息后输出的交互语句，第2个当前GPT模型为GPT2-1，GPT2-1对应的领域为第2个当前领域，第3子组领域是第2个当前领域（GPT2-1对应的领域）在第3组领域中的子领域（GPT3-1对应的领域、GPT3-2对应的领域…）。
在第2个交互语句不属于第2个当前领域的情况下，将第1个交互语句确定为变换交互语句。
在第2个交互语句属于第2个当前领域的情况下，通过第3子组领域（GPT3-1对应的领域、GPT3-2对应的领域…）对应的第3子组GPT模型（GPT3-1、GPT3-2…）中的各个GPT模型解析第2个交互语句在第3子组领域中对应的子领域上的意图信息，得到第3组交互语句。具体的，通过GPT3-1解析第2个交互语句在GPT3-1对应的领域的意图信息，得到GPT3-1输出的交互语句，通过GPT3-2解析第2个交互语句在GPT3-2对应的领域的意图信息，得到GPT3-2输出的交互语句…进而得到第3组交互语句，并从第3组交互语句中选择第3个交互语句。如果第3个交互语句是GPT3-1解析第2个交互语句在GPT3-1对应的领域的意图信息后输出的交互语句，第3个当前GPT模型为GPT3-1，GPT3-1对应的领域为第3个当前领域，第4子组领域是第3个当前领域（GPT3-1对应的领域）在第4组领域中的子领域（GPT4-1对应的领域、GPT4-2对应的领域…）。
在第3个交互语句不属于第3个当前领域的情况下，将第2个交互语句确定为变换交互语句。在第3个交互语句属于第3个当前领域的情况下，继续采用上述原理对第3个交互语句进行处理。
在一个示例性的实施例中，上述在所述第i组交互语句中选择第i个交互语句，包括：在所述第i组交互语句中选择置信度最高的交互语句，得到所述第i个交互语句，其中，所述第i组交互语句中的各个交互语句的置信度是所述第i子组GPT模型中对应的GPT模型根据解析到的所述第i-1个交互语句在所述第i子组领域中对应的领域上的意图信息生成的置信度。
在一个示例性的实施例中，通过目标生成式预训练GPT模型解析所述原始交互语句在所述预设领域上的意图信息，并根据所述意图信息确定变换交互语句之前，所述方法还包括步骤S21-S22：
步骤S21：获取所述N层子领域对应的M个GPT模型，其中，所述M为大于或等于N的正整数；
作为一种可选的示例，在N层子领域包括N个子领域的情况下，M=N；在N层子领域包括N组领域的情况下，M>N。
在一个示例性的实施例中，上述步骤S21可以通过以下方式实现：
通过以下方式一或者方式二获取所述M个GPT模型中的第j个GPT模型，其中，所述j为大于或等于1，小于或等于M的正整数：
方式一：获取第一通用GPT模型，其中，所述第一通用GPT模型为使用第一预定数据训练得到的模型；使用第j个领域对应的第j组训练数据对所述第一通用GPT模型进行训练，得到所述第j个领域对应的第j个GPT模型；
需要说明的是，第一通用GPT模型是使用自身获取到的大量数据训练得到的一种通用GPT模型。
方式二：通过调用指定平台的指定接口将所述第j个领域对应的第j组训练数据发送至所述指定平台；获取所述指定平台使用所述第j组训练数据对第二通用GPT模型进行训练得到的所述第j个领域对应的第j个GPT模型，其中，所述第二通用GPT模型为所述指定平台使用第二预定数据训练得到的模型。
需要说明的是，第二通用GPT模型是第三方平台通过大量的数据训练得到的一种通用GPT模型。
需要说明的是，如图3所示，预设领域对应的GPT模型可以通过两种方式得到，即可以使用带有预设领域的标注的数据对第一通用GPT模型进行训练，进而得到预设领域对应的GPT模型，也可以将带有预设领域的标注的数据发送至第三方平台，进而第三方平台根据带有预设领域的标注的数据对第二通用GPT模型进行训练，通过调用第三方平台的相关接口就可以使用第三方平台训练得到的预设领域对应的GPT模型。
步骤S22：将所述M个GPT模型分布式部署在对应的服务器中。
在一个示例性的实施例中，M个GPT模型中通过方式一得到的GPT模型可以部署在任意服务器上，M个GPT模型中通过方式二得到的GPT模型需要部署与第三方平台相对应的服务器上，例如Azure服务器。
需要说明的是，在上述步骤S204之前，需要预先训练得到目标生成式预训练GPT模型，具体的，可以使用带有预设领域标注的非预设领域的样本数据对通用GPT模型进行训练，进而得到目标生成式预训练GPT模型。
在一个示例性的实施例中，在上述步骤S204之前，可以使用监督学习算法来对通用GPT模型进行训练，其中， 通过以下步骤S31-S36对通用GPT模型进行第i轮训练：
步骤S31：将训练样本集合中的非预设领域的第i个样本交互语句输入到第i-1轮训练得到的通用GPT模型中，其中，所述第i个样本交互语句对应预设的第i个第一类型标注交互语句和第i个第二类型标注交互语句；
作为一种可选的示例，第i个样本交互语句可以为“我要开控调”，第一类型标注交互语句为“我要开空调”，第二类型标注交互语句为“我要开风扇”。
作为一种可选的示例，还可以将第i个样本交互语句对应的上下文信息输入至输入到第i-1轮训练得到的通用GPT模型。
步骤S32：通过所述第i-1轮训练得到的通用GPT模型对所述第i个样本交互语句进行语法纠错处理，得到第i组第一类型候选交互语句，并在所述第i组第一类型候选交互语句中确定第i个第一类型候选交互语句；
需要说明的是，第i组第一类型候选交互语句包括对第i个样本交互语句进行语法纠错处理得到的多个第一类型候选交互语句。需要说明的是，语法纠错包括但不限于：同义词替换，近义词替换，语序调整等等。
在一个示例性的实施例中，通过所述第i-1轮训练得到的通用GPT模型对所述第i个样本交互语句进行所述语法纠错处理，得到第i组第一类型候选交互语句，包括：通过所述第i-1轮训练得到的通用GPT模型对所述第i个样本交互语句进行所述语法纠错处理，得到所述第i组第一类型候选交互语句以及对应的第i组置信度；
在所述第i组第一类型候选交互语句中确定第i个第一类型候选交互语句，包括：在所述第i组第一类型候选交互语句中选择置信度最高的第一类型候选交互语句，得到所述第i个第一类型候选交互语句。
步骤S33：通过所述第i-1轮训练得到的通用GPT模型对所述第i个样本交互语句进行语义扩展处理，得到第i组第二类型候选交互语句，并在所述第i组第二类型候选交互语句中确定第i个第二类型候选交互语句；
需要说明的是，第i组第二类型候选交互语句包括对第i个样本交互语句进行语义扩展处理得到的多个第二类型候选交互语句。
步骤S34：根据所述第i个第一类型标注交互语句、所述第i个第一类型候选交互语句、所述第i个第二类型标注交互语句和所述第i个第二类型候选交互语句，确定第i轮训练的目标损失值；
作为一种可选的示例，可以计算第i个第一类型标注交互语句和第i个第一类型候选交互语句的第一损失值，计算第i个第二类型标注交互语句和第i个第二类型候选交互语句的第二损失值，进而根据第一损失值和第二损失值确定第i轮训练的目标损失值。
步骤S35：在所述第i轮训练的目标损失值不满足预设训练截止条件的情况下，对所述第i-1轮训练得到的通用GPT模型中的参数进行调整，确定出第i轮训练得到的通用GPT模型；
步骤S36：在所述第i轮训练的目标损失值满足预设训练截止条件的情况下，结束训练。
需要说明的是，在结束训练时，将结束训练时的通用GPT模型确定为目标GPT模型。
在一个示例性的实施例中，可以进行特征设计以对通用GPT模型的训练进行引导，进而再使用带有预设领域标注的非预设领域的样本数据对通用GPT模型进行微调处理，进而得到目标生成式预训练GPT模型，其中，微调处理中使用的算法包括但不限于排序算法模型以及PPO准则。
特征设计可以理解为在对通用GPT模型进行训练的时候，其输入包括：样本交互语句以及样本交互语句对应的上下文信息，其输出包括：变换交互语句以及变换交互语句对应的标签信息，其中，标签信息用于指示变换交互语句是第一类型变换交互语句还是第二类型变换交互语句，其中，第一类型变换交互语句是对样本交互语句进行语法纠错处理得到的语句（弱泛化语句），第二类型变换交互语句是对样本交互语句进行语义扩展处理得到的语句（强泛化语句）。
在一个示例性的实施例中，在上述步骤S204之前，还可以使用监督学习的方式对通用领域分类模型和通用GPT模型进行联合训练，进而得到预设领域对应领域分类模型和目标生成式预训练GPT模型，可选的，可以通过以下步骤S41-S49对通用领域分类模型和通用GPT模型进行第i轮联合训练：
步骤S41：将训练样本集合中的非预设领域的第i个样本交互语句输入到第i-1轮训练得到的通用GPT模型中，其中，所述第i个样本交互语句对应预设的第i个第一类型标注交互语句、第i个第二类型标注交互语句、第i个实际领域；
步骤S42：通过所述第i-1轮训练得到的通用GPT模型对所述第i个样本交互语句进行所述语法纠错处理，得到第i组第一类型候选交互语句，并在所述第i组第一类型候选交互语句中确定第i个第一类型候选交互语句；
步骤S43：通过所述第i-1轮训练得到的通用GPT模型对所述第i个样本交互语句进行所述语义扩展处理，得到第i组第二类型候选交互语句，并在所述第i组第二类型候选交互语句中确定第i个第二类型候选交互语句；
步骤S44：根据所述第i个第一类型标注交互语句、所述第i个第一类型候选交互语句、所述第i个第二类型标注交互语句和所述第i个第二类型候选交互语句，确定第i轮训练的第一目标损失值；
步骤S45：将所述第i个样本交互语句输入到第i-1轮训练得到的通用领域分类模型中，并通过所述第i-1轮训练得到的通用领域分类模型对所述第i个样本交互语句进行领域分类处理，得到第i个预测领域；
步骤S46：根据所述第i个预测领域和所述第i个实际领域，确定第i轮训练的第二目标损失值；
步骤S47：根据所述第i轮训练的第一目标损失值和所述第i轮训练的第二目标损失值，确定第i轮训练的目标损失值；
步骤S48：在所述第i轮训练的目标损失值不满足预设训练截止条件的情况下，对所述第i-1轮训练得到的通用GPT模型中的参数和所述第i-1轮训练得到的通用领域分类模型中的参数进行调整，确定出第i轮训练得到的通用GPT模型和第i轮训练得到的通用领域分类模型；
作为一种可选的示例，预设训练结束条件包括以下至少之一：目标损失值收敛或者目标损失值小于第一预设阈值。在另一些实施例中，还可以根据训练轮次确定预设训练截止条件，例如训练轮次大于第二预设阈值时满足预设训练截至条件。
步骤S49：在所述第i轮训练的目标损失值满足预设训练截止条件的情况下，结束训练。
需要说明的是，可以使用预设领域的交互语句对通用领域分类模型进行训练，得到预设领域对应的领域分类模型，例如，使用空调领域对应的交互语句对通用领域分类模型进行训练，得到空调领域对应的领域分类模型；使用冰箱领域对应的交互语句对通用领域分类模型进行训练，得到冰箱领域对应的领域分类模型。
在一个示例性的实施例中，上述步骤S204包括以下步骤S51-S53：
步骤S51：通过所述目标GPT模型，根据所述意图信息对所述原始交互语句进行语法纠错处理，得到一组第一类型候选交互语句；
需要说明的是，一组第一类型候选交互语句即目标GPT模型对原始交互语句进行弱泛化的结果。
需要说明的是，由于在进行语音识别的时候，往往会出现识别错误，比如用户说的是“我要打开空调”，而在进行语音识别得到原始交互语句的时候，识别成了“我要打开控调”，进而智慧家庭领域的目标GPT模型可以对原始交互语句进行弱泛化处理，生成变换交互语句“我要打开空调”。
步骤S52：通过所述目标GPT模型，根据所述意图信息对所述原始交互语句进行语义扩展处理，得到一组第二类型候选交互语句；
需要说明的是，一组第二类型候选交互语句即目标GPT模型对原始交互语句进行强泛化的结果。例如，如果原始交互语句为“我出了一身汗”，则智慧家庭领域的目标GPT模型可以对原始交互语句进行强泛化处理，生成变换交互语句“我很热，打开空调”或者“我很热，打开风扇”或者“打开热水器”等等。
步骤S53：从所述一组第一类型的候选交互语句和所述一组第二类型候选交互语句中确定变换交互语句。
作为一种可选的示例，如果使用目标GPT模型对原始交互语句进行泛化处理以后，既存在一组第一类型的候选交互语句（即弱泛化语句），又存在一组第二类型的候选交互语句（即强泛化语句），则需要从一组第一类型的候选交互语句中确定置信度最高的一条交互语句确定为变换交互语句。
在一个示例性的实施例中，上述步骤S206还包括： 在所述变换交互语句属于所述预设领域、且通过所述变换交互语句的标签信息确定所述变换交互语句为所述一组第一类型候选交互语句中的交互语句的情况下，执行所述变换交互语句对应的操作；在所述变换交互语句属于所述预设领域、且通过所述变换交互语句的标签信息确定所述变换交互语句为所述一组第二类型候选交互语句中的交互语句的情况下，进入询问流程。
需要说明的是，如果目标GPT模型生成的变换交互语句为第一类型变换交互语句（即弱泛化语句），则交互系统可以直接执行变换交互语句对应的操作；如果目标GPT模型生成的变换交互语句为第二类型变换交互语句（即强泛化语句），而第二类型变换交互语句又是对原始交互语句进行语义扩展处理得到的语句，则为了避免语义扩展错误，则需要进入模糊意图询问流程，向用户询问生成的变换交互语句是否正确，进而再根据用户的回复语句进行相应的处理。
在本实施例中，采用上述技术方案，可以进一步的提高交互系统的交互效果。
显然，上述所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。为了更好的理解上述方法，以下结合实施例对上述过程进行说明，但不用于限定本发明实施例的技术方案，具体地：
在一个可选的实施例，在智能交互系统中，为准确理解用户意图，往往需要大量的先验知识，建立语言模型。在利用生成式预训练（Generative Pre-Training ，GPT）模型作为系统的先验知识语言模型时，往往能获得更具有语料泛化特性的语言模型能力。但是通用GPT模型通常不具有特定领域的适用性。
因此，本申请通过基于通用GPT模型的智慧家庭领域标注数据的有监督学习，生成智慧家庭领域的特性化GPT模型，将该模型以领域逻辑分配的方式进行调用，应用于已有的智能家居交互系统中，从而提升系统对用户语言理解的泛化能力。本申请构建基于GPT泛化模型的智能交互系统及强化学习机制。通过通用GPT模型与微调数据耦合的方式，生成特性化GPT模型，并以领域分类器耦合的方式，与原交互引擎进行耦合。同时，还可以利用用户原始输入与领域分类器结果，以及特性化GPT泛化结果，作为自学习的训练数据，进行增强学习机制，在交互过程中，积累增强学习的数据，达到模型自学习的目的。
在一个示例性的实施例中，可以利用微软 Azure Open AI 提供的GPT3 操场，通过 In-context learning 的模型自学习训练方式，微调出具有智慧家庭特色的 homeGPT（即智慧家庭领域的目标GPT模型）。可选的，可以将已有泛化数据统一意图的query作为“prompt”和 “completion”，生成特性化GPT，部署于Azure服务器。
需要说明的是，在特性化GPT(如homeGPT ) 生成和Azure服务器部署以后，可以使用特性化GPT模型，可选的，为了更好的理解如果使用特性化GPT模型，以下结合图7进行具体说明，如图7所示，先对用户输入的用户原始Query(查询请求，也即前文的原始交互语句)进行领域分类，如果领域分类结果为智慧家庭领域，则直接将用户原始Query输入至对话引擎中，对话引擎直接对用户原始Query进行解析和交互；如分类结果为非智慧家庭领域，则通过智能家居GPT泛化生成泛化Query(也即前文的变换交互语句)，并对该泛化Query再次进行领域分类；如果二次分类结果为智慧家庭领域，则将该泛化Query输入至对话引擎中，对话引擎对泛化Query进行解析和交互，如二次分类结果为非智慧家庭领域，则将用户原始Query输入至对话引擎中，对话引擎对用户原始Query进行解析和交互。
为了更好的理解，以下结合场景进行具体说明，如果智慧家庭用户Query ：“我出了一身汗”(该Query为普通生活场景中用户对自身情况的描述），则交互系统通过 homeGPT辨识出用户有想要打开热水器的可能，随后交互系统将该用户意图的可能转换为智能交互对话系统中的用户意图解析，并对根据产品设计，对用户进行询问，如回复“需要帮您打开热水器吗”，如果用户回复“是”，则下发设备控制指令，打开该用户家庭账号下绑定的热水器。
在一个示例性的实施例中，如图8所示，可以利用用户原始Query、泛化Query以及领域分类结果（领域分类结果包括原始Query的领域分类结果和泛化Query的领域分类结果）作为自学习的训练数据，进行增强学习机制，在交互过程中，积累增强学习的数据，达到模型自学习的目的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例的方法。
在本实施例中还提供了一种基于目标生成式预训练GPT模型的交互语句的处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的设备较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图9是根据本发明实施例的基于目标生成式预训练GPT模型的交互语句的处理装置的结构框图，该装置包括：
确定模块92，用于通过领域分类模型确定输入的原始交互语句的领域分类结果，并基于所述领域分类结果确定所述原始交互语句是否属于预设领域；
生成模块94，用于在确定所述原始交互语句不属于所述预设领域的情况下，通过目标生成式预训练GPT模型解析所述原始交互语句在所述预设领域上的意图信息，并根据所述意图信息生成变换交互语句；
交互模块96，用于根据所述变换交互语句进行交互处理。
上述装置，在通过领域分类模型确定原始交互语句不属于预设领域的情况下，通过目标生成式预训练GPT模型解析原始交互语句在预设领域上的意图信息，并根据意图信息生成变换交互语句，进而根据变换交互语句进行交互处理，采用上述技术方案，使得交互系统可以挖掘用户的隐含意图，提高了交互系统对输入的交互语句的理解能力，进而交互系统可以准确地进行相应的响应，解决了交互系统直接根据交互语句进行交互处理，导致交互效果较差的问题。此外，由于交互系统可以挖掘用户的隐含意图，对交互语句的理解能力更强，使得交互系统可以根据用户意图实现更加自然贴心的交互方式、提高了交互系统的智能度；并且由于交互系统更加准确的识别了用户的隐含意图，使得交互系统可以主动地延续或者引导出新的话题，进而交互系统具备像人与人之间那样进行连续对话的能力，使得人机交互领域的交互体验有了质的飞跃。
在一个示例性的实施例中，交互模块96，还用于在基于所述领域分类结果确定所述原始交互语句属于所述预设领域的情况下，使用所述原始交互语句进行交互处理。
在一个示例性的实施例中，交互模块96，还用于在确定所述变换交互语句不属于所述预设领域的情况下，使用所述原始交互语句进行交互处理。
在一个示例性的实施例中，交互模块96，还用于在确定所述变换交互语句属于所述预设领域的情况下，使用所述变换交互语句进行交互处理。
在一个示例性的实施例中，生成模块94，还用于在所述预设领域包括具有层级关系的N层子领域，所述N层子领域中的每层子领域分别对应至少一个GPT模型，N为正整数的情况下，根据当前层子领域对应的GPT模型对预设层输出的交互语句或所述原始交互语句进行处理，得到当前层输出的交互语句，其中，在所述当前层是第一层的情况下，所述预设层输出的交互语句是所述原始交互语句；根据所述当前层输出的交互语句和所述当前层对应的层级，确定所述变换交互语句。
在一个示例性的实施例中，生成模块94，还用于在所述当前层输出的交互语句不属于所述当前层子领域、且所述当前层不是第一层的情况下，将所述预设层输出的交互语句确定为所述变换交互语句，其中，所述预设层输出的交互语句属于所述预设层子领域；在所述当前层输出的交互语句属于所述当前层子领域、且所述当前层不是第N层的情况下，将下一层获取为所述当前层，并继续执行所述根据当前层子领域对应的GPT模型对预设层输出的交互语句或所述原始交互语句进行处理，得到当前层输出的交互语句的操作，直至得到所述变换交互语句。
在一个示例性的实施例中，生成模块94，还用于在所述当前层输出的交互语句不属于所述当前层子领域、且所述当前层是第一层的情况下，将所述当前层输出的交互语句确定为所述变换交互语句；在所述当前层输出的交互语句属于所述当前层子领域、且所述当前层是第N层的情况下，将所述当前层输出的交互语句确定为所述变换交互语句。
在一个示例性的实施例中，确定模块92，还用于通过所述当前层对应的领域分类模型确定所述当前层输出的交互语句是否属于所述当前层子领域。
在一个示例性的实施例中，生成模块94，还用于在所述N层子领域包括N个子领域、且所述N个子领域中的第i个子领域为第i-1个子领域的子领域的情况下，通过所述第i个子领域对应的第i个GPT模型解析所述第i-1个交互语句或所述原始交互语句在所述第i个子领域上的意图信息，生成第i个交互语句，其中，所述第i-1个交互语句根据第i-1个子领域对应的第i-1个GPT模型得到，所述当前层为第i层，所述预设层为第i-1层。
在一个示例性的实施例中，生成模块94，还用于在所述第i个交互语句属于所述第i个子领域的交互语句、所述第i个交互语句属于第i+k个子领域的交互语句、且所述第i个交互语句不属于第i+k+1个子领域的交互语句的情况下，将所述第i个交互语句获取为所述预设层输出的交互语句，将所述第i+k+1层获取为所述当前层，并继续执行所述根据当前层子领域对应的GPT模型对预设层输出的交互语句或所述原始交互语句进行处理，得到当前层输出的交互语句的操作，直至得到所述变换交互语句，其中，所述k为自然数，i+k<N。
在一个示例性的实施例中，生成模块94，还用于在所述N层子领域包括N组领域、所述N组领域中的第i组领域为第i-1组领域的子领域、同一组领域中的各个领域属于同一层级、且各组领域对应一组GPT模型的情况下， 通过第i子组领域对应的第i子组GPT模型中的各个GPT模型解析第i-1个交互语句或所述原始交互语句在所述第i子组领域中对应的子领域上的意图信息，得到第i组交互语句，其中，所述第i-1个交互语句是第i-1子组GPT模型中的第i-1个当前GPT模型生成的交互语句，所述第i-1个当前GPT模型是第i-1组领域中的第i-1个当前领域对应的GPT模型，所述第i子组领域是所述第i-1个当前领域在第i组领域中的子领域；在所述第i组交互语句中选择第i个交互语句，其中，所述第i个交互语句是所述第i子组GPT模型中的第i个当前GPT模型生成的交互语句，所述第i个当前GPT模型是所述第i子组领域中的第i个当前领域对应的GPT模型，所述当前层为第i层，所述预设层为第i-1层。
在一个示例性的实施例中，生成模块94，还用于在所述第i个交互语句不属于所述第i个当前领域的交互语句的情况下，将所述第i-1个交互语句确定为所述变换交互语句；在所述第i个交互语句属于所述第i个当前领域的交互语句、且i小于N的情况下，将i的取值加1，并继续执行所述根据当前层子领域对应的GPT模型对预设层输出的交互语句或所述原始交互语句进行处理，得到当前层输出的交互语句的操作，直至得到所述变换交互语句；在所述第i个交互语句属于所述第i个当前领域的交互语句、且i等于N的情况下，将所述第i个交互语句确定为所述变换交互语句。
在一个示例性的实施例中， 生成模块94，还用于在所述第i组交互语句中选择置信度最高的交互语句，得到所述第i个交互语句，其中，所述第i组交互语句中的各个交互语句的置信度是所述第i子组GPT模型中对应的GPT模型根据解析到的所述第i-1个交互语句在所述第i子组领域中对应的领域上的意图信息生成的置信度。
在一个示例性的实施例中， 确定模块92，还用于通过所述第i个当前领域对应的第i个当前领域分类模型确定所述第i个交互语句是否属于所述第i个当前领域。
在一个示例性的实施例中，上述装置还包括：部署模块，用于在通过目标生成式预训练GPT模型解析所述原始交互语句在所述预设领域上的意图信息，并根据所述意图信息确定变换交互语句之前，获取所述N层子领域对应的M个GPT模型，其中，所述M为大于或等于N的正整数；将所述M个GPT模型分布式部署在对应的服务器中。
在一个示例性的实施例中，上述装置还包括：部署模块，用于通过以下方式获取所述N层子领域对应的M个GPT模型：通过以下方式之一获取所述M个GPT模型中的第j个GPT模型，其中，所述j为大于或等于1，小于或等于M的正整数：获取第一通用GPT模型，其中，所述第一通用GPT模型为使用第一预定数据训练得到的模型；使用第j个领域对应的第j组训练数据对所述第一通用GPT模型进行训练，得到所述第j个领域对应的第j个GPT模型；通过调用指定平台的指定接口将所述第j个领域对应的第j组训练数据发送至所述指定平台；获取所述指定平台使用所述第j组训练数据对第二通用GPT模型进行训练得到的所述第j个领域对应的第j个GPT模型，其中，所述第二通用GPT模型为所述指定平台使用第二预定数据训练得到的模型。
在一个示例性的实施例中，上述装置还包括：第一训练模块，用于在通过目标生成式预训练GPT模型解析所述原始交互语句在所述预设领域上的意图信息，并根据所述意图信息生成变换交互语句之前，通过以下步骤对通用GPT模型进行第i轮训练：将训练样本集合中的非预设领域的第i个样本交互语句输入到第i-1轮训练得到的通用GPT模型中，其中，所述第i个样本交互语句对应预设的第i个第一类型标注交互语句和第i个第二类型标注交互语句；通过所述第i-1轮训练得到的通用GPT模型对所述第i个样本交互语句进行语法纠错处理，得到第i组第一类型候选交互语句，并在所述第i组第一类型候选交互语句中确定第i个第一类型候选交互语句；通过所述第i-1轮训练得到的通用GPT模型对所述第i个样本交互语句进行语义扩展处理，得到第i组第二类型候选交互语句，并在所述第i组第二类型候选交互语句中确定第i个第二类型候选交互语句；根据所述第i个第一类型标注交互语句、所述第i个第一类型候选交互语句、所述第i个第二类型标注交互语句和所述第i个第二类型候选交互语句，确定第i轮训练的目标损失值；在所述第i轮训练的目标损失值不满足预设训练截止条件的情况下，对所述第i-1轮训练得到的通用GPT模型中的参数进行调整，确定出第i轮训练得到的通用GPT模型；在所述第i轮训练的目标损失值满足预设训练截止条件的情况下，结束训练。
在一个示例性的实施例中，第一训练模块，还用于通过以下方式通过所述第i-1轮训练得到的通用GPT模型对所述第i个样本交互语句进行所述语法纠错处理，得到第i组第一类型候选交互语句：通过所述第i-1轮训练得到的通用GPT模型对所述第i个样本交互语句进行所述语法纠错处理，得到所述第i组第一类型候选交互语句以及对应的第i组置信度；通过以下方式在所述第i组第一类型候选交互语句中确定第i个第一类型候选交互语句：在所述第i组第一类型候选交互语句中选择置信度最高的第一类型候选交互语句，得到所述第i个第一类型候选交互语句。
在一个示例性的实施例中，上述装置还包括：第二训练模块，用于在通过目标生成式预训练GPT模型解析所述原始交互语句在所述预设领域上的意图信息，并根据所述意图信息生成变换交互语句之前：通过以下步骤对通用领域分类模型和通用GPT模型进行第i轮联合训练：将训练样本集合中的非预设领域的第i个样本交互语句输入到第i-1轮训练得到的通用GPT模型中，其中，所述第i个样本交互语句对应预设的第i个第一类型标注交互语句、第i个第二类型标注交互语句、第i个实际领域；通过所述第i-1轮训练得到的通用GPT模型对所述第i个样本交互语句进行所述语法纠错处理，得到第i组第一类型候选交互语句，并在所述第i组第一类型候选交互语句中确定第i个第一类型候选交互语句；通过所述第i-1轮训练得到的通用GPT模型对所述第i个样本交互语句进行所述语义扩展处理，得到第i组第二类型候选交互语句，并在所述第i组第二类型候选交互语句中确定第i个第二类型候选交互语句；根据所述第i个第一类型标注交互语句、所述第i个第一类型候选交互语句、所述第i个第二类型标注交互语句和所述第i个第二类型候选交互语句，确定第i轮训练的第一目标损失值；将所述第i个样本交互语句输入到第i-1轮训练得到的通用领域分类模型中，并通过所述第i-1轮训练得到的通用领域分类模型对所述第i个样本交互语句进行领域分类处理，得到第i个预测领域；根据所述第i个预测领域和所述第i个实际领域，确定第i轮训练的第二目标损失值；根据所述第i轮训练的第一目标损失值和所述第i轮训练的第二目标损失值，确定第i轮训练的目标损失值；在所述第i轮训练的目标损失值不满足预设训练截止条件的情况下，对所述第i-1轮训练得到的通用GPT模型中的参数和所述第i-1轮训练得到的通用领域分类模型中的参数进行调整，确定出第i轮训练得到的通用GPT模型和第i轮训练得到的通用领域分类模型；在所述第i轮训练的目标损失值满足预设训练截止条件的情况下，结束训练。
在一个示例性的实施例中，生成模块94，还用于通过所述目标GPT模型，根据所述意图信息对所述原始交互语句进行语法纠错处理，得到一组第一类型候选交互语句；通过所述目标GPT模型，根据所述意图信息对所述原始交互语句进行语义扩展处理，得到一组第二类型候选交互语句；从所述一组第一类型的候选交互语句和所述一组第二类型候选交互语句中确定变换交互语句。
在一个示例性的实施例中，交互模块96，还用于在所述变换交互语句属于所述预设领域、且通过所述变换交互语句的标签信息确定所述变换交互语句为所述一组第一类型候选交互语句中的交互语句的情况下，执行所述变换交互语句对应的操作；在所述变换交互语句属于所述预设领域、且通过所述变换交互语句的标签信息确定所述变换交互语句为所述一组第二类型候选交互语句中的交互语句的情况下，进入询问流程。
图10是根据本发明实施例的基于目标生成式预训练GPT模型的交互语句的处理系统的结构框图，该系统包括：
领域分类模型102，用于对输入的原始交互语句进行领域分类，确定所述原始交互语句是否属于预设领域；
目标生成式预训练GPT模型104，用于在所述原始交互语句不属于所述预设领域的情况下，解析所述原始交互语句在所述预设领域上的意图信息，并根据所述意图信息生成变换交互语句；
对话引擎106，用于根据所述变换交互语句进行交互处理。
上述系统，在通过领域分类模型确定原始交互语句不属于预设领域的情况下，通过目标生成式预训练GPT模型解析原始交互语句在预设领域上的意图信息，并根据意图信息生成变换交互语句，进而根据变换交互语句进行交互处理，采用上述技术方案，使得交互系统可以挖掘用户的隐含意图，提高了交互系统对输入的交互语句的理解能力，进而交互系统可以准确地进行相应的响应，解决了交互系统直接根据交互语句进行交互处理，导致交互效果较差的问题。此外，由于交互系统可以挖掘用户的隐含意图，对交互语句的理解能力更强，使得交互系统可以根据用户意图实现更加自然贴心的交互方式、提高了交互系统的智能度；并且由于交互系统更加准确的识别了用户的隐含意图，使得交互系统可以主动地延续或者引导出新的话题，进而交互系统具备像人与人之间那样进行连续对话的能力，使得人机交互领域的交互体验有了质的飞跃。
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，通过领域分类模型确定输入的原始交互语句的领域分类结果，并基于所述领域分类结果确定所述原始交互语句是否属于预设领域；
S2，在确定所述原始交互语句不属于所述预设领域的情况下，通过目标生成式预训练GPT模型解析所述原始交互语句在所述预设领域上的意图信息，并根据所述意图信息生成变换交互语句；
S3，根据所述变换交互语句进行交互处理。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器（Read-Only Memory，简称为ROM）、随机存取存储器（Random Access Memory，简称为RAM）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，通过领域分类模型确定输入的原始交互语句的领域分类结果，并基于所述领域分类结果确定所述原始交互语句是否属于预设领域；
S2，在确定所述原始交互语句不属于所述预设领域的情况下，通过目标生成式预训练GPT模型解析所述原始交互语句在所述预设领域上的意图信息，并根据所述意图信息生成变换交互语句；
S3，根据所述变换交互语句进行交互处理。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (23)
1.一种基于目标生成式预训练GPT模型的交互语句的处理方法，其特征在于，包括：
通过领域分类模型确定输入的原始交互语句的领域分类结果，并基于所述领域分类结果确定所述原始交互语句是否属于预设领域；
在确定所述原始交互语句不属于所述预设领域的情况下，通过目标生成式预训练GPT模型解析所述原始交互语句在所述预设领域上的意图信息，并根据所述意图信息生成变换交互语句；
根据所述变换交互语句进行交互处理；
其中，所述根据所述变换交互语句进行交互处理，包括：在确定所述变换交互语句不属于所述预设领域的情况下，使用所述原始交互语句进行交互处理；在确定所述变换交互语句属于所述预设领域的情况下，使用所述变换交互语句进行交互处理。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在基于所述领域分类结果确定所述原始交互语句属于所述预设领域的情况下，使用所述原始交互语句进行交互处理。
3.根据权利要求1-2任一项所述的方法，其特征在于，所述预设领域包括具有层级关系的N层子领域，所述N层子领域中的每层子领域分别对应至少一个GPT模型，N为正整数，所述通过目标生成式预训练GPT模型解析所述原始交互语句在所述预设领域上的意图信息，并根据所述意图信息确定变换交互语句，包括：
根据当前层子领域对应的GPT模型对预设层输出的交互语句或所述原始交互语句进行处理，得到当前层输出的交互语句，其中，在所述当前层是第一层的情况下，所述预设层输出的交互语句是所述原始交互语句；
根据所述当前层输出的交互语句和所述当前层对应的层级，确定所述变换交互语句。
4.根据权利要求3所述的方法，其特征在于，所述根据所述当前层输出的交互语句和所述当前层对应的层级，确定所述变换交互语句，包括：
在所述当前层输出的交互语句不属于所述当前层子领域、且所述当前层不是第一层的情况下，将所述预设层输出的交互语句确定为所述变换交互语句，其中，所述预设层输出的交互语句属于所述预设层子领域；
在所述当前层输出的交互语句属于所述当前层子领域、且所述当前层不是第N层的情况下，将下一层获取为所述当前层，并继续执行所述根据当前层子领域对应的GPT模型对预设层输出的交互语句或所述原始交互语句进行处理，得到当前层输出的交互语句的操作，直至得到所述变换交互语句。
5.根据权利要求3所述的方法，其特征在于，所述根据所述当前层输出的交互语句和所述当前层对应的层级，确定所述变换交互语句，包括：
在所述当前层输出的交互语句不属于所述当前层子领域、且所述当前层是第一层的情况下，将所述当前层输出的交互语句确定为所述变换交互语句；
在所述当前层输出的交互语句属于所述当前层子领域、且所述当前层是第N层的情况下，将所述当前层输出的交互语句确定为所述变换交互语句。
6.根据权利要求4或5所述的方法，其特征在于，所述方法还包括：
通过所述当前层对应的领域分类模型确定所述当前层输出的交互语句是否属于所述当前层子领域。
7.根据权利要求3所述的方法，其特征在于，所述根据当前层子领域对应的GPT模型对预设层输出的交互语句或所述原始交互语句进行处理，得到当前层输出的交互语句，包括：
在所述N层子领域包括N个子领域、且所述N个子领域中的第i个子领域为第i-1个子领域的子领域的情况下，通过所述第i个子领域对应的第i个GPT模型解析所述第i-1个交互语句或所述原始交互语句在所述第i个子领域上的意图信息，生成第i个交互语句，其中，所述第i-1个交互语句根据第i-1个子领域对应的第i-1个GPT模型得到，所述当前层为第i层，所述预设层为第i-1层。
8.根据权利要求7所述的方法，其特征在于，所述根据所述当前层输出的交互语句和所述当前层对应的层级，确定所述变换交互语句，包括：
在所述第i个交互语句属于所述第i个子领域的交互语句、所述第i个交互语句属于第i+k个子领域的交互语句、且所述第i个交互语句不属于第i+k+1个子领域的交互语句的情况下，将所述第i个交互语句获取为所述预设层输出的交互语句，将所述第i+k+1层获取为所述当前层，并继续执行所述根据当前层子领域对应的GPT模型对预设层输出的交互语句或所述原始交互语句进行处理，得到当前层输出的交互语句的操作，直至得到所述变换交互语句，其中，所述k为自然数，i+k<N。
9.根据权利要求3所述的方法，其特征在于，所述根据当前层子领域对应的GPT模型对预设层输出的交互语句或所述原始交互语句进行处理，得到当前层输出的交互语句，包括：
在所述N层子领域包括N组领域、所述N组领域中的第i组领域为第i-1组领域的子领域、同一组领域中的各个领域属于同一层级、且各组领域对应一组GPT模型的情况下，通过第i子组领域对应的第i子组GPT模型中的各个GPT模型解析第i-1个交互语句或所述原始交互语句在所述第i子组领域中对应的子领域上的意图信息，得到第i组交互语句，其中，所述第i-1个交互语句是第i-1子组GPT模型中的第i-1个当前GPT模型生成的交互语句，所述第i-1个当前GPT模型是第i-1组领域中的第i-1个当前领域对应的GPT模型，所述第i子组领域是所述第i-1个当前领域在第i组领域中的子领域；
在所述第i组交互语句中选择第i个交互语句，其中，所述第i个交互语句是所述第i子组GPT模型中的第i个当前GPT模型生成的交互语句，所述第i个当前GPT模型是所述第i子组领域中的第i个当前领域对应的GPT模型，所述当前层为第i层，所述预设层为第i-1层。
10.根据权利要求9所述的方法，其特征在于，所述根据所述当前层输出的交互语句和所述当前层对应的层级，确定所述变换交互语句，包括：
在所述第i个交互语句不属于所述第i个当前领域的交互语句、且i等于1的情况下，将所述第i个交互语句确定为所述变换交互语句；
在所述第i个交互语句不属于所述第i个当前领域的交互语句、且i不等于1的情况下，将所述第i-1个交互语句确定为所述变换交互语句；
在所述第i个交互语句属于所述第i个当前领域的交互语句、且i小于N的情况下，将i的取值加1，并继续执行所述根据当前层子领域对应的GPT模型对预设层输出的交互语句或所述原始交互语句进行处理，得到当前层输出的交互语句的操作，直至得到所述变换交互语句；
在所述第i个交互语句属于所述第i个当前领域的交互语句、且i等于N的情况下，将所述第i个交互语句确定为所述变换交互语句。
11.根据权利要求9所述的方法，其特征在于，在所述第i组交互语句中选择第i个交互语句，包括：
在所述第i组交互语句中选择置信度最高的交互语句，得到所述第i个交互语句，其中，所述第i组交互语句中的各个交互语句的置信度是所述第i子组GPT模型中对应的GPT模型根据解析到的所述第i-1个交互语句在所述第i子组领域中对应的领域上的意图信息生成的置信度。
12.根据权利要求10所述的方法，其特征在于，所述方法还包括：
通过所述第i个当前领域对应的第i个当前领域分类模型确定所述第i个交互语句是否属于所述第i个当前领域。
13.根据权利要求3所述的方法，其特征在于，所述通过目标生成式预训练GPT模型解析所述原始交互语句在所述预设领域上的意图信息，并根据所述意图信息确定变换交互语句之前，所述方法还包括：
获取所述N层子领域对应的M个GPT模型，其中，所述M为大于或等于N的正整数；
将所述M个GPT模型分布式部署在对应的服务器中。
14.根据权利要求13所述的方法，其特征在于，获取所述N层子领域对应的M个GPT模型，包括：
通过以下方式之一获取所述M个GPT模型中的第j个GPT模型，其中，所述j为大于或等于1，小于或等于M的正整数：
获取第一通用GPT模型，其中，所述第一通用GPT模型为使用第一预定数据训练得到的模型；使用第j个领域对应的第j组训练数据对所述第一通用GPT模型进行训练，得到所述第j个领域对应的第j个GPT模型；
通过调用指定平台的指定接口将所述第j个领域对应的第j组训练数据发送至所述指定平台；获取所述指定平台使用所述第j组训练数据对第二通用GPT模型进行训练得到的所述第j个领域对应的第j个GPT模型，其中，所述第二通用GPT模型为所述指定平台使用第二预定数据训练得到的模型。
15.根据权利要求1所述的方法，其特征在于，在通过目标生成式预训练GPT模型解析所述原始交互语句在所述预设领域上的意图信息，并根据所述意图信息生成变换交互语句之前，所述方法还包括：
通过以下步骤对通用GPT模型进行第i轮训练：
将训练样本集合中的非预设领域的第i个样本交互语句输入到第i-1轮训练得到的通用GPT模型中，其中，所述第i个样本交互语句对应预设的第i个第一类型标注交互语句和第i个第二类型标注交互语句；
通过所述第i-1轮训练得到的通用GPT模型对所述第i个样本交互语句进行语法纠错处理，得到第i组第一类型候选交互语句，并在所述第i组第一类型候选交互语句中确定第i个第一类型候选交互语句；
通过所述第i-1轮训练得到的通用GPT模型对所述第i个样本交互语句进行语义扩展处理，得到第i组第二类型候选交互语句，并在所述第i组第二类型候选交互语句中确定第i个第二类型候选交互语句；
根据所述第i个第一类型标注交互语句、所述第i个第一类型候选交互语句、所述第i个第二类型标注交互语句和所述第i个第二类型候选交互语句，确定第i轮训练的目标损失值；
在所述第i轮训练的目标损失值不满足预设训练截止条件的情况下，对所述第i-1轮训练得到的通用GPT模型中的参数进行调整，确定出第i轮训练得到的通用GPT模型；
在所述第i轮训练的目标损失值满足预设训练截止条件的情况下，结束训练。
16.根据权利要求15所述的方法，其特征在于，
所述通过所述第i-1轮训练得到的通用GPT模型对所述第i个样本交互语句进行所述语法纠错处理，得到第i组第一类型候选交互语句，包括：通过所述第i-1轮训练得到的通用GPT模型对所述第i个样本交互语句进行所述语法纠错处理，得到所述第i组第一类型候选交互语句以及对应的第i组置信度；
在所述第i组第一类型候选交互语句中确定第i个第一类型候选交互语句，包括：在所述第i组第一类型候选交互语句中选择置信度最高的第一类型候选交互语句，得到所述第i个第一类型候选交互语句。
17.根据权利要求1所述的方法，其特征在于，在通过目标生成式预训练GPT模型解析所述原始交互语句在所述预设领域上的意图信息，并根据所述意图信息生成变换交互语句之前，所述方法还包括：
通过以下步骤对通用领域分类模型和通用GPT模型进行第i轮联合训练：
将训练样本集合中的非预设领域的第i个样本交互语句输入到第i-1轮训练得到的通用GPT模型中，其中，所述第i个样本交互语句对应预设的第i个第一类型标注交互语句、第i个第二类型标注交互语句、第i个实际领域；
通过所述第i-1轮训练得到的通用GPT模型对所述第i个样本交互语句进行语法纠错处理，得到第i组第一类型候选交互语句，并在所述第i组第一类型候选交互语句中确定第i个第一类型候选交互语句；
通过所述第i-1轮训练得到的通用GPT模型对所述第i个样本交互语句进行语义扩展处理，得到第i组第二类型候选交互语句，并在所述第i组第二类型候选交互语句中确定第i个第二类型候选交互语句；
根据所述第i个第一类型标注交互语句、所述第i个第一类型候选交互语句、所述第i个第二类型标注交互语句和所述第i个第二类型候选交互语句，确定第i轮训练的第一目标损失值；
将所述第i个样本交互语句输入到第i-1轮训练得到的通用领域分类模型中，并通过所述第i-1轮训练得到的通用领域分类模型对所述第i个样本交互语句进行领域分类处理，得到第i个预测领域；
根据所述第i个预测领域和所述第i个实际领域，确定第i轮训练的第二目标损失值；
根据所述第i轮训练的第一目标损失值和所述第i轮训练的第二目标损失值，确定第i轮训练的目标损失值；
在所述第i轮训练的目标损失值不满足预设训练截止条件的情况下，对所述第i-1轮训练得到的通用GPT模型中的参数和所述第i-1轮训练得到的通用领域分类模型中的参数进行调整，确定出第i轮训练得到的通用GPT模型和第i轮训练得到的通用领域分类模型；
在所述第i轮训练的目标损失值满足预设训练截止条件的情况下，结束训练。
18.根据权利要求1所述的方法，其特征在于，通过目标生成式预训练GPT模型解析所述原始交互语句在所述预设领域上的意图信息，并根据所述意图信息生成变换交互语句，包括：
通过所述目标生成式预训练GPT模型，根据所述意图信息对所述原始交互语句进行语法纠错处理，得到一组第一类型候选交互语句；
通过所述目标生成式预训练GPT模型，根据所述意图信息对所述原始交互语句进行语义扩展处理，得到一组第二类型候选交互语句；
从所述一组第一类型的候选交互语句和所述一组第二类型候选交互语句中确定变换交互语句。
19.根据权利要求18所述的方法，其特征在于，根据所述变换交互语句进行交互处理，包括：
在所述变换交互语句属于所述预设领域、且通过所述变换交互语句的标签信息确定所述变换交互语句为所述一组第一类型候选交互语句中的交互语句的情况下，执行所述变换交互语句对应的操作；
在所述变换交互语句属于所述预设领域、且通过所述变换交互语句的标签信息确定所述变换交互语句为所述一组第二类型候选交互语句中的交互语句的情况下，进入询问流程。
20.一种基于目标生成式预训练GPT模型的交互语句的处理装置，其特征在于，包括：
确定模块，用于通过领域分类模型确定输入的原始交互语句的领域分类结果，并基于所述领域分类结果确定所述原始交互语句是否属于预设领域；
生成模块，用于在确定所述原始交互语句不属于所述预设领域的情况下，通过目标生成式预训练GPT模型解析所述原始交互语句在所述预设领域上的意图信息，并根据所述意图信息生成变换交互语句；
交互模块，用于根据所述变换交互语句进行交互处理；
其中，所述交互模块，还用于在确定所述变换交互语句不属于所述预设领域的情况下，使用所述原始交互语句进行交互处理；在确定所述变换交互语句属于所述预设领域的情况下，使用所述变换交互语句进行交互处理。
21.一种基于目标生成式预训练GPT模型的交互语句的处理系统，其特征在于，包括：
领域分类模型，用于对输入的原始交互语句进行领域分类，确定所述原始交互语句是否属于预设领域；
目标生成式预训练GPT模型，用于在所述原始交互语句不属于所述预设领域的情况下，解析所述原始交互语句在所述预设领域上的意图信息，并根据所述意图信息生成变换交互语句；
对话引擎，用于根据所述变换交互语句进行交互处理；
其中，所述对话引擎，还用于在确定所述变换交互语句不属于所述预设领域的情况下，使用所述原始交互语句进行交互处理；在确定所述变换交互语句属于所述预设领域的情况下，使用所述变换交互语句进行交互处理。
22.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行权利要求1至19中任一项所述的方法。
23.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行权利要求1至19中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310428886.9A CN116756277B (zh) | 2023-04-20 | 2023-04-20 | 基于目标生成式预训练gpt模型的交互语句的处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310428886.9A CN116756277B (zh) | 2023-04-20 | 2023-04-20 | 基于目标生成式预训练gpt模型的交互语句的处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116756277A CN116756277A (zh) | 2023-09-15 |
| CN116756277B true CN116756277B (zh) | 2023-11-24 |
Family
ID=87946668
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310428886.9A Active CN116756277B (zh) | 2023-04-20 | 2023-04-20 | 基于目标生成式预训练gpt模型的交互语句的处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116756277B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117807215B (zh) * | 2024-03-01 | 2024-05-24 | 青岛海尔科技有限公司 | 一种基于模型的语句多意图识别方法、装置及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019153522A1 (zh) * | 2018-02-09 | 2019-08-15 | 卫盈联信息技术（深圳）有限公司 | 智能交互方法、电子装置及存储介质 |
| CN110457689A (zh) * | 2019-07-26 | 2019-11-15 | 科大讯飞(苏州)科技有限公司 | 语义处理方法及相关装置 |
| CN113836944A (zh) * | 2021-08-31 | 2021-12-24 | 青岛海尔科技有限公司 | 用于智能设备的控制方法、系统及其装置、电子设备 |
| CN114757176A (zh) * | 2022-05-24 | 2022-07-15 | 上海弘玑信息技术有限公司 | 一种获取目标意图识别模型的方法以及意图识别方法 |
| CN115620710A (zh) * | 2021-06-30 | 2023-01-17 | 青岛海尔科技有限公司 | 语音识别的方法、装置、存储介质以及电子装置 |
-
2023
- 2023-04-20 CN CN202310428886.9A patent/CN116756277B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019153522A1 (zh) * | 2018-02-09 | 2019-08-15 | 卫盈联信息技术（深圳）有限公司 | 智能交互方法、电子装置及存储介质 |
| CN110457689A (zh) * | 2019-07-26 | 2019-11-15 | 科大讯飞(苏州)科技有限公司 | 语义处理方法及相关装置 |
| CN115620710A (zh) * | 2021-06-30 | 2023-01-17 | 青岛海尔科技有限公司 | 语音识别的方法、装置、存储介质以及电子装置 |
| CN113836944A (zh) * | 2021-08-31 | 2021-12-24 | 青岛海尔科技有限公司 | 用于智能设备的控制方法、系统及其装置、电子设备 |
| CN114757176A (zh) * | 2022-05-24 | 2022-07-15 | 上海弘玑信息技术有限公司 | 一种获取目标意图识别模型的方法以及意图识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 广电智能语音识别系统建设实施方案;王娇;;中国有线电视(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116756277A (zh) | 2023-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10635698B2 (en) | Dialogue system, a dialogue method and a method of adapting a dialogue system | |
| JP6562982B2 (ja) | 対話システム、対話方法、および対話システムを適合させる方法 | |
| JP7391452B2 (ja) | 意味理解モデルのトレーニング方法、装置、電子デバイスおよびコンピュータプログラム | |
| JP6538779B2 (ja) | 音声対話システム、音声対話方法、および音声対話システムを適合させる方法 | |
| JP6228260B2 (ja) | 音声対話システムのためのデバイスおよび方法 | |
| CN116756277B (zh) | 基于目标生成式预训练gpt模型的交互语句的处理方法 | |
| JP2010537321A (ja) | 統計的分類のための最適な選択方略の方法及びシステム | |
| US11605376B1 (en) | Processing orchestration for systems including machine-learned components | |
| CN110096516B (zh) | 自定义的数据库交互的对话生成方法及系统 | |
| US11398226B1 (en) | Complex natural language processing | |
| US10769186B2 (en) | System and method for contextual reasoning | |
| CN112766990B (zh) | 基于多轮对话改进的智能客服辅助系统和方法 | |
| CN114911535B (zh) | 应用程序组件配置方法、存储介质及电子装置 | |
| US20240249329A1 (en) | Question-answer expansion | |
| US20230142272A1 (en) | Evaluating natural language processing components | |
| US11449726B1 (en) | Tailored artificial intelligence | |
| CN116913274A (zh) | 基于生成式大模型的场景生成方法、装置和存储介质 | |
| Lucas-Cuesta et al. | On the dynamic adaptation of language models based on dialogue information | |
| CN114925158A (zh) | 语句文本的意图识别方法和装置、存储介质及电子装置 | |
| US11907676B1 (en) | Processing orchestration for systems including distributed components | |
| CN117742792B (zh) | 基于大模型的指令执行设备选取方法、装置、设备和介质 | |
| US11869490B1 (en) | Model configuration | |
| CN117708680B (zh) | 一种用于提升分类模型准确度的方法及装置、存储介质、电子装置 | |
| CN117807215B (zh) | 一种基于模型的语句多意图识别方法、装置及设备 | |
| CN111930921B (zh) | 意图预测的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |