CN116306685A - 一种面向电力业务场景的多意图识别方法及系统 - Google Patents
一种面向电力业务场景的多意图识别方法及系统 Download PDFInfo
- Publication number
- CN116306685A CN116306685A CN202310571850.6A CN202310571850A CN116306685A CN 116306685 A CN116306685 A CN 116306685A CN 202310571850 A CN202310571850 A CN 202310571850A CN 116306685 A CN116306685 A CN 116306685A
- Authority
- CN
- China
- Prior art keywords
- information
- model
- user
- intention
- power business
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 239000013598 vector Substances 0.000 claims abstract description 36
- 230000011218 segmentation Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 20
- 230000009471 action Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 5
- 102100032202 Cornulin Human genes 0.000 claims description 3
- 101000920981 Homo sapiens Cornulin Proteins 0.000 claims description 3
- 238000004821 distillation Methods 0.000 claims description 3
- 238000003058 natural language processing Methods 0.000 abstract description 3
- 230000000875 corresponding effect Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Machine Translation (AREA)
Abstract
本发明提供一种面向电力业务场景的多意图识别方法及系统，涉及自然语言处理领域，建立对话语料库；获取用户输入的信息，对用户输入的信息进行词语分割，提取输入信息中的词语；从分割后的词语中提取文本特征，并在每个句子末端添加分类token特征向量；构建Transformer联合模型，对句子进行编码，通过CRF模型在Transformer联合模型输出序列上标记一个与编码对应的层来预测实体；将Transformer联合模型输出的分类token特征向量与意图标签表示的语义向量空间，进行相似度比较，得到基于电力业务场景的用户意图信息。本发明可以提升通用场景和电力专业领域混合场景的多意图识别精度。
Description
技术领域
本发明涉及自然语言处理领域，涉及一种面向电力业务场景的多意图识别方法及系统。
背景技术
目前，人机对话已经在多个领域广泛使用，人机对话是将运行情况及时地输出显示，供操作人员观察和了解。人通过输入装置（如键盘、麦克风）对计算机输入各种命令或数据，对计算机进行干预和控制的过程。
为了便于人机对话，计算机操作系统设置了对话功能，操作人员通过各种命令与计算机“对话”；一些高级语言也具有很好的“会话”功能，如BA-SIC语言就是一种会话型算法语言。用户可以编制的应用软件，实现会话功能，还可以通过菜单引导如何操作。比如任务型对话系统逐渐被广泛应用于各行各业，例如预订机票，酒店和餐馆等。
而电力业务对话机器人就属于任务型对话系统在电力领域的典型应用，能帮助用户便捷处理复杂任务，减轻人工负担。因此，如何准确理解用户问题和意图是面向复杂业务场景下人机对话系统所要解决的问题。
在电力业务场景中，目前人机对话系统大多需通过结合领域知识图谱来提高专业领域问题的识别精度，然而用户经常需要在不同的电力专业领域及日常的办公领域切换，所以结合领域知识图谱的意图识别模型存在识别效率低等问题。而且，电力业务场景中，对话机器人设置在各个使用区域，对话机器人具有大量用户相关数据，而在与服务器进行通信时，容易造成数据泄露，影响电力数据的安全性，而在对话机器人本地完成人机对话，又不足以支撑模型训练，难以实现人机对话的需求。
发明内容
本发明提供一种面向电力业务场景的多意图识别方法，方法构建意图识别模型，利用两者在语义和逻辑关系提升模型性能，并且用户输入信息通过专业术语分词库完成词语分割，再通过联合模型完成用户意图识别及语义槽填充，可以提升通用场景和电力专业领域混合场景的多意图识别精度。
面向电力业务场景的多意图识别方法包括：
S1：基于电力术语，建立自定义词典，形成对话语料库；
S2：获取用户输入的信息，对用户输入的信息进行词语分割，提取输入信息中的词语，并用预设字符进行分隔；
S3：从分割后的词语中提取文本特征，并在每个句子末端添加分类token特征向量；
S4：构建Transformer联合模型，对句子进行编码，通过CRF模型在Transformer联合模型输出序列上标记一个与编码对应的层来预测实体；
S5：将Transformer联合模型输出的分类token特征向量与意图标签表示的语义向量空间，进行相似度比较，得到基于电力业务场景的用户意图信息。
进一步需要说明的是，步骤S2中通过jieba算法对用户输入的信息进行词语分割，并对词频进行统计；
预设字符采用空格，或采用字母，或采用运算符。
进一步需要说明的是，步骤S3中，对文本特征提取后，返回序列特征矩阵；
序列特征矩阵包含：句子中的token特征向量。
进一步需要说明的是，方法还包括：对每个token特征向量进行稀疏或稠密特征处理，处理后输入至全连接层；
其中，稠密特征处理表示使用BERT预训练模型处理；
稀疏特征处理采取skip-gram模型处理。
进一步需要说明的是，步骤S5使用点积损失最大化与目标标签进行相似度比较，以及使用点积损失最小化与负样本进行相似度比较，具体如下述公式：
其中
分别为目标标签的相似度和负样本的相似度，/>
为一组负样本。
进一步需要说明的是，用户输入的信息包括：语音、图片及文字信息，其中，图片转文字采用CRNN神经网络模型、或CTPN神经网络模型、或LayoutXLM神经网络模型进行多模态特征信息提取；
多模态特征信息提取同时引入了符合阅读顺序的文本行排序方法以及UDML联合互学习蒸馏方法，识别电力业务场景信息。
进一步需要说明的是，得到的基于电力业务场景的用户意图信息包括：意图、实体字段及词槽信息；
其中，意图和实体字段均为列表信息，列表信息列举对话机器人需要处理的意图和实体字段，使对话机器人获悉下一步要执行的动作；
执行的动作包括回复消息或调用业务系统API动作。
本发明还提供一种面向电力业务场景的多意图识别系统，系统包括：服务器和多个对话机器人；每个对话机器人分别与服务器通信连接；
服务器包括：对话语料库建立模块、信息获取分割模块、特征处理模块、联合模型构建预测模块以及相似度比较模块；
对话语料库建立模块用于将用户日常使用的语料信息进行汇集，并建立自定义词典，形成基于电力术语的对话语料库；
信息获取分割模块用于基于对话机器人获取用户输入的信息，对用户输入的信息进行词语分割，提取输入信息中的词语，并用预设字符进行分隔；
特征处理模块用于从分割后的词语中提取文本特征，并在每个句子末端添加分类token特征向量；
联合模型构建预测模块用于构建Transformer联合模型，对句子进行编码，通过CRF模型在Transformer联合模型输出序列上标记一个与编码对应的层来预测实体；
相似度比较模块用于将Transformer联合模型输出的分类token特征向量与意图标签表示的语义向量空间，进行相似度比较，得到基于电力业务场景的用户意图信息。
进一步需要说明的是，对话机器人与服务器之间传输的信息进行加密传输，加密传输方式包括：
基于同态加密算法Paillier完成本地模型参数
至统一模型的传输，具体步骤如下：
第一步：服务器生成加密使用的公钥和私钥对；
随机选择2个素数p和q，p和q需长度相等，且pq,(p-1),(q-1)互质；
计算r=pq以及λ=lcm(p-1,q-1)，
其中，lcm表示最小公倍数，令g=r+1;
第二步：加密并计算得到第u（1=<u<=n）个模型参数密文
；
选择随机数s，0<=s<=r，
对应的明文信息为/>
，计算得到密文信息
；
第三步：根据第一步和第二步得到n个模型参数密文，在密文域进行运算，得到模型参数密文
。
进一步需要说明的是，服务器还对统一模型更新，针对传递过来的参数密文c，对统一模型进行解密，使用下述公式计算得明文：
从以上技术方案可以看出，本发明具有以下优点：
本发明提供的面向电力业务场景的多意图识别方法可以面向复杂业务场景，准确理解用户问题和多种意图，还可以解决用户在不同的电力专业领域和日常办公领域频繁切换所带来的识别效率低等问题，同时可以满足用户多意图识别需求。
基于本发明提供的面向电力业务场景的多意图识别系统，可以面向复杂业务场景时本方法可以准确理解用户问题和多种意图，系统还可以解决用户在不同的电力专业领域和日常办公领域频繁切换所带来的识别效率低等问题，同时可以满足用户多意图识别需求。而且本发明的系统也可以通过联邦学习训练模式所解决，各对话机器人参数使用同态加密传统算法传输，解决通信时，容易造成数据泄露，影响电力数据的安全性的问题。
附图说明
为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为面向电力业务场景的多意图识别方法流程图；
图2为Skip-Gram模型原理图；
图3为联合模型训练原理图。
具体实施方式
如图1所示，本发明提供的面向电力业务场景的多意图识别方法可以基于人工智能技术对关联的数据进行获取和处理，解决训练模型需大量数据支撑，本地用户数据不足以支撑模型训练，导致电力业务场景的多意图识别精度差的问题。其中，多意图识别方法利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用装置。
多意图识别方法中既有硬件层面的技术也有软件层面的技术。数控机床智能诊断方法基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。数控机床智能诊断方法软件技术主要包括计算机视角技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等。
本发明提供的面向电力业务场景的多意图识别方法还具有机器学习功能，其中本发明方法中的机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。可以提升通用场景+电力专业领域混合场景的多意图识别精度，进一步有效解决电力业务场景的多意图识别精度差的问题。
本发明的面向电力业务场景的多意图识别方法具有服务器和多个对话机器人，所述对话机器人是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、可编程门阵列(Field－ProgrammableGate Array，FPGA)、数字处理器(DigitalSignalProcessor，DSP)、嵌入式设备等。
服务器包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量主机或网络服务器构成的云。
服务器和对话机器人所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(VirtualPrivateNetwork，VPN)等。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1所示是一具体实施例中面向电力业务场景的多意图识别方法的流程图，方法通过建立专业语料库,并基于电力专业术语分词库完成中文词语分割，再进行特征提取，构建意图识别和语义槽填充联合模型，实现语义相似度计算，解决本发明涉及的问题。
具体来讲方法包括：
S1：基于电力术语，建立自定义词典，形成对话语料库。
在一个示例性实施例中，本发明是在电力专业领域和日常办公等复杂业务场景使用。电力术语可以基于移动端的对话语料作为来源，可以以网络论坛来进行获取，如贴吧，微博等，还可以基于对话机器人对话数据进行建立。对于电力领域的语料库，还可以基于真实环境下的语料，包含电力方面的术语，同时也应保证它具有引导聊天的性质。
语料来源可以从电力领域的对话机器人获取，也可以从用户的日常使用中抽取真实的语料信息，作为用户输入语料。
S2：获取用户输入的信息，对用户输入的信息进行词语分割，提取输入信息中的词语，并用预设字符进行分隔；
本发明的实施例中，用户输入的信息可以是语音、图片及文字信息。这里，针对用户输入的信息，如果是语音信息，可以转换为对应文本信息，建立自定义词典，添加至中文分词库，通过jieba算法完成输入信息的词语分割，并同时完成词频统计，便于后续特征化处理。
自定义词典格式可以为一个词占一行，每一行分三部分：词语、词频（可省略）及词性（可省略），用空格隔开，且顺序不可颠倒。
本发明中，如果接收的是语音信息，可以转文字，这里使用人工智能平台语音转文字公共组件，而图片转文字采用基于CRNN、CTPN、LayoutXLM神经网络模型的多模态特征信息提取算法来实现。
可选地，本发明的多模态特征信息提取算法同时引入了符合阅读顺序的文本行排序方法以及UDML联合互学习蒸馏方法，常见应用场景为电力表单识别。
本实施例实现上述多意图识别方式，可以先构建意图识别和槽填充联合模型，再基于联合模型完成模型训练，后续可基于训练好的联合模型完成意图识别和槽填充任务。
本发明面向的业务不仅包含诸如预定会议，查询日程等通用日常办公功能，还包含与电力领域强相关的功能，因此本发明在意图识别之前先识别当前对话所属领域。除上述所说的使用预训练模型BERT完成词嵌入，还可以通过Skip-Gram模型来完成，具体原理图2所示。
示例性的讲，以“预定明天上午九点的会议，并创建日程”场景为例，首先用非汉字字符对句子进行切分，切分为两个字符串，分别是“预定明天上午九点的会议”及“并创建日程”，其次分别针对两个字符串生成该句的有向无环图，依据自定义词典，在有向无环图中生成最优路径，根据生成的最优路径截取词语，若出现不在词典中的新词，将会对不在词典中出现的连续单字使用HMM进行新词发现。
S3：从分割后的词语中提取文本特征，并在每个句子末端添加分类token特征向量。
具体的讲，特征提取是从分词后的词语中提取文本特征，文本特征可以是基于人类实际使用的电力语言信息，文本特征是通过电力语义来与对话机器人进行沟通，也可以是电力控制指令，或者查询信息指令等。
示例性的讲，在每个句子后面添加一个特殊的分类token特征向量，比如token：_CLA_。这里还是以“预定明天上午九点的会议，并创建日程”场景为例，_CLA_为“预定会议+创建日程”，本方法中每个token经过稀疏/稠密特征表示后会经过全连接层（256维），其中全连接层网络权重是共享的。
特征提取后会返回序列特征矩阵（number-of-tokens x feature-dimension），序列特征矩阵包含句子中每个token的特征向量，其中feature-dimension优选为256，稠密特征表示使用预训练模型BERT完成，稀疏特征则采取skip-gram模型完成。
S4：构建Transformer联合模型，对句子进行编码，使用CRF模型对Transformer联合模型的输出序列进行标记，再与编码对应的层来进行预测。
本发明构建的Transformer联合模型使用一个2层的Transformer对整个句子进行编码，通过CRF模型在Transformer输出序列之上标记一个与token输入序列对应的层来预测实体，Transformer联合模型原理图如图3所示。
S5：将Transformer联合模型输出的分类token特征向量与意图标签表示的语义向量空间，进行相似度比较，得到基于电力业务场景的用户意图信息。
本发明的语义相似度计算是指将Transformer输出层的__CLA__token表示和意图标签表示的语义向量空间，进行相似度比较。
本方法使用点积损失来最大化与目标标签的相似性并最小化与负样本的相似性，具体如下述公式：
其中
分别为目标标签的相似度和负样本的相似度，/>
为一组负样本。本发明的损失函数允许模型减少负样本的过拟合，并专注于学习较少的正样本。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
基于上述方法，可以面向复杂业务场景，准确理解用户问题和多种意图，还可以解决用户在不同的电力专业领域和日常办公领域频繁切换所带来的识别效率低等问题，同时可以满足用户多意图识别需求。
以下是本公开实施例提供的面向电力业务场景的多意图识别系统的实施例，该系统与上述各实施例的面向电力业务场景的多意图识别方法属于同一个发明构思，在面向电力业务场景的多意图识别系统的实施例中未详尽描述的细节内容，可以参考上述面向电力业务场景的多意图识别方法的实施例。
本发明的系统中，对话机器人的输入为多意图识别模块的输出结果，可以包括：用户意图的表述、指令的表述及词槽信息。其中，意图和实体字段都是列表的形式进行储存，对话机器人可以处理相应的意图和实体。对话机器人可以根据用户的意图执行相应动作，可以包括回复消息、调用业务系统API等动作。
对话机器人采用的Transformer嵌入对话（TED）策略，通过最大化对话状态和每个系统动作之间的相似性函数来联合训练嵌入。对话机器人在推理时，将对话的当前状态与所有可能的系统动作进行比较，并选择相似度最高的一个。
本发明的服务器包括：对话语料库建立模块、信息获取分割模块、特征处理模块、联合模型构建预测模块以及相似度比较模块；
对话语料库建立模块用于将用户日常使用的语料信息进行汇集，并建立自定义词典，形成基于电力术语的对话语料库；
对话语料库建立模块可以使用当前词来预测其上下文词，基于Word2Vec训练出来的词向量，使其维度低，很大程度上保留了词语语义信息，识别效果更好。
信息获取分割模块用于基于对话机器人获取用户输入的信息，对用户输入的信息进行词语分割，提取输入信息中的词语，并用预设字符进行分隔；
特征处理模块用于从分割后的词语中提取文本特征，并在每个句子末端添加分类token特征向量；
联合模型构建预测模块用于构建Transformer联合模型，对句子进行编码，通过CRF模型在Transformer联合模型输出序列上标记一个与编码对应的层来预测实体；
相似度比较模块用于将Transformer联合模型输出的分类token特征向量与意图标签表示的语义向量空间，进行相似度比较，得到基于电力业务场景的用户意图信息。
在一个示例性实施例中，服务器的特征处理模块中，特征提取方式还涉及如下方式：首先，将用户输入、系统动作和词槽特征化。这里可以使用TED策略，也就是端到端或模块化方式使用。模块化方法类似于基于POMDP的对话策略或混合代码网络中采用的方法。使用外部自然语言理解系统，将用户输入特征化为一个二进制向量，表示识别的意图和检测到的实体。对话策略从固定的系统动作列表中预测操作。按照REDP方法，系统动作被特征化为表示动作名称的二进制向量。
本发明所谓端到端是指除了话语序列之外，没有监督。端到端TED策略仍然是一种检索模型，不会生成新的响应。在端到端设置中，用户和系统的话语被编码为词袋向量。
在对话的每一步中，插槽(Slots)总是以二进制向量为特征，指示它们的存在、不存在，或者值对用户不重要。我们使用一种简单的插槽跟踪方法，用最近指定的值覆盖每个插槽。
联合模型构建预测模块中的Transformer的输入是用户输入和系统动作序列。利用Transformer的自注意力机制，在每个对话回合中动态访问对话历史的不同部分。从数据中学习之前对话回合的相关性，并在对话的每个回合重新计算。关键的是，这允许对话策略在一个回合中考虑用户的话语，但在另一个回合中完全忽略它。
Transformer联合模型输出
和系统动作/>
被嵌入一个语义向量空间
，其中/>
。本发明使用累积损失来最大化与目标标签/>
的相似性/>
，并最小化与负样本的相似性/>
。
对话策略的损失函数如下：
其中
是取负样本集的和，<.>是对话中所有时间步的平均值。
这样，对话机器人可基于服务器中集成的各个模块，对接相应业务系统，执行相应动作，可以运行在单独的服务器进程中，服务器和多个对话机器人可以通过HTTP交互通信。而且系统通过集群管理，可以使对话机器人均部署在使用区域。
可选的，本方法基于联邦学习的方式训练对话机器人，为保证数据通信安全，并可以获取充足的对话数据语料信息，对话机器人与服务器之间传输的信息进行加密传输，加密传输方式分为本地模型训练、参数加密传输、统一模型更新三个阶段。
第一阶段，本地模型训练。对话机器人基于已对接的业务系统，完成本地意图识别和槽填充联合模型训练。
第二阶段，参数加密传输。基于经典同态加密算法Paillier完成本地模型参数
(包括epochs、embedding_dimension、transformer层数、transformer大小等)至统一模型的传输，具体步骤如下：
第一步：生成加密使用的公钥和私钥对。随机选择2个素数p和q，p和q需长度相等，且pq,(p-1),(q-1)互质；计算r=pq以及λ=lcm(p-1,q-1)，其中lcm表示最小公倍数，令g=r+1;
,其中L(x)=(x-1)/r,得到公钥（r,q）和私钥（λ,/>
）。
第二步：加密并计算得到第u（1=<u<=n）个网省公司模型参数密文
:选择随机数s，0<=s<=r，/>
对应的明文信息为/>
，计算可得密文信息/>
。
第三步：根据第一步和第二步可以得到n个网省公司模型参数密文，在密文域进行运算，得到模型参数密文
。
第三阶段，统一模型更新。针对传递过来的参数密文c，对其进行解密，使用下述公式计算可得明文：
基于本发明提供的面向电力业务场景的多意图识别系统，可以面向复杂业务场景时本方法可以准确理解用户问题和多种意图，系统还可以解决用户在不同的电力专业领域和日常办公领域频繁切换所带来的识别效率低等问题，同时可以满足用户多意图识别需求。而且本发明的系统也可以通过联邦学习训练模式所解决，各对话机器人参数使用同态加密传统算法传输，解决通信时，容易造成数据泄露，影响电力数据的安全性的问题。
本发明提供的面向电力业务场景的多意图识别方法是结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种面向电力业务场景的多意图识别方法，其特征在于，方法包括：
S1：基于电力术语，建立自定义词典，形成对话语料库；
S2：获取用户输入的信息，对用户输入的信息进行词语分割，提取输入信息中的词语，并用预设字符进行分隔；
S3：从分割后的词语中提取文本特征，并在每个句子末端添加分类token特征向量；
S4：构建Transformer联合模型，对句子进行编码，通过CRF模型在Transformer联合模型输出序列上标记一个与编码对应的层来预测实体；
S5：将Transformer联合模型输出的分类token特征向量与意图标签表示的语义向量空间，进行相似度比较，得到基于电力业务场景的用户意图信息。
2.根据权利要求1所述的面向电力业务场景的多意图识别方法，其特征在于，步骤S2中通过jieba算法对用户输入的信息进行词语分割，并对词频进行统计；
预设字符采用空格，或采用字母，或采用运算符。
3.根据权利要求1所述的面向电力业务场景的多意图识别方法，其特征在于，步骤S3中，对文本特征提取后，返回序列特征矩阵；
序列特征矩阵包含：句子中的token特征向量。
4.根据权利要求1所述的面向电力业务场景的多意图识别方法，其特征在于，方法还包括：对每个token特征向量进行稀疏或稠密特征处理，处理后输入至全连接层；
其中，稠密特征处理表示使用BERT预训练模型处理；
稀疏特征处理采取skip-gram模型处理。
5.根据权利要求1所述的面向电力业务场景的多意图识别方法，其特征在于，
步骤S5使用点积损失最大化与目标标签进行相似度比较，以及使用点积损失最小化与负样本进行相似度比较，具体如下述公式：
其中
分别为目标标签的相似度和负样本的相似度，/>
为一组负样本。
6.根据权利要求1所述的面向电力业务场景的多意图识别方法，其特征在于，用户输入的信息包括：语音、图片及文字信息，其中，图片转文字采用CRNN神经网络模型、或CTPN神经网络模型、或LayoutXLM神经网络模型进行多模态特征信息提取；
多模态特征信息提取同时引入了符合阅读顺序的文本行排序方法以及UDML联合互学习蒸馏方法，识别电力业务场景信息。
7.根据权利要求1所述的面向电力业务场景的多意图识别方法，其特征在于，得到的基于电力业务场景的用户意图信息包括：意图、实体字段及词槽信息；
其中，意图和实体字段均为列表信息，列表信息列举对话机器人需要处理的意图和实体字段，使对话机器人获悉下一步要执行的动作；
执行的动作包括回复消息或调用业务系统API动作。
8.一种面向电力业务场景的多意图识别系统，其特征在于，系统采用如权利要求1至7任意一项所述的面向电力业务场景的多意图识别方法；
系统包括：服务器和多个对话机器人；每个对话机器人分别与服务器通信连接；
服务器包括：对话语料库建立模块、信息获取分割模块、特征处理模块、联合模型构建预测模块以及相似度比较模块；
对话语料库建立模块用于将用户日常使用的语料信息进行汇集，并建立自定义词典，形成基于电力术语的对话语料库；
信息获取分割模块用于基于对话机器人获取用户输入的信息，对用户输入的信息进行词语分割，提取输入信息中的词语，并用预设字符进行分隔；
特征处理模块用于从分割后的词语中提取文本特征，并在每个句子末端添加分类token特征向量；
联合模型构建预测模块用于构建Transformer联合模型，对句子进行编码，通过CRF模型在Transformer联合模型输出序列上标记一个与编码对应的层来预测实体；
相似度比较模块用于将Transformer联合模型输出的分类token特征向量与意图标签表示的语义向量空间，进行相似度比较，得到基于电力业务场景的用户意图信息。
9.根据权利要求8所述的面向电力业务场景的多意图识别系统，其特征在于，对话机器人与服务器之间传输的信息进行加密传输，加密传输方式包括：
基于同态加密算法Paillier完成本地模型参数
至统一模型的传输，具体步骤如下：
第一步：服务器生成加密使用的公钥和私钥对；
随机选择2个素数p和q，p和q需长度相等，且pq,(p-1),(q-1)互质；
计算r=pq以及λ=lcm(p-1,q-1)，
其中，lcm表示最小公倍数，令g=r+1;
第二步：加密并计算得到第u（1=<u<=n）个模型参数密文
；
选择随机数s，0<=s<=r，
对应的明文信息为/>
，计算得到密文信息
；
第三步：根据第一步和第二步得到n个模型参数密文，在密文域进行运算，得到模型参数密文
。
10.根据权利要求9所述的面向电力业务场景的多意图识别系统，其特征在于，服务器还对统一模型更新，针对传递过来的参数密文c，对统一模型进行解密，使用下述公式计算得明文：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310571850.6A CN116306685A (zh) | 2023-05-22 | 2023-05-22 | 一种面向电力业务场景的多意图识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310571850.6A CN116306685A (zh) | 2023-05-22 | 2023-05-22 | 一种面向电力业务场景的多意图识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116306685A true CN116306685A (zh) | 2023-06-23 |
Family
ID=86820781
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310571850.6A Pending CN116306685A (zh) | 2023-05-22 | 2023-05-22 | 一种面向电力业务场景的多意图识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116306685A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117240657A (zh) * | 2023-09-07 | 2023-12-15 | 中国电子产业工程有限公司 | 一种基于图匹配网络的vpn应用识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105490806A (zh) * | 2015-11-28 | 2016-04-13 | 中国电子科技集团公司第三十研究所 | 一种同态密钥生成、共享方法及装置 |
| US20200257856A1 (en) * | 2019-02-07 | 2020-08-13 | Clinc, Inc. | Systems and methods for machine learning based multi intent segmentation and classification |
| CN114065773A (zh) * | 2021-11-22 | 2022-02-18 | 山东新一代信息产业技术研究院有限公司 | 多轮问答系统历史上下文语义表示方法 |
| CN115292463A (zh) * | 2022-08-08 | 2022-11-04 | 云南大学 | 一种基于信息抽取的联合多意图检测和重叠槽填充的方法 |
| CN115719258A (zh) * | 2022-11-21 | 2023-02-28 | 中汇信息技术（上海）有限公司 | 一种报价单自动生成的方法、装置和电子设备 |
-
2023
- 2023-05-22 CN CN202310571850.6A patent/CN116306685A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105490806A (zh) * | 2015-11-28 | 2016-04-13 | 中国电子科技集团公司第三十研究所 | 一种同态密钥生成、共享方法及装置 |
| US20200257856A1 (en) * | 2019-02-07 | 2020-08-13 | Clinc, Inc. | Systems and methods for machine learning based multi intent segmentation and classification |
| CN114065773A (zh) * | 2021-11-22 | 2022-02-18 | 山东新一代信息产业技术研究院有限公司 | 多轮问答系统历史上下文语义表示方法 |
| CN115292463A (zh) * | 2022-08-08 | 2022-11-04 | 云南大学 | 一种基于信息抽取的联合多意图检测和重叠槽填充的方法 |
| CN115719258A (zh) * | 2022-11-21 | 2023-02-28 | 中汇信息技术（上海）有限公司 | 一种报价单自动生成的方法、装置和电子设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117240657A (zh) * | 2023-09-07 | 2023-12-15 | 中国电子产业工程有限公司 | 一种基于图匹配网络的vpn应用识别方法 |
| CN117240657B (zh) * | 2023-09-07 | 2024-03-12 | 中国电子产业工程有限公司 | 一种基于图匹配网络的vpn应用识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110704641B (zh) | 一种万级意图分类方法、装置、存储介质及电子设备 | |
| CN108292305B (zh) | 用于处理语句的方法 | |
| Kandpal et al. | Contextual Chatbot for healthcare purposes (using deep learning) | |
| EP3465463A1 (en) | Natural language generation in a spoken dialogue system | |
| CN108304439A (zh) | 一种语义模型优化方法、装置及智能设备、存储介质 | |
| CN113127624B (zh) | 问答模型的训练方法及装置 | |
| CN105723362A (zh) | 自然表达处理方法、处理及回应方法、设备及系统 | |
| CN111241237A (zh) | 一种基于运维业务的智能问答数据处理方法及装置 | |
| CN115309877B (zh) | 对话生成方法、对话模型训练方法及装置 | |
| US20220156467A1 (en) | Hybrid Natural Language Understanding | |
| WO2023020262A1 (en) | Integrating dialog history into end-to-end spoken language understanding systems | |
| CN116235177A (zh) | 与通过使用相关联的样本话语的已知意图从对话数据挖掘意图来进行机器人创作相关的系统和方法 | |
| CN110147435A (zh) | 对话生成方法、装置、设备及存储介质 | |
| CN112632244A (zh) | 一种人机通话的优化方法、装置、计算机设备及存储介质 | |
| CN116306685A (zh) | 一种面向电力业务场景的多意图识别方法及系统 | |
| CN108509539A (zh) | 信息处理方法电子设备 | |
| CN109933773A (zh) | 一种多重语义语句解析系统及方法 | |
| CN112801721B (zh) | 信息处理方法、装置、电子设备及存储介质 | |
| Prakash et al. | Chatterbot implementation using transfer learning and LSTM encoder-decoder architecture | |
| Sangeetha et al. | Optimization of Natural Language Understanding with Contextual Embeddings | |
| CN109002498B (zh) | 人机对话方法、装置、设备及存储介质 | |
| CN116204635A (zh) | 一种基于企业微信的潜在客户意向级别判别方法及系统 | |
| CN114373443A (zh) | 语音合成方法和装置、计算设备、存储介质及程序产品 | |
| Cuayáhuitl et al. | Barge-in effects in Bayesian dialogue act recognition and simulation | |
| Hoang et al. | Design and implementation of a VoIP PBX integrated Vietnamese virtual assistant: a case study |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230623 |
|
| RJ01 | Rejection of invention patent application after publication |