CN114238574B - 基于人工智能的意图识别方法及其相关设备 - Google Patents
基于人工智能的意图识别方法及其相关设备 Download PDFInfo
- Publication number
- CN114238574B CN114238574B CN202111537425.2A CN202111537425A CN114238574B CN 114238574 B CN114238574 B CN 114238574B CN 202111537425 A CN202111537425 A CN 202111537425A CN 114238574 B CN114238574 B CN 114238574B
- Authority
- CN
- China
- Prior art keywords
- text
- keyword
- keywords
- unlabeled
- intention recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 37
- 239000013598 vector Substances 0.000 claims description 52
- 238000004364 calculation method Methods 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 14
- 238000010276 construction Methods 0.000 claims description 12
- 238000009826 distribution Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 230000001174 ascending effect Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000002372 labelling Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/247—Thesauruses; Synonyms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Machine Translation (AREA)
Abstract
本申请实施例属于人工智能领域，涉及一种基于人工智能的意图识别方法，包括根据有标签文本构造关键词词典；根据所述关键词词典中的关键词信息对无标签文本进行数据增强，得到无标签文本对；计算所述无标签文本对的一致性损失，根据所述无标签文本对的一致性损失与有标签文本的损失得出意图识别模型的最终损失；将所述关键词词典融合至所述意图识别模型内，并基于融合后的所述意图识别模型对输入数据进行意图识别。本申请还提供一种基于人工智能的意图识别装置、计算机设备及存储介质。本申请可以增加模型对文本中关键词信息的捕获能力和对噪音的鲁棒性。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及一种基于人工智能的意图识别方法及其相关设备。
背景技术
在智能客服系统中，意图识别，顾名思义就是要判断用户要做什么，比如一个用户向机器人说了一句话，机器人需要判断说话人是想问天气或是机票信息又或是想要机器人帮忙订餐。研究人员通常将意图识别当作一个分类问题，通过文本分类的方法将用户问题或回答划分到预先定义好的意图类别中。
现如今，基于文本分类的意图识别方案大多采用深度学习纯端到端的方案，不使用任何额外的特征信息，也就不能显式利用待分类文本中的关键词信息，在实际应用场景中，很可能会遇到分类结果与文本中的关键信息强相关但是模型却不能有效捕获这些关键信息的情况。例如，文本A‘我一共需要还多少钱？’、文本B‘我最低需要还多少钱？’，两个文本极其相似，但是表达的含义却完全不同，其中，文本A的意图是‘咨询欠款总额’，文本B的意图是‘咨询最低还款额’。若模型不能分别捕获两个文本中的差异关键信息，最终可能会将这两个文本分到同一个类别。
此外，深度学习模型在小数据集上容易过拟合，目前常规的解决方案就是为模型标注更多的数据，但这又会增加标注成本。而且，在实际的智能对话平台中，每天都会有几百万通呼入或呼出电话，这会产生大量的真实对话数据，这些数据中的一小部分会被标注人员打上用户意图标签，然后被用于训练意图识别模型，但其余的绝大多数数据因为没有得到标注而不能被模型利用，但它们和有标签数据一样，有非常大的业务价值，可以用来提升意图识别效果并减少人工标注量。
为此，有必要开发一种基于人工智能的意图识别方法。
发明内容
本申请实施例的目的在于提出一种基于人工智能的意图识别方法，其主要目的是在不增加额外人工标注数据的情况下，通过待分类文本的关键词特征和数据增强方法，以提升意图识别的准确率。
为了解决上述技术问题，本申请实施例提供一种基于人工智能的意图识别方法，采用了如下所述的技术方案：
一种基于人工智能的意图识别方法，包括下述步骤：
根据有标签文本构造关键词词典；
根据所述关键词词典中的关键词信息对无标签文本进行数据增强，得到无标签文本对；
计算所述无标签文本对的一致性损失，根据所述无标签文本对的一致性损失与有标签文本的损失得出意图识别模型的最终损失；
将所述关键词词典融合至所述意图识别模型内，并基于融合后的所述意图识别模型对输入数据进行意图识别。
进一步的，所述根据有标签文本构造关键词词典的步骤具体包括：
将预定义的意图设为文本领域；
在所述文本领域中抽取出现频次高于所述文本领域之外的文本领域的词语，将所述词语设为所述文本领域的关键词，并利用所述关键词构造关键词词典。
进一步的，所述在所述文本领域中抽取出现频次高于其他文本领域的有标签文本，将所述有标签文本设为所述文本领域的关键词，并利用所述关键词构造关键词词典的步骤具体包括：
对所述文本领域的有标签文本进行分词，并将分词后的所有词汇作为候选关键词；
计算每个所述候选关键词的领域特性分数；
根据所述领域特性分数对所述候选关键词进行升序排序，并将所述领域特性分数小于分数阈值的所述候选关键词作为所述文本领域的关键词；
将所述文本领域的关键词合并得到关键词词典。
进一步的，所述计算每个候选关键词的领域特性分数的计算公式为：
score(w|domain)＝idf(w|domain)–idf(w|^domain)；
其中，idf表示逆文档频率，^domain表示除文本领域domain之外的文本领域，w为关键词，domain为文本领域。
进一步的，在所述根据所述关键词词典中的关键词信息对无标签文本进行数据增强的步骤具体包括：
等概率随机删除无标签文本中的任一非关键词，随机在无标签文本中选择两个非关键词并交换两个非关键词的位置，随机在无标签文本中选择任一非关键词并用该非关键词的同义词进行替换，及随机在无标签文本中选择任一非关键词并将同义词插入无标签文本的任意位置。
进一步的，所述计算所述无标签文本对的一致性损失的步骤具体包括：
将所述无标签文本对输入至预设的机器学习模型中以得到两个输出分布；
计算两个所述输出分布之间的距离，标定所述距离为所述无标签文本对的一致性损失。
进一步的，所述将所述关键词词典融合至所述意图识别模型内的步骤具体包括：
针对训练文本或测试文本，根据关键词词典进行匹配得到文本的关键词；
将关键词融合到所述意图识别模型中；
所述将关键词融合到所述意图识别模型中的步骤具体包括：
设立关键词词向量矩阵，所述关键词词向量矩阵的每一行对应关键词词典中的一个关键词，所述关键词词向量矩阵的行数等于关键词的个数，所述关键词词向量矩阵的列数等于意图识别模型卷积之后得到的句向量sconv的维度；
根据匹配得到的关键词的词向量进行计算，得到基于关键词的句向量skw；
将所述关键词的句向量skw与意图识别模型卷积之后得到的句向量sconv的维度相加，得到文本的最终句向量；
根据所述文本的最终句向量将所述关键词融合到所述意图识别模型中。
为了解决上述技术问题，本申请实施例还提供一种基于人工智能的意图识别装置，采用了如下所述的技术方案：
一种基于人工智能的意图识别装置，包括：
构造模块，用于根据有标签文本构造关键词词典；
数据增强模块，用于根据所述关键词词典中的关键词信息对无标签文本进行数据增强，得到无标签文本对；
一致性损失计算模块，用于计算所述无标签文本对的一致性损失，将所述一致性损失输入至监督学习的损失函数中训练得到意图识别模型；及
融合模块，用于将所述关键词词典融合至所述意图识别模型内，并基于所述意图识别模型对输入数据进行意图识别；
所述构造模块、数据增强模块、计算模块及融合模块依次连接。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的基于人工智能的意图识别方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的基于人工智能的意图识别方法的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：本发明在不增加额外人工标注数据的基础上，通过有标签文本构造关键词词典，将关键词融入到意图识别模型中，以增加模型对文本中关键词信息的捕获能力，同时还通过对无标签文本进行数据增强得到无标签文本对，然后计算无标签文本对的一致性损失并将一致性损失输入至监督学习的损失函数中训练以得到意图识别模型，可以增加模型对噪音的鲁棒性。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图；
图2根据本申请的基于人工智能的意图识别方法的一个实施例的流程图；
图3是图2中步骤S201的一种具体实施方式的流程图；
图4是图3中步骤S2012的一种具体实施方式的流程图；
图5是图2中步骤S203的一种具体实施方式的实现原理图；
图6是图2中步骤S203的一种具体实施方式的流程图；
图7是图2中步骤S204的一种具体实施方式的流程图；
图8是图7中步骤S2041的一种具体实施方式的流程图；
图9是根据本申请的基于人工智能的意图识别装置的一个实施例的结构示意图；
图10是图9中构造模块的一个具体实施方式的结构示意图；
图11是图9中一致性损失计算模块的一个具体实施方式的结构示意图；
图12是图9中融合模块的一个具体实施方式的结构示意图；
图13是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
需要说明的是，本申请实施例所提供的基于人工智能的意图识别方法一般由服务器执行，相应地，基于人工智能的意图识别装置一般设置于终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的基于人工智能的意图识别方法的一个实施例的流程图。所述的基于人工智能的意图识别方法，包括以下步骤：
步骤S201，根据有标签文本构造关键词词典。
在本实施例中，基于人工智能的意图识别方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式与终端设备进行连接。需要指出的是，上述无线连接方式可以包括但不限于3G/4G/5G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
在本实施例中，结合图3所示，所述根据有标签文本构造关键词词典的步骤具体包括：
步骤S2011、将一个预定义的意图设为文本领域。
该步骤可以根据需要具体选择或设定预定义的意图。
步骤S2012、在所述文本领域中抽取出现频次高于所述文本领域之外的文本领域的词语，将所述词语设为所述文本领域的关键词，并利用所述关键词构造关键词词典。
其中，标签属于背景技术中所描述的用户意图标签。
对于文本领域而言，为了提取对该领域分类有帮助的关键词，在所述文本领域中抽取出现频次高于所述文本领域之外的文本领域的词语，将所述词语设为所述文本领域的关键词，这也称作关键词的领域特性，并利用所述关键词构造关键词词典。
具体的，结合图4所示，在所述文本领域中抽取出现频次高于所述文本领域之外的文本领域的词语，将所述词语设为所述文本领域的关键词，并利用所述关键词构造关键词词典的步骤具体包括：
步骤S20121、对所述文本领域的有标签文本进行分词，并将分词后的所有词汇作为候选关键词。
步骤S20122、计算每个候选关键词的领域特性分数score(w|domain)，具体的计算公式为：
score(w|domain)＝idf(w|domain)–idf(w|^domain)；
其中，idf表示逆文档频率，^domain表示除文本领域domain之外的文本领域，w为关键词，domain为文本领域。
步骤S20123、根据所述领域特性分数score(w|domain)对所述候选关键词进行升序排序，将所述领域特性分数score(w|domain)小于分数阈值的所述候选关键词作为所述文本领域的关键词。
步骤S20124、将所述文本领域的关键词合并得到关键词词典。
步骤S202，根据所述关键词词典中的关键词信息对无标签文本进行数据增强，得到无标签文本对。
在本实施例中，在所述根据所述关键词词典中的关键词信息对无标签文本进行数据增强的步骤具体包括：等概率随机删除无标签文本中的任一非关键词，随机在无标签文本中选择两个非关键词并交换两个非关键词的位置，随机在无标签文本中选择任一非关键词并用其同义词进行替换，及随机在无标签文本中选择任一非关键词并将同义词插入无标签文本的任意位置。
具体的，可以将上述增强方法重复执行多次，但是在实践中，针对单条文本，只将上述每一个方法执行一次，即为每一条无标签文本生成4条增强后的数据，得到4个无标签文本对<xunlabel,xunlabel_aug>。
步骤S203，计算所述无标签文本对的一致性损失，根据所述无标签文本对的一致性损失与有标签文本的损失得出意图识别模型的最终损失。
在本实施例中，最终损失可以为无标签文本对的一致性损失与有标签文本的损失直接相加获得。
在本实施例中，该过程与传统的纯监督学习相比主要区别在于在最后的损失函数中加入了来自无监督数据对的一致性损失，如图5所示。
具体的，结合图5和6所示，所述计算所述无标签文本对的一致性损失的步骤具体包括：
步骤S2031，对于给定的机器学习模型pθ(y|x)(x表示输入文本，y表示预定于的标签，θ表示模型的参数)和无标签文本对<xunlabel,xunlabel_aug>，将所述无标签文本对中的xunlabel和xunlabel_aug分别输入至预设的机器学习模型中以得到两个输出分布pθ(y|xunlabel)和pθ(y|xunlabel_aug)。
其中，给定的机器学习模型是一种分类模型，如图5所示，主要是用于计算一致性损失的模型，属于现有的模型，本实施例主要用于根据该模型计算两个输出分布，进而得出所述无标签文本的一致性损失。
作为优选，在训练时同一个批次的数据既包含有标签文本，也包含无标签文本对，两者共享相同的模型结构和模型参数，但是二者的batch size(批尺寸)参数不同。有标签文本的数据量和增强前的无标签文本的数据量是相同的，但是由于在步骤S202中一条无标签数据进行4次增强操作得到4条增强文本，因此无标签文本对的batch size是有标签文本的4倍。
步骤S2032，计算两个所述输出分布pθ(y|xunlabel)和pθ(y|xunlabel_aug)之间的距离，标定所述距离为所述无标签文本对的一致性损失。
步骤S204，将所述关键词词典融合至所述意图识别模型内，并基于所述意图识别模型对输入数据进行意图识别。
在意图识别模型的训练中增加关键词词典作为训练集，以提高意图识别模型的识别成功率。
在本实施例中，结合图7所示，将所述关键词词典融合至所述意图识别模型内的步骤具体包括：
步骤S2041、针对训练文本或测试文本，根据关键词词典进行匹配得到文本的关键词。
具体的，该过程可以先将训练文本或测试文本分词，然后判断分词得到的每一个词语是否在关键词词典中，如果在，则该词语就是该文本的关键词。
步骤S2042、将关键词融合到所述意图识别模型中。
具体的，结合图8所示，所述将关键词融合到所述意图识别模型中的步骤具体包括：
步骤S20411、设立(或创建)一个关键词词向量矩阵keyword-embedding，所述关键词词向量矩阵keyword-embedding的每一行对应一个关键词词典中的一个关键词。
关键词词向量矩阵keyword-embedding的行数等于关键词的个数，矩阵keyword-embedding的列数等于意图识别模型(可以采用TextCNN模型)卷积之后得到的句向量sconv的维度，关键词词向量矩阵keyword-embedding是意图识别模型可学习的参数。
步骤S20412、根据匹配得到的关键词的词向量进行计算，得到基于关键词的句向量skw，其计算方法如下：
其中，列向量ei表示关键词的词向量，列向量u是模型待学习的参数，uT表示u的转置。
步骤S20413、将所述关键词的句向量skw与意图识别模型卷积之后得到的句向量sconv的维度相加，得到文本的最终句向量。
上述维度相加的含义为：句向量skw与向量sconv的维度是一样的，例如都是100维的向量，然后将这个两个向量相加得到一个新的100维的向量，即为文本的最终句向量。
根据所述文本的最终句向量将所述关键词融合到所述意图识别模型中。
本申请可以在不增加额外人工标注数据的基础上，通过有标签文本构造关键词词典，将关键词融入到意图识别模型中，以增加模型对文本中关键词信息的敏感性和捕获能力，同时本申请还通过对无标签文本进行数据增强得到无标签文本对，然后计算无标签文本对的一致性损失并将一致性损失输入至监督学习的损失函数中训练以得到意图识别模型，可以增加模型对噪音的鲁棒性。本申请在大量的实际业务场景的数据中进行实验，结果显示该方案可以提升整体意图识别的准确率，减少人工标注量。
需要强调的是，为进一步保证上述意图识别信息的私密和安全性，上述意图识别信息还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图9，作为对上述图2所示方法的实现，本申请提供了一种基于人工智能的意图识别装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
本实施例所述的基于人工智能的意图识别装置900包括：构造模块901、数据增强模块902、一致性损失计算模块903以及融合模块904。其中：
构造模块901用于根据有标签文本构造关键词词典。
数据增强模块902用于根据所述关键词词典中的关键词信息对无标签文本进行数据增强，得到无标签文本对。
一致性损失计算模块903用于计算所述无标签文本对的一致性损失，根据所述无标签文本对的一致性损失与有标签文本的损失得出意图识别模型的最终损失。
融合模块904用于将所述关键词词典融合至所述意图识别模型内，并基于融合后的所述意图识别模型对输入数据进行意图识别。
在本实施例中，可以在不增加额外人工标注数据的基础上，通过构造模块901根据有标签文本构造关键词词典，由计算模块903用于计算所述无标签文本对的一致性损失，通过无标签文本对的一致性损失与有标签文本的损失得出意图识别模型的最终损失以增加模型对文本中关键词信息的敏感性和捕获能力，本申请还通过数据增强模块902对无标签文本进行数据增强得到无标签文本对，然后计算无标签文本对的一致性损失并将一致性损失输入至监督学习的损失函数中训练以得到意图识别模型，再由融合模块904将关键词词典融合至所述意图识别模型内，可以增加模型对噪音的鲁棒性。
具体的，结合图10所示，构造模块901包括文本领域子模块9011以及抽取构造子模块9012。其中，文本领域子模块9011用于将一个预定义的意图设为文本领域，该步骤可以根据需要具体选择或设定预定义的意图。抽取构造子模块9012用于在文本领域中抽取出现频次高于其他文本领域的词语，将所述词语设为所述文本领域的关键词，并利用所述关键词构造关键词词典。
作为优选，抽取构造子模块9012包括分词单元90121、计算单元90122、排序截断单元90123和合并单元90124。其中，分词单元90121用于对所述文本领域的词语进行分词，并将分词后的所有词汇作为候选关键词；计算单元90122用于计算每个候选关键词的领域特性分数score(w|domain)；排序截断单元90123用于根据领域特性分数score(w|domain)对所有的候选关键词进行升序排序，并根据预先定义的分数阈值进行截断，将领域特性分数score(w|domain)小于分数阈值的候选关键词作为所述文本领域的关键词；合并单元90124用于将所述文本领域的关键词合并得到关键词词典。
具体的，结合图11所示，一致性损失计算模块903包括输出分布子模块9031、距离计算子单元9032和最终损失计算单元9033。其中，输出分布子模块9031用于将所述无标签文本对输入至预设的机器学习模型中以得到两个输出分布；距离计算子单元9032用于计算两个所述输出分布之间的距离，标定所述距离为所述无标签文本对的一致性损失。最终损失计算单元9033用于根据所述无标签文本对的一致性损失与有标签文本的损失得出意图识别模型的最终损失。
具体的，结合图12所示，融合模块904包括匹配模块9041和关键词融合模块9042。其中，匹配模块9041用于针对训练文本或测试文本，根据关键词词典进行匹配得到文本的关键词；关键词融合模块9042用于将关键词融合到所述意图识别模型中。
作为优选，关键词融合模块9042包括设立单元90421、词向量计算单元90422、加法单元90423和融合单元90424。其中，设立单元90421用于设立关键词词向量矩阵，所述关键词词向量矩阵的每一行对应关键词词典中的一个关键词；词向量计算单元90412用于根据匹配得到的关键词的词向量进行计算，得到基于关键词的句向量skw；加法单元90413用于将所述关键词的句向量skw与意图识别模型卷积之后得到的句向量sconv的维度相加，得到文本的最终句向量；融合单元90424用于根据所述文本的最终句向量将所述关键词融合到所述意图识别模型中。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图13，图13为本实施例计算机设备基本结构框图。
所述计算机设备13包括通过系统总线相互通信连接存储器131、处理器132、网络接口133。需要指出的是，图中仅示出了具有组件131-133的计算机设备13，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器131至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器131可以是所述计算机设备13的内部存储单元，例如该计算机设备13的硬盘或内存。在另一些实施例中，所述存储器131也可以是所述计算机设备13的外部存储设备，例如该计算机设备13上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器131还可以既包括所述计算机设备13的内部存储单元也包括其外部存储设备。本实施例中，所述存储器131通常用于存储安装于所述计算机设备13的操作系统和各类应用软件，例如基于人工智能的意图识别方法的计算机可读指令等。此外，所述存储器131还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器132在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器132通常用于控制所述计算机设备13的总体操作。本实施例中，所述处理器132用于运行所述存储器131中存储的计算机可读指令或者处理数据，例如运行所述基于人工智能的意图识别方法的计算机可读指令。
所述网络接口133可包括无线网络接口或有线网络接口，该网络接口133通常用于在所述计算机设备13与其他电子设备之间建立通信连接。
本申请的计算机设备在工作时，在不增加额外人工标注数据的基础上，通过有标签文本构造关键词词典，将关键词融入到意图识别模型中，以增加模型对文本中关键词信息的捕获能力，同时还通过对无标签文本进行数据增强得到无标签文本对，然后计算无标签文本对的一致性损失并将一致性损失输入至监督学习的损失函数中训练以得到意图识别模型，可以增加模型对噪音的鲁棒性。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于人工智能的意图识别方法的步骤。
本申请的计算机可读存储介质在使用时，在不增加额外人工标注数据的基础上，通过有标签文本构造关键词词典，将关键词融入到意图识别模型中，以增加模型对文本中关键词信息的捕获能力，同时还通过对无标签文本进行数据增强得到无标签文本对，然后计算无标签文本对的一致性损失并将一致性损失输入至监督学习的损失函数中训练以得到意图识别模型，可以增加模型对噪音的鲁棒性。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。
Claims (7)
1.一种基于人工智能的意图识别方法，其特征在于，包括下述步骤：
根据有标签文本构造关键词词典，其中，所述根据有标签文本构造关键词词典的步骤具体包括：将预定义的意图设为文本领域；在所述文本领域中抽取出现频次高于所述文本领域之外的文本领域的词语，将所述词语设为所述文本领域的关键词，并利用所述关键词构造关键词词典，具体的，所述在所述文本领域中抽取出现频次高于其他文本领域的有标签文本，将所述有标签文本设为所述文本领域的关键词，并利用所述关键词构造关键词词典的步骤具体包括：对所述文本领域的有标签文本进行分词，并将分词后的所有词汇作为候选关键词；计算每个所述候选关键词的领域特性分数，所述计算每个候选关键词的领域特性分数的计算公式为：；
其中，idf 表示逆文档频率，^ domain表示除文本领域domain之外的文本领域，w为关键词，domain为文本领域；根据所述领域特性分数对所述候选关键词进行升序排序，并将所述领域特性分数小于分数阈值的所述候选关键词作为所述文本领域的关键词；将所述文本领域的关键词合并得到关键词词典；
根据所述关键词词典中的关键词信息对无标签文本进行数据增强，得到无标签文本对；
计算所述无标签文本对的一致性损失，根据所述无标签文本对的一致性损失与有标签文本的损失得出意图识别模型的最终损失；
将所述关键词词典融合至所述意图识别模型内，并基于融合后的所述意图识别模型对输入数据进行意图识别。
2.根据权利要求1所述的基于人工智能的意图识别方法，其特征在于，在所述根据所述关键词词典中的关键词信息对无标签文本进行数据增强的步骤具体包括：
等概率随机删除无标签文本中的任一非关键词，随机在无标签文本中选择两个非关键词并交换两个非关键词的位置，随机在无标签文本中选择任一非关键词并用该非关键词的同义词进行替换，及随机在无标签文本中选择任一非关键词并将同义词插入无标签文本的任意位置。
3.根据权利要求1所述的基于人工智能的意图识别方法，其特征在于，所述计算所述无标签文本对的一致性损失的步骤具体包括：
将所述无标签文本对输入至预设的机器学习模型中以得到两个输出分布；
计算两个所述输出分布之间的距离，标定所述距离为所述无标签文本对的一致性损失。
4.根据权利要求1所述的基于人工智能的意图识别方法，其特征在于，所述将所述关键词词典融合至所述意图识别模型内的步骤具体包括：
针对训练文本或测试文本，根据关键词词典进行匹配得到文本的关键词；
将关键词融合到所述意图识别模型中；
所述将关键词融合到所述意图识别模型的步骤具体包括：
设立关键词词向量矩阵，所述关键词词向量矩阵的每一行对应关键词词典中的一个关键词，所述关键词词向量矩阵的行数等于关键词的个数，所述关键词词向量矩阵的列数等于意图识别模型卷积之后得到的句向量的维度；
根据匹配得到的关键词的词向量进行计算，得到基于关键词的句向量；
将所述关键词的句向量与意图识别模型卷积之后得到的句向量/>的维度相加，得到文本的最终句向量；
根据所述文本的最终句向量将所述关键词融合到所述意图识别模型中。
5.一种基于人工智能的意图识别装置，其特征在于，所述基于人工智能的意图识别装置用于实现如权利要求1至4中任一项所述的基于人工智能的意图识别方法的步骤，所述基于人工智能的意图识别装置包括：
构造模块，用于根据有标签文本构造关键词词典；
数据增强模块，用于根据所述关键词词典中的关键词信息对无标签文本进行数据增强，得到无标签文本对；
一致性损失计算模块，用于计算所述无标签文本对的一致性损失，将所述一致性损失输入至监督学习的损失函数中训练得到意图识别模型；及
融合模块，用于将所述关键词词典融合至所述意图识别模型内，并基于所述意图识别模型对输入数据进行意图识别；
所述构造模块、数据增强模块、计算模块及融合模块依次连接。
6.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至4中任一项所述的基于人工智能的意图识别方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至4中任一项所述的基于人工智能的意图识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111537425.2A CN114238574B (zh) | 2021-12-15 | 2021-12-15 | 基于人工智能的意图识别方法及其相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111537425.2A CN114238574B (zh) | 2021-12-15 | 2021-12-15 | 基于人工智能的意图识别方法及其相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114238574A CN114238574A (zh) | 2022-03-25 |
| CN114238574B true CN114238574B (zh) | 2024-05-10 |
Family
ID=80756757
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111537425.2A Active CN114238574B (zh) | 2021-12-15 | 2021-12-15 | 基于人工智能的意图识别方法及其相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114238574B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190105892A (ko) * | 2018-03-06 | 2019-09-18 | 박종환 | 실시간 키보드 입력 정보를 활용한 키워드 광고 시스템 |
| CN110334344A (zh) * | 2019-06-13 | 2019-10-15 | 腾讯科技（深圳）有限公司 | 一种语义意图识别方法、装置、设备及存储介质 |
| CN112699213A (zh) * | 2020-12-23 | 2021-04-23 | 平安普惠企业管理有限公司 | 语音意图识别方法、装置、计算机设备及存储介质 |
| KR20210087384A (ko) * | 2020-01-02 | 2021-07-12 | 삼성전자주식회사 | 자연어 이해 모델의 학습을 위한 서버, 클라이언트 디바이스 및 그 동작 방법 |
-
2021
- 2021-12-15 CN CN202111537425.2A patent/CN114238574B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190105892A (ko) * | 2018-03-06 | 2019-09-18 | 박종환 | 실시간 키보드 입력 정보를 활용한 키워드 광고 시스템 |
| CN110334344A (zh) * | 2019-06-13 | 2019-10-15 | 腾讯科技（深圳）有限公司 | 一种语义意图识别方法、装置、设备及存储介质 |
| KR20210087384A (ko) * | 2020-01-02 | 2021-07-12 | 삼성전자주식회사 | 자연어 이해 모델의 학습을 위한 서버, 클라이언트 디바이스 및 그 동작 방법 |
| CN112699213A (zh) * | 2020-12-23 | 2021-04-23 | 平安普惠企业管理有限公司 | 语音意图识别方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于多特征融合的意图识别算法研究;周权 等;电脑知识与技术;20200725;16(21);第28-31页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114238574A (zh) | 2022-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112685565B (zh) | 基于多模态信息融合的文本分类方法、及其相关设备 | |
| CN111897970B (zh) | 基于知识图谱的文本比对方法、装置、设备及存储介质 | |
| WO2022126963A1 (zh) | 基于客户应答语料的客户画像方法及其相关设备 | |
| CN112101041B (zh) | 基于语义相似度的实体关系抽取方法、装置、设备及介质 | |
| CN112287069B (zh) | 基于语音语义的信息检索方法、装置及计算机设备 | |
| CN112686022A (zh) | 违规语料的检测方法、装置、计算机设备及存储介质 | |
| WO2020147409A1 (zh) | 一种文本分类方法、装置、计算机设备及存储介质 | |
| CN111783471B (zh) | 自然语言的语义识别方法、装置、设备及存储介质 | |
| CN112863683A (zh) | 基于人工智能的病历质控方法、装置、计算机设备及存储介质 | |
| CN113434636B (zh) | 基于语义的近似文本搜索方法、装置、计算机设备及介质 | |
| CN112632278A (zh) | 一种基于多标签分类的标注方法、装置、设备及存储介质 | |
| CN112995414B (zh) | 基于语音通话的行为质检方法、装置、设备及存储介质 | |
| CN113420212A (zh) | 基于深度特征学习的推荐方法、装置、设备及存储介质 | |
| CN115438149A (zh) | 一种端到端模型训练方法、装置、计算机设备及存储介质 | |
| CN115730597A (zh) | 多级语义意图识别方法及其相关设备 | |
| CN114817478A (zh) | 基于文本的问答方法、装置、计算机设备及存储介质 | |
| WO2022073341A1 (zh) | 基于语音语义的疾病实体匹配方法、装置及计算机设备 | |
| CN112434746B (zh) | 基于层次化迁移学习的预标注方法及其相关设备 | |
| CN113569118A (zh) | 自媒体推送方法、装置、计算机设备及存储介质 | |
| CN116796730A (zh) | 基于人工智能的文本纠错方法、装置、设备及存储介质 | |
| CN116701593A (zh) | 基于GraphQL的中文问答模型训练方法及其相关设备 | |
| CN114238574B (zh) | 基于人工智能的意图识别方法及其相关设备 | |
| CN114637831A (zh) | 基于语义分析的数据查询方法及其相关设备 | |
| JP2023554210A (ja) | インテリジェント推奨用のソートモデルトレーニング方法及び装置、インテリジェント推奨方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム | |
| CN112417886A (zh) | 意图实体信息抽取方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |