CN112069300A - 任务型对话的语义识别方法、装置、电子设备及存储介质 - Google Patents
任务型对话的语义识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112069300A CN112069300A CN202010921697.1A CN202010921697A CN112069300A CN 112069300 A CN112069300 A CN 112069300A CN 202010921697 A CN202010921697 A CN 202010921697A CN 112069300 A CN112069300 A CN 112069300A
- Authority
- CN
- China
- Prior art keywords
- words
- sentence
- sample
- dialog
- characters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000011218 segmentation Effects 0.000 claims abstract description 75
- 238000012549 training Methods 0.000 claims abstract description 31
- 230000014509 gene expression Effects 0.000 claims description 65
- 239000013598 vector Substances 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 13
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000012827 research and development Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000010006 flight Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及人工智能领域，公开了一种任务型对话的语义识别方法、装置、电子设备及存储介质，用于提高多领域任务会话的语义识别准确度。本发明的主要技术方案为：获取用户的待识别对话和历史对话；将待识别对话和历史对话分别进行分字或分词；将待识别对话的分字或分词结果和历史对话的分字或分词结果输入到语义理解模型，得到与待识别对话对应的语义识别结果；语义理解模型是根据对话样本以及与对话样本对应的样本标签训练得到的，对话样本包括待识别对话样本和历史对话样本，样本标签包括对话样本的领域、意图、槽位及槽值；语义识别结果包括与待识别对话对应的领域、意图、槽位及槽值。本发明还涉及区块链技术，语义理解模型存储于区块链中。
Description
技术领域
本发明涉及人工智能的语义识别技术领域，尤其涉及一种任务型对话的语义识别方法、装置、电子设备及存储介质。
背景技术
任务型对话系统的目的是帮助用户完成某些具体的任务。例如：订火车票，询问天气，打车，订外卖等。一个更加智能的任务型对话系统可以很大程度上节省人力和提升效率。由于其具大的应用前景和商业价值，各大公司和学术机构都在这方面加大了投入。在任务型对话系统中，语义理解模型是系统的入口，它的效果直接决定后续模型的效果上限。因此研发理解力更强的语义理解模型就成为构建更智能的任务型对话系统的关键。
传统的语义理解模型研发多集中在单个领域，也就是说只能处理订会议室或打车等单个领域下的用户诉求。但是，现实中用户的诉求往往是多领域的，比如人们在寻求旅游服务的时候，往往需要同时进行订票，订餐馆，询问景点等多项行为。在这种情况下，传统的语义理解模型往往会遇到领域歧义的问题，例如：当用户说“我想订明天早上的票”，那么很难确定发生的领域是在订火车，订飞票，还是订景点门票等。同时，传统的语义理解模型，针对不同领域的用户诉求，往往需要单独开发，这样就极大的增加了研发成本，降低了研发效率。
发明内容
本发明提供一种任务型对话的语义识别方法、装置、电子设备及存储介质，用于提高多领域任务型对话语义识别的准确度，降低研发成本。
本发明实施例提供了一种任务型对话的语义识别方法，该方法包括：
获取用户的待识别对话和历史对话；
将所述待识别对话和所述历史对话分别进行分字或分词；
将所述待识别对话的分字或分词结果和所述历史对话的分字或分词结果输入到语义理解模型，得到与所述待识别对话对应的语义识别结果；所述语义理解模型是根据对话样本以及与所述对话样本对应的样本标签训练得到的，所述对话样本包括待识别对话样本和历史对话样本，所述样本标签包括所述对话样本的领域、意图、槽位及槽值；所述语义识别结果包括与所述待识别对话对应的领域、意图、槽位及槽值。
本发明实施例提供了一种任务型对话的语义识别装置，该装置包括：
获取模块，用于获取用户的待识别对话和历史对话；
分字分词模块，用于将所述待识别对话和所述历史对话分别进行分字或分词；
确定模块，用于将所述待识别对话的分字或分词结果和所述历史对话的分字或分词结果输入到语义理解模型，得到与所述待识别对话对应的语义识别结果；所述语义理解模型是根据对话样本以及与所述对话样本对应的样本标签训练得到的，所述对话样本包括待识别对话样本和历史对话样本，所述样本标签包括所述对话样本的领域、意图、槽位及槽值；所述语义识别结果包括与所述待识别对话对应的领域、意图、槽位及槽值。
一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任务型对话的语义识别方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任务型对话的语义识别方法。
本发明提供的一种任务型对话的语义识别方法、装置、电子设备及存储介质，首先获取用户的待识别对话和历史对话，然后将待识别对话和历史对话分别进行分字或分词，之后将待识别对话的分字或分词结果和历史对话的分字或分词结果输入到语义理解模型，得到待识别对话对应的领域、意图、槽位及槽值。与目前语义理解模型研发多集中在单个领域相比，本发明中的语义理解模型是根据对话样本以及与其对应的样本标签训练得到的，由于对话样本包括待识别对话样本和历史对话样本，所述样本标签包括对话样本的领域、意图、槽位及槽值，因此通过本发明中的语义理解模型可以结合用户的待识别对话和历史对话识别出与所述待识别对话对应的领域、意图、槽位及槽值(也即语义识别结果)，从而通过本发明可以提高多领域任务型对话的语义识别准确度，降低研发成本。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中任务型对话的语义识别方法的一流程图；
图2是本发明一实施例中语义理解模型训练流程图；
图3是本发明一实施例中确定字或词的语义表达及字或词与其他字或词相关关系的流程图；
图4是本发明一实施例中语义理解模型训练的另一流程图；
图5是本发明一实施例中任务型对话的语义识别装置的一原理框图；
图6是本发明一实施例中电子设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在一实施例中，如图1所示，提供一种任务型对话的语义识别方法，包括如下步骤：
S01，获取用户的待识别对话和历史对话。
其中，用户的待识别对话是当前需要进行分析识别的对话，即用户对话中需要进行语义分析的最后一条对话，历史对话是发生在待识别对话之前的对话。具体地，可以将用户通过智能设备进行智能对话的过程中，当前时间所获取的时间排序最后的一条对话作为待识别对话，而将对话过程中，时间排序在待识别对话之前的对话作为历史对话。例如，用户通过智能设备进行智能对话，包括对话句子A、B、C、D；其中，对话句子D为最后一条对话，则将对话句子D作为待识别对话，对话句子A、B和C则作为历史对话。此外，可以理解的是，待识别对话为用户输入的对话；历史对话可包括用户之前输入的对话，以及之前智能设备对应于用户之前输入的对话进行回答的对话。
S02，将待识别对话和历史对话分别进行分字或分词。
在本发明实施例中，如待识别对话和历史对话是英文，则可以对待识别对话和历史对话进行分词，即根据英文中的空格进行分词；如待识别对话和历史对话是中文，则可以对待识别对话和历史进行分字，本发明实施例不做具体限定。
S03，将待识别对话的分字或分词结果和历史对话的分字或分词结果输入到语义理解模型，得到与所述待识别对话对应的语义识别结果。
其中，所述语义理解模型是根据对话样本以及与所述对话样本对应的样本标签训练得到的，所述对话样本包括待识别对话样本和历史对话样本，所述样本标签包括所述对话样本的领域、意图、槽位及槽值；所述语义识别结果包括与所述待识别对话对应的领域、意图、槽位及槽值。
语义理解模型是根据大量的对话样本和与每一个对话样本分别对应的样本标签(样本标签包括所述对话样本的领域、意图、槽位及槽值)训练得到的，每个对话样本中都包含待识别对话样本和历史对话样本，待识别对话样本是对话样本中最后一条需要语义识别的对话，历史对话样本是对话样本中发生在待识别对话样本之前的对话。
例如，对话样本中包含有多句对话，相应的，多句对话中时间序列在最后的一句对话(也即一个句子)即为待识别对话样本，多句对话中时间序列位于待识别对话样本之前的对话(也即一个句子)则为历史对话样本；可以理解的是，待识别对话样本和历史对话样本的定义对应于上述待识别对话和历史对话；具体地，可以将用户通过智能设备进行智能对话的过程中获取的多句对话作为一个对话样本，且对话样本中的时间排序最后的一句对话作为待识别对话样本，而将对话样本中时间排序在待识别对话之前的每一句对话均作为一个历史对话样本。例如，用户通过智能设备进行智能对话，包括对话句子E、F、G；其中，对话句子G为最后一条对话，则将对话句子G作为待识别对话样本，对话句子E和F则分别作为两个历史对话样本。可以理解的是，待识别对话样本仅为用户输入的对话，而历史对话样本可包括用户之前输入的对话，以及之前智能设备对应于用户之前输入的对话进行回答的对话。
需要说明的是，在对待识别对话和历史对话进行分字或是分词之后，将分字或分词的结果进行向量化，然后将向量化的分字或分词结果输入到语义理解模型，得到待识别对话对应的领域、意图、槽位及槽值。其中，领域是指待识别对话所属的领域，如天气智能咨询领域或交通票务领域，意图是用户想要做的事情，如询问天气、订票等。需要强调的是，为进一步保证上述语义理解模型的私密性和安全性，上述语义理解模型还可以存储于一区块链的节点中。
例如，待识别对话为：“今天深圳的天气怎么样？”，此时用户所表达的是查询天气，即可以认为待识别对话的领域为天气智能咨询领域；查询天气就是一种意图，那具体查询哪里的天气，哪一天的天气就是本发明实施例中所指的槽位，具体的(地点＝深圳，日期＝今天)，即本发明实施例中的槽位为“地点”和“日期”；槽值为“深圳”和“今天”。
又例如：在多轮对话“订明天上海去北京的火车票。早上8点的？是的。”中，可以认为待识别对话的领域为交通票务领域；其中，意图为“订火车票”，槽位为“订票时间”、“出发地点”和“抵达地点”；对应的槽值顺次为：明天早上8点、上海、北京。
在本发明实施例中，所述语义理解模型是根据对话样本和与所述对话样本的样本标签对应的标签特征对应的样本标签进行机器学习训练得到的，所述对话样本包括待识别对话样本和历史对话样本，所述样本标签包括领域、意图、槽位及槽值；所述标签特征包括与所述待识别对话样本关联且与所述样本标签对应的第一标签特征，以及与所述历史对话样本关联且与所述样本标签对应的第二标签特征。通过训练得到的语义理解模型可对用户的语义意图进行识别，具体的将用户的待识别对话和历史对话进行分词或分字后，将分词或分词对应的向量输入到语义理解模型，便可以得到待识别对话的领域、意图、槽位及槽值。由于本发明实施例中的语义理解模型根据与多个领域分别对应的对话样本(每一个对话样本中包括待识别对话样本和历史对话样本；与对话样本对应的样本标签中的“领域”可以表明该对话样本所对应的不同领域)和与该对话样本对应的样本标签深度学习训练得到的，如此，本发明中的语义理解模型可以根据待识别对话中的上下文进行分析确定对应的语义意图，因此本发明仅通过训练完成的一个语义理解模型，即可以识别属于不同领域的待识别对话，并获取与该待识别对话对应的语义识别结果(包括与所述待识别对话对应的领域、意图、槽位及槽值)，进而满足不同领域的用户诉求，不需要对单个领域进行语义理解模型的研发，降低了研发成本，提高了多领域任务型对话语义识别的准确度。
在本发明提供的一个实施例中，如图2所示，语义理解模型可通过下述方式训练得到：
S10，获取所述对话样本中的每一个句子中包含的字或词的语义表达，及所述字或词与其所在句子内的其他字或词的相关关系。
其中，所述对话样本中时间序列在最后的句子为所述待识别对话样本，所述对话样本中时间序列在所述待识别对话样本之前的句子为所述历史对话样本。
在本发明实施例中，对于对话样本中的所述待识别对话样本和历史对话样本的处理方式相同。首先需要对对话样本中的每一个句子进行分词或分字，然后确定对话样本每一句中的字或词的语义表达，以及该字或词与所在句子内其他字或词的相关关系，比如，如待识别对话样本和历史对话样本是中文，则可以对待识别对话样本和历史对话样本进行分字，此时，可以获取句子中字与字的相关关系；又或者，待识别对话样本和历史对话样本是英文，则可以对待识别对话样本和历史对话样本进行分词，即根据英文中的空格进行分词；之后可以获取句子中词与词的相关关系。可理解地，上述分字与分词并不限定于为上述具体实例中所述，而是可以根据需求设定，比如，历史对话样本为中文，待识别对话样本为英语，亦可以对两者均进行分词处理，此时获取句子中词与词的相关关系；本发明亦可包括其他分字/词的方式，在此不再赘述。具体的，本发明可以利用Bert和Char-CNN分别对待识别对话样本和历史对话样本进行词/字级别的编码，并利用BiLSTM(双向LSTM)进一步编码句子内部的语义关系。
具体的，如图3所示，步骤S10获取对话样本的句子包含的中字或词的语义表达及所述字或词与所在句子内其他字或词的相关关系，包括：
S101，对所述对话样本进行分字或分词，并确定每个字或词对应的向量。
例如，对话样本为“订车票”，则首先对该对话进行分字得到“订”、“车”、“票”，然后确定每个字分别对应的向量：“订”＝(0,0,1),“车”＝(0,1,0)，“票”＝(1,0,0)。
S102，根据字或词的向量对字或词进行注意力编码。
其中，所述注意力编码结果中包含字或词与所在句子中其他字或词的相关关系。在本发明实施例中，利用Bert和Char-CNN分别对待识别对话样本和历史对话样本进行词/字级别的编码，并利用BiLSTM(双向LSTM)进一步编码句子内部的语义关系。
S103，根据字或词的注意力编码结果确定对话样本的句子中包含的字或词的语义表达及字或词与所在句子内其他字或词的相关关系。
例如，经过注意力编码后“订”的向量表达(0.5，0.3，0.1)＝函数(“订”＝(0,0,1),“订”＝(0,0,1),“车”＝(0,1,0)，“票”＝(1,0,0))，即“订”的向量表达(0.5，0.3，0.1)中包含了字“订”分别与“订”字本身、“车”字、“票”字的相关关系，具体的，向量表达(0.5，0.3，0.1)的0.5代表“订”字与“订”字本身的相关关系、0.3代表“订”字与“车”字的相关关系、0.1代表“订”字与“票”字的相关关系。
S20，根据句子中包含的字或词的语义表达，及字或词与所在句子内其他字或词的相关关系，确定每一个所述句子的语义表达及该句子与所述句子内字或词的相关关系。
在本发明实施例中，在对字或词的向量进行注意力编码之后，根据注意力编码确定句子中包含的字或词的语义表达，及字或词与所在句子内其他字或词的相关关系之后，再根据上述字的或词的语义表达，即句子中字或词的相关关系确定句子的语义表达，以及句子与该句子内字或词的相关关系。
例如，存在句子为“订车票”，对于“订车票”的句子的语义表达可以为：订车票＝函数(新“订”，新“车”，新“票”)。其中，句子中的新“订”代表字“订”与句子“订车票”的相关关系；句子中的新“车”代表字“车”与句子“订车票”的相关关系；句子中的新“票”代表字“票”与句子“订车票”的相关关系。具体的：“订”的向量表达(0.5，0.3，0.1)＝函数(“订”＝(0,0,1),“订”＝(0,0,1),“车”＝(0,1,0)，“票”＝(1,0,0))，即“订”的向量表达(0.5，0.3，0.1)中包含了字“订”分别与字“订”、“车”、“票”的相关关系。
S30，通过对话样本的各句子中包含的字或词的语义表达、字或词与所在句子内其他字或词的相关关系、各句子的语义表达、各句子与句子内字或词的相关关系，及与对话样本对应的样本标签进行训练得到所述语义理解模型。
在本发明实施例中，根据对话样本中句子的语义表达、句子中字或词的语义表达、字或词与所在句子内其他字或词的相关关系、以及句子与句子内字或词的相关关系，和与所述对话样本对应的样本标签进行训练得到语义理解模型。通过该模型对用户输入的待识别对话和历史对话进行分析，得到待识别对话对应的领域、意图、槽位及槽值，从而实现对待识别对话的语义分析。
具体的，如图4所示，步骤S30包括：
S301，根据各句子的语义表达、各句子与句子内字或词的相关关系、对话样本的各句子中字或词的语义表达，及字或词与所在句子内其他字或词的相关关系，确定对话样本的槽位特征及槽值特征。
其中，对话样本的槽位特征及槽值特征的表现形式具体可以为向量。在获取到各所述句子的语义表达、各所述句子与所述句子内字或词的相关关系、所述对话样本的各所述句子中字或词的语义表达，及所述字或词与所在句子内其他字或词的相关关系之后，将各所述句子的语义表达、各所述句子与所述句子内字或词的相关关系、所述对话样本的各所述句子中字或词的语义表达，及所述字或词与所在句子内其他字或词的相关关系分别转换成对应的向量，然后根据转换成的向量进行融合计算，最终得到对话样本的槽位特征及槽值特征，即得到槽位特征对应的向量及槽值特征对应的向量。
S302，根据对话样本中各句子的语义表达确定所述对话样本的领域特征和意图特征。
同样，对话样本的领域特征和意图特征的表现形式具体可以为向量。本实施例中，根据对话样本中各句子的语义表达对应的向量，确定领域特征和意图特征。
S303，通过领域特征、意图特征、槽位特征及槽值特征，及对应的领域、意图、槽位及槽值进行训练得到语义理解模型。
在本发明提供的一个实施例中，为了挖掘句子中更深层次的关系，准确的表达语义关系和相关关系，在根据所述字或词的注意力编码结果确定对话样本的句子包含的中字或词的语义表达及所述字或词与所在句子内其他字或词的相关关系之前，所述方法还包括：对所述句子中的所述字或者词的注意力编码进行多次注意力编码；相应的，所述根据所述字或词的注意力编码确定所述对话样本的句子中包含的字或词的语义表达及字或词与所在句子内其他字或词的相关关系，包括：根据多次字或词的注意力编码结果确定所述对话样本的句子中包含的字或词的语义表达及所述字或词与所在句子内其他字或词的相关关系。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种任务型对话的语义识别装置，该任务型对话的语义识别装置与上述实施例中任务型对话的语义识别方法一一对应。如图5所示，该任务型对话的语义识别装置包括：获取模块10、分字分词模块20和确定模块30。各功能模块详细说明如下：
获取模块10，用于获取用户的待识别对话和历史对话；
分字分词模块20，用于将所述待识别对话和所述历史对话分别进行分字或分词；
确定模块30，用于将所述待识别对话的分字或分词结果和所述历史对话的分字或分词结果输入到语义理解模型，得到与所述待识别对话对应的语义识别结果；所述语义理解模型是根据对话样本以及与所述对话样本对应的样本标签训练得到的，所述对话样本包括待识别对话样本和历史对话样本，所述样本标签包括所述对话样本的领域、意图、槽位及槽值；所述语义识别结果包括与所述待识别对话对应的领域、意图、槽位及槽值。
需要强调的是，为进一步保证上述语义理解模型的私密和安全性，上述语义理解模型还可以存储于一区块链的节点中。进一步的，所述装置还包括：
所述获取模块10，还用于获取所述对话样本中的每一个句子中包含的字或词的语义表达，及所述字或词与其所在句子内的其他字或词的相关关系；所述对话样本中时间序列在最后的句子为所述待识别对话样本，所述对话样本中时间序列在所述待识别对话样本之前的句子为所述历史对话样本；
所述确定模块30，还用于根据所述句子中包含的字或词的语义表达，及所述字或词与所在句子内其他字或词的相关关系，确定每一个所述句子的语义表达及该句子与所述句子内字或词的相关关系；
训练模块40，用于通过所述对话样本的各所述句子中包含的字或词的语义表达、所述字或词与所在句子内其他字或词的相关关系、各所述句子的语义表达、各所述句子与所述句子内字或词的相关关系，及与所述对话样本对应的样本标签进行训练得到所述语义理解模型。
具体的，所述训练模块40，包括：
确定单元41，用于根据各所述句子的语义表达、各所述句子与所述句子内字或词的相关关系、所述对话样本的各所述句子中字或词的语义表达，及所述字或词与所在句子内其他字或词的相关关系，确定所述对话样本的槽位特征及槽值特征；
所述确定单元41，还用于根据所述对话样本中各句子的语义表达确定所述对话样本的领域特征、意图特征；
训练单元42，用于通过所述领域特征、意图特征、槽位特征及槽值特征，及对应的领域、意图、槽位及槽值进行训练得到所述语义理解模型。
具体的，所述获取模块10，包括：
分词分字单元11，用于对所述对话样本进行分字或分词，并确定每个字或词对应的向量；
注意力编码单元12，用于根据所述字或词的向量对所述字或词进行注意力编码，所述注意力编码结果中包含当前字与所在句子中其他字的相关关系；
确定单元13，用于根据所述字或词的注意力编码结果确定所述对话样本的句子中包含的字或词的语义表达及所述字或词与所在句子内其他字或词的相关关系。
进一步的，所述注意力编码单元12，还用于对所述句子中的所述字或者词的注意力编码进行多次注意力编码；
所述确定单元13，还用于根据字或词的注意力编码结果确定所述对话样本的句子中包含的字或词的语义表达及所述字或词与所在句子内其他字或词的相关关系。
关于任务型对话的语义识别装置的具体限定可以参见上文中对于任务型对话的语义识别方法的限定，在此不再赘述。上述任务型对话的语义识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图6所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的数据库用于存储多条历史测试数据，每条历史测试数据对应有测试问题记录。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种任务型对话的语义识别方法。
在一个实施例中，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取用户的待识别对话和历史对话；
将所述待识别对话和所述历史对话分别进行分字或分词；
将所述待识别对话的分字或分词结果和所述历史对话的分字或分词结果输入到语义理解模型，得到与所述待识别对话对应的语义识别结果；所述语义理解模型是根据对话样本以及与所述对话样本对应的样本标签训练得到的，所述对话样本包括待识别对话样本和历史对话样本，所述样本标签包括所述对话样本的领域、意图、槽位及槽值；所述语义识别结果包括与所述待识别对话对应的领域、意图、槽位及槽值。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取用户的待识别对话和历史对话；
将所述待识别对话和所述历史对话分别进行分字或分词；
将所述待识别对话的分字或分词结果和所述历史对话的分字或分词结果输入到语义理解模型，得到与所述待识别对话对应的语义识别结果；所述语义理解模型是根据对话样本以及与所述对话样本对应的样本标签训练得到的，所述对话样本包括待识别对话样本和历史对话样本，所述样本标签包括所述对话样本的领域、意图、槽位及槽值；所述语义识别结果包括与所述待识别对话对应的领域、意图、槽位及槽值。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种任务型对话的语义识别方法，其特征在于，所述方法包括：
获取用户的待识别对话和历史对话；
将所述待识别对话和所述历史对话分别进行分字或分词；
将所述待识别对话的分字或分词结果和所述历史对话的分字或分词结果输入到语义理解模型，得到与所述待识别对话对应的语义识别结果；所述语义理解模型是根据对话样本以及与所述对话样本对应的样本标签训练得到的，所述对话样本包括待识别对话样本和历史对话样本，所述样本标签包括所述对话样本的领域、意图、槽位及槽值；所述语义识别结果包括与所述待识别对话对应的领域、意图、槽位及槽值。
2.根据权利要求1所述的任务型对话的语义识别方法，其特征在于，所述语义理解模型通过下述方式训练得到：
获取所述对话样本中的每一个句子中包含的字或词的语义表达，及所述字或词与其所在句子内的其他字或词的相关关系；所述对话样本中时间序列在最后的句子为所述待识别对话样本，所述对话样本中时间序列在所述待识别对话样本之前的句子为所述历史对话样本；
根据所述句子中包含的字或词的语义表达，及所述字或词与所在句子内其他字或词的相关关系，确定每一个所述句子的语义表达及该句子与所述句子内字或词的相关关系；
通过所述对话样本的各所述句子中包含的字或词的语义表达、所述字或词与所在句子内其他字或词的相关关系、各所述句子的语义表达、各所述句子与所述句子内字或词的相关关系，及与所述对话样本对应的样本标签进行训练得到所述语义理解模型。
3.根据权利要求2所述的任务型对话的语义识别方法，其特征在于，通过所述对话样本的各所述句子中包含的字或词的语义表达、所述字或词与所在句子内其他字或词的相关关系、各所述句子的语义表达、各所述句子与所述句子内字或词的相关关系，及所述与所述对话样本对应的样本标签进行训练得到所述语义理解模型，包括：
根据各所述句子的语义表达、各所述句子与所述句子内字或词的相关关系、所述对话样本的各所述句子中字或词的语义表达，及所述字或词与所在句子内其他字或词的相关关系，确定所述对话样本的槽位特征及槽值特征；
根据所述对话样本中各句子的语义表达确定所述对话样本的领域特征、意图特征；
通过所述领域特征、意图特征、槽位特征及槽值特征，及对应的领域、意图、槽位及槽值进行训练得到所述语义理解模型。
4.根据权利要求2所述的任务型对话的语义识别方法，其特征在于，获取所述对话样本中的每一个句子中包含的字或词的语义表达，及所述字或词与其所在句子内的其他字或词的相关关系，包括：
对所述对话样本进行分字或分词，并确定每个字或词对应的向量；
根据所述字或词的向量对所述字或词进行注意力编码，所述注意力编码结果中包含所述字或词与所在句子中其他字或词的相关关系；
根据所述字或词的注意力编码结果确定所述对话样本的句子中包含的字或词的语义表达及所述字或词与所在句子内其他字或词的相关关系。
5.根据权利要求4所述的任务型对话的语义识别方法，其特征在于，所述根据所述字或词的注意力编码结果确定所述对话样本的句子中包含的字或词的语义表达及所述字或词与所在句子内其他字或词的相关关系之前，所述方法还包括：
对所述句子中的所述字或者词的注意力编码进行多次注意力编码；
相应的，所述根据所述字或词的注意力编码确定所述对话样本的句子中包含的字或词的语义表达及所述字或词与所在句子内其他字或词的相关关系，包括：
根据多次字或词的注意力编码结果确定所述对话样本的句子中包含的字或词的语义表达及所述字或词与所在句子内其他字或词的相关关系。
6.一种任务型对话的语义识别装置，其特征在于，所述装置包括：
获取模块，用于获取用户的待识别对话和历史对话；
分字分词模块，用于将所述待识别对话和所述历史对话分别进行分字或分词；
确定模块，用于将所述待识别对话的分字或分词结果和所述历史对话的分字或分词结果输入到语义理解模型，得到与所述待识别对话对应的语义识别结果；所述语义理解模型是根据对话样本以及与所述对话样本对应的样本标签训练得到的，所述对话样本包括待识别对话样本和历史对话样本，所述样本标签包括所述对话样本的领域、意图、槽位及槽值；所述语义识别结果包括与所述待识别对话对应的领域、意图、槽位及槽值。
7.根据权利要求1所述的任务型对话的语义识别装置，其特征在于，所述装置还包括：
所述获取模块，还用于获取所述对话样本中的每一个句子中包含的字或词的语义表达，及所述字或词与其所在句子内的其他字或词的相关关系；所述对话样本中时间序列在最后的句子为所述待识别对话样本，所述对话样本中时间序列在所述待识别对话样本之前的句子为所述历史对话样本；
所述确定模块，还用于根据所述句子中包含的字或词的语义表达，及所述字或词与所在句子内其他字或词的相关关系，确定每一个所述句子的语义表达及所述该句子与所述句子内字或词的相关关系；
训练模块，用于通过所述对话样本的各所述句子中包含的字或词的语义表达、所述字或词与所在句子内其他字或词的相关关系、各所述句子的语义表达、各所述句子与所述句子内字或词的相关关系，及与所述对话样本关联的所述与所述对话样本对应的样本标签进行训练得到所述语义理解模型。
8.根据权利要求7所述的任务型对话的语义识别装置，其特征在于，所述训练模块，包括：
确定单元，用于根据各所述句子的语义表达、各所述句子与所述句子内字或词的相关关系、所述对话样本的各所述句子中字或词的语义表达，及所述字或词与所在句子内其他字或词的相关关系，确定所述对话样本的槽位特征及槽值特征；
所述确定单元，还用于根据所述对话样本中各句子的语义表达确定所述对话样本的领域特征、意图特征；
训练单元，用于通过所述领域特征、意图特征、槽位特征及槽值特征，及对应的领域、意图、槽位及槽值进行训练得到所述语义理解模型。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述任务型对话的语义识别方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述任务型对话的语义识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010921697.1A CN112069300A (zh) | 2020-09-04 | 2020-09-04 | 任务型对话的语义识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010921697.1A CN112069300A (zh) | 2020-09-04 | 2020-09-04 | 任务型对话的语义识别方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112069300A true CN112069300A (zh) | 2020-12-11 |
Family
ID=73665896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010921697.1A Pending CN112069300A (zh) | 2020-09-04 | 2020-09-04 | 任务型对话的语义识别方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112069300A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112632961A (zh) * | 2021-03-04 | 2021-04-09 | 支付宝(杭州)信息技术有限公司 | 基于上下文推理的自然语言理解处理方法、装置以及设备 |
| CN113420542A (zh) * | 2021-06-23 | 2021-09-21 | 平安科技（深圳）有限公司 | 对话生成方法、装置、电子设备及存储介质 |
| CN113657110A (zh) * | 2021-08-10 | 2021-11-16 | 阿波罗智联(北京)科技有限公司 | 信息处理方法、装置和电子设备 |
| CN113821620A (zh) * | 2021-09-18 | 2021-12-21 | 湖北亿咖通科技有限公司 | 多轮对话任务处理方法、装置及电子设备 |
| WO2022141864A1 (zh) * | 2020-12-31 | 2022-07-07 | 平安科技（深圳）有限公司 | 对话意图识别模型训练方法、装置、计算机设备及介质 |
| CN115617972A (zh) * | 2022-12-14 | 2023-01-17 | 成都明途科技有限公司 | 一种机器人对话方法、装置、电子设备及存储介质 |
| CN116956289A (zh) * | 2023-07-21 | 2023-10-27 | 上海则一供应链管理有限公司 | 动态调整潜在黑名单和黑名单的方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106777013A (zh) * | 2016-12-07 | 2017-05-31 | 科大讯飞股份有限公司 | 对话管理方法和装置 |
| US20190228070A1 (en) * | 2016-09-30 | 2019-07-25 | Huawei Technologies Co., Ltd. | Deep learning based dialog method, apparatus, and device |
| CN110413752A (zh) * | 2019-07-22 | 2019-11-05 | 中国科学院自动化研究所 | 基于对话逻辑的多轮口语理解方法、系统、装置 |
| CN110704588A (zh) * | 2019-09-04 | 2020-01-17 | 平安科技（深圳）有限公司 | 基于长短期记忆网络的多轮对话语义分析方法和系统 |
| CN111104498A (zh) * | 2019-12-12 | 2020-05-05 | 华南理工大学 | 一种任务型对话系统中的语义理解方法 |
| CN111339278A (zh) * | 2020-02-28 | 2020-06-26 | 支付宝(杭州)信息技术有限公司 | 训练话术生成模型、生成应答话术的方法和装置 |
| CN111611347A (zh) * | 2020-05-22 | 2020-09-01 | 上海乐言信息科技有限公司 | 任务型对话系统的对话状态跟踪、训练方法及系统 |
-
2020
- 2020-09-04 CN CN202010921697.1A patent/CN112069300A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190228070A1 (en) * | 2016-09-30 | 2019-07-25 | Huawei Technologies Co., Ltd. | Deep learning based dialog method, apparatus, and device |
| CN106777013A (zh) * | 2016-12-07 | 2017-05-31 | 科大讯飞股份有限公司 | 对话管理方法和装置 |
| CN110413752A (zh) * | 2019-07-22 | 2019-11-05 | 中国科学院自动化研究所 | 基于对话逻辑的多轮口语理解方法、系统、装置 |
| CN110704588A (zh) * | 2019-09-04 | 2020-01-17 | 平安科技（深圳）有限公司 | 基于长短期记忆网络的多轮对话语义分析方法和系统 |
| CN111104498A (zh) * | 2019-12-12 | 2020-05-05 | 华南理工大学 | 一种任务型对话系统中的语义理解方法 |
| CN111339278A (zh) * | 2020-02-28 | 2020-06-26 | 支付宝(杭州)信息技术有限公司 | 训练话术生成模型、生成应答话术的方法和装置 |
| CN111611347A (zh) * | 2020-05-22 | 2020-09-01 | 上海乐言信息科技有限公司 | 任务型对话系统的对话状态跟踪、训练方法及系统 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022141864A1 (zh) * | 2020-12-31 | 2022-07-07 | 平安科技（深圳）有限公司 | 对话意图识别模型训练方法、装置、计算机设备及介质 |
| CN112632961A (zh) * | 2021-03-04 | 2021-04-09 | 支付宝(杭州)信息技术有限公司 | 基于上下文推理的自然语言理解处理方法、装置以及设备 |
| CN112632961B (zh) * | 2021-03-04 | 2021-06-18 | 支付宝(杭州)信息技术有限公司 | 基于上下文推理的自然语言理解处理方法、装置以及设备 |
| CN113420542A (zh) * | 2021-06-23 | 2021-09-21 | 平安科技（深圳）有限公司 | 对话生成方法、装置、电子设备及存储介质 |
| CN113657110A (zh) * | 2021-08-10 | 2021-11-16 | 阿波罗智联(北京)科技有限公司 | 信息处理方法、装置和电子设备 |
| CN113821620A (zh) * | 2021-09-18 | 2021-12-21 | 湖北亿咖通科技有限公司 | 多轮对话任务处理方法、装置及电子设备 |
| CN113821620B (zh) * | 2021-09-18 | 2023-12-12 | 亿咖通(湖北)技术有限公司 | 多轮对话任务处理方法、装置及电子设备 |
| CN115617972A (zh) * | 2022-12-14 | 2023-01-17 | 成都明途科技有限公司 | 一种机器人对话方法、装置、电子设备及存储介质 |
| CN116956289A (zh) * | 2023-07-21 | 2023-10-27 | 上海则一供应链管理有限公司 | 动态调整潜在黑名单和黑名单的方法 |
| CN116956289B (zh) * | 2023-07-21 | 2024-04-09 | 上海则一供应链管理有限公司 | 动态调整潜在黑名单和黑名单的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112069300A (zh) | 任务型对话的语义识别方法、装置、电子设备及存储介质 | |
| CN111613212B (zh) | 语音识别方法、系统、电子设备和存储介质 | |
| CN112100349A (zh) | 一种多轮对话方法、装置、电子设备及存储介质 | |
| CN108710704B (zh) | 对话状态的确定方法、装置、电子设备及存储介质 | |
| CN112328761B (zh) | 一种意图标签设置方法、装置、计算机设备及存储介质 | |
| CN110990547B (zh) | 一种话术生成方法和系统 | |
| CN112287095A (zh) | 确定问题答案的方法、装置、计算机设备及存储介质 | |
| CN113343677B (zh) | 一种意图识别方法、装置、电子设备及存储介质 | |
| CN112084752A (zh) | 基于自然语言的语句标注方法、装置、设备及存储介质 | |
| CN111400471A (zh) | 问题推荐方法、系统、电子设备和存储介质 | |
| CN111738018A (zh) | 一种意图理解方法、装置、设备及存储介质 | |
| CN114220461A (zh) | 客服话术的引导方法、装置、设备及存储介质 | |
| CN115083413A (zh) | 语音交互方法、服务器和存储介质 | |
| CN111737990A (zh) | 一种词槽填充方法、装置、设备及存储介质 | |
| CN113299294B (zh) | 任务型对话机器人交互方法、装置、设备及存储介质 | |
| CN113591463B (zh) | 意图识别方法、装置、电子设备及存储介质 | |
| CN114020886A (zh) | 语音意图识别方法、装置、设备及存储介质 | |
| CN113434631A (zh) | 基于事件的情感分析方法、装置、计算机设备及存储介质 | |
| Parmentier et al. | Learning to solve the single machine scheduling problem with release times and sum of completion times | |
| CN111680514B (zh) | 信息处理和模型训练方法、装置、设备及存储介质 | |
| CN111783425A (zh) | 基于句法分析模型的意图识别方法及相关装置 | |
| CN115099359A (zh) | 基于人工智能的地址识别方法、装置、设备及存储介质 | |
| CN116108918A (zh) | 对话预训练模型的训练方法及相关装置 | |
| CN115062629A (zh) | 会话信息的识别方法及装置、存储介质、计算机设备 | |
| CN114116975A (zh) | 一种多意图识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |