CN117131182A - 一种基于ai的对话回复生成方法及系统 - Google Patents
一种基于ai的对话回复生成方法及系统 Download PDFInfo
- Publication number
- CN117131182A CN117131182A CN202311395495.8A CN202311395495A CN117131182A CN 117131182 A CN117131182 A CN 117131182A CN 202311395495 A CN202311395495 A CN 202311395495A CN 117131182 A CN117131182 A CN 117131182A
- Authority
- CN
- China
- Prior art keywords
- dialogue
- reply
- word
- emotion
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000008451 emotion Effects 0.000 claims abstract description 110
- 239000013598 vector Substances 0.000 claims abstract description 40
- 230000008909 emotion recognition Effects 0.000 claims abstract description 24
- 238000013507 mapping Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 230000007246 mechanism Effects 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 7
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Probability & Statistics with Applications (AREA)
- Machine Translation (AREA)
Abstract
本发明提供一种基于AI的对话回复生成方法及系统,方法包括接收用户发出的对话内容,将预处理对话内容生成对话任务;构建情感识别模型,并得到对话任务的情感标签;统计历史对话内容中相邻字的频率,并提取特征词句;将每个单词映射为词向量,词句序列,并计算每个单词的隐藏状态;构建对话回复模型,并优化对话回复模型;评估优化对话回复模型,并计算出匹配度,若匹配度符合预设匹配度,则得到评估后的优化对话回复模型;基于评估后的优化对话回复模型对情感标签进行识别匹配,以生成与对话内容的匹配的回复对话。本发明能够输出具有情感匹配且匹配度高的对话内容,提升对话回复的准确度,并能输出带有一定情感的回复对话。
Description
技术领域
本发明涉及人机对话技术领域,特别涉及一种基于AI的对话回复生成方法及系统。
背景技术
近年来伴随着互联网的普及以及社交媒体的增多,用户数据随之剧增,这为人工智能的研究与发展提供了坚定基础。随着人工智能的发展,人机对话系统应用范围更加的广泛。
人机对话系统的目的是让计算机能够模拟人类并与人类自然地交流,现已有大量对话系统广泛应用于金融服务行业、电子商务、银行服务等场景,对话系统的应用与发展使人们生活变得更加便利快捷。随着市场需求的逐渐扩大,对话系统产品功能在不断地增加。
现有技术当中,人机对话的过程中,都是一问一答式的对话过程,不仅过程非常枯燥,而且由于无法针对对话过程中的情感进行扩充,还会导致对话回复过程不够准确。
发明内容
基于此,本发明的目的是提供一种基于AI的对话回复生成方法及系统,以至少解决上述现有技术当中的不足。
一方面本发明提供一种基于AI的对话回复生成方法,所述方法包括:
接收用户发出的对话内容,对所述对话内容进行预处理,得到预处理对话内容,并将所述预处理对话内容生成对话任务;
构建情感识别模型,基于所述情感识别模型对所述对话任务进行识别,得到所述对话任务对应的情感标签;
获取历史对话内容,统计所述历史对话内容中相邻字,并计算所述相邻字的频率,以提取所述历史对话内容中的特征词句;
将所述特征词句中的每个单词映射为词向量,以得到所述特征词句的词句序列,并基于所述词句序列计算所述每个单词的隐藏状态;
构建对话回复模型,并使得所述对话回复模型基于所述隐藏状态进行训练,得到优化对话回复模型;
将预选对话文本输入至所述优化对话回复模型中,以使所述优化对话回复模型输出回复对话,基于n-gram计算所述回复对话与预设参考回复对话的相似性,并根据所述相似性以得到所述优化对话回复模型的输出内容的匹配度,若所述匹配度符合预设匹配度,则得到评估后的优化对话回复模型;
基于所述评估后的优化对话回复模型对所述情感标签进行识别匹配,以生成与所述对话内容的匹配的回复对话。
与现有技术相比,本发明的有益效果是:通过构建情感识别模型可以识别用户发出的对话内容的情感,并且历史对话内容相邻字的频率可以提取出历史对话内容的特征词句,并将特征词句中的每个词映射成词向量,得到词句序列,并得到每个单词的隐藏状态,通过隐藏状态对对话模型进行训练,提升优化对话回复模型输出的回复对话更为的准确,并且通过对优化对话回复模型进行评估,可以使得优化对话回复模型的对话回复能够更加精确,并且通过评估后的优化对话回复模型对情感标签进行识别匹配,使得输出的回复对话具有一定情感。
进一步的,所述对所述对话内容进行预处理,得到预处理对话内容的步骤包括:
提取所述对话内容中的摘要特征,所述摘要特征包括预设线索词、积极关键词词频以及句子位置;
提取所述对话内容中的元相关词并将其消除,并基于所述预设线索词、所述积极关键词词频以及所述句子位置生成有效对话信息。
进一步的,所述构建情感识别模型的步骤包括:
获取过往对话内容,并提取所述过往对话内容中的所有目标话语以及所有所述目标话语的上下文中的情感话语;
基于注意力网络机制将所有所述目标话语与所有所述情感话语进行相关性排序以及结合操作,得到权重语句特征;
结合所述权重语句特征进行Softmax分类得到所有所述目标话语的情感类型,并对所述情感类型进行分类,并得到所述过往对话内容中的所有语句对应的情感类型;
将所述所有语句对应的情感类型组合成标签序列,并基于所述标签序列构建所述情感识别模型。
进一步的,所述并计算所述相邻字的频率,以提取所述历史对话内容中的特征词句的步骤包括:
统计所述相邻字的组合频率,并计算所述历史对话内容中的词密信息;
将所述词密信息与预设阈值进行比对,若所述词密信息高于所述预设阈值,则得到所述历史对话内容中的所述特征词句。
进一步的,所述将所述特征词句中的每个单词映射为词向量,以得到所述特征词句的词句序列,并基于所述词句序列计算所述每个单词的隐藏状态的步骤包括:
基于词嵌入层将所述词向量转换为低维词,将所述低维词嵌入所述词句序列,得到词向量序列;
根据多头自注意力模型计算所述词向量序列,以得到所述每个单词的隐藏状态。
进一步的,所述构建对话回复模型的步骤包括:
基于LSTM提取所述历史对话内容中的句子级特征,并结合注意力机制聚合所述历史对话内容中的其它话语特征,以生成话语节点的上下文表示;
建立有若干个情感标签的情感字典,并将所述情感字典中的所述若干个情感标签均转换为情感特征向量;
将所述情感特征向量映射到高维空间,以得到情感节点初始化特征;
基于所述话语节点的上下文表示以及所述情感节点初始化特征构建对话回复模型。
进一步的,所述根据所述相似性以得到所述优化对话回复模型的输出内容的匹配度,所述匹配度的计算表达式为:
;
其中,Q表示所述匹配度,Pn表示所述回复对话中n 元词的精度,Wn表示所述n-gram的权重,PF代表惩罚因子,N表示所述回复对话中n元词的数量。
进一步的,所述若所述匹配度符合预设匹配度的步骤之前,所述方法还包括:
将所述匹配度与预设匹配度进行比对,若所述匹配度不符合所述预设匹配度;
执行使所述对话回复模型基于所述隐藏状态进行训练,得到优化对话回复模型,并评估所述优化对话回复模型,以计算出所述优化对话回复模型的输出内容的匹配度,直至所述匹配度符合所述预设匹配度。
另一方面本发明提供一种基于AI的对话回复生成系统,所述系统包括:
接收预处理模块,用于接收用户发出的对话内容,对所述对话内容进行预处理,得到预处理对话内容,并将所述预处理对话内容生成对话任务;
第一构建模块,用于构建情感识别模型,基于所述情感识别模型对所述对话任务进行识别,得到所述对话任务对应的情感标签;
获取计算模块,用于获取历史对话内容,统计所述历史对话内容中相邻字,并计算所述相邻字的频率,以提取所述历史对话内容中的特征词句;
映射模块,用于将所述特征词句中的每个单词映射为词向量,以得到所述特征词句的词句序列,并基于所述词句序列计算所述每个单词的隐藏状态;
第二构建模块,用于构建对话回复模型,并使得所述对话回复模型基于所述隐藏状态进行训练,得到优化对话回复模型;
评估模块,用于将预选对话文本输入至所述优化对话回复模型中,以使所述优化对话回复模型输出回复对话,基于n-gram计算所述回复对话与预设参考回复对话的相似性,并根据所述相似性以得到所述优化对话回复模型的输出内容的匹配度,若所述匹配度符合预设匹配度,则得到评估后的优化对话回复模型;
生成模块,用于基于所述评估后的优化对话回复模型对所述情感标签进行识别匹配,以生成与所述对话内容的匹配的回复对话。
附图说明
图1为本发明第一实施例中的基于AI的对话回复生成方法的流程图;
图2为本发明第二实施例中的基于AI的对话回复生成系统的结构框图。
主要元件符号说明:
10、接收预处理模块;20、第一构建模块;30、获取计算模块;40、映射模块;50、第二构建模块;60、评估模块;70、生成模块。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是,本发明可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是,当元件被称为“固设于”另一个元件,它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件,它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例一
请参阅图1,所示为本发明第一实施例中的基于AI的对话回复生成方法,所述方法包括步骤S1至步骤S7:
S1,接收用户发出的对话内容,对所述对话内容进行预处理,得到预处理对话内容,并将所述预处理对话内容生成对话任务;
具体的,所述步骤S1包括步骤S11至步骤S12:
S11,提取所述对话内容中的摘要特征,所述摘要特征包括预设线索词、积极关键词词频以及句子位置;
在具体实施时,通过抽取式摘要将对话内容中最能表达原文核心内容的词、短语以及句子提取出来,以得到对话内容的摘要特征,而摘要特征包括预设线索词、积极关键词词频以及句子位置,其中,预设线索词指地点名、物体名称等内容,例如电影名称、歌曲名称或地方名称等等,积极关键词词频指对话内容中经常出现的词语,句子位置则指的是其中出现的摘要特征在对话内容中所处的位置。
S12,提取所述对话内容中的元相关词并将其消除,并基于所述预设线索词、所述积极关键词词频以及所述句子位置生成有效对话信息;
在具体实施时,将对话内容中的元相关词提取出来,在本实施例中,元相关词指的是的、地、嗯等助词,然后将这些助词消除掉,使得对话内容中的预设线索词、所述积极关键词词频以及所述句子位置被保留,并基于预设线索词、所述积极关键词词频以及所述句子位置生成有效对话信息。
S2,构建情感识别模型,基于所述情感识别模型对所述对话任务进行识别,得到所述对话任务对应的情感标签;
在具体实施时,通过构建出来的情感识别模型对对话任务进行识别,也就是对对话任务中的预设线索词、所述积极关键词词频以及所述句子位置生成的有效对话信息进行识别,以得到对话任务对应的情感标签,从而可以得知用户发出的对话内容的情感标签,也就是能够得知用户发出的对话内容的情感。
具体的,所述步骤S2包括步骤S21至步骤S24:
S21,获取过往对话内容,并提取所述过往对话内容中的所有目标话语以及所有所述目标话语的上下文中的情感话语;
可以理解的是,通过过往对话内容,也就是之前的若干次的对话内容,然后基于注意力机制将若干次对话内容中的所有目标话语以及所有目标话语的上下文中的情感话语提取出来。
S22,基于注意力网络机制将所有所述目标话语与所有所述情感话语进行相关性排序以及结合操作,得到权重语句特征;
可以理解的是,由于目标话语和上下文中的情感话语的相关性并不一定相等,因此需要通过注意力网络机制对所有目标话语以及所有情感话语进行相关性排序以及结合操作,得到权重语句特征;
具体的,注意力网络机制的计算表达式为:
;
;
其中,Pt代表历史对话中t 时刻的语句对目标话语O 的打分,表示归一化操作后的打分,即重要性排序,/>表示每个目标话语和其权重分数之后的t时刻语句,/>是可学习参数,需要解释的是每一个目标话语对应一个/>,/>表示t时刻语句对目标语句O的影响权重系数,/>表示语句在t时刻的目标话语,/>表示在t时刻的目标话语的归一化操作后的打分。
S23,结合所述权重语句特征进行Softmax分类得到所有所述目标话语的情感类型,并对所述情感类型进行分类,并得到所述过往对话内容中的所有语句对应的情感类型;
值得说明的是,过往对话内容中的所有目标话语都能够一一对应情感标签。
S24,将所述所有语句对应的情感类型组合成标签序列,并基于所述标签序列构建所述情感识别模型;
需要解释的是,将所有语句一一对应的情感标签组合成标签序列,也就是每句语句以及对应的情感标签组合成标签序列,然后基于标签序列构建情感识别模型,使得情感识别模型中具有无数若干对话以及与对话对应的情感标签。
S3,获取历史对话内容,统计所述历史对话内容中相邻字,并计算所述相邻字的频率,以提取所述历史对话内容中的特征词句;
可以理解的是,在历史对话内容中,相邻的字同时出现的次数越多就越容易构成词,所以统计历史对话内容中相邻出现的概率或频率能够较好的反应成词的可信度,从而能够提取出历史对话内容中的特征词句。
具体的,所述步骤S3包括步骤S31至步骤S32:
S31,统计所述相邻字的组合频率,并计算所述历史对话内容中的词密信息;
在具体实施时,统计出历史对话内容中相邻字出现以及组合的频率,计算出历史对话内容中的词密信息,词密信息体现了字与字之间结合关系的紧密程度。
S32,将所述词密信息与预设阈值进行比对,若所述词密信息高于所述预设阈值,则得到所述历史对话内容中的所述特征词句;
可以理解的是,词密信息高于设置的一个预设阈值时,则可以认为此字组可能构成一个词,进而能够将历史对话内容中的特征词句提取出来。
S4,将所述特征词句中的每个单词映射为词向量,以得到所述特征词句的词句序列,并基于所述词句序列计算所述每个单词的隐藏状态;
具体的,所述步骤S4包括步骤S41至步骤S42:
S41,基于词嵌入层将所述词向量转换为低维词,将所述低维词嵌入所述词句序列,得到词向量序列;
在具体实施时,通过将历史对话内容中的特征词句中的每个单词映射成词向量,以第n个句子Un为例,,在本实施例中,可以通过嵌入层将特征词句中的每个单词映射成词向量,然后基于词嵌入层将词向量转换为低维词,将句子Un中的一系列单词转化为一系列低维词,并将一系列低维词嵌入至词句序列中,从而可以得到词向量序列;
在本实施例中,句子Un中的一系列单词可以表示为,一系列的低维词可以表示为/>,词向量序列可以表示为/>;
S42,根据多头自注意力模型计算所述词向量序列,以得到所述每个单词的隐藏状态;
在具体实施时,将表示为的词向量序列输入至多头自注意力模型中,可以计算得到隐藏状态/>,其中,句子Un中第i个词的隐藏状态/>通过连接设置的若干个单独的多头隐藏状态得到。需要解释的是,隐藏状态包括词意以及词的情感类型。
S5,构建对话回复模型,并使得所述对话回复模型基于所述隐藏状态进行训练,得到优化对话回复模型;
可以理解的是,将特征词句中的每个单词的隐藏状态输入至对话回复模型中进行训练,使得对话回复模型能够基于隐藏状态所包括的词意以及情感类型进行训练,进而能够得到优化对话回复模型。
具体的,所述步骤S5包括步骤S51至步骤S54:
S51,基于LSTM提取所述历史对话内容中的句子级特征,并结合注意力机制聚合所述历史对话内容中的其它话语特征,以生成话语节点的上下文表示;
在具体实施时,首先通过LSTM提取历史对话内容中的句子级特征,在本实施例中,LSTM为长短期记忆网络,并结合注意力机制聚合历史对话内容中的其它话语特征,从而生成历史对话内容中的所有话语节点的上下文表示。
S52,建立有若干个情感标签的情感字典,并将所述情感字典中的所述若干个情感标签均转换为情感特征向量;
需要解释的是,针对历史情感标签,为了学习每种情感所蕴含的更丰富的隐藏信息,建立有若干个情感标签的情感字典,在本实施例中,情感字典中具有7种不同的情感,分别为生气、厌恶、恐惧、喜悦、悲伤、惊讶以及中性,并将这7种情感标签转换为7种情感特征向量。
S53,将所述情感特征向量映射到高维空间,以得到情感节点初始化特征;
需要解释的是,将每个情感的情感特征向量映射到高维空间,使得情感特征向量被数字化,从而使得情感节点的初始化特征。
S54,基于所述话语节点的上下文表示以及所述情感节点初始化特征构建对话回复模型;
在具体实施时,通过情感节点初始化特征以及话语节点的上下文表示构建对话回复模型,使得对话回复模型能够根据上下文表示对需要回复的对话产生有效且准确的对话回复,而通过情感节点初始化能够对需要回复的对话产生具有匹配情感的对话回复。
S6,将预选对话文本输入至所述优化对话回复模型中,以使所述优化对话回复模型输出回复对话,基于n-gram计算所述回复对话与预设参考回复对话的相似性,并根据所述相似性以得到所述优化对话回复模型的输出内容的匹配度,若所述匹配度符合预设匹配度,则得到评估后的优化对话回复模型;
可以理解的是,通过对优化对话回复模型进行评估,以使得优化对话回复模型输出的对话内容达到预设匹配度,从而可以使得评估后的优化对话回复模型能够输出更加准确且更具有情感的对话回复。
在具体实施时,通过选用测试用的预选对话文本输入至优化对话回复模型中,并得到优化对话回复模型的生成的回复对话,在本实施例中,n-gram为语言模型,通过n-gram语言模型计算优化对话回复模型生成的回复对话与预设参考回复对话的相似性,并根据相似性计算出优化对话回复模型的输出内容的匹配度;
具体的,匹配度的计算表达式为:
;
其中,Q表示所述匹配度,Pn表示所述回复对话中n 元词的精度,Wn表示所述n-gram的权重,PF代表惩罚因子,N表示所述回复对话中n元词的数量。需要解释的是,当预选对话文本较短时,优化对话回复模型的输出内容可能匹配度较高,从而会影响评估的准确性,因此引入惩罚因子PF,惩罚因子的表达式为:
;
其中,r表示预选文本的长度,c表示候选结果长度,当c>r时,不进行惩罚,假设惩罚因子为1时,当c≤r时,则进行惩罚;
需要解释的是,通过设置惩罚因子,从而可以使得对优化对话回复模型的评估更为的准确。
具体的,所述步骤S6还包括步骤S61至步骤S62:
S61,将所述匹配度与预设匹配度进行比对,若所述匹配度不符合所述预设匹配度;
S62,执行使所述对话回复模型基于所述隐藏状态进行训练,得到优化对话回复模型,并评估所述优化对话回复模型,以计算出所述优化对话回复模型的输出内容的匹配度,直至所述匹配度符合所述预设匹配度;
可以理解的是,当评估后的优化对话回复模型达不到预设的匹配度,则继续对其进行优化,从而能够使得评估后的优化对话回复模型所生成的对话回复更加准确及更加具有情感。
S7,基于所述评估后的优化对话回复模型对所述情感标签进行识别匹配,以生成与所述对话内容的匹配的回复对话;
在具体实施时,经过评估后的优化对话回复模型对用户发出的对话内容进行识别匹配,然后基于对话内容生成匹配的对话回复,并经过通过情感节点初始化特征以及话语节点的上下文表示构建的对话回复模型,以及优化和评估后的对话回复模型,使得生成的对话更为的匹配准确以及更具有情感。
综上,本发明上述实施例当中的基于AI的对话回复生成方法,通过构建情感识别模型可以识别用户发出的对话内容的情感,并且历史对话内容相邻字的频率可以提取出历史对话内容的特征词句,并将特征词句中的每个词映射成词向量,得到词句序列,并得到每个单词的隐藏状态,通过隐藏状态对对话模型进行训练,提升优化对话回复模型输出的回复对话更为的准确,并且通过对优化对话回复模型进行评估,可以使得优化对话回复模型的对话回复能够更加精确,并且通过评估后的优化对话回复模型对情感标签进行识别匹配,使得输出的回复对话具有一定情感。
实施例二
请参阅图2,所示为本发明第二实施例中的基于AI的对话回复生成系统,所述系统包括:
接收预处理模块10,用于接收用户发出的对话内容,对所述对话内容进行预处理,得到预处理对话内容,并将所述预处理对话内容生成对话任务;
第一构建模块20,用于构建情感识别模型,基于所述情感识别模型对所述对话任务进行识别,得到所述对话任务对应的情感标签;
获取计算模块30,用于获取历史对话内容,统计所述历史对话内容中相邻字,并计算所述相邻字的频率,以提取所述历史对话内容中的特征词句;
映射模块40,用于将所述特征词句中的每个单词映射为词向量,以得到所述特征词句的词句序列,并基于所述词句序列计算所述每个单词的隐藏状态;
第二构建模块50,用于构建对话回复模型,并使得所述对话回复模型基于所述隐藏状态进行训练,得到优化对话回复模型;
评估模块60,用于将预选对话文本输入至所述优化对话回复模型中,以使所述优化对话回复模型输出回复对话,基于n-gram计算所述回复对话与预设参考回复对话的相似性,并根据所述相似性以得到所述优化对话回复模型的输出内容的匹配度,若所述匹配度符合预设匹配度,则得到评估后的优化对话回复模型;
其中,所述根据所述相似性以得到所述优化对话回复模型的输出内容的匹配度,所述匹配度的计算表达式为:
;
其中,Q表示所述匹配度,Pn表示所述回复对话中n 元词的精度,Wn表示所述n-gram的权重,PF代表惩罚因子,N表示所述回复对话中n元词的数量;
生成模块70,用于基于所述评估后的优化对话回复模型对所述情感标签进行识别匹配,以生成与所述对话内容的匹配的回复对话。
在一些可选实施例中,所述接收预处理模块10包括:
第一提取单元,用于提取所述对话内容中的摘要特征,所述摘要特征包括预设线索词、积极关键词词频以及句子位置;
提取消除单元,用于提取所述对话内容中的元相关词并将其消除,并基于所述预设线索词、所述积极关键词词频以及所述句子位置生成有效对话信息。
在一些可选实施例中,所述第一构建模块20包括:
获取单元,用于获取过往对话内容,并提取所述过往对话内容中的所有目标话语以及所有所述目标话语的上下文中的情感话语;
排序单元,用于基于注意力网络机制将所有所述目标话语与所有所述情感话语进行相关性排序以及结合操作,得到权重语句特征;
分类单元,用于结合所述权重语句特征进行Softmax分类得到所有所述目标话语的情感类型,并对所述情感类型进行分类,并得到所述过往对话内容中的所有语句对应的情感类型;
组合单元,用于将所述所有语句对应的情感类型组合成标签序列,并基于所述标签序列构建所述情感识别模型。
在一些可选实施例中,所述获取计算模块30包括:
统计单元,用于统计所述相邻字的组合频率,并计算所述历史对话内容中的词密信息;
第一比对单元,用于将所述词密信息与预设阈值进行比对,若所述词密信息高于所述预设阈值,则得到所述历史对话内容中的所述特征词句。
在一些可选实施例中,所述映射模块40包括:
转换单元,用于基于词嵌入层将所述词向量转换为低维词,将所述低维词嵌入所述词句序列,得到词向量序列;
计算单元,用于根据多头自注意力模型计算所述词向量序列,以得到所述每个单词的隐藏状态。
在一些可选实施例中,所述第二构建模块50包括:
第二提取单元,用于基于LSTM提取所述历史对话内容中的句子级特征,并结合注意力机制聚合所述历史对话内容中的其它话语特征,以生成话语节点的上下文表示;
建立单元,用于建立有若干个情感标签的情感字典,并将所述情感字典中的所述若干个情感标签均转换为情感特征向量;
映射单元,用于将所述情感特征向量映射到高维空间,以得到情感节点初始化特征;
构建单元,用于基于所述话语节点的上下文表示以及所述情感节点初始化特征构建对话回复模型。
在一些可选实施例中,所述评估模块60包括:
第二比对单元,用于将所述匹配度与预设匹配度进行比对,若所述匹配度不符合所述预设匹配度;
执行单元,用于执行使所述对话回复模型基于所述隐藏状态进行训练,得到优化对话回复模型,并评估所述优化对话回复模型,以计算出所述优化对话回复模型的输出内容的匹配度,直至所述匹配度符合所述预设匹配度。
上述各模块、单元被执行时所实现的功能或操作步骤与上述方法实施例大体相同,在此不再赘述。
本发明实施例所提供的基于AI的对话回复生成系统,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,系统实施例部分未提及之处,可参考前述方法实施例中相应内容。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种基于AI的对话回复生成方法,其特征在于,所述方法包括:
接收用户发出的对话内容,对所述对话内容进行预处理,得到预处理对话内容,并将所述预处理对话内容生成对话任务;
构建情感识别模型,基于所述情感识别模型对所述对话任务进行识别,得到所述对话任务对应的情感标签;
获取历史对话内容,统计所述历史对话内容中相邻字,并计算所述相邻字的频率,以提取所述历史对话内容中的特征词句;
将所述特征词句中的每个单词映射为词向量,以得到所述特征词句的词句序列,并基于所述词句序列计算所述每个单词的隐藏状态;
构建对话回复模型,并使得所述对话回复模型基于所述隐藏状态进行训练,得到优化对话回复模型;
将预选对话文本输入至所述优化对话回复模型中,以使所述优化对话回复模型输出回复对话,基于n-gram计算所述回复对话与预设参考回复对话的相似性,并根据所述相似性以得到所述优化对话回复模型的输出内容的匹配度,若所述匹配度符合预设匹配度,则得到评估后的优化对话回复模型;
基于所述评估后的优化对话回复模型对所述情感标签进行识别匹配,以生成与所述对话内容的匹配的回复对话。
2.根据权利要求1所述的基于AI的对话回复生成方法,其特征在于,所述对所述对话内容进行预处理,得到预处理对话内容的步骤包括:
提取所述对话内容中的摘要特征,所述摘要特征包括预设线索词、积极关键词词频以及句子位置;
提取所述对话内容中的元相关词并将其消除,并基于所述预设线索词、所述积极关键词词频以及所述句子位置生成有效对话信息。
3.根据权利要求1所述的基于AI的对话回复生成方法,其特征在于,所述构建情感识别模型的步骤包括:
获取过往对话内容,并提取所述过往对话内容中的所有目标话语以及所有所述目标话语的上下文中的情感话语;
基于注意力网络机制将所有所述目标话语与所有所述情感话语进行相关性排序以及结合操作,得到权重语句特征;
结合所述权重语句特征进行Softmax分类得到所有所述目标话语的情感类型,并对所述情感类型进行分类,并得到所述过往对话内容中的所有语句对应的情感类型;
将所述所有语句对应的情感类型组合成标签序列,并基于所述标签序列构建所述情感识别模型。
4.根据权利要求1所述的基于AI的对话回复生成方法,其特征在于,所述并计算所述相邻字的频率,以提取所述历史对话内容中的特征词句的步骤包括:
统计所述相邻字的组合频率,并计算所述历史对话内容中的词密信息;
将所述词密信息与预设阈值进行比对,若所述词密信息高于所述预设阈值,则得到所述历史对话内容中的所述特征词句。
5.根据权利要求1所述的基于AI的对话回复生成方法,其特征在于,所述将所述特征词句中的每个单词映射为词向量,以得到所述特征词句的词句序列,并基于所述词句序列计算所述每个单词的隐藏状态的步骤包括:
基于词嵌入层将所述词向量转换为低维词,将所述低维词嵌入所述词句序列,得到词向量序列;
根据多头自注意力模型计算所述词向量序列,以得到所述每个单词的隐藏状态。
6.根据权利要求1所述的基于AI的对话回复生成方法,其特征在于,所述构建对话回复模型的步骤包括:
基于LSTM提取所述历史对话内容中的句子级特征,并结合注意力机制聚合所述历史对话内容中的其它话语特征,以生成话语节点的上下文表示;
建立有若干个情感标签的情感字典,并将所述情感字典中的所述若干个情感标签均转换为情感特征向量;
将所述情感特征向量映射到高维空间,以得到情感节点初始化特征;
基于所述话语节点的上下文表示以及所述情感节点初始化特征构建对话回复模型。
7.根据权利要求1所述的基于AI的对话回复生成方法,其特征在于,所述根据所述相似性以得到所述优化对话回复模型的输出内容的匹配度,所述匹配度的计算表达式为:
;
其中,Q表示所述匹配度,Pn表示所述回复对话中n 元词的精度,Wn表示所述n-gram的权重,PF代表惩罚因子,N表示所述回复对话中n元词的数量。
8.根据权利要求1所述的基于AI的对话回复生成方法,其特征在于,所述若所述匹配度符合预设匹配度的步骤之前,所述方法还包括:
将所述匹配度与预设匹配度进行比对,若所述匹配度不符合所述预设匹配度;
执行使所述对话回复模型基于所述隐藏状态进行训练,得到优化对话回复模型,并评估所述优化对话回复模型,以计算出所述优化对话回复模型的输出内容的匹配度,直至所述匹配度符合所述预设匹配度。
9.一种基于AI的对话回复生成系统,其特征在于,所述系统包括:
接收预处理模块,用于接收用户发出的对话内容,对所述对话内容进行预处理,得到预处理对话内容,并将所述预处理对话内容生成对话任务;
第一构建模块,用于构建情感识别模型,基于所述情感识别模型对所述对话任务进行识别,得到所述对话任务对应的情感标签;
获取计算模块,用于获取历史对话内容,统计所述历史对话内容中相邻字,并计算所述相邻字的频率,以提取所述历史对话内容中的特征词句;
映射模块,用于将所述特征词句中的每个单词映射为词向量,以得到所述特征词句的词句序列,并基于所述词句序列计算所述每个单词的隐藏状态;
第二构建模块,用于构建对话回复模型,并使得所述对话回复模型基于所述隐藏状态进行训练,得到优化对话回复模型;
评估模块,用于将预选对话文本输入至所述优化对话回复模型中,以使所述优化对话回复模型输出回复对话,基于n-gram计算所述回复对话与预设参考回复对话的相似性,并根据所述相似性以得到所述优化对话回复模型的输出内容的匹配度,若所述匹配度符合预设匹配度,则得到评估后的优化对话回复模型;
生成模块,用于基于所述评估后的优化对话回复模型对所述情感标签进行识别匹配,以生成与所述对话内容的匹配的回复对话。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311395495.8A CN117131182A (zh) | 2023-10-26 | 2023-10-26 | 一种基于ai的对话回复生成方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311395495.8A CN117131182A (zh) | 2023-10-26 | 2023-10-26 | 一种基于ai的对话回复生成方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117131182A true CN117131182A (zh) | 2023-11-28 |
Family
ID=88858558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311395495.8A Pending CN117131182A (zh) | 2023-10-26 | 2023-10-26 | 一种基于ai的对话回复生成方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117131182A (zh) |
Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150186354A1 (en) * | 2013-12-30 | 2015-07-02 | ScatterLab Inc. | Method for analyzing emotion based on messenger conversation |
US20170124064A1 (en) * | 2014-05-22 | 2017-05-04 | Huawei Technologies Co., Ltd. | Reply information recommendation method and apparatus |
JP2018045594A (ja) * | 2016-09-16 | 2018-03-22 | トヨタ自動車株式会社 | 文章生成装置および文章生成方法 |
CN108874972A (zh) * | 2018-06-08 | 2018-11-23 | 青岛里奥机器人技术有限公司 | 一种基于深度学习的多轮情感对话方法 |
CN109711465A (zh) * | 2018-12-26 | 2019-05-03 | 西安电子科技大学 | 基于mll和asca-fr的图像字幕生成方法 |
WO2020024455A1 (zh) * | 2018-08-01 | 2020-02-06 | 平安科技(深圳)有限公司 | 基于上下文的输入方法、装置、存储介质及计算机设备 |
KR20200111595A (ko) * | 2019-03-19 | 2020-09-29 | 한국전자인증 주식회사 | 발화 감정 히스토리를 이용한 대화 에이젼트 시스템 및 방법 |
CN111985205A (zh) * | 2020-08-05 | 2020-11-24 | 重庆大学 | 一种方面级情感分类模型 |
KR20200143765A (ko) * | 2019-06-17 | 2020-12-28 | 주식회사 스캐터랩 | 대화 지식 추출 서버, 방법 및 대화 제공 디바이스 |
CN113743099A (zh) * | 2021-08-18 | 2021-12-03 | 重庆大学 | 基于自注意力机制方面术语提取系统、方法、介质、终端 |
CN113868386A (zh) * | 2021-09-18 | 2021-12-31 | 天津大学 | 一种可控情感对话生成的方法 |
CN114065755A (zh) * | 2021-11-18 | 2022-02-18 | 北京云上曲率科技有限公司 | 一种细粒度情感分析的方法及装置 |
WO2022048170A1 (zh) * | 2020-09-02 | 2022-03-10 | 平安科技(深圳)有限公司 | 人机对话方法、装置、计算机设备及存储介质 |
CN114444519A (zh) * | 2022-01-24 | 2022-05-06 | 重庆邮电大学 | 一种基于Seq2Seq模型的情感对话生成方法 |
CN115048586A (zh) * | 2022-08-11 | 2022-09-13 | 广东工业大学 | 一种融合多特征的新闻推荐方法及系统 |
US20230118506A1 (en) * | 2021-10-18 | 2023-04-20 | Tencent America LLC | Conversational aspect sentiment analysis for dialogue understanding |
CN116010563A (zh) * | 2021-10-22 | 2023-04-25 | 厦门快商通科技股份有限公司 | 一种多轮对话数据分析方法、电子设备和存储介质 |
WO2023108994A1 (zh) * | 2021-12-15 | 2023-06-22 | 平安科技(深圳)有限公司 | 一种语句生成方法及电子设备、存储介质 |
CN116701580A (zh) * | 2023-04-12 | 2023-09-05 | 内蒙古工业大学 | 一种对话情感强度一致性控制方法 |
CN116701566A (zh) * | 2023-04-29 | 2023-09-05 | 天津大学 | 一种基于情感的多轮对话模型及对话方法 |
CN116795970A (zh) * | 2023-07-31 | 2023-09-22 | 南京交通职业技术学院 | 一种对话生成方法及其在情感陪护中的应用 |
CN116881410A (zh) * | 2023-06-02 | 2023-10-13 | 平安科技(深圳)有限公司 | 基于对话系统的人设一致方法、装置、电子设备及介质 |
-
2023
- 2023-10-26 CN CN202311395495.8A patent/CN117131182A/zh active Pending
Patent Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150186354A1 (en) * | 2013-12-30 | 2015-07-02 | ScatterLab Inc. | Method for analyzing emotion based on messenger conversation |
US20170124064A1 (en) * | 2014-05-22 | 2017-05-04 | Huawei Technologies Co., Ltd. | Reply information recommendation method and apparatus |
JP2018045594A (ja) * | 2016-09-16 | 2018-03-22 | トヨタ自動車株式会社 | 文章生成装置および文章生成方法 |
CN108874972A (zh) * | 2018-06-08 | 2018-11-23 | 青岛里奥机器人技术有限公司 | 一种基于深度学习的多轮情感对话方法 |
WO2020024455A1 (zh) * | 2018-08-01 | 2020-02-06 | 平安科技(深圳)有限公司 | 基于上下文的输入方法、装置、存储介质及计算机设备 |
CN109711465A (zh) * | 2018-12-26 | 2019-05-03 | 西安电子科技大学 | 基于mll和asca-fr的图像字幕生成方法 |
KR20200111595A (ko) * | 2019-03-19 | 2020-09-29 | 한국전자인증 주식회사 | 발화 감정 히스토리를 이용한 대화 에이젼트 시스템 및 방법 |
KR20200143765A (ko) * | 2019-06-17 | 2020-12-28 | 주식회사 스캐터랩 | 대화 지식 추출 서버, 방법 및 대화 제공 디바이스 |
CN111985205A (zh) * | 2020-08-05 | 2020-11-24 | 重庆大学 | 一种方面级情感分类模型 |
WO2022048170A1 (zh) * | 2020-09-02 | 2022-03-10 | 平安科技(深圳)有限公司 | 人机对话方法、装置、计算机设备及存储介质 |
CN113743099A (zh) * | 2021-08-18 | 2021-12-03 | 重庆大学 | 基于自注意力机制方面术语提取系统、方法、介质、终端 |
CN113868386A (zh) * | 2021-09-18 | 2021-12-31 | 天津大学 | 一种可控情感对话生成的方法 |
US20230118506A1 (en) * | 2021-10-18 | 2023-04-20 | Tencent America LLC | Conversational aspect sentiment analysis for dialogue understanding |
CN116010563A (zh) * | 2021-10-22 | 2023-04-25 | 厦门快商通科技股份有限公司 | 一种多轮对话数据分析方法、电子设备和存储介质 |
CN114065755A (zh) * | 2021-11-18 | 2022-02-18 | 北京云上曲率科技有限公司 | 一种细粒度情感分析的方法及装置 |
WO2023108994A1 (zh) * | 2021-12-15 | 2023-06-22 | 平安科技(深圳)有限公司 | 一种语句生成方法及电子设备、存储介质 |
CN114444519A (zh) * | 2022-01-24 | 2022-05-06 | 重庆邮电大学 | 一种基于Seq2Seq模型的情感对话生成方法 |
CN115048586A (zh) * | 2022-08-11 | 2022-09-13 | 广东工业大学 | 一种融合多特征的新闻推荐方法及系统 |
CN116701580A (zh) * | 2023-04-12 | 2023-09-05 | 内蒙古工业大学 | 一种对话情感强度一致性控制方法 |
CN116701566A (zh) * | 2023-04-29 | 2023-09-05 | 天津大学 | 一种基于情感的多轮对话模型及对话方法 |
CN116881410A (zh) * | 2023-06-02 | 2023-10-13 | 平安科技(深圳)有限公司 | 基于对话系统的人设一致方法、装置、电子设备及介质 |
CN116795970A (zh) * | 2023-07-31 | 2023-09-22 | 南京交通职业技术学院 | 一种对话生成方法及其在情感陪护中的应用 |
Non-Patent Citations (2)
Title |
---|
张伟生;王中卿;李寿山;周国栋;: "基于对话结构和联合学习的情感和意图分类", 中文信息学报, no. 08 * |
王建成;徐扬;刘启元;吴良庆;李寿山;: "基于神经主题模型的对话情感分析", 中文信息学报, no. 01 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111933129B (zh) | 音频处理方法、语言模型的训练方法、装置及计算机设备 | |
CN109241255B (zh) | 一种基于深度学习的意图识别方法 | |
CN110364171B (zh) | 一种语音识别方法、语音识别系统及存储介质 | |
CN109887484B (zh) | 一种基于对偶学习的语音识别与语音合成方法及装置 | |
CN110853626B (zh) | 基于双向注意力神经网络的对话理解方法、装置及设备 | |
US7421387B2 (en) | Dynamic N-best algorithm to reduce recognition errors | |
CN110321418B (zh) | 一种基于深度学习的领域、意图识别和槽填充方法 | |
JP6815899B2 (ja) | 出力文生成装置、出力文生成方法および出力文生成プログラム | |
CN113591483A (zh) | 一种基于序列标注的文档级事件论元抽取方法 | |
JP2005084681A (ja) | 意味的言語モデル化および信頼性測定のための方法およびシステム | |
CN107797987B (zh) | 一种基于Bi-LSTM-CNN的混合语料命名实体识别方法 | |
CN112397054B (zh) | 一种电力调度语音识别方法 | |
CN113178193A (zh) | 一种基于智能语音芯片的中文自定义唤醒与物联交互方法 | |
CN116010874A (zh) | 基于深度学习多模态深尺度情感特征融合的情感识别方法 | |
CN115759071A (zh) | 基于大数据的政务敏感信息识别系统和方法 | |
KR102297480B1 (ko) | 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템 및 방법 | |
CN111159405B (zh) | 基于背景知识的讽刺检测方法 | |
CN116595023A (zh) | 地址信息的更新方法和装置、电子设备及存储介质 | |
Decadt et al. | Transcription of out-of-vocabulary words in large vocabulary speech recognition based on phoneme-to-grapheme conversion | |
CN116052655A (zh) | 音频处理方法、装置、电子设备和可读存储介质 | |
CN116978367A (zh) | 语音识别方法、装置、电子设备和存储介质 | |
CN114974310A (zh) | 基于人工智能的情感识别方法、装置、计算机设备及介质 | |
CN117131182A (zh) | 一种基于ai的对话回复生成方法及系统 | |
CN115169363A (zh) | 一种融合知识的增量编码的对话情感识别方法 | |
CN114417891A (zh) | 基于粗糙语义的回复语句确定方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |