CN112735431B - 模型训练方法和装置及人工智能对话的识别方法和装置 - Google Patents

模型训练方法和装置及人工智能对话的识别方法和装置 Download PDF

Info

Publication number
CN112735431B
CN112735431B CN202011588096.XA CN202011588096A CN112735431B CN 112735431 B CN112735431 B CN 112735431B CN 202011588096 A CN202011588096 A CN 202011588096A CN 112735431 B CN112735431 B CN 112735431B
Authority
CN
China
Prior art keywords
dialogue
training sample
probability
emotion
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011588096.XA
Other languages
English (en)
Other versions
CN112735431A (zh
Inventor
袁兆卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN202011588096.XA priority Critical patent/CN112735431B/zh
Publication of CN112735431A publication Critical patent/CN112735431A/zh
Application granted granted Critical
Publication of CN112735431B publication Critical patent/CN112735431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Child & Adolescent Psychology (AREA)
  • Machine Translation (AREA)

Abstract

本申请公开了一种模型训练方法和装置及人工智能对话的识别方法和装置，其中，模型训练方法包括：获取真人语音对话语料；遍历所述真人语音对话语料中的每轮对话数据，基于该轮对话数据，生成训练样本，并基于所述训练样本，构建真人对话训练样本集合和机器对话训练样本集合；其中，每个所述训练样本集合包括文本训练样本、语音训练样本和情感训练样本；利用所述训练样本，训练人工智能对话识别模型的文本判别器、语音判别器和情感检测器；利用所述训练样本集合，对人工智能对话识别模型的权重概率计算层进行训练，得到用于计算最终识别概率的概率权重参数。采用本申请，可以对对话对象是否为人工智能机器进行准确识别。

Description

模型训练方法和装置及人工智能对话的识别方法和装置
技术领域
本发明涉及人工智能技术，特别是涉及一种模型训练方法和装置及人工智能对话的识别方法和装置。
背景技术
随着人工智能(Artificial Intelligence，AI)技术的日新月异发展，AI技术在很多领域得到广泛应用，极大提升了人们的生活质量和工作效率，同时也带来了一些风险和挑战，出现了一些对AI的恶意应用，例如AI电话欺诈、AI电话骚扰、AI短信骚扰等。为此，需要在用户使用即时通讯时(如电话、短信等)对对话方是人类还是人工智能机器进行准确识别，以使用户可以及时识别AI的恶意应用，避免这些AI的恶意应用危害用户安全。
发明内容
有鉴于此，本发明的主要目的在于提供一种识别人工智能对话的方法和装置，可以对对话对象是否为人工智能机器进行准确识别。
为了达到上述目的，本发明实施例提出的技术方案为：
一种模型训练方法，包括：
获取真人语音对话语料；
遍历所述真人语音对话语料中的每轮对话数据，基于该轮对话数据，生成训练样本，并基于所述训练样本，构建真人对话训练样本集合和机器对话训练样本集合；其中，每个所述训练样本集合包括文本训练样本、语音训练样本和情感训练样本；
利用所述训练样本，分别对人工智能对话识别模型中的文本判别器、语音判别器和情感检测器进行训练；
利用所述训练样本集合，对所述人工智能对话识别模型的权重概率计算层进行训练，得到所述人工智能对话识别模型中用于计算最终识别概率的概率权重参数；所述概率权重参数包括所述文本判别器、所述语音判别器和所述情感检测器各自对应的概率权重参数。
较佳地，所述对所述人工智能对话识别模型的权重概率计算层进行训练包括：
将所述训练样本集合Sk中的文本训练样本，输入至所述文本判别器处理，得到对话对象为机器的第一概率；
将所述训练样本集合Sk中的语音训练样本，输入至所述语音判别器处理，得到语音来源为机器的第二概率；
将所述训练样本集合Sk中的情感训练样本，输入至所述情感检测器处理，得到训练样本携带每种预设情感的情感概率，并基于香农信息熵和所述情感概率，得到语音来源为机器的第三概率；
利用所述文本判别器、所述语音判别器和所述情感检测器各自对应的概率权重参数，对所述第一概率、所述第二概率和所述第三概率进行加权计算，得到第四概率，将所述第四概率作为所述人工智能对话识别模型本次训练的最终识别概率；
根据所述第四概率和所述训练样本集合Sk对应的期望值，对所述概率权重参数进行反馈调整。
较佳地，所述基于香农信息熵和所述情感概率，得到语音来源为机器的第三概率包括：
基于所述情感概率，计算得到香农信息熵H(X)；其中，P(x)表示训练样本携带第x种情感的情感概率；N表示情感种类数量；
基于所述H(X)，计算P3＝H(X)/Hmax(X)，得到所述第三概率P3；其中，所述Hmax(X)表示情感种类数量为N时的最大香农信息熵。
较佳地，所述情感包括：
悲伤、愤怒、惊奇、恐惧、喜悦、仇恨和/或平静。
较佳地，所述文本训练样本的生成包括：
将一轮对话数据转化为文本数据；
从所述文本数据中提取出对话双方各自对应的文本特征序列ot和rt；
将所述文本数据中与所述特征序列ot对应的文本数据，输入至人工智能AI对话生成器，得到与所述特征序列ot对应的机器人对话特征序列rt'；
基于所述文本特征序列ot和rt，构建第一文本训练样本，并加入相应对话数据的真人对话训练样本集合；所述第一文本训练样本包括序列[ot:rt]和期望值参数y＝0；y表示对话对象为机器的概率；
基于所述文本特征序列ot和rt'，构建第二文本训练样本，并加入相应对话数据的机器对话训练样本集合；所述第二文本训练样本包括序列[ot:rt']和期望值参数y＝1。
较佳地，所述语音训练样本的生成包括：
从一轮对话数据中，提取出对话双方各自关于预设发音相关声学特征的特征序列os和rs；
将所述特征序列os对应的原始对话数据输入至AI对话生成器，得到与所述特征序列os对应的机器人对话特征序列rs'；
基于所述特征序列os和rs，构建第一语音训练样本，并加入相应对话数据的真人对话训练样本集合；所述第一语音训练样本为语音序列[os:rs:y＝0]；其中，y表示语音来源为机器的概率；
基于所述特征序列rs'，构建第二语音训练样本，并加入相应对话数据的机器对话训练样本集合；所述第二语音训练样本为语音序列[rs':y＝1]。
较佳地，所述发音相关声学特征包括：
短时能量Short time energy特征、基频结构Fundamental FrequencyConstruction特征、短时过零率ZCR特征、共振峰Formant特征和梅尔频率倒谱系数MFCC特征。
较佳地，所述情感训练样本的生成包括：
从一轮对话数据中，提取出对话双方各自关于预设情感相关声学特征的特征序列of和rf；
将所述特征序列of对应的原始对话数据，输入至AI对话生成器，得到与所述特征序列os对应的机器人对话特征序列rf'；
基于所述特征序列of，构建第一情感训练样本，并加入相应对话数据的真人对话训练样本集合；其中，所述第一情感训练样本为情感序列[of:e]，e表示情感分类标签；
基于所述特征序列rf，构建第二情感训练样本；其中，所述第二情感训练样本为情感序列[rf:e]；
基于所述特征序列rf'，构建第三情感训练样本，并加入相应对话数据的机器对话训练样本集合；其中，所述第三情感训练样本为情感序列[rf']。
较佳地，所述情感相关声学特征包括：
语音发音的时间差异Time construction特征、语音信号的幅度构建Amplitudeconstruction特征、基频结构Fundamental Frequency Construction特征和梅尔频率倒谱系数MFCC特征。
一种人工智能对话的识别方法，包括：
获取与对话对象进行一轮交互的对话数据；
将所述对话数据输入至预先训练的人工智能对话识别模型处理，得到所述对话对象为机器的概率并输出；其中，所述人工智能对话识别模型基于上述模型训练方法得到；所述处理包括：
如果所述交互的类型为语音交互，则利用所述人工智能对话识别模型中的文本判别器、语音判别器、情感检测器和权重概率计算层，对所述对话数据进行处理，得到所述对话对象为机器的概率；
如果所述交互的类型为文本交互，则利用所述人工智能对话识别模型中的文本判别器对所述对话数据进行处理，得到所述对话对象为机器的概率。
较佳地，所述方法进一步包括：
当所述交互的类型为语音交互，且所述对话对象为机器的概率小于预设第一阈值时，输出提示信息；其中，所述提示信息用于提醒用户降低说话语速、咬字清晰和/或降低语义难度。
较佳地，所述方法进一步包括：
当所述对话对象为机器的概率在预设的模糊阈值范围内时，从预设的建议问题库中选择一问题并输出提示信息，并触发基于新一轮交互的对话数据，利用所述人工智能对话识别模型，确定所述对话对象为机器的概率；所述提示信息用于提醒用户向对话对象询问所选择的问题。
较佳地，所述方法进一步包括：
在输出所述对话对象为机器的概率之后，输出识别结果是否正确的询问信息；
当接收到用户的识别结果有误的反馈信息时，触发基于所述对话数据、所述对话对象为机器的概率以及所述反馈信息，对所述人工智能对话识别模型进行再训练。
较佳地，所述方法进一步包括：
当所述交互的类型为语音交互，且所述对话数据为用户的自动接听电话工具与所述对话对象之间交互的语音数据时，如果所述对话对象为机器的概率小于预设的真人阈值，则输出用于提醒用户接听电话的提示信息；否则，触发用户确认是否需要挂断电话，并在接收到用户的挂机指令时，挂断电话。
本申请实施例还公开了一种模型训练装置，包括：
语料获取单元，用于获取真人语音对话语料；
样本生成单元，用于遍历所述真人语音对话语料中的每轮对话数据，基于该轮对话数据，生成训练样本，并基于所述训练样本，构建真人对话训练样本集合和机器对话训练样本集合；其中，每个所述训练样本集合包括文本训练样本、语音训练样本和情感训练样本；
第一训练单元，用于利用所述训练样本，分别对人工智能对话识别模型中的文本判别器、语音判别器和情感检测器进行训练；
第二训练单元，用于利用所述训练样本集合，对所述文本判别器、所述语音判别器和所述情感检测器各自对应的概率权重参数进行训练，得到所述人工智能对话识别模型中用于计算最终识别概率的概率权重参数。
本申请实施例还公开了一种人工智能对话的识别装置，包括：
数据获取单元，用于获取与对话对象进行一轮交互的对话数据；
第一识别单元，用于如果所述交互的类型为语音交互，则将所述对话数据输入至预先训练的人工智能对话识别模型处理，得到所述对话对象为机器的概率并输出；其中，所述人工智能对话识别模型基于前述任一训练方法得到；
第二识别单元，用于如果所述交互的类型为文本交互，则将所述对话数据输入至所述人工智能对话识别模型中的文本判别器处理，得到所述对话对象为机器的概率并输出。
本申请实施例还公开了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如前所述的模型训练方法的步骤。
本申请实施例还公开了一种电子设备，包括如前所述的非易失性计算机可读存储介质、以及可访问所述非易失性计算机可读存储介质的所述处理器。
本申请实施例还公开了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如前所述的人工智能对话的识别方法的步骤。
本申请实施例还公开了一种电子设备，包括如前所述的非易失性计算机可读存储介质、以及可访问所述非易失性计算机可读存储介质的所述处理器。
由上述技术方案可见，本申请实施例提出的模型训练方法和装置及人工智能对话的识别方法和装置，利用人工智能对话识别模型中的文本判别器、语音判别器和情感检测器各自输出的概率，采用权重计算的方式，确定对话对象为机器的最终概率。如此，可以充分利用人与机器在文本、语音以及情感等方面的特征差异，对对话对象是否为人工智能机器进行准确识别。另外，本申请实施例既可以支持语音对话场景也支持文本对话场景，因此，具有广泛的应用性。
附图说明
图1为本发明实施例一的模型训练方法流程示意图；
图2为本发明实施例的文本判别器结构示意图；
图3为本发明实施例的语音判别器的框架示意图；
图4为本发明实施例中利用情感训练样本得到第三概率的处理过程示意图；
图5为本发明实施例二的人工智能对话的识别方法流程示意图；
图6～图11为本发明实施例二分别在场景一至场景六中的应用示意图；
图12为本发明实施例的模型训练装置结构示意图；
图13为本发明实施例的人工智能对话的识别装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。
图1为本发明实施例一的模型训练方法流程示意图，如图1所示，该实施例实现的模型训练方法主要包括：
步骤101、获取真人语音对话语料。
本步骤，用于获取真人之间的历史对话数据，以便在后续步骤中基于这些数据生成用于训练模型的样本数据。
步骤102、遍历所述真人语音对话语料中的每轮对话数据，基于该轮对话数据，生成训练样本，并基于所述训练样本，构建真人对话训练样本集合和机器对话训练样本集合。
其中，每个所述训练样本集合包括文本训练样本、语音训练样本和情感训练样本。
步骤102中，将基于步骤101中所获取的真人语音对话语料中的每轮对话数据，生成训练样本，以及真人对话训练样本集合和机器对话训练样本集合。其中，为了便于对模型中权重概率计算层的权重参数进行单独训练，这里需要专门生成真人对话训练样本集合和机器对话训练样本集合。
这里需要说明的是，一轮对话数据是指对话双方进行一轮交互产生的对话数据。
在一个实施方式中，具体可以采用下述方法基于一轮对话数据生成文本训练样本：
步骤x1、将一轮对话数据转化为文本数据。
具体地，本步骤中可以采用现有的语音数据转文本数据的方法实现，在此不再赘述。
步骤x2、从所述文本数据中提取出对话双方各自对应的文本特征序列ot和rt。
本步骤用于从当前处理的一轮对话的文本数据中提取出对话双方各自对应文本的文本特征序列ot和rt。ot和rt将组成一个信息对[ot:rt]。
具体地，可以采用现有的N-Gram或独热编码等方法，或者训练一个深度网络(如循环神经网络(RNN)、深度信念网络(DBN)等)，将文本数据转换为上述文本特征序列ot和rt。
步骤x3、将所述文本数据中与所述特征序列ot对应的文本数据，输入至人工智能(AI)对话生成器，得到与所述特征序列ot对应的机器人对话特征序列rt'。
本步骤中，将基于一轮对话中先讲话方的特征序列ot对应的原始文本数据，利用AI对话生成器，生成对应的机器人对话的特征序列rt'，以在后续步骤中构建人机对话的信息对[ot:rt']，即得到人机对话样本数据。
步骤x4、基于所述文本特征序列ot和rt，构建第一文本训练样本，并加入相应对话数据的真人对话训练样本集合；所述第一文本训练样本包括序列[ot:rt]和期望值参数y＝0；y表示对话对象为机器的概率。
本步骤用于构建真人之间对话的训练样本，即第一文本训练样本，由于样本中的数据为真人之间的交互数据，因此，该训练样本的期望值y为0。
步骤x5、基于所述文本特征序列ot和rt'，构建第二文本训练样本，并加入相应对话数据的机器对话训练样本集合；所述第二文本训练样本包括序列[ot:rt']和期望值参数y＝1。
本步骤用于构建人与机器之间对话的训练样本，即第二文本训练样本，由于样本中的数据为人与机器之间的交互数据，因此，该训练样本的期望值y为1。
在一个实施方式中，具体可以采用下述方法基于一轮对话数据生成语音训练样本：
步骤y1、从一轮对话数据中，提取出对话双方各自关于预设发音相关声学特征的特征序列os和rs。
这里需要说明的是，人类发音韵律自然，节奏稳定，但是，机器发音很难做到这一点，机器合成的语音往往韵律死板、节奏不稳定。基于该人机发音的区别特点，本申请实施例中将以影响发音韵律和节奏的发音相关声学特征，作为检测是否为机器发音的重要指标，以提高机器对话识别的能力。
较佳地，为了提高语音识别的准确性，上述发音相关声学特征可以具体包括下述特征，但不限于此：
短时能量(Short time energy)特征、基频结构(Fundamental FrequencyConstruction)特征、短时过零率(ZCR)特征、共振峰(Formant)特征和梅尔频率倒谱系数(MFCC)特征。
其中，Short time energy:体现的是信号在不同时刻的强弱程度。
Fundamental Frequency Construction：反映了声门相邻两次开闭之间的时间间隔或开闭的频率。
Zero Crossing Rate:指语音信号的符号变化的比率，例如，信号从正数变成负数或从负数变化为正数。
Formant:指当声门处准周期脉冲激励进入声道时会引起共振，产生一组共振频率。这一组共振频率称为共振峰频率或简称共振峰，共振峰是反映声道谐振特性的重要特征，它携带了声音的辨识属性，代表了发音信息的最直接的来源
MFCC：该特征能够准确描述声道形状在语音短时功率谱的包络，是语音识别领域最重要的参考特征之一。
步骤y2、将所述特征序列os对应的原始对话数据输入至AI对话生成器，得到与所述特征序列os对应的机器人对话特征序列rs'。
这里，特征序列os对应的原始对话数据即步骤y1使用的所述对话数据中与特征序列os对应的对话数据。
步骤y3、基于所述特征序列os和rs，构建第一语音训练样本，并加入相应对话数据的真人对话训练样本集合；所述第一语音训练样本为语音序列[os:rs:y＝0]；其中，y表示语音来源为机器的概率。
本步骤中构建的第一语音训练样本是基于人与人对话的特征序列os和rs生成的，因此，第一语音训练样本对应的期望参数y为0，表示语音来源为机器的概率为0。
步骤y4、基于所述特征序列rs'，构建第二语音训练样本，并加入相应对话数据的机器对话训练样本集合；所述第二语音训练样本为语音序列[rs':y＝1]。
本步骤中构建的第二语音训练样本是基于机器产生的特征序列rs'构建的，因此，第二语音训练样本的期望参数y为1，表示语音来源为机器的概率为1。
在一个实施方式中，具体可以采用下述方法基于一轮对话数据生成情感训练样本：
步骤z1、从一轮对话数据中，提取出对话双方各自关于预设情感相关声学特征的特征序列of和rf。
这里需要说明的是，人类情感大致分为：悲伤、愤怒、惊奇、恐惧、喜悦、仇恨和平静7种类型，考虑到人类在正常对话中能准确表达自己的情感，而机器则难做到，基于该区别，本发明实施例中引入了关于预设情感相关声学特征的提取，以便基于这些特征提高机器识别的准确性。
较佳地，上述情感相关声学特征可以具体包括下述特征，但不限于此：
语音发音的时间差异(Time construction)特征、语音信号的幅度构建(Amplitude construction)特征、基频结构(Fundamental Frequency Construction)特征和梅尔频率倒谱系数(MFCC)特征。
其中，Time construction特征是指语音发音的时间差异。当人们表达不同的情感时，时间结构不同，主要体现在两个方面：连续发音时间长度和平均发音率。与平静的发音时间相比，欢乐，愤怒和惊奇的发音时间大大缩短。但是，与平静的发音时间相比，悲伤的发音时间更长。
Amplitude construction特征和语音情感状态有直接的联系。当说话者生气或高兴时，讲话的音量通常很高。当说话者伤心或沮丧时，语音音量通常较低。
Fundamental Frequency Construction特征在不同的情感下呈现的曲线不同。对于同一句子，如果表达的情感不同，则基本频率曲线也不同。当说话者处于幸福状态时，语音的基本频率曲线通常会向上弯曲；并且当说话者处于悲伤状态时，语音的基本频率曲线通常向下弯曲。
对于具有不同情感的句子而言，所具有的MFCC特征也不一样，因此，这里，引入MFCC特征能进一步提高情感识别的准确率。
步骤z2、将所述特征序列of对应的原始对话数据，输入至AI对话生成器，得到与所述特征序列os对应的机器人对话特征序列rf'。
这里，特征序列of对应的原始对话数据即步骤z1中的所述对话数据中与特征序列of对应的对话数据。
步骤z3、基于所述特征序列of，构建第一情感训练样本，并加入相应对话数据的真人对话训练样本集合；其中，所述第一情感训练样本为情感序列[of:e]，e表示情感分类标签。
步骤z4、基于所述特征序列rf，构建第二情感训练样本；其中，所述第二情感训练样本为情感序列[rf:e]。
步骤z5、基于所述特征序列rf'，构建第三情感训练样本，并加入相应对话数据的机器对话训练样本集合；其中，所述第三情感训练样本为情感序列[rf']。
采用上述生成训练样本方法，可以得到每轮对话数据对应的真人对话训练样本集合和机器对话训练样本集合。由于真人对话训练样本集合中训练样本的期望值为0，相应的，真人对话训练样本集合的期望值也为0。同样的，由于机器对话训练样本集合中训练样本的期望值为1，相应的，机器对话训练样本集合的期望值也为1。
步骤103、利用所述训练样本，分别对人工智能对话识别模型中的文本判别器、语音判别器和情感检测器进行训练。
本步骤中，将基于训练样本的类型，利用步骤102中得到的训练样本，分别对相应的判别器或检测器进行训练，即利用文本训练样本，训练文本判别器，利用语音训练样本，训练语音判别器，利用情感训练样本，训练情感检测器。
在实际应用中可以利用现有方法构建上述文本判别器、语音判别器和情感检测器。例如，可以利用RNN里面的encoder-decoder结构中的encoder部分实现文本判别器，即输入为一组序列，输出为一个数字：P1，即序列r来自机器的概率。图2为本发明实施例基于RNN实现的文本判别器结构示意图。如图2所示，将o和r作为两组序列持续输入到文本判别器中，并保持上下文记忆，最后通过一个全连接层输出一个数字，表示在o既定的情况下，r是机器输出的概率P1。其中，o由o1、o2、o3和o4组成，r由r1、r2、r3和r4组成。对应的损失函数Pd为：
在一个实施方式中，可以采用深度置信网络(DBN)与支持向量机(SVN)分类器的组合实现上述语音判别器。图3给出了该语音判别器的框架示意图。将语音训练样本输入至该语音判别器，即可得到样本的来源为机器的概率。
其中，DBN利用连续帧的语音信号提取出和上文描述的与语音韵律/节奏特征相关的高维特征向量，作为SVM的输入；SVM将分别输出声音来源是人类和机器的得分，最后，再通过基于分类得分的分类概率计算函数(如Softmax函数)计算得出声音来源是机器的概率P2。
在一个实施方式中，也可以采用DBN与SVN分类器的组合实现上述情感检测器。其框架与图3所示的语音判别器框架相同。将情感训练样本输入至情感检测器中处理，即可输出该样本对应的各预设情感类别的概率。
其中，DBN将从输入的情感训练样本中提取出与上述情感相关声学特征相关的高维特征向量，作为SVM的输入，该高维特征向量能够充分描述情感语音特征之间的相关性。SVM分类器将基于输入的高维特征向量进行情感类型识别，最终通过softmax函数计算得出当前训练样本具有各种情感类别的概率。
步骤104、利用所述训练样本集合，对所述人工智能对话识别模型的权重概率计算层进行训练，得到所述人工智能对话识别模型中用于计算最终识别概率的概率权重参数；所述概率权重参数包括所述文本判别器、所述语音判别器和所述情感检测器各自对应的概率权重参数。
本步骤中将利用步骤102中基于每轮对话数据得到的真人对话训练样本集合和机器对话训练样本集合，对所述人工智能对话识别模型的权重概率计算层进行训练，以获得文本判别器、语音判别器和情感检测器各自对应的概率权重参数，从而可以确保基于这些概率权重参数，对文本判别器、语音判别器和情感检测器各自输出的概率结果进行权重计算，可以得到更准确的最终识别概率，进而可以保障最终训练得到的人工智能对话识别模型对机器对话的识别能力。
在一个实施方式中，步骤104中具体可以采用下述方法，利用一个上述训练样本集合(即真人对话训练样本集合或机器对话训练样本集合)，对人工智能对话识别模型的权重概率计算层进行训练：
将所述训练样本集合Sk中的文本训练样本，输入至所述文本判别器处理，得到对话对象为机器的第一概率；
将所述训练样本集合Sk中的语音训练样本，输入至所述语音判别器处理，得到语音来源为机器的第二概率；
将所述训练样本集合Sk中的情感训练样本，输入至所述情感检测器处理，得到训练样本携带每种预设情感的情感概率，并基于香农信息熵和所述情感概率，得到语音来源为机器的第三概率；
利用所述文本判别器、所述语音判别器和所述情感检测器各自对应的概率权重参数，对所述第一概率、所述第二概率和所述第三概率进行加权计算，得到第四概率，将所述第四概率作为所述人工智能对话识别模型本次训练的最终识别概率；
根据所述第四概率和所述训练样本集合Sk对应的期望值，对所述概率权重参数进行反馈调整。
上述方法中，在利用一训练样本集合Sk对人工智能对话识别模型的权重概率计算层进行训练时，先分别将集合中的训练样本输入至对应的文本判别器、语音判别器或情感检测器处理，得到三个概率值，即第一概率、第二概率和第三概率，然后再将这三个概率值输入至权重概率计算层，权重概率计算层将基于这三个概率值采用权重计算的方式，得到本次基于训练样本集合Sk训练的最终识别概率，最后基于该最终识别概率和训练样本集合Sk的期望参数值，可以计算出相应的损失函数值，这样，基于本次得到的损失函数值再对权重概率计算层中文本判别器、语音判别器和情感检测器各自对应的概率权重参数进行反馈调整，即可使得调整后的概率权重参数能提高权重概率计算层输出的最终识别概率的准确性。上述反馈调整的具体实现为本领域技术人员所掌握，在此不再赘述。
在上述对人工智能对话识别模型的权重概率计算层进行训练的方法中，在将情感训练样本输入至所述情感检测器处理，得到训练样本携带每种预设情感的情感概率之后，还需要基于这些情感概率和香农信息熵，得到语音来源为机器的第三概率，如此，可以利用真人语音与机器语音在信息熵方面的差异性，保障第三概率的准确性。图4为本发明实施例中利用情感训练样本得到第三概率的处理过程示意图。如图4所示，在情感检测器通过softmax函数计算得出当前训练样本对应的各种情感类别的概率后，需要输入至分类评价器处理，该分类评价器将基于输入的情感概率和香农信息熵，得到语音来源为机器的第三概率。
具体可以采用下述方法基于香农信息熵和所述情感概率，得到语音来源为机器的第三概率：
基于所述情感概率，计算得到香农信息熵H(X)；其中，P(x)表示训练样本携带第x种情感的情感概率；N表示情感种类数量；
基于所述H(X)，计算P3＝H(X)/Hmax(X)，得到所述第三概率P3；其中，所述Hmax(X)表示情感种类数量为N时的最大香农信息熵。
这里需要说明的是，上述公式的现实意义是：越确定的事情其信息熵(信息量)越小，越不确定的事情其信息熵越大，如下表所示，如果每个情感分类的概率都是一样的，则其不确定性最大，信息熵也达到最大值2.8，如果感情分类100％确定是某个类别，则其信息熵也达到最小值0。人类发音一般表达的情感比较清晰，即表达的情感类型更明确，因此，其信息熵会比较小，而机器发音表达的情感会比较模糊不清，因此，其信息熵会比较大。基于此，在上述方法中，定义第三概率的计算公式为P3＝H(X)/Hmax(X)，即将对话过程中对话对象的语音情感分类的信息熵实际值H(X)除以信息熵的最大值Hmax(X)。公式P3＝H(X)/Hmax(X)的现实意义是：对方语音所表达的情感的确定性越大，越不可能是机器人；确定性越小，越有可能是机器人。这样，通过利用真人与机器的上述信息熵区别特征，结合香农信息熵对情感检测器处理得到的各种情感类别的概率进行处理，可以进一步提高情感识别结果(即语音来源为机器的第三概率)的准确性。
表1
基于上述实施例一实现的模型训练方法，本申请实施例二还提出了一种人工智能对话的识别方法，如图5所示，该人工智能对话的识别方法主要包括：
步骤501、获取与对话对象进行一轮交互的对话数据。
步骤502、将所述对话数据，输入至预先训练的人工智能对话识别模型处理，得到所述对话对象为机器的概率并输出。
其中，所述人工智能对话识别模型基于上述模型训练方法得到；具体的，所述处理包括：
如果所述交互的类型为语音交互，则利用所述人工智能对话识别模型中的文本判别器、语音判别器、情感检测器和权重概率计算层，对所述对话数据进行处理，得到所述对话对象为机器的概率；
如果所述交互的类型为文本交互，则利用所述人工智能对话识别模型中的文本判别器对所述对话数据进行处理，得到所述对话对象为机器的概率。
利用上述人工智能对话的识别方法，将一轮对话数据输入至已训练好的人工智能对话识别模型中处理，即可得到对话对象为机器的概率。该方法中，当对话双方采用语音方式交互时，需要综合文本判别器、语音判别器、情感检测器各自输出的概率，利用权重概率计算层对这些概率进行处理，得到对话对象为机器的最终概率。这样，通过综合语音、文本和情感三种识别手段的处理结果，可以有效提高最终识别结果的准确性。而当对话双方采用文本方式交互时，可以仅利用人工智能对话识别模型中的文本判别器对文本对话数据进行处理，该文本判别器的处理结果即为当前对话中对话对象为机器的概率。因此，上述人工智能对话的识别方法既可以支持语音对话中对话对象为机器的识别也支持文本对话中对话对象为机器的识别，从而具有广泛的应用场景。下面结合几种具体场景对上述识别方法的具体应用进行详细说明：
场景一、判断文本对话的对象：
如图6所示，该场景中，可以持续将对话双方的文本输入到训练好的人工智能对话识别模型中的文本判别器进行处理，进而可以得到对话对象是机器的概率，用户根据该概率可以决定下一步对话策略，是终止对话，还是降低对话难度。
场景二、判断语音对话的对象
如图7所示，该场景中对话双方采用语音交互的方式，此时，可以持续将对话双方的语音输入到训练好的人工智能对话识别模型处理，用户终端将基于模型输出的对话对象为机器的概率，在对话界面中显示对话对象是否为机器的提示信息。
场景三、对话对象为机器人时的说话策略提示：
如图8所示，该场景中对话双方采用语音交互的方式，此时，可以持续将对话双方的语音输入到训练好的人工智能对话识别模型处理，当模型输出的对话对象为机器的概率小于预设第一阈值时，可以在用户界面显示提示信息，以提醒用户降低说话语速、咬字清晰和/或降低语义难度。
场景四、请求用户帮助判别
如图9所示，该场景中可以持续将对话双方的文本/语音输入到训练好的人工智能对话识别模型处理，如果模型输出的当所述对话对象为机器的概率在预设的模糊阈值范围内，则不能明显判断出对方是人类或者机器，此时可以主动提示用户发问，以帮助模型再次进行更好地判别，具体操作可以为：从预设的建议问题库中选择一问题并输出提示信息，并触发基于新一轮交互的对话数据，利用所述人工智能对话识别模型，再次确定所述对话对象为机器的概率；所述提示信息用于提醒用户向对话对象询问所选择的问题。
场景五、用户手动纠正判别错误
如图10所示，该场景中可以持续将对话双方的文本/语音输入到训练好的人工智能对话识别模型处理，在模型输出对话对象为机器的概率之后，可以输出识别结果是否正确的询问信息；当接收到用户的识别结果有误的反馈信息时，将触发利用此次通话内容作为样本数据对模型进行优化训练，即触发基于所述对话数据、所述对话对象为机器的概率以及所述反馈信息，对所述人工智能对话识别模型进行再训练。
场景六、自动接听电话
如图11所示，该场景中当用户终端接收到陌生来电后，可以通过自动接听电话工具帮用户接听该陌生来电，可以持续将对话双方的文本/语音输入到训练好的人工智能对话识别模型处理，在模型输出对话对象为机器的概率之后，如果该对话对象为机器的概率小于预设的真人阈值，则输出用于提醒用户接听电话的提示信息；否则，触发用户确认是否需要挂断电话，并在接收到用户的挂机指令时，挂断电话。
与上述实施例一相对应，本申请实施例还公开了一种模型训练装置，如图12所示，该装置包括：
语料获取单元1201，用于获取真人语音对话语料；
样本生成单元1202，用于遍历所述真人语音对话语料中的每轮对话数据，基于该轮对话数据，生成训练样本，并基于所述训练样本，构建真人对话训练样本集合和机器对话训练样本集合；其中，每个所述训练样本集合包括文本训练样本、语音训练样本和情感训练样本；
第一训练单元1203，用于利用所述训练样本，分别对人工智能对话识别模型中的文本判别器、语音判别器和情感检测器进行训练；
第二训练单元1204，用于利用所述训练样本集合，对所述文本判别器、所述语音判别器和所述情感检测器各自对应的概率权重参数进行训练，得到所述人工智能对话识别模型中用于计算最终识别概率的概率权重参数。
与上述实施例二相对应，本申请实施例还公开了一种人工智能对话的识别装置，如图13所示，该装置包括：
数据获取单元1301，用于获取与对话对象进行一轮交互的对话数据；
第一识别单元1302，用于如果所述交互的类型为语音交互，则将所述对话数据输入至预先训练的人工智能对话识别模型处理，得到所述对话对象为机器的概率并输出；其中，所述人工智能对话识别模型基于前述任一训练方法得到；
第二识别单元1303，用于如果所述交互的类型为文本交互，则将所述对话数据输入至所述人工智能对话识别模型中的文本判别器处理，得到所述对话对象为机器的概率并输出。
此外，基于上述实施例一，本申请实施例还公开了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如前所述的模型训练方法的步骤。
相应的，本申请实施例还公开了一种电子设备，包括如前所述的非易失性计算机可读存储介质、以及可访问所述非易失性计算机可读存储介质的所述处理器。
基于上述实施例二，本申请实施例还公开了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如前所述的人工智能对话的识别方法的步骤。
相应的本申请实施例还公开了一种电子设备，包括如前所述的非易失性计算机可读存储介质、以及可访问所述非易失性计算机可读存储介质的所述处理器。
上述实施例中，存储器具体可以实施为电可擦可编程只读存储器(EEPROM)、快闪存储器(Flash memory)、可编程程序只读存储器(PROM)等多种存储介质。处理器可以实施为包括一或多个中央处理器或一或多个现场可编程门阵列，其中现场可编程门阵列集成一或多个中央处理器核。具体地，中央处理器或中央处理器核可以实施为CPU或MCU。
需要说明的是，上述各流程和各结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。各模块的划分仅仅是为了便于描述采用的功能上的划分，实际实现时，一个模块可以分由多个模块实现，多个模块的功能也可以由同一个模块实现，这些模块可以位于同一个设备中，也可以位于不同的设备中。
各实施方式中的硬件模块可以以机械方式或电子方式实现。例如，一个硬件模块可以包括专门设计的永久性电路或逻辑器件(如专用处理器，如FPGA或ASiC)用于完成特定的操作。硬件模块也可以包括由软件临时配置的可编程逻辑器件或电路(如包括通用处理器或其它可编程处理器)用于执行特定操作。至于具体采用机械方式，或是采用专用的永久性电路，或是采用临时配置的电路(如由软件进行配置)来实现硬件模块，可以根据成本和时间上的考虑来决定。
用于提供程序代码的存储介质实施方式包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机或云上下载程序代码。
在本文中，“示意性”表示“充当实例、例子或说明”，不应将在本文中被描述为“示意性”的任何图示、实施方式解释为一种更优选的或更具优点的技术方案。为使图面简洁，各图中的只示意性地表示出了与本发明相关部分，而并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”并不表示将本发明相关部分的数量限制为“仅此一个”，并且“一个”不表示排除本发明相关部分的数量“多于一个”的情形。在本文中，“上”、“下”、“前”、“后”、“左”、“右”、“内”、“外”等仅用于表示相关部分之间的相对位置关系，而非限定这些相关部分的绝对位置。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (19)

1.一种模型训练方法，其特征在于，包括：
获取真人语音对话语料；
遍历所述真人语音对话语料中的每轮对话数据，基于该轮对话数据，生成训练样本，并基于所述训练样本，构建真人对话训练样本集合和机器对话训练样本集合；其中，每个所述训练样本集合包括文本训练样本、语音训练样本和情感训练样本；
利用所述训练样本，分别对人工智能对话识别模型中的文本判别器、语音判别器和情感检测器进行训练；
利用所述训练样本集合，对所述人工智能对话识别模型的权重概率计算层进行训练，得到所述人工智能对话识别模型中用于计算最终识别概率的概率权重参数；所述概率权重参数包括所述文本判别器、所述语音判别器和所述情感检测器各自对应的概率权重参数；
其中，所述机器对话训练样本集合中文本训练样本的构建包括：
基于一轮对话中先讲话方的文本特征序列ot对应的原始文本数据，利用AI对话生成器，生成对应的机器人对话的特征序列rt'，基于所述文本特征序列ot和所述特征序列rt'，构建文本训练样本，并加入相应对话数据的机器对话训练样本集合；
所述机器对话训练样本集合中语音训练样本的构建包括：
基于一轮对话中先讲话方关于预设发音相关声学特征的特征序列os对应的原始对话数据，利用AI对话生成器，生成对应的机器人对话特征序列rs'，基于所述机器人对话特征序列rs'，构建语音训练样本，并加入相应对话数据的机器对话训练样本集合；
所述机器对话训练样本集合中情感训练样本的构建包括：
基于一轮对话中先讲话方关于预设情感相关声学特征的特征序列of对应的原始对话数据，利用AI对话生成器，生成对应的机器人对话特征序列rf'，基于所述机器人对话特征序列rf'，构建情感训练样本，并加入相应对话数据的机器对话训练样本集合；所述对所述人工智能对话识别模型的权重概率计算层进行训练包括：
将所述训练样本集合Sk中的文本训练样本，输入至所述文本判别器处理，得到对话对象为机器的第一概率；
将所述训练样本集合Sk中的语音训练样本，输入至所述语音判别器处理，得到语音来源为机器的第二概率；
将所述训练样本集合Sk中的情感训练样本，输入至所述情感检测器处理，得到训练样本携带每种预设情感的情感概率，并基于香农信息熵和所述情感概率，得到语音来源为机器的第三概率；
利用所述文本判别器、所述语音判别器和所述情感检测器各自对应的概率权重参数，对所述第一概率、所述第二概率和所述第三概率进行加权计算，得到第四概率，将所述第四概率作为所述人工智能对话识别模型本次训练的最终识别概率；
根据所述第四概率和所述训练样本集合Sk对应的期望值，对所述概率权重参数进行反馈调整。
2.根据权利要求1所述的方法，其特征在于，所述基于香农信息熵和所述情感概率，得到语音来源为机器的第三概率包括：
基于所述情感概率，计算得到香农信息熵H(X)；其中，P(x)表示训练样本携带第x种情感的情感概率；N表示情感种类数量；
基于所述H(X)，计算P3＝H(X)/Hmax(X)，得到所述第三概率P3；其中，所述Hmax(X)表示情感种类数量为N时的最大香农信息熵。
3.根据权利要求2所述的方法，其特征在于，所述情感包括：
悲伤、愤怒、惊奇、恐惧、喜悦、仇恨和/或平静。
4.根据权利要求1所述的方法，其特征在于，所述文本训练样本的生成包括：
将一轮对话数据转化为文本数据；
从所述文本数据中提取出对话双方各自对应的文本特征序列ot和rt；
将所述文本数据中与所述特征序列ot对应的文本数据，输入至人工智能AI对话生成器，得到与所述特征序列ot对应的机器人对话特征序列rt'；
基于所述文本特征序列ot和rt，构建第一文本训练样本，并加入相应对话数据的真人对话训练样本集合；所述第一文本训练样本包括序列[ot:rt]和期望值参数y＝0；y表示对话对象为机器的概率；
基于所述文本特征序列ot和rt'，构建第二文本训练样本，并加入相应对话数据的机器对话训练样本集合；所述第二文本训练样本包括序列[ot:rt']和期望值参数y＝1。
5.根据权利要求1所述的方法，其特征在于，所述语音训练样本的生成包括：
从一轮对话数据中，提取出对话双方各自关于预设发音相关声学特征的特征序列os和rs；
将所述特征序列os对应的原始对话数据输入至AI对话生成器，得到与所述特征序列os对应的机器人对话特征序列rs'；
基于所述特征序列os和rs，构建第一语音训练样本，并加入相应对话数据的真人对话训练样本集合；所述第一语音训练样本为语音序列[os:rs:y＝0]；其中，y表示语音来源为机器的概率；
基于所述特征序列rs'，构建第二语音训练样本，并加入相应对话数据的机器对话训练样本集合；所述第二语音训练样本为语音序列[rs':y＝1]。
6.根据权利要求5所述的方法，其特征在于，所述发音相关声学特征包括：
短时能量Short time energy特征、基频结构Fundamental Frequency Construction特征、短时过零率ZCR特征、共振峰Formant特征和梅尔频率倒谱系数MFCC特征。
7.根据权利要求1所述的方法，其特征在于，所述情感训练样本的生成包括：
从一轮对话数据中，提取出对话双方各自关于预设情感相关声学特征的特征序列of和rf；
将所述特征序列of对应的原始对话数据，输入至AI对话生成器，得到与所述特征序列os对应的机器人对话特征序列rf'；
基于所述特征序列of，构建第一情感训练样本，并加入相应对话数据的真人对话训练样本集合；其中，所述第一情感训练样本为情感序列[of:e]，e表示情感分类标签；
基于所述特征序列rf，构建第二情感训练样本；其中，所述第二情感训练样本为情感序列[rf:e]；
基于所述特征序列rf'，构建第三情感训练样本，并加入相应对话数据的机器对话训练样本集合；其中，所述第三情感训练样本为情感序列[rf']。
8.根据权利要求7所述的方法，其特征在于，所述情感相关声学特征包括：
语音发音的时间差异Time construction特征、语音信号的幅度构建Amplitudeconstruction特征、基频结构Fundamental Frequency Construction特征和梅尔频率倒谱系数MFCC特征。
9.一种人工智能对话的识别方法，其特征在于，包括：
获取与对话对象进行一轮交互的对话数据；
将所述对话数据输入至预先训练的人工智能对话识别模型处理，得到所述对话对象为机器的概率并输出；其中，所述人工智能对话识别模型基于权利要求1至8任一项所述模型训练方法得到；所述处理包括：
如果所述交互的类型为语音交互，则利用所述人工智能对话识别模型中的文本判别器、语音判别器、情感检测器和权重概率计算层，对所述对话数据进行处理，得到所述对话对象为机器的概率；
如果所述交互的类型为文本交互，则利用所述人工智能对话识别模型中的文本判别器对所述对话数据进行处理，得到所述对话对象为机器的概率。
10.根据权利要求9所述的方法，其特征在于，所述方法进一步包括：
当所述交互的类型为语音交互，且所述对话对象为机器的概率小于预设第一阈值时，输出提示信息；其中，所述提示信息用于提醒用户降低说话语速、咬字清晰和/或降低语义难度。
11.根据权利要求9所述的方法，其特征在于，所述方法进一步包括：
当所述对话对象为机器的概率在预设的模糊阈值范围内时，从预设的建议问题库中选择一问题并输出提示信息，并触发基于新一轮交互的对话数据，利用所述人工智能对话识别模型，确定所述对话对象为机器的概率；所述提示信息用于提醒用户向对话对象询问所选择的问题。
12.根据权利要求9所述的方法，其特征在于，所述方法进一步包括：
在输出所述对话对象为机器的概率之后，输出识别结果是否正确的询问信息；
当接收到用户的识别结果有误的反馈信息时，触发基于所述对话数据、所述对话对象为机器的概率以及所述反馈信息，对所述人工智能对话识别模型进行再训练。
13.根据权利要求9所述的方法，其特征在于，所述方法进一步包括：
当所述交互的类型为语音交互，且所述对话数据为用户的自动接听电话工具与所述对话对象之间交互的语音数据时，如果所述对话对象为机器的概率小于预设的真人阈值，则输出用于提醒用户接听电话的提示信息；否则，触发用户确认是否需要挂断电话，并在接收到用户的挂机指令时，挂断电话。
14.一种模型训练装置，其特征在于，包括：
语料获取单元，用于获取真人语音对话语料；
样本生成单元，用于遍历所述真人语音对话语料中的每轮对话数据，基于该轮对话数据，生成训练样本，并基于所述训练样本，构建真人对话训练样本集合和机器对话训练样本集合；其中，每个所述训练样本集合包括文本训练样本、语音训练样本和情感训练样本；所述机器对话训练样本集合中文本训练样本的构建包括：基于一轮对话中先讲话方的文本特征序列ot对应的原始文本数据，利用AI对话生成器，生成对应的机器人对话的特征序列rt'，基于所述文本特征序列ot和所述特征序列rt'，构建文本训练样本，并加入相应对话数据的机器对话训练样本集合；所述机器对话训练样本集合中语音训练样本的构建包括：基于一轮对话中先讲话方关于预设发音相关声学特征的特征序列os对应的原始对话数据，利用AI对话生成器，生成对应的机器人对话特征序列rs'，基于所述机器人对话特征序列rs'，构建语音训练样本，并加入相应对话数据的机器对话训练样本集合；所述机器对话训练样本集合中情感训练样本的构建包括：基于一轮对话中先讲话方关于预设情感相关声学特征的特征序列of对应的原始对话数据，利用AI对话生成器，生成对应的机器人对话特征序列rf'，基于所述机器人对话特征序列rf'，构建情感训练样本，并加入相应对话数据的机器对话训练样本集合；
第一训练单元，用于利用所述训练样本，分别对人工智能对话识别模型中的文本判别器、语音判别器和情感检测器进行训练；
第二训练单元，用于利用所述训练样本集合，对所述文本判别器、所述语音判别器和所述情感检测器各自对应的概率权重参数进行训练，得到所述人工智能对话识别模型中用于计算最终识别概率的概率权重参数；其中，所述训练包括：将所述训练样本集合Sk中的文本训练样本，输入至所述文本判别器处理，得到对话对象为机器的第一概率；将所述训练样本集合Sk中的语音训练样本，输入至所述语音判别器处理，得到语音来源为机器的第二概率；将所述训练样本集合Sk中的情感训练样本，输入至所述情感检测器处理，得到训练样本携带每种预设情感的情感概率，并基于香农信息熵和所述情感概率，得到语音来源为机器的第三概率；利用所述文本判别器、所述语音判别器和所述情感检测器各自对应的概率权重参数，对所述第一概率、所述第二概率和所述第三概率进行加权计算，得到第四概率，将所述第四概率作为所述人工智能对话识别模型本次训练的最终识别概率；根据所述第四概率和所述训练样本集合Sk对应的期望值，对所述概率权重参数进行反馈调整。
15.一种人工智能对话的识别装置，其特征在于，包括：
数据获取单元，用于获取与对话对象进行一轮交互的对话数据；
第一识别单元，用于如果所述交互的类型为语音交互，则将所述对话数据输入至预先训练的人工智能对话识别模型处理，得到所述对话对象为机器的概率并输出；其中，所述人工智能对话识别模型基于权利要求1至8任一项所述模型训练方法得到；
第二识别单元，用于如果所述交互的类型为文本交互，则将所述对话数据输入至所述人工智能对话识别模型中的文本判别器处理，得到所述对话对象为机器的概率并输出。
16.一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如权利要求1至8任一项所述模型训练方法的步骤。
17.一种电子设备，其特征在于，包括如权利要求16所述的非易失性计算机可读存储介质、以及可访问所述非易失性计算机可读存储介质的所述处理器。
18.一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如权利要求9至13任一项所述人工智能对话的识别方法的步骤。
19.一种电子设备，其特征在于，包括如权利要求18所述的非易失性计算机可读存储介质、以及可访问所述非易失性计算机可读存储介质的所述处理器。
CN202011588096.XA 2020-12-29 2020-12-29 模型训练方法和装置及人工智能对话的识别方法和装置 Active CN112735431B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011588096.XA CN112735431B (zh) 2020-12-29 2020-12-29 模型训练方法和装置及人工智能对话的识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011588096.XA CN112735431B (zh) 2020-12-29 2020-12-29 模型训练方法和装置及人工智能对话的识别方法和装置

Publications (2)

Publication Number Publication Date
CN112735431A CN112735431A (zh) 2021-04-30
CN112735431B true CN112735431B (zh) 2023-12-22

Family

ID=75607073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011588096.XA Active CN112735431B (zh) 2020-12-29 2020-12-29 模型训练方法和装置及人工智能对话的识别方法和装置

Country Status (1)

Country Link
CN (1) CN112735431B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114528849A (zh) * 2022-01-20 2022-05-24 浙江百应科技有限公司 基于对话数据识别有效文本的方法、系统、装置和介质
CN115579000B (zh) * 2022-12-07 2023-03-03 中诚华隆计算机技术有限公司 一种用于语音识别芯片的智能修正方法及系统
CN117238275B (zh) * 2023-08-24 2024-03-19 北京邮电大学 基于常识推理的语音合成模型训练方法、装置及合成方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108281158A (zh) * 2018-01-12 2018-07-13 平安科技（深圳）有限公司 基于深度学习的语音活体检测方法、服务器及存储介质
CN109243492A (zh) * 2018-10-28 2019-01-18 国家计算机网络与信息安全管理中心 一种语音情感识别系统及识别方法
CN110223429A (zh) * 2019-06-19 2019-09-10 上海应用技术大学 语音门禁系统
CN110769425A (zh) * 2019-09-18 2020-02-07 平安科技（深圳）有限公司 异常通话对象的判断方法、装置、计算机设备和存储介质
CN111243569A (zh) * 2020-02-24 2020-06-05 浙江工业大学 基于生成式对抗网络的情感语音自动生成方法及装置
JP2020160418A (ja) * 2019-03-25 2020-10-01 紅 沈 振込詐欺や強盗、空き巣のためのアポ電など音声通話による犯罪行為の事前防止システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7386105B2 (en) * 2005-05-27 2008-06-10 Nice Systems Ltd Method and apparatus for fraud detection
EP3794473A1 (en) * 2018-08-06 2021-03-24 Google LLC Captcha automated assistant

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108281158A (zh) * 2018-01-12 2018-07-13 平安科技（深圳）有限公司 基于深度学习的语音活体检测方法、服务器及存储介质
CN109243492A (zh) * 2018-10-28 2019-01-18 国家计算机网络与信息安全管理中心 一种语音情感识别系统及识别方法
JP2020160418A (ja) * 2019-03-25 2020-10-01 紅 沈 振込詐欺や強盗、空き巣のためのアポ電など音声通話による犯罪行為の事前防止システム
CN110223429A (zh) * 2019-06-19 2019-09-10 上海应用技术大学 语音门禁系统
CN110769425A (zh) * 2019-09-18 2020-02-07 平安科技（深圳）有限公司 异常通话对象的判断方法、装置、计算机设备和存储介质
CN111243569A (zh) * 2020-02-24 2020-06-05 浙江工业大学 基于生成式对抗网络的情感语音自动生成方法及装置

Also Published As

Publication number Publication date
CN112735431A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN112735431B (zh) 模型训练方法和装置及人工智能对话的识别方法和装置
CN103928023B (zh) 一种语音评分方法及系统
CN105632501B (zh) 一种基于深度学习技术的自动口音分类方法及装置
Aloufi et al. Emotionless: Privacy-preserving speech analysis for voice assistants
US11562739B2 (en) Content output management based on speech quality
US11133025B2 (en) Method and system for speech emotion recognition
CN109155132A (zh) 说话者验证方法和系统
CN108806667A (zh) 基于神经网络的语音与情绪的同步识别方法
CN104538043A (zh) 一种通话中实时情感提示装置
CN102938252B (zh) 结合韵律和发音学特征的汉语声调识别系统及方法
CN106653002A (zh) 一种文字直播方法及平台
CN114420169B (zh) 情绪识别方法、装置及机器人
CN109003600B (zh) 消息处理方法及装置
Patni et al. Speech emotion recognition using MFCC, GFCC, chromagram and RMSE features
CN112735404A (zh) 一种语音反讽检测方法、系统、终端设备和存储介质
KR20180057970A (ko) 음성감성 인식 장치 및 방법
Kumar et al. Machine learning based speech emotions recognition system
Shah et al. Controlling email system using audio with speech recognition and text to speech
Kanabur et al. An extensive review of feature extraction techniques, challenges and trends in automatic speech recognition
CN115148185A (zh) 语音合成方法及装置、电子设备及存储介质
US20210327415A1 (en) Dialogue system and method of controlling the same
CN116597858A (zh) 语音口型匹配方法、装置、存储介质及电子设备
CN113724693B (zh) 语音判别方法、装置、电子设备及存储介质
CN111402887A (zh) 一种语音转义文字的方法及装置
Schwenker et al. The GMM-SVM supervector approach for the recognition of the emotional status from speech

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant