CN108053826B - 用于人机交互的方法、装置、电子设备及存储介质 - Google Patents

用于人机交互的方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN108053826B
CN108053826B CN201711261065.1A CN201711261065A CN108053826B CN 108053826 B CN108053826 B CN 108053826B CN 201711261065 A CN201711261065 A CN 201711261065A CN 108053826 B CN108053826 B CN 108053826B
Authority
CN
China
Prior art keywords
emotion
voice
index
parameters
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711261065.1A
Other languages
English (en)
Other versions
CN108053826A (zh
Inventor
李夫路
周雄志
樊芃
陈晓蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taikang Insurance Group Co Ltd
Original Assignee
Taikang Insurance Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taikang Insurance Group Co Ltd filed Critical Taikang Insurance Group Co Ltd
Priority to CN201711261065.1A priority Critical patent/CN108053826B/zh
Publication of CN108053826A publication Critical patent/CN108053826A/zh
Application granted granted Critical
Publication of CN108053826B publication Critical patent/CN108053826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Translation (AREA)

Abstract

本发明实施例提供了一种用于人机交互的方法、装置、电子设备及存储介质,涉及计算机技术领域。该方法包括:获取第一对象和第二对象的语音信息,其中,所述第一对象包括智能系统,所述第二对象包括用户;将所述第一对象的语音信息输入第一情感分析模型以获取第一情感指数;将所述第二对象的语音信息输入第二情感分析模型以获取第二情感指数;根据所述第一情感指数和所述第二情感指数确定系统参数;以及根据所述系统参数调整人机交互策略。本发明实施例提高了确定人机交互中交互策略的准确率和效率。

Description

用于人机交互的方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及计算机技术领域,具体而言,涉及一种用于人机交互的方法、用于人机交互的装置、电子设备以及计算机可读存储介质。
背景技术
随着智能系统的快速发展,用户对客服的服务质量的要求也越来越高。因此在用户和客服进行交互过程中,客服的回复信息逐渐成为影响用户体验的重要因素。
相关技术中的客服一般通过人工客服或者是某一特定垂直领域的智能问答系统,例如小冰聊天机器人、Alexa智能家居助手语音机器人等,与用户之间进行沟通和交互。
其中,人工客服效率太低且成本太高;特定垂直领域的智能问答智能系统和用户在实时交互过程中,仅仅从用户角度进行情感计算和行为分析,生成的回复信息以及交互策略准确性较差,从而导致用户体验感较差。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本发明实施例的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明实施例的目的在于提供一种用于人机交互的方法、用于人机交互的装置、电子设备以及计算机可读存储介质,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的智能问答中交互效率低和交互策略准确性差的问题。
本发明实施例的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本发明实施例的实践而习得。
根据本发明实施例的一个方面,提供一种用于人机交互的方法,包括:获取第一对象和第二对象的语音信息,其中,所述第一对象包括智能系统,所述第二对象包括用户;将所述第一对象的语音信息输入第一情感分析模型以获取第一情感指数;将所述第二对象的语音信息输入第二情感分析模型以获取第二情感指数;根据所述第一情感指数和所述第二情感指数确定系统参数;以及根据所述系统参数调整人机交互策略。
可选地,还包括:通过所述第一对象的语音特征与语音内容构建所述第一情感分析模型;通过所述第二对象的语音特征构建所述第二情感分析模型。
可选地,通过所述第一对象的语音特征与语音内容构建所述第一情感分析模型,包括:
Q1=F+G;
F=a1x1+a2x2+...+anxn
G=b1y1+b2y2+...+bnyn
其中,Q1为所述第一情感指数,F为所述第一对象的语音特征,G为所述第一对象的语音内容,x1至xn为所述第一对象的语音特征的特征参数,y1至yn为所述第一对象的语音内容的特征参数,a1至an与b1至bn为的所述第一情感指数的权重参数。
可选地,通过所述第二对象的语音特征构建所述第二情感分析模型,包括:
Q2=H;
H=c1z1+c2z2+...+cnzn
其中,Q2为所述第二情感指数,H为所述第二对象的语音特征,z1至zn为所述第二对象的语音特征的特征参数,c1至cn为所述第二对象的权重参数。
可选地,还包括:将所述第一对象以及所述第二对象的语音特征的数值概率分布分别与所述第一对象以及所述第二对象的语音特征对应的数值区间进行量化,以得到区间量化结果。
可选地,还包括:根据所述区间量化结果确定与各所述数值区间对应的权重参数;对各所述数值区间对应的所述权重参数按照均匀分布进行初始化;以及根据用户反馈信息自动更新各所述数值区间对应的所述权重参数。
可选地,获取第一对象和第二对象的语音信息包括:通过语音频段过滤器获取预设频段的所述第一对象和所述第二对象的语音信息。
可选地,根据所述第一情感指数和所述第二情感指数确定系统参数,包括:根据所述第一情感指数和所述第二情感指数确定交互策略参数;和/或根据所述第一情感指数和所述第二情感指数确定用词系统参数。
可选地,根据所述系统参数调整人机交互策略,包括:根据所述交互策略参数确定答复信息中的答复策略以及用词;通过所述答复策略以及用词确定答复信息;以及将所述答复信息发送至语音输出端以进行人机交互。
可选地,所述语音特征的特征参数包括语速、停顿、声量、时长、问答角色转换以及语气中的一个或多个。
可选地,所述语音内容的特征参数包括口语关键词、特性、个性以及风格中的一个或多个。
根据本公开的一个方面,提供一种用于人机交互的装置,包括:语音信息获取模块,用于获取第一对象和第二对象的语音信息,其中,所述第一对象包括智能系统,所述第二对象包括用户;第一指数计算模块,用于将所述第一对象的语音信息输入第一情感分析模型以获取第一情感指数;第二指数计算模块,用于将所述第二对象的语音信息输入第二情感分析模型以获取第二情感指数;系统参数确定模块,用于根据所述第一情感指数和所述第二情感指数确定系统参数;以及交互策略调整模块,用于根据所述系统参数调整人机交互策略。
根据本公开的一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的用于人机交互的方法。
根据本公开的一个方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的用于人机交互的方法。
本发明实施例提供的用于人机交互的方法、用于人机交互的装置、电子设备以及计算机可读存储介质中,通过获取第一对象和第二对象的语音信息,其中,所述第一对象包括智能系统,所述第二对象包括用户;将所述第一对象的语音信息输入第一情感分析模型以获取第一情感指数;将所述第二对象的语音信息输入第二情感分析模型以获取第二情感指数;根据所述第一情感指数和所述第二情感指数确定系统参数;以及根据所述系统参数调整人机交互策略。一方面,可以通过第一对象和第二对象两个维度进行情感计算和行为分析,进而可以根据情感计算结果生成系统参数,并根据系统参数生成对应的答复信息,因此可以提高的答复信息生成的准确率以及提高交互策略的准确性;另一方面,相比于人工客服而言,提高了人机交互的效率,进而提高了用户体验感。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明实施例。
附图说明
通过参照附图来详细描述其示例实施例,本发明实施例的上述和其它特征及优点将变得更加明显。
图1示意性示出本发明实施例的用于人机交互的方法的流程图;
图2示意性示出本发明实施例的用于人机交互的方法的具体流程图;
图3示意性示出本发明实施例中对智能系统进行行为分析的示意图;
图4示意性示出本发明实施例中对用户进行行为分析的示意图;
图5示意性示出本发明实施例中对智能系统和用户进行行为分析的示意图;
图6示意性示出本发明实施例中语音信息获取的示意图;
图7示意性示出本发明实施例的实现人机交互方法的系统平台框架;
图8示意性示出本发明实施例的用于人机交互的装置框图;
图9示意性示出本发明实施例的电子设备的框图;
图10示意性示出本发明实施例的计算机可读存储介质的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以多种形式实施,且不应被理解为限于在此阐述的实施例;相反,提供这些实施例使得本发明实施例将全面和完整,并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本发明实施例的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本发明实施例的技术方案而没有所述特定细节中的一个或更多,或者可以采用其它的方法、组元、材料、装置、步骤等。在其它情况下,不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免模糊本发明实施例的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个软件硬化的模块中实现这些功能实体或功能实体的一部分,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本发明实施例中,首先提供了如图1所示的用于人机交互的方法。接下来结合图1对本示例实施例中所描述的用于人机交互的方法进行详细说明。
在步骤S110中,获取第一对象和第二对象的语音信息,其中,所述第一对象包括智能系统,所述第二对象包括用户。本示例中,系统可以通过语音获取模块例如录音设备或者是其它设备获取第一对象和第二对象的语音信息。其中第一对象例如可以包括任意一种智能系统,例如机器人或者是其他电子设备上的智能系统,第二对象可以包括用户且第二对象可以有多个。
其中,获取第一对象和第二对象的语音信息可以包括:通过语音频段过滤器获取预设频段的所述第一对象和所述第二对象的语音信息。首先可以通过采样模块或者录音设备等对智能问答中的语音信息进行采样,以获取第一对象和第二对象的语音信息。采样频率是指录音设备在一秒钟内对语音的采样次数,采样频率越高,语音的还原度越高。基于此,由于人的语音频率一般为85~3400Hz,因此采样频率可以高于8000Hz,以提高语音采样的准确率。接下来可以通过语音频段过滤器把语音频率分为四个语音频段:F1:85~222Hz、F2:222~583Hz、F3:583~1527Hz、F4:1527~4000Hz。预设频段例如可以为语音信号能量集中的频段,由于语音信号能量集中在F1频段,因此主要计算F1频段的语音音量调制。
在步骤S120中,将所述第一对象的语音信息输入第一情感分析模型以获取第一情感指数。在获取第一对象的语音信息之后,可以将语音信息输入与第一对象对应的第一情感分析模型中进行处理,以根据第一情感分析模型计算并获取第一情感参数。第一情感分析模型例如可以通过神经网络模型进行训练得到,也可以通过其他方式得到,此处不作特殊限定。
进一步地,所述方法还可以包括:通过所述第一对象的语音特征与语音内容构建所述第一情感分析模型。具体而言,语音特征可以用于描述语音信息中的语速、停顿、声量、时长、问答角色转换以及语气等特征,并且可以将这些语音特征用对应的特征参数来表示,该特征参数例如可以为数字。语音内容可以包括获取的第一对象的语音信息中的主要或者关键内容,例如口语关键词、特性、个性以及风格中的一个或多个,并且可以将这些语音内容用对应的特征参数来表示,该特征参数例如可以与语音特征的特征参数格式相同。需要注意的是,语音特征和语音内容不限于本示例中描述的特征。
在步骤S130中,将所述第二对象的语音信息输入第二情感分析模型以获取第二情感指数。在获取第二对象的语音信息之后,可以将所述语音信息输入与所述第二对象对应的第二情感分析模型中进行处理,以根据所述第二情感分析模型计算并获取第二情感参数。第二情感分析模型例如也可以通过神经网络模型进行训练或者通过其他方式得到,此处不作特殊限定。
在步骤S140中,根据所述第一情感指数和所述第二情感指数确定系统参数。本示例中,系统参数可以用于确定与智能问答中语音信息对应的答复信息,进而提高答复信息生成的准确性。系统参数例如可以包括智能问答系统中的交互策略参数以及用词系统参数中的一个或者两个。
其中,交互策略例如可以包括直接匹配模式、随机匹配模式、记忆替代模式、递归推理模式、约束匹配模式等多种模式,并且可以为每种模式配置一个交互策略参数,以根据交互策略参数唯一确定当前选择的交互策略。除此之外,交互策略也可以包括答复最具体、用户体验最优、时间最短,答复最贴切、答复最全面,答复最准确等。
本示例中以不同的模式为例进行说明。例如可以将直接匹配模式的交互策略参数设置为参数1、随机匹配模式的交互策略参数设置为参数2、将记忆替代模式的交互策略参数设置为参数3、将递归推理模式的交互策略参数设置为参数4、将约束匹配模式的交互策略参数设置为参数5。用词系统参数可以与交互策略参数相对应,即每一个交互策略参数可以分别对应一个用词系统参数。例如可以将直接匹配模式的交互策略参数1对应的用词系统参数配置为参数a,将随机匹配模式的交互策略参数2对应的用词系统参数配置为参数b等等。
接下来,在步骤S150中,根据所述系统参数调整人机交互策略。此处的调整人机交互策略例如可以包括调整或者生成与语音信息对应的答复信息。在确定系统参数之后,可以根据该系统参数唯一确定与语音信息对应的答复信息,进而调整人机交互策略。通过这种方式,可以提高人机交互的效率和答复信息生成的准确率,进而提供更准确的人机交互策略。举例而言,在交互策略参数为参数3时,可以确定交互策略为记忆替代模式,此时可以根据配置的用词系统参数c生成对应的答复信息。再举例而言,在语音信息为“你好,我是A”时,如果在交互策略参数为参数3,则可以确定交互策略为记忆替代模式,此时根据用词系统参数c生成的答复信息为“你好A,很高兴认识你”。在交互策略参数为参数3,则可以确定交互策略为递归推理模式,此时根据用词系统参数d生成的答复信息为“你好,我是B”。生成答复信息以及调整交互策略的具体过程可以通过编写程序实现,此处对此不作特殊限定。
通过本示例中描述的用于人机交互的方法,不仅可以提高人机交互的效率,而且可以在人机交互过程中更准确地提供与语音信息对应的交互策略。
图2示出了根据本发明实施例提供的用于人机交互的方法的具体流程示意图,该方法的具体过程例如可以包括:
在步骤S210中,对智能问答的语音采样和特征统计分析。例如可以通过预设频率对智能问答中的所有语音信息进行采样。采样的预设频率例如可以高于8000Hz。
在步骤S220中,对智能问答中智能系统的语言的内容特征统计分析。智能系统例如可以为机器人,可以统计机器人语音内容中的口语关键词、特性、个性或者风格中的一种或多种。
在步骤S230中,基于数值区间量化、随机初始化和基于反馈和数据统计的参数权重自动更新机制的情感计算和分析模型。例如对某一语音特征的数值区间进行区间量化,根据区间量化结果确定一个权重参数并对权重参数进行随机初始化,进而根据用户或者测试反馈对每个权重参数进行自动更新,从而建立准确的情感分析模型。
在步骤S240中,对智能问答交互中人进行情感计算和行为分析。可例如,基于步骤S130中的步骤对智能问答交互中用户进行情感计算和行为分析,在准确确定用户行为的同时保护了用户的个人隐私。
在步骤S250中,对智能问答交互中智能系统进行情感计算和行为分析。可例如,基于步骤S120中的方法对智能问答交互中机器人进行情感计算和行为分析,相比于相关技术而言,可以更全面、更准确地确定交互质量。
在步骤S260中,动态地实时调整智能问答中智能系统的交互策略和问答句子生成用词的系统参数和算法选择。例如可以根据用户反馈或者是测试参数等动态调整人机交互中包括交互策略和句子生成用词的系统参数,使得生成的答复信息更准确。
根据本发明实施例中提供的用于人机交互的方法,可以通过智能系统和用户两个维度进行情感计算和行为分析,进而可以根据情感计算结果生成系统参数,并根据系统参数生成对应的答复信息,可以提高的答复信息生成的效率和准确率,更准确地确定人机交互过程中的交互策略;除此之外,还可以降低人工成本。
图3示出了本发明实施例中对智能系统进行行为分析的流程示意图。
在步骤S310中,获取第一对象的语音信息。此处第一对象可以包括智能系统,例如机器人。语音信息可以为第一对象当前发出的最新语音信息。
在步骤S320中,分析语音特征。语音特征例如可以包括第一对象的语音信息的语速、停顿、声量、时长、问答角色转换以及语气中的一种或多种。
在步骤S330中,分析语音内容。语音内容例如可以包括第一对象语音信息中常用口语关键词、特性、个性、风格中的一种或多种。
在步骤S340中,通过语音特征和语音内容两个维度构建第一情感分析模型。可以分别将语音特征和语音内容用函数表示,进而可以结合两个函数构建第一情感分析模型。
本示例中,参考图3所示,可以同时通过第一对象的语音特征和语音内容两个维度构建与第一对象对应的第一情感分析模型,以对第一对象的行为表现进行准确分析和判断。
详细而言,可以通过公式(1)构建第一对象的所述第一情感分析模型,进而可以根据第一情感分析模型计算第一对象的第一情感指数。
Q1=F+G;
F=a1x1+a2x2+...+anxn; (1)
G=b1y1+b2y2+...+bnyn
其中,Q1为所述第一情感指数,F为所述第一对象的语音特征,G为所述第一对象的语音内容,x1至xn为所述第一对象的语音特征的特征参数,y1至yn为所述第一对象的语音内容的特征参数,a1至an与b1至bn为所述第一情感指数的权重参数。
需要注意的是,第一情感指数可以用于表示对智能问答过程中的交互满意度,第一情感指数的取值区间为0~100,且第一情感指数与交互满意度正相关,即第一情感指数越大,交互满意度越高。
根据本发明实施例中提供的对智能系统进行行为分析的方法,可以更全面、更准确地确定情感分析模型。
图4示出了本发明实施例中对用户进行行为分析的流程示意图。
在步骤S410中,获取第二对象的语音信息。此处第二对象可以包括用户,语音信息可以为第二对象当前发出的最新语音信息。
在步骤S420中,分析语音特征。语音特征例如可以包括第二对象的语音信息的语速、停顿、声量、时长、问答角色转换以及语气中的一种或多种。
在步骤S430中,通过语音特征构建第二情感分析模型。可以将语音特征用函数表示,函数形式例如可以与第一对象的语音特征函数相同。需要注意的是,此处只可以通过第二对象的语音特征构建第二情感分析模型,以保护用户的个人隐私。
具体而言,语音特征可以与第一对象的语音特征的种类部分一致或者是完全一致。即可以包括第二对象语音信息中的语速、停顿、声量、时长、问答角色转换以及语气等特征,同样地,可以将这些语音特征用数字形式的特征参数来表示。但是语音特征并不限于本示例中描述的特征。需要注意的是,本示例中,只可以通过第二对象的语音特征一个维度构建与第二对象对应的第二情感分析模型,以在对第二对象的行为表现进行准确分析和判断的同时,保护第二对象的个人隐私。
详细而言,可以通过公式(2)构建第二对象的所述第二情感分析模型,进而可以根据第二情感分析模型计算第二对象的第二情感指数。
Figure BDA0001493494820000101
其中,Q2为所述第二情感指数,H为所述第二对象的语音特征,z1至zn为所述第二对象的语音特征的特征参数,c1至cn为所述第二对象的权重参数。
需要注意的是,第二情感指数同样可以用于表示对智能问答过程中的交互满意度,第二情感指数的取值区间为0~100,且第二情感指数与交互满意度正相关,即第二情感指数越大,交互满意度越高。
通过本发明实施例中提供的对用户进行行为分析的方法,可以更全面、更准确地对用户进行情感分析,并且可以保护用户的个人隐私。
图5示出了根据本发明实施例提供的对智能系统和用户进行行为分析的示意图,所述方法可以包括:
在步骤S510中,进行语音采样与特征分析。
在步骤S520中,将语音采样与特征分析的结果传输至路由模块,所述路由模块例如可以为无线路由模块。
在步骤S530中,从语音特征和语音内容两个维度对智能问答中智能系统的情感和行为表现进行分析。
在步骤S540中,从语音特征本身分析智能问答交互中用户的情感指数和行为表现。
在步骤S550中,基于数值区间量化、随机初始化和基于反馈和数据统计的参数权重自动更新机制。
在步骤S560中,动态地实时调整智能问答中人机交互策略和问答句子生成用词的系统参数和算法选择。
除此之外,本示例中的用于人机交互的方法中还可以包括:
将所述第一对象以及所述第二对象的语音特征的数值概率分布分别与所述第一对象以及所述第二对象的语音特征对应的数值区间进行量化,以得到区间量化结果。
具体而言,可以分别对第一对象以及第二对象的语言特征的数值区间进行量化。其中,量化可以理解为将信号的连续取值(或者大量可能的离散取值)近似为有限多个(或较少的)离散值的过程。本示例中,可以根据第一对象以及第二对象的语音特征的数值概率分布,即语音特征变量取值的概率规律对每个语音特征对应的数值区间进行量化以得到区间量化结果,从而提高数值处理的效率。
举例而言,例如某语音特征X,其累积数据或者采样测试得到的数据的分布区间为[a,b],根据语音特征X的数据概率分布,对其相应的数值区间进行量化,具体过程如下:X的数值在[a,a1]区间的概率为n1%,X的数值在[a1,a2]区间的概率为n2%,...,X的数值在[aw,b]区间的概率为nw%且n1%+n2%+…+nw%=1;其中,语音特征的数值区间数量取决于相应数据的概率分布情况,一般数值区间个数为3~5个。
进一步地,在得到区间量化结果的基础上,所述方法还可以包括:
根据所述区间量化结果确定与各所述数值区间对应的权重参数;
对各所述数值区间对应的所述权重参数按照均匀分布进行初始化;以及
根据用户反馈信息自动更新各所述数值区间对应的所述权重参数。
权重参数指的是语音特征的每个数值区间占的比例,举例而言,权重参数可以为任意形式的数字。对于某语音特征X,可以根据其相应的数值区间量化结果,对每个数值区间配置一个对应的权重参数,以用于情感指数的计算,例如:X的数值在[a,a1]区间时的权重参数为w1,X的数值在[a1,a2]区间时的权重参数为w2等。每个数值区间对应的权重参数可以相同,也可以不同。
在为每个数值区间确定权重参数之后,可以对这些权重参数按均匀分布进行随机初始化,例如权重参数属于[0,1]这个区间,则可以通过一个在该区间的产生的随机值例如0.2对每个数值区间的权重参数进行初始化,以提高情感指数计算的速度。
进一步地,可以根据用户反馈信息或者是测试反馈或者是不断累积的数据统计,自动更新每个所述数值区间对应的所述权重参数,以更准确地计算情感指数。
根据本发明实施例中提供的用于人机交互的方法,可以提高答复信息生成的效率和准确率,进而可以提供更准确的交互策略。
图6示出了本发明实施例中语音信息获取的示意图,具体可以包括:
在步骤S610中,进行语音采样。本示例中,例如可以通过采样模块或者录音设备等对智能问答中的所有语音信息进行采样。由于人的语音频率一般为85~3400Hz,因此采样频率可以高于8000Hz,以提高语音采样的准确率。
在步骤S620中,通过频率过滤来聚焦能量集中的频段。具体而言,可以利用语音频段过滤器或者是具有过滤功能的软件对采样的语音频率进行过滤。首先可以将语音频率分为四个语音频段,语音频段主要包括F1:85~222Hz、F2:222~583Hz、F3:583~1527Hz以及F4:1527~4000Hz。其中由于语音信号的大部分能量集中在这一频段,因此主要计算F1频段的语音音量调制。
在步骤S630中,通过男女识别,聚焦不同的频段。
在步骤S640中,男性成人语音频段85~155Hz。
在步骤S650中,女性成人语音频段165~255Hz。
在步骤S660中,通过不断积累的语音数据不断动态调整需要聚焦的频段,分析语音中体现情感指数的相关统计特征。
结合步骤S620至步骤S660来说,可以通过男女聚焦不同的语音频段,例如用户为男性成人,则可以将语音频段聚焦在F1段;如果用户为女性成人,可以将语音频段聚焦在F1以及F2段。通过聚焦到对应的频段,可以更准确地获取语音信息中的特征,进而可以根据语音信息中的例如声量、语气等特征确定情感指数。
本发明实施例中提出的通过频段滤波的方法根据男女不同语音频段的自适应语音采样处理方法,可以更精准地从语音数据中挖掘可以体现情感指数的相关统计特征。
本示例实施例中,还提供了一种用于人机交互的系统平台,如图7所示。所述系统平台例如可以包括语音的采样与特征计算模块710、智能问答对话特征统计模块720、情感计算和分析模型机制模块730以及情感计算与行为表现分析模块740。
其中,语音的采样与特征计算模块710主要用于对智能问答中智能系统和用户的交互语音进行采样和特征计算,包括语速、停顿、声量、语气、激情、沉默等,利用语音频段过滤器把语音频率分为四个语音频段:F1:85~222Hz、F2:222~583Hz、F3:583~1527Hz、F4:1527~4000Hz。其中由于语音信号的大部分能量集中在这一频段,因此主要计算F1频段的语音音量调制,并将相关分析结果发送给智能问答对话特征统计模块。
智能问答对话特征统计模块720可以用于统计对话时长、应答、问答角色转换、成功满意解决或不理想、语调、感情标识等特征,结合语音的采样与特征分析的结果,将分析结果发给情感计算与行为表现分析模块以进行进一步处理。
情感计算和分析模型机制模块730可以用于分别确定问答交互中智能系统的情感计算和分析模型和问答交互中用户的情感计算和分析模型。
情感计算与行为表现分析模块740主要用于将语音分析的各项特征如语速、停顿、声量、语气、激情、沉默等和语言分析的特征统计如常用口语关键词、特性、个性、风格等的标识,通过基于数值区间量化、随机初始化和基于反馈和数据统计的参数权重自动更新机制的情感计算和分析模型进行情感指数的计算和行为分析,根据情感计算的结果动态地实时调整智能问答智能系统的交互策略和问答句子生成用词的系统参数和算法选择。
根据图7中的系统平台,分别对智能系统和用户的行为进行分析,可以提高智能问答智能系统系统对多领域全方位的知识问答的效率,并且提高用户体验满意度。
在此基础上,本发明实施例中还提供了一种用于人机交互的装置800,参考图8所示,所述装置800可以包括:语音信息获取模块801、第一指数计算模块802、第二指数计算模块803、系统参数确定模块804、交互策略调整模块805,其中:
语音信息获取模块801,可以用于获取第一对象和第二对象的语音信息且所述第一对象包括智能系统,所述第二对象包括用户;
第一指数计算模块802,可以用于将所述第一对象的语音信息输入第一情感分析模型以获取第一情感指数;
第二指数计算模块803,可以用于将所述第二对象的语音信息输入第二情感分析模型以获取第二情感指数;
系统参数确定模块804,可以用于根据所述第一情感指数和所述第二情感指数确定系统参数;以及
交互策略调整模块805,可以用于根据所述系统参数调整人机交互策略。
需要注意的是,上述用于人机交互的装置中各模块的具体细节已经在对应的用于人机交互的方法中进行了详细的描述,因此此处不再赘述。
在本发明实施例的示例性实施例中,还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
下面参照图9来描述根据本发明的这种实施方式的电子设备900。图9显示的电子设备900仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示,电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于:上述至少一个处理单元910、上述至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930、显示单元940。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元910执行,使得所述处理单元910执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如,所述处理单元910可以执行如图1所示的步骤S110,获取第一对象和第二对象的语音信息,其中,所述第一对象包括智能系统,所述第二对象包括用户;步骤S120,将所述第一对象的语音信息输入第一情感分析模型以获取第一情感指数;步骤S130,将所述第二对象的语音信息输入第二情感分析模型以获取第二情感指数;步骤S140,根据所述第一情感指数和所述第二情感指数确定系统参数;以及步骤S150,根据所述系统参数调整人机交互策略。
存储单元920可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)9201和/或高速缓存存储单元9202,还可以进一步包括只读存储单元(ROM)9203。
存储单元920还可以包括具有一组(至少一个)程序模块9205的程序/实用工具9204,这样的程序模块9205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线930可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备900也可以与一个或多个外部设备1000(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备900交互的设备通信,和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。并且,电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器960通过总线930与电子设备900的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备900使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本发明实施例实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本发明实施例实施方式的方法。
在本发明实施例的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
参考图10所示,描述了根据本发明的实施方式的用于实现上述方法的程序产品1100,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外,上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本发明实施例的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明实施例的其他实施例。本申请旨在涵盖本发明实施例的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明实施例的一般性原理并包括本发明实施例未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明实施例的真正范围和精神由权利要求指出。
应当理解的是,本发明实施例并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明实施例的范围仅由所附的权利要求来限。

Claims (13)

1.一种用于人机交互的方法,其特征在于,包括:
获取第一对象和第二对象的语音信息,其中,所述第一对象包括智能系统,所述第二对象包括用户;
通过所述第一对象的语音特征与语音内容构建第一情感分析模型;
将所述第一对象的语音信息输入所述第一情感分析模型以获取第一情感指数;
将所述第二对象的语音信息输入第二情感分析模型以获取第二情感指数;
根据所述第一情感指数和所述第二情感指数确定系统参数;以及
根据所述系统参数调整人机交互策略;
其中,通过所述第一对象的语音特征与语音内容构建第一情感分析模型,包括:
Q1=F+G;
F=a1x1+a2x2+…+anxn
G=b1y1+b2y2+…+bnyn
其中,Q1为所述第一情感指数,F为所述第一对象的语音特征,G为所述第一对象的语音内容,x1至xn为所述第一对象的语音特征的特征参数,y1至yn为所述第一对象的语音内容的特征参数,a1至an与b1至bn为所述第一情感指数的权重参数。
2.根据权利要求1所述的方法,其特征在于,还包括:
通过所述第二对象的语音特征构建所述第二情感分析模型。
3.根据权利要求2所述的方法,其特征在于,通过所述第二对象的语音特征构建所述第二情感分析模型,包括:
Q2=H;
H=c1z1+c2z2+…+cnzn
其中,Q2为所述第二情感指数,H为所述第二对象的语音特征,z1至zn为所述第二对象的语音特征的特征参数,c1至cn为所述第二对象的权重参数。
4.根据权利要求1或3所述的方法,其特征在于,还包括:
将所述第一对象以及所述第二对象的语音特征的数值概率分布分别与所述第一对象以及所述第二对象的语音特征对应的数值区间进行量化,以得到区间量化结果。
5.根据权利要求4所述的方法,其特征在于,还包括:
根据所述区间量化结果确定与各所述数值区间对应的权重参数;
对各所述数值区间对应的所述权重参数按照均匀分布进行初始化;以及
根据用户反馈信息自动更新各所述数值区间对应的所述权重参数。
6.根据权利要求1所述的方法,其特征在于,获取第一对象和第二对象的语音信息包括:
通过语音频段过滤器获取预设频段的所述第一对象和所述第二对象的语音信息。
7.根据权利要求1所述的方法,其特征在于,根据所述第一情感指数和所述第二情感指数确定系统参数,包括:
根据所述第一情感指数和所述第二情感指数确定交互策略参数;和/或
根据所述第一情感指数和所述第二情感指数确定用词系统参数。
8.根据权利要求7所述的方法,其特征在于,根据所述系统参数调整人机交互策略,包括:
根据所述交互策略参数确定答复信息中的答复策略以及用词;
通过所述答复策略以及用词确定答复信息;以及
将所述答复信息发送至语音输出端以进行人机交互。
9.根据权利要求1或3所述的方法,其特征在于,所述语音特征的特征参数包括语速、停顿、声量、时长、问答角色转换以及语气中的一个或多个。
10.根据权利要求1所述的方法,其特征在于,所述语音内容的特征参数包括口语关键词、特性、个性以及风格中的一个或多个。
11.一种采用如权利要求1所述用于人机交互的方法的用于人机交互的装置,其特征在于,包括:
语音信息获取模块,用于获取第一对象和第二对象的语音信息,其中,所述第一对象包括智能系统,所述第二对象包括用户;
第一指数计算模块,用于将所述第一对象的语音信息输入第一情感分析模型以获取第一情感指数;
第二指数计算模块,用于将所述第二对象的语音信息输入第二情感分析模型以获取第二情感指数;
系统参数确定模块,用于根据所述第一情感指数和所述第二情感指数确定系统参数;以及
交互策略调整模块,用于根据所述系统参数调整人机交互策略。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-10中任意一项所述的用于人机交互的方法。
13.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1-10中任意一项所述的用于人机交互的方法。
CN201711261065.1A 2017-12-04 2017-12-04 用于人机交互的方法、装置、电子设备及存储介质 Active CN108053826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711261065.1A CN108053826B (zh) 2017-12-04 2017-12-04 用于人机交互的方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711261065.1A CN108053826B (zh) 2017-12-04 2017-12-04 用于人机交互的方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN108053826A CN108053826A (zh) 2018-05-18
CN108053826B true CN108053826B (zh) 2021-01-15

Family

ID=62122224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711261065.1A Active CN108053826B (zh) 2017-12-04 2017-12-04 用于人机交互的方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN108053826B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960403B (zh) * 2018-07-04 2023-07-04 腾讯科技(深圳)有限公司 情感确定方法、计算机可读存储介质及计算机设备
CN111354361A (zh) * 2018-12-21 2020-06-30 深圳市优必选科技有限公司 一种情感交流的方法、系统及机器人
CN111370030A (zh) * 2020-04-03 2020-07-03 龙马智芯(珠海横琴)科技有限公司 语音情感检测方法与装置、存储介质、电子设备
CN112463108B (zh) * 2020-12-14 2023-03-31 美的集团股份有限公司 语音交互处理方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740228A (zh) * 2016-01-25 2016-07-06 云南大学 一种互联网舆情分析方法
CN105760362A (zh) * 2016-02-04 2016-07-13 北京光年无限科技有限公司 一种面向智能机器人的问答评价方法及装置
CN105929964A (zh) * 2016-05-10 2016-09-07 海信集团有限公司 人机交互方法及装置
CN105975536A (zh) * 2016-04-29 2016-09-28 合网络技术(北京)有限公司 网络资源的推荐方法和装置
CN106599998A (zh) * 2016-12-01 2017-04-26 竹间智能科技(上海)有限公司 基于情感特征调整机器人回答的方法及系统
CN106649704A (zh) * 2016-12-20 2017-05-10 竹间智能科技(上海)有限公司 一种智能对话控制方法和系统
CN106956271A (zh) * 2017-02-27 2017-07-18 华为技术有限公司 预测情感状态的方法和机器人
CN107301168A (zh) * 2017-06-01 2017-10-27 深圳市朗空亿科科技有限公司 智能机器人及其情绪交互方法、系统
CN107330418A (zh) * 2017-07-12 2017-11-07 深圳市铂越科技有限公司 一种人机交互方法、机器人系统和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI691929B (zh) * 2016-02-17 2020-04-21 原相科技股份有限公司 互動式服務平台及其運作方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740228A (zh) * 2016-01-25 2016-07-06 云南大学 一种互联网舆情分析方法
CN105760362A (zh) * 2016-02-04 2016-07-13 北京光年无限科技有限公司 一种面向智能机器人的问答评价方法及装置
CN105975536A (zh) * 2016-04-29 2016-09-28 合网络技术(北京)有限公司 网络资源的推荐方法和装置
CN105929964A (zh) * 2016-05-10 2016-09-07 海信集团有限公司 人机交互方法及装置
CN106599998A (zh) * 2016-12-01 2017-04-26 竹间智能科技(上海)有限公司 基于情感特征调整机器人回答的方法及系统
CN106649704A (zh) * 2016-12-20 2017-05-10 竹间智能科技(上海)有限公司 一种智能对话控制方法和系统
CN106956271A (zh) * 2017-02-27 2017-07-18 华为技术有限公司 预测情感状态的方法和机器人
CN107301168A (zh) * 2017-06-01 2017-10-27 深圳市朗空亿科科技有限公司 智能机器人及其情绪交互方法、系统
CN107330418A (zh) * 2017-07-12 2017-11-07 深圳市铂越科技有限公司 一种人机交互方法、机器人系统和存储介质

Also Published As

Publication number Publication date
CN108053826A (zh) 2018-05-18

Similar Documents

Publication Publication Date Title
CN110347792B (zh) 对话生成方法及装置、存储介质、电子设备
CN108053826B (zh) 用于人机交互的方法、装置、电子设备及存储介质
CN112634856B (zh) 语音合成模型训练方法和语音合成方法
CN107818798A (zh) 客服服务质量评价方法、装置、设备及存储介质
KR100826875B1 (ko) 온라인 방식에 의한 화자 인식 방법 및 이를 위한 장치
US20210200948A1 (en) Corpus cleaning method and corpus entry system
CN111312245A (zh) 一种语音应答方法、装置和存储介质
WO2022178969A1 (zh) 语音对话数据处理方法、装置、计算机设备及存储介质
US11842721B2 (en) Systems and methods for generating synthesized speech responses to voice inputs by training a neural network model based on the voice input prosodic metrics and training voice inputs
JP6823809B2 (ja) 対話行為推定方法、対話行為推定装置およびプログラム
WO2021000403A1 (zh) 智能对话系统的语音匹配方法、电子装置、计算机设备
CN111370030A (zh) 语音情感检测方法与装置、存储介质、电子设备
KR20190117840A (ko) 대화 이해 ai 시스템에 의한 고객 상담의 제공 중에 사람 상담 직원으로 하여금 해당 고객을 위한 이후 상담을 진행하도록 전환하는 방법 및 컴퓨터 판독가능 기록 매체
CN113658577A (zh) 一种语音合成模型训练方法、音频生成方法、设备及介质
CN110099332B (zh) 一种音频环境展示方法及装置
KR20210123545A (ko) 사용자 피드백 기반 대화 서비스 제공 방법 및 장치
CN111414748A (zh) 话务数据处理方法及装置
CN112329431A (zh) 音视频数据处理方法、设备及存储介质
CN112017668B (zh) 一种基于实时情感检测的智能语音对话方法、装置和系统
CN112150103B (zh) 一种日程设置方法、装置和存储介质
CN116150324A (zh) 对话模型的训练方法、装置、设备及介质
Williams Evaluating user simulations with the Cramér–von Mises divergence
CN112101046A (zh) 一种基于通话行为的会话分析方法、装置和系统
CN115169367B (zh) 对话生成方法及装置、存储介质
Mital Speech enhancement for automatic analysis of child-centered audio recordings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant