CN111063352B - 基于语音助手的交互方法、装置、电子设备及存储介质 - Google Patents

基于语音助手的交互方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111063352B
CN111063352B CN201911350686.6A CN201911350686A CN111063352B CN 111063352 B CN111063352 B CN 111063352B CN 201911350686 A CN201911350686 A CN 201911350686A CN 111063352 B CN111063352 B CN 111063352B
Authority
CN
China
Prior art keywords
information
determining
audio data
light effect
feedback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911350686.6A
Other languages
English (en)
Other versions
CN111063352A (zh
Inventor
金铭钰
周荣刚
谭北平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Beijing Mininglamp Software System Co ltd
Original Assignee
Beihang University
Beijing Mininglamp Software System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University, Beijing Mininglamp Software System Co ltd filed Critical Beihang University
Priority to CN201911350686.6A priority Critical patent/CN111063352B/zh
Publication of CN111063352A publication Critical patent/CN111063352A/zh
Application granted granted Critical
Publication of CN111063352B publication Critical patent/CN111063352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/453Help systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225Feedback of the input speech

Abstract

本申请提供了一种基于语音助手的交互方法、装置、电子设备及存储介质,该交互方法应用于智能设备,所述语音助手预先安装在所述智能设备上,所述智能设备上设置有指示装置;所述交互方法包括:响应于来自用户的输入操作,获取所述输入操作对应的输入信息;基于所述输入操作对应的输入信息,确定匹配所述输入信息的反馈信息;其中,所述反馈信息至少包括光效信息和反馈音频数据;控制所述语音助手播放所述反馈音频数据,并控制所述指示装置显示所述光效信息。本申请,能够通过语音助手和指示装置反馈不同类型的反馈信息,丰富了智能设备的功能,进而提高了人机交互效率。

Description

基于语音助手的交互方法、装置、电子设备及存储介质
技术领域
本申请涉及智能设备技术领域,具体而言,涉及一种基于语音助手的交互方法、装置、电子设备及存储介质。
背景技术
目前,市面上的智能设备中通常包括智能语音助手,智能语音助手具有与大部分用户聊天的功能,面对用户的音频输入,智能设备中的智能语音助手也可以向用户返回相应的音频信息;
但是,现有的智能语音助手仅能够在音频方面对用户进行回复,功能单一,导致人机交互效率低。
发明内容
有鉴于此,本申请实施例的目的在于提供一种基于语音助手的交互方法、装置、电子设备及存储介质,能够通过语音助手和指示装置返回不同类型的反馈信息,丰富了智能设备的功能,提高人机交互效率。
第一方面,本申请实施例提供了一种基于语音助手的交互方法,应用于智能设备,所述语音助手预先安装在所述智能设备上,所述智能设备上设置有指示装置;所述交互方法包括:
响应于来自用户的输入操作,获取所述输入操作对应的输入信息;
基于所述输入操作对应的输入信息,确定匹配所述输入信息的反馈信息;其中,所述反馈信息至少包括光效信息和反馈音频数据;
控制所述语音助手播放所述反馈音频数据,并控制所述指示装置显示所述光效信息。
在一种可选的实施方式中,所述输入信息包括目标音频数据;所述基于所述输入操作对应的输入信息,确定匹配所述输入信息的反馈信息,包括:
提取所述目标音频数据对应的音频特征;
基于所述目标音频数据对应的音频特征,生成所述目标音频数据对应的目标文本信息;
基于所述目标音频数据对应的目标文本信息,确定匹配所述目标文本信息的反馈信息。
在一种可选的实施方式中,所述基于所述目标音频数据对应的目标文本信息,确定匹配所述目标文本信息的反馈信息,包括:
基于所述目标文本信息中各个分词的分词特征,生成所述目标文本信息对应的语义特征;
基于所述目标文本信息对应的语义特征,确定对应于所述语义特征的第一文本信息和第一情绪类别信息;
基于所述第一文本信息确定第一反馈音频数据,以及基于所述第一情绪类别信息确定第一光效信息;其中,不同的第一情绪类别对应的第一光效信息不同。
在一种可选的实施方式中,所述输入操作包括触摸操作,所述输入信息包括触摸压力值;所述基于所述输入操作对应的输入信息,确定匹配所述输入信息的反馈信息,包括:
基于所述触摸压力值对应的压力值范围,确定匹配所述压力值范围的第二文本信息和第二情绪类别信息;
基于所述第二文本信息确定第二反馈音频数据;以及,基于所述第二情绪类别信息确定第二光效信息;其中,不同的第二情绪类别信息对应的第二光效信息不同。
在一种可选的实施方式中,所述输入操作包括触摸操作,所述输入信息包括用户的体温值;所述基于所述输入操作对应的输入信息,确定匹配所述输入信息的反馈信息,包括:
基于所述体温值对应的温度范围,确定匹配所述温度范围的第三文本信息和第三情绪类别信息;
基于所述第三文本信息确定第三反馈音频数据;以及基于所述第三情绪类别信息确定第三光效信息;其中,不同的第三情绪类别信息对应的第三光效信息不同。
在一种可选的实施方式中,所述控制所述指示装置显示所述光效信息,包括:
基于情绪类别信息或者触摸操作的触控位置,确定所述智能设备的目标位置范围;
控制所述目标位置范围处的所述指示装置显示所述光效信息。
在一种可选的实施方式中,所述光效信息包括以下信息中的一种:颜色信息、亮度信息。
第二方面,本申请实施例还提供了一种基于语音助手的交互装置,驻留于智能设备,所述语音助手预先安装在所述智能设备上,所述智能设备上设置有指示装置;所述交互装置包括:
获取模块,用于响应于来自用户的输入操作,获取所述输入操作对应的输入信息;
确定模块,用于基于所述输入操作对应的输入信息,确定匹配所述输入信息的反馈信息;其中,所述反馈信息至少包括光效信息和反馈音频数据;
控制模块,用于控制所述语音助手播放所述反馈音频数据,并控制所述指示装置显示所述光效信息。
第三方面,本申请实施例还提供了一种电子设备,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如第一方面任一项所述的基于语音助手的交互方法的步骤。
第四方面,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如第一方面任一项所述的基于语音助手的交互方法的步骤。
本申请实施例提供的一种基于语音助手的交互方法、装置、电子设备及存储介质,该交互方法包括:响应于来自用户的输入操作,获取输入操作对应的输入信息;基于输入操作对应的输入信息,确定匹配输入信息的反馈信息,该反馈信息包括光效信息和反馈音频数据;控制语音助手播放反馈音频数据,并控制指示装置显示光效信息。本申请实施例,能够通过语音助手和指示装置反馈不同类型的反馈信息,丰富了智能设备的功能,进而提高了人机交互效率。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种基于语音助手的交互方法的流程图。
图2示出了本申请实施例所提供的另一种基于语音助手的交互方法的流程图。
图3示出了本申请实施例所提供的另一种基于语音助手的交互方法的流程图。
图4示出了本申请实施例所提供的另一种基于语音助手的交互方法的流程图。
图5示出了本申请实施例所提供的另一种基于语音助手的交互方法的流程图。
图6示出了本申请实施例所提供的另一种基于语音助手的交互方法的流程图。
图7示出了本申请实施例所提供的一种基于语音助手的交互装置的结构示意图。
图8示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解,本申请中附图仅起到说明和描述的目的,并不用于限定本申请的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
另外,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
考虑到现有的智能语音助手仅能够对用户进行语音回复,功能单一,进而使得人机交互效率低。基于此,本申请实施例提供了一种能够通过语音助手和指示装置返回不同类型的反馈信息,丰富了智能设备的功能,进而提高了人机交互效率,下面通过实施例进行描述。
如图1所示,为本申请实施例提供的一种基于语音助手的交互方法,应用于智能设备,所述语音助手预先安装在所述智能设备上,所述智能设备上设置有指示装置;所述交互方法包括:
S101、响应于来自用户的输入操作,获取所述输入操作对应的输入信息。
在一种可能的实施方式中,用户的输入操作可以是语音操作,相应的,该输入操作对应的输入信息可以是目标音频数据。
在另一种可能的实施方式中,用户的输入操作可以是对智能设备的触摸操作,相应的,该触摸操作对应的输入信息可以是触摸压力值,也可以是用户的体温值。
S102、基于所述输入操作对应的输入信息,确定匹配所述输入信息的反馈信息;其中,所述反馈信息至少包括光效信息和反馈音频数据。
在本申请实施例中,基于用户的输入信息确定的反馈信息至少包括两种类型的信息,即光效信息和反馈音频数据;这里,上述反馈信息还可以包括文本信息;可选的,该文本信息包括反馈音频数据对应的第一文本信息、基于用户的触摸压力值确定的第二文本信息、基于用户的体温值确定的第三文本信息。其中,智能设备上还设置有显示屏,通过显示屏显示上述第一文本信息、第二文本信息、第三文本信息,比如,在显示屏上显示“谢谢你夸奖我”。
其中,不同的输入信息对应的反馈信息不同;这里,反馈信息不同指的是光效信息不同,或者、反馈音频数据不同,或者上述文本信息不同;其中,上述文本信息不同指的是反馈音频数据对应的第一文本信息不同,或者、基于触摸压力值确定的第二文本信息不同,或者,基于用户的体温值确定的第三文本信息不同。
举例来讲,比如,输入信息为目标音频数据,目标音频数据对应的目标文本信息为“你真聪明”,相应的,反馈信息中光效信息包括:粉红色光效,显示亮度为60;反馈信息中反馈音频数据是:“谢谢你夸奖我”,或者是,“你这么夸奖我,我就不好意思了”。
再比如,输入信息为触摸压力值,触摸压力值对应的压力值范围为:21-30,相应的,反馈信息中光效信息包括:红色光效;显示亮度为100;反馈信息中反馈音频数据是:“真的很痛”或者“轻一点哦,我可是要被保护的”。
再比如,输入信息为用户的体温值,用户的体温值对应的温度范围为:34-36,相应的,反馈信息中光效信息包括:黄色;显示亮度为70;反馈信息中反馈音频数据是:“有点冷啊,要注意保暖哦”或者“天气寒冷,注意不要感冒哦”。
需要说明的是,上述光效信息包括以下信息中的一种:颜色信息、亮度信息。
S103、控制所述语音助手播放所述反馈音频数据,并控制所述指示装置显示所述光效信息。
在本申请实施例中,智能设备可以是智能音箱、智能机器人、智能台灯等智能家居设备,还可以是智能手机、平板电脑、笔记本电脑、台式电脑等。本申请实施例中不对上述智能设备进行具体限定。
其中,以上述智能设备为智能家居设备为例,智能设备的侧边上覆盖有指示装置,该指示装置比如为指示灯,这里指示灯可以呈板状排布,也可以成环形(比如光圈)形状排布。
比如,控制语音助手播放所述反馈音频数据“谢谢你夸奖我”,或者,“你这么夸奖我,我就不好意思了”;或者,控制指示装置在特定区域显示光效信息,比如,控制智能家居设备在侧面对称的两个目标区域以100的亮度显示粉红色光效,以模拟用户被夸奖后害羞脸红的面部表情。
本申请实施例提供的一种基于语音助手的交互方法,响应于来自用户的输入操作,获取输入操作对应的输入信息;基于输入操作对应的输入信息,确定匹配输入信息的反馈信息,该反馈信息包括光效信息和反馈音频数据;控制语音助手播放反馈音频数据,并控制指示装置显示光效信息。本申请实施例,能够通过语音助手和指示装置反馈不同类型的反馈信息,丰富了智能设备的功能,进而提高了人机交互效率。
进一步的,如图2所示,本申请实施例提供的基于语音助手的交互方法中,所述输入信息包括目标音频数据;所述基于所述输入操作对应的输入信息,确定匹配所述输入信息的反馈信息,包括:
S201、提取所述目标音频数据对应的音频特征。
S202、基于所述目标音频数据对应的音频特征,生成所述目标音频数据对应的目标文本信息。
S203、基于所述目标音频数据对应的目标文本信息,确定匹配所述目标文本信息的反馈信息。
结合步骤201至步骤203,用户的输入操作为语音操作,相应的,输入操作对应的输入信息为目标音频数据。在一种可能的实施方式中,智能设备中存储有预先训练好的神经网络模型和语言模型,在获取到用户输入的目标音频数据后,将目标音频数据输入到上述神经网络模型中,获取神经网络模型输出的音频特征;并将目标音频数据对应的音频特征输入到上述语言模型中,获取语言模型输出的目标文本信息,基于该目标文本信息确定匹配上述输入信息(目标音频数据)的反馈信息。
在另一种可能的实施方式中,智能设备配对的服务器中存储有预先训练好的神经网络模型和语言模型,智能设备在获取到用户输入的目标音频数据后,将目标音频数据发送给配对的服务器,服务器将目标音频数据输入到上述神经网络模型中,获取神经网络模型输出的音频特征;并将目标音频数据对应的音频特征输入到上述语言模型中,获取语言模型输出的目标文本信息,并基于该目标文本信息确定匹配上述输入信息(目标音频数据)的反馈信息,然后,将反馈信息反馈给智能设备。
进一步的,如图3所示,本申请实施例提供的基于语音助手的交互方法中,所述基于所述目标音频数据对应的目标文本信息,确定匹配所述目标文本信息的反馈信息,包括:
S301、基于所述目标文本信息中各个分词的分词特征,生成所述目标文本信息对应的语义特征。
在一种可能的实施方式中,智能设备提取目标文本信息中各个分词,并生成各个分词的分词特征,然后,将目标文本信息对应的多个分词特征输入到预先训练好的循环神经网络(Recurrent Neural Network,RNN)模型中,获取RNN模型输出的目标文本信息对应的语义特征。
在另一种可能的实施方式中,智能设备的配对服务器提取目标文本信息中各个分词,并生成各个分词的分词特征,然后,将目标文本信息对应的多个分词特征输入到预先训练好的RNN模型中,获取RNN模型输出的目标文本信息对应的语义特征,并将上述语义特征返回给智能设备。
S302、基于所述目标文本信息对应的语义特征,确定对应于所述语义特征的第一文本信息和第一情绪类别信息。
S303、基于所述第一文本信息确定第一反馈音频数据,以及基于所述第一情绪类别信息确定第一光效信息;其中,不同的第一情绪类别对应的第一光效信息不同。
结合步骤302和步骤303,智能设备本地预存有多个候选第一文本信息,智能设备基于目标文本信息对应的语义特征(即问题语义特征)以及每一个候选第一文本信息对应的语义特征,从多个候选第一文本信息中搜索匹配该语义特征(也即问题语义特征)的第一文本信息,并根据第一文本信息生成第一反馈音频数据。
同时,智能设备本地预存有多个候选第一情绪类别信息,并且,每个候选第一情绪类别信息对应相应的情绪特征,这里,候选第一情绪类别信息包括:愤怒、开心、害羞、惊讶、关心等。智能设备基于目标文本信息对应的语义特征(即问题语义特征)和每个候选第一情绪类别信息对应的情绪特征,搜索匹配该语义特征(即问题语义特征)的第一情绪类别信息,并根据预设的第一情绪类别信息与第一光效信息的映射关系,确定当前第一情绪类别信息对应的第一光效信息;其中,不同的第一情绪类别信息对应的第一光效信息不同。
比如,当语音助手表达害羞或激动的情绪时,模拟人类害羞或激动的表情,对应的第一光效信息可以为粉红色,并且,亮度值较低;当语音助手表达生气或发怒的情绪时,模拟人类生气或发怒的表情,对应的第一光效信息可以为红色,并且,亮度值较高。
举例来讲,目标文本信息对应的语义特征为“身体不适”,智能设备搜索到匹配“身体不适”的第一文本信息为“小可爱,要爱惜身体”,并生成“小可爱,要爱惜身体”对应的第一反馈音频数据;同时,智能设备搜索到匹配“身体不适”的第一情绪类别信息为“关心”,并查找“关心”对应的第一光效信息为黄色,并且,亮度值较低。
进一步的,如图4所示,本申请实施例提供的基于语音助手的交互方法中,所述输入操作包括触摸操作,所述输入信息包括触摸压力值;所述基于所述输入操作对应的输入信息,确定匹配所述输入信息的反馈信息,包括:
S401、基于所述触摸压力值对应的压力值范围,确定匹配所述压力值范围的第二文本信息和第二情绪类别信息。
S402、基于所述第二文本信息确定第二反馈音频数据;以及,基于所述第二情绪类别信息确定第二光效信息;其中,不同的第二情绪类别信息对应的第二光效信息不同。
结合步骤401和至步骤402,智能设备上设置有压力传感器,通过压力传感器,智能设备可以获取因用户的触摸操作产生的触摸压力值。智能设备本地预存有多个第二文本信息,并且,每个第二文本信息对应一个压力值范围,智能设备基于触摸压力值对应的压力值范围,搜索匹配该压力值范围的第二文本信息,并根据第二文本信息生成第二反馈音频数据。
同时,智能设备本地预存有多个第二情绪类别信息,并且,每个第二情绪类别信息对应一个压力值范围。智能设备基于触摸压力值对应的压力值范围,搜索匹配该压力值范围的第二情绪类别信息,并根据预设的第二情绪类别信息与第二光效信息的映射关系,确定当前第二情绪类别信息对应的第二光效信息;其中,不同的第二情绪类别信息对应的第二光效信息不同。
举例来讲,第一压力值范围(1-10)对应的第二文本信息为:“我很听话哦”,对应的第二情绪类别信息为“开心”或者“害羞”;第二压力值范围(11-20)对应的第二文本信息为:“按压力度有点大,有点痛哦”,对应的第二情绪类别信息为“疼痛”;第三压力值范围(21-30)对应的第二文本信息为:“真的很痛”,对应的第二情绪类别信息为“愤怒”。
当智能语音助手被用户触碰到,基于触摸压力值对应的压力值范围,在视觉上反馈第二光效信息以表达当前情绪,同时播放第二反馈音频数据,与用户进行人机交互。
进一步的,如图5所示,本申请实施例提供的基于语音助手的交互方法中,所述输入操作包括触摸操作,所述输入信息包括用户的体温值;所述基于所述输入操作对应的输入信息,确定匹配所述输入信息的反馈信息,包括:
S501、基于所述体温值对应的温度范围,确定匹配所述温度范围的第三文本信息和第三情绪类别信息。
S502、基于所述第三文本信息确定第三反馈音频数据;以及基于所述第三情绪类别信息确定第三光效信息;其中,不同的第三情绪类别信息对应的第三光效信息不同。
结合步骤501和至步骤502,智能设备上设置有温度传感器,通过温度传感器,智能设备可以获取用户触摸智能设备时的体温值。智能设备本地预存有多个第三文本信息,并且,每个第三文本信息对应一个温度范围,智能设备基于用户的体温值对应的温度范围,搜索匹配该温度范围的第三文本信息,并根据第三文本信息生成第三反馈音频数据。
同时,智能设备本地预存有多个第三情绪类别信息,并且,每个第三情绪类别信息对应一个温度范围。智能设备基于用户的体温值对应的温度范围,搜索匹配该温度范围的第三情绪类别信息,并根据预设的第三情绪类别信息与第三光效信息的映射关系,确定当前第三情绪类别信息对应的第三光效信息;其中,不同的第三情绪类别信息对应的第三光效信息不同。
举例来讲,第一温度范围(34-36)对应的第三文本信息为:“有点冷啊,要注意保暖哦”,对应的第三情绪类别信息“关心”或者“担心”;第二温度范围(36-37)对应的第三文本信息为:“真是美好的一天”,对应的第三情绪类别信息为“开心”;第三温度范围(37-40)对应的第三文本信息为:“好烫啊,是不是发烧了”,对应的第三情绪类别信息为“关心”或者“担心”。
当智能语音助手被用户触碰到,基于用户的体温值对应的温度值范围,在视觉上反馈第三光效信息以表达当前情绪,同时播放第三反馈音频数据,与用户进行人机交互。
进一步的,如图6所示,本申请实施例提供的基于语音助手的交互方法中,所述控制所述指示装置显示所述光效信息,包括:
S601、基于情绪类别信息或者触摸操作的触控位置,确定所述智能设备的目标位置范围。
本申请实施例中,当输入信息为目标音频数据时,目标位置范围与目标音频数据对应的第一情绪类别信息相关,不同的第一情绪类别信息对应的目标位置范围不同;当输入操作为触摸操作时,输入信息可以为触摸压力值,目标位置范围与触摸压力值对应的第二情绪类别信息相关,或者与触摸操作的触控位置相关,不同的第二情绪类别信息对应的目标位置范围不同,或者不同的触控位置对应的目标位置范围不同;当输入操作为触摸操作时,输入信息可以为用户的体温值,目标位置范围与用户的体温值对应的第三情绪类别信息相关,或者与触摸操作的触控位置相关,不同的第三情绪类别信息对应的目标位置范围不同,或者不同的触控位置对应的目标位置范围不同。
情绪类别信息包括第一情绪类别信息、第二情绪类别信息、第三情绪类别信息,智能设备本地预存有情绪类别信息与目标位置范围的映射关系,比如“害羞”情绪类别信息对应的目标位置范围在智能设备两侧中间对称的位置呈“圆形”形状,以模拟人的脸颊,“关心”情绪类别信息对应的目标位置范围在智能设备两侧的中心位置呈“心形”形状。
当输入操作为触摸操作时,根据触摸操作对应的触控位置确定目标位置范围,比如,用户用手指触摸了智能设备左侧的中心位置,则将以该中心位置为圆心,以预设长度为半径对应的圆周范围确定为目标位置范围。
S602、控制所述目标位置范围处的所述指示装置显示所述光效信息。
本申请实施例中,将在目标位置范围内的指示装置确定为待显示指示装置,控制待显示指示装置显示光效信息。
本申请实施例提供的一种基于语音助手的交互方法,通过响应于来自用户的输入操作,获取输入操作对应的输入信息;基于输入操作对应的输入信息,确定匹配输入信息的反馈信息,该反馈信息包括光效信息和反馈音频数据;控制语音助手播放反馈音频数据,并控制指示装置显示光效信息。本申请实施例,能够通过语音助手和指示装置反馈不同类型的反馈信息,丰富了智能设备的功能,进而提高了人机交互效率。
基于同一发明构思,本申请实施例中还提供了与基于语音助手的交互方法对应的基于语音助手的交互装置,由于本申请实施例中的装置解决问题的原理与本申请实施例上述基于语音助手的交互方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图7所示,为本申请实施例提供的一种基于语音助手的交互装置,驻留于智能设备,所述语音助手预先安装在所述智能设备上,所述智能设备上设置有指示装置;所述交互装置包括:
获取模块701,用于响应于来自用户的输入操作,获取所述输入操作对应的输入信息;
确定模块702,用于基于所述输入操作对应的输入信息,确定匹配所述输入信息的反馈信息;其中,所述反馈信息至少包括光效信息和反馈音频数据;
控制模块703,用于控制所述语音助手播放所述反馈音频数据,并控制所述指示装置显示所述光效信息。
在一种可选的实施方式中,所述输入信息包括目标音频数据;确定模块702在基于所述输入操作对应的输入信息,确定匹配所述输入信息的反馈信息,包括:
提取所述目标音频数据对应的音频特征;
基于所述目标音频数据对应的音频特征,生成所述目标音频数据对应的目标文本信息;
基于所述目标音频数据对应的目标文本信息,确定匹配所述目标文本信息的反馈信息。
在一种可选的实施方式中,确定模块702在基于所述目标音频数据对应的目标文本信息,确定匹配所述目标文本信息的反馈信息时,包括:
基于所述目标文本信息中各个分词的分词特征,生成所述目标文本信息对应的语义特征;
基于所述目标文本信息对应的语义特征,确定对应于所述语义特征的第一文本信息和第一情绪类别信息;
基于所述第一文本信息确定第一反馈音频数据,以及基于所述第一情绪类别信息确定第一光效信息;其中,不同的第一情绪类别对应的第一光效信息不同。
在一种可选的实施方式中,所述输入操作包括触摸操作,所述输入信息包括触摸压力值;确定模块702基于所述输入操作对应的输入信息,确定匹配所述输入信息的反馈信息时,包括:
基于所述触摸压力值对应的压力值范围,确定匹配所述压力值范围的第二文本信息和第二情绪类别信息;
基于所述第二文本信息确定第二反馈音频数据;以及,基于所述第二情绪类别信息确定第二光效信息;其中,不同的第二情绪类别信息对应的第二光效信息不同。
在一种可选的实施方式中,所述输入操作包括触摸操作,所述输入信息包括用户的体温值;确定模块702在基于所述输入操作对应的输入信息,确定匹配所述输入信息的反馈信息时,包括:
基于所述体温值对应的温度范围,确定匹配所述温度范围的第三文本信息和第三情绪类别信息;
基于所述第三文本信息确定第三反馈音频数据;以及基于所述第三情绪类别信息确定第三光效信息;其中,不同的第三情绪类别信息对应的第三光效信息不同。
在一种可选的实施方式中,控制模块703在控制所述指示装置显示所述光效信息时,包括:
基于情绪类别信息或者触摸操作的触控位置,确定所述智能设备的目标位置范围;
控制所述目标位置范围处的所述指示装置显示所述光效信息。
在一种可选的实施方式中,所述光效信息包括以下信息中的一种:颜色信息、亮度信息。
本申请实施例提供的一种基于语音助手的交互装置,响应于来自用户的输入操作,获取输入操作对应的输入信息;基于输入操作对应的输入信息,确定匹配输入信息的反馈信息,该反馈信息包括光效信息和反馈音频数据;控制语音助手播放反馈音频数据,并控制指示装置显示光效信息。本申请实施例,能够通过语音助手和指示装置反馈不同类型的反馈信息,丰富了智能设备的功能,进而提高了人机交互效率。
如图8所示,本申请实施例提供的一种电子设备800,包括:处理器801、存储器802和总线,所述存储器802存储有所述处理器801可执行的机器可读指令,当电子设备运行时,所述处理器801与所述存储器802之间通过总线通信,所述处理器801执行所述机器可读指令,以执行如上述基于语音助手的交互方法的步骤。
具体地,上述存储器802和处理器801能够为通用的存储器和处理器,这里不做具体限定,当处理器801运行存储器802存储的计算机程序时,能够执行上述基于语音助手的交互方法。
对应于上述基于语音助手的交互方法,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述基于语音助手的交互方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考方法实施例中的对应过程,本申请中不再赘述。在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种基于语音助手的交互方法,其特征在于,应用于智能设备,所述语音助手预先安装在所述智能设备上,所述智能设备上设置有指示装置;所述交互方法包括:
响应于来自用户的输入操作,获取所述输入操作对应的输入信息,其中,所述输入信息包括目标音频数据、触摸压力值、用户的体温值中的一种或多种;
其中,基于所述目标音频数据,确定匹配所述输入信息的反馈信息,包括:提取所述目标音频数据对应的音频特征;基于所述目标音频数据对应的音频特征,生成所述目标音频数据对应的目标文本信息;基于所述目标文本信息中各个分词的分词特征,生成所述目标文本信息对应的语义特征;基于所述目标文本信息对应的语义特征,确定对应于所述语义特征的第一文本信息和第一情绪类别信息;基于所述第一文本信息确定第一反馈音频数据,以及基于所述第一情绪类别信息确定第一光效信息;其中,不同的第一情绪类别对应的第一光效信息不同;
其中,基于所述触摸压力值,确定匹配所述输入信息的反馈信息,包括:基于所述触摸压力值对应的压力值范围,确定匹配所述压力值范围的第二文本信息和第二情绪类别信息;基于所述第二文本信息确定第二反馈音频数据;以及,基于所述第二情绪类别信息确定第二光效信息;其中,不同的第二情绪类别信息对应的第二光效信息不同;
其中,基于所述用户的体温值,确定匹配所述输入信息的反馈信息,包括:基于所述体温值对应的温度范围,确定匹配所述温度范围的第三文本信息和第三情绪类别信息;基于所述第三文本信息确定第三反馈音频数据;以及基于所述第三情绪类别信息确定第三光效信息;其中,不同的第三情绪类别信息对应的第三光效信息不同;
控制所述语音助手播放所述反馈音频数据,并控制所述指示装置显示所述光效信息。
2.根据权利要求1所述的基于语音助手的交互方法,其特征在于,所述控制所述指示装置显示所述光效信息,包括:
基于情绪类别信息或者触摸操作的触控位置,确定所述智能设备的目标位置范围;
控制所述目标位置范围处的所述指示装置显示所述光效信息。
3.根据权利要求1所述的基于语音助手的交互方法,其特征在于,所述光效信息包括以下信息中的一种:颜色信息、亮度信息。
4.一种基于语音助手的交互装置,其特征在于,驻留于智能设备,所述语音助手预先安装在所述智能设备上,所述智能设备上设置有指示装置;所述交互装置包括:
获取模块,用于响应于来自用户的输入操作,获取所述输入操作对应的输入信息,其中,所述输入信息包括目标音频数据、触摸压力值、用户的体温值中的一种或多种;
确定模块,基于所述目标音频数据,确定匹配所述输入信息的反馈信息,包括:提取所述目标音频数据对应的音频特征;基于所述目标音频数据对应的音频特征,生成所述目标音频数据对应的目标文本信息;基于所述目标文本信息中各个分词的分词特征,生成所述目标文本信息对应的语义特征;基于所述目标文本信息对应的语义特征,确定对应于所述语义特征的第一文本信息和第一情绪类别信息;基于所述第一文本信息确定第一反馈音频数据,以及基于所述第一情绪类别信息确定第一光效信息;其中,不同的第一情绪类别对应的第一光效信息不同;
基于所述触摸压力值,确定匹配所述输入信息的反馈信息,包括:基于所述触摸压力值对应的压力值范围,确定匹配所述压力值范围的第二文本信息和第二情绪类别信息;基于所述第二文本信息确定第二反馈音频数据;以及,基于所述第二情绪类别信息确定第二光效信息;其中,不同的第二情绪类别信息对应的第二光效信息不同;
基于所述用户的体温值,确定匹配所述输入信息的反馈信息,包括:基于所述体温值对应的温度范围,确定匹配所述温度范围的第三文本信息和第三情绪类别信息;基于所述第三文本信息确定第三反馈音频数据;以及基于所述第三情绪类别信息确定第三光效信息;其中,不同的第三情绪类别信息对应的第三光效信息不同;
控制模块,用于控制所述语音助手播放所述反馈音频数据,并控制所述指示装置显示所述光效信息。
5.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至3任一项所述的基于语音助手的交互方法的步骤。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至3任一项所述的基于语音助手的交互方法的步骤。
CN201911350686.6A 2019-12-24 2019-12-24 基于语音助手的交互方法、装置、电子设备及存储介质 Active CN111063352B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911350686.6A CN111063352B (zh) 2019-12-24 2019-12-24 基于语音助手的交互方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911350686.6A CN111063352B (zh) 2019-12-24 2019-12-24 基于语音助手的交互方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111063352A CN111063352A (zh) 2020-04-24
CN111063352B true CN111063352B (zh) 2023-01-17

Family

ID=70303290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911350686.6A Active CN111063352B (zh) 2019-12-24 2019-12-24 基于语音助手的交互方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111063352B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114697713B (zh) * 2020-12-29 2024-02-06 深圳Tcl新技术有限公司 语音助手控制方法、装置、存储介质及智能电视

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106182032A (zh) * 2016-08-24 2016-12-07 陈中流 一种陪护机器人
CN106599204A (zh) * 2016-12-15 2017-04-26 广州酷狗计算机科技有限公司 多媒体内容推荐方法及装置
CN207489381U (zh) * 2017-11-09 2018-06-12 杨铭一 儿童医院的互动led墙
CN108326855A (zh) * 2018-01-26 2018-07-27 上海器魂智能科技有限公司 一种机器人的交互方法、装置、设备以及存储介质
CN109545212A (zh) * 2018-12-11 2019-03-29 百度在线网络技术(北京)有限公司 交互方法、智能设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102577571B1 (ko) * 2016-08-03 2023-09-14 삼성전자주식회사 로봇 장치 및 로봇 장치의 감정 표현 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106182032A (zh) * 2016-08-24 2016-12-07 陈中流 一种陪护机器人
CN106599204A (zh) * 2016-12-15 2017-04-26 广州酷狗计算机科技有限公司 多媒体内容推荐方法及装置
CN207489381U (zh) * 2017-11-09 2018-06-12 杨铭一 儿童医院的互动led墙
CN108326855A (zh) * 2018-01-26 2018-07-27 上海器魂智能科技有限公司 一种机器人的交互方法、装置、设备以及存储介质
CN109545212A (zh) * 2018-12-11 2019-03-29 百度在线网络技术(北京)有限公司 交互方法、智能设备及存储介质

Also Published As

Publication number Publication date
CN111063352A (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
MacKenzie Human-computer interaction: An empirical research perspective
Vinciarelli et al. A survey of personality computing
US10813584B2 (en) Assessing adherence fidelity to behavioral interventions using interactivity and natural language processing
CN110598576B (zh) 一种手语交互方法、装置及计算机介质
Livingstone et al. Controlling musical emotionality: An affective computational architecture for influencing musical emotions
US20140136450A1 (en) Apparatus and method for determining user's mental state
JP2018014094A (ja) 仮想ロボットのインタラクション方法、システム及びロボット
CN109086860B (zh) 一种基于虚拟人的交互方法及系统
Bragg et al. The fate landscape of sign language ai datasets: An interdisciplinary perspective
CN110815234A (zh) 交互机器人的控制方法及控制服务器
CN109410297A (zh) 一种用于生成虚拟化身形象的方法与装置
JP2019008570A (ja) 情報処理装置、情報処理方法及びプログラム
Yong User experience evaluation methods for mobile devices
US20230094558A1 (en) Information processing method, apparatus, and device
Haas et al. Keep it short: a comparison of voice assistants’ response behavior
Vlachostergiou et al. Investigating context awareness of affective computing systems: a critical approach
CN111063352B (zh) 基于语音助手的交互方法、装置、电子设备及存储介质
KR20160134564A (ko) 사용자의 감성을 분석하는 방법 및 디바이스
KR101567154B1 (ko) 다중 사용자 기반의 대화 처리 방법 및 이를 수행하는 장치
Zhang et al. A survey on mobile affective computing
Giudici et al. Leafy: Enhancing home energy efficiency through gamified experience with a conversational smart mirror
Schiller et al. Human-inspired socially-aware interfaces
CN113470614A (zh) 语音生成方法、装置和电子设备
Leon et al. Emotion-oriented eCommerce systems
Li et al. Toward improving estimation accuracy of emotion dimensions in bilingual scenario based on three-layered model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant