CN111736799A - 基于人机交互的语音交互方法、装置、设备和介质 - Google Patents

基于人机交互的语音交互方法、装置、设备和介质 Download PDF

Info

Publication number
CN111736799A
CN111736799A CN202010559223.7A CN202010559223A CN111736799A CN 111736799 A CN111736799 A CN 111736799A CN 202010559223 A CN202010559223 A CN 202010559223A CN 111736799 A CN111736799 A CN 111736799A
Authority
CN
China
Prior art keywords
state
voice
user
intelligent terminal
avatar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010559223.7A
Other languages
English (en)
Inventor
王思越
赵雷
王志广
薛昊
柳森
张弛
刘笑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010559223.7A priority Critical patent/CN111736799A/zh
Publication of CN111736799A publication Critical patent/CN111736799A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3343Query execution using phonetics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种基于人机交互的语音交互方法、装置、设备和介质,涉及智能语音交互领域。具体实现方案为:获取用户的语音,语音用于指示搜索内容;根据语音进行搜索,在搜索过程中,确定当前的搜索状态;根据当前的搜索状态,生成并显示虚拟形象的多种状态行为,虚拟形象的多种状态行为用于表征当前的搜索状态。在基于语音交互进行搜索过程的每一阶段中,需要确定出当前的搜索状态;依据当前的搜索状态,生成并显示与当前的搜索状态对应的虚拟形象的状态行为。从而通过一个虚拟形象的多种状态行为告知用户,告知用户搜索过程完成到了哪一个步骤;对搜索过程中的每个搜索状态进行精细化反馈。

Description

基于人机交互的语音交互方法、装置、设备和介质
技术领域
本申请实施例涉及计算机技术领域中的智能语音交互领域,尤其涉及一种基于人机交互的语音交互方法、装置、设备和介质。
背景技术
随着智能产品的不断发展,智能产品已经开始应用到人们的生活和工作中。其中,智能产品可以称为智能终端。
现有技术中,用户可以使用智能终端,完成搜索过程。
然而现有技术,在整个搜索过程中,用户无法获知智能终端完成到了哪一个步骤,进而不便于用户确定是否正在进行搜索。
发明内容
提供了一种用于便于用户获知智能终端完成到了哪一个步骤,便于用户确定是否正在进行搜索的基于人机交互的语音交互方法、装置、设备和介质。
根据第一方面,提供了一种基于人机交互的语音交互方法,所述方法应用于智能终端,所述方法包括:
获取用户的语音,所述语音用于指示搜索内容;
根据所述语音进行搜索,并在搜索过程中,确定当前的搜索状态;
根据所述当前的搜索状态,生成并显示虚拟形象的多种状态行为,所述虚拟形象的多种状态行为用于表征所述当前的搜索状态。
根据第二方面,提供了一种智能终端,所述智能终端包括:
第一获取单元,用于在获取用户的语音,所述语音用于指示搜索内容;
确定单元,用于根据所述语音进行搜索,并在搜索过程中,确定当前的搜索状态;
第一显示单元,用于根据所述当前的搜索状态,生成并显示虚拟形象的多种状态行为,所述虚拟形象的多种状态行为用于表征所述当前的搜索状态。
根据第三方面,提供了一种基于人机交互的语音交互方法,所述方法应用于智能终端,所述方法包括:
根据所述智能终端的当前的搜索状态,生成虚拟形象的多种状态行为,其中,所述虚拟形象的多种状态行为用于表征所述当前的搜索状态;
显示所述虚拟形象的多种状态行为。
根据第四方面,提供了一种电子设备,包括:处理器和存储器;存储器中存储有所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行如第一方面中任一项所述的基于人机交互的语音交互方法,或者执行如第三方面所述的基于人机交互的语音交互方法。
根据第五方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令被处理器执行时实现第一方面中任一项所述的基于人机交互的语音交互方法,或者执行如第三方面所述的基于人机交互的语音交互方法。
根据第六方面,提供了一种程序产品,所述程序产品包括:计算机程序,所述计算机程序存储在可读存储介质中,服务器的至少一个处理器可以从所述可读存储介质读取所述计算机程序,所述至少一个处理器执行所述计算机程序使得服务器执行第一方面中任一所述的基于人机交互的语音交互方法,或者执行如第三方面所述的基于人机交互的语音交互方法。
根据本申请的技术方案,获取用户的语音,语音用于指示搜索内容;根据语音进行搜索,在搜索过程中,确定当前的搜索状态;根据当前的搜索状态,生成并显示虚拟形象的状态行为,虚拟形象的状态行为用于表征当前的搜索状态。在基于语音交互进行搜索过程的每一阶段中,需要确定出当前的搜索状态;依据当前的搜索状态,生成并显示与当前的搜索状态对应的虚拟形象的状态行为。从而通过一个虚拟形象的状态行为告知用户,告知用户搜索过程完成到了哪一个步骤;对搜索过程中的每个搜索状态进行精细化反馈,用户可以确定是否正在进行搜索、搜索进行到了哪个步骤。并且,由于显示出的虚拟形象的状态行为是多样的,进而反馈搜索状态的方式是直观、丰富的,用户可以非常直观、正确、快速的获知搜索过程中的每个搜索状态。
应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1为本申请实施例的一种应用场景的示意图;
图2是根据本申请第一实施例的示意图;
图3是根据本申请提供的虚拟形象的示意图一;
图4是根据本申请第二实施例的示意图;
图5是根据本申请提供的虚拟形象的示意图二;
图6是根据本申请提供的虚拟形象的示意图三;
图7是根据本申请提供的虚拟形象的示意图四;
图8是根据本申请提供的虚拟形象的示意图五;
图9是根据本申请提供的虚拟形象的示意图六;
图10是根据本申请提供的虚拟形象的示意图七;
图11是根据本申请提供的虚拟形象的示意图八;
图12是根据本申请提供的虚拟形象的示意图九;
图13是根据本申请提供的虚拟形象的示意图十;
图14是根据本申请第三实施例的示意图;
图15是根据本申请提供的虚拟形象的示意图十一;
图16是根据本申请提供的虚拟形象的示意图十二;
图17是根据本申请提供的虚拟形象的示意图十三;
图18是根据本申请提供的虚拟形象的示意图十四;
图19是根据本申请提供的虚拟形象的示意图十五;
图20是根据本申请第四实施例的示意图;
图21是根据本申请第五实施例的示意图;
图22是根据本申请第六实施例的示意图;
图23是根据本申请第七实施例的示意图;
图24是根据本申请第八实施例的示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
随着智能产品的不断发展,智能产品已经开始应用到人们的生活和工作中。其中,智能产品可以称为智能终端。智能终端,例如是智能手机、智能电视、智能冰箱、智能机器人。
一个示例中,用户可以使用智能终端,用户与智能终端进行交互,完成搜索过程。例如,用户可以通过触控智能终端,向智能终端中输入语音;智能终端基于用户输入的语音,完成搜索任务。
然而上述方式中,在整个搜索过程中,用户无法获知智能终端完成到了哪一个步骤,进而不便于用户确定是否正在进行搜索。
一个示例中,在整个搜索过程中,用户需要完成输入内容、等待解析、得到结果这一系列过程;用户无法获知智能终端完成到了哪一个过程,例如,用户说的话是否被正确识别,现在进行到了搜索的哪一步,我的语音输入错了怎么重新输,每一个步骤都有可能造成用户的疑问。
一个示例中,若智能终端没有屏幕,则在用户通过智能终端进行搜索的过程中,智能终端可以通过声音、灯光的方式反馈出为用户进行搜索。例如,若智能终端正在进行搜索,则智能终端通闪烁灯光的方式,告知用户当前正在进行搜索。再例如,若智能终端正在进行搜索歌曲,则智能终端可以发出语音“好的,为您搜索歌曲”,进而告知用户正在搜索歌曲。
另一个示例中,若智能终端具有屏幕,则智能终端可以通过显示文字的方式反馈出为用户进行搜索。例如,若智能终端正在进行搜索,则智能终端直接显示文字“为您进行搜索”,以告知用户当前正在进行搜索。
然而上述两种方式中,智能终端只能告知用户即将为用户进行搜索,无法向用户反馈出搜索过程中的每一个状态,即无法对搜索过程中的每个状态进行精细化反馈。用户依然无法获知智能终端完成到了哪一个过程。
本申请的发明人在经过创造性地劳动之后,得到了本申请的发明构思,本申请可以应用于智能语音交互领域和智能搜索领域:实现便于用户获知智能终端完成到了哪一个步骤,便于用户确定是否正在进行搜索。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
图1为本申请实施例的一种应用场景的示意图,如图1所示,本申请的技术方案应用到智能终端上。其中,智能终端可以称为智能产品。智能终端,例如是智能手机、智能电视、智能冰箱、智能机器人。智能终端具有显示功能;该显示功能可以是智能终端具有屏幕,智能终端的屏幕可以进行显示;或者,该显示功能可以是智能终端具有三维投影功能,则智能终端可以具有屏幕,也可以不具有屏幕。
图2是根据本申请第一实施例的示意图,如图2所示,本实施例提供的基于人机交互的语音交互方法,包括:
101、获取用户的语音,语音用于指示搜索内容。
示例性地,本实施例以执行主体可以是智能终端、或者基于人机交互的搜索设备、或者是其他可以执行本实施例方法的装置或设备。本实施例以执行主体为智能终端进行说明。
一个示例中,用户可以与智能终端进行交互,智能终端根据用户的指示进行搜索。用户可以向智能终端中输入语音,进而告知智能终端需要搜索的内容是什么。即,智能终端获取用户的触发指令,该触发指令用于指示触发智能终端开始进行搜索、并且告知智能终端需要搜索的内容是什么。
102、根据语音进行搜索,并在搜索过程中,确定当前的搜索状态。
一个示例中,用户可以与智能终端进行交互,智能终端根据用户的语音指示进行搜索。然后,智能终端在进行搜索过程的每一阶段中,需要确定出当前的搜索状态。
一个示例中,用户触控智能终端,进而向智能终端中输入搜索指令;然后,智能终端根据用户的搜索指令进行搜索。或者,用户向智能终端发送语音,进而向智能终端中输入搜索语音;然后,智能终端根据用户的搜索语音进行搜索。或者,智能终端获取用户的手势信息,根据手势信息进行搜索。
在本步骤中,智能终端在进行搜索过程的每一阶段中,需要确定出当前的搜索状态。一个示例中,智能终端在确定用户需要进行搜索,但是未接收到需要搜索的内容时,确定当前的搜索状态为待获取需要搜索的内容;智能终端在接收用户的待搜索信息(例如文字、语音)的过程中,确定当前的搜索状态为正在接收待搜索信息;智能终端在根据待搜索信息进行搜索时,确定当前的搜索状态为正在进行搜索;智能终端在确定出搜索结果时,确定当前的搜索状态为确定出了搜索结果;智能终端在未确定出搜索结果时,确定当前的搜索状态为未确定出搜索结果。
103、根据当前的搜索状态,生成并显示虚拟形象的多种状态行为,虚拟形象的多种状态行为用于表征当前的搜索状态。
一个示例中,在显示虚拟形象的多种状态行为时,包括以下几种实现方式:
第一种实现方式、在智能终端的屏幕上显示虚拟形象的多种状态行为。
第二种实现方式、通过三维投影方式,显示虚拟形象的多种状态行为。
示例性地,虚拟形象的多种状态行为包括以下的任意多种:虚拟形象的语音、虚拟形象的表情、虚拟形象的动作、虚拟形象的动画效果。
示例性地,为了便于用户获知搜索过程完成到了哪一个步骤,智能终端通过一个虚拟形象的状态行为告知用户。
本步骤中,智能终端依据当前的搜索状态,生成与当前的搜索状态对应的虚拟形象的多种状态行为。然后,智能终端通过屏幕显示出虚拟形象的多种状态行为,从而直接给出虚拟形象的多种状态行为;或者,智能终端通过投影方式显示出一个虚拟形象,并且通过投影方式显示出该虚拟形象的多种状态行为,进而在智能终端没有屏幕时,给出虚拟形象的多种状态行为。
虚拟形象,例如是二维的虚拟人物、或者三维的虚拟人物、或者二维的虚拟动画形象、或者三维的虚拟动画形象。
为了便于用户直观、明确的获知当前的搜索状态,可以通过虚拟形象的语音、表情、动作、动画效果等方式中的一种或多种,告知用户当前的搜索状态。
例如,图3是根据本申请提供的虚拟形象的示意图一,如图3所示,智能终端的当前的搜索状态为正等待获取用户的待搜索信息,则智能终端播放虚拟形象的语音为“我正在接收”,并且显示虚拟形象的表情为认真表情、虚拟形象的动作为等待的动作(例如安静动作)、虚拟形象的动画效果(即,动效反馈)为微弱的呼吸。
本实施例,获取用户的语音,语音用于指示搜索内容;根据语音进行搜索,在搜索过程中,确定当前的搜索状态;根据当前的搜索状态,生成并显示虚拟形象的多种状态行为,虚拟形象的多种状态行为用于表征当前的搜索状态。在基于语音交互进行搜索过程的每一阶段中,需要确定出当前的搜索状态;依据当前的搜索状态,生成并显示与当前的搜索状态对应的虚拟形象的多种状态行为。从而通过一个虚拟形象的多种状态行为告知用户,告知用户搜索过程完成到了哪一个步骤;对搜索过程中的每个搜索状态进行精细化反馈,用户可以确定是否正在进行搜索、搜索进行到了哪个步骤。并且,由于显示出的虚拟形象的状态行为是多样的,进而反馈搜索状态的方式是直观、丰富的,用户可以非常直观、正确、快速的获知搜索过程中的每个搜索状态。
图4是根据本申请第二实施例的示意图,如图4所示,本实施例提供的基于人机交互的语音交互方法,包括:
201、获取用户的语音,语音用于指示搜索内容。
示例性地,本实施例以执行主体可以是智能终端、或者基于人机交互的搜索设备、或者是其他可以执行本实施例方法的装置或设备。本实施例以执行主体为智能终端进行说明。
本步骤可以参见图2所示的步骤101,不再赘述。
202、根据语音进行搜索,并在搜索过程中,确定当前的搜索状态。
示例性地,本步骤可以参见图2所示的步骤102,不再赘述。
并且,本实施例中,用户可以向智能终端中输入语音,进而告知智能终端需要搜索的内容是什么。即,智能终端获取用户的触发指令,该触发指令用于指示触发智能终端开始进行搜索、并且告知智能终端需要搜索的内容是什么。
一个示例中,用户触发智能终端进入搜索模式。例如,智能终端提供了一个应用程序(application,简称APP),用户向智能终端发送指令以开启该应用程序。然后,智能终端显示初始界面,初始界面包括一个虚拟形象和一个语音输入按钮。用户触发该语音输入按钮,向智能终端中输入语音,该语音指示出搜索内容是什么。例如,用户向智能终端中输入语音“请帮我搜索最新上映的电影”。
203、根据当前的搜索状态,生成并显示虚拟形象的多种状态行为,虚拟形象的多种状态行为用于表征当前的搜索状态。
一个示例中,虚拟形象的多种状态行为,是与智能终端基于用户的语音产生的搜索状态所对应的状态行为。
一个示例中,搜索状态、虚拟形象的多种状态行为包括以下几种实现方式:
第一种实现方式、搜索状态为触发智能终端开始进行搜索;虚拟形象的多种状态行为用于表征正在等待获取用户的语音。则在步骤202时具体为获取用户的触发指令,其中,触发指令用于指示触发智能终端开始进行搜索。
第二种实现方式、搜索状态为持续接收用户输入的语音;虚拟形象的多种状态行为用于表征正在接收用户的语音。
第三种实现方式、搜索状态为基于用户输入的语音进行搜索;虚拟形象的多种状态行为用于表征智能终端正在进行搜索。
第四种实现方式、搜索状态为搜索到搜索结果;虚拟形象的多种状态行为用于表征显示出搜索结果。
第五种实现方式、搜索状态为未获取到用户的语音、或者获取用户的语音失败;虚拟形象的多种状态行为用于表征智能终端获取语音失败。
第六种实现方式、搜索状态为未获取到搜索结果、或者加载搜索结果失败;虚拟形象多种的状态行为用于表征获取或者加载搜索结果失败。
一个示例中,虚拟形象的多种状态行为还用于表征与环境信息对应的反馈信息;其中,环境信息为以下的一种或多种:智能终端所处的物理环境的信息、用户输入的语音的语气信息。
示例性地,智能终端在进行搜索过程的每一阶段中,需要确定出当前的搜索状态。例如,若用户与智能终端之间进行语音交互,则智能终端是依据用户的语音进行搜索,并确认搜索过程中的每一搜索状态,然后,智能终端确定出与搜索状态所对应的状态行为,作为了虚拟形象的多种状态行为。
首先,在步骤203之前,智能终端可以接收用户的触发指令,触发指令用于指示触发智能终端开始进行搜索;此时,智能终端还未接收到用户所指示的搜索内容,进而智能终端还未开始进行搜索。例如,图5是根据本申请提供的虚拟形象的示意图二,如图5所示,智能终端显示初始界面,初始界面包括一个虚拟形象和一个语音输入按钮;用户触发该语音输入按钮;此时,用户还未向智能终端中输入语音(用于指示搜索内容的语音)。从而,智能终端确定当前的搜索状态,是触发智能终端开始进行搜索;智能终端可以确定出虚拟形象的多种状态行为,是正在等待获取用户的语音的状态行为;进而智能终端显示出“正在等待获取用户的语音”的虚拟形象。用户就可以获知智能终端正在等待用户输入语音(用于指示搜索内容的语音)。可选的,智能终端还可以显示弹出一个语音面板,在该语音面板中显示出文字内容,该文字内容表征了正在等待获取用户的语音。
举例来说,智能终端显示三维虚拟形象的多种状态行为,该多种状态行为表征了正等待获取用户的语音。其中,多种状态行为包括了三维虚拟形象的语音、表情、动作、声音。并且,还可以显示文字内容“我正在听”。例如,图6是根据本申请提供的虚拟形象的示意图三,如图6所示,三维虚拟形象的语音为“我正在听”,三维虚拟形象的表情为认真表情,三维虚拟形象的动作为聆听的动作,三维虚拟形象的动画效果为微弱的呼吸;显示文字内容“我正在听”。
接着,用户向智能终端中输入语音(待搜索信息、待搜索的内容),智能终端在接收用户的语音(待搜索信息、待搜索的内容)的过程中,确定当前的搜索状态为持续接收用户输入的语音(即,正在接收待搜索信息);从而,智能终端可以确定出虚拟形象的多种状态行为,是正在接收用户的语音的状态行为;进而智能终端显示出“正在接收用户的语音”的虚拟形象。用户就可以获知智能终端正在接收用户输入的语音(即,正在接收待搜索信息)。可选的,智能终端还可以显示弹出一个语音面板,在该语音面板中显示出文字内容,该文字内容表征了正在接收用户输入的语音(即,正在接收待搜索信息),或者该文字内容是对用户输入的语音解析后得到的文字。
举例来说,用户向智能终端中输入语音。在用户输入语音的过程中,智能终端显示三维虚拟形象的多种状态行为,其中,多种状态行为表征了智能终端正在接收用户的语音。其中,多种状态行为包括了三维虚拟形象的语音、表情、动作、声音。并且,还可以显示文字内容“持续接收用户输入的语音”,或者显示的文字内容是对用户输入的语音解析后得到文字。例如,图7是根据本申请提供的虚拟形象的示意图四,如图7所示,三维虚拟形象的语音为“嗯,好的”,三维虚拟形象的表情为认真表情,三维虚拟形象的动作为聆听的动作,三维虚拟形象的动画效果为与用户的语音大小对应的动作(例如,发出“咦”、“哦”等语气助词);显示出文字内容“今天天气怎么样”(即,将用户输入的语音解析后得到的文字)。
智能终端在接收用户的语音(待搜索信息、待搜索的内容)的过程中,确定未获取到用户语音、或者获取语音失败时,智能终端确定当前的搜索状态为未获取到用户的语音、或者获取用户的语音失败的状态。从而,智能终端可以确定出虚拟形象的多种状态行为,是获取语音失败的状态行为;进而智能终端显示出“获取语音失败”的虚拟形象。用户就可以获知智能终端没有获取到有效的用户语音。可选的,智能终端还可以显示弹出一个语音面板,在该语音面板中显示出文字内容,该文字内容表征了获取语音失败。例如,图8是根据本申请提供的虚拟形象的示意图五,如图8所示,智能终端播放三维虚拟形象的语音为“您刚刚说什么啦?我没听清,请再跟我说一遍吧”,并且显示三维虚拟形象的表情为抱歉表情,三维虚拟形象的动作为抱歉的动作,三维虚拟形象的动画效果为与抱歉对应的反馈动作(动画效果);可选的,显示文字内容,文字内容为“未获取到有效的用户语音”。
然后,在用户输入语音的结束时,智能终端基于用户的语音进行搜索。例如,用户不再触控语音输入按钮,则智能终端开始基于用户的语音进行搜索;或者,智能终端通过对用户的语音进行解析,确定用户输入语音完毕,然后开始基于用户的语音进行搜索。智能终端确定当前的搜索状态为进行搜索的状态(即,基于用户输入的语音进行搜索的状态)。从而,智能终端可以确定出虚拟形象的多种状态行为,是正在进行搜索的状态行为;进而智能终端显示出“正在进行搜索”的虚拟形象。用户就可以获知智能终端正在进行搜索。可选的,智能终端还可以显示弹出一个语音面板,在该语音面板中显示出文字内容,该文字内容表征了正在接收用户输入的语音(即,正在接收待搜索信息),或者该文字内容是对用户输入的语音解析后得到的文字。
举例来说,智能终端显示三维虚拟形象的多种状态行为,其中,多种状态行为表征了智能终端正在进行搜索。其中,多种状态行为包括了三维虚拟形象的语音、表情、动作、声音。并且,还可以显示文字内容“今天天气怎么样,是阴天还是下雨呢”(即,将用户输入的语音解析后得到的文字)。例如,图9是根据本申请提供的虚拟形象的示意图六,如图9所示,三维虚拟形象的语音为“嗯,我想想”,三维虚拟形象的表情为思考表情,三维虚拟形象的动作为思考的动作,三维虚拟形象的动画效果为与用户的语音对应的反馈动作(例如,挠头、开心、忧郁);显示文字内容“今天天气怎么样,是阴天还是下雨呢”
接着,智能终端在确定出搜索结果时,确定当前的搜索状态为确定出了搜索结果(即,搜索到搜索结果)。从而,智能终端可以确定出虚拟形象的多种状态行为,是得到并显示搜索结果的状态行为;进而智能终端显示出“得到并显示搜索结果”的虚拟形象。用户就可以获知智能终端确定出用户所需的搜索结果。可选的,智能终端还可以显示弹出一个语音面板,在该语音面板中显示出文字内容,该文字内容为搜索结果的内容信息。
举例俩说,智能终端获取到搜索结果之后,智能终端通过显示三维虚拟形象的多种状态行为,去向用户展示搜索结果。多种状态行为表征了智能终端搜索到与语音对应的搜索结果。多种状态行为包括了三维虚拟形象的语音、表情、动作、声音。并且,还可以显示文字内容,该文字内容为搜索结果的内容信息。例如,图10是根据本申请提供的虚拟形象的示意图七,如图10所示,三维虚拟形象的语音为“为您找到了天秤座女明星,正在进行图片加载”,三维虚拟形象的表情为愉快表情,三维虚拟形象的动作为播报的动作,三维虚拟形象的动画效果为与播报对应的反馈动作(例如,挥动四肢、咳嗽等等);显示文字内容“找到了天秤座女明星”。
接着,智能终端确定搜索结果可以成功加载时,确定当前的搜索状态为成功加载搜索结果。从而,智能终端可以确定出虚拟形象的多种状态行为,是成功加载搜索结果的状态行为;进而智能终端显示出“成功加载搜索结果”的虚拟形象。用户就可以获知智能终端成功加载搜索结果。例如,图11是根据本申请提供的虚拟形象的示意图八,如图11所示,三维虚拟形象的语音为介绍搜索结果语音,三维虚拟形象的愉快表情,三维虚拟形象的动作为播报的动作,虚拟形象的动画效果为与播报对应的反馈动作;还可以显示搜索结果的图片。
或者,智能终端在确定用户的语音不是进行搜索,而是用户与智能终端进行聊天时,智能终端显示虚拟形象的多种状态行为,该多种状态行为表征了智能终端回复用户的语音。例如,虚拟形象的语音为与用户语音对应的回复语音,虚拟形象的表情为与回复语音对应的表情(例如开心、忧郁),虚拟形象的动作为播报的动作,虚拟形象的动画效果为与播报对应的反馈动作;还是显示文字信息,该文字信息可以是与回复用户的语音对应的文字。
智能终端在未确定出搜索结果时,确定当前的搜索状态为未确定出搜索结果。从而,智能终端可以确定出虚拟形象的多种状态行为,是获取搜索结果失败的状态行为;进而智能终端显示出“未找到搜索结果”的虚拟形象。用户就可以获知智能终端没有找到合适的搜索结果。可选的,智能终端还可以显示弹出一个语音面板,在该语音面板中显示出文字内容,该文字内容表征未找到合适的搜索结果。例如,图12是根据本申请提供的虚拟形象的示意图九,如图12所示,三维虚拟形象的语音为“抱歉,未找到该歌曲”,三维虚拟形象的表情为抱歉表情,三维虚拟形象的动作为抱歉的动作,三维虚拟形象的动画效果为与抱歉对应的反馈动作(也可以没有动画效果);显示文字内容“未找到搜索结果”。
或者,智能终端在确定出搜索结果,但是加载搜索结果失败时,确定当前的搜索状态为加载搜索结果失败。从而,智能终端可以确定出虚拟形象的多种状态行为,是加载搜索结果失败的状态行为;进而智能终端显示出“加载搜索结果失败”的虚拟形象。用户就可以获知智能终端未成功加载搜索结果。可选的,智能终端还可以显示弹出一个语音面板,在该语音面板中显示出文字内容,该文字内容表征未成功加载。例如,图13是根据本申请提供的虚拟形象的示意图十,如图13所示,三维虚拟形象的语音为“抱歉,页面加载失败,请重新尝试一下”,三维虚拟形象的表情为抱歉表情,三维虚拟形象的动作为抱歉的动作,三维虚拟形象的动画效果为与抱歉对应的反馈动作(也可以没有动画效果);显示文字内容“页面加载失败”。
并且,在上述过程中的任一过程中,智能终端可以基于用户当前输入的语音,识别出用户的语气信息,例如识别出用户是生气、着急、愉快等语气;然后,智能终端基于语气信息,得到对应的虚拟形象的多种状态行为,然后,显示虚拟形象的多种状态行为,该多种状态行为是对应于用户的语气信息的反馈信息。例如,智能终端识别出用户是生气的,则播报虚拟形象的语音为“别生气,我会帮助你”,显示虚拟形象的表情为安慰,显示3D虚拟形象的动作为安慰动作。或者,例如,智能终端识别出用户是着急的,则播报虚拟形象的语音为“别着急,我会帮助你”,显示虚拟形象的表情为安慰,显示3D虚拟形象的动作为安慰动作。从而基于用户的语气,给予用户相应的虚拟形象的多种状态行为,进而安抚用户情绪;提供了多功能的给予搜索处理的反馈方式,提高了用户体验。
并且,在上述过程中的任一过程中,智能终端可以获取智能终端所处的物理环境的信息,例如获取到智能终端的位置信息、基于图像识别得到终端设备所处的环境的信息、获取智能终端所处环境的温度和湿度、等等;然后,智能终端根据物理环境的信息,得到对应的虚拟形象的多种状态行为,然后,显示虚拟形象的多种状态行为,该多种状态行为是对应于物理环境的信息的反馈信息。例如,智能终端识别出智能终端的位置信息为十字路口,则播报虚拟形象的语音为“请注意十字路口往来的车辆”,显示虚拟形象的表情为担心,显示3D虚拟形象的动作为担心动作。或者,例如,智能终端识别出智能终端所处环境的温度较高,则播报虚拟形象的语音为“请注意高温天气”,显示虚拟形象的表情为担心,显示3D虚拟形象的动作为担心动作。从而基于物理环境的信息,给予用户相应的虚拟形象的状态行为,进而为用户提供更多的帮助,提高了用户体验。
204、显示语音面板,其中,语音面板用于显示与虚拟形象的语音对应的文字。
示例性地,在步骤203的实施过程中,还可以显示用于显示文字的语音面板;进而直观的告知用户搜索过程中的每一搜索状态。语音面板的介绍参见步骤203,不再赘述。
本实施例,通过在基于语音交互进行搜索过程的每一阶段中,需要确定出当前的搜索状态;依据当前的搜索状态,生成并显示与当前的搜索状态对应的虚拟形象的多种状态行为,进而告知用户搜索过程中的正在等待获取用户的语音、正在接收用户的语音、正在进行搜索、显示出搜索结果等等过程。从而通过一个虚拟形象的多种状态行为告知用户,告知用户搜索过程完成到了哪一个步骤;对搜索过程中的每个搜索状态进行精细化反馈,增加语音搜索流程中的多通道同时反馈方式;用户可以确定是否正在进行搜索、搜索进行到了哪个步骤;明确反馈给用户当前步骤的搜索状态是什么,便于用户进行下一步操作,使用户可以无障碍的使用语音搜索,给用户良好的语音搜索体验、便于进行搜索的引导。并且,由于显示出的虚拟形象的多种状态行为是多样的,进而反馈搜索状态的方式是直观、丰富的,用户可以非常直观、正确、快速的获知搜索过程中的每个搜索状态。
图14是根据本申请第三实施例的示意图,如图14所示,本实施例提供的基于人机交互的语音交互方法,包括:
301、获取用户的语音,语音用于指示搜索内容。
示例性地,本实施例以执行主体可以是智能终端、或者基于人机交互的搜索设备、或者是其他可以执行本实施例方法的装置或设备。本实施例以执行主体为智能终端进行说明。
302、根据语音进行搜索,并在搜索过程中,确定当前的搜索状态。
示例性地,本步骤可以参见上述实施例的步骤,不再赘述。
303、根据当前的搜索状态,生成并显示虚拟形象的多种状态行为,虚拟形象的多种状态行为用于表征当前的搜索状态。
示例性地,本步骤可以参见上述实施例的步骤,不再赘述。
304、获取用户的聊天指令,其中,聊天指令用于指示聊天内容。
示例性地,本实施例中提供了聊天功能,用户与虚拟形象之间进行视频聊天。
用户通过触控、手势、语音等方式,向智能终端中输入开始指令;进而,智能终端获知用户需要与虚拟形象之间进行视频聊天。然后,图15是根据本申请提供的虚拟形象的示意图十一,如图15所示,显示展示当前用户的视频窗口,并且展示一个虚拟形象。
然后,用户输入聊天指令,该聊天指令用于指示出聊天内容。例如,用户输入语音“你知道最近的电影吗,你看了吗”。
305、根据聊天指令,显示用户的视频窗口和虚拟形象的状态信息,用户的视频窗口用于显示用户的视频信息,状态信息用于表征聊天内容对应的状态行为。
示例性地,在视频聊天过程中,智能终端根据用户输入的语音(即,聊天指令中所携带的聊天内容的语音),反馈出与用户语音对应的回复语音;并且根据回复语音,确定并显示虚拟形象的多种状态行为,其中,多种状态行为表征了与回复语音对应的状态行为(也是与用户的聊天内容对应的状态行为)。其中,多种状态行为包括了虚拟形象的语音、表情、动作、声音。
例如,虚拟形象的语音为“是的”,虚拟形象的表情为开心表情,虚拟形象的动作为点头动作。
再例如,虚拟形象的语音为“你是对的”,虚拟形象的表情为开心表情,虚拟形象的动作为鼓掌动作。
进而提供出虚拟的聊天功能,使得用户可以与虚拟形象之间视频聊天。增加了趣味性。
306、获取用户输入的图片和/或视频。
示例性地,本步骤可以在以上任一步骤之前或之后进行执行。
本实施例中提供了实体场景识别和答题功能,用户与虚拟形象之间进行趣味性的视频聊天。
用户可以添加图片和/或视频,例如,图16是根据本申请提供的虚拟形象的示意图十二,如图16所示,向应用程序中添加图片和/或视频。
307、对图片和/或视频进行识别,显示虚拟形象的反馈状态行为,反馈状态行为用于表征图片和/或视频的识别结果。
示例性地,智能设备采用图像识别算法,对图片和/或视频进行图像识别,得到识别结果,然后,通过虚拟形象发出反馈状态行为,反馈状态行为为虚拟形象的状态行为。例如,播报虚拟形象的语音,显示虚拟形象的表情、动作、动画效果、等等。
例如,图17是根据本申请提供的虚拟形象的示意图十三,如图17所示,播放虚拟形象的语音“这是魔鬼鱼”,并显示虚拟形象的表情为开心表情、虚拟形象的表情为手臂挥动的动作、虚拟形象的动画效果为快乐的效果。
再例如,播放虚拟形象的语音“我看不清楚”,并显示虚拟形象的表情为遗憾表情、虚拟形象的表情为摇头动作、虚拟形象的动画效果为遗憾的效果。
或者,智能设备识别用户输入的图片或者视频,终端设备进行解答,然后通过虚拟形象发出解答结果,解答结果为虚拟形象的反馈状态行为,反馈状态行为为虚拟形象的状态行为。例如,播报虚拟形象的语音,显示虚拟形象的表情、动作、动画效果、等等。
例如,图18是根据本申请提供的虚拟形象的示意图十四,如图18所示,输入一个题目。则智能终端播放虚拟形象的语音“好的,我想想”,并显示虚拟形象的表情为思考表情、虚拟形象的表情为思考的动作、虚拟形象的动画效果为安静的效果。
然后,图19是根据本申请提供的虚拟形象的示意图十五,如图19所示,智能终端播放虚拟形象的语音“得到答案了,翻译出以下内容”,并显示虚拟形象的表情为愉快表情、虚拟形象的表情为挥舞手臂的动作、虚拟形象的动画效果为开心的效果。
或者,智能终端播放虚拟形象的语音“我也答不出”,并显示虚拟形象的表情为遗憾表情、虚拟形象的表情为摇手的动作、虚拟形象的动画效果为遗憾的效果。
进而提供出基于虚拟的聊天功能的图片、视频的问答功能、识别功能,使得用户可以与虚拟形象之间进行视频聊天、图片视频识别。增加了趣味性。
本实施例,在上述实施例的基础上,通过根据聊天指令,显示虚拟形象的状态信息,状态信息用于表征聊天内容对应的状态行为;提供出虚拟的聊天功能,使得用户可以与虚拟形象之间视频聊天。还可以对图片和/或视频进行识别,显示虚拟形象的反馈状态行为,反馈状态行为用于表征图片和/或视频的识别结果;提供出基于虚拟的聊天功能的图片、视频的问答功能、识别功能,使得用户可以与虚拟形象之间进行图片视频识别。
图20是根据本申请第四实施例的示意图,如图20所示,本实施例提供的基于人机交互的语音交互方法,包括:
401、根据智能终端的当前的搜索状态,生成虚拟形象的多种状态行为,其中,虚拟形象的多种状态行为用于表征当前的搜索状态。
示例性地,本实施例以执行主体可以是智能终端、或者基于人机交互的搜索设备、或者是其他可以执行本实施例方法的装置或设备。本实施例以执行主体为智能终端进行说明。
在智能终端进行搜索过程时,依据当前的搜索状态,生成与当前的搜索状态对应的虚拟形象的多种状态行为。
虚拟形象,例如是二维的虚拟人物、或者三维的虚拟人物、或者二维的虚拟动画形象、或者三维的虚拟动画形象。
为了便于用户直观、明确的获知当前的搜索状态,可以通过虚拟形象的语音、表情、动作、动画效果等方式中的一种或多种,告知用户当前的搜索状态。
402、显示虚拟形象的多种状态行为。
示例性地,智能终端通过屏幕显示出虚拟形象的多种状态行为,从而直接给出虚拟形象的多种状态行为;或者,智能终端通过投影方式显示出一个虚拟形象,并且通过投影方式显示出该虚拟形象的多种状态行为,进而在智能终端没有屏幕时,给出虚拟形象的多种状态行为。
本实施例,通过一个虚拟形象的多种状态行为告知用户,告知用户搜索过程完成到了哪一个步骤;对基于语音交互的搜索过程中的每个搜索状态进行精细化反馈,用户可以确定是否正在进行搜索、搜索进行到了哪个步骤。并且,由于显示出的虚拟形象的状态行为是多样的,进而反馈搜索状态的方式是直观、丰富的,用户可以非常直观、正确、快速的获知搜索过程中的每个搜索状态。
图21是根据本申请第五实施例的示意图,如图21所示,本实施例提供的智能终端,包括:
第一获取单元31,用于在获取用户的语音,语音用于指示搜索内容;
确定单元33,用于根据语音进行搜索,并在搜索过程中,确定当前的搜索状态。
第一显示单元33,用于根据当前的搜索状态,生成并显示虚拟形象的多种状态行为,虚拟形象的多种状态行为用于表征当前的搜索状态。
一个示例中,虚拟形象的多种状态行为,是与智能终端基于用户的语音产生的搜索状态所对应的状态行为。
本实施例的智能终端,可以执行上述方法中的技术方案,其具体实现过程和技术原理相同,此处不再赘述。
图22是根据本申请第六实施例的示意图,如图22所示,本实施例提供的智能终端,在图21所示实施例的基础上,搜索状态为触发智能终端开始进行搜索;确定单元32,具体用于:获取用户的触发指令,其中,触发指令用于指示触发智能终端开始进行搜索;其中,虚拟形象的多种状态行为用于表征正在等待获取用户的语音。
一个示例中,搜索状态为持续接收用户输入的语音;虚拟形象的多种状态行为用于表征正在接收用户的语音。
一个示例中,搜索状态为基于用户输入的语音进行搜索;虚拟形象的多种状态行为用于表征智能终端正在进行搜索。
一个示例中,搜索状态为搜索到搜索结果;虚拟形象的多种状态行为用于表征显示出搜索结果。
一个示例中,搜索状态为未获取到用户的语音、或者获取用户的语音失败;虚拟形象的多种状态行为用于表征智能终端获取语音失败。
一个示例中,搜索状态为未获取到搜索结果、或者加载搜索结果失败;虚拟形象的多种状态行为用于表征获取或者加载搜索结果失败。
一个示例中,智能终端还包括:
第二显示单元41,用于显示语音面板,其中,语音面板用于显示与虚拟形象的语音对应的文字。
一个示例中,虚拟形象的多种状态行为还用于表征与环境信息对应的反馈信息;其中,环境信息为以下的一种或多种:智能终端所处的物理环境的信息、用户输入的语音的语气信息。
一个示例中,第一显示单元33在显示虚拟形象的多种状态行为时,用于:在智能终端的屏幕上显示虚拟形象的多种状态行为;或者,通过三维投影方式,显示虚拟形象的多种状态行为。
一个示例中,智能终端,还包括:
第二获取单元42,用于获取用户的聊天指令,其中,聊天指令用于指示聊天内容。
第三显示单元43,用于根据聊天指令,显示用户的视频窗口和虚拟形象的状态信息,用户的视频窗口用于显示用户的视频信息,状态信息用于表征聊天内容对应的状态行为。
一个示例中,智能终端,还包括:
第三获取单元44,用于获取用户输入的图片和/或视频。
第四显示单元45,用于对图片和/或视频进行识别,显示虚拟形象的反馈状态行为,反馈状态行为用于表征图片和/或视频的识别结果。
一个示例中,虚拟形象的多种状态行为包括以下的任意多种:虚拟形象的语音、虚拟形象的表情、虚拟形象的动作、虚拟形象的动画效果。
本实施例的智能终端,可以执行上述方法中的技术方案,其具体实现过程和技术原理相同,此处不再赘述。
图23是根据本申请第七实施例的示意图,如图23所示,本实施例中的电子设备70可以包括:处理器71和存储器72。
存储器72,用于存储程序;存储器72,可以包括易失性存储器(英文:volatilememory),例如随机存取存储器(英文:random-access memory,缩写:RAM),如静态随机存取存储器(英文:static random-access memory,缩写:SRAM),双倍数据率同步动态随机存取存储器(英文:Double Data Rate Synchronous Dynamic Random Access Memory,缩写:DDR SDRAM)等;存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory)。存储器72用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等,上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器72中。并且上述的计算机程序、计算机指令、数据等可以被处理器71调用。
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器72中。并且上述的计算机程序、计算机指据等可以被处理器71调用。
处理器71,用于执行存储器72存储的计算机程序,以实现上述实施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
处理器71和存储器72可以是独立结构,也可以是集成在一起的集成结构。当处理器71和存储器72是独立结构时,存储器72、处理器71可以通过总线73耦合连接。
本实施例的电子设备可以执行上述方法中的技术方案,其具体实现过程和技术原理相同,此处不再赘述。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
图24是根据本申请第八实施例的示意图,如图24所示,图24是用来实现本申请实施例的基于人机交互的语音交互方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图24所示,该电子设备包括:一个或多个处理器801、存储器802,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图24中以一个处理器801为例。
存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中,存储器存储有可由至少一个处理器执行的指令,以使至少一个处理器执行本申请所提供的基于人机交互的语音交互方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的基于人机交互的语音交互方法。
存储器802作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的基于人机交互的语音交互方法对应的程序指令/模块(例如,附图21所示的第一获取单元31、确定单元32和第一显示单元33)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的基于人机交互的语音交互方法。
存储器802可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据用于实现基于人机交互的语音交互方法的电子设备的使用所创建的数据等。此外,存储器802可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器802可选包括相对于处理器801远程设置的存储器,这些远程存储器可以通过网络连接至用于实现基于人机交互的语音交互方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
基于人机交互的语音交互方法的电子设备还可以包括:输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接,图24中以通过总线连接为例。
输入装置803可接收输入的数字或字符信息,以及产生与用于实现基于人机交互的语音交互方法的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案,通过一个虚拟形象的多种状态行为告知用户,告知用户搜索过程完成到了哪一个步骤;对搜索过程中的每个搜索状态进行精细化反馈,用户可以确定是否正在进行搜索、搜索进行到了哪个步骤。并且,由于显示出的虚拟形象的状态行为是多样的,进而反馈搜索状态的方式是直观、丰富的,用户可以非常直观、正确、快速的获知搜索过程中的每个搜索状态。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

Claims (12)

1.一种基于人机交互的语音交互方法,所述方法应用于智能终端,所述方法包括:
获取用户的语音,所述语音用于指示搜索内容;
根据所述语音进行搜索,并在搜索过程中,确定当前的搜索状态;
根据所述当前的搜索状态,生成并显示虚拟形象的多种状态行为,所述虚拟形象的多种状态行为用于表征所述当前的搜索状态。
2.根据权利要求1所述的方法,所述虚拟形象的多种状态行为还用于表征与环境信息对应的反馈信息;
其中,所述环境信息为以下的一种或多种:所述智能终端所处的物理环境的信息、用户输入的语音的语气信息。
3.根据权利要求1所述的方法,其中,所述显示虚拟形象的多种状态行为,包括:
在所述智能终端的屏幕上显示所述虚拟形象的多种状态行为;
或者,通过三维投影方式,显示所述虚拟形象的多种状态行为。
4.根据权利要求1所述的方法,所述方法,还包括:
获取用户的聊天指令,其中,所述聊天指令用于指示聊天内容;
根据所述聊天指令,显示所述用户的视频窗口和虚拟形象的状态信息,所述用户的视频窗口用于显示所述用户的视频信息,所述状态信息用于表征所述聊天内容对应的状态行为。
5.根据权利要求4所述的方法,所述方法,还包括:
获取用户输入的图片和/或视频;
对所述图片和/或视频进行识别,显示虚拟形象的反馈状态行为,所述反馈状态行为用于表征图片和/或视频的识别结果。
6.根据权利要求1所述的方法,所述虚拟形象的多种状态行为包括以下的多种:虚拟形象的语音、虚拟形象的表情、虚拟形象的动作、虚拟形象的动画效果。
7.根据权利要求1-6任一项所述的方法,所述搜索状态为触发所述智能终端开始进行搜索;所述确定当前的搜索状态,包括:获取用户的触发指令,其中,所述触发指令用于指示触发所述智能终端开始进行搜索;其中,所述虚拟形象的多种状态行为用于表征正在等待获取用户的语音;
或者,所述搜索状态为持续接收用户输入的语音;所述虚拟形象的多种状态行为用于表征正在接收用户的语音;
或者,所述搜索状态为基于用户输入的语音进行搜索;所述虚拟形象的多种状态行为用于表征智能终端正在进行搜索;
或者,所述搜索状态为搜索到搜索结果;所述虚拟形象的多种状态行为用于表征显示出所述搜索结果;
或者,所述搜索状态为未获取到用户的语音、或者获取用户的语音失败;所述虚拟形象的多种状态行为用于表征智能终端获取语音失败;
或者,所述搜索状态为未获取到搜索结果、或者加载搜索结果失败;所述虚拟形象的多种状态行为用于表征获取或者加载搜索结果失败。
8.根据权利要求1-6任一项所述的方法,所述方法还包括:
显示语音面板,其中,所述语音面板用于显示与所述虚拟形象的语音对应的文字。
9.一种智能终端,所述智能终端包括:
第一获取单元,用于在获取用户的语音,所述语音用于指示搜索内容;
确定单元,用于根据所述语音进行搜索,并在搜索过程中,确定当前的搜索状态;
第一显示单元,用于根据所述当前的搜索状态,生成并显示虚拟形象的多种状态行为,所述虚拟形象的多种状态行为用于表征所述当前的搜索状态。
10.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
11.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。
12.一种基于人机交互的语音交互方法,所述方法应用于智能终端,所述方法包括:
根据所述智能终端的当前的搜索状态,生成虚拟形象的多种状态行为,其中,所述虚拟形象的多种状态行为用于表征所述当前的搜索状态;
显示所述虚拟形象的多种状态行为。
CN202010559223.7A 2020-06-18 2020-06-18 基于人机交互的语音交互方法、装置、设备和介质 Pending CN111736799A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010559223.7A CN111736799A (zh) 2020-06-18 2020-06-18 基于人机交互的语音交互方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010559223.7A CN111736799A (zh) 2020-06-18 2020-06-18 基于人机交互的语音交互方法、装置、设备和介质

Publications (1)

Publication Number Publication Date
CN111736799A true CN111736799A (zh) 2020-10-02

Family

ID=72649702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010559223.7A Pending CN111736799A (zh) 2020-06-18 2020-06-18 基于人机交互的语音交互方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN111736799A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883608A (zh) * 2023-09-05 2023-10-13 武汉纺织大学 一种多模态数字人社交属性控制方法及相关装置
CN117292687A (zh) * 2023-11-24 2023-12-26 荣耀终端有限公司 语音交互方法、装置、芯片、电子设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345667A (zh) * 2018-02-06 2018-07-31 北京搜狗科技发展有限公司 一种搜索方法及相关装置
CN108491147A (zh) * 2018-04-16 2018-09-04 青岛海信移动通信技术股份有限公司 一种基于虚拟人物的人机交互方法及移动终端
CN110767220A (zh) * 2019-10-16 2020-02-07 腾讯科技(深圳)有限公司 一种智能语音助手的交互方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345667A (zh) * 2018-02-06 2018-07-31 北京搜狗科技发展有限公司 一种搜索方法及相关装置
CN108491147A (zh) * 2018-04-16 2018-09-04 青岛海信移动通信技术股份有限公司 一种基于虚拟人物的人机交互方法及移动终端
CN110767220A (zh) * 2019-10-16 2020-02-07 腾讯科技(深圳)有限公司 一种智能语音助手的交互方法、装置、设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883608A (zh) * 2023-09-05 2023-10-13 武汉纺织大学 一种多模态数字人社交属性控制方法及相关装置
CN116883608B (zh) * 2023-09-05 2023-12-12 武汉纺织大学 一种多模态数字人社交属性控制方法及相关装置
CN117292687A (zh) * 2023-11-24 2023-12-26 荣耀终端有限公司 语音交互方法、装置、芯片、电子设备及介质
CN117292687B (zh) * 2023-11-24 2024-04-05 荣耀终端有限公司 语音交互方法、装置、芯片、电子设备及介质

Similar Documents

Publication Publication Date Title
CN105122353B (zh) 用于语音识别的计算装置和用于计算装置上的语音识别的方法
CN112102448B (zh) 虚拟对象图像显示方法、装置、电子设备和存储介质
CN112533041A (zh) 视频播放方法、装置、电子设备和可读存储介质
CN108874136B (zh) 动态图像生成方法、装置、终端和存储介质
CN111538456A (zh) 基于虚拟形象的人机交互方法、装置、终端以及存储介质
US11366574B2 (en) Human-machine conversation method, client, electronic device, and storage medium
JP2021111379A (ja) インタラクション情報推薦方法及び装置
CN110557699B (zh) 一种智能音箱交互方法、装置、设备及存储介质
CN111443801B (zh) 人机交互方法、装置、设备及存储介质
CN112825013A (zh) 终端设备的控制方法和装置
CN111736799A (zh) 基于人机交互的语音交互方法、装置、设备和介质
CN111913585A (zh) 一种手势识别方法、装置、设备及存储介质
CN112581946A (zh) 语音控制方法、装置、电子设备和可读存储介质
CN111158924A (zh) 内容分享方法、装置、电子设备及可读存储介质
CN115470381A (zh) 信息交互方法、装置、设备及介质
CN111369645A (zh) 表情信息的展现方法、装置、设备及介质
US20210098012A1 (en) Voice Skill Recommendation Method, Apparatus, Device and Storage Medium
JP2021043435A (ja) 音声スキル作成方法、音声スキル作成装置、電子機器及び記憶媒体
CN111274489A (zh) 信息处理方法、装置、设备及存储介质
CN108536830B (zh) 图片动态搜索方法、装置、设备、服务器和存储介质
CN113840177B (zh) 直播互动方法、装置、存储介质与电子设备
CN112527105B (zh) 人机互动方法、装置、电子设备及存储介质
CN111352685B (zh) 一种输入法键盘的展示方法、装置、设备及存储介质
CN111723343B (zh) 电子设备的交互控制方法、装置以及电子设备
CN113778596A (zh) 远程协助方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination