CN116204253A - 一种语音助手显示方法及相关装置 - Google Patents

一种语音助手显示方法及相关装置 Download PDF

Info

Publication number
CN116204253A
CN116204253A CN202111451020.7A CN202111451020A CN116204253A CN 116204253 A CN116204253 A CN 116204253A CN 202111451020 A CN202111451020 A CN 202111451020A CN 116204253 A CN116204253 A CN 116204253A
Authority
CN
China
Prior art keywords
animation
voice assistant
user
state
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111451020.7A
Other languages
English (en)
Inventor
周星辰
范振华
居然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202111451020.7A priority Critical patent/CN116204253A/zh
Priority to PCT/CN2022/134037 priority patent/WO2023098564A1/zh
Publication of CN116204253A publication Critical patent/CN116204253A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/453Help systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Abstract

本申请公开了一种语音助手显示方法及相关装置,涉及终端技术领域。该方法包括:获取终端状态或用户状态;在唤醒语音助手的第一过程中,根据所述终端状态或所述用户状态,显示所述语音助手的第一动画,其中,第一过程为所述语音助手处于开始唤醒且未完全唤醒的过程。本方法可以通过显示语音助手的动画效果对用户进行有效提示的同时,降低对驾驶员正常驾驶的干扰,提高驾驶安全性。

Description

一种语音助手显示方法及相关装置
技术领域
本申请涉及终端技术领域,尤其涉及一种语音助手显示方法及相关装置。
背景技术
语音助手是以语音识别技术和语音合成技术为基础,通过语音信息实现人机交互,给用户反馈信息或替代用户执行任务的助手。语音助手的应用场景广阔,众多终端设备通过接入语音助手可以提升终端设备的智能化水平。比如,在汽车智能座舱中,车载语音助手是一种重要的人车交互方式,通过语音助手处理驾驶员对导航、音乐搜索与播放、信息听写等任务的指令,可以实现较为高效的人机交互。
用户与语音助手交互前必须先唤醒语音助手,且唤醒过程中语音助手会以某种特定的动画效果显示在汽车智能座舱中的屏幕上,起到提示用户的作用。
但是,在误唤醒或唤醒频繁的情况下,语音助手的动画效果会在屏幕上频繁显示,对驾驶员的正常驾驶产生干扰,严重影响驾驶安全性。
发明内容
本申请实施例提供了一种语音助手显示方法及相关装置,可以通过显示语音助手的动画效果对用户进行有效提示的同时,降低对驾驶员正常驾驶的干扰,提高驾驶安全性。
第一方面,本申请实施例提供了一种语音助手显示方法,该方法包括:
获取终端状态或用户状态;
在唤醒语音助手的第一过程中,根据所述终端状态或所述用户状态,显示所述语音助手的第一动画,所述第一过程为所述语音助手处于开始唤醒且未完全唤醒的过程。
在本申请实施例中,提供了一种语音助手在唤醒过程中的显示方法,该语音助手的显示动画随输入情境而变化,该输入情境主要包括终端状态或用户状态,该终端可以是交通运输工具,例如汽车、卡车、飞行器、无人机、慢速运输车、太空器、或者船舶等任意可能的场景使用的交通工具,还可以是通过接入语音助手提升人机交互智能化水平的其他终端设备,此处不做限定。具体可以是座舱域控制器获取到终端状态或用户状态,然后在唤醒语音助手的第一过程中,根据终端状态或用户状态,在显示屏上显示语音助手的第一动画。此时,第一过程中的语音助手处于开始唤醒且未完全唤醒的状态,也可称之为预唤醒状态,对应显示的第一动画可以是语音助手的部分虚拟形象,该虚拟形象具体可以是具有表情、肢体等元素的虚拟形象,该第一动画还可以是部分元素图形,该元素图形具体可以是如圆形、弧形、波浪形等元素图形,此处不做限定。本申请实施例通过对语音助手从无到接收语音指令的过程中(即语音助手唤醒过程中)所呈现的动画进行改进,使得显示动画随输入情境而变化,可以对用户进行有效提示的同时,降低因误唤醒或频繁唤醒语音助手所呈现的动画对驾驶员的干扰,提高驾驶安全性。
在一种可能的实施方式中,所述方法还包括:
在唤醒所述语音助手的第二过程中,显示所述语音助手的第二动画,所述第二过程位于所述第一过程之后,所述第二动画满足以下一项或多项条件:所述第二动画的显示完整度大于所述第一动画的显示完整度,所述第二动画的显示面积大于所述第一动画的显示面积,所述第二动画的显示区域与所述第一动画的显示区域不同,所述第二动画的转向角度与所述第一动画的转向角度不同,所述第二动画对应的播报音效与所述第一动画对应的播报音效不同。
在本申请实施例中,提供了另一种语音助手在唤醒过程中的显示方法,具体为,在唤醒语音助手的第二过程中,语音助手从未完全唤醒到完全唤醒,在该阶段中,显示语音助手的第二动画。其中,与第一动画相比,第二动画的显示满足以下一项或多项条件:第二动画的显示完整度大于第一动画的显示完整度,如第一动画显示半圆,第二动画显示全圆,再如第一动画显示半透明,第二动画显示不透明等;第二动画的显示面积大于第一动画的显示面积;第二动画的显示区域与第一动画的显示区域不同,如第一动画显示在屏幕边缘,第二动画显示在屏幕中间;第二动画的转向角度与第一动画的转向角度不同,如第一动画对应的虚拟形象的转向角度为20°,第二动画对应的虚拟形象的转向角度为45°等;第二动画对应的播报音效与第一动画对应的播报音效不同。通过本申请实施例中第二动画与第一动画的区别,可以对用户进行有效提示语音助手已被完全唤醒。
在一种可能的实施方式中,显示所述第一动画到显示所述第二动画所用的时间由所述终端状态或所述用户状态确定。
在本申请实施例中,第一动画变化到第二动画的速度,受输入情境包括的终端状态或用户状态的影响,因此,可以通过控制不同输入情境下第一动画到第二动画递进式的显示速度,实现对用户进行有效提示的同时,降低因误唤醒或频繁唤醒语音助手所呈现的动画对驾驶员的干扰,提高驾驶安全性。
在一种可能的实施方式中,所述根据所述终端状态或所述用户状态,显示所述语音助手的第一动画,包括:
根据所述终端状态或所述用户状态,确定显示所述第一动画的参数集合,所述参数集合包括显示所述第一动画的目标速度、目标图形样式、转向角度、播报音效中的一项或多项参数;
根据所述参数集合显示所述第一动画。
在本申请实施例中,提供了一种语音助手显示第一动画的可能的具体实施方式,具体为,根据输入情境包括的终端状态或用户状态,确定显示第一动画的参数集合,然后以该参数集合中的参数显示第一动画。其中,该参数集合包括显示第一动画的目标速度、目标图形样式、转向角度、对应的播报音效中的一项或多项参数。本申请实施例显示第一动画的参数,随输入情境而变化,因此,可以通过控制不同输入情境下的动画显示的参数,实现对用户进行有效提示的同时,降低因误唤醒或频繁唤醒语音助手所呈现的动画对驾驶员的干扰,提高驾驶安全性。
在一种可能的实施方式中,所述根据所述终端状态或所述用户状态,显示所述语音助手的第一动画,包括:
根据所述终端状态或所述用户状态,确定显示所述第一动画的目标区域;
在所述目标区域显示所述第一动画。
在本申请实施例中,提供了一种语音助手显示第一动画的可能的具体实施方式,具体为,根据输入情境包括的终端状态或用户状态,确定显示第一动画的目标区域,然后在该目标区域显示第一动画。本申请实施例显示第一动画的目标区域,随输入情境而变化,因此,可以通过控制不同输入情境下的动画显示区域的大小,实现对用户进行有效提示的同时,降低因误唤醒或频繁唤醒语音助手所呈现的动画对驾驶员的干扰,提高驾驶安全性。
在一种可能的实施方式中,所述终端状态为驾驶状态且所述参数集合包括所述目标速度,所述目标速度大于第一速度阈值。
在一种可能的实施方式中,所述终端状态为驻停状态且所述参数集合包括所述目标速度,所述目标速度小于或等于第一速度阈值。
在一种可能的实施方式中,所述第一动画在所述终端处于驾驶状态下对应的显示速度快于所述第一动画在所述终端处于驻停状态下对应的显示速度。
在本申请实施例中,提供了一种输入情境下显示第一动画的可能的具体实施方式,具体为,第一动画在终端处于驾驶状态下对应的显示速度要快于第一动画在终端处于驻停状态下对应的显示速度。由于出于驾驶安全性因素的考虑,终端处于驾驶状态情境下对用户的响应速度要求要大大高于终端处于驻停状态情境下对用户的响应速度,因此,在终端处于驾驶状态情境下,第一动画显示速度明显更快,以更快的响应用户。具体的,可以通过与速度阈值的比较来确保不同输入情境下第一动画的显示速度的差异,比如,在终端处于驾驶状态的输入情境下,第一动画的显示速度大于第一速度阈值,在终端处于驻停状态的输入情境下,第一动画的显示速度小于或等于该第一速度阈值,其中,该第一速度阈值不是一个固定的值,可以根据具体的应用场景而定。本申请实施例可以通过控制驾驶或驻停输入情境下的第一动画的显示速度,实现对用户进行有效提示的同时,降低因误唤醒或频繁唤醒语音助手所呈现的动画对驾驶员的干扰,提高驾驶安全性。
在一种可能的实施方式中,所述第二动画在所述终端处于驾驶状态下对应的显示速度快于所述第二动画在所述终端处于驻停状态下对应的显示速度。
在本申请实施例中,提供了一种输入情境下显示第二动画的可能的具体实施方式,具体为,第二动画在终端处于驾驶状态下对应的显示速度要快于第二动画在终端处于驻停状态下对应的显示速度。由于出于驾驶安全性因素的考虑,终端处于驾驶状态情境下对用户的响应速度要求要大大高于终端处于驻停状态情境下对用户的响应速度,因此,在终端处于驾驶状态情境下,第二动画显示速度明显更快,以更快的响应用户。具体的,可以通过与速度阈值的比较来确保不同输入情境下第二动画的显示速度的差异。本申请实施例可以通过控制驾驶或驻停输入情境下的第二动画的显示速度,实现对用户进行有效提示的同时,降低因误唤醒或频繁唤醒语音助手所呈现的动画对驾驶员的干扰,提高驾驶安全性。
在一种可能的实施方式中,所述终端状态为手动驾驶状态且所述参数集合包括所述目标速度,所述目标速度大于第二速度阈值。
在一种可能的实施方式中,所述终端状态为自动驾驶状态且所述参数集合包括所述目标速度,所述目标速度小于或等于第二速度阈值。
在一种可能的实施方式中,所述第一动画在所述终端处于手动驾驶状态下对应的显示速度快于所述第一动画在所述终端处于自动驾驶状态下对应的显示速度。
在本申请实施例中,提供了一种输入情境下显示第一动画的可能的具体实施方式,具体为,第一动画在终端处于手动驾驶状态下对应的显示速度要快于第一动画在终端处于自动驾驶状态下对应的显示速度。由于出于驾驶安全性因素的考虑,终端处于手动驾驶状态情境下对用户的响应速度要求要大大高于终端处于自动驾驶状态情境下对用户的响应速度,因此,在终端处于手动驾驶状态情境下,第一动画显示速度明显更快,以更快的响应用户。具体的,可以通过与速度阈值的比较来确保不同输入情境下第一动画的显示速度的差异,比如,在终端处于手动驾驶状态的输入情境下,第一动画的显示速度大于第二速度阈值,在终端处于自动驾驶状态的输入情境下,第一动画的显示速度小于或等于该第二速度阈值,其中,该第二速度阈值不是一个固定的值,可以根据具体的应用场景而定。本申请实施例可以通过控制手动驾驶或自动驾驶输入情境下的第一动画的显示速度,实现对用户进行有效提示的同时,降低因误唤醒或频繁唤醒语音助手所呈现的动画对驾驶员的干扰,提高驾驶安全性。
在一种可能的实施方式中,所述第二动画在所述终端处于手动驾驶状态下对应的显示速度快于所述第二动画在所述终端处于自动驾驶状态下对应的显示速度。
在本申请实施例中,提供了一种输入情境下显示第二动画的可能的具体实施方式,具体为,第二动画在终端处于手动驾驶状态下对应的显示速度要快于第二动画在终端处于自动驾驶状态下对应的显示速度。由于出于驾驶安全性因素的考虑,终端处于手动驾驶状态情境下对用户的响应速度要求要大大高于终端处于自动驾驶状态情境下对用户的响应速度,因此,在终端处于手动驾驶状态情境下,第二动画显示速度明显更快,以更快的响应用户。具体的,可以通过与速度阈值的比较来确保不同输入情境下第二动画的显示速度的差异。本申请实施例可以通过控制手动驾驶或自动驾驶输入情境下的第二动画的显示速度,实现对用户进行有效提示的同时,降低因误唤醒或频繁唤醒语音助手所呈现的动画对驾驶员的干扰,提高驾驶安全性。
在一种可能的实施方式中,所述第二速度阈值大于所述第一速度阈值。
在本申请实施例中,当终端分别处于手动驾驶状态、自动驾驶状态、驻停状态的输入情境时,由于出于驾驶安全性因素的考虑,终端处于手动驾驶状态情境下对用户的响应速度要求最高,其次是终端处于自动驾驶状态情境下对用户的响应速度,最后是终端处于驻停状态情境下对用户的响应速度,因此,可以通过与速度阈值的比较来确保上述不同输入情境下第一动画的显示速度的差异。具体可以是,驻停状态对应的第一动画显示速度小于或等于第一速度阈值,自动驾驶状态对应的第一动画显示速度大于该第一速度阈值,且小于或等于第二速度阈值,手动驾驶状态对应的第一动画显示速度大于该第二速度阈值。本申请实施例可以通过控制手动驾驶或自动驾驶或驻停的输入情境下对应的第一动画的显示速度,实现对用户进行有效提示的同时,降低因误唤醒或频繁唤醒语音助手所呈现的动画对驾驶员的干扰,提高驾驶安全性。
在一种可能的实施方式中,所述参数集合包括所述目标速度,所述目标速度与所述终端的驾驶速度正相关。
在本申请实施例中,在终端的驾驶速度越快时,对用户的响应速度要求越高,因此,第一动画的显示速度越快,即显示第一动画的目标速度与终端的驾驶速度正相关,可以对用户进行有效提示的同时,提高驾驶安全性。
在一种可能的实施方式中,所述用户状态包括以下至少一项:所述用户是否处于疲劳驾驶状态、所述用户是否处于分心状态、所述用户上车、所述用户下车。
示例性的,所述用户是否处于分心状态或疲劳驾驶状态可以通过用户唤醒所述语音助手所用的时长来确定,所述用户上车或下车可以通过车端传感器获取的数据来确定。
在一种可能的实施方式中,所述参数集合包括所述目标速度,所述目标速度与所述用户唤醒所述语音助手所用的时长正相关。
在本申请实施例中,在用户唤醒语音助手所用的时长越长时,如长时间注视语音助手,表示用户正处于分心状态或疲劳驾驶状态,因此,需及时响应用户,第一动画的显示速度越快,即显示第一动画的目标速度与用户唤醒语音助手所用的时长正相关,可以对用户进行有效提示的同时,提高驾驶安全性。
在一种可能的实施方式中,所述显示所述语音助手的第一动画之前,所述方法还包括:
基于所述用户与所述语音助手之间的注视行为或动作行为,唤醒所述第一过程对应的所述语音助手。
在本申请实施例中,提供了一种唤醒语音助手的可能的实施方式,具体为,通过获取终端状态或用户状态,可以得到用户与语音助手之间的注视行为或动作行为,基于该注视行为或动作行为,唤醒语音助手,此时,语音助手处于开始唤醒且未完全唤醒的过程(即第一过程)中,相应的,语音助手显示第一过程对应的第一动画。其中,用户与语音助手之间的注视行为可以是用户注视语音助手,也可以是特定场景下语音助手主动注视用户,从而唤醒语音助手,用户与语音助手之间的动作行为可以是用户执行某个动作(如手势等),也可以是特定场景下语音助手主动执行某个动作行为(如语音助手的实体设备转向等),从而唤醒语音助手。与传统的通过某段语音唤醒词唤醒语音助手的方式相比,本申请实施例唤醒语音助手的成本更低,在需频繁唤醒语音助手的场景下更省时省力,可以提高人机交互的效率。
在一种可能的实施方式中,所述动作行为唤醒所述语音助手所对应的动画显示速度快于所述注视行为唤醒所述语音助手所对应的动画显示速度。
在本申请实施例中,出于用户主观能动性和驾驶安全性因素的考虑,用户做出动作行为的唤醒需求要高于用户做出注视行为的唤醒需求,因此,用户与语音助手之间的动作行为所对应的唤醒动画的显示速度,要快于用户与语音助手之间的注视行为所对应的唤醒动画的显示速度,可以对用户进行有效提示的同时,提高驾驶安全性。
在一种可能的实施方式中,所述方法还包括:
在唤醒所述语音助手的所述第一过程中,根据所述终端状态或所述用户状态,控制所述语音助手以第一角度转向用户。
在一种可能的实施方式中,所述方法还包括:
在唤醒所述语音助手的所述第二过程中,控制所述语音助手以第二角度转向用户,所述第二角度大于所述第一角度。
在一种可能的实施方式中,所述语音助手在所述终端处于驾驶状态下对应的转向用户的速度快于所述语音助手在所述终端处于驻停状态下对应的转向用户的速度。
在一种可能的实施方式中,所述语音助手在所述终端处于手动驾驶状态下对应的转向用户的速度快于所述语音助手在所述终端处于自动驾驶状态下对应的转向用户的速度。
在一种可能的实施方式中,所述语音助手转向用户的速度与所述终端的驾驶速度正相关。
在一种可能的实施方式中,所述语音助手转向用户的速度与所述用户唤醒所述语音助手所用的时长正相关。
在一种可能的实施方式中,所述基于所述用户与所述语音助手之间的注视行为或动作行为,唤醒所述第一过程对应的所述语音助手,包括:
在所述用户的第一注视行为对应的注视点位于第一区域内的持续时间大于第一值的情况下,唤醒所述第一过程对应的所述语音助手,所述第一区域包括所述语音助手对应的区域。
在一种可能的实施方式中,所述基于所述用户与所述语音助手之间的注视行为或动作行为,唤醒所述第一过程对应的所述语音助手,包括:
在所述语音助手的第二注视行为对应的注视点位于第二区域内的持续时间大于第二值的情况下,唤醒所述第一过程对应的所述语音助手,所述第二区域包括所述用户对应的区域。
在一种可能的实施方式中,所述基于所述用户与所述语音助手之间的注视行为或动作行为,唤醒所述第一过程对应的所述语音助手,包括:
在所述用户的动作行为或所述语音助手的动作行为与预设行为的匹配度大于第三值的情况下,唤醒所述第一过程对应的所述语音助手。
在一种可能的实施方式中,所述唤醒所述第一过程对应的所述语音助手之后,所述方法还包括:
接收语音指令,响应于所述语音指令,执行所述语音指令对应的第一操作;
或者,执行第二操作。
第二方面,本申请实施例提供了一种语音助手显示装置,该装置包括:
获取单元,用于获取终端状态或用户状态;
控制单元,用于在唤醒语音助手的第一过程中,根据所述终端状态或所述用户状态,控制所述语音助手的第一动画的显示,所述第一过程为所述语音助手处于开始唤醒且未完全唤醒的过程。
在一种可能的实施方式中,所述控制单元,还用于在唤醒所述语音助手的第二过程中,控制所述语音助手的第二动画的显示,所述第二过程位于所述第一过程之后,所述第二动画满足以下一项或多项条件:所述第二动画的显示完整度大于所述第一动画的显示完整度,所述第二动画的显示面积大于所述第一动画的显示面积,所述第二动画的显示区域与所述第一动画的显示区域不同,所述第二动画的转向角度与所述第一动画的转向角度不同,所述第二动画对应的播报音效与所述第一动画对应的播报音效不同。
在一种可能的实施方式中,显示所述第一动画到显示所述第二动画所用的时间由所述终端状态或所述用户状态确定。
在一种可能的实施方式中,所述控制单元,用于在唤醒语音助手的第一过程中,根据所述终端状态或所述用户状态,控制所述语音助手的第一动画的显示,包括:
所述控制单元,具体用于根据所述终端状态或所述用户状态,确定显示所述第一动画的参数集合,所述参数集合包括显示所述第一动画的目标速度、目标图形样式、转向角度、播报音效中的一项或多项参数;
所述控制单元,具体还用于根据所述参数集合控制所述第一动画的显示。
在一种可能的实施方式中,所述控制单元,用于在唤醒语音助手的第一过程中,根据所述终端状态或所述用户状态,控制所述语音助手的第一动画的显示,包括:
所述控制单元,具体用于根据所述终端状态或所述用户状态,确定显示所述第一动画的目标区域;
所述控制单元,具体还用于在所述目标区域控制所述第一动画的显示。
在一种可能的实施方式中,所述终端状态为驾驶状态且所述参数集合包括所述目标速度,所述目标速度大于第一速度阈值。
在一种可能的实施方式中,所述终端状态为驻停状态且所述参数集合包括所述目标速度,所述目标速度小于或等于第一速度阈值。
在一种可能的实施方式中,所述第一动画在所述终端处于驾驶状态下对应的显示速度快于所述第一动画在所述终端处于驻停状态下对应的显示速度。
在一种可能的实施方式中,所述第二动画在所述终端处于驾驶状态下对应的显示速度快于所述第二动画在所述终端处于驻停状态下对应的显示速度。
在一种可能的实施方式中,所述终端状态为手动驾驶状态且所述参数集合包括所述目标速度,所述目标速度大于第二速度阈值。
在一种可能的实施方式中,所述终端状态为自动驾驶状态且所述参数集合包括所述目标速度,所述目标速度小于或等于第二速度阈值。
在一种可能的实施方式中,所述第一动画在所述终端处于手动驾驶状态下对应的显示速度快于所述第一动画在所述终端处于自动驾驶状态下对应的显示速度。
在一种可能的实施方式中,所述第二动画在所述终端处于手动驾驶状态下对应的显示速度快于所述第二动画在所述终端处于自动驾驶状态下对应的显示速度。
在一种可能的实施方式中,所述第二速度阈值大于所述第一速度阈值。
在一种可能的实施方式中,所述参数集合包括所述目标速度,所述目标速度与所述终端的驾驶速度正相关。
在一种可能的实施方式中,所述用户状态包括以下至少一项:所述用户是否处于疲劳驾驶状态、所述用户是否处于分心状态、所述用户上车、所述用户下车。
示例性的,所述用户是否处于分心状态或疲劳驾驶状态可以通过用户唤醒所述语音助手所用的时长来确定,所述用户上车或下车可以通过车端传感器获取的数据来确定。
在一种可能的实施方式中,所述参数集合包括所述目标速度,所述目标速度与所述用户唤醒所述语音助手所用的时长正相关。
在一种可能的实施方式中,所述装置还包括:
唤醒单元,用于基于所述用户与所述语音助手之间的注视行为或动作行为,唤醒所述第一过程对应的所述语音助手。
在一种可能的实施方式中,所述动作行为唤醒所述语音助手所对应的动画显示速度快于所述注视行为唤醒所述语音助手所对应的动画显示速度。
在一种可能的实施方式中,所述装置还包括:
处理单元,用于在唤醒所述语音助手的所述第一过程中,根据所述终端状态或所述用户状态,控制所述语音助手以第一角度转向用户。
在一种可能的实施方式中,所述处理单元,还用于在唤醒所述语音助手的所述第二过程中,控制所述语音助手以第二角度转向用户,所述第二角度大于所述第一角度。
在一种可能的实施方式中,所述语音助手在所述终端处于驾驶状态下对应的转向用户的速度快于所述语音助手在所述终端处于驻停状态下对应的转向用户的速度。
在一种可能的实施方式中,所述语音助手在所述终端处于手动驾驶状态下对应的转向用户的速度快于所述语音助手在所述终端处于自动驾驶状态下对应的转向用户的速度。
在一种可能的实施方式中,所述语音助手转向用户的速度与所述终端的驾驶速度正相关。
在一种可能的实施方式中,所述语音助手转向用户的速度与所述用户唤醒所述语音助手所用的时长正相关。
在一种可能的实施方式中,所述唤醒单元,具体用于在所述用户的第一注视行为对应的注视点位于第一区域内的持续时间大于第一值的情况下,唤醒所述第一过程对应的所述语音助手,所述第一区域包括所述语音助手对应的区域。
在一种可能的实施方式中,所述唤醒单元,具体用于在所述语音助手的第二注视行为对应的注视点位于第二区域内的持续时间大于第二值的情况下,唤醒所述第一过程对应的所述语音助手,所述第二区域包括所述用户对应的区域。
在一种可能的实施方式中,所述唤醒单元,具体用于在所述用户的动作行为或所述语音助手的动作行为与预设行为的匹配度大于第三值的情况下,唤醒所述第一过程对应的所述语音助手。
在一种可能的实施方式中,所述获取单元,还用于接收语音指令;
所述处理单元,还用于响应于所述语音指令,执行所述语音指令对应的第一操作;
或者,所述处理单元,还用于执行第二操作。
关于第二方面以及任一项可能的实施方式所带来的技术效果,可参考对应于第一方面以及相应的实施方式的技术效果的介绍。
第三方面,本申请实施例提供一种电子设备,所述电子设备包括处理器和存储器;所述存储器用于存储计算机执行指令;所述处理器用于执行所述存储器所存储的计算机执行指令,以使所述电子设备执行如上述第一方面以及任一项可能的实施方式的方法。可选的,所述电子设备还包括收发器,所述收发器,用于接收信号或者发送信号。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质用于存储指令或计算机程序;当所述指令或所述计算机程序被执行时,使得第一方面以及任一项可能的实施方式所述的方法被实现。
第五方面,本申请实施例提供一种计算机程序产品,所述计算机程序产品包括指令或计算机程序;当所述指令或所述计算机程序被执行时,使得第一方面以及任一项可能的实施方式所述的方法被实现。
第六方面,本申请实施例提供一种芯片,该芯片包括处理器,所述处理器用于执行指令,当该处理器执行所述指令时,使得该芯片执行如第一方面以及任一项可能的实施方式所述的方法。可选的,该芯片还包括通信接口,所述通信接口用于接收信号或发送信号。
第七方面,本申请实施例提供一种系统,所述系统包括至少一个如第二方面所述的语音助手显示装置或第三方面所述的电子设备或第六方面所述的芯片。
第八方面,本申请实施例提供了一种车端,该车端包括至少一个如第二方面所述的语音助手显示装置或第三方面所述的电子设备或第六方面所述的芯片或第七方面所述的系统。
此外,在执行上述第一方面以及任一项可能的实施方式所述的方法的过程中,上述方法中有关发送信息和/或接收信息等的过程,可以理解为由处理器输出信息的过程,和/或,处理器接收输入的信息的过程。在输出信息时,处理器可以将信息输出给收发器(或者通信接口、或发送模块),以便由收发器进行发射。信息在由处理器输出之后,还可能需要进行其他的处理,然后才到达收发器。类似的,处理器接收输入的信息时,收发器(或者通信接口、或发送模块)接收信息,并将其输入处理器。更进一步的,在收发器收到该信息之后,该信息可能需要进行其他的处理,然后才输入处理器。
基于上述原理,举例来说,前述方法中提及的发送信息可以理解为处理器输出信息。又例如,接收信息可以理解为处理器接收输入的信息。
可选的,对于处理器所涉及的发射、发送和接收等操作,如果没有特殊说明,或者,如果未与其在相关描述中的实际作用或者内在逻辑相抵触,则均可以更加一般性的理解为处理器输出和接收、输入等操作。
可选的,在执行上述第一方面以及任一项可能的实施方式所述的方法的过程中,上述处理器可以是专门用于执行这些方法的处理器,也可以是通过执行存储器中的计算机指令来执行这些方法的处理器,例如通用处理器。上述存储器可以为非瞬时性(non-transitory)存储器,例如只读存储器(Read Only Memory,ROM),其可以与处理器集成在同一块芯片上,也可以分别设置在不同的芯片上,本申请实施例对存储器的类型以及存储器与处理器的设置方式不做限定。
在一种可能的实施方式中,上述至少一个存储器位于装置之外。
在又一种可能的实施方式中,上述至少一个存储器位于装置之内。
在又一种可能的实施方式之中,上述至少一个存储器的部分存储器位于装置之内,另一部分存储器位于装置之外。
本申请中,处理器和存储器还可能集成于一个器件中,即处理器和存储器还可以被集成在一起。
本申请实施例中,通过对语音助手从无到接收语音指令的过程中(即语音助手唤醒过程中)所呈现的动画进行改进,使得显示动画随输入情境而变化,可以对用户进行有效提示的同时,降低因误唤醒或频繁唤醒语音助手所呈现的动画对驾驶员的干扰,提高驾驶安全性。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,显而易见地,下面所描述的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种语音助手显示的效果示意图;
图2为本申请实施例提供的一种语音助手显示方法的流程示意图;
图3为本申请实施例提供的另一种语音助手显示方法的流程示意图;
图4为本申请实施例提供的另一种语音助手显示方法的流程示意图;
图5为本申请实施例提供的一种情境输入的流程示意图;
图6A为本申请实施例提供的一种语音助手显示的效果示意图;
图6B为本申请实施例提供的一种语音助手显示的效果示意图;
图6C为本申请实施例提供的一种语音助手显示的效果示意图;
图6D为本申请实施例提供的一种语音助手显示的效果示意图;
图7A为本申请实施例提供的一种语音助手显示的效果示意图;
图7B为本申请实施例提供的一种语音助手转向的效果示意图;
图8A为本申请实施例提供的一种语音助手的场景示意图;
图8B为本申请实施例提供的另一种语音助手的场景示意图;
图9为本申请实施例提供的一种语音助手显示装置的结构示意图;
图10为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图对本申请实施例进行描述。
本申请的说明书、权利要求书及附图中的术语“第一”和“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备等,没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元等,或可选地还包括对于这些过程、方法、产品或设备等固有的其它步骤或单元。
在本文中提及的“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员可以显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上,“至少两个(项)”是指两个或三个及三个以上,“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
本申请提供了一种语音助手显示方法,为了更清楚地描述本申请的方案,下面先介绍一些与语音助手相关的知识。
语音助手是以语音识别技术和语音合成技术为基础,通过语音信息实现人机交互,给用户反馈信息或替代用户执行任务的助手。应理解,本申请中的语音助手可以是软件类的虚拟助手,也可以是实体设备类的机器人助手,对此不作限定。
语音助手的应用场景广阔,众多终端设备通过接入语音助手可以提升终端设备的智能化水平。比如,在汽车智能座舱中,车载语音助手是一种重要的人车交互方式,通过语音助手处理驾驶员对导航、音乐搜索与播放、信息听写等任务的指令,可以实现较为高效的人机交互。用户与语音助手交互前必须先唤醒语音助手,且唤醒过程中语音助手会以某种特定的动画效果显示在汽车智能座舱中的屏幕上,起到提示用户的作用。
但是,在误唤醒或唤醒频繁的情况下,语音助手的动画效果会在屏幕上频繁显示,对驾驶员的正常驾驶产生干扰,严重影响驾驶安全性。
针对上述语音助手的动画显示存在的对驾驶员正常驾驶产生干扰,严重影响驾驶安全性的技术问题,本申请实施例提供了一种新的语音助手显示方法,通过对语音助手从无到接收语音指令的过程中(即语音助手唤醒过程中)所呈现的动画进行改进,使得显示动画随输入情境而变化,可以对用户进行有效提示的同时,降低因误唤醒或频繁唤醒语音助手所呈现的动画对驾驶员的干扰,提高驾驶安全性。
下面结合本申请实施例中的附图对本申请实施例进行描述。
请参阅图1,图1为本申请实施例提供的一种语音助手显示的效果示意图。
如图1所示,显示了车载语音助手各个状态下的车机屏显示效果图,应理解,此处仅以车载语音助手的显示效果图为例进行说明,不应以此作为对语音助手应用场景的限定。由图1看出,可以将语音助手的状态划分为空闲状态、唤醒状态、聆听状态、理解状态、反馈状态。其中,唤醒状态又分为了预唤醒状态和完全唤醒状态。
在用户未注视车机屏幕或未操作车机屏幕或未开始语音指令时,语音助手处于空闲状态,也可以称为待机状态,此时的车机屏幕未显示语音助手的虚拟形象,其显示效果可以如图1中的101所示。
在用户注视车机屏幕或语音助手超过一定时间的情况下,语音助手将进入预唤醒状态,此时的车机屏幕将从无动画到冒出部分动画的递进式显示语音助手的虚拟形象。可选的,该递进式的显示过程可以表现为语音助手的虚拟形象的显示面积在逐渐增大,即显示屏占比越来越大,语音助手的虚拟形象的显示完整度也越来越大,也可以表现为语音助手的虚拟形象显示的颜色越来越明显,其显示效果可以如图1中的102所示。
可选的,在语音助手处于预唤醒状态中,车机屏幕显示图1中102的内容,语音助手还可以进行文字或语音反馈,如进行语音播报“你说,我在听”、“你可以说开始导航”、“你可以说播放歌曲”等,用于向用户反馈语音助手已处于预唤醒状态,并提示用户及时发出语音指令。
可以理解的是,当语音助手进入预唤醒状态后,用户可以通过发出语音指令的方式将语音助手完全唤醒,此时的车机屏幕将进一步显示图1中103的内容。用户也可以停止注视行为,且不发出语音指令,中断语音助手进入完全唤醒的过程,用户还可以通过操作车机屏幕的方式中断语音助手进入完全唤醒的过程,此时的车机屏幕将回到图1中101的显示内容。
当车机屏幕上显示完整的语音助手的虚拟形象时,表示此时的语音助手已被完全唤醒,进入了聆听状态,即处于检测用户发出的语音指令的状态,此时显示的语音助手的虚拟形象的完整度最高,其显示效果可以如图1中的103所示。
可选的,在语音助手处于聆听状态中,用户可以发出命令式的语音指令,用于输入至语音助手,以指示语音助手执行该命令操作,如“导航到新街口”等。
可以理解的是,当语音助手被完全唤醒后,进入聆听状态,在持续一段时间的聆听状态中,语音助手将检测用户发出的语音指令,若在该时间段内检测到用户发出的语音指令,语音助手将进入理解状态,相应的,车机屏幕上的显示内容也会随着用户的语音指令改变,通过显示特定动画表示此时的语音助手正在接收用户发出的语音指令。若在该时间段内未检测到用户发出的语音指令,此时的车机屏幕将依次回到图1中103、102、101的显示内容,表示语音助手在依次回到唤醒状态,最后到空闲状态,重新等待用户唤醒。
当语音助手处于理解状态时,语音助手将基于语音识别技术,对接收到的语音指令进行识别理解,得到该语音指令对应的操作。语音助手再进入反馈状态,给用户反馈该语音指令对应的操作的信息,或是执行该语音指令对应的操作。
可选的,语音指令在处于理解状态时,还可以与用户通过语音对话实现人机交互,比如,语音助手在接收到用户发出的语音指令后,进行识别理解,得到该语音指令对应的两个操作,此时,语音助手将进入反馈状态,将两个操作选项的信息通过语音播报的方式反馈给用户,供用户选择。之后,语音助手将回到聆听状态,等待接收用户发送的选择指令。在接收到选择指令后,语音助手将进入理解状态,对该选择指令进行识别理解,得到用户的选择意图,此时,语音助手将再次进入反馈状态,给用户反馈该选择意图的信息,或是执行该选择意图对应的操作。应理解,语音助手与用户进行语音交互时处在的不同状态下,车机屏幕会显示如图1中相应的动画。
可选的,语音助手的虚拟形象可以是一个简单的元素图形,如圆形、弧形、波浪形等,也可以是虚拟机器人形象,有表情、五官或身体,如精灵、动物或机器人等形象,此处不做限定。
基于上述图1所示的语音助手显示效果图,下面将结合图2至图4对本申请实施例中的语音助手显示方法进行说明。
请参阅图2,图2为本申请实施例提供的一种语音助手显示方法的流程示意图,该方法应用于终端技术领域,该方法包括但不限于如下步骤:
步骤201:获取终端状态或用户状态。
电子设备获取终端状态或用户状态。
其中,终端状态和用户状态是语音助手输入情境中的两个主要方面,此处的终端状态中的终端可以是交通运输工具,例如汽车、卡车、飞行器、无人机、慢速运输车、太空器、或者船舶等任意可能的场景使用的交通工具,还可以是通过接入语音助手提升人机交互智能化水平的其他终端设备,此处不做限定。此处的用户状态中的用户指的是使用上述终端的用户。终端状态包括了终端在语音助手输入情境中处于各个阶段下的状态,如驻停状态、手动驾驶状态、自动驾驶状态,不同驾驶速度的状态等。用户状态包括用户在语音助手输入情境中处于各个阶段下的状态,如用户上车、用户下车、用户分心驾驶、用户疲劳驾驶等状态。
本申请实施例中的电子设备为搭载了可用于执行计算机执行指令的处理器的设备,可以是如服务器之类的网络设备,也可以是如计算机、控制器之类的终端设备等。具体还可以是座舱域控制器(Cockpit Domain Controller,CDC),即获取终端状态或用户状态由CDC来完成,可以是CDC直接从各个传感器获取与终端和用户的检测数据,得到上述终端状态和用户状态,也可以是各个传感器获取的检测数据由智能驾驶平台中的移动数据中心(Mobile Data Center,MDC)或整车控制平台中的整车域控制器(Vehicle DomainController,VDC)处理得到上述终端状态和用户状态,CDC再从MDC或VDC中获取上述终端状态或用户状态,对此不作限定。
应理解,可以是本申请实施例中的CDC,用于执行本申请实施例中的语音助手显示方法,通过对语音助手从无到接收语音指令的过程中(即语音助手唤醒过程中)所呈现的动画进行改进,使得显示动画随输入情境而变化,以实现对用户进行有效提示的同时,降低因误唤醒或频繁唤醒语音助手所呈现的动画对驾驶员的干扰,提高驾驶安全性。
步骤202:在唤醒语音助手的第一过程中,根据终端状态或用户状态,显示语音助手的第一动画。
电子设备在唤醒语音助手的第一过程中,根据终端状态或用户状态,在显示屏显示语音助手的第一动画。其中,第一过程指的是语音助手处于开始唤醒且未完全唤醒的过程。
具体的,本步骤中显示语音助手的第一动画,包括但不限于以下两种实现方式:
方式一:电子设备为具有显示功能的设备,如自带显示屏的CDC。此时,CDC在唤醒语音助手的第一过程中,根据终端状态或用户状态,直接在其显示屏上显示语音助手的第一动画,该显示的过程由CDC完成。
方式二:电子设备为具有控制外接显示设备进行动画显示的功能的设备,如不具有显示功能的控制设备。此时,该控制设备将在唤醒语音助手的第一过程中,根据终端状态或用户状态,向外接显示设备发送控制指令,控制该外接显示设备显示语音助手的第一动画。可以看出,该第一动画的显示过程由外接显示设备完成,控制该外接显示设备显示第一动画的过程由控制设备完成,通过发送控制指令等方式,实现对该外接显示设备的显示控制。
应当理解的是,本步骤中显示语音助手的第一动画的两种实现方式,同样适用于本申请实施例中显示语音助手的第二动画的实现,也适用于显示语音助手其他UI动效、文本提示等显示内容的实现。
由上述图1中的语音助手显示效果图可以得出,语音助手主要包括空闲状态、预唤醒状态、完全唤醒状态、聆听状态、理解状态以及反馈状态。如图1所示,第一过程指的是语音助手从空闲状态到预唤醒状态的过程,在该第一过程中,根据终端状态或用户状态,在显示屏显示语音助手的第一动画。
该第一动画将从无动画到冒出部分动画的递进式显示语音助手的虚拟形象,该递进式的显示过程的表现形式可以是多样的。具体的,可以表现为语音助手的虚拟形象的显示面积在逐渐增大,即显示屏占比越来越大,语音助手的虚拟形象的显示完整度也越来越大,也可以表现为语音助手的虚拟形象显示的颜色越来越明显,即显示的透明度越来越低,还可以表现为虚拟形象的转向角度越来越大,从0°开始逐渐转向10°再到20°等。可选的,语音助手的虚拟形象可以是一个简单的元素图形,如圆形、弧形、波浪形等,也可以是虚拟机器人形象,有表情、五官或身体,如精灵、动物或机器人等形象,此处不做限定。上述第一动画的显示效果具体可以参阅上述图1中的102。
具体的,显示第一动画,可以先根据输入情境包括的终端状态或用户状态,确定显示第一动画的参数集合,然后以该参数集合中的参数显示第一动画。其中,该参数集合包括了显示第一动画的目标速度、目标图形样式、转向角度、对应的播报音效中的一项或多项参数。以目标速度显示第一动画为例进行说明,即从无动画到冒出部分动画的递进式显示对应的显示速度,是随输入情境而变化。如上述图1中的102所示,语音助手的虚拟形象的冒出速度可以呈递增趋势。因此,可以通过控制不同输入情境下的动画显示的参数,实现对用户进行有效提示的同时,降低因误唤醒或频繁唤醒语音助手所呈现的动画对驾驶员的干扰,提高驾驶安全性。
具体的,显示第一动画,还可以先根据输入情境包括的终端状态或用户状态,确定显示第一动画的目标区域,然后在该目标区域显示第一动画。即从无动画到冒出部分动画的递进式显示对应的显示区域,是随输入情境而变化。如上述图1中的102所示,语音助手的虚拟形象的显示区域在逐渐增大,显示完整度也越来越大。因此,可以通过控制不同输入情境下的动画显示区域的大小,实现对用户进行有效提示的同时,降低因误唤醒或频繁唤醒语音助手所呈现的动画对驾驶员的干扰,提高驾驶安全性。
由上述步骤201和步骤202的说明可以得出,第一动画的显示过程,是根据输入情境包括的终端状态或用户状态决定的。并且,终端状态包括了终端在语音助手输入情境中处于各个阶段下的状态,如驻停状态、手动驾驶状态、自动驾驶状态,不同驾驶速度的状态等。用户状态包括用户在语音助手输入情境中处于各个阶段下的状态,如用户上车、用户下车、用户分心驾驶、用户疲劳驾驶等状态。下面将结合输入情境中的各个状态,对第一动画的显示进行说明。
情境一:终端处于驻停状态或驾驶状态。
第一动画在终端处于驾驶状态下对应的显示速度要快于第一动画在终端处于驻停状态下对应的显示速度。由于出于驾驶安全性因素的考虑,终端处于驾驶状态情境下对用户的响应速度要求要大大高于终端处于驻停状态情境下对用户的响应速度,因此,在终端处于驾驶状态情境下,第一动画显示速度明显更快,以更快的响应用户。
具体的,可以通过与速度阈值的比较来确保不同输入情境下第一动画的显示速度的差异。比如,在终端处于驾驶状态的输入情境下,第一动画的显示速度大于第一速度阈值,在终端处于驻停状态的输入情境下,第一动画的显示速度小于或等于该第一速度阈值。其中,该第一速度阈值不是一个固定的值,可以根据具体的应用场景而定。因此,通过上述与速度阈值比较的设置模式,可以确保第一动画在终端处于驾驶状态下对应的显示速度快于第一动画在终端处于驻停状态下对应的显示速度。
本申请实施例可以通过控制驾驶或驻停输入情境下的第一动画的显示速度,实现对用户进行有效提示的同时,降低因误唤醒或频繁唤醒语音助手所呈现的动画对驾驶员的干扰,提高驾驶安全性。
情境二:终端处于手动驾驶状态或自动驾驶状态。
第一动画在终端处于手动驾驶状态下对应的显示速度要快于第一动画在终端处于自动驾驶状态下对应的显示速度。由于出于驾驶安全性因素的考虑,终端处于手动驾驶状态情境下对用户的响应速度要求要大大高于终端处于自动驾驶状态情境下对用户的响应速度,因此,在终端处于手动驾驶状态情境下,第一动画显示速度明显更快,以更快的响应用户。
具体的,可以通过与速度阈值的比较来确保不同输入情境下第一动画的显示速度的差异。比如,在终端处于手动驾驶状态的输入情境下,第一动画的显示速度大于第二速度阈值,在终端处于自动驾驶状态的输入情境下,第一动画的显示速度小于或等于该第二速度阈值。其中,该第二速度阈值不是一个固定的值,可以根据具体的应用场景而定。
本申请实施例可以通过控制手动驾驶或自动驾驶输入情境下的第一动画的显示速度,实现对用户进行有效提示的同时,降低因误唤醒或频繁唤醒语音助手所呈现的动画对驾驶员的干扰,提高驾驶安全性。
情境三:终端处于驻停状态或手动驾驶状态或自动驾驶状态。
由上述情境一和情境二的说明可以得出,出于驾驶安全性因素的考虑,终端处于驻停状态下、自动驾驶状态下、手动驾驶状态下,对用户的响应速度要求是逐级增加的,因此,在终端分别处于上述三种状态情境下时,第一动画的显示速度应当也是逐级增加的,以在不同情境下更快速的响应用户。
具体的,可以通过与速度阈值的比较来确保不同输入情境下第一动画的显示速度的差异。如上述情境一和情境二中所述,本情境中,只需设置上述第二速度阈值大于上述第一速度阈值,即可满足,驻停状态对应的第一动画显示速度小于或等于第一速度阈值,自动驾驶状态对应的第一动画显示速度大于该第一速度阈值,且小于或等于第二速度阈值,手动驾驶状态对应的第一动画显示速度大于该第二速度阈值,从而实现对用户的响应速度逐级增加。
本申请实施例可以通过控制手动驾驶或自动驾驶或驻停的输入情境下对应的第一动画的显示速度,实现对用户进行有效提示的同时,降低因误唤醒或频繁唤醒语音助手所呈现的动画对驾驶员的干扰,提高驾驶安全性。
情境四:终端处于不同驾驶速度的状态。
当终端的驾驶速度越快时,对用户的响应速度要求越高。因此,第一动画的显示速度越快,即显示第一动画的目标速度与终端的驾驶速度正相关,可以对用户进行有效提示的同时,提高驾驶安全性。
情境五:用户处于分心驾驶或疲劳驾驶状态。
当检测到用户处于分心驾驶或疲劳驾驶状态时,语音助手对用户的响应速度要求要比正常驾驶状态时的响应速度高。具体的,可以通过用户唤醒语音助手所用的时长来决定对用户的响应速度,如长时间注视语音助手,表示用户正处于分心驾驶状态或疲劳驾驶状态,因此,需及时响应用户,第一动画的显示速度越快,即显示第一动画的目标速度与用户唤醒语音助手所用的时长正相关。
可选的,还可以通过摄像头、传感器等采集设备采集人脸数据、眼球跟踪数据、动作行为等数据,通过对上述数据的分析处理判断用户处于分心驾驶状态或疲劳驾驶状态,从而及时响应用户,第一动画的显示速度越快,可以对用户进行有效提示的同时,提高驾驶安全性。
情境六:用户处于上车或下车状态。
当检测到用户处于上车或下车状态时,其效果与上述情境一或情境二或情境三中终端处于驻停状态的效果等同,即语音助手对用户处于上车或下车状态时对应的响应速度要求要比正常驾驶状态时的响应速度低,第一动画的显示速度相较于正常驾驶状态时的显示速度较慢。
应当理解的是,在各个不同输入情境下,该输入情境对语音助手响应用户的速度要求越高,第一动画的显示速度就越快。
上述只是对语音助手的输入情境中出现频率较高的几个情境进行示例性说明,不应仅以上述六个示例性的情境对本申请构成限定,应理解,其组合或合理变形均适用于本申请中的语音助手显示方法所应用的输入情境中,均应属于本申请的保护范围。
此外,本申请实施例除了执行上述步骤201和步骤202之外,还可以执行如下步骤:
电子设备在唤醒上述语音助手的第二过程中,根据终端状态或用户状态,在显示屏显示语音助手的第二动画。其中,第二过程指的是语音助手从未完全唤醒到完全唤醒的过程。
具体的,本步骤中显示语音助手的第二动画,包括但不限于两种实现方式,即电子设备在唤醒上述语音助手的第二过程中,根据终端状态或用户状态,直接显示第二动画,或者控制外接显示设备显示第二动画,其具体内容可参阅步骤202中显示第一动画的实现方式,此处不再赘述。
由上述图1中的语音助手效果图可以看出,当语音助手进入预唤醒状态后,用户可以通过发出语音指令的方式将语音助手完全唤醒,此时的车机屏幕将进一步显示图1中103的内容。第二过程指的是语音助手从预唤醒状态到完全唤醒状态的过程,在该过程中,语音助手在显示屏显示语音助手的第二动画,如图1中的103所示。
其中,与上述第一动画相比,第二动画的显示需满足以下一项或多项条件:
第二动画的显示完整度大于第一动画的显示完整度,如第一动画显示半圆(如图1中的102所示),第二动画显示全圆(如图1中的103所示),再如第一动画显示半透明,第二动画显示不透明等;第二动画的显示面积大于第一动画的显示面积,即第二动画的显示屏占比大于第一动画的显示屏占比;第二动画的显示区域与第一动画的显示区域不同,如第一动画显示在屏幕边缘,第二动画显示在屏幕中间;第二动画的转向角度与第一动画的转向角度不同,如第一动画对应的虚拟形象的转向角度为20°,第二动画对应的虚拟形象的转向角度为45°等;第二动画对应的播报音效与第一动画对应的播报音效不同,如第一动画对应的播报音效为无声音或小分贝声音,第二动画对应的播报音效为小分贝声音或大分贝声音。通过本申请实施例中第二动画与第一动画的区别,可以对用户进行有效提示语音助手已被完全唤醒。
应理解,从第一动画到第二动画是一个递进式的显示过程。第一动画变化到第二动画的速度,受输入情境包括的终端状态或用户状态的影响,因此,可以通过控制不同输入情境下第一动画到第二动画递进式的显示速度,实现对用户进行有效提示的同时,提高驾驶安全性。
具体的,显示第二动画,与上述显示第一动画类似,可以先根据输入情境包括的终端状态或用户状态,确定显示第二动画的参数集合,然后以该参数集合中的参数显示第二动画。其中,该参数集合包括了显示第二动画的速度、区域、图形样式、转向角度、对应的播报音效中的一项或多项参数。其显示过程随输入情境而变化,与上述显示第一动画类似,此处不再赘述。
相应的,第二动画的显示过程,是根据输入情境包括的终端状态或用户状态决定的。而终端状态包括了终端在语音助手输入情境中处于各个阶段下的状态,如驻停状态、手动驾驶状态、自动驾驶状态,不同驾驶速度的状态等。用户状态包括用户在语音助手输入情境中处于各个阶段下的状态,如用户上车、用户下车、用户分心驾驶、用户疲劳驾驶等状态。同上述第一动画的显示过程相似,此处也可以结合输入情境中的各个状态,对第二动画的显示进行说明。
情境一:终端处于驻停状态或驾驶状态。
第二动画在终端处于驾驶状态下对应的显示速度要快于第二动画在终端处于驻停状态下对应的显示速度。其原理、实现以及对应的技术效果同上述第一动画的显示相似,此处不再赘述。
情境二:终端处于手动驾驶状态或自动驾驶状态。
第二动画在终端处于手动驾驶状态下对应的显示速度要快于第二动画在终端处于自动驾驶状态下对应的显示速度。其原理、实现以及对应的技术效果同上述第一动画的显示相似,此处不再赘述。
情境三:终端处于驻停状态或手动驾驶状态或自动驾驶状态。
终端处于驻停状态下、自动驾驶状态下、手动驾驶状态下,第二动画的显示速度逐级增加,以在不同情境下更快速的响应用户。其原理、实现以及对应的技术效果同上述第一动画的显示相似,此处不再赘述。
情境四:终端处于不同驾驶速度的状态。
当终端的驾驶速度越快时,对用户的响应速度要求越高。因此,第二动画的显示速度越快,即显示第二动画的速度与终端的驾驶速度正相关,可以对用户进行有效提示的同时,提高驾驶安全性。其原理、实现以及对应的技术效果同上述第一动画的显示相似,此处不再赘述。
情境五:用户处于分心驾驶或疲劳驾驶状态。
当检测到用户处于分心驾驶或疲劳驾驶状态时,语音助手对用户的响应速度要求要比正常驾驶状态时的响应速度高,第二动画的显示速度更快。其原理、实现以及对应的技术效果同上述第一动画的显示相似,此处不再赘述。
情境六:用户处于上车或下车状态。
当检测到用户处于上车或下车状态时,语音助手对用户的响应速度要求要比正常驾驶状态时的响应速度低,第二动画的显示速度相较于正常驾驶状态时的显示速度较慢。其原理、实现以及对应的技术效果同上述第一动画的显示相似,此处不再赘述。
应当理解的是,在各个不同输入情境下,该输入情境对语音助手响应用户的速度要求越高,第二动画的显示速度就越快。
上述只是对语音助手的输入情境中出现频率较高的几个情境进行示例性说明,不应仅以上述六个示例性的情境对本申请构成限定,应理解,其组合或合理变形均适用于本申请中的语音助手显示方法所应用的输入情境中,均应属于本申请的保护范围。
此外,本申请实施例除了显示第一动画和第二动画之外,还可以执行如下步骤:
在唤醒语音助手的第一过程中,根据终端状态或用户状态,控制语音助手以第一角度转向用户;在唤醒上述语音助手的第二过程中,根据终端状态或用户状态,控制语音助手以第二角度转向用户,其中,第二角度大于第一角度。
可以理解的是,从唤醒语音助手的第一过程到唤醒语音助手的第二过程,是一个持续的递进式过程,相应的,该第一过程对应的第一动画到第二过程对应的第二动画是一个递进式的显示过程。在上述过程中,控制语音助手从以第一角度转向用户到以第二角度转向用户,也应当理解为是一个递进式的转向过程。以第一角度转向用户变化到以第二角度转向用户,受输入情境包括的终端状态或用户状态的影响。因此,可以通过控制不同输入情境下上述递进式的转向过程中的转向角度,实现对用户进行有效提示的同时,提高驾驶安全性。
具体的,上述递进式的转向过程,是根据输入情境包括的终端状态或用户状态决定的。而终端状态包括了终端在语音助手输入情境中处于各个阶段下的状态,如驻停状态、手动驾驶状态、自动驾驶状态,不同驾驶速度的状态等。用户状态包括用户在语音助手输入情境中处于各个阶段下的状态,如用户上车、用户下车、用户分心驾驶、用户疲劳驾驶等状态。
此处,还可以结合输入情境中的各个状态,对上述递进式的转向过程进行说明。
情境一:终端处于驻停状态或驾驶状态。
语音助手在终端处于驾驶状态下对应的转向用户的速度快于语音助手在终端处于驻停状态下对应的转向用户的速度。
情境二:终端处于手动驾驶状态或自动驾驶状态。
语音助手在终端处于手动驾驶状态下对应的转向用户的速度快于语音助手在终端处于自动驾驶状态下对应的转向用户的速度。
情境三:终端处于驻停状态或手动驾驶状态或自动驾驶状态。
终端处于驻停状态下、自动驾驶状态下、手动驾驶状态下,语音助手转向用户的速度逐级增加,以在不同情境下更快速的响应用户。
情境四:终端处于不同驾驶速度的状态。
当终端的驾驶速度越快时,对用户的响应速度要求越高。因此,语音助手转向用户的速度越快,即语音助手转向用户的速度与终端的驾驶速度正相关,可以对用户进行有效提示的同时,提高驾驶安全性。
情境五:用户处于分心驾驶或疲劳驾驶状态。
当检测到用户处于分心驾驶或疲劳驾驶状态时,语音助手对用户的响应速度要求要比正常驾驶状态时的响应速度高,转向用户的速度更快。
情境六:用户处于上车或下车状态。
当检测到用户处于上车或下车状态时,语音助手对用户的响应速度要求要比正常驾驶状态时的响应速度低,转向用户的速度相较于正常驾驶状态时转向用户的速度较慢。
应当理解的是,在各个不同输入情境下,该输入情境对语音助手响应用户的速度要求越高,语音助手转向用户的速度就越快。
上述只是对语音助手的输入情境中出现频率较高的几个情境进行示例性说明,不应仅以上述六个示例性的情境对本申请构成限定,应理解,其组合或合理变形均适用于本申请中的语音助手显示方法所应用的输入情境中,均应属于本申请的保护范围。
本申请实施例中,通过对语音助手从无到接收语音指令的过程中(即语音助手唤醒过程中)所呈现的动画进行改进,使得显示动画随输入情境而变化,或者对语音助手转向用户的过程进行改进,使得语音助手的转向随输入情境而变化,可以对用户进行有效提示的同时,降低因误唤醒或频繁唤醒语音助手所呈现的动画对驾驶员的干扰,提高驾驶安全性。
请参阅图3,图3为本申请实施例提供的另一种语音助手显示方法的流程示意图,也可以理解为是上述图2中的语音助手显示方法流程图的变形或补充。
如图3所示,提供了一种语音助手从处于空闲或待机状态到被唤醒,再到接收语音指令,执行操作的可能的实施例。具体过程如下:
语音助手处于空闲或待机状态时,通过获取终端状态或用户状态,可以得到用户与语音助手之间的注视行为或动作行为,基于该注视行为或动作行为,唤醒第一过程对应的语音助手,即使语音助手从空闲状态到预唤醒状态。
其中,用户与语音助手之间的注视行为可以是用户注视语音助手,也可以是特定场景下语音助手主动注视用户,从而唤醒语音助手,用户与语音助手之间的动作行为可以是用户执行某个动作(如手势等),也可以是特定场景下语音助手主动执行某个动作行为(如语音助手的实体设备转向等),从而唤醒语音助手。
具体的,基于上述注视行为或动作行为,唤醒第一过程对应的语音助手,可以通过如下方式实现:
在检测到用户的第一注视行为对应的注视点位于第一区域内的持续时间大于第一值的情况下,唤醒该第一过程对应的语音助手。其中,该第一区域包括语音助手对应的区域或屏幕或座舱的特定区域,该第一值不是一个固定的值,可以根据不同的应用场景而调整,比如,该第一值在驾驶时和驻停时的要求可以是相同的,也可以是不同的,驾驶时的注视时长要求可能更长,灵敏度要比驻停时更小,如此可避免用户轻扫带来的误唤醒。
例如,应用于车载语音助手的场景中,语音助手通过摄像头或其他传感器,识别主驾和副驾的注视时长、注视角度及注视目光离开。驾驶员或副驾的目光注视语音助手大于500ms-700ms,注视角度位于语音助手检测范围内,即可唤醒第一过程对应的语音助手。
在检测到语音助手的第二注视行为对应的注视点位于第二区域内的持续时间大于第二值的情况下,唤醒该第一过程对应的语音助手。其中,该第二区域包括用户对应的区域,该第二值不是一个固定的值,可以根据不同的应用场景而调整。
在检测到用户的动作行为或语音助手的动作行为与预设行为的匹配度大于第三值的情况下,唤醒该第一过程对应的语音助手。其中,该第三值不是一个固定的值,可以根据不同的应用场景而调整。
例如,应用于车载语音助手的场景中,用户的手势被车载手势识别设备读取,该车载手势识别设备可以是光学摄像头、红外景深传感器摄像头、雷达波传感器等,生成图形或雷达数据,将图形或雷达数据输入神经网络模型,由神经网络模型根据人工智能算法,可以区分识别出不同的手势类型,最后根据预设手势的定义,得到用户手势对应的指令意图。其中,预设手势的定义可以对应于各项语音助手的预设功能,包括但不限于:下降、提升、播放/暂停、切换、返回、放弃、选择、确定、后退、前进等。
与传统的通过某段语音唤醒词唤醒语音助手的方式相比,本申请实施例唤醒语音助手的成本更低,在需频繁唤醒语音助手的场景下更省时省力,可以提高人机交互的效率。
此外,唤醒语音助手的同时,语音助手将递进式的显示第一动画和第二动画,或者语音助手将以不同角度递进式的转向用户。提示用户语音助手正处于唤醒过程中,并提示用户及时发出语音指令。
在语音助手接收到用户的语音指令后,语音助手将基于语音识别技术,对接收到的语音指令进行识别理解,得到该语音指令对应的操作,并及时响应于该语音指令,执行该语音指令对应的操作。例如,用户发出的语音指令为“导航到新街口”,语音助手对该语音指令进行识别理解后得到该语音指令的指令意图及其对应的操作,将自动调用地图导航功能,显示从当前地址到新街口的合适路线。可选的,语音助手还可以进行文字或语音反馈,如进行语音播报“已为您找到去往新街口的合适路线,开始导航,请小心驾驶”等。
可选的,语音助手也可以在检测到用户处于分心驾驶或疲劳驾驶的情况下,无需接收用户的语音指令,直接执行操作以提示用户小心驾驶,如语音播报、播放歌曲等操作。
请参阅图4,图4为本申请实施例提供的另一种语音助手显示方法的流程示意图,也可以理解为是上述图2或图3中的语音助手显示方法流程图的变形或补充。
如图4所示,检测到用户与屏幕或语音助手之间的注视行为或动作行为,先判断该注视行为或动作行为是否有效,即是否能预唤醒语音助手,在判断有效的情况下,根据输入情境包括的终端状态或用户状态,准备预唤醒语音助手动画显示的逻辑处理。其中,动画配置信息包括但不限于:动画显示的位置/方位信息、设置语音助手用户界面(UserInterface,UI)的显示样式、动画的内容以及其他信息,示例性的,该其他信息可以是文字提示、音效或语音播报提示等信息。在完成预唤醒语音助手动画显示的逻辑处理后,设置显示界面,执行预唤醒语音助手动画显示,从而显示上述预唤醒对应的第一动画,在后续识别到语音指令输入的情况下,显示完全唤醒对应的第二动画。
可以理解的是,注视行为或动作行为唤醒语音助手与常规的语音唤醒语音助手之间的区别在于:前者是指通过注视或动作唤醒语音助手后,可直接与语音助手对话,注视交互方式或动作交互方式与语音交互方式是一种递进式的多模交互方式;而后者可以通过语音命令直接与语音助手进行对话。
此外,不同输入情境下的唤醒语音助手的方式对应的动画显示也有所不同,具体可参阅图5,图5为本申请实施例提供的一种情境输入的流程示意图。
如图5所示,以车辆终端为例,情境输入主要包括了用户入/离车状态、车辆行驶状态、用户状态、车辆系统消息通知等,在上述输入情境下,语音助手的视觉反馈、听觉反馈及语音响应方式不同。视觉反馈主要体现在图形交互界面(Graphical User Interface,GUI)不同,听觉反馈主要体现在语音交互界面(Vioce User Interface,VUI)不同。
根据不同的语音助手唤醒方式以及语音助手的输入情境,语音助手对应的动画显示速度、曲线、音效播报等多模反馈不同。具体的,语音助手对应的动画显示生成的技术方案如下表一和表二所示:
表一
采集数据 唤醒语音助手的方式
摄像头AI识别 识别用户注视唤醒语音助手
摄像头AI识别/TOF 3D摄像头 识别用户手势唤醒语音助手
Mic收音 识别用户语音唤醒语音助手
触控事件 识别用户触控唤醒语音助手
表二
Figure BDA0003385257180000191
由上述表一可知,可以通过采集不同方面数据识别唤醒语音助手的不同方式。比如,通过摄像头人工智能(Artificial Intelligence,AI)识别用户人脸或进行眼球追踪,利用视觉算法可以识别出用户的注视行为唤醒语音助手;通过摄像头AI识别或红外景深传感器(Time of Flight,TOF)3D摄像头识别用户的动作行为,利用神经网络模型可以识别出用户的手势唤醒语音助手;通过Mic收音可以识别用户语音唤醒语音助手;通过触控事件可以识别用户触控唤醒语音助手。
由上述表二可知,根据不同的语音助手唤醒方式以及语音助手的输入情境,可以对语音助手显示动画对应的各个动画配置项进行信息配置。比如,对于动画的控制出现位置,其配置信息可以是:悬浮窗形式显示语音助手;根据规则设置悬浮窗显示位置;根据规则设置从左至右或者从右至左显示。对于动画的设置UI样式,其配置信息可以是:通过资源代码预制多种样式;根据规则调用预制样式进行显示。对于动画的设置动画速度,其配置信息可以是:通过资源代码预制多种时长、插值器等参数;根据规则调用预制样式的动画参数。对于动画的设置音效,其配置信息可以是:预制多种音效资源;根据规则调用预制的音效资源并播放。对于动画的设置播报从文本到语音(Text To Speech,TTS),其配置信息可以是:预制多种场景的TTS语音;根据规则调用预制的TTS语音并播放。
应理解,上述表一只是对识别唤醒语音助手的几种可能的实现方式进行示例性说明,上述表二只是对语音助手显示动画对应的几个可能的动画配置项进行信息配置的示例性说明,不应仅以上述示例性的唤醒方式及动画配置信息对本申请构成限定,应理解,其组合或合理变形均适用于本申请中的语音助手显示方法所应用的输入情境中,均应属于本申请的保护范围。
具体的,下面将以表格的形式对不同的情境输入(终端状态及用户状态)、交互输入(用户与语音助手的交互行为)所对应的语音助手虚拟形象的动画显示以及语音助手实体机器人的转向响应进行说明,具体可以如下表三和表四所示:
表三
Figure BDA0003385257180000201
Figure BDA0003385257180000211
表四
Figure BDA0003385257180000212
Figure BDA0003385257180000221
可以看出,上述表三中情境输入包括的车辆驻停、车辆行驶中(手动驾驶、自动驾驶)属于终端状态的具体表现形式,情境输入包括的用户上车、用户下车、用户疲劳或分心属于用户状态的具体表现形式,交互输入包括的用户注视语音助手、语音助手注视用户、用户挥手等属于预唤醒语音助手的不同实现方式,语音助手虚拟形象的动画显示属于参数集合中的目标图形样式的具体表现形式,动画显示速度属于参数集合中的目标速度的具体表现形式,唤醒后音效属于参数集合中的播报音效的具体表现形式,上述表四中语音助手实体机器人的转向响应属于参数集合中的转向角度的具体表现形式。
应理解,上述表三是对不同的情境输入(终端状态及用户状态)、交互输入(用户与语音助手的交互行为)所对应的语音助手虚拟形象的动画显示进行示例性说明,上述表四是对不同的情境输入(终端状态及用户状态)、交互输入(用户与语音助手的交互行为)所对应的语音助手实体机器人的转向响应进行示例性说明(此处的实体机器人换成语音助手对应的虚拟机器人,其转向响应仍然成立),不应仅以上述示例性的情境输入、交互输入以及对应的语音助手虚拟形象的动画显示、语音助手实体机器人的转向响应对本申请构成限定,应理解,其组合或合理变形均适用于本申请中的语音助手虚拟形象在不同场景下的不同动画显示、以及语音助手实体机器人在不同场景下的不同转向响应,均应属于本申请的保护范围。
比如,表三中车辆驻停的情境输入所对应的第一动画显示速度(如≥500ms)、第二动画显示速度(如≥1000ms),此处的500ms和1000ms仅作为示例性的数值对第一动画和第二动画显示速度进行说明,不应以此对该情境输入所对应的第一动画和第二动画显示速度构成限定。类似的,表四中车辆驻停的情境输入和用户注视语音助手的交互输入所对应的语音助手实体机器人从静默状态到部分转向或向用户倾斜,如15°≤x≤30°,此处的15°和30°仅作为示例性的数值对语音助手实体机器人转向幅度进行说明,不应以此对该情境输入和交互输入所对应的语音助手实体机器人转向幅度构成限定。
此外,由上述表三和表四可知:
根据不同输入情境包括的终端状态及用户状态、用户与语音助手的交互行为,语音助手从无到接收语音指令的唤醒过程中所呈现的第一动画和第二动画效果不同:
(1)第一动画,针对用户主动行为唤醒语音助手:用户注视屏幕语音助手的虚拟形象或者语音助手实体机器人双向注视或挥手后,语音助手识别到用户有交互意图,从无或静默状态切换到部分出现或者转向用户,进入聆听等待状态;
(2)第二动画,从语音助手预唤醒状态向完全唤醒状态过渡:从预唤醒状态下接收到用户语音指令输入,虚拟形象或实体机器人会从第一动画到完全出现/转向第二动画过渡;
(3)结合不同车辆情境状态感知,第一动画和第二动画显示存在差异性,如驻停状态与驾驶状态下,第一动画出现速度和UI显示及音效反馈不同;接收语音指令时,第二动画的过渡动画显示速度也有所不同,行驶中状态相比驻停状态下的第二动画衔接效果更快速;
(4)第二动画的显示时长,受第一动画到第二动画的变化幅度以及距离等因素影响,如第一动画与第二动画目标位置距离越远或形变越大,第二动画的显示时长越长。
(5)基于情境感知下,语音助手会主动出现或转向用户,用户可以直接与语音助手进行对话和命令。
对于上述图5中关于不同输入情境下的唤醒语音助手的方式对应的动画显示,下面将结合显示的效果图及应用的场景图进一步说明。
请参阅图6A,图6A为本申请实施例提供的一种语音助手显示的效果示意图。
如图6A所示,在车辆终端的应用场景中,车辆处于驻停状态下,驾驶员目光注视车中控屏时(需判断注视时长,如注视时长超过500ms-700ms),语音助手的虚拟形象显示并等待用户进一步指令。
其中,显示内容包括UI图标在靠近注视驾驶员的屏幕边缘出现,如图6A中的(a)所示,表示检测到驾驶员的注视,语音助手开始监听用户的语音指令输入,当输入语音指令时,UI形象呈现语音对话完整形象,如图6A中的(b)所示,表示接收到语音指令“今天天气如何”。
请参阅图6B,图6B为本申请实施例提供的一种语音助手显示的效果示意图。
如图6B所示,在车辆终端的应用场景中,车辆处于驻停状态下,副驾目光注视车中控屏时(需判断注视时长,如注视时长超过500ms-700ms),语音助手的虚拟形象显示并等待用户进一步指令。
其中,显示内容包括UI图标在靠近注视副驾的屏幕边缘出现,如图6B中的(a)所示,表示检测到副驾的注视,语音助手开始监听用户的语音指令输入,当输入语音指令时,UI形象呈现语音对话完整形象,如图6B中的(b)所示,表示接收到语音指令“播放a的歌”,示例性地,a可以为歌手的姓名,或者为其他与该播放歌曲相关联的信息。
请参阅图6C,图6C为本申请实施例提供的一种语音助手显示的效果示意图。
如图6C所示,在车辆终端的应用场景中,车辆处于驻停状态下,后排乘客目光注视车中控屏时(需判断注视时长,如注视时长超过500ms-700ms),语音助手的虚拟形象显示并等待用户进一步指令。
其中,显示内容包括UI图标在靠近后排乘客的屏幕下方边缘出现,如图6C中的(a)所示,表示检测到后排乘客的注视,语音助手开始监听用户的语音指令输入,当输入语音指令时,UI形象呈现语音对话完整形象,如图6C中的(b)所示,表示接收到语音指令“播放b的动画片”,示例性地,b可以为动画片中包括的导演或者配音演员或者编剧的姓名,或者为其他与该动画片相关联的信息。
请参阅图6D,图6D为本申请实施例提供的一种语音助手显示的效果示意图。
如图6D所示,为语音助手从预唤醒到被完全唤醒的过程所显示的递进式动画的效果,其整个显示过程是连贯的,且期间处于不同状态下的显示速度随不同的输入情境而变化。
此外,在车辆终端的应用场景中,车辆处于行驶状态下,出于驾驶安全考虑,当检测到驾驶员注视屏幕(语音助手正常出现和反馈)超过一定时长(如1s,判断驾驶时目光离开前方路面不得超过1.5s,否则影响驾驶安全),语音助手出现在屏幕或者实体机器人转向驾驶员,并通过UI文本或语音提醒驾驶员专心驾驶。具体的,语音助手对应的第一动画出现在屏幕上的时间与UI文本出现的时间可能不是同时的,示例性的,用户注视屏幕特定区域700ms,屏幕显示预唤醒第一动画,当注视达到1000ms(1s,包括了前面的700ms)时,才出现相应的UI文本提示。车辆处于驻停状态下,无驾驶分心提醒。
区别于传统的驾驶分心检测,传统的驾驶分心是检测到用户一段时间内不注视路面或前方,注视屏幕不是主要判断用户分心的原因,因此,用户在注视屏幕时并未对用户进行驾驶分心提醒。
可选的,如上述图6A至图6D中语音助手显示的效果图所示,语音助手与用户之间的交互可参照以下交互规则:
(1)语音助手同时感应主驾和副驾的注视唤醒(有后排支持目光或头部转向时也可唤醒),并予以语音助手UI反馈。当检测到驾驶员注视,语音助手朝向驾驶员,或从中控屏左侧边缘出现;反之,检测到副驾注视,语音助手朝向副驾,或从中控屏右侧边缘出现;
(2)当两者在同一时段都注视屏幕,语音助手优先响应驾驶员注视唤醒(后排和副驾同时注视时优先响应副驾注视唤醒);
(3)语音指令的反馈可以锁定注视对象进行响应(如果是两人同时注视,仅响应主驾语音指令,副驾发出的语音指令不响应),也可以不锁定仅响应注视对象(如果驾驶员和副驾同时注视了,谁先发出语音指令,语音助手就优先响应谁,如副驾先说“播放c音乐”,语音助手就优先响应副驾的播放c音乐指令),可以基于用户或语音助手系统设置注视情况下的语音指令响应规则,此处不做限定。示例性地,c为与该音乐关联的信息,例如该音乐对应的演唱者、或者该音乐对应的作词者,或者该音乐对应的收录专辑。
(4)为防止误唤醒,语音助手系统可定义注视的响应时长以及注视范围,如注视屏幕某个位置超过一定时长(100ms、500ms或700ms,根据学术界定义注视的时长不同,响应唤醒的注视感应时长可调节)。除固定时长设置外,还可以根据不同年龄层次、不同用户画像设置不同的注视唤醒响应时长。
(5)通过注视技术识别唤醒用户方位,以及语音对话进入唤醒等待模式。
语音助手为每个位置用户记录正视前方的状态,每个位置用户存储一组人脸三维点云坐标,每组人脸坐标包括468个关键点;通过普通车机前置摄像头捕获车内驾驶员和乘客照片,用人工神经网络模型计算得到人脸468个关键点三维坐标;根据瞳距,计算人脸距离摄像头的距离,结合平面坐标,判断人脸属于车内哪一个位置;对每个位置的用户,将其人脸三维点云坐标与预先存储的人脸三维点云坐标进行比较,基于Kabsch算法,计算人脸朝向,结果用一个三维矩阵Rh[3x3]表示;根据眼角和眼球中心关键点坐标,计算眼球朝向,结果表示为Ri[3x3];计算注视方向RhRi,根据眼球中心位置(x,y,z)和注视方向RhRi,计算视线与屏幕所在平面交点,得到用户注视屏幕二维坐标(u,v)。
(6)当用户注视后立即发出语音指令,语音助手从屏幕侧边滑出的速度会更快(如100ms),当用户等待一段时间才发出语音指令,则语音助手滑出的速度为正常速度(大约250ms,时长根据人因数据可修改)。其次,在驾驶状态下的用户注视屏幕,语音助手滑出响应速度也会比驻停状态下更快。
(7)注视后的语音助手处于唤醒过程中消失的方式:
检测用户点击屏幕(非语音助手交互,如播放、搜索地点等点触操作),语音助手唤醒状态消失;用户注视后15s内不发出语音指令,语音助手唤醒状态消失;用户一段语音指令执行完,语音助手UI回到屏幕边缘,会继续等待一段时间(如15s),检测到用户未再次发出语音指令则消失;用户发出“退出”或“取消语音指令”的语音指令。
(8)解决用户注视屏幕和触控屏幕冲突问题,减少触控时的注视误唤醒:
当用户在注视唤醒或语音对话时,点击屏幕空白区域,以及正常屏幕操作时(最后一次触控屏幕)10s内(时长可设置)。
(9)根据用户注视的不同位置,对应显示的动画效果不同。比如,用户注视到屏幕特定区域,显示动画a,用户注视到屏幕的非特定区域,显示动画b,动画a和动画b显示的位置不同。
请参阅图7A,图7A为本申请实施例提供的一种语音助手显示的效果示意图。
如图7A所示,在车辆终端的应用场景中,车辆处于驾驶状态下,检测用户隔空手势唤醒语音助手;根据屏幕大小和位置显示语音助手出现位置。
其中,显示内容包括UI图标在检测到驾驶员右手手势唤醒语音助手时出现在屏幕中,并等待用户进一步语音指令,如图7A中的(a)所示;UI图标在检测到副驾驶员左手手势唤醒语音助手时出现在屏幕中,并等待用户进一步语音指令,比如提示用户可以说“开始导航”“播放歌曲”等语音指令,如图7A中的(b)所示。
请参阅图7B,图7B为本申请实施例提供的一种语音助手转向的效果示意图。
如图7B所示,在车辆终端的应用场景中,车辆处于驾驶状态下,检测用户隔空手势唤醒语音助手,语音助手实体机器人感知用户挥手隔空手势,转向用户唤醒,并响应免唤醒词的语音指令。
其中,在检测到驾驶员右手手势唤醒语音助手时,语音助手实体机器人感知用户挥手隔空手势,转向驾驶员唤醒,如图7B中的(a)所示;在检测到副驾驶员左手手势唤醒语音助手时,语音助手实体机器人感知用户挥手隔空手势,转向副驾驶员唤醒,如图7B中的(b)所示。
请参阅图8A,图8A为本申请实施例提供的一种语音助手的场景示意图。
如图8A所示,基于语音助手注视用户,也可以触发语音助手唤醒。
在用户非注视语音助手实体机器人(包括屏幕内、实体、全息等方式的机器人)的情况下,基于用户其他行为(如上车、非注视屏幕的驾驶分心、疲劳驾驶)或服务状态(来消息通知、来电等状态)的判断,车载语音助手实体机器人会转向驾驶员或乘客,驾驶员和乘客可以直接与车载语音助手进行语音交互。可选的,图8A中的机器人也可以指的是屏幕中的虚拟机器人形象,有表情、五官或身体,如精灵、动物或机器人等形象。
当车载语音助手系统检测到用户上车、下车、疲劳驾驶、系统收到消息等状态时,语音助手实体机器人会部分转向用户,其实现过程可以如下:
车辆状态获取方式:上车状态根据车门关闭触发,通过人脸检测识别驾驶员是否位于驾驶位置;
疲劳驾驶:根据前文检测到的人脸关键点,采用人工神经网络计算;
来电、收到消息:通过操作系统通知获得,例如从操作系统的消息通知服务获取。
不同输入情境下,语音助手实体机器人转向状态及转向速度不同,如上下车状态明确,机器人转向角度比疲劳状态要大。其次,无需用户注视语音助手实体机器人或说唤醒词,也可以直接与语音助手进行语音对话或发出语音指令。
请参阅图8B,图8B为本申请实施例提供的另一种语音助手的场景示意图。
如图8B所示,本申请实施例中的语音助手显示方法还可以应用于家庭等其他终端系统。
在家居环境中,通过摄像头感知用户看向或者朝向哪个终端,哪个终端的语音助手将被唤醒,在其对应的屏幕或设备上递进式显示第一动画和第二动画,包括但不限于屏幕上出现部分UI图形、机器人转向、光效等,如图8B中的(a)至(b)再至(c)的显示过程。
基于不同的终端状态(包括自身系统状态、环境、用户状态),语音助手唤醒动画的显示效果不同:
1)如识别到用户进屋、用户离开,语音助手主动唤醒并响应用户语音指令;
2)如果用户家里有多个人,来电话时,不主动显示在屏幕上,当用户看向屏幕时,可以唤醒语音助手,第一动画可以相对用户进屋或用户离开较快出现;
3)如果所在空间内有人休息,用户看向终端,语音助手唤醒,但不播放音效。
上述只是几种可能的示例性显示效果说明,不应以此对本申请所保护的方案构成限定。
由图8B可知,本申请不仅应用于车辆终端,还可以应用于家庭等其他终端系统,家庭终端系统也能响应用户注视、手势等行为,进行语音助手唤醒。并且根据终端特征,可以增加更多情境状态,如用户数量、隐私性等因素,所对应的唤醒动画显示速度、响应音效等也会不同。
上述详细阐述了本申请实施例的方法,下面提供本申请实施例的装置。
请参阅图9,图9为本申请实施例提供的一种语音助手显示装置的结构示意图,该语音助手显示装置90可以包括获取单元901以及控制单元902,其中,各个单元的描述如下:
获取单元901,用于获取终端状态或用户状态;
控制单元902,用于在唤醒语音助手的第一过程中,根据所述终端状态或所述用户状态,控制所述语音助手的第一动画的显示,所述第一过程为所述语音助手处于开始唤醒且未完全唤醒的过程。
在一种可能的实施方式中,所述控制单元902,还用于在唤醒所述语音助手的第二过程中,控制所述语音助手的第二动画的显示,所述第二过程位于所述第一过程之后,所述第二动画满足以下一项或多项条件:所述第二动画的显示完整度大于所述第一动画的显示完整度,所述第二动画的显示面积大于所述第一动画的显示面积,所述第二动画的显示区域与所述第一动画的显示区域不同,所述第二动画的转向角度与所述第一动画的转向角度不同,所述第二动画对应的播报音效与所述第一动画对应的播报音效不同。
在一种可能的实施方式中,显示所述第一动画到显示所述第二动画所用的时间由所述终端状态或所述用户状态确定。
在一种可能的实施方式中,所述控制单元902,用于在唤醒语音助手的第一过程中,根据所述终端状态或所述用户状态,控制所述语音助手的第一动画的显示,包括:
所述控制单元902,具体用于根据所述终端状态或所述用户状态,确定显示所述第一动画的参数集合,所述参数集合包括显示所述第一动画的目标速度、目标图形样式、转向角度、播报音效中的一项或多项参数;
所述控制单元902,具体还用于根据所述参数集合控制所述第一动画的显示。
在一种可能的实施方式中,所述控制单元902,用于在唤醒语音助手的第一过程中,根据所述终端状态或所述用户状态,控制所述语音助手的第一动画的显示,包括:
所述控制单元902,具体用于根据所述终端状态或所述用户状态,确定显示所述第一动画的目标区域;
所述控制单元902,具体还用于在所述目标区域控制所述第一动画的显示。
在一种可能的实施方式中,所述终端状态为驾驶状态且所述参数集合包括所述目标速度,所述目标速度大于第一速度阈值。
在一种可能的实施方式中,所述终端状态为驻停状态且所述参数集合包括所述目标速度,所述目标速度小于或等于第一速度阈值。
在一种可能的实施方式中,所述第一动画在所述终端处于驾驶状态下对应的显示速度快于所述第一动画在所述终端处于驻停状态下对应的显示速度。
在一种可能的实施方式中,所述第二动画在所述终端处于驾驶状态下对应的显示速度快于所述第二动画在所述终端处于驻停状态下对应的显示速度。
在一种可能的实施方式中,所述终端状态为手动驾驶状态且所述参数集合包括所述目标速度,所述目标速度大于第二速度阈值。
在一种可能的实施方式中,所述终端状态为自动驾驶状态且所述参数集合包括所述目标速度,所述目标速度小于或等于第二速度阈值。
在一种可能的实施方式中,所述第一动画在所述终端处于手动驾驶状态下对应的显示速度快于所述第一动画在所述终端处于自动驾驶状态下对应的显示速度。
在一种可能的实施方式中,所述第二动画在所述终端处于手动驾驶状态下对应的显示速度快于所述第二动画在所述终端处于自动驾驶状态下对应的显示速度。
在一种可能的实施方式中,所述第二速度阈值大于所述第一速度阈值。
在一种可能的实施方式中,所述参数集合包括所述目标速度,所述目标速度与所述终端的驾驶速度正相关。
在一种可能的实施方式中,所述用户状态包括以下至少一项:所述用户是否处于疲劳驾驶状态、所述用户是否处于分心状态、所述用户上车、所述用户下车。
示例性的,所述用户是否处于分心状态或疲劳驾驶状态可以通过用户唤醒所述语音助手所用的时长来确定,所述用户上车或下车可以通过车端传感器获取的数据来确定。
在一种可能的实施方式中,所述参数集合包括所述目标速度,所述目标速度与所述用户唤醒所述语音助手所用的时长正相关。
在一种可能的实施方式中,所述装置还包括:
唤醒单元903,用于基于所述用户与所述语音助手之间的注视行为或动作行为,唤醒所述第一过程对应的所述语音助手。
在一种可能的实施方式中,所述动作行为唤醒所述语音助手所对应的动画显示速度快于所述注视行为唤醒所述语音助手所对应的动画显示速度。
在一种可能的实施方式中,所述装置还包括:
处理单元904,用于在唤醒所述语音助手的所述第一过程中,根据所述终端状态或所述用户状态,控制所述语音助手以第一角度转向用户。
在一种可能的实施方式中,所述处理单元904,还用于在唤醒所述语音助手的所述第二过程中,控制所述语音助手以第二角度转向用户,所述第二角度大于所述第一角度。
在一种可能的实施方式中,所述语音助手在所述终端处于驾驶状态下对应的转向用户的速度快于所述语音助手在所述终端处于驻停状态下对应的转向用户的速度。
在一种可能的实施方式中,所述语音助手在所述终端处于手动驾驶状态下对应的转向用户的速度快于所述语音助手在所述终端处于自动驾驶状态下对应的转向用户的速度。
在一种可能的实施方式中,所述语音助手转向用户的速度与所述终端的驾驶速度正相关。
在一种可能的实施方式中,所述语音助手转向用户的速度与所述用户唤醒所述语音助手所用的时长正相关。
在一种可能的实施方式中,所述唤醒单元903,具体用于在所述用户的第一注视行为对应的注视点位于第一区域内的持续时间大于第一值的情况下,唤醒所述第一过程对应的所述语音助手,所述第一区域包括所述语音助手对应的区域。
在一种可能的实施方式中,所述唤醒单元903,具体用于在所述语音助手的第二注视行为对应的注视点位于第二区域内的持续时间大于第二值的情况下,唤醒所述第一过程对应的所述语音助手,所述第二区域包括所述用户对应的区域。
在一种可能的实施方式中,所述唤醒单元903,具体用于在所述用户的动作行为或所述语音助手的动作行为与预设行为的匹配度大于第三值的情况下,唤醒所述第一过程对应的所述语音助手。
在一种可能的实施方式中,所述获取单元901,还用于接收语音指令;
所述处理单元904,还用于响应于所述语音指令,执行所述语音指令对应的第一操作;
或者,所述处理单元904,还用于执行第二操作。
根据本申请实施例,图9所示的装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,基于电子设备也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
需要说明的是,各个单元的实现还可以对应参照上述图2、图3、图4所示的方法实施例的相应描述。
在图9所描述的语音助手显示装置90中,通过对语音助手从无到接收语音指令的过程中(即语音助手唤醒过程中)所呈现的动画进行改进,使得显示动画随输入情境而变化,可以对用户进行有效提示的同时,降低因误唤醒或频繁唤醒语音助手所呈现的动画对驾驶员的干扰,提高驾驶安全性。
请参阅图10,图10为本申请实施例提供的一种电子设备100的结构示意图。该电子设备100可以包括存储器1001、处理器1002。进一步可选的,还可以包含通信接口1003以及总线1004,其中,存储器1001、处理器1002以及通信接口1003通过总线1004实现彼此之间的通信连接。通信接口1003用于与上述语音助手显示装置90进行数据交互。
其中,存储器1001用于提供存储空间,存储空间中可以存储操作系统和计算机程序等数据。存储器1001包括但不限于是随机存储记忆体(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasable programmableread only memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM)。
处理器1002是进行算术运算和逻辑运算的模块,可以是中央处理器(centralprocessing unit,CPU)、显卡处理器(graphics processing unit,GPU)或微处理器(microprocessor unit,MPU)等处理模块中的一种或者多种的组合。
存储器1001中存储有计算机程序,处理器1002调用存储器1001中存储的计算机程序,以执行上述图2、图3、图4所示的语音助手显示方法:
获取终端状态或用户状态;
在唤醒语音助手的第一过程中,根据所述终端状态或所述用户状态,显示所述语音助手的第一动画,所述第一过程为所述语音助手处于开始唤醒且未完全唤醒的过程。
在一种可能的实施方式中,所述方法还包括:
在唤醒所述语音助手的第二过程中,显示所述语音助手的第二动画,所述第二过程位于所述第一过程之后,所述第二动画满足以下一项或多项条件:所述第二动画的显示完整度大于所述第一动画的显示完整度,所述第二动画的显示面积大于所述第一动画的显示面积,所述第二动画的显示区域与所述第一动画的显示区域不同,所述第二动画的转向角度与所述第一动画的转向角度不同,所述第二动画对应的播报音效与所述第一动画对应的播报音效不同。
在一种可能的实施方式中,显示所述第一动画到显示所述第二动画所用的时间由所述终端状态或所述用户状态确定。
在一种可能的实施方式中,所述根据所述终端状态或所述用户状态,显示所述语音助手的第一动画,包括:
根据所述终端状态或所述用户状态,确定显示所述第一动画的参数集合,所述参数集合包括显示所述第一动画的目标速度、目标图形样式、转向角度、播报音效中的一项或多项参数;
根据所述参数集合显示所述第一动画。
在一种可能的实施方式中,所述根据所述终端状态或所述用户状态,显示所述语音助手的第一动画,包括:
根据所述终端状态或所述用户状态,确定显示所述第一动画的目标区域;
在所述目标区域显示所述第一动画。
在一种可能的实施方式中,所述终端状态为驾驶状态且所述参数集合包括所述目标速度,所述目标速度大于第一速度阈值。
在一种可能的实施方式中,所述终端状态为驻停状态且所述参数集合包括所述目标速度,所述目标速度小于或等于第一速度阈值。
在一种可能的实施方式中,所述第一动画在所述终端处于驾驶状态下对应的显示速度快于所述第一动画在所述终端处于驻停状态下对应的显示速度。
在一种可能的实施方式中,所述第二动画在所述终端处于驾驶状态下对应的显示速度快于所述第二动画在所述终端处于驻停状态下对应的显示速度。
在一种可能的实施方式中,所述终端状态为手动驾驶状态且所述参数集合包括所述目标速度,所述目标速度大于第二速度阈值。
在一种可能的实施方式中,所述终端状态为自动驾驶状态且所述参数集合包括所述目标速度,所述目标速度小于或等于第二速度阈值。
在一种可能的实施方式中,所述第一动画在所述终端处于手动驾驶状态下对应的显示速度快于所述第一动画在所述终端处于自动驾驶状态下对应的显示速度。
在一种可能的实施方式中,所述第二动画在所述终端处于手动驾驶状态下对应的显示速度快于所述第二动画在所述终端处于自动驾驶状态下对应的显示速度。
在一种可能的实施方式中,所述第二速度阈值大于所述第一速度阈值。
在一种可能的实施方式中,所述参数集合包括所述目标速度,所述目标速度与所述终端的驾驶速度正相关。
在一种可能的实施方式中,所述用户状态包括以下至少一项:所述用户是否处于疲劳驾驶状态、所述用户是否处于分心状态、所述用户上车、所述用户下车。
示例性的,所述用户是否处于分心状态或疲劳驾驶状态可以通过用户唤醒所述语音助手所用的时长来确定,所述用户上车或下车可以通过车端传感器获取的数据来确定。
在一种可能的实施方式中,所述参数集合包括所述目标速度,所述目标速度与所述用户唤醒所述语音助手所用的时长正相关。
在一种可能的实施方式中,所述显示所述语音助手的第一动画之前,所述方法还包括:
基于所述用户与所述语音助手之间的注视行为或动作行为,唤醒所述第一过程对应的所述语音助手。
在一种可能的实施方式中,所述动作行为唤醒所述语音助手所对应的动画显示速度快于所述注视行为唤醒所述语音助手所对应的动画显示速度。
在一种可能的实施方式中,所述方法还包括:
在唤醒所述语音助手的所述第一过程中,根据所述终端状态或所述用户状态,控制所述语音助手以第一角度转向用户。
在一种可能的实施方式中,所述方法还包括:
在唤醒所述语音助手的所述第二过程中,控制所述语音助手以第二角度转向用户,所述第二角度大于所述第一角度。
在一种可能的实施方式中,所述语音助手在所述终端处于驾驶状态下对应的转向用户的速度快于所述语音助手在所述终端处于驻停状态下对应的转向用户的速度。
在一种可能的实施方式中,所述语音助手在所述终端处于手动驾驶状态下对应的转向用户的速度快于所述语音助手在所述终端处于自动驾驶状态下对应的转向用户的速度。
在一种可能的实施方式中,所述语音助手转向用户的速度与所述终端的驾驶速度正相关。
在一种可能的实施方式中,所述语音助手转向用户的速度与所述用户唤醒所述语音助手所用的时长正相关。
在一种可能的实施方式中,所述基于所述用户与所述语音助手之间的注视行为或动作行为,唤醒所述第一过程对应的所述语音助手,包括:
在所述用户的第一注视行为对应的注视点位于第一区域内的持续时间大于第一值的情况下,唤醒所述第一过程对应的所述语音助手,所述第一区域包括所述语音助手对应的区域。
在一种可能的实施方式中,所述基于所述用户与所述语音助手之间的注视行为或动作行为,唤醒所述第一过程对应的所述语音助手,包括:
在所述语音助手的第二注视行为对应的注视点位于第二区域内的持续时间大于第二值的情况下,唤醒所述第一过程对应的所述语音助手,所述第二区域包括所述用户对应的区域。
在一种可能的实施方式中,所述基于所述用户与所述语音助手之间的注视行为或动作行为,唤醒所述第一过程对应的所述语音助手,包括:
在所述用户的动作行为或所述语音助手的动作行为与预设行为的匹配度大于第三值的情况下,唤醒所述第一过程对应的所述语音助手。
在一种可能的实施方式中,所述唤醒所述第一过程对应的所述语音助手之后,所述方法还包括:
接收语音指令,响应于所述语音指令,执行所述语音指令对应的第一操作;
或者,执行第二操作。
上述处理器1002执行方法的具体内容可参阅上述图2、图3、图4,此处不再赘述。
相应的,处理器1002调用存储器1001中存储的计算机程序,还可以用于执行上述图9所示的语音助手显示装置90中的各个单元所执行的方法步骤,其具体内容可参阅上述图9,此处不再赘述。
在图10所描述的电子设备100中,通过对语音助手从无到接收语音指令的过程中(即语音助手唤醒过程中)所呈现的动画进行改进,使得显示动画随输入情境而变化,可以对用户进行有效提示的同时,降低因误唤醒或频繁唤醒语音助手所呈现的动画对驾驶员的干扰,提高驾驶安全性。
本申请实施例还提供一种计算机可读存储介质,上述计算机可读存储介质中存储有计算机程序,当上述计算机程序在一个或多个处理器上运行时,可以实现上述图2、图3、图4、所示的方法。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括计算机程序,当上述计算机程序产品在处理器上运行时,可以实现上述图2、图3、图4所示的方法。
本申请实施例还提供一种芯片,该芯片包括处理器,所述处理器用于执行指令,当该处理器执行所述指令时,可以实现上述图2、图3、图4所示的方法。可选的,该芯片还包括通信接口,该通信接口用于输入信号或输出信号。
本申请实施例还提供了一种系统,该系统包括了至少一个如上述语音助手显示装置90或电子设备100或芯片。
本申请实施例提供了一种车端,该车端包括至少一个如上述语音助手显示装置90或电子设备100或芯片或系统。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序相关的硬件完成,该计算机程序可存储于计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:只读存储器ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储计算机程序代码的介质。

Claims (27)

1.一种语音助手显示方法,其特征在于,包括:
获取终端状态或用户状态;
在唤醒语音助手的第一过程中,根据所述终端状态或所述用户状态,显示所述语音助手的第一动画,所述第一过程为所述语音助手处于开始唤醒且未完全唤醒的过程。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在唤醒所述语音助手的第二过程中,显示所述语音助手的第二动画,所述第二过程位于所述第一过程之后,所述第二动画满足以下一项或多项条件:所述第二动画的显示完整度大于所述第一动画的显示完整度,所述第二动画的显示面积大于所述第一动画的显示面积,所述第二动画的显示区域与所述第一动画的显示区域不同,所述第二动画的转向角度与所述第一动画的转向角度不同,所述第二动画对应的播报音效与所述第一动画对应的播报音效不同。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述终端状态或所述用户状态,显示所述语音助手的第一动画,包括:
根据所述终端状态或所述用户状态,确定显示所述第一动画的参数集合,所述参数集合包括显示所述第一动画的目标速度、目标图形样式、转向角度、播报音效中的一项或多项参数;
根据所述参数集合显示所述第一动画。
4.根据权利要求3所述的方法,其特征在于,所述终端状态为驾驶状态且所述参数集合包括所述目标速度,所述目标速度大于第一速度阈值。
5.根据权利要求3所述的方法,其特征在于,所述终端状态为驻停状态且所述参数集合包括所述目标速度,所述目标速度小于或等于第一速度阈值。
6.根据权利要求3所述的方法,其特征在于,所述终端状态为手动驾驶状态且所述参数集合包括所述目标速度,所述目标速度大于第二速度阈值。
7.根据权利要求3所述的方法,其特征在于,所述终端状态为自动驾驶状态且所述参数集合包括所述目标速度,所述目标速度小于或等于第二速度阈值。
8.根据权利要求3至7中任一项所述的方法,其特征在于,所述参数集合包括所述目标速度,所述目标速度与所述终端的驾驶速度正相关。
9.根据权利要求3至8中任一项所述的方法,其特征在于,所述参数集合包括所述目标速度,所述目标速度与所述用户唤醒所述语音助手所用的时长正相关。
10.根据权利要求1至9中任一项所述的方法,其特征在于,所述显示所述语音助手的第一动画之前,所述方法还包括:
基于所述用户与所述语音助手之间的注视行为或动作行为,唤醒所述第一过程对应的所述语音助手。
11.根据权利要求10所述的方法,其特征在于,所述动作行为唤醒所述语音助手所对应的动画显示速度快于所述注视行为唤醒所述语音助手所对应的动画显示速度。
12.一种语音助手显示装置,其特征在于,包括:
获取单元,用于获取终端状态或用户状态;
控制单元,用于在唤醒语音助手的第一过程中,根据所述终端状态或所述用户状态,控制所述语音助手的第一动画的显示,所述第一过程为所述语音助手处于开始唤醒且未完全唤醒的过程。
13.根据权利要求12所述的装置,其特征在于,所述控制单元,还用于在唤醒所述语音助手的第二过程中,控制所述语音助手的第二动画的显示,所述第二过程位于所述第一过程之后,所述第二动画满足以下一项或多项条件:所述第二动画的显示完整度大于所述第一动画的显示完整度,所述第二动画的显示面积大于所述第一动画的显示面积,所述第二动画的显示区域与所述第一动画的显示区域不同,所述第二动画的转向角度与所述第一动画的转向角度不同,所述第二动画对应的播报音效与所述第一动画对应的播报音效不同。
14.根据权利要求12或13所述的装置,其特征在于,所述控制单元,用于在唤醒语音助手的第一过程中,根据所述终端状态或所述用户状态,控制所述语音助手的第一动画的显示,包括:
所述控制单元,具体用于根据所述终端状态或所述用户状态,确定显示所述第一动画的参数集合,所述参数集合包括显示所述第一动画的目标速度、目标图形样式、转向角度、播报音效中的一项或多项参数;
所述控制单元,具体还用于根据所述参数集合控制所述第一动画的显示。
15.根据权利要求14所述的装置,其特征在于,所述终端状态为驾驶状态且所述参数集合包括所述目标速度,所述目标速度大于第一速度阈值。
16.根据权利要求14所述的装置,其特征在于,所述终端状态为驻停状态且所述参数集合包括所述目标速度,所述目标速度小于或等于第一速度阈值。
17.根据权利要求14所述的装置,其特征在于,所述终端状态为手动驾驶状态且所述参数集合包括所述目标速度,所述目标速度大于第二速度阈值。
18.根据权利要求14所述的装置,其特征在于,所述终端状态为自动驾驶状态且所述参数集合包括所述目标速度,所述目标速度小于或等于第二速度阈值。
19.根据权利要求14至18中任一项所述的装置,其特征在于,所述参数集合包括所述目标速度,所述目标速度与所述终端的驾驶速度正相关。
20.根据权利要求14至18中任一项所述的装置,其特征在于,所述参数集合包括所述目标速度,所述目标速度与所述用户唤醒所述语音助手所用的时长正相关。
21.根据权利要求12至20中任一项所述的装置,其特征在于,所述装置还包括:
唤醒单元,用于基于所述用户与所述语音助手之间的注视行为或动作行为,唤醒所述第一过程对应的所述语音助手。
22.根据权利要求21所述的装置,其特征在于,所述动作行为唤醒所述语音助手所对应的动画显示速度快于所述注视行为唤醒所述语音助手所对应的动画显示速度。
23.一种电子设备,其特征在于,包括:处理器和存储器;
所述存储器用于存储计算机执行指令;
所述处理器用于执行所述存储器所存储的计算机执行指令,以使所述电子设备执行如权利要求1至11中任一项所述的方法。
24.一种计算机可读存储介质,其特征在于,包括:
所述计算机可读存储介质用于存储指令或计算机程序;当所述指令或所述计算机程序被执行时,使如权利要求1至11中任一项所述的方法被实现。
25.一种计算机程序产品,其特征在于,包括:指令或计算机程序;
所述指令或所述计算机程序被执行时,使如权利要求1至11中任一项所述的方法被实现。
26.一种芯片,其特征在于,包括:处理器;
所述处理器用于执行指令;当所述指令被执行时,使如权利要求1至11中任一项所述的方法被实现。
27.一种车端,其特征在于,包括如权利要求12至22中任一项所述的语音助手显示装置,或如权利要求23所述的电子设备,或如权利要求26所述的芯片。
CN202111451020.7A 2021-11-30 2021-11-30 一种语音助手显示方法及相关装置 Pending CN116204253A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111451020.7A CN116204253A (zh) 2021-11-30 2021-11-30 一种语音助手显示方法及相关装置
PCT/CN2022/134037 WO2023098564A1 (zh) 2021-11-30 2022-11-24 一种语音助手显示方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111451020.7A CN116204253A (zh) 2021-11-30 2021-11-30 一种语音助手显示方法及相关装置

Publications (1)

Publication Number Publication Date
CN116204253A true CN116204253A (zh) 2023-06-02

Family

ID=86513515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111451020.7A Pending CN116204253A (zh) 2021-11-30 2021-11-30 一种语音助手显示方法及相关装置

Country Status (2)

Country Link
CN (1) CN116204253A (zh)
WO (1) WO2023098564A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292687A (zh) * 2023-11-24 2023-12-26 荣耀终端有限公司 语音交互方法、装置、芯片、电子设备及介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006308461A (ja) * 2005-04-28 2006-11-09 Tokujoya:Kk 目覚まし、および目覚ましに付随する広告方法
CN105278926A (zh) * 2014-06-10 2016-01-27 维沃移动通信有限公司 一种用于实现移动终端助手的方法及移动终端
CN111124123A (zh) * 2019-12-24 2020-05-08 苏州思必驰信息科技有限公司 基于虚拟机器人形象的语音交互方法及装置、车载设备智能控制系统
CN111739201A (zh) * 2020-06-24 2020-10-02 上海商汤临港智能科技有限公司 车辆的交互方法及装置、电子设备、存储介质和车辆

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292687A (zh) * 2023-11-24 2023-12-26 荣耀终端有限公司 语音交互方法、装置、芯片、电子设备及介质
CN117292687B (zh) * 2023-11-24 2024-04-05 荣耀终端有限公司 语音交互方法、装置、芯片、电子设备及介质

Also Published As

Publication number Publication date
WO2023098564A1 (zh) 2023-06-08

Similar Documents

Publication Publication Date Title
CN104838335B (zh) 使用凝视检测的设备的交互和管理
CN110727346B (zh) 一种人机交互方法、装置、车辆及存储介质
US10209853B2 (en) System and method for dialog-enabled context-dependent and user-centric content presentation
CN102030008B (zh) 情绪咨询系统
JP7302005B2 (ja) 車両のインタラクション方法及び装置、電子機器、記憶媒体並びに車両
US20140058584A1 (en) System And Method For Multimodal Interaction With Reduced Distraction In Operating Vehicles
CN111124123A (zh) 基于虚拟机器人形象的语音交互方法及装置、车载设备智能控制系统
EP2933607A1 (en) Navigation system having language category self-adaptive function and method of controlling the system
CN110211586A (zh) 语音交互方法、装置、车辆以及机器可读介质
CN110737335B (zh) 机器人的交互方法、装置、电子设备及存储介质
JP2022095768A (ja) インテリジェントキャビン用の対話方法、装置、機器および媒体
WO2023098564A1 (zh) 一种语音助手显示方法及相关装置
CN113782020A (zh) 车内语音交互方法和系统
CN113835570B (zh) 车辆中显示屏的控制方法、装置、设备、存储介质及程序
CN110428838A (zh) 一种语音信息识别方法、装置及设备
CN108388399B (zh) 虚拟偶像的状态管理方法及系统
WO2023231211A1 (zh) 语音识别方法、装置、电子设备、存储介质及产品
Chen et al. User Interface Design
CN115171692A (zh) 一种语音交互方法和装置
CN114220420A (zh) 多模态语音唤醒方法、装置及计算机可读存储介质
CN113709954A (zh) 一种氛围灯的控制方法、装置、电子设备及存储介质
CN111696548A (zh) 显示行车提示信息的方法、装置、电子设备以及存储介质
CN115830724A (zh) 基于多模态识别的车载识别交互方法及系统
KR20200102513A (ko) 어시스턴트 디바이스의 디스플레이에 렌더링할 콘텐츠 선택
WO2022239642A1 (ja) 車両用情報提供装置、車両用情報提供方法、及び車両用情報提供プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination