CN116080565A - 车载智能设备的控制方法、装置、车辆及存储介质 - Google Patents

车载智能设备的控制方法、装置、车辆及存储介质 Download PDF

Info

Publication number
CN116080565A
CN116080565A CN202310064018.7A CN202310064018A CN116080565A CN 116080565 A CN116080565 A CN 116080565A CN 202310064018 A CN202310064018 A CN 202310064018A CN 116080565 A CN116080565 A CN 116080565A
Authority
CN
China
Prior art keywords
vehicle
feature
voice
mounted intelligent
intelligent equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310064018.7A
Other languages
English (en)
Inventor
秦红伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Great Wall Motor Co Ltd
Original Assignee
Great Wall Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Great Wall Motor Co Ltd filed Critical Great Wall Motor Co Ltd
Priority to CN202310064018.7A priority Critical patent/CN116080565A/zh
Publication of CN116080565A publication Critical patent/CN116080565A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373Voice control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本申请提供了一种车载智能设备的控制方法、车载智能设备的控制装置、车辆及计算机可读存储介质。该方法包括:获取用户的第一模态特征;其中,第一模态特征包括视线特征;在第一模态特征满足触发条件的情况下,唤醒车载智能设备的语音交互功能;获取用户的第二模态特征;其中,第二模态特征包括视线特征或语音特征;根据第二模态特征对车载智能设备进行控制。本申请的技术方案通过视线特征唤醒车载智能设备的语音交互功能,不需要唤醒词就能够唤醒语音交互功能,唤醒过程简单快捷,提升了用户与车载智能设备交互的流畅度;之后再结合语音特征多模态控制车载智能设备,提高了设备的可操作性。

Description

车载智能设备的控制方法、装置、车辆及存储介质
技术领域
本申请涉及车载智能设备技术领域,尤其涉及一种车载智能设备的控制方法、车载智能设备的控制装置、车辆及计算机可读存储介质。
背景技术
随着人们对智能生活及新型人车交互的需求日益提升,目前市面上的车载智能设备已经遍地开花,尤其是通过语音交互技术控制车载智能设备已经较为成熟。
然而,现有技术方案中用户控制车载智能设备,每次发出语音控制指令之前都需要进行先唤醒的操作,例如先说出语音唤醒词,待唤醒后才开始识别控制指令的控制操作。这样,用户每次操作都需要通过语音唤醒词唤醒语音功能,导致交互的步骤增加,影响了控制车载智能设备的便捷性。
发明内容
本申请的目的在于提供一种车载智能设备的控制方法,不需要唤醒词就能够唤醒车载智能设备,唤醒过程简单快捷,提升了用户与车载智能设备交互的流畅度;之后再结合语音特征多模态控制车载智能设备,提高了设备的可操作性。
第一方面,本申请实施例提供了一种车载智能设备的控制方法,包括:获取用户的第一模态特征;其中,所述第一模态特征包括视线特征;在所述第一模态特征满足触发条件的情况下,唤醒所述车载智能设备的语音交互功能;获取所述用户的第二模态特征;其中,所述第二模态特征包括所述视线特征或语音特征;根据所述第二模态特征对所述车载智能设备进行控制。
第二方面,本申请实施例提供了一种车载智能设备的控制装置,包括:获取模块,用于获取用户的第一模态特征;其中,所述第一模态特征包括视线特征;处理模块,用于在所述第一模态特征满足触发条件的情况下,唤醒所述车载智能设备;所述获取模块,还用于获取所述用户的第二模态特征;其中,所述第二模态特征包括所述视线特征或语音特征;控制模块,用于根据所述第二模态特征对所述车载智能设备进行控制。
第三方面,本申请实施例提供一种车辆,包括;存储器,用于存储可执行程序代码;处理器,用于从所述存储器中调用并运行所述可执行程序代码,使得所述车辆执行上述方法中的步骤。
第四方面,本申请实施例提供一种计算机存储介质,所述计算机可读存储介质存储有一个或者多个程序,该一个或者多个程序可被一个或者多个处理器执行,以实现上述方法中的步骤。
本申请提供了一种车载智能设备的控制方法,包括:获取用户的第一模态特征;其中,第一模态特征包括视线特征;在第一模态特征满足触发条件的情况下,唤醒车载智能设备的语音交互功能;获取用户的第二模态特征;其中,第二模态特征包括视线特征或语音特征;根据第二模态特征对车载智能设备进行控制。本申请的技术方案通过视线特征唤醒车载智能设备的语音交互功能,不需要唤醒词就能够唤醒语音交互功能,唤醒过程简单快捷,提升了用户与车载智能设备交互的流畅度;之后再结合语音特征多模态控制车载智能设备,提高了设备的可操作性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种车载智能设备的显示屏示意图;
图2是本申请实施例提供的一种车载智能设备的控制方法的流程示意图;
图3是本申请实施例提供的另一种车载智能设备的控制方法的流程示意图;
图4是本申请实施例提供的一种车载智能设备的控制装置的结构示意图;
图5是本申请实施例提供的一种车辆的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
下面,将结合附图对本申请实施例的车载智能设备的控制方法的技术方案进行详细的说明。
图1示出了本申请实施例提供的一种车载智能设备的显示屏示意图。
示意性的,如图1所示,该车载智能设备的显示屏110上还包括多个应用程序的应用图标。
在一些实施例中,车载智能设备可以为车载机器人;在另一些实施例中,车载智能设备可以为车载智慧屏,本申请实施例对此不做具体限定。
可选的,车载智能设备的显示屏110可以是平面触摸屏,也可以是曲面触摸屏,本申请实施例对此不做具体限定;可选的车载智能设备110的显示屏的形状可以是矩形,也可以是圆形,本申请实施例对此不做具体限定。
可选的,车载智能设备还具有分屏功能。例如,当有人坐进副驾,会自动识别开启分屏模式,并且分屏界面可以自由切换,当主驾需要更换导航目的地,可以将导航划到副驾侧,让副驾帮忙操作。可选的,分屏模式下,车载智能设备110具有主副驾双音区锁定功能,两者互不干扰。
可选的,该车载智能设备还搭载有全景影像系统(Around View Monitor,AVM),能够利用车载摄像头捕捉的周边环境、车载雷达对周边障碍物的识别,将车载智能设备的周边环境真实地呈现在车载智能设备110的显示界面上,并多维度提醒驾驶员潜在的碰撞危险。
下面结合图1的应用场景,参考图2来描述根据本申请的示例性实施例的车载智能设备的控制方法。需要注意的是,上述应用场景仅是为了便于理解本申请的精神和原理而示出,本申请的实施例在此方面不受任何限制。相反,本申请的实施例可以应用于适用的任何场景。
图2是本申请实施例提供的一种车载智能设备的控制方法的流程示意图。
参见图2,该车载智能设备的控制方法包括以下步骤:
步骤201、获取用户的第一模态特征。
在示例实施例中,第一模态特征包括视线特征。
需要说明的是,本申请实施例中第一模态特征指的是用户的生物特征,例如指纹特征、人脸特征、虹膜特征、声音特征等。
在一些实施例中,该视线特征包括用于确定视线方向的瞳孔特征和眼角特征。
在一些实施例中,通过图像获取装置例如摄像头获取用户的头部图像,根据获取到的用户的头部图像进行计算来得到用户的视线特征。其中,摄像头可以是车载智能设备原本具有的摄像头或车载智能设备的摄像头。
可选的,图像获取装置可以包括红外图像成像器和红外光光源,用于在夜间等光源不足的情况下依然能获取到用户的头部图像。
需要说明的是,第一模态特征还可以包括其他适当的信息,例如,用户的嘴唇特征或用户的表情信息等,这同样在本申请的保护范围内。
在一些实施例中,通过双目摄像头实时检测可视区域人物脸部和头部的动态信息,脸部的动态信息可以包括眼睛状态信息和嘴部动态信息。
步骤202、在第一模态特征满足触发条件的情况下,唤醒车载智能设备的语音交互功能。
本申请实施例中,语音交互功能指的是通过输入语音,对车载智能设备的功能进行控制。
本申请实施例中,第一模态特征为视线特征,该触发条件是视线方向与预定基准方向之间的夹角小于或等于阈值夹角,且视线方向朝向预设位置的持续时间大于或等于第一预设时间。
本申请实施例中,预定基准方向可以是用户看向车载智能设备的显示界面中心点的方向,预定基准方向也可以是车载智能设备的任意方向,本申请实施例对此不做具体限定。
本申请实施例中,阈值夹角可以是15度,阈值夹角也可以是其他角度,阈值夹角还可以是由用户自行设置的角度,本申请实施例对此不做具体限定。
在一些实施例中,第一模态特征包括视觉特征和嘴唇特征,步骤202包括:在视觉特征和嘴唇特征均满足对应的模态触发条件的情况下,唤醒车载智能设备的语音交互功能。
这样,通过检测的眼睛状态信息和嘴部动态信息可以直观直接反映用户当前的意图,提高判断的准确率,降低误唤醒的概率,提升了用户的无感交互体验。
在一些实施例中,步骤202可以包括:利用神经网络算法分析判断人物是否有意启动车载智能设备,例如,检测并识别人物头部方向和仰角、脸部的方向和仰角、瞳孔眼珠占位比,通过深度学习循环神经网络识别判断人物是否正在注视车载智能设备;若用户是在注视车载智能设备,则判断用户嘴部是否处于运动发声状态,若用户嘴部处于运动发声状态,则判断人物有意启动车载智能设备,输出唤醒指令至车载智能设备。
这样,先通过头部和脸部的信息判断是否处于注视车载智能设备状态,再检测嘴部动作进入唤醒操作,过循环记忆神经网络匹配算法模型识别嘴部动作,能够更准确地识别到用户将要控制车载智能设备,进入免唤醒,降低误判率。
在一些实施例中,唤醒车载智能设备的语音交互功能,可以包括:唤醒车载智能设备的语音交互程序,以获取用户的语音特征。
在一些实施例中,当车载智能设备具有屏幕和/或背光时,在步骤202中唤醒车载智能设备的语音交互功能之前,上述方法还可以包括:唤醒车载智能设备的屏幕和/或背光。在另一些实施例中,当车载智能设备具有转动功能时,在步骤202中唤醒车载智能设备的语音交互功能之前,上述方法还可以包括:使车载智能设备转向用户,并唤醒车载智能设备的语音交互程序,以开始与用户进行语音交互。
步骤203、获取用户的第二模态特征。
在本申请实施例中,第二模态特征包括视线特征或语音特征。
获取用户多个模态特征后,利用多模态生物识别技术对获取到的特征进行分析,方便后续对车载智能设备的控制。其中,多模态生物识别是指整合或融合两种及两种以上生物识别技术,利用其多重生物识别技术的独特优势,并结合数据融合技术,使得认证和识别过程更加精准、安全。
在一些实施例中,语音特征可以包括语音指令。
在另一些实施例中,语音特征可以包括语音指令对应的语音热词。
可选的,车载智能设备内置有多个语音接收模块,如果车载智能设备处于分屏模式,可以通过摄像头先判断用户是主驾还是副驾,在调用最接近的语音接收模块获取语音特征。这样,能够获取更清晰、更准确的语音特征,比通过声源定位技术判断更直观,由于省去了声学前端算法步骤,优化了链路延迟。
可选的,步骤203还可以包括:从用户的图像中获取用户的当前状态;其中,当前状态至少包括以下之一:用户的动作、表情和环境。
需要说明的是,第二模态特征还包括其他生物特征,例如嘴唇特征。
步骤204、根据第二模态特征对车载智能设备进行控制。
本申请实施例中,对对车载设备进行控制可以包括:根据视线特征休眠车载智能设备的语音交互功能,或者根据语音特征控制车载智能设备的控件。
在一些实施例中,步骤204可以通过以下方式实现:解析第二模态特征中的视线特征,判断用户看向车载智能电子设备的状态是否变为移开显示屏;若是,则休眠车载智能设备;若否,保持车载智能电子设备处于唤醒状态。
在另一些实施例中,步骤204可以通过以下方式实现:对获取到语音特征进行识别,若识别到的语音是控制指令,则进入车载智能设备语音控制状态;解析第二模态特征中的语音特征,得到对应的操作指令和目标对象,根据操作指令对目标对象实施操作。
本申请实施例提供的车载智能设备的控制方法,包括:获取用户的第一模态特征;其中,第一模态特征包括视线特征;在第一模态特征满足触发条件的情况下,唤醒车载智能设备的语音交互功能;获取用户的第二模态特征;其中,第二模态特征包括视线特征或语音特征;根据第二模态特征对车载智能设备进行控制。这样,通过视线特征唤醒车载智能设备的语音交互功能,不需要唤醒词就能够唤醒语音交互功能,唤醒过程简单快捷,提升了用户与车载智能设备交互的流畅度;之后再结合语音特征多模态控制车载智能设备,提高了设备的可操作性。
在一些实施例中,步骤202在第一模态特征满足触发条件的情况下,唤醒车载智能设备的语音交互功能之前,上述车载智能设备的控制方法包括:
A1、根据视线特征,确定用户的视线方向;其中,视线特征包括瞳孔特征和眼角特征;
A2、确定视线方向与预定基准方向之间的夹角、视线方向朝向预设位置的持续时间;
A3、根据夹角和持续时间,确定视线特征是否满足触发条件。
本申请实施例中,预设位置可以是车载智能设备的显示屏的位置;瞳孔特征可以包括用户的瞳孔眼珠占位比,眼角特征可以包括眼角的位置。
本申请实施例中,预定基准方向可以是用户看向车载智能设备的显示界面中心点的方向,预定基准方向也可以是车载智能设备的任意方向,本申请实施例对此不做具体限定。
可选的,可以通过双目摄像头实时检测可视区域用户脸和头部的动态,识别用户双眼聚焦位置得到瞳孔特征和眼角特征通过深度学习循环神经网络识别判断用户是否正在注视某一目标物体。
示例性的,当用户的面部朝向显示屏的方向的持续时间大于或等于时2秒,输出唤醒信号至车载智能设备,以唤醒车载智能设备。
这样,通过用户的瞳孔特征和眼角特征来确定视线方向,并与预定基准方向对比来判断眼部特征是否满足注视条件,使得注视判断的准确性得到了提升。
在一些实施例中,A3根据夹角和持续时间,确定视线特征是否满足触发条件,包括:
若夹角小于或等于阈值夹角且持续时间大于或等于第一预设时间,则视线特征满足触发条件;
若夹角大于阈值夹角或者持续时间小于第一预设时间,则确定视线特征不满足触发条件。
本申请实施例中,阈值夹角可以是一个数值,例如15°,阈值夹角也可以是一个范围,例如5°至10°,本申请实施例对此不做具体限定。
本申请实施例中,第一预设时间可以是一个时间数值,例如2秒;第一预设时间也可以是一段时间,例如1.5秒至2.5秒,本申请实施例对此不做具体限定。
本申请实施例中,不满足触发条件时,车载智能设备保持休眠状态,不接受语音特征的输入。
这样,通过视线方向与预定基准方向对比得到的夹角、以及视线方向持续时间来判断是否满足触发条件,提高了唤醒的准确率。
在一些实施例中,步骤204根据第二模态特征对车载智能设备进行控制,包括:
确定语音特征对应的语音热词;其中,语音热词为根据车载智能设备的当前显示界面的控件信息注册的语音热词;
根据语音热词,控制车载智能设备的控件。
示例性的,确定语音特征对应的语音热词可以包括:对接收到的语音特征进行语义理解,生成语音关键词,将语音关键词与热词库的语音热词进行匹配,得到语音特征对应的语音热词。
需要说明的是,只要是在车载智能设备的显示界面上有的文字功能,都可以通过语音进行控制。在唤醒语音功能后,用户说出什么车载智能设备就会帮你“点”什么;也就是说,用户能够实现“可见即可说”。例如,你可以全程使用语音指令,从主界面逐级进入“显示与亮度”,然后进入“显示与亮度”的下属菜单,最后控制文字大小、自动锁定、屏幕亮度等。
可选的,在确定语音特征对应的语音热词之后,上述方法还可以包括:判断该语音热词是否存在于热词库;若语音热词不存在于热词库,确定语音指令是否与车载智能设备相关;若确定语音指令与车载智能设备无关,则将发送休眠指令给车载智能设备。
这样,考虑到功耗和乘员误操作等因素了,使得车载智能设备切换至休眠状态,从而保证不必要时及时关闭智能语音交互功能。
可选的,语音特征可以一次性连续输入,语音特征也可以随时打断重新输入,本申请实施例对此不做具体限定。
这样,根据确定出的语音热词,对车载智能设备的控件功能实现了语音控制,尽最大可能避免驾驶者分心。
在一些实施例中,在确定语音特征对应的语音热词之前,上述方法还包括:
根据车载智能设备的当前显示界面的控件信息,得到与当前显示界面对应的语音热词;其中,控件信息包括控件标识和控件功能。
本申请实施例中,控件标识是当前显示界面中的每个元素具有唯一的标识,控件功能是控件可以执行的操作。
本申请实施例中,元素是当前显示界面中呈现的内容,以信息点卡片界面为例,其中的元素包括信息点名称、地址、收藏、搜周边、导航路线等。控件可以执行的操作包括开、关、点击、赋值、选择、滚动等。
这样,只要是在车载智能设备的显示界面上有的文字功能,都可以通过语音进行控制。也就是说,在唤醒语音功能后,用户说出什么车载智能设备就会帮你“点”什么,实现了“可见即可说”。
可以理解地,当车载智能设备的界面切换至新的界面时,需要注册新的显示界面中的元素,并且清除之前显示界面中的元素,然而,这样会导致控件信息不断地发生变化,那么,语音热词也需要不断地注册或者清除。因此,更变不断的语音热词,使得后台中央处理器(central processing unit,CPU)使用率居高不下。而本申请实施例提供的技术方案在第一模态特征满足触发条件的情况下才唤醒车载智能设备的语音交互功能,解决了上述技术问题,释放了CPU的使用空间。
可选的,在确定语音特征对应的语音热词之前,上述方法还包括:根据语音热词、控件标识和控件功能,建立热词库。例如,语音热词携带有控件标识,建立语音热词与控件功能之间的对应关系,将该对应关系放入热词库中。
在另一些实施例中,步骤204根据第二模态特征对车载智能设备进行控制,包括:
若大于或等于第二预设时间未接收到语音特征,清除语音热词;
发送休眠指令给车载智能设备。
本申请实施例中,第二预设时间可以是一个数值例如10秒;第一预设时间也可以是一段时间,例如20秒至一分钟,本申请实施例对此不做具体限定。
这样,设置了超时机制,当存在误唤醒的情况下及时清除语音热词,能够释放车载设备休眠设备的存储空间,降低了车载智能设备的功耗。
图3是本申请实施例提供的另一种车载智能设备的控制方法的流程示意图。
参见图3,结合上述实施例,该车载智能设备的控制方法包括以下步骤:
步骤301、摄像头检测用户的生物特征。
步骤302、判断用户是否看向屏幕;若看向屏幕,则执行步骤303;若移开屏幕,则执行步骤306。
步骤303、唤醒车载智能设备。
在一些实施例中,步骤303之后还可以包括:。
步骤304、注册可见即可说热词。
其中,可见即可说热词与语音热词的含义相同。注册的可见即可说热词缓存在CPU的存储空间中。
步骤305、根据可见即可说热词控制车载智能设备。
步骤306、判断是否超时,若是,执行步骤307;若否,执行步骤305。
其中,超时指的是超出预设时间未接收到语音指令。
步骤307、反可见即可说热词。
其中,反注册热词指的是清除热词库里的热词,释放车载智能设备的CPU的内存空间。
步骤308、休眠车载智能设备。
这样,通过检测用户的视线可以直观直接反映用户使用车载智能设备的意愿,降低误唤醒的概率,提升了用户的无感交互体验;同时考虑到功耗和误唤醒,当满足超时机制时使得车载智能设备切换至休眠状态,降低了车载智能设备的CPU使用率。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请的方法实施例。
图4是本申请实施例提供的一种车载智能设备的控制装置的结构示意图。
参照图4所示,该车载智能设备的控制装置400可以应用于图2对应的实施例提供的方法,该车载智能设备的控制装置400包括:
获取模块401,用于获取用户的第一模态特征;其中,第一模态特征包括视线特征;
处理模块402,用于在第一模态特征满足触发条件的情况下,唤醒车载智能设备的语音交互功能;
获取模块401,还用于获取用户的第二模态特征;其中,第二模态特征包括视线特征或语音特征;
控制模块403,用于根据第二模态特征对车载智能设备进行控制。
在本申请其他实施例中,基于上述方案,处理模块402还用于:
根据视线特征,确定用户的视线方向;其中,视线特征包括瞳孔特征和眼角特征;
确定视线方向与预定基准方向之间的夹角、视线方向朝向预设位置的持续时间;
根据夹角和持续时间,确定视线特征是否满足触发条件。
在本申请其他实施例中,基于上述方案,处理模块402还用于:
若夹角小于或等于阈值夹角且持续时间大于或等于第一预设时间,则视线特征满足触发条件;
若夹角大于阈值夹角或者持续时间小于第一预设时间,则确定视线特征不满足触发条件。
在本申请其他实施例中,基于上述方案,处理模块402还用于确定语音特征对应的语音热词;其中,语音热词为根据车载智能设备的当前显示界面的控件信息注册的语音热词;
控制模块403还用于根据语音热词,控制车载智能设备的控件。
在本申请其他实施例中,基于上述方案,处理模块402还用于:
根据车载智能设备的当前显示界面的控件信息,得到与当前显示界面对应的语音热词;其中,控件信息包括控件标识和控件功能。
在本申请其他实施例中,基于上述方案,处理模块402还用于若大于或等于第二预设时间未接收到语音特征,清除语音热词;
控制模块403还用于发送休眠指令给车载智能设备。
在本申请其他实施例中,基于上述方案,处理模块402还用于:
在视觉特征和嘴唇特征均满足对应的模态触发条件的情况下,唤醒车载智能设备的语音交互功能。
图5是本申请实施例提供的一种车辆的结构示意图。
参照图5所示,该车辆500可以应用于图2对应的实施例提供的方法,该车辆500包括:处理器501、存储器502和通信总线503,其中:
通信总线503用于实现处理器501和存储器502之间的通信连接;
处理器501用于执行存储器502中存储的通信交互程序,以实现以下步骤:
获取用户的第一模态特征;其中,第一模态特征包括视线特征;
在第一模态特征满足触发条件的情况下,唤醒车载智能设备的语音交互功能;
获取用户的第二模态特征;其中,第二模态特征包括视线特征或语音特征;
根据第二模态特征对车载智能设备进行控制。
本申请实施例提供的一种车辆,通过获取用户的第一模态特征;其中,第一模态特征包括视线特征;在第一模态特征满足触发条件的情况下,唤醒车载智能设备的语音交互功能;获取用户的第二模态特征;其中,第二模态特征包括视线特征或语音特征;根据第二模态特征对车载智能设备进行控制;这样,通过视线特征唤醒车载智能设备的语音交互功能,不需要唤醒词就能够唤醒语音交互功能,唤醒过程简单快捷,提升了用户与车载智能设备交互的流畅度;之后再结合语音特征多模态控制车载智能设备,提高了设备的可操作性。
本申请的实施例提供一种计算机可读存储介质,该计算机可读存储介质存储有一个或者多个程序,该一个或者多个程序可被一个或者多个处理器执行,以实现如图2对应的实施例提供的车载智能设备的控制方法中的实现过程,此处不再赘述。
这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
上述计算机存储介质/存储器可以是只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory,FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory,CD-ROM)等存储器;也可以是包括上述存储器之一或任意组合的各种终端,如移动电话、计算机、平板设备、个人数字助理等。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”或“本申请实施例”或“前述实施例”或“一些实施例”或“一些实施方式”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“本申请实施例”或“前述实施例”或“一些实施例”或“一些实施方式”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
值得注意的是,本申请实施例中的附图只是为了说明各个器件在终端设备上的示意位置,并不代表在终端设备中的真实位置,各器件或各个区域的真实位置可根据实际情况(例如,终端设备的结构)做出相应改变或偏移,并且,图中的终端设备中不同部分的比例并不代表真实的比例。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种车载智能设备的控制方法,其特征在于,包括:
获取用户的第一模态特征;其中,所述第一模态特征包括视线特征;
在所述第一模态特征满足触发条件的情况下,唤醒所述车载智能设备的语音交互功能;
获取所述用户的第二模态特征;其中,所述第二模态特征包括所述视线特征或语音特征;
根据所述第二模态特征对所述车载智能设备进行控制。
2.根据权利要求1所述的方法,其特征在于,所述在所述第一模态特征满足触发条件的情况下,唤醒所述车载智能设备之前,所述方法包括:
根据所述视线特征,确定用户的视线方向;其中,所述视线特征包括瞳孔特征和眼角特征;
确定所述视线方向与预定基准方向之间的夹角、所述视线方向朝向预设位置的持续时间;
根据所述夹角和所述持续时间,确定所述视线特征是否满足所述触发条件。
3.根据权利要求2所述的方法,其特征在于,所述根据所述夹角和所述持续时间,确定所述视线特征是否满足所述触发条件,包括:
若所述夹角小于或等于阈值夹角且所述持续时间大于或等于第一预设时间,则所述视线特征满足所述触发条件;
若所述夹角大于阈值夹角或者所述持续时间小于第一预设时间,则确定所述视线特征不满足所述触发条件。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第二模态特征对所述车载智能设备进行控制,包括:
确定所述语音特征对应的语音热词;其中,所述语音热词为根据所述车载智能设备的当前显示界面的控件信息注册的语音热词;
根据所述语音热词,控制所述车载智能设备的控件。
5.根据权利要求4所述的方法,其特征在于,在所述确定所述语音特征对应的语音热词之前,所述方法还包括:
根据所述车载智能设备的当前显示界面的控件信息,得到与所述当前显示界面对应的语音热词;其中,所述控件信息包括控件标识和控件功能。
6.根据权利要求4所述的方法,其特征在于,所述根据所述第二模态特征对所述车载智能设备进行控制,包括:
若大于或等于第二预设时间未接收到所述语音特征,清除所述语音热词;
发送休眠指令给所述车载智能设备。
7.根据权利要求1所述的方法,其特征在于,所述第一模态特征还包括视觉特征和嘴唇特征,所述在所述第一模态特征满足触发条件的情况下,唤醒所述车载智能设备的语音交互功能,包括:
在所述视觉特征和所述嘴唇特征均满足对应的模态触发条件的情况下,唤醒所述车载智能设备的语音交互功能。
8.一种车载智能设备的控制装置,其特征在于,包括:
获取模块,用于获取用户的第一模态特征;其中,所述第一模态特征包括视线特征;
处理模块,用于在所述第一模态特征满足触发条件的情况下,唤醒所述车载智能设备的语音交互功能;
所述获取模块,还用于获取所述用户的第二模态特征;其中,所述第二模态特征包括所述视线特征或语音特征;
控制模块,用于根据所述第二模态特征对所述车载智能设备进行控制。
9.一种车辆,其特征在于,所述车辆包括:
存储器,用于存储可执行程序代码;
处理器,用于从所述存储器中调用并运行所述可执行程序代码,使得所述车辆执行如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1至7中任一项所述的方法。
CN202310064018.7A 2023-01-16 2023-01-16 车载智能设备的控制方法、装置、车辆及存储介质 Pending CN116080565A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310064018.7A CN116080565A (zh) 2023-01-16 2023-01-16 车载智能设备的控制方法、装置、车辆及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310064018.7A CN116080565A (zh) 2023-01-16 2023-01-16 车载智能设备的控制方法、装置、车辆及存储介质

Publications (1)

Publication Number Publication Date
CN116080565A true CN116080565A (zh) 2023-05-09

Family

ID=86206038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310064018.7A Pending CN116080565A (zh) 2023-01-16 2023-01-16 车载智能设备的控制方法、装置、车辆及存储介质

Country Status (1)

Country Link
CN (1) CN116080565A (zh)

Similar Documents

Publication Publication Date Title
US10913463B2 (en) Gesture based control of autonomous vehicles
US10692495B2 (en) Method of receiving commands for activating voice-recognition service and electronic device for implementing same
CN104838335B (zh) 使用凝视检测的设备的交互和管理
US11524578B2 (en) Control method and control device for vehicle display device
CN105527710A (zh) 一种智能抬头显示系统
US20200294060A1 (en) Payment method and device
US11120707B2 (en) Cognitive snapshots for visually-impaired users
CN111737670B (zh) 多模态数据协同人机交互的方法、系统及车载多媒体装置
CN112613475A (zh) 扫码界面显示方法、装置、移动终端及存储介质
CN114187637A (zh) 车辆控制方法、装置、电子设备及存储介质
JP2022122981A (ja) 車載ブルートゥースの接続方法、装置、電子機器及び記憶媒体
WO2021067380A1 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
US20210213909A1 (en) Confirmed automated access to portions of vehicles
CN112164395A (zh) 车载语音启动方法、装置、电子设备和存储介质
KR102511517B1 (ko) 음성 입력 처리 방법 및 이를 지원하는 전자 장치
CN112540677A (zh) 车载智能设备的控制方法、装置、系统和计算机可读介质
CN116080565A (zh) 车载智能设备的控制方法、装置、车辆及存储介质
CN110705483A (zh) 驾驶提醒方法、装置、终端及存储介质
EP4328765A1 (en) Method and apparatus for recommending vehicle driving strategy
CN115171692A (zh) 一种语音交互方法和装置
CN115171678A (zh) 语音识别方法、装置、电子设备、存储介质及产品
CN115019798A (zh) 语音识别设备的控制方法、装置、电子设备及存储介质
CN114013431A (zh) 基于用户意向的自动泊车控制方法及系统
CN116204253A (zh) 一种语音助手显示方法及相关装置
CN110717377B (zh) 人脸驾驶风险预测模型训练及其预测方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination