CN115431911A - 交互控制方法、装置、电子设备、存储介质和车辆 - Google Patents

交互控制方法、装置、电子设备、存储介质和车辆 Download PDF

Info

Publication number
CN115431911A
CN115431911A CN202210749721.7A CN202210749721A CN115431911A CN 115431911 A CN115431911 A CN 115431911A CN 202210749721 A CN202210749721 A CN 202210749721A CN 115431911 A CN115431911 A CN 115431911A
Authority
CN
China
Prior art keywords
display screen
sound
determining
playing
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210749721.7A
Other languages
English (en)
Inventor
贺永强
巩雪君
郭宁
霍国栋
马跃
崔斌
胡含
安庆涵
王涛
苏皓然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Co Wheels Technology Co Ltd
Original Assignee
Beijing Co Wheels Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Co Wheels Technology Co Ltd filed Critical Beijing Co Wheels Technology Co Ltd
Priority to CN202210749721.7A priority Critical patent/CN115431911A/zh
Publication of CN115431911A publication Critical patent/CN115431911A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373Voice control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本公开实施例提供一种交互控制方法、装置、电子设备、存储介质和车辆。交互控制方法包括:在获取到跨屏播放指令的情况下,根据所述跨屏播放指令确定当前显示屏和目标显示屏;播放引导声音,所述引导声音为模拟声源位置由所述当前显示屏位置逐步移动至所述目标显示屏位置的立体声音。由于引导声音的模拟声源位置是由当前显示屏位置处逐步地移动至目标显示屏位置处,用户的听觉系统可以感受到引导声音位置的逐步变化,而不会出现瞬间切换而造成的听觉感觉突兀的问题,提高了用户体验。

Description

交互控制方法、装置、电子设备、存储介质和车辆
技术领域
本公开涉及人机智能交互技术领域,具体涉及一种交互控制方法、装置、电子设备、存储介质和车辆。
背景技术
随着智能座舱概念的普及和产品化,部分中高档车辆已经安装多个显示屏幕,以实现驾乘用户与车辆更为方便和个性化的交互和各个位置处驾乘人员的个性化娱乐需求。
目前,已经有智能座舱能够实现跨屏播放功能,即能够实现将当前显示屏正在播放的影音内容切换至由目标显示屏播放的功能。但是,现有的智能座舱在实现跨屏播放时,瞬间实现播放影音内容由当前显示屏到目标显示屏的切换。虽然用户对影音内容的切换播放已有心理准备,但是在播放声源由当前显示屏位置瞬间切换至目标显示屏位置时,仍然会使得用户感觉切换较为突兀而降低了用户感受。
发明内容
为了解决上述技术问题,本公开实施例提供一种交互控制方法、装置、电子设备、存储介质和车辆。
第一方面,本公开实施例提供一种交互控制方法,包括:
在获取到跨屏播放指令的情况下,根据跨屏播放指令确定当前显示屏和目标显示屏,其中跨屏播放指令包括当前显示屏的标识和目标显示屏的标识;
播放引导声音,引导声音为模拟声源位置由当前显示屏位置逐步移动至目标显示屏位置的立体声音。
可选的,在播放引导声音之前,方法包括:
根据当前显示屏的位置和目标显示屏的位置确定模拟声源移动路径;
播放引导声音,包括:播放模拟声源位置沿声源移动路径移动的引导声音。
可选的,播放模拟声源位置沿声源移动路径移动的引导声音,包括:
确定引导声音各个音频帧在模拟声音移动路径中的模拟播放位置;
根据模拟播放位置、音频帧和立体声播放系统中各个扬声器的位置,生成控制各个扬声器发声的调制信号;
采用调制信号驱动对应的扬声器工作,以使得各个扬声器发出的声波在声场中混响形成引导声音。
可选的,在根据当前显示屏的位置和目标显示屏的位置确定模拟声源移动路径之前,包括:
判断当前显示屏和目标显示屏之间是否有障碍物;
在当前显示屏和目标显示屏之间有障碍物的情况下,确定以当前显示屏的位置为起点,避开障碍物并且以目标显示屏的位置为终点的路径作为模拟声源移动路径。
可选的,在确定模拟声源移动路径之前,方法还包括:
判断当前显示屏是否显示第一交互形象;
在当前显示屏显示第一交互形象的情况下,根据当前显示屏的位置和目标显示屏的位置确定模拟声源移动路径,包括:
确定第一交互形象的第一显示位置;
确定以第一显示位置为起点,以目标显示屏的位置为终点的路径作为模拟声源移动路径。
可选的,在判定当前显示屏显示第一交互形象的情况下,方法还包括:
确定在目标显示屏待显示的第二交互形象的第二显示位置;
根据第一交互形象的显示位置和目标显示屏的位置确定模拟声源移动路径,包括:
确定以第一显示位置为起点,以第二显示位置为终点的路径作为模拟声源移动路径。
可选的,方法还包括:获取用户与当前显示屏交互时执行的交互操作;
判断交互操作是否为触发特定播放任务的操作,特定播放任务是与跨屏播放指令关联的播放任务;
在交互操作为触发特定播放任务的操作情况下,确定获取到跨屏播放指令。
可选的,判断交互操作是否为与跨屏播放指令匹配的操作,包括:
判断交互操作是否为触发特定播放任务的操作,特定播放任务是仅能由目标显示屏执行的播放任务;
在交互操作为触发特定播放任务的操作情况下,确定交互操作是与跨屏播放指令匹配的操作。
可选的,方法还包括:
在交互操作为触发特定播放任务的操作情况下,根据特定播放任务确定对应的提示声音;
控制立体声播放系统播放模拟声源位置由当前显示屏位置逐步移动至待换播屏幕位置的引导声音,包括:
将提示声音作为引导声音,控制立体声播放系统播放。
可选的,交互操作为语音交互操作;在获取用户与当前显示屏交互时执行的交互操作之前包括:
确定用户所在的关注方向;
根据关注方向,确定当前显示屏。
可选的,确定用户的关注方向,包括:
获取实时拍摄的用户影像,用户影像是包括用户眼部特征的影像;
处理用户影像,确定用户的虹膜区域和眼白区域;
根据位于虹膜区域周侧的眼白区域的面积确定用户的视线相对方向;
根据视线相对方向和拍摄用户影像的摄像头的外参,确定关注方向。
第二方面,本公开实施例提供一种交互控制装置,包括:
屏幕确定单元,用于在获取到跨屏播放指令的情况下,根据跨屏播放指令确定当前显示屏和目标显示屏,其中跨屏播放指令包括当前显示屏的标识和目标显示屏的标识;
声音播放单元,用于播放引导声音,引导声音为模拟声源位置由当前显示屏位置逐步移动至目标显示屏位置的立体声音。
第三方面,本公开实施例提供一种电子设备,包括处理器和存储器,存储器用于存储计算机程序;
计算机程序在被处理器加载时,使处理器执行如前所述的交互控制方法。
第四方面,本公开实施例提供一种计算机可读存储介质,存储介质存储有计算机程序,当计算机程序被处理器执行时,使得处理器实现如前的交互控制方法。
第五方面,本公开实施例提供一种车辆,包括处理器和存储器,存储器用于存储计算机程序;
计算机程序在被处理器加载时,使处理器执行如前的交互控制方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点:
采用本公开实施例提供的方案,在获取到跨屏播放指令的情况下,能够根据跨屏播放指令中的当前显示屏和目标显示屏的标识确定当前显示屏和目标显示屏,随后根据当前显示屏的位置和目标显示屏的位置,控制立体声播放系统播放模拟声源位置由当前显示屏位置逐步地移动至目标显示屏位置处的引导声音。由于引导声音的模拟声源位置是由当前显示屏位置处逐步地移动至目标显示屏位置处,采用立体声播放引导声音后,用户可以感受到引导声音位置的逐步变化,而不会出现瞬间切换而造成的听觉感觉突兀的问题,提高了用户体验。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图,其中:
图1是本公开实施例提供的交互控制方法流程图;
图2是本公开一些实施例提供的交互控制方法流程图;
图3是本公开一些实施例确定的确定模拟声源移动路径的流程图;
图4是本公开一些实施例提供的交互控制方法流程图;
图5是本公开实施例提供的交互控制装置的结构示意图;
图6是本公开一些实施例提供的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
图1是本公开实施例提供的交互控制方法流程图。如图1所示,本公开实施例提供的交互控制方法包括S110-S120。
应当注意的是,本公开实施例提供的交互控制方法可以由各种电子设备执行,电子设备可以是车辆终端设备、智能家居设备等可以配置多个显示屏幕的终端设备。当然,本公开实施例提供的方法也可以由多个电子设备协同执行,例如有车辆终端设备的中控设备和副驾娱乐设备、后排娱乐设备协同执行。在后文中将一个包括多个显示屏的车辆终端设备对本公开实施例提供的交互控制方法进行介绍。
S110:在获取到跨屏播放指令的情况下,根据跨屏播放指令确定当前显示屏和目标显示屏。
跨屏播放指令是用于指示影音内容跨屏播放的指令,也就是指示影音内容由当前显示屏切换至目标显示屏播放的指令。
跨屏播放指令可以是用户主动发出的指令,也可以是车载终端设备根据用户的操作和预设的操作规则主动生成的指令,本公开实施例并不做特别地限定。
在一些实施例中,在用户正在观看当前显示屏播放的内容(例如在播放影视作品等内容),并且想将当前显示屏播放内容切换至其他屏幕播放时,用户可以主动地发出交互控制语音或者交互动作,通过交互控制语音或者交互动作体现发出跨屏播放指令,以触发车载终端设备执行跨屏播放操作。
在另外一些实施例中,在用户正在与当前显示屏进行交互,并发出特定的交互指令。车载终端设备解析前述交互指令,确定交互指令制定的播放操作仅能由目标显示屏执行时,车载终端设备主动生成跨屏播放指令,并发送给内部特定的功能模块,以触发执行跨屏播放操作。
当前显示屏是当前正在进行影音内容播放的屏幕,目标显示屏是在实现跨屏操作后播放影音内容的屏幕。具体实施中,当前显示屏可以是用户正在关注或者正在观看的屏幕。
在本公开的一些实施例中,跨屏播放指令中包括当前显示屏和目标显示屏的标识。在获取到跨屏播放指令后,车载终端设备通过解析跨屏播放指令,可以获得当前显示屏和目标显示屏的标识,进而根据标识确定当前显示屏和目标显示屏。
在本公开的另外一些实施例中,跨屏播放指令包括指令类型标识。在获取到跨屏播放指令后,车载终端设备通过解析跨屏播放指令,可以获得指令类型标识。随后车载终端设备根据指令类型标识查找预先配置的对应关系表,可以确定跨屏播放指令对应的当前显示屏和目标显示屏。
在本公开的在一些实施例中,跨屏播放指令中并没有当前显示屏的标识,车载终端设备在预先配置的对应关系表中,也没有存储当前显示屏的标识。在此情况下,车载终端设备还可以通过其他方式确定当前显示屏。在一些实施例中,车载终端设备可以将用户正在进行交互操作的屏幕作为当前显示屏,或者可以将用户正在观看的屏幕作为当前显示屏。
例如,如果触发生成跨屏播放指令的用户是副驾乘客,其正在观看副驾娱乐显示屏,则可以将副驾娱乐显示屏作为第一屏幕。再例如,如果触发生成跨屏播放指令的用户是后排乘客,其正在观看后排娱乐显示屏,则可以将后排娱乐显示屏作为当前显示屏。再例如,如果触发生成跨屏播放指令的用户是驾驶员,其正在观看主驾前侧的抬头显示屏、主驾的仪表显示屏或者方向盘上的控制显示屏,则可以将前述的抬头显示屏、仪表显示屏或者方向盘上的控制显示屏作为当前显示屏。
S120:播放引导声音,引导声音为模拟声源位置由当前显示屏位置逐步移动至目标显示屏位置的立体声音。
本公开实施例中,在车载终端设备确定当前显示屏和目标显示屏后,随后可以确定当前显示屏的位置和目标显示屏的位置。
在一些实施例中,在车载终端设备存储有位置信息表,位置信息表中包括各个屏幕的当前位置。在确定当前显示屏和目标显示屏后,通过查找位置信息表可以确定当前显示屏的位置和目标显示屏的位置。
引导声音是用于引导提示用户,当前显示屏播放内容将切换至目标显示屏播放的声音。在本公开的一些实施例中,引导声音可以是当前显示屏正在播放的影音内容的声音。例如,在当前显示屏正在播放电影时,引导声音可以是电影的配音。在本公开的另外一些实施例中,引导声音可以是专门设定的提示声音。例如,在车载终端设备主动地生成跨屏播放指令,确定需要当前显示屏播放的内容切换至目标显示屏播放时,可以根据播放内容和目标显示屏的名称,生成对应的提示文本,本通过文本-语音转换的方式根据提示文本生成提示语音。
本公开实施例中,车厢中配置有多个扬声器,各个扬声器分别部署在车厢中的不同位置,组成立体声播放系统。例如,在一些车辆的立体声播放系统中配置有21个扬声器,扬声器布置分别安装在中控台(例如中控台中间和左右两侧)、A柱内侧、四个车门、车顶内侧或者前排座椅后侧或者中排座椅后侧(在车辆为诸如包括三排座椅的全尺寸SUV的情况下)。车载终端设备可以通过控制各个扬声器振动工作发声,以通过各个扬声器振动发声形成混响。用户在听到混响后的声音后能够感受到立体声。
车载终端设备在确定当前显示屏的位置和目标显示屏的位置后,并确定待播放的引导声音后,可以根据当前显示屏的位置、目标显示屏的位置和立体声播放系统中的各个扬声器的位置,生成控制各个扬声器工作的调制信号,并采用调制信号控制各个扬声器工作。各个扬声器发出的声波在车厢中混合形成立体声场,并通过立体声场模拟出模拟声源位置,形成立体声的引导声音。具体车载终端如何控制各个扬声器工作,以产生立体声感觉的引导声音在后文中再做分析。
本公开实施例中,立体声播放系统输出的引导声音的模拟声源位置由当前显示屏逐步地移动至目标显示屏,也就是说引导声音是模拟声源位置由当前显示屏位置逐步移动至目标显示屏位置的立体声音。
由于引导声音的模拟声源位置是由当前显示屏位置逐步地移动至目标显示屏位置,用户在听到引导声音后,可以感觉到引导声音是由当前显示屏发出,逐渐地向目标显示屏移动,最后再有目标显示屏发出。
用户的听觉系统在接收到立体声提示音后,可以明显地感觉到引导声音由当前显示屏所在位置处逐步地移动至目标显示屏所在位置处,也就是可以感受到引导声音的位置逐渐的变化,而不是瞬间切换时造成声源位置的突然变化,也就不会造成因为瞬间切换造成的听觉感觉突兀的问题,提高了用户体验。
图2是本公开一些实施例提供的交互控制方法流程图。如图2所示,在本公开的一些实施例中,交互控制方法可以包括S210-S230。
S210:在获取到跨屏播放指令的情况下,根据跨屏播放指令确定当前显示屏和目标显示屏。
S220:根据当前显示屏的位置和目标显示屏的位置确定模拟声源移动路径。
模拟声源移动路径是指模拟声源位置从当前显示屏的位置处移动至目标显示屏屏位置处的移动路径。模拟声源移动路径可以是直线路径,也可以是曲线路径,也可以是直线和曲线结合的路径,本公开实施例并不做特别的限定。
S230:播放模拟声源位置沿声源移动路径移动的引导声音。
根据当前显示屏的位置和目标显示屏的位置确定模拟声源移动路径,是确定模拟声源按照何种路径由当前显示屏所在位置处移动至目标显示屏所在位置处。
在本公开的一些实施例中,当前显示屏和目标显示屏均是位置固定的显示屏,例如当前显示屏是固定在副驾位置处的副驾娱乐显示屏,目标显示屏是固定在中控仪表盘处的中控显示屏。在此情况下,车辆终端设备可以预先存储当前显示屏和目标显示屏之间的模拟声源移动路径。在确定当前显示屏和目标显示屏后,车辆终端设备可以查找表确定对应的模拟声源移动路径。
在本公开的另外一些实施例中,当前显示屏和目标显示屏至少之一是位置并不固定的显示屏。例如,当前显示屏是位置可以移动的后排娱乐显示屏,目标显示屏是固定在中控仪表盘处的中控显示屏。在此情况下,车载终端设备根据当前显示屏和目标显示屏确定模拟声源移动路径,可以是确定当前显示屏的当前位置坐标和目标显示屏的当前位置坐标,随后根据当前显示屏的当前位置坐标和目标显示屏的当前年位置坐标规划模拟声源移动路径。
本公开实施例中,S230播放模拟声源位置沿声源移动路径移动的引导声音可以包括S231-S233。
S231:确定引导声音中音频帧在模拟声音移动路径中的模拟播放位置。
确定引导声音中音频帧在模拟声音移动路径中的模拟播放位置,是确定模拟声源在播放前述音频帧时的坐标位置。
车载终端设备可以在播放引导声音之前,确定所有音频帧的模拟声音移动路径中的模拟播放位置,也可以在播放引导声音的过程中逐步地确定模拟播放位置,本公开实施例并不做特别地限定。
S232:根据模拟播放位置、音频帧和立体声播放系统中各个扬声器的位置,生成控制各个扬声器发声的调制信号。
为了使得各个扬声器发出的声音在声场中混响,并且混响后的声音被用户听到后能够感觉到立体声移动的效果,需要适应性地调整立体声播放系统中各个扬声器的工作特性,例如调整各个扬声器是否工作发声,在扬声器工作发声的情况下其发声强度、针对特定音频帧信号的播放时刻。
在一些实施例中,车载终端设备需要根据音频帧确定需要混响形成的声音特征(例如音色和音质),根据模拟播放位置确定各个扬声器发生后形成的混响位置特性,随后声音特征、混响位置特性和各个扬声器的位置,生成控制各个扬声器发声的调制信号。为实现前述目标,技术人员首先根据车厢空间、扬声器的安装位置和主要用户的听声位置进行了标定,在标定结果的基础上进行了声场混响测试,构建出声场混响模型。
在车载终端设备工作时,可以采用声场混响模型基于模拟播放位置和音频帧确定控制各个扬声器的调制信号。
S233:采用调制信号驱动对应的扬声器工作。
根据前述分析,在采用调制信号驱动各个扬声器工作后,各个扬声器发出的声波在声场中混响形成音频帧对应的单点声音,前述单点声音连续播放可以形成引导声音。
为了能够更为直观地说明如何控制立体声播放系统播放模拟声源位置由当前显示屏位置逐步移动至目标显示屏位置的引导声音,以下采用一个实际车内场景做说明。
车内场景中部署有如前的21个扬声器,21个扬声器按照相对位置可以划分为前排扬声器(包括位于中控台、A柱内侧、车辆前门的扬声器)、中排扬声器(包括位于B柱内侧、后门、中排座椅上侧车顶棚内的扬声器),位于后排扬声器(包括位于中排座椅后和后排座椅顶棚)。
当前显示屏为位于前排座椅后、后排座椅前侧并且悬挂于车辆顶棚上的后排娱乐屏。目标显示屏为位于中控台中间位置处的中控显示屏。根据当前显示屏位置和目标显示屏确定的模拟声源移动路径为从后排娱乐屏到中控显示屏的直线路径。引导声音为“请跟随我看中控显示屏”这一声音。
为实现前述引导声音沿模拟声源移动路径(也就是沿着前述直线路径)移动,车载终端设备会根据前述路径、引导声音和各个扬声器所在位置确定控制各个扬声器的调制信号,并利用调制信号控制各个扬声器发声。
车载终端设备控制各个扬声器发声的直观效果是,随着引导声音的播放:(1)后排扬声器的播放声音的音量一直较小,并且持续地减小;(2)中排扬声器播放音量开始时较大,但是随着引导声音的播放逐渐地减小;(3)前排扬声器音量开始较小,但是随着引导声音的播放逐渐地增大;(4)不管是前排扬声器、中排扬声器还是后排扬声器,其左右扬声器的调制特性相同(也就是相对于前述直线路径),使得混响后的引导声音保持在车辆纵向中间位置。
图3是本公开一些实施例确定的确定模拟声源移动路径的流程图。如图3所示,在本公开的一些实施例中,前述的S220根据当前显示屏的位置和目标显示屏的位置确定模拟声源移动路径可以包括S221-S223。
S221:判断当前显示屏之间目标显示屏之间是否有障碍物;若否,执行S222;若否,执行S223。
S222:将当前显示屏和目标显示屏之间的连线路径确定模拟声源移动路径。
S223:确定以当前显示屏的位置为起点,避开障碍物并且以目标显示屏的位置为终点的路径作为模拟声源移动路径。
本公开实施例中,障碍物是位于当前显示屏和目标显示屏连线上的问题。实际应用中,当前显示屏和目标显示屏之间可能有障碍物,也可能没有障碍物。如果当前显示屏和目标显示屏之间没有障碍物,可以直接执S222。而如果当前显示屏和目标显示屏之间有障碍物,则可以执行S223。
例如,如果当前显示屏为副驾娱乐显示屏,目标显示屏是中控显示屏,当前显示屏和目标显示屏之间并没有障碍物,此时可以将二者的最短直线作为模拟声源移动路径
再例如,如果当前显示屏为位于前排座椅背面的后排娱乐显示屏,目标显示屏是中控显示屏,当前显示屏和目标显示屏之间被前排座椅阻挡。在此情况下,如果直接将当前显示屏和目标显示屏之间的连线作为模拟声源移动路径,则模拟声源移动路径会与经过前排座椅。按照此模拟声源移动路径输出引导语音,引导声音的部分从座椅中发出,使得用户产生感知错乱的感觉,而造成用户的体验变差。为避免前述情况,车载终端设备可以根据当前显示屏的位置、前排座椅的位置和目标显示屏的位置,确定模拟声源移动路径,以使得模拟声源移动路径避开前排座椅等障碍物,继而使得模拟声源位置是在空旷位置移动,避免用户产生感知错乱,保证用户具有较好的使用体验。
图4是本公开一些实施例提供的交互控制方法流程图。如图4所示,在本公开的一些实施例中,交互控制方法包括S310-S360。
S310:在获取到跨屏播放指令的情况下,根据跨屏播放指令确定当前显示屏和目标显示屏。
S320:判断当前显示屏是否显示第一交互形象;若是,执行S330。
S330:确定第一交互形象的第一显示位置。
S340:确定以第一显示位置为起点,以目标显示屏的位置为终点的路径作为模拟声源移动路径。
S350:控制立体声播放系统沿模拟声源移动路径,播放模拟声源位置由当前显示屏位置逐步移动至目标显示屏位置的引导声音。
在本公开一些实施例中,用户可以在与当前屏幕进行交互,当前显示屏上可以显示与用户进行交的第一交互形象。用户通过当前显示屏与车载终端设备进行交互时,用户的视觉焦点多为当前显示屏中的第一交互形象。为了使得用户与第一交互形象进行交互有较好的交互体验,车载终端设备会根据第一交互形象在当前显示屏上的位置作为定第一交互形象的模拟声源位置,并根据前述模拟声源位置控制立体声播放系统播放交互语音。
为了使得用户感觉到引导声音由第一交互形象所在位置开始播放,车载终端设备将第一交互形象的第一显示位置确定为模拟声源移动路径的起点,根据目标显示屏的位置作为模拟声源移动路径的终点,根据起点和终点确定模拟声源移动路径。通过将模拟声源移动路径的起点设置为第一交互形象所在的第一显示位置,可以使得用户感觉是从第一交互形象的显示位置处开始发出引导声音,使得用户的视觉焦点和听觉定位的声源初始点位置相同,也就是使得向用户发出的提示语音更像是真实形象发出的立体声,进而可以提高用户的体验。
在一些应用中,在将用户的关注焦点移动至目标显示屏时,也就是使得用户的视觉焦点逐步从当前显示屏引导至目标显示屏后,还可以在目标显示屏上显示第二交互形象,以通过第二交互形象在目标显示屏和用户进行交互。
在前述情况下,在本公开的一些实施例中,在执行S350根据第一交互形象的第一显示位置和目标显示屏确定模拟声源移动路径之前,车载终端设备还可以执行S360。
S4360:确定在目标显示屏待显示的第二交互形象的第二显示位置。
第二交互形象的显示位置是将用户的视觉焦点移动至目标显示屏上时,在目标显示屏上显示输出第二交互形象的位置。也就是说,在用户的视觉焦点移动至目标显示屏上后,会在显示位置处显示第二交互形象。
在执行前述的S360的情况下,前述的S340可以包括S341。
S351:确定以第一显示位置为起点,以第二显示位置为终点的路径作为模拟声源移动路径。
也就是说,在执行S360的情况下,模拟声源移动路径的终点根据第二交互形象的第二显示位置确定,以使得用户的视觉关注焦点移动至目标显示屏上后,在目标显示屏上能够立即输出第二交互形象,进而使得用户的关注焦点转移至第二交互形象,并使得第二交互形象与用户进行据交互。如此,可以使得用户的视觉焦点转换和听觉转换的终点相同,进而可以进一步地提高用户的体验。
应当注意的是,执行前述的S340或者S341并不与前述的S233冲突,也就是说在执行S340或者S341之前,可以先确定当前显示屏(或者第一交互形象)和待显示的第二交互形象的显示位置之间是否有障碍物。如果二者之间有障碍物,则可以根据第一交互形象的第一显示位置(或者是)、障碍物的位置和第二交形象的第二显示位置确定模拟声源移动路径,以使得模拟声源移动路径避开障碍物。
可选的,在本公开的一些实施例中,在执行前述的360的情况下,车载终端设备还可以执行S370。
S370:在引导声音的模拟声源位置过渡到靠近第二显示位置时或者过渡到第二显示位置时,在第二显示位置显示第二交互形象。
在模拟声源位置移动到靠近第二显示位置时目标显示屏时,通过在第二显示位置显示第二交互形象,使得第二交互形象引导用户在目标显示屏进行交互,提高了用户体验。
可选的,在本公开的一些实施例中,在执行前述的S350的同时,车载终端设备还可以执行S380。
S380:根据沿模拟声源移动路径至少靠近当前显示屏的部分,移动显示和/或缩小显示第一交互形象。
本公开实施例中,沿着模拟声源移动路径至少靠近当前显示屏的部分移动显示和缩小显示第一交互形象,可能分为几种情况。
第一种情况:当前显示屏和目标显示屏为大致共面设置的显示屏,例如当前显示屏为副驾娱乐显示屏,目标显示屏为中控显示屏。在此种情况下,模拟声源移动路径是在当前显示屏和目标显示屏所在的平面,或者大体在当前显示屏和目标显示屏所在的平面,车载终端设备可以在沿着位于当前显示屏上的模拟声源移动路径播放引导声音的同时,采用当前显示屏移动显示第一交互形象。
第二种情况:当前显示屏和目标显示屏并不共面设置,例如当前显示屏为车辆后排娱乐显示屏,目标显示屏为中控显示屏。在此种情况下,模拟声源位置需要从当前显示屏所在平面移动至目标显示屏所在平面,并且模拟声源位置在模拟声源移动路径的在前部分在当前显示屏所在的平面上。车载终端设备可以在沿着位于当前显示屏上的模拟声源移动路径播放引导声音的同时,采用当前显示屏移动显示第一交互形象。
第三种情况:当前显示屏和目标显示屏前后并排平行设置,例如当前显示屏为车辆后排中间位置处的娱乐显示屏,目标显示屏为中控显示屏。模拟声源位置需要从当前显示屏所在平面移动至目标显示屏所在平面,并且模拟声源移动路径为从第一交互形象当前所在位置到第二交互形象的显示位置的直线。车载终端设备可以在模拟声源移动路径播放引导声音的同时,逐步地缩小第一交互形象,以模拟第一交互形象当前显示屏。
第四种情况:当前显示屏和目标显示屏前后错位设置,例如当前显示屏为车辆前排座椅后侧的娱乐显示屏,目标显示屏为中控显示屏。模拟声源位置需要从当前显示屏所在平面移动至目标显示屏所在平面,并且模拟声源移动路径在前部分在当前显示屏上,在后部分离开当前显示屏。车载终端设备可以在沿着模拟声源移动路径播放立体声提示音的同时,先在当前显示屏上移动第一交互形象,并在模拟声源移动路径不在当前显示屏上时缩小显示第一交互形象,直至消失。
如前,在本公开的一些实施例中,跨屏播放指令是用户执行与当前显示屏交互操作时触发的指令。对应的,在本公开的一些实施例中,在执行S110之前,还可以执行S130-S150
S130:获取用户与当前显示屏交互时执行的交互操作。
S140:判断交互操作是否为与跨屏播放指令匹配的操作;若是,执行S150。
S150:确定获取到跨屏播放指令。
本公开实施例中,在获取到用户与当前显示屏的交互操作时,车载终端设备可以根据交互操作的操作类型进行指令匹配,确定交互操作是否是与跨屏播放指令匹配的操作。如果交互操作是与跨屏播放指令匹配的操作,在车载终端设备确定获取到跨屏播放指令。
在一些实施例中,S140判断交互操作是否为与跨屏播放指令匹配的操作可以包括S141-S142。
S141:判断交互操作是否为触发特定播放任务的操作;若是,执行S1122。
S142:确定交互操作是与跨屏播放指令匹配的操作。
本公开实施例中,特定播放任务是仅能由目标显示屏执行的播放任务。如果交互操作是触发特定播放任务的操作,则确定随后的特定播放任务仅能有目标显示屏执行,而不能由当前显示屏执行,此时交互操作是与跨屏播放指令匹配的操作,因此可以触发生成跨屏播放指令,以使得车载终端设备执行后续的S110-S120。
例如,用户与当前显示屏之间的交互操作是查找目的地,并根据目的地确定导航地图的操作,当前显示屏是后排娱乐显示屏。由于导航地图仅能由中控显示屏播放,在用户查找到目的地、根据目的地确定导航地图并触发开始导航操作后,车载电子设备根据开始导航操作确定其是触发特定播放任务的操作,因此确定交互操作是与跨屏播放指令匹配的操作,此时确定获取到跨屏播放指令。
可选的,在本公开一些实施例中,在执行S1411判定交互操作是触发特定播放任务的操作的情况下,车载终端设备还可以执行S143。
S143:根据特定播放任务确定对应的提示声音。
提示语音是用于提示特定播放任务由目标显示屏执行的声音。例如,车载终端设备缺定根据前述开始导航操作可以生成“由中控显示屏播放导航地图”等。
在执行前述S143的情况下,S120控制立体声播放系统播放模拟声源位置由当前显示屏位置逐步移动至目标显示屏位置的引导声音具体可以为S121。
S121:将提示声音作为引导声音,控制立体声播放系统播放。
在本公开的一些实施例中,用户与当前显示屏之间的交互操作为语音交互操作。在交互操作为语音操作的情况下,车载终端设备在获取用户与当前显示屏交互时执行的交互操作之前,车子终端设备还可以执行步骤S160-S170。
S160:确定用户所在的位置和/或用户的关注方向。
在本公开的一些实施例中,车载终端设备可以采用各种方式确定用户所在位置。例如,在一些实施例中,车载终端设备可以根据座椅上的压力传感器确定用户乘坐座椅,进而确定用户所在位置。
在本公开的另外一些实施例中,车厢中配置有至少两个拾音器,两个拾音器实时地监听车厢中的音频信号。车辆终端设备可以通过如下的S161-S163确定用户所在的位置。
S161:获取至少两个拾音器监听的音频信号。
S162:判断音频信号是否包括语音信号;若包括,执行S163。
S163:根据语音信号进行空间定位,确定用户的所在位置。
车载终端设备在获取到至少两个拾音器监听的音频信号后,首先判断音频信号是否包括语音信号。如果音频信号中包括语音信号,则确定用户正在说话。此时车载终端设备可以根据至少两路音频信号中包括的语音信号进行空间定位,确定用户的所在位置,也就是确定用户头部区域所在的位置。
具体的,车载终端设备根据至少两路音频信号包括的语音信号进行空间定位,是根据各路音频信号中相同特征的语音信号的接收时间以及拾音器的位置进行反向运算,确定用户的嘴巴位置。具体如何根据语音信号进行空间定位,确定用户所在位置请参照本声学领域已有的技术文献和产品,本公开实施例不再做展开说明。
可选的,在执行前述的S163之前,车载终端设备还可以执行S164:获取座椅压力传感器输出的压力信号。
对应的,在执行S163根据语音信号进行空间定位,确定用户的所在位置具体可以为S1631。
S1631:根据语音信号和压力信号进行空间融合定位,确定用户的所在位置。
具体实施例中,车载终端设备可以采用卡尔曼滤波或者粒子滤波的方式,对语音信号确定的位置和压力信号确定位置进行空间融合定位,确定用户的所在位置。通过将语音信号和压力信号进行融合定位,可以提高确定用户所在位置的准确性。
在本公开的另外一些实施例中,车厢中还配置有内视摄像头,内视摄像头可以拍摄车厢内的影像。车载终端数设备可以采用如下的S164-S168确定用户的关注方向。
S164:获取实时拍摄的用户影像。
S165:处理用户图像,确定虹膜区域和眼白区域。
本公开实施例中,内视摄像头可以实时地拍摄车厢内的影像,并根据拍摄的车厢内影像确定其中的用户影像。应当注意的是,本公开实施例中用户影像是包括用户眼部特征的影像。
在获取到用户影像后,车载终端设备可以按照用户影像确定出用户眼部的虹膜区域和眼白区域。具体实施例中,可以采用预先训练的深度学习模型确定用户的眼部区域,并根据虹膜区域和眼白区域的像素特征做像素提取,确定虹膜区域和眼白区域。
S166:根据位于虹膜区域周侧的眼白区域的面积确定用户的相对关注方向。
根据常识可知,用户的关注方向由用户眼球转动决定。而用户眼球转动的最终目的是改变虹膜区域的朝向。在用户转动眼球时,虹膜周围的眼白区域暴露在眼睑之外的面积发生改变。例如,在用户正视前方时,虹膜左右侧区域的眼白区域面积大体相同,虹膜上下侧区域的眼白区域面积大体相同。而在用户转动眼球向右看时,虹膜左侧的眼白区域面积大约右侧眼白区域的面积,虹膜上下侧区域的眼白区域面积大体相同。根据眼白区域的面积的分布特征可以确定用户的相对关注方向。应当注意的是,前述的相对关注方向可以是比较精准的方向,也可是比较粗略的方向。
S167:根据相对关注方向和拍摄用户影像的摄像头的外参,确定当前关注方向。
S168:根据当前关注方向确定当前关注位置。
摄像头的外参是用于表征摄像头位置和拍摄角度在世界坐标系中如何标定的参数,外参可以包括旋转矩阵。根据相对关注方向和外参确定当前关注方向,是根据相对关注方向和外参做坐标变换,并将变换后的关注方向作为当前关注方向。
在确定当前关注方向后,根据当前关注方向可以确定在此方向中的当前显示屏的显示区域,此显示区域即为当前关注位置。
前述实施例中基于用户影像确定当前关注方向,在其他实施例中还可以基于用户的所在位置确定用户的当前关注方向。
S170:根据所在位置和/或关注方向,确定当前显示屏。
根据用户的所在位置和/或用户的关注方向,确定用户关注的当前显示屏,是确定用户大概率观看的的显示屏,并前述显示屏作为当前显示屏。
在本公开的一些实施例中,用户关注的当前显示屏可以是尺寸较大的显示屏,用户仅能看到当前显示屏的部分内容,或者用户的关注内容仅为当前显示屏的部分区域。例如,如果当前显示屏为车厢后排中间位置处的大尺寸后排娱乐显示屏,后排左右座乘客可能仅关注当前显示屏临近的区域。
在此情况下,车载终端设备在执行S170后,还可以执行S180-S190。
S180:根据用户的所在位置和/或用户的关注方向,确定第三显示位置。
S190:控制当前显示屏在第三显示位置显示第一交互形象。
由于当前显示屏尺寸较大,为了使得用户能够较为方便地确定与其进行交互的第一交互形象,本公开实施例中,根据用户所在位置和/或用户的关注方向确定第一交互形象的显示位置(也就是第三显示位置),并控制当前显示屏在第三显示位置显示第一交互形象。
为了能够更为清晰理解S180-S190,以下举例说明。在一个具体应用中,车辆后排配置有位于后排中间位置前侧并且尺寸较大的后排娱乐显示屏,后排右侧坐有乘客(也就是后排娱乐显示器右后侧有乘客)。此时,后排娱乐显示屏处在待机状态。当用户想要查询导航路线时,其朝向后排娱乐显示屏方向观看,并说出“理想同学”,此时车载语音交互模块获取到拾音器采集的声音信号,并根据声音信号确定用户唤醒车载终端设备的交互模块。此时,车载终端设备根据多个拾音器采集的声音信号确定乘客坐在后排后侧,其观看的是后排娱乐显示屏的右侧区域,此时可以将后排娱乐显示屏作为当前显示屏,并在后排娱乐显示屏的右侧区域显示第一交互形象,实现第一交互形象与用户进行视觉交互,以执行后续的获取到用户触发的显示任务的操作。
可选的,在本公开的一些实施例中,在执行前述的S190的同时,车载终端设备还可以执行S100。
S100:控制立体声播放系统输出模拟声源位置在第三显示位置处的交互语音。
通过控制立体声播放系统输出模拟声源位置在第三显示位置处的交互语音,可以使得用户感受到第一交互形象发出声音与自己交互,提高用户的使用体验。例如,在用户输出“理想同学”后,车载终端设备可以将模拟声源确定在第一交互形象显示位置,并输出“请问您有什么需求”的回复语音,进而引导用户继续与车载终端设备交互,并执行后续可能触发的跨屏操作。
前述实施例中以车辆终端设备为执行设备对本公开实施例提供的方法进行讲解。在本公开的一些实施中,执行设备还可以是智能家居设备。对于智能家居场景下智能家居设备如何执行本说明书不再展开举例,具体实际例子可以根据智能家居场景下的各种硬件设备和前述的方法执行过程结合得到。
除了提供前述的交互控制方法外,本公开实施例还提供实现前述交互控制方法的交互控制装置。
图5是本公开实施例提供的交互控制装置的结构示意图。如图5所示,本公开实施例提供的交互控制装置500包括屏幕确定单元501和声音播放单元502。
屏幕确定单元501用于在获取到跨屏播放指令的情况下,根据跨屏播放指令确定当前显示屏和目标显示屏,其中跨屏播放指令包括当前显示屏的标识和目标显示屏的标识。
声音播放单元502用于播放引导声音,引导声音为模拟声源位置由当前显示屏位置逐步移动至目标显示屏位置的立体声音。
在本公开的一些实施例中,交互控制装置500还包括以移动路径确定单元。移动路径确定单元根据当前显示屏的位置和目标显示屏的位置确定模拟声源移动路径。对应的,声音播放单元502播放模拟声源位置沿声源移动路径移动的引导声音。
在本公开的一些实施例中,声音播放单元502包括模拟播放位置确定子单元、调制信号生成子单元和控制子单元。模拟播放位置确定子单元用于确定引导声音中音频帧在模拟声音移动路径中的模拟播放位置;调制信号生成子单元用于根据模拟播放位置、音频帧和立体声播放系统中各个扬声器的位置,生成控制各个扬声器发声的调制信号;控制子单元用于采用调制信号驱动对应的扬声器工作,以使得各个扬声器发出的声波在声场中混响形成引导声音。
在本公开的一些实施例中,交互控制装置500还包括障碍物判定单元。障碍物判定单元用于判断当前显示屏和目标显示屏之间是否有障碍物。对应的,移动路径确定单元在当前显示屏和目标显示屏之间有障碍物的情况下,确定以当前显示屏的位置为起点,避开障碍物并且以目标显示屏的位置为终点的路径作为模拟声源移动路径。
在本公开的一些实施例中,交互控制装置500还包括交互形象判断单元。交互形象判断单元用于判断当前显示屏是否显示第一交互形象。移动路径确定单元包括第一位置确定子单元和移动路径确定子单元。第一位置确定子单元用于确定第一交互形象的第一显示位置。移动路径确定子单元用于确定以第一显示位置为起点,以目标显示屏的位置为终点的路径作为模拟声源移动路径。
在本公开的一些实施例中,第一位置确定子单元还用于确定在目标显示屏待显示的第二交互形象的第二显示位置。移动路径确定子单元确定以第一显示位置为起点,以第二显示位置为终点的路径作为模拟声源移动路径。
在本公开的一些实施例中,判断单元包括交互操作获取子单元、匹配判断子单元和指令确定子单元。交互操作获取子单元用于获取用户与当前显示屏交互时执行的交互操作。匹配判断子单元用于判断交互操作是否为触发特定播放任务的操作,特定播放任务是与跨屏播放指令关联的播放任务;
。指令确定子单元用于在交互操作为触发特定播放任务的操作情况下,确定获取到跨屏播放指令。
在公开的一些实施例中,交互控制装置500还包括声音确定单元。声音确定单元用于在交互操作为触发特定播放任务的操作情况下,根据特定播放任务确定对应的提示声音。对应的,声音播放单元502将提示声音作为引导声音,控制立体声播放系统播放。
在本公开的一些实施例中,交互控制装置还包括方位确定单元和显示屏确定单元。方位确定单元用于确定用户的关注方向。显示屏确定单元用于根据关注方向,确定当前显示屏。
在本公开的一些实施例中,方位确定单元包括影像获取子单元、处理子单元、方向确定子单元。影像获取子单元用于获取实时拍摄的用户影像,用户影像是包括用户眼部特征的影像;处理子单元用于处理用户影像,确定用户的虹膜区域和眼白区域;方向确定子单元用于根据位于虹膜区域周侧的眼白区域的面积确定用户的视线相对方向,以及根据视线相对方向和拍摄用户影像的摄像头的外参,确定关注方向。
本公开实施例还提供一种电子设备,该电子设备包括处理器和存储器,其中,存储器中存储有计算机程序,当计算机程序被处理器执行时可以实现上述任一实施例的交互控制方法。
图6是本公开一些实施例提供的电子设备的结构示意图。下面具体参考图6,其示出了适于用来实现本公开实施例中的电子设备600的结构示意图。图6示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示,电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601,其可以根据存储在只读存储器ROM602中的程序或者从存储装置608加载到随机访问存储器RAM603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出I/O接口605也连接至总线604。
通常,以下装置可以连接至I/O接口605:包括例如触摸屏、触摸板、摄像头、麦克风、加速度计、陀螺仪等的输入装置605;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607;包括例如磁带、硬盘等的存储装置608;以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备600,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置609从网络上被下载和安装,或者从存储装置608被安装,或者从ROM 602被安装。在该计算机程序被处理装置601执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本公开实施例还提供一种车辆,车辆包括处理器和存储器,存储器用于存储计算机程序;所述计算机程序在被所述处理器加载时,使所述处理器执行前所述的交互控制方法。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的根据硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括根据一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
本公开实施例还提供一种计算机可读存储介质,所述存储介质中存储有计算机程序,当所述计算机程序被处理器执行时可以实现上述任一方法实施例的方法,其执行方式和有益效果类似,在这里不再赘述。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (14)

1.一种交互控制方法,其特征在于,包括:
在获取到跨屏播放指令的情况下,根据所述跨屏播放指令确定当前显示屏和目标显示屏;
播放引导声音,所述引导声音为模拟声源位置由所述当前显示屏位置逐步移动至所述目标显示屏位置的立体声音。
2.根据权利要求1所述的方法,其特征在于,在所述播放引导声音之前,所述方法包括:
根据所述当前显示屏的位置和所述目标显示屏的位置确定模拟声源移动路径;
所述播放引导声音,包括:
播放模拟声源位置沿所述声源移动路径移动的所述引导声音。
3.根据权利要求2所述的方法,其特征在于,所述播放模拟声源位置沿所述声源移动路径移动的所述引导声音,包括:
确定所述引导声音中音频帧在所述模拟声音移动路径中的模拟播放位置;
根据所述模拟播放位置、所述音频帧和所述立体声播放系统中各个扬声器的位置,生成控制各个所述扬声器发声的调制信号;
采用所述调制信号驱动对应的扬声器工作,以使得各个扬声器发出的声波在声场中混响形成所述引导声音。
4.根据权利要求2所述的方法,其特征在于,在所述根据所述当前显示屏的位置和所述目标显示屏的位置确定模拟声源移动路径之前,包括:
判断所述当前显示屏和所述目标显示屏之间是否有障碍物;
在所述当前显示屏和所述目标显示屏之间有障碍物的情况下,确定以所述当前显示屏的位置为起点,避开所述障碍物并且以所述目标显示屏的位置为终点的路径作为所述模拟声源移动路径。
5.根据权利要求2所述方法,其特征在于,在所述确定模拟声源移动路径之前,所述方法还包括:
判断所述当前显示屏是否显示第一交互形象;
在所述当前显示屏显示所述第一交互形象的情况下,所述根据所述当前显示屏的位置和所述目标显示屏的位置确定模拟声源移动路径,包括:
确定所述第一交互形象的第一显示位置;
确定以所述第一显示位置为起点,以所述目标显示屏的位置为终点的路径作为所述模拟声源移动路径。
6.根据权利要求5所述的方法,其特征在于,在判定所述当前显示屏显示所述第一交互形象的情况下,所述方法还包括:
确定在所述目标显示屏待显示的第二交互形象的第二显示位置;
所述确定以所述第一显示位置为起点,以所述目标显示屏的位置为终点的路径作为所述模拟声源移动路径,包括:
确定以所述第一显示位置为起点,以所述第二显示位置为终点的路径作为所述模拟声源移动路径。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述方法还包括:
获取用户与当前显示屏交互时执行的交互操作;
判断所述交互操作是否为触发特定播放任务的操作,所述特定播放任务是与所述跨屏播放指令关联的播放任务;
在所述交互操作为触发所述特定播放任务的操作情况下,确定获取到所述跨屏播放指令。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
在所述交互操作为触发所述特定播放任务的操作情况下,根据所述特定播放任务确定对应的提示声音;
所述控制立体声播放系统播放模拟声源位置由所述当前显示屏位置逐步移动至所述待换播屏幕位置的引导声音,包括:
将所述提示声音作为所述引导声音,控制所述立体声播放系统播放。
9.根据权利要求7所述的方法,其特征在于,所述交互操作为语音交互操作;在所述获取用户与当前显示屏交互时执行的交互操作之前包括:
确定所述用户的关注方向;
根据所述关注方向,确定所述当前显示屏。
10.根据权利要求9所述的方法,其特征在于,所述确定所述用户的关注方向,包括:
获取实时拍摄的用户影像,所述用户影像是包括用户眼部特征的影像;
处理所述用户影像,确定所述用户的虹膜区域和眼白区域;
根据位于所述虹膜区域周侧的眼白区域的面积确定所述用户的视线相对方向;
根据所述视线相对方向和拍摄所述用户影像的摄像头的外参,确定所述关注方向。
11.一种交互控制装置,其特征在于,包括:
屏幕确定单元,用于在获取到跨屏播放指令的情况下,根据所述跨屏播放指令确定当前显示屏和目标显示屏;
声音播放单元,用于播放引导声音,所述引导声音为模拟声源位置由所述当前显示屏位置逐步移动至所述目标显示屏位置的立体声音。
12.一种电子设备,其特征在于,包括处理器和存储器,所述存储器用于存储计算机程序;
所述计算机程序在被所述处理器加载时,使所述处理器执行如权利要求1-10任一项所述的交互控制方法。
13.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,当计算机程序被处理器执行时,使得处理器实现如权利要求1-10任一项所述的交互控制方法。
14.一种车辆,其特征在于,包括处理器和存储器,所述存储器用于存储计算机程序;
所述计算机程序在被所述处理器加载时,使所述处理器执行如权利要求1-10任一项所述的交互控制方法。
CN202210749721.7A 2022-06-28 2022-06-28 交互控制方法、装置、电子设备、存储介质和车辆 Pending CN115431911A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210749721.7A CN115431911A (zh) 2022-06-28 2022-06-28 交互控制方法、装置、电子设备、存储介质和车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210749721.7A CN115431911A (zh) 2022-06-28 2022-06-28 交互控制方法、装置、电子设备、存储介质和车辆

Publications (1)

Publication Number Publication Date
CN115431911A true CN115431911A (zh) 2022-12-06

Family

ID=84241239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210749721.7A Pending CN115431911A (zh) 2022-06-28 2022-06-28 交互控制方法、装置、电子设备、存储介质和车辆

Country Status (1)

Country Link
CN (1) CN115431911A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115579010A (zh) * 2022-12-08 2023-01-06 中国汽车技术研究中心有限公司 智能座舱跨屏联动方法、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115579010A (zh) * 2022-12-08 2023-01-06 中国汽车技术研究中心有限公司 智能座舱跨屏联动方法、设备及存储介质

Similar Documents

Publication Publication Date Title
JP7068986B2 (ja) エージェントシステム、エージェント制御方法、およびプログラム
CN110968048B (zh) 智能体装置、智能体控制方法以及存储介质
CN112092750A (zh) 基于车辆的图像播放方法、装置、系统、车辆及存储介质
US10070242B2 (en) Devices and methods for conveying audio information in vehicles
US20200152203A1 (en) Agent device, agent presentation method, and storage medium
WO2020070878A1 (ja) エージェント装置、エージェント制御方法、およびプログラム
CN111007968A (zh) 智能体装置、智能体提示方法及存储介质
EP3495942B1 (en) Head-mounted display and control method thereof
US20210380055A1 (en) Vehicular independent sound field forming device and vehicular independent sound field forming method
CN115431911A (zh) 交互控制方法、装置、电子设备、存储介质和车辆
US20220095046A1 (en) Hybrid in-car speaker and headphone based acoustical augmented reality system
CN110194181B (zh) 驾驶支持方法、车辆和驾驶支持系统
JP7314944B2 (ja) 情報処理装置及び情報処理方法、並びに映像音声出力システム
CN113997863B (zh) 数据处理方法、装置和车辆
CN115696175A (zh) 多声道音频信号播放方法、头戴设备及存储介质
JP7456490B2 (ja) 音データ処理装置および音データ処理方法
JP7065353B2 (ja) ヘッドマウントディスプレイ及びその制御方法
CN110139205B (zh) 用于辅助信息呈现的方法及装置
CN115437527A (zh) 交互控制方法、装置、电子设备、存储介质和车辆
KR20170016902A (ko) 차량 및 그 제어 방법
CN112947757A (zh) 车载交互系统的控制方法、存储介质和车载电子设备
CN117750110A (zh) 信息处理装置、信息处理方法和视频声音输出系统
JP2020059401A (ja) 車両制御装置、車両制御方法、プログラム
KR20230039799A (ko) 차량 및 그 제어 방법
JP2019018771A (ja) 車載システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination