CN116844540A - 车载语音助手互动方法、装置、电子设备及存储介质 - Google Patents
车载语音助手互动方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116844540A CN116844540A CN202310663659.4A CN202310663659A CN116844540A CN 116844540 A CN116844540 A CN 116844540A CN 202310663659 A CN202310663659 A CN 202310663659A CN 116844540 A CN116844540 A CN 116844540A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- mounted voice
- zone
- voice assistant
- interactive object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000003860 storage Methods 0.000 title claims abstract description 33
- 230000002452 interceptive effect Effects 0.000 claims abstract description 88
- 230000004913 activation Effects 0.000 claims abstract description 40
- 230000008859 change Effects 0.000 claims abstract description 12
- 230000009466 transformation Effects 0.000 claims abstract description 12
- 230000009191 jumping Effects 0.000 claims abstract description 9
- 238000012546 transfer Methods 0.000 claims abstract description 8
- 230000000694 effects Effects 0.000 claims description 25
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 11
- 230000001131 transforming effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000008094 contradictory effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000981 bystander Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
本申请公开了一种车载语音助手互动方法、车载语音助手互动装置、电子设备、存储介质及车辆包括,获取车载音区信息;所述车载音区信息包括音区激活状态信息;判断车载音区激活状态,控制车载语音助手变换互动对象;若,车载语音助手的互动对象在第一车载音区,则判断第二车载音区是否从待命状态跳转至激活状态;若,第二车载音区从待命状态跳转至激活状态,则车载语音助手变换互动对象从第一车载音区转移至第二车载音区;根据车载语音助手变换互动对象从第一车载音区转移至第二车载音区,第一车载音区从激活状态跳转至待命状态。通过上述方案,设置音区的激活状态,使车载语音助手在各个音区之间灵活变化互动对象。
Description
技术领域
本申请涉及语音助手领域,尤其涉及车载语音助手互动方法、车载语音助手互动装置、电子设备、存储介质及车辆。
背景技术
截止当前,中国乘用车智能语音交互功能的搭载率已经高达86%,汽车座舱正朝着智能化趋势发展,而车载语音助手是智能驾驶舱中重要的核心功能。
而当前车机语音助手的唤醒和应答方式较为单薄呆板,智能化、拟人化程度不够。尤其是多个乘客同时使用语音助手互动,语音助手的虚拟形象只能固定在显示终端,不能在多个乘客之间切换,使乘客了解不到当前的车载语音助手正在为谁服务。
因此,需要提出一种改善语音助手在各座位间切换的语音交互方式,提升用户语音交互体验。
发明内容
本发明的目的在于提供一种车载语音助手互动方法、车载语音助手互动装置、电子设备、存储介质及车辆,至少解决上述的一个技术问题。
本发明提供了下述方案:
根据本发明的一个方面,提供一种车载语音助手互动方法,所述车载语音助手互动方法包括:
获取车载音区信息;
所述车载音区信息包括音区激活状态信息;
判断车载音区激活状态,控制车载语音助手变换互动对象;
若,车载语音助手的互动对象在第一车载音区,则判断第二车载音区是否从待命状态跳转至激活状态;
若,第二车载音区从待命状态跳转至激活状态,则车载语音助手变换互动对象从第一车载音区转移至第二车载音区;
根据车载语音助手变换互动对象从第一车载音区转移至第二车载音区,第一车载音区从激活状态跳转至待命状态。
进一步的,所述判断车载音区激活状态包括:
根据车内座位匹配的人机终端接收到唤醒指令,判断车载音区激活状态;
若,人机终端接收到唤醒指令,则将人机终端对应的座位作为当前激活状态的车载音区。
进一步的,所述车载语音助手变换互动对象从第一车载音区转移至第二车载音区包括:
根据预设动效,车载语音助手变换互动对象,从当前第一车载音区转移至第二车载音区;
其中,预设动效包括,车内灯光、音响、屏幕生成虚拟形象用于车载语音助手的人机端输出;
所述虚拟形象包括,对应车载语音助手变换互动对象,从当前第一车载音区转移至第二车载音区。
进一步的,所述将人机终端对应的座位作为当前激活状态的车载音区包括:
所述座位对应一个或多个人机终端;
车内所述座位具有一个或多个;
根据所述座位对应多个人机终端中任一人机终端接收到唤醒指令,所述人机终端从待命状态跳转至激活状态;
所述人机终端从待命状态跳转至激活状态包括,人机终端的音频输出端、音频输入端、视觉输入端用于车载语音助手与互动对象识别和互动。
进一步的,所述车载语音助手变换互动对象包括:
根据人机终端音频输入端接收互动对象的音源,生成车载音区声场中心;
根据人机终端音频输出端输出虚拟形象声音,生成语音助手声场中心;
根据对应车载语音助手变换互动对象,所述语音助手声场中心追随车载音区声场中心转换位置。
进一步的,所述根据所述座位对应多个人机终端中任一人机终端接收到唤醒指令,所述人机终端从待命状态跳转至激活状态包括:
所述车载语音助手对应多个虚拟形像,分别在多个人机终端同步输出;
对应车载音区声场中心,根据人机终端视频频输入端获取互动对象面部朝向,选择对应的虚拟形像作为车载语音助手的主视觉输出。
根据本发明的二个方面,提供一种车载语音助手互动装置,所述车载语音助手互动装置包括:
音区信息获取模块,用于获取车载音区信息,包括音区激活状态信息;
激活状态判断模块,用于判断车载音区激活状态,控制车载语音助手变换互动对象;
互动对象判断模块,用于若,车载语音助手的互动对象在第一车载音区,则判断第二车载音区是否从待命状态跳转至激活状态;
互动对象变换模块,用于若,第二车载音区从待命状态跳转至激活状态,则车载语音助手变换互动对象从第一车载音区转移至第二车载音区;
音区状态转换模块,用于根据车载语音助手变换互动对象从第一车载音区转移至第二车载音区,第一车载音区从激活状态跳转至待命状态。
根据本发明的三个方面,提供一种电子设备,包括:处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
所述存储器中存储有计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器执行所述车载语音助手互动方法的步骤。
根据本发明的四个方面,提供一种计算机可读存储介质,包括:其存储有可由电子设备执行的计算机程序,当计算机程序在电子设备上运行时,使得电子设备执行所述车载语音助手互动方法的步骤。
根据本发明的五个方面,提供一种车辆,包括:
电子设备,用于实现所述车载语音助手互动方法的步骤;
处理器,处理器运行程序,当程序运行时从电子设备输出的数据执行所述车载语音助手互动方法的步骤;
存储介质,用于存储程序,程序在运行时对于从电子设备输出的数据执行所述车载语音助手互动方法的步骤。
通过上述方案,获得如下有益的技术效果:
本申请通过划分音区,设置音区的激活状态,使车载语音助手在各个音区之间灵活变化互动对象。
本申请通过全车的声、光输出端,共同生成虚拟形象作为语音助手的输出端,将虚拟形象与音区激活状态变化对应,外显虚拟形象与当前互动对象的互动状态。
本申请通过互动对象的声音和形象,控制车载语音助手的虚拟形象(人机端输出)服务指向当前的互动对象。
附图说明
图1是本发明一个或多个实施例提供的一种车载语音助手互动方法的流程图。
图2是本发明一个或多个实施例提供的一种车载语音助手互动装置的结构图。
图3是本发明一个具体实施例的车载语音助手虚拟形象控制流程示意图。
图4是本发明一个具体实施例的车载语音助手虚拟形象切换流程示意图。
图5是本发明一个或多个实施例提供的车载语音助手互动方法的一种电子设备结构框图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本发明一个或多个实施例提供的一种车载语音助手互动方法的流程图。
如图1所示,车载语音助手互动方法包括:
步骤S1,获取车载音区信息;
步骤S2,车载音区信息包括音区激活状态信息;
步骤S3,判断车载音区激活状态,控制车载语音助手变换互动对象;
步骤S4,若,车载语音助手的互动对象在第一车载音区,则判断第二车载音区是否从待命状态跳转至激活状态;
步骤S5,若,第二车载音区从待命状态跳转至激活状态,则车载语音助手变换互动对象从第一车载音区转移至第二车载音区;
步骤S6,根据车载语音助手变换互动对象从第一车载音区转移至第二车载音区,第一车载音区从激活状态跳转至待命状态。
通过上述方案,获得如下有益的技术效果:
本申请通过划分音区,设置音区的激活状态,使车载语音助手在各个音区之间灵活变化互动对象。
本申请通过全车的声、光输出端,共同生成虚拟形象作为语音助手的输出端,将虚拟形象与音区激活状态变化对应,外显虚拟形象与当前互动对象的互动状态。
本申请通过互动对象的声音和形象,控制车载语音助手的虚拟形象(人机端输出)服务指向当前的互动对象。
具体而言,在现有技术方案中,会利用屏幕显示生成一个虚拟形象(一般以可视的形象为主),给互动对象(乘客)一个车载语音助手人格印象。针对乘客声音,在车机音频输入端(如麦克风)收录声音,车机进行离线语音识别或云端语音识别,根据语音识别的结果,车机控制下的扬声器系统(可以选择其中一个扬声器)与发出语音的乘客形成互动关系。如,司机向车载语音助手说出“打开空调”的语句,车机根据打开空调的语音语句,分析出控制空调的指令信息。伴随着语音助手“听懂”司机的命令,和按照司机的命令执行打开空调的指令,去打开空调,虚拟形象显示出对应动态的图形等,从而给司机以车载语音助手“懂我”的人格印象感受。
但实际的应用场景下,车内空间并非只有一个司机。虽然可以在每个座椅的前方都设置一个与司机位相同的人机终端(如显示屏、触屏、平板电脑、移动终端等)用于生成虚拟形象,形成与乘客的互动。一方面介于车内空间狭小,乘客的“说话声音”,可能会互相干扰,另一方面,乘客下达的语音指令可能矛盾、重复等。车载语音助手分别在各个乘客的显示屏上的“虚拟形象互动”,会自相矛盾,或反应迟钝,显得呆板。
如,一个座位上的乘客下达了关窗指令,而另一座位上乘客下达了开窗指令,而语音助手执行指令控制对象虽然都是车窗,但指令状态矛盾。虚拟形象属于语音助手的人机端输出,主要是以人能接受的习惯表达互动。而面对上述情况,无法在虚拟形象上给出清晰准确的车载语音助手的“人机端输出”表达。
因此,可以根据不同座位对应不同乘客,通过对应座位产生的指令音源,按照位置的不同划分不同的车载音区。将车载音区的状态设置成激活状态和待命状态,对应车载音区的状态不同,显示不同的虚拟形象状态、动态等。
车载音区的形成有赖于车载设备的分布。如麦克风、扬声器、显示屏、摄像头等设备输入、输出端在车内的位置,从而定位乘坐的座位,形成音区。
通过音区的划分和音区状态的划分,使语音助手当前的互动对象具有唯一性,对指令的执行也具有唯一性,避免了指令执行的矛盾。对应的虚拟形象也可以按照当前语音助手的互动对象来输出不同样式的虚拟形象。
可以按照每个乘客所在的座位,划分一个音区(乘客通常不能随意的变化位置),根据将多个音区中的一个作为当前激活状态的音区,使车载语音助手只服务一个乘客(互动对象)。对应的,车载语音助手在人机端输出(如,虚拟形象)也外显为针对一个乘客。
比如,当前车载语音助手服务副驾驶的乘客,按照副驾驶乘客的指令将空调打开。副驾驶对应的音区就处于激活状态,而其他音区则处于待命状态。比如,后排乘客认为空调虽然打开了,但温度不是喜欢的温度,可以向自己所在座位的语音助手(虚拟形象)说出空调的温度。此时如果车载语音助手以及完成了打开空调的任务,则可以将后排座位对应的音区激活,车载语音助手转换到对后排乘客的服务状态(虚拟形象互动状态)。而对应的副驾驶座位音区则从激活状态进入待命状态。
通过上述方法,可以将车载语音助手的互动对象拓展到全车的乘客,而执行语音指令则精准的对应到其中一个乘客(如,对应座位、音区),防止多个语音指令形成矛盾的命令指向,减少语音指令转换的错误风险,提高执行效率。
其中的语音助手通过虚拟形象与乘客进行互动,使乘客可以清晰的了解当前的语音助手互动对象是否是自己。
在本实施例中,判断车载音区激活状态包括:
根据车内座位匹配的人机终端接收到唤醒指令,判断车载音区激活状态;
若,人机终端接收到唤醒指令,则将人机终端对应的座位作为当前激活状态的车载音区。
具体而言,由于座位在车内空间的排列比较簇拥,通常会选择每个座位配置对应的人机终端。如,为每个座位设置一个或一组人机多媒体终端。如,安卓系统的平板电脑等,以一个虚拟人物形象作为车载语音助手的人格形象等在屏幕上显示。传统方式下,每个座位对应的车载语音助手的虚拟形象,虽然可以显像与乘客互动,但实际在后台处理指令时,有可能受到来自其他座位(音区)的指令干扰。
因此,可以把全部音区的虚拟形象统一管理。比如,当前车载语音助手服务对象是副驾驶位的乘客,则在处理虚拟形象显示上,在副驾驶位和后排乘客显像出不同的虚拟形象。比如,副驾驶位(音区)正在响应语音指令,则显示活跃的样式,给乘客以积极互动的心理印象。而后排乘客虽然也在发出语音指令,但由于没有处于“音区激活”,则可以显示“倾听”的虚拟形象,而其他没有发出任何语音指令的乘客面前的虚拟形象,则可以显示“旁观者”者的虚拟形象等。
唤醒指令可以是一句预设的唤醒语音,也可以是触摸屏上的一个预设的触摸操作,还可以是人机终端主动征询乘客意见的选项。如副驾驶命令打开空调,在打开空调后,可以按照副驾驶乘客的语音指令,在后排乘客的显示屏上,虚拟形象显示提醒与乘客互动形象,比如征询是否满意当前温度下降的幅度等。
对应音区不同,区分音区是否是激活状态。比如,虽然副驾驶乘客发出的语音指令正在被执行响应(对音区应激活状态),但后排乘客发出的语音指令并非语音助手都“无动于衷”,可以先处理语音指令的翻译、转换、存储,等副驾驶(对应的音区)与车载语音助手的一轮互动完毕,再将后排乘客所在的音区激活,对应的虚拟形象从“倾听”显示样式变化成响应指令的活跃样式等。
在本实施例中,车载语音助手变换互动对象从第一车载音区转移至第二车载音区包括:
根据预设动效,车载语音助手变换互动对象,从当前第一车载音区转移至第二车载音区;
其中,预设动效包括,车内灯光、音响、屏幕生成虚拟形象用于车载语音助手的人机端输出;
虚拟形象包括,对应车载语音助手变换互动对象,从当前第一车载音区转移至第二车载音区。
具体而言,现有的技术中,车载语音助手有在“屏幕”上显示虚拟形象,但没有关于语音助手虚拟形象“变换位置”的表达方式。相对于乘客而言,虚拟形象就是语音助手。可以利用车内的氛围灯,结合音响模拟物体变换位置的声效,与对应每个座位的“屏幕”,呈现“语音助手”离开和来到的乘客感官效果。可以使每个乘客相对于车载语音助手是否是当前的互动对象,从“人机端输出”的具体形式上获得清晰的信息(如虚拟形象在人机端输出的变换动效)。
动效的底层驱动程序可以选择“跑马灯”、“脉动灯”等表示虚拟形象的转移;开发人员可以根据具体的车型空间,结合灯光分布、扬声器步骤等来设计,利用嵌入式领域内技术人员的技能开发,如,按照人眼对闪动光源的暂留现象设计等。通过动效,将多个虚拟形象统一成具有互动关联的虚拟形象或虚拟形象分身。
通过对动效的设计,可以将车载语音助手在乘客心理认识上构成一个独立人格身份的交互终端形象,在不同的“音区”间转移的印象。
在本实施例中,将人机终端对应的座位作为当前激活状态的车载音区包括:
座位对应一个或多个人机终端;
车内座位具有一个或多个;
根据座位对应多个人机终端中任一人机终端接收到唤醒指令,人机终端从待命状态跳转至激活状态;
人机终端从待命状态跳转至激活状态包括,人机终端的音频输出端、音频输入端、视觉输入端用于车载语音助手与互动对象识别和互动。
具体而言,比如,前排司机具有多个人机终端(如娱乐主机、仪表显示等),服务于于司机,而后排VIP乘客同样具有多个人机终端,服务于乘客。可以按照服务的“座位”对应互动对象,选择音区的激活状态等。
语音助手可以根据不同的服务场景和对象,可以在不同的屏幕上跳转显示系统或工作模式。可以将其中任何一个人机终端(娱乐主机、仪表显示等)获得的触摸信号,或对应座位的任何一个录音信号(麦克风输入)作为激活对应该音区的输入信号,用于激活该音区。
可以预设激活的触摸位置或触摸路线,可以预设语音激活的音频语句等,按照预设的触发信号,将其中来自一个终端激活的指令,使整个对应该作为的设备都进入激活状态,所生成虚拟形象,共同与该激活的音区互动对象互动。
在本实施例中,车载语音助手变换互动对象包括:
根据人机终端音频输入端接收互动对象的音源,生成车载音区声场中心;
根据人机终端音频输出端输出虚拟形象声音,生成语音助手声场中心;
根据对应车载语音助手变换互动对象,语音助手声场中心追随车载音区声场中心转换位置。
具体而言,车载语音助手的虚拟形象除了视觉输出形式,还包括声音输出形式。可以根据人机终端收到的互动对象声源位置,变换语音助手(虚拟形象)的输出端位置或变换输出端互动对象。
在本实施例中,根据座位对应多个人机终端中任一人机终端接收到唤醒指令,人机终端从待命状态跳转至激活状态包括:
车载语音助手对应多个虚拟形像,分别在多个人机终端同步输出;
对应车载音区声场中心,根据人机终端视频频输入端获取互动对象面部朝向,选择对应的虚拟形像作为车载语音助手的主视觉输出。
具体而言,对应一个座位,可以设置多个人机终端,配合显示同一个虚拟形象(将正不同屏幕上显示的虚拟形象当成一个虚拟形象)。多个人机终端可能对应着不同的任务或功能。如仪表显示屏显示对应车辆速度、油量等信息,而娱乐显示屏显示导航、歌曲等信息。比如,当前激活的“语音助手”是服务于当前司机,针对司机发出“打开导航,到目的地的路线”的指令,娱乐主机的显示屏显示的是行驶路线和行驶时间,而仪表显示屏可以对应显示油量储备、预计的油量消耗等信息。对应在不同的显示终端上呈现虚拟形象。如在娱乐主机的显示屏上显示的虚拟形象是指示路线的状态,而在仪表显示屏上显示的虚拟形象是提醒油量不足的虚拟形象。虽然两个虚拟形象出现在不同的终端上,但都是将“司机”作为服务对象(互动对象),即司机所在音区为当前激活状态的音区。由此构成一种沉浸式的语音助手互动工作模式下,而针对同一“音区”的语音指令,多个语音助手虚拟形象都处于激活状态,并不会产生各个音区之间指令矛盾的问题,可以将其看做同一个(或同一组)虚拟形象。
图2是本发明一个或多个实施例提供的一种车载语音助手互动装置的结构图。
如图2所示,车载语音助手互动装置包括:音区信息获取模块、激活状态判断模块、互动对象判断模块、互动对象变换模块、音区状态转换模块;
音区信息获取模块,用于获取车载音区信息,包括音区激活状态信息;
激活状态判断模块,用于判断车载音区激活状态,控制车载语音助手变换互动对象;
互动对象判断模块,用于若,车载语音助手的互动对象在第一车载音区,则判断第二车载音区是否从待命状态跳转至激活状态;
互动对象变换模块,用于若,第二车载音区从待命状态跳转至激活状态,则车载语音助手变换互动对象从第一车载音区转移至第二车载音区;
音区状态转换模块,用于根据车载语音助手变换互动对象从第一车载音区转移至第二车载音区,第一车载音区从激活状态跳转至待命状态。
值得注意的是,虽然本系统只披露了音区信息获取模块、激活状态判断模块、互动对象判断模块、互动对象变换模块、音区状态转换模块,但并不意味着本装置仅仅局限于上述基本功能模块,相对,本发明所要表达的意思是,在上述基本功能模块的基础之上,本领域技术人员可以结合现有技术任意添加一个或多个功能模块,形成无穷多个实施例或技术方案,也就是说本系统是开放式的而非封闭式的,不能因为本实施例仅披露了个别基本功能模块,就认为本发明权利要求的保护范围局限于上述公开的基本功能模块。
图3是本发明一个具体实施例的车载语音助手虚拟形象控制流程示意图。
图4是本发明一个具体实施例的车载语音助手虚拟形象切换流程示意图。
如图3所示,唤醒与识别模块,可以通过车内麦克风阵列进行声源识别,用于相应语音唤醒,并判断唤醒座位。此外,还可以应用OMS(车内乘客视觉监测系统)、各座椅占位传感器等系统辅助综合判定发出语音唤醒指令用户所处的座位。音响播放模块,可以通过多扬声器系统,实现座舱声场模式的中心设置坐标的变换(当前主流车型均可在车辆设置实现)。屏幕展示模块,可以包括仪表屏、中控屏、HUD、副驾屏、门板屏、二排扶手屏、二排娱乐屏、二排座椅背屏等,当前主流汽车座舱屏幕形式。灯光模块,可以包括汽车座舱内的仪表台、门板等位置的氛围灯带等。座舱域控制器,可以负责信号处理,运算和程序存储。在本实施例中,若响应于唤醒语音,可以通过唤醒与识别模块,确定发出唤醒语音的用户所在的座位,指定该座位为目标座位,该座位的屏幕和音区为目标屏幕和目标音区,用户上次语音唤醒的座位为原座位,该座位的屏幕和音区为原屏幕和原音区(可以在本次车辆启动暂未唤醒时,默认中控屏幕为原屏幕,主驾座位为原音区)。
当目标位置与原座位不同时,座舱域控制器进行分析运算,并发送信号给屏幕展示模块、灯光模块、音响播放模块,各模块同一时间执行以下操作;屏幕展示模块,原屏幕的语音助手形象从靠近目标屏幕侧切出,固定时间后,目标屏幕的语音助手形象从靠近原屏幕侧切入,语音助手形象进行应答。音响播放模块,在上述语音助手形象从原屏幕侧切出到在目标屏幕上切入的这段固定时间内,语音助手的穿梭音效播放,车内声场的中心坐标由原音区移动至目标音区,以达到虚拟语音助手音效在座舱内从原座位移动至目标座位穿梭的效果。灯光模块,在上述语音助手形象从原屏幕侧切出到在目标屏幕上切入的这段固定时间内,通过氛围灯控制器驱动在原座位与目标座位之间的氛围灯密布灯带,以展示展从原座位流向目标座位的流水效果。
为了能够更清楚地理解本发明的上述功能、特征和优点,下面将对本实施例进行进一步描述,本实施例以主驾座位为原座位、右后座位为目标座位进行实施例介绍。
当语音助手的上次唤醒位置为主驾座位时,语音助手虚拟形象停留在主驾仪表屏幕上,此时右后座的乘客通过唤醒词呼叫语音助手,唤醒与识别模块通过车内麦克风阵列、OMS(车内乘客视觉监测系统)、各座椅占位传感器等系统和手段综合进行声源识别,判断唤醒座位,并将信号回传给座舱域控制器,座舱域控制器通过运算存储的软件,将控制信号分别传递至屏幕展示模块、音响播放模块、灯光模块。其中,屏幕展示模块中的原屏幕(即驾驶员仪表屏)中的语音助手从从靠近目标屏幕侧(即右后侧)切出,此时,音响播放模块响应:扬声器播放语音助手的穿梭音效,并通过各扬声器间响度的配合调整,实现车内声场的中心坐标由原音区(主驾座位音区)缓慢移动至目标音区(右后座位音区),以达到虚拟语音助手音效在座舱内从原座位移动至目标座位穿梭的效果。与此同时,灯光模块响应,灯光驱动器通过电流变化驱动原座位(主驾座位)与目标座位(右后座位)之间的氛围灯密布灯带流动点亮,以展示展从原座位(主驾座位)流向目标座位(右后座位)的流水效果。音响播放模块和灯光模块在同一固定时间完成以上响应。随后,目标屏幕(即右后座位正对的座椅后背屏幕)的语音助手形象从靠近原屏幕侧(即左前侧)切入,语音助手形象进行应答,语音助手唤醒游动交互方式结束,语音对话后,语音助手形象保留在右后乘客座位对应的屏幕中,此时指定右后乘客座位为“原座位”。
如图4所示,B座位呼唤语音,A座位屏幕中语音助手动效切出,通过在A与B座位之间的氛围灯带,展示流水效果,从A座位流向B座位,语音助手的穿梭音效播放,车内声场中心坐标由A座位移动至B座位,B座位屏幕中语音助手从氛围灯侧切入,虚拟语音形象应答。
图5是本发明一个或多个实施例提供的车载语音助手互动方法的一种电子设备结构框图。
如图5所示,本申请提供一种电子设备,包括:处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器中存储有计算机程序,当计算机程序被处理器执行时,使得处理器执行一种车载语音助手互动方法的步骤。
本申请还提供一种计算机可读存储介质,其存储有可由电子设备执行的计算机程序,当计算机程序在电子设备上运行时,使得电子设备执行一种车载语音助手互动方法的步骤。
本申请还提供一种车辆,包括:
电子设备,用于实现车载语音助手互动方法的步骤;
处理器,处理器运行程序,当程序运行时从电子设备输出的数据执行车载语音助手互动方法的步骤;
存储介质,用于存储程序,程序在运行时对于从电子设备输出的数据执行车载语音助手互动方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
电子设备包括硬件层,运行在硬件层之上的操作系统层,以及运行在操作系统上的应用层。该硬件层包括中央处理器(CPU,Central Processing Unit)、内存管理单元(MMU,Memory Management Unit)和内存等硬件。该操作系统可以是任意一种或多种通过进程(Process)实现电子设备控制的计算机操作系统,例如,Linux操作系统、Unix操作系统、Android操作系统、iOS操作系统或windows操作系统等。并且在本发明实施例中该电子设备可以是智能手机、平板电脑等手持设备,也可以是桌面计算机、便携式计算机等电子设备,本发明实施例中并未特别限定。
本发明实施例中的电子设备控制的执行主体可以是电子设备,或者是电子设备中能够调用程序并执行程序的功能模块。电子设备可以获取到存储介质对应的固件,存储介质对应的固件由供应商提供,不同存储介质对应的固件可以相同可以不同,在此不做限定。电子设备获取到存储介质对应的固件后,可以将该存储介质对应的固件写入存储介质中,具体地是往该存储介质中烧入该存储介质对应固件。将固件烧入存储介质的过程可以采用现有技术实现,在本发明实施例中不做赘述。
电子设备还可以获取到存储介质对应的重置命令,存储介质对应的重置命令由供应商提供,不同存储介质对应的重置命令可以相同可以不同,在此不做限定。
此时电子设备的存储介质为写入了对应的固件的存储介质,电子设备可以在写入了对应的固件的存储介质中响应该存储介质对应的重置命令,从而电子设备根据存储介质对应的重置命令,对该写入对应的固件的存储介质进行重置。根据重置命令对存储介质进行重置的过程可以现有技术实现,在本发明实施例中不做赘述。
为了描述的方便,描述以上装置时以功能分为各种单元、模块分别描述。当然在实施本申请时可以把各单元、模块的功能在同一个或多个软件和/或硬件中实现。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非被特定定义,否则不会用理想化或过于正式的含义来解释。
对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器或者网络设备等)执行本申请各个实施方式或者实施方式的某些部分所述的方法。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种车载语音助手互动方法,其特征在于,所述车载语音助手互动方法包括:
获取车载音区信息;
所述车载音区信息包括音区激活状态信息;
判断车载音区激活状态,控制车载语音助手变换互动对象;
若,车载语音助手的互动对象在第一车载音区,则判断第二车载音区是否从待命状态跳转至激活状态;
若,第二车载音区从待命状态跳转至激活状态,则车载语音助手变换互动对象从第一车载音区转移至第二车载音区;
根据车载语音助手变换互动对象从第一车载音区转移至第二车载音区,第一车载音区从激活状态跳转至待命状态。
2.根据权利要求1所述的车载语音助手互动方法,其特征在于,所述判断车载音区激活状态包括:
根据车内座位匹配的人机终端接收到唤醒指令,判断车载音区激活状态;
若,人机终端接收到唤醒指令,则将人机终端对应的座位作为当前激活状态的车载音区。
3.根据权利要求2所述的车载语音助手互动方法,其特征在于,所述车载语音助手变换互动对象从第一车载音区转移至第二车载音区包括:
根据预设动效,车载语音助手变换互动对象,从当前第一车载音区转移至第二车载音区;
其中,预设动效包括,车内灯光、音响、屏幕生成虚拟形象用于车载语音助手的人机端输出;
所述虚拟形象包括,对应车载语音助手变换互动对象,从当前第一车载音区转移至第二车载音区。
4.根据权利要求3所述的车载语音助手互动方法,其特征在于,所述将人机终端对应的座位作为当前激活状态的车载音区包括:
所述座位对应一个或多个人机终端;
车内所述座位具有一个或多个;
根据所述座位对应多个人机终端中任一人机终端接收到唤醒指令,所述人机终端从待命状态跳转至激活状态;
所述人机终端从待命状态跳转至激活状态包括,人机终端的音频输出端、音频输入端、视觉输入端用于车载语音助手与互动对象识别和互动。
5.根据权利要求4所述的车载语音助手互动方法,其特征在于,所述车载语音助手变换互动对象包括:
根据人机终端音频输入端接收互动对象的音源,生成车载音区声场中心;
根据人机终端音频输出端输出虚拟形象声音,生成语音助手声场中心;
根据对应车载语音助手变换互动对象,所述语音助手声场中心追随车载音区声场中心转换位置。
6.根据权利要求5所述的车载语音助手互动方法,其特征在于,所述根据所述座位对应多个人机终端中任一人机终端接收到唤醒指令,所述人机终端从待命状态跳转至激活状态包括:
所述车载语音助手对应多个虚拟形像,分别在多个人机终端同步输出;
对应车载音区声场中心,根据人机终端视频频输入端获取互动对象面部朝向,选择对应的虚拟形像作为车载语音助手的主视觉输出。
7.一种车载语音助手互动装置,其特征在于,所述车载语音助手互动装置包括:
音区信息获取模块,用于获取车载音区信息,包括音区激活状态信息;
激活状态判断模块,用于判断车载音区激活状态,控制车载语音助手变换互动对象;
互动对象判断模块,用于若,车载语音助手的互动对象在第一车载音区,则判断第二车载音区是否从待命状态跳转至激活状态;
互动对象变换模块,用于若,第二车载音区从待命状态跳转至激活状态,则车载语音助手变换互动对象从第一车载音区转移至第二车载音区;
音区状态转换模块,用于根据车载语音助手变换互动对象从第一车载音区转移至第二车载音区,第一车载音区从激活状态跳转至待命状态。
8.一种电子设备,其特征在于,包括:处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
所述存储器中存储有计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1至6中任一项所述车载语音助手互动方法的步骤。
9.一种计算机可读存储介质,其特征在于,包括:其存储有可由电子设备执行的计算机程序,当计算机程序在电子设备上运行时,使得电子设备执行权利要求1至6中任一项所述车载语音助手互动方法的步骤。
10.一种车辆,其特征在于,包括:
电子设备,用于实现权利要求1至6中任一项所述车载语音助手互动方法的步骤;
处理器,处理器运行程序,当程序运行时从电子设备输出的数据执行权利要求1至6中任一项所述车载语音助手互动方法的步骤;
存储介质,用于存储程序,程序在运行时对于从电子设备输出的数据执行权利要求1至6中任一项所述车载语音助手互动方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310663659.4A CN116844540A (zh) | 2023-06-06 | 2023-06-06 | 车载语音助手互动方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310663659.4A CN116844540A (zh) | 2023-06-06 | 2023-06-06 | 车载语音助手互动方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116844540A true CN116844540A (zh) | 2023-10-03 |
Family
ID=88171537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310663659.4A Pending CN116844540A (zh) | 2023-06-06 | 2023-06-06 | 车载语音助手互动方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116844540A (zh) |
-
2023
- 2023-06-06 CN CN202310663659.4A patent/CN116844540A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3496098B1 (en) | Generating personalized audio content based on mood | |
CN111163968B (zh) | 交通工具中的显示系统 | |
CN111124123A (zh) | 基于虚拟机器人形象的语音交互方法及装置、车载设备智能控制系统 | |
US20120268294A1 (en) | Human machine interface unit for a communication device in a vehicle and i/o method using said human machine interface unit | |
US20160288708A1 (en) | Intelligent caring user interface | |
CN112309380B (zh) | 一种语音控制方法、系统、设备及汽车 | |
US11798552B2 (en) | Agent device, agent control method, and program | |
TWI738132B (zh) | 基於動作分析的人機交互方法、車載裝置 | |
CN112959998B (zh) | 一种车载人机交互方法、装置、车辆及电子设备 | |
CN113460070A (zh) | 车辆控制方法和装置 | |
CN114286479A (zh) | 基于场景的车内灯光控制方法、系统及可读存储介质 | |
CN111891037A (zh) | 一种座舱灯光控制方法、装置、设备及存储介质 | |
EP3923271B1 (en) | Voice control method, vehicle, server and storage medium | |
CN114879923A (zh) | 一种多屏幕控制方法、装置、电子设备和存储介质 | |
CN113851126A (zh) | 车内语音交互方法及系统 | |
CN114371999A (zh) | 车辆功能测试方法、装置、系统、计算机设备和存储介质 | |
CN117400826A (zh) | 车辆照明的控制方法、装置、设备及存储介质 | |
CN116844540A (zh) | 车载语音助手互动方法、装置、电子设备及存储介质 | |
CN113709954B (zh) | 一种氛围灯的控制方法、装置、电子设备及存储介质 | |
CN214928991U (zh) | 仪表仲裁报警提示系统及车辆 | |
CN115440207A (zh) | 多屏语音交互方法、装置、设备及计算机可读存储介质 | |
CN114067032A (zh) | 一种车内全息卡通影像仿真交互方法 | |
CN110015309B (zh) | 车辆驾驶辅助系统和方法 | |
WO2023153314A1 (ja) | 車内機器制御装置、車内機器制御方法 | |
Sodnik et al. | Spatial auditory interface for an embedded communication device in a car |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |