CN115019810A - 一种车载多音区智能语音安全交互系统及运行方法 - Google Patents

Abstract

本发明公开了一种车载多音区智能语音安全交互系统及运行方法，包括设置在车体内的多模态传感单元、车端仲裁决策单元、以及位于云端的语音交互识别单元；本方案中，构建了一套完整、齐全的车载多音区智能语音安全交互系统的运行方法，通过对不同位置的操作权限根据安全等级进行划分，有效保障了车辆在整个使用过程中，需要进行智能语音交互命令时的安全性和精确性；该方法结合了多模态的信息获取方案，设计了多层级的命令确认路线，保障了有多条路径可以实现语音命令的具体执行，有效简化了用户操作步骤，规避了车外恶意操控，提供了便捷、安全的语音交互体验。

Description

一种车载多音区智能语音安全交互系统及运行方法

技术领域

本发明涉及智能驾乘语音交互领域，具体涉及一种车载多音区智能语音安全交互系统及运行方法。

背景技术

在驾驶汽车的过程中，驾驶员的双手和眼睛需要保持高度的集中，以确保行车安全，而此时若想进行听音乐、或调整导航路线等操作，由于视觉、手动交互通道处于高度集中状态，因此其实很难去方便快捷地处理这些事情，由此产生了通过语音交互的方式来完成这些操作，目前已广泛应用于智能驾乘中，应用率非常高。

在通电状态下，车内外的主副驾驶位、左右后座均可以唤醒语音交互功能，并执行一些基础功能，比如打开车窗等，这对于驾乘人员在将物品遗落在车内的情况下，能够有效解决燃眉之急，但同时也给驾乘人员带来的一定风险，若车辆在临时停车未关闭车机的状态下，被人恶意语音控制打开车窗，可能会造成不必要的财产人身损害。

此外，现有技术中还存在一些问题，首先是过于依赖麦克风的拾音，且无法精确定位到车内、车外两个音区的区别。现有的声纹识别准确率较为低下，无法准确的基于声纹识别是否为车主或其他人员发出的声音。该方式通常不分音区，语音唤醒后向车内全向拾音，不同位置的司乘人员都可以下发语音指令，这种方式较为粗糙，安全性很差，任意位置上的人都可以对车上设备进行控制。

相对应的，也有采用麦克风阵列技术，对车内划分多个音区，语音唤醒后进行定向拾音，只有唤醒位置的司乘人员可以下发语音指令。然而，该方式其实无法很好地区分是车内车外的声音来源，一定程度仍旧没有消除安全风险。

也有采用其他交互方式比如高清摄像头进行人员判定的方法，但该做法一定程度上存在侵犯用户隐私的问题，同时也受限于监管政策，无法落地成为实际产品。

公开号为CN111883118A的实审发明专利《一种基于个性化语音的车辆控制方法、装置及存储介质》、和公开号为CN111506229B的发明专利《一种交互方法、装置和车辆》中，一个是采用了用户自定义语音指令的方式进行车辆控制，一个是在基于控制项当前状态的基础上对控制项进行设置，进而提高操作效率和用户体验。这两个方法在本质上没有对语音交互所存在的问题进行改进。

发明内容

发明目的：本发明的目的是提供一种安全性高、操作便捷、用户体验度好的车载多音区智能语音安全交互系统。

技术方案：本发明所述的车载多音区智能语音安全交互系统，包括设置在车体内的多模态传感单元、车端仲裁决策单元、以及位于云端的语音交互识别单元；

多模态传感单元实时捕获音源命令并实时感测座椅承压信号，同时将捕获的音源命令以及座椅承压信号发送至语音交互识别单元；

语音交互识别单元根据音源命令以及座椅承压信号判断当前发出音源命令的座椅位置上的司乘人员是否具备相应的功能操作权限，并将判断得到的结果信息发送到车端仲裁决策单元；

车端仲裁决策单元根据接收得到的结果信息判断是否与司乘人员进行交互，若交互结果为确认并执行操作，则车端仲裁决策单元将执行命令发送到车机Tbox模块。

在上述技术方案中采用了多模态的方式来判断确认司乘人员的位置，首先通过捕获音源命令来确认音区，随后通过感测座椅承压信号来确定对应音区是否有司乘人员乘坐；同时通过语音交互识别单元来判断发出该音源命令的司乘人员是否具备相应的功能操作权限，并将判断结果发送到车端的仲裁决策单元，车端仲裁决策单元则根据结果在车端选择是否与司乘人员进行进一步地交互，该交互包括有操作权限的驾乘人员对语音操作信息进行确认或取消，由此既确保了语音操作信息的准确性，不会受到车辆外部人员的干扰，同时也可通过语音交互识别单元对语音操作命令进行分级，将有可能影响到车辆安全的操作权把握在主驾人员手中，由此保障了语音操作信息的安全性，优化了用户体验，提高了交互效率。

优选的，多模态传感单元包括安装在车体内部的多个麦克风阵列，多个麦克风阵列将车内划分为多个音区，并在收音时进行定向拾音，由此通过麦克风阵列的噪声抑制、单声源、多声源定位等功能，能够实现车体内部音区的划分以及精确拾音，有效提高了用户体验，可避免普通的收音麦克风设计定位不精确等问题。

优选的，麦克风阵列捕捉识别司乘人员的预设唤醒语音，并在识别到唤醒语音后，多模态传感单元运行音源命令捕获和座椅承压信号感测工作，由此采用了语音唤醒的方式来方便驾乘人员通过语音交互将多模态传感单元唤醒，进而执行进一步地的语音指令操作。

优选的，多模态传感单元包括安装在座椅内部的压力传感器，压力传感器感应座椅上是否乘坐有司乘人员，由此通过压力传感器来确保麦克风阵列拾得的音区范围内的座椅上有司乘人员乘坐，相较于只通过音区拾音的设计，这样可以作为二级的保障来确保音源来自区域，从而防止车辆外部的人或者有人本身座在其他区域，而故意靠近主驾区域请求语音操作，进一步提高了整体系统的安全性和稳定性。

优选的，在语音交互识别单元中，预设位于主驾的音源命令拥有高级功能操作权限，预设位于副驾的音源命令拥有中级功能操作权限，预设位于后排的音源命令拥有低级功能操作权限。高级功能操作权限可执行所有操作，中级功能操作权限可执行与驾驶安全无关的操作，低级功能操作权限同样可执行与驾驶安全无关的操作，并在执行时需要请求拥有高级功能操作权限的主驾或拥有中级功能操作权限的副驾的同意；由此根据通常意义理解上的车内安全及危险程度对各个音区、或者说座位的功能权限进行了划分，通常情况下，主驾作为驾驶车辆的人员，对车辆自身以及路况现状的了解最深，安全情况应当由主驾人员掌控；副驾作为距离主驾最近、协助操作最方便的位置，同样需要一定程度等级的安全状况掌控能力；后排通常坐的是乘客、老人、孕妇、小孩等人员，不方便执行影响到车辆安全的操作。同时，后排的低级权限与副驾的中级权限也可以根据需求进行调换，在低级权限进行语音操作命令申请时，可以仅经过中级权限的人员确认，由此避免影响主驾人员的正常驾车工作。

优选的，车端仲裁决策单元接收得到的结果信息包括音源命令内容以及拥有执行该内容权限的司乘人员信息，车端仲裁决策单元与该司乘人员进行交互，若无相应的司乘人员，则发出音源命令的司乘人员可通过输入安防密码的方式与车端仲裁决策单元进行交互。这样可以使得，当副驾的中级权限以及后排的低级权限需要进行涉及安全相关的操作时，主驾人员不在的情况下，也可以采用输入安防密码的方式达到执行操作的目的，由此保障了不同情况下的操作执行需求，扩大了系统的适用性。

优选的，车端仲裁决策单元可通过屏幕动效的方式与司乘人员进行交互，由此设计了一种较为简单、直观、且方便的同意命令执行操作方法，主驾人员或副驾人员可直接对中控屏进行操作。

一种根据上述的车载多音区智能语音安全交互系统的运行方法，包括以下步骤：

(1)多模态传感单元实时捕获音源命令并实时感测座椅承压信号；

(2)多模态传感单元将音源命令以及承压座椅信号发送至语音交互识别单元；

(3)语音识别单元根据承压座椅信号判断发出音源命令的音区座椅上是否确实乘坐有司乘人员，若是，则根据音源命令的内容判断该司乘人员是否具备执行相应功能操作的权限，并将判断结果发送到车端仲裁决策单元；若无，则重新回到步骤(1)；

(4)若判断为发出音源命令的司乘人员具备执行相应功能操作的权限，则车端仲裁决策单元不与该司乘人员进行交互并将执行命令发送到车机Tbox模块；

若判断为发出音源命令的司乘人员不具备执行相应功能操作的权限，则车端仲裁决策单元与具有执行音源命令内容权限的司乘人员进行交互；

(5)若车端仲裁决策单元与司乘人员进行交互的结果为确认并执行操作，则车端仲裁决策单元将执行命令发送到车机Tbox模块；若交互的结果为否认并停止操作，则车端冲裁决策单元将命令取消，并回到步骤(1)。

在上述技术方案中，构建了一套完整、齐全的车载多音区智能语音安全交互系统的运行方法，通过对不同位置的操作权限根据安全等级进行划分，有效保障了车辆在行驶过程中，需要进行智能语音交互命令时的安全性和精确性；该方法结合了多模态的信息获取方案，设计了多层级的命令确认路线，保障了有多条路径可以实现语音命令的具体执行，有效简化了用户操作步骤，规避了车外恶意操控，提供了便捷、安全的语音交互体验。

有益效果：本发明与现有技术相比，所具备的显著的优点有：

1、结合多模态方案来判断驾乘人员的位置，从而防止音源是来自车辆外部，或有人移动到其他座椅出下达语音指令，进一步提高了整体系统的安全性和稳定性；

2、合理有效地对车内不同区域、座位的操作权限进行了划分，同样也是可以避免一些影响到车辆正常驾驶安全的问题发生，提高了安全性；

3、设计了车端仲裁决策单元来确保语音操作信息的准确性，将有可能影响到车辆安全的操作权把握在主驾人员手中，由此更保障了语音操作信息的安全性，优化了用户体验，提高了交互效率。

附图说明

图1为本发明中交互系统结构示意图；

图2为本发明中交互系统运行方法的步骤流程图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

如图1所示，所述的车载多音区智能语音安全交互系统，包括设置在车体内的多模态传感单元、车端仲裁决策单元、以及位于云端的语音交互识别单元。

其中，该多模态传感单元包括安装在车体内部的多个麦克风阵列，以及安装在座椅内部的压力传感器。该麦克风阵列能够利用两个麦克风接收到声波的相位之间的差异对声波进行过滤，从而最大限度地将环境背景声音清除掉，只留下需要的声波，进而起到抑制噪声、抑制回升、单或多声源定位等效果，进而对车体内部进行音区划分，并实现精确拾音，有效提高了用户体验，可避免普通的收音麦克风设计定位不精确等问题。

通过该麦克风阵列，司乘人员即可很方便地坐在相应的位置上，只需要以普通说法的方式就能够对多模态传感单元发出语音指令。

现有技术中，也不乏采用麦克风阵列进行音区划分、精确定位的方案，然而缺点是，倘若有人在车窗外部或特地从后排座椅跑到前排座椅下达语音指令的话，仅仅是麦克风阵列就很难判断语音指令的真实性，进而影响到安全性。

因此，本方案中，在麦克风阵列实现实时音源命令捕获的基础上，还采用了安装在座椅内部的压力传感器来实时感测座椅承压信号，与麦克风阵列相配合，确定发出音源命令的音区内确实有司乘人员乘坐。

由此，相较于现有技术中只通过音区拾音的设计，采用压力传感器感测座椅承压信号，可以作为二级的保障来确保音源来自区域，从而防止音源是来自车辆外部，或有人移动到其他座椅出下达语音指令，进一步提高了整体系统的安全性和稳定性。

此外，该多模态传感单元还具有语音唤醒的功能，麦克风阵列在车辆启动后就持续性地处于监听状态，当监听到车内传来预设的启动语音比如“语音指令”、“智能语音”等口令时，多模态传感单元将通过语音播报或者在中控界面上显示的方式进行反馈，告知司乘人员该单元已经开始工作，由此多模态传感单元开始控制麦克风阵列和压力传感器进行音源命令捕获以及座椅承压信号感测工作。一方面这样可以起到一个主动开关的效果，当车内有司乘人员需要进行语音指令操作时，也可以及时让其他司乘人员知晓；另一方面也能够为车辆省电，避免长时间的保持启动状态造成油耗增大。

由此，在麦克风阵列进行拾音定位、捕获音源命令，以及通过压力传感器证实该音源命令来自于当下有司乘人员乘坐的座椅时，多模态传感单元随即将捕获的音源命令信息发送到语音交互识别单元。

该语音交互识别单元根据收集得到的音源命令信息和座椅承压信号判断发出音源命令的座椅位置上的司乘人员是否具备相应的功能操作权限，并将判断得到的结果信息发送到车端仲裁决策单元。

此外，在语音交互识别单元中，事先预设了位于主驾的音源命令拥有高级功能操作权限，位于副驾的音源命令拥有中级功能操作权限，而位于后排的音源命令拥有低级功能操作权限。而高级功能权限可执行所有操作，中级功能操作权限可执行与驾驶安全无关的操作，低级功能操作权限同样可执行与驾驶安全无关的操作，并在执行时需要请求拥有高级功能操作权限的主驾或拥有中级功能操作权限的副驾的同意。由此，根据通常意义理解上的，车内安全及危险程度对各个音区、或者说座位的功能权限进行了划分。通常情况下，主驾座位车辆的司乘人员，对车辆自身的驾驶情况以及路况现状的了解最深，安全情况也应当由主驾人员来掌控；而副驾座位距离主驾最近、协助操作最为方便的位置，同样需要一定程度等级的安全状况掌控能力；后排通常坐的是乘客、老人、孕妇、小孩等，不方便执行一些影响到车辆安全的操作，故权限等级最低。

上述方案合理有效地对车内不同区域、座位的操作权限进行了划分，同样也是可以避免一些影响到车辆正常驾驶安全的问题发生，提高了安全性。

同时，在操作权限划分的基础上，对不同操作权限能够语音命令操作的内容也进行了更加细致的限定，进而有效地保障了任何涉及到影响安全驾驶的操作，都能够让主驾知晓。同时，一些不影响安全驾驶的操作，只需要副驾同意即可，这样也可以减轻主驾的压力，避免影响正常驾驶。

此外，后排的低级权限也可以与副驾的中级权限根据需求进行调换，这样能够提高整体系统的适用性，满足不同环境下的使用需求。

在车端仲裁决策单元，其根据接收得到的结果信息判断是否与司乘人员进行交互，该结果信息包括了音源命令内容以及与拥有执行该内容权限的司乘人员信息。随后，车端仲裁决策单元即向对应的司乘人员进行交互，若无相应的司乘人员，则发出音源命令的司乘人员可通过输入安防密码的方式与车端仲裁决策单元进行交互。此外，下发的信号还包括了引导拥有高级和中级权限的司乘人员进行交互的响应信号，这样可以方便主驾或副驾的司乘人员较为简洁、直观地了解到语音操作请求，并进行确认或取消判断。由此，在语音交互识别单元完成了对语音操作指令的初步判断后，无论是具体的执行，还是更近一步地交互，都需要下发到车体的车端仲裁决策单元中进行操作，该方式将操作权限更加稳固地掌控在主驾手中，保障了整体系统的安全性。

同时，当副驾的中级权限以及后排的低级权限需要进行涉及安全相关的操作时，主驾人员不在的情况下，也可以采用输入安防密码的方式达到执行操作的目的，由此保障了不同情况下的操作执行需求，扩大了系统的适用性。车端仲裁决策单元可通过屏幕动效的方式与司乘人员进行交互，由此设计了一种较为简单、直观、且方便的同意命令执行操作方法，主驾人员或副驾人员可直接对中控屏进行操作。

如图2所示，以下以实施例的方式来进一步地详细说明，本发明所述的车载多音区智能语音安全交互系统的运行方法。

该运行方法包括以下步骤：

(1)司乘人员唤醒多模态传感单元，唤醒后多模态传感单元向司乘人员告知已被唤醒，司乘人员以普通说话的方式发出语音操作指令，麦克风阵列捕获音源命令，压力传感器实时感测座椅承压信号；

(2)多模态传感单元将音源命令和承压座椅信号发送至语音交互识别单元；

(3)语音交互识别单元根据承压座椅信号判断发出音源命令的音区座椅上是否确实乘坐有司乘人员，若是，则根据音源命令的内容判断该司乘人员是否具备执行相应功能操作的权限，并将判断结果发送到车端仲裁决策单元；若无，则重新回到步骤(1)；

(4)若判断为发出音源命令的司乘人员具备执行相应功能操作的权限，则车端仲裁决策单元不与该司乘人员进行交互并将执行命令发送到车机Tbox模块；若判断为发出音源命令的司乘人员不具备执行相应功能操作的权限，则车端仲裁决策单元引导并与具有执行音源命令内容权限的司乘人员进行交互，此时，在位于副驾和主驾的司乘人员都具备执行该音源命令内容权限的前提下，车端仲裁决策单元按照先副驾、后主驾的顺序向司乘人员进行交互；若通过实时感测的座椅承压信号得到没有具备执行相应功能操作权限的司乘人员在场时，发出音源命令的司乘人员可通过输入安防密码的方式与车端仲裁决策单元进行交互；

(5)若车端仲裁决策单元与司乘人员进行交互的结果为确认并执行操作，则车端仲裁决策单元不与该司乘人员进行交互并将执行命令发送到车机Tbox模块；若交互的结果为否认并停止操作，则车端仲裁决策单元将命令取消，并回到步骤(1)。

在上述的步骤(4)中，车端仲裁决策单元根据是否超时未输入安防密码或输出次数超过限制来判断是否执行操作，若已超时或超过次数限制，则取消该音源命令，若未超时且没有超过次数限制并密码正确，则车端仲裁决策单元将执行命令发送到车机Tbox模块。

在本方案中，构建了一套完整、齐全的车载多音区智能语音安全交互系统的运行方法，通过对不同位置的操作权限根据安全等级进行划分，有效保障了车辆在整个使用过程中，需要进行智能语音交互命令时的安全性和精确性；该方法结合了多模态的信息获取方案，设计了多层级的命令确认路线，保障了有多条路径可以实现语音命令的具体执行，有效简化了用户操作步骤，规避了车外恶意操控，提供了便捷、安全的语音交互体验。

对于本领域普通技术人员来说，根据本发明的上述实施方式所作出的任何修改、变动，在不脱离本发明宗旨的情况下，均应包含于本发明的保护范围之内。

Claims (10)

1.一种车载多音区智能语音安全交互系统，其特征在于，包括设置在车体内的多模态传感单元、车端仲裁决策单元、以及位于云端的语音交互识别单元；

所述多模态传感单元实时捕获音源命令并实时感测座椅承压信号，同时将捕获的音源命令以及座椅承压信号发送至所述语音交互识别单元；

所述语音交互识别单元根据音源命令以及座椅承压信号判断当前发出音源命令的座椅位置上的司乘人员是否具备相应的功能操作权限，并将判断得到的结果信息发送到所述车端仲裁决策单元；

所述车端仲裁决策单元根据接收得到的结果信息判断是否与司乘人员进行交互，若交互结果为确认并执行操作，则所述车端仲裁决策单元将执行命令发送到车机Tbox模块。

2.根据权利要求1所述的车载多音区智能语音安全交互系统，其特征在于，所述多模态传感单元包括安装在车体内部的多个麦克风阵列，多个所述麦克风阵列将车内划分为多个音区，并在收音时进行定向拾音。

3.根据权利要求2所述的车载多音区智能语音安全交互系统，其特征在于，所述麦克风阵列捕捉识别司乘人员的预设唤醒语音，并在识别到唤醒语音后，所述多模态传感单元运行音源命令捕获和座椅承压信号感测工作。

4.根据权利要求1所述的车载多音区智能语音安全交互系统，其特征在于，所述多模态传感单元包括安装在座椅内部的压力传感器，所述压力传感器感应座椅上是否乘坐有司乘人员。

5.根据权利要求1所述的车载多音区智能语音安全交互系统，其特征在于，在所述语音交互识别单元中，预设位于主驾的音源命令拥有高级功能操作权限，预设位于副驾的音源命令拥有中级功能操作权限，预设位于后排的音源命令拥有低级功能操作权限；

所述的高级功能操作权限可执行所有操作，所述中级功能操作权限可执行与驾驶安全无关的操作，所述低级功能操作权限同样可执行与驾驶安全无关的操作，并在执行时需要请求拥有高级功能操作权限的主驾或拥有中级功能操作权限的副驾的同意。

6.根据权利要求1所述的车载多音区智能语音安全交互系统，其特征在于，所述车端仲裁决策单元接收得到的结果信息包括音源命令内容以及与拥有执行该内容权限的司乘人员信息，所述车端仲裁决策单元与该司乘人员进行交互，若无相应的司乘人员，则发出音源命令的司乘人员可通过输入安防密码的方式与所述车端仲裁决策单元进行交互。

7.根据权利要求6所述的车载多音区智能语音安全交互系统，其特征在于，所述车端仲裁决策单元可通过屏幕动效的方式与司乘人员进行交互。

8.一种根据上述权利要求1-7任意一项所述的车载多音区智能语音安全交互系统的运行方法，其特征在于，包括以下步骤：

(1)所述多模态传感单元实时捕获音源命令并实时感测座椅承压信号；

(2)所述多模态传感单元将音源命令以及承压座椅信号发送至语音交互识别单元；

(3)所述语音交互识别单元根据承压座椅信号判断发出音源命令的音区座椅上是否确实乘坐有司乘人员，若是，则根据音源命令的内容判断该司乘人员是否具备执行相应功能操作的权限，并将判断结果发送到所述车端仲裁决策单元；若无，则重新回到步骤(1)；

(4)若判断为发出音源命令的司乘人员具备执行相应功能操作的权限，则所述车端仲裁决策单元不与该司乘人员进行交互并将执行命令发送到车机Tbox模块；若判断为发出音源命令的司乘人员不具备执行相应功能操作的权限，则所述车端仲裁决策单元与具有执行音源命令内容权限的司乘人员进行交互；

(5)若所述车端仲裁决策单元与司乘人员进行交互的结果为确认并执行操作，则所述车端仲裁决策单元将执行命令发送到车机Tbox模块；若交互的结果为否认并停止操作，则所述车端冲裁决策单元将命令取消，并回到步骤(1)。

9.根据权利要求8所述的车载多音区智能语音安全交互系统的运行方法，其特征在于，在步骤(4)中，若判断为发出音源命令的司乘人员不具备执行相应功能操作的权限，在位于副驾和主驾的司乘人员均具备执行该音源命令内容权限的前提下，所述车端仲裁决策单元按照先副驾、后主驾的顺序向司乘人员进行交互。

10.根据权利要求8所述的车载多音区智能语音安全交互系统的运行方法，其特征在于，在步骤(4)中，若判断为发出音源命令的司乘人员不具备执行相应功能操作的权限，且通过实时感测的座椅承压信号得到没有其他具备执行相应功能操作权限的司乘人员在场时，发出音源命令的司乘人员可通过输入安防密码的方式与所述车端仲裁决策单元进行交互；

此时，所述车端仲裁决策单元根据是否超时未输入安防密码或输出次数超过限制来判断是否执行操作，若已超时或超过次数限制，则取消该音源命令，若未超时且没有超过次数限制并密码正确，则所述车端仲裁决策单元将执行命令发送到车机Tbox模块。

Images