CN110471410A - 基于ros的智能车语音辅助导航及安全提醒系统及方法 - Google Patents

Abstract

本发明公开了一种基于ROS的智能车语音辅助导航及安全提醒系统及方法，系统包括语音交互装置、自动导航装置、底盘控制装置、车载电脑；语音交互装置，设置在车内，用于采集车内人员语音信息；车载电脑通过导线与语音交互装置、自动导航装置、底盘控制装置，一一连接通信，用于控制语音交互装置、自动导航装置、底盘控制装置工作。本发明将唤醒功能集成到硬件中，保证用户在使用时能快速响应，发挥了硬件高效、稳定的特点。此外，可不需要依赖网络环境，保证了使用的稳定性，在达到相同的效果的同时减少了语音交互的流程，使得语音交互更加高效。直接通过语音交互实现自动导航，提高操作方便性和灵活性。

Description

基于ROS的智能车语音辅助导航及安全提醒系统及方法

技术领域

本发明属于人工智能和智能车技术领域，涉及一种智能车语音辅助导航及安全提醒系统及方法，具体涉及一种基于ROS开发的智能车语音辅助导航及安全提醒系统及方法。

背景技术

随着计算机技术的不断发展，人们迎来了智能时代。从手机、电脑、扫地机器人到目前正在快速发展的无人驾驶汽车，智能技术走入千家万户。通过智能语音交互系统来操纵这些智能技术，可以为生活的各个方面提供快捷方便的服务。

在ROS的世界中，最小的进程是节点。基于ROS开发的功能系统往往很复杂，为提高整个系统的鲁棒性、降低系统发生崩溃的可能性，不可能将所有功能集中于一个节点上，ROS采用分布式的方式，即每个节点负责某一个单独的功能。

节点管理器master在整个通信架构里相当于管理中心，管理着系统中各个节点。各节点首先在节点管理处进行注册，之后节点管理器会将各节点纳入整个ROS程序中，节点之间的通信是先由节点管理器进行“牵线”，然后才能进行点对点通信。

ROS程序启动的第一步就是启动节点管理器，再由节点管理器处理依次启动的节点。

ROS通信架构提供四种通信方式，分别为Topic、Service、Parameter server和Action。

Topic通信是一种单向通信方式，适用于实时性、周期性的消息；Service通信是双向的，只有接收请求才会执行服务，简单且高效；Parameter server是节点存储参数的地方、用于配置参数、全局共享参数。更加静态，维护着一个数据字典，字典里存储着各种参数和配置；Action适用于长时间的通信过程，可以随时被查看过程进度，也可以终止请求，弥补了Service通信长时间得不到反馈，通信可能受阻的不足。

智能语音的交互通常分为唤醒、识别和执行。为降低能耗和误识别率，语音采集模块硬件内预先设定好唤醒词，当语音采集模块监听到相关唤醒词后，语音采集系统开始运行，语音交互系统开始工作，用户可以与系统进行正常对话逻辑。

另外，语音交互系统提前配置好相关的语音库，包含解码库、关键词库和回复、执行内容库。当系统通过声音采集模块采集到用户音频后，语音处理模块调用解码库解析音频，捕捉关键词，并与语音库中预先设定的关键词库进行匹配打分，当分值超过一定数值时，可以认定识别匹配成功，语音执行模块根据回复、执行库执行相应的业务逻辑，语音采集线程暂时挂起直至业务执行完毕。

但是，相关技术中存在至少如下问题：

（1）通常的唤醒加识别方法，在语音交互时，唤醒功能的实现需借助云端识别，需要稳定的网络，当网络缓慢时，影响识别速度，当断网的情况下是无法识别执行用户指令的。对网络环境有依赖，在断网的情况下，无法初始化云端数据，无法使用。而配置在云端的音频解码模型所占空间巨大，无法适配在一些中小型的智能设备中无法实现脱离网络进行语音交互。

（2）通常的导航系统在规划路径时，没有将底盘模型纳入考虑范围之内，导致在实际导航过程中，底盘可能由于自身结构的原因可能不能按已规划路径行走，陷入困境。

发明内容

为了上述技术问题，本发明提供了一种基于ROS的智能车语音辅助导航及安全提醒系统及方法。

本发明的系统所采用的技术方案是：一种基于ROS的智能车语音辅助导航及安全提醒系统，其特征在于：包括语音交互装置、自动导航装置、底盘控制装置、车载电脑；

所述语音交互装置，设置在车内，用于采集车内人员语音信息；

所述车载电脑通过导线与所述语音交互装置、自动导航装置、底盘控制装置，一一连接通信，用于控制所述语音交互装置、自动导航装置、底盘控制装置工作。

作为优选，所述语音交互装置由语音采集模块、语音处理模块和语音执行模块组成；所述语音采集模块实现用户音频的采集，硬件设有唤醒词，唤醒后开启语音采集线程；所述语音处理模块实现解析音频、捕捉关键词；所述语音执行模块，根据关键词匹配结果，执行相应的逻辑业务。

作为优选，所述自动导航装置由路径控制模块、路径规划模块、路径跟随模块、建图和定位模块以及障碍物检测模块组成；所述路径控制模块与语音交互装置通信，控制整个系统；所述建图和定位模块实现导航过程中的建图、定位；所述障碍物检测实现导航过程中的障碍物检测；所述路径规划模块根据建图和定位模块、障碍物检测模块所提供的信息进行路径规划，并经由路径控制模块发送至路径跟随模块；所述路径跟随模块接收规划好的路径信息，发送至车载电脑，车载电脑控制底盘控制装置，实现路径跟随。

作为优选，所述底盘控制装置主要部分为控制板，所述控制板以CAN总线的形式与底盘的驱动电机控制器和转向电机控制器相连，当所述底盘控制装置接收到车载电脑的指令时，所述控制板与所述驱动电机控制器和所述转向电机控制器通信，运行底盘。

本发明的方法所采用的技术方案是：一种基于ROS的智能车语音辅助导航及安全提醒方法，其特征在于，包括以下步骤：

步骤1：语音采集；

步骤2：语音处理；

步骤3：语音执行；

步骤4：自动驾驶；

系统实时进行建图和定位、障碍物检测，向自动导航装置发出路径规划的请求，待返回规划成功的路径时，车载电脑按照规划好的路径控制底盘控制装置进行底盘运动。

作为优选，步骤1中，采用语音采集模块进行语音采集；所述语音采集模块设置有唤醒功能，当语音采集模块捕捉到唤醒词后，语音采集模块开始工作。

作为优选，步骤2中，调用预先设定的解码库解析音频，捕捉关键词，并与预先设定的关键词库中的关键词内容比对打分；如果分值低于阈值，则回转执行步骤1，继续采集语音；如果分值大于等于阈值，则执行步骤3；所述关键词根据不同的运用场景自主设定；所述比对打分，是按照预先设定的对比打分规则进行。

作为优选，步骤3中，根据对应的关键词找到预先设定的回复及执行库中的内容，执行相关的逻辑业务；此时，暂时挂起语音采集线程，当逻辑业务执行完毕后，恢复语音采集线程；所述回复及执行库包含三部分内容：一部分为对话回复内容，一部分为命令执行内容，一部分为安全提醒内容；当识别为对话回复内容时，根据捕捉到的关键词，找到相对应的音频文件并播放；当识别为命令执行内容时，根据相关关键词找到相应的执行业务；当检测到所行路线前方有行人时，自动导航装置与车载电脑通信，触发系统执行安全提醒业务，播报音频文件提醒行人。

作为优选，步骤4中，还能设置巡航播放，通过设定固定点及固定点处播放音频文件内容实现巡航播放。

作为优选，所述巡航播放中巡航模式由用户自定义设置，包括时间巡航模式和圈数巡航模式；所述时间巡航模式即设定巡航时间，设定时间到达后回到原点位置，停止巡航；所述圈数巡航模式即设定巡航圈数，遍历所有设定点为一圈，设定圈数到达后回到原点位置，停止巡航。

本发明实施例的有益效果在于：将唤醒功能集成到硬件中，使得用户在使用时能够快速响应，发挥了硬件高效稳定的特点，可以不需要依赖网络环境，保证了使用的稳定性，在达到了相同的效果的同时减少了语音交互的流程，使得语音交互更加高效。直接通过语音交互实现自动导航，提高操作方便性和灵活性。

与此同时，自动导航系统将底盘模型纳入考虑范围，在参考建图和定位模块以及障碍物检测模块信息的情况下，规划路径，使得路径规划更具科学性，自动导航系统中的各部分均以模板类的形式实现，实现代码最大重用化。

附图说明

图1是本发明实施例的系统结构示意图；

图2是本发明实施例的方法流程图。

具体实施方式

为更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，可以根据以下附图来获得其它附图。

请见图1，本发明提供的一种基于ROS的智能车语音辅助导航及安全提醒系统，包括语音交互装置、自动导航装置、底盘控制装置、车载电脑；语音交互装置，设置在车内，用于采集车内人员语音信息；车载电脑通过导线与语音交互装置、自动导航装置、底盘控制装置，一一连接通信，用于控制语音交互装置、自动导航装置、底盘控制装置工作。

本实施例的语音交互装置由语音采集模块、语音处理模块和语音执行模块组成；

为降低系统能耗和和误识别率，语音采集模块硬件设有唤醒功能。当语音采集模块捕捉到唤醒词后，语音采集模块开始工作，触发整个语音交互系统进入工作模式。唤醒词可以自定义设定。

语音处理模块的硬件主要组成部分为数据处理器，里面封装有相关的语音处理程序。当语音采集模块被唤醒后，语音采集线程一直运行。当采集到音频后，语音处理模块调用解码库解析音频文件并处理。解析音频文件时，系统自动捕捉关键词，并与关键词库中的关键词内容比对打分。当分值超过程序设定识别成功的阈值时，视为识别成功。系统会根据对应的关键词找到回复、执行库中的内容，执行相关的逻辑业务。此时，暂时挂起语音采集线程，当逻辑业务执行完毕后，恢复语音采集线程。当分值过低或者没有找到相对应的关键词时，可以视为识别失败，程序继续执行语音采集线程。

为避免识别系统出现执行混乱的情况，执行程序的过程中均采用单线程模式，即当语音执行线程运行时，语音采集线程挂起，直到语音执行线程运行完毕。

语音执行模块主要组成部分为回复、执行库。回复、执行库中内容主要包含三部分内容，一部分是对话回复内容；一部分是命令执行内容；另一部分为安全提醒内容。当语音处理模块识别为对话回复内容时，系统会根据捕捉到的关键词，找到相对应的音频文件并播放；当语音处理系统识别为命令执行内容时，系统会根据相关关键词找到相应的执行业务；当自动导航装置中的障碍物检测模块，检测到所行路线前方有行人时，自动导航装置与车载电脑通信，触发系统执行安全提醒业务，即播报音频文件提醒行人。

本实施例的自动导航装置由路径控制模块、路径规划模块、路径跟随模块、建图和定位模块以及障碍物检测模块组成；

路径控制模块与语音交互装置通信；建图和定位模块实现导航过程中的建图、定位；障碍物检测实现导航过程中的障碍物检测；路径规划模块根据建图和定位模块、障碍物检测模块所提供的信息进行路径规划，并经由路径控制模块发送至路径跟随模块；路径跟随模块接收规划好的路径信息并发送给车载电脑，车载电脑控制底盘控制装置，实现路径跟随。

关键词库中的关键词内容预先设定，可根据不同需要自定义设置。为提高识别成功率，同一对话回复内容或执行业务对应的关键词可以设置多个。此外，识别成功的阈值根据自身要求来设定。阈值设定过高，识别成功率降低；阈值设定过低，误识率上升。

对话回复内容和安全提醒内容中播放的音频文件预先在音频库中设定，通过调用程序中的“文本转音频”服务实现，具体内容根据不同使用场景自定义设定。这也使得本发明可应用于多种场景环境。

命令执行内容主要包含前进、后退、左转和右转等模糊命令执行内容和到某一明确位置的具体命令执行内容。语音交互装置以Topic的通信方式与底盘控制装置进行通信。

声音通过语音采集模块到达语音处理模块后，当语音处理模块调用解码库解析后，捕捉到“前进”或“向前走”这些关键词时，语音交互装置直接与底盘控制装置通信，底盘控制装置开始运行。其它模糊命令指令内容类似，前进、后退距离和左转、右转的角度可以在程序中根据需求自定义设置。

某一明确位置的具体命令执行内容的基本原理为：运用slam算法创建所在环境的地图，获取指定点的坐标，将指定点的坐标输入到程序中。当语音处理模块捕捉到语音中有相关位置关键词时，语音交互装置与自动导航装置通信，路径控制模块得到该点的坐标，根据建图和定位模块以及障碍物检测模块提供的信息，向路径规划模块发出请求，直至返回规划成功的全局路径，然后向路径跟随模块发送信息，信息中包含成功的全局规划和路径相关跟随相关的配置。随后，车载电脑与底盘控制装置通信，实现自动导航。此时，路径控制模块保持等待，直至路径跟随模块报告任务结束。如果路径跟随节点报告任务失败，则会根据设定选择直接放弃本次规划还是尝试再次规划。

本实施例的底盘控制装置主要部分为控制板，控制板与底盘的驱动电机控制器和转向电机控制器以CAN总线的形式相连，当所述底盘控制装置接收到车载电脑的指令时，控制板与驱动电机控制器和转向电机控制器通信，运行底盘。

请见图2，本发明提供的一种基于ROS的智能车语音辅助导航及安全提醒方法，包括以下步骤：

步骤1：语音采集；

本实施例中，采用语音采集模块进行语音采集；语音采集模块设置有唤醒功能，当语音采集模块捕捉到唤醒词后，语音采集模块开始工作。

步骤2：语音处理；

本实施例中，调用预先设定的解码库解析音频，捕捉关键词，并与预先设定的关键词库中的关键词内容比对打分；如果分值低于阈值，则回转执行步骤1，继续采集语音；如果分值大于等于阈值，则执行步骤3；

关键词根据不同的运用场景自主设定；比对打分，是按照预先设定的对比打分规则进行。

本实施例中，关键词可根据不同运用场景自主设定。为提高识别成功率，同一业务内容对应的关键词可以设定为多个，具有同等效力。为避免误识，不同业务内容对应的关键词不要相近。

本实施例中，比对打分的规则为，考核语音转文字的内容与预先设定的关键词的重合度。由于用户的发音方式及音调的不同，解码库在将语音转换为文字的过程中，可能只有一部分语音转换为了文字，比对打分时会出现分值低于阈值的情况，系统不予执行逻辑业务。

步骤3：语音执行；

本实施例中，根据对应的关键词找到预先设定的回复及执行库中的内容，执行相关的逻辑业务；此时，暂时挂起语音采集线程，当逻辑业务执行完毕后，恢复语音采集线程；

回复及执行库包含三部分内容：一部分为对话回复内容，一部分为命令执行内容，一部分为安全提醒内容；当识别为对话回复内容时，根据捕捉到的关键词，找到相对应的音频文件并播放；当识别为命令执行内容时，根据相关关键词找到相应的执行业务；当检测到所行路线前方有行人时，自动导航装置与车载电脑通信，触发系统执行安全提醒业务，播报音频文件提醒行人。

步骤4：自动驾驶；

系统实时进行建图和定位、障碍物检测，向自动导航装置发出路径规划的请求，待返回规划成功的路径时，车载电脑按照规划好的路径控制底盘控制装置进行底盘运动。

除此之外，本发明还具有巡航播放的功能，即到固定位置播放相应的音频文件。固定点个数可以自由设定，固定点对应的音频播放文件自定义设定，音频文件的配置通过调用程序中的“文本转音频”服务实现。

巡航模式可选，分为时间巡航模式和圈数巡航模式。时间巡航模式即设定巡航的时间，当设定时间达到后，回到原点位置；圈数巡航模式即设定巡航的圈数，遍历所有固定点为一圈，巡航圈数达到后，回到原点位置。

巡航播放的基本原理：创建所在环境的地图后可以获取指定的几个固定点的坐标，坐标输入程序的对应部分，依据巡航模式得到下一固定点并发送其坐标，系统程序控制自动导航系统中各模块协同生成路径，并发送给车载电脑，车载电脑与底盘控制装置通信，实现自动导航。

本发明实例主要可以应用于未来用户对无人驾驶汽车的控制，用户可以通过本发明实例指出目标点，系统依据地图、定位以及障碍物检测等信息自动规划路径，发送指令控制底盘。

以上描述的实例仅仅是示意性的，其中所述说明的各系统可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式，可以借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，包括若干指令用以使得一台计算机设备执行各个实施例。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实例所机载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实例技术方案的精神和方案。

Claims (10)

1.一种基于ROS的智能车语音辅助导航及安全提醒系统，其特征在于：包括语音交互装置、自动导航装置、底盘控制装置、车载电脑；

所述语音交互装置，设置在车内，用于采集车内人员语音信息；

所述车载电脑通过导线与所述语音交互装置、自动导航装置、底盘控制装置，一一连接通信，用于控制所述语音交互装置、自动导航装置、底盘控制装置工作。

2.根据权利要求1所述的基于ROS的智能车语音辅助导航及安全提醒系统，其特征在于：所述语音交互装置由语音采集模块、语音处理模块和语音执行模块组成；

所述语音采集模块实现用户音频的采集，硬件设有唤醒词，唤醒后开启语音采集线程；所述语音处理模块实现解析音频、捕捉关键词；所述语音处理模块，根据关键词匹配结果，执行相应的逻辑业务。

3.根据权利要求1所述的基于ROS的智能车语音辅助导航及安全提醒系统，其特征在于：所述自动导航装置由路径控制模块、路径规划模块、路径跟随模块、建图和定位模块以及障碍物检测模块组成；

所述路径控制模块与语音交互装置通信，控制整个系统；所述建图和定位模块实现导航过程中的建图、定位；所述障碍物检测模块实现导航过程中的障碍物检测；所述路径规划模块根据建图和定位模块、障碍物检测模块所提供的信息进行路径规划，通过路径控制模块发送至路径跟随模块；所述路径跟随模块接收规划好的路径信息并发送给车载电脑，车载电脑控制底盘控制装置，运行底盘，实现路径跟随。

4.根据权利要求1所述的基于ROS的智能车语音辅助导航及安全提醒系统，其特征在于：所述底盘控制装置包括控制板，所述控制板与底盘的驱动电机控制器和转向电机控制器以CAN总线的形式相连，当所述底盘控制装置接收到车载电脑的指令时，所述控制板与所述驱动电机控制器和所述转向电机控制器通信，运行底盘。

5.一种基于ROS的智能车语音辅助导航及安全提醒方法，其特征在于，包括以下步骤：

步骤1：语音采集；

步骤2：语音处理；

步骤3：语音执行；

步骤4：自动驾驶；

系统实时进行建图和定位、障碍物检测工作，向自动导航装置发出路径规划的请求，待返回规划成功的路径后，车载电脑按照规划好的路径控制底盘控制装置进行底盘运动。

6.根据权利要求5所述的基于ROS的智能车语音辅助导航及安全提醒方法，其特征在于：步骤1中，采用语音采集模块进行语音采集；所述语音采集模块设置有唤醒功能，当语音采集模块捕捉到唤醒词后，语音采集模块开始工作。

7.根据权利要求5所述的基于ROS的智能车语音辅助导航及安全提醒方法，其特征在于：步骤2中，调用预先设定的解码库解析音频，捕捉关键词，并与预先设定的关键词库中的关键词内容比对打分；如果分值低于阈值，则回转执行步骤1，继续采集语音；如果分值大于等于阈值，则执行步骤3；

所述关键词根据不同的运用场景自主设定；所述比对打分，是按照预先设定的对比打分规则进行。

8.根据权利要求5所述的基于ROS的智能车语音辅助导航及安全提醒方法，其特征在于：步骤3中，根据对应的关键词找到预先设定的回复及执行库中的内容，执行相关的逻辑业务；此时，暂时挂起语音采集线程，当逻辑业务执行完毕后，恢复语音采集线程；

所述回复及执行库包含三部分内容：一部分为对话回复内容，一部分为命令执行内容，一部分为安全提醒内容；当识别为对话回复内容时，根据捕捉到的关键词，找到相对应的音频文件并播放；当识别为命令执行内容时，根据相关关键词找到相应的执行业务；当检测到所行路线前方有行人时，自动导航装置与语音交互装置通信，触发系统执行安全提醒业务，播报音频文件提醒行人。

9.根据权利要求5-8任意一项所述的基于ROS的智能车语音辅助导航及安全提醒方法，其特征在于：步骤4中，还能设置巡航播放，通过设定固定点及固定点处播放音频文件内容实现巡航播放。

10.根据权利要求9所述的基于ROS的智能车语音辅助导航及安全提醒方法，其特征在于：所述巡航播放中巡航模式可自主设置，包括时间巡航模式和圈数巡航模式；

所述时间巡航模式即设定巡航时间，设定时间到达后回到原点位置，停止巡航；所述圈数巡航模式即设定巡航圈数，遍历所有设定点为一圈，设定圈数到达后回到原点位置，停止巡航。