CN105799710B - 一种交互式的自主教练车系统 - Google Patents

Abstract

本发明公开了一种交互式的自主教练车系统，用于为教练车的驾驶员提供实时的、自动化的指导教学。采用环境感知模块感知教练车周围环境，获得环境信息发送至语音模块以及车辆控制模块；采用操作反馈模块获取当前时刻方向盘角度、档位以及刹车油门角度，计算获得的下一时刻的车辆的行驶状态发送到车辆控制模块以及语音模块；车辆控制模块依据环境信息判断教练车是否违反交通规则以及是否发生碰撞，若是，则进入自主驾驶模式，否则接收驾驶员输入的语音操作指令；语音模块依据环境信息进行路径规划并计算车辆下一时刻方向相对于引导线的偏移量，规划操作方法并进行播报；语音模块接收驾驶员下达的语音操作指令并发送至车辆控制模块。

Description

一种交互式的自主教练车系统

技术领域

本发明属于自主驾驶和人机交互领域，具体涉及一种交互式的自主教练车系统。

背景技术

随着收入的增长，能使生活和工作出行更加方便快捷的家用小轿车成了许多现代家庭的必需品，因此越来越多的人去驾校学习并希望获取机动车驾驶证，但是驾校配备的教练非常有限，学员想要练车往往需要提前很长时间预约并排队等候，并且能够上车练习的时间也并不多，学员很难在驾校训练的很短时间内掌握全部驾驶要领。

此外，驾校教练除了教授学员驾驶技术外，还需要保证学员学车过程的安全，当学员操作不当有安全隐患时及时制止，这对教练的教学水平和驾驶技术提出了更高的要求，使得原本不多的教练资源更加匮乏。

另外一方面，随着计算机技术的发展，无人自主驾驶车辆技术已经成为现实，这些车辆在计算机的控制下，能够实现自主驾驶，并且计算机的驾驶技术正在逐步提升，我们有理由相信在将来计算机的驾驶技术终会超越人类，因此，如果能够实现由计算机教授驾驶技术，不仅可以实现人力资源的解放，也可以推动自主驾驶车辆技术发展。

发明内容

有鉴于此，本发明提供了一种交互式的驾驶教学系统，用于为教练车的驾驶员提供实时的、自动化的指导教学。

为了达到上述目的，本发明的技术方案为：一种交互式的自主教练车系统，包括环境感知模块、车辆控制模块、操作反馈模块以及语音模块；

环境感知模块用于教练车感知周围环境，获得环境信息发送至语音模块以及车辆控制模块。

操作反馈模块用于检测方向盘角度、档位以及刹车油门角度开度，当驾驶员操作教练车时，操作反馈模块将当前时刻的方向盘角度、档位以及刹车油门角度以及计算获得的下一时刻的车辆的行驶状态发送到车辆控制模块以及语音模块。

车辆控制模块依据环境信息判断教练车是否违反交通规则以及是否发生碰撞，若是，则进入自主驾驶模式，否则接收驾驶员输入的语音操作指令，若驾驶员无语音操作指令输入，则车辆控制模块无操作，若驾驶员有语音操作指令输入，则车辆控制模块依据语音操作指令进行操作。

在自主驾驶模式下，车辆控制模块依据环境信息、车辆方向盘角度、档位以及刹车油门角度，针对教练车的刹车，方向盘，油门和档位进行控制。

语音模块获取环境信息、方向盘角度、档位以及刹车油门角度以及下一时刻的车辆的行驶状态之后，依据环境信息通过路径规划算法获得引导线，然后依据下一时刻的车辆的行驶状态计算车辆下一时刻方向相对于引导线的偏移量，规划操作方法并进行播报，规划操作方法使得偏移量变小；语音模块接收驾驶员下达的语音操作指令，通过语音识别语音操作指令，将语音操作指令发送至车辆控制模块中。

进一步地，自主教练车系统还包括驾驶员姿态检测模块和交互式投影模块。

驾驶员姿态检测模块用于检测驾驶员的头部姿态，头部姿态发送至交互式投影模块。

交互式投影模块获取环境感知模块中的环境信息，依据该信息通过路径规划算法规划获得引导线，然后由操作反馈模块获取方向盘角度、档位以及刹车油门角度以及下一时刻的车辆的行驶状态，依据下一时刻的车辆的行驶状态计算车辆下一时刻方向相对于引导线的偏移量，将该偏移量由显示器进行显示，同时将方向盘角度、档位以及刹车油门角度进行显示形成图像，图像的显示位置位于头部姿态的正前方；偏移量、方向盘角度、档位以及刹车油门角度同时发送至语音模块。

进一步地，驾驶员姿态检测模块具体为在头部设置三轴陀螺仪，检测驾驶员的头部转动角度。

进一步地，交互式投影模块为：安装在车前的透明液晶显示器、或者由投影仪与车辆挡风玻璃组合构成、或者为平视显示器。

进一步地，周围环境包括教练车周围的静态障碍物、车道线、交通标示、可通行区域，动态障碍物；

环境感知模块由多种车载传感器和车载感知计算机构成；所用车载传感器包括摄像头，激光测距雷达，GPS接收机，里程计和毫米波雷达；摄像头用于检测车道线、交通标志；激光测距雷达用于检测静态障碍物和可通行区域；毫米波雷达用于检测动态障碍物；GPS接收机用于检测车自身位置；里程计用于检测教练车所行驶的里程数。

进一步地，操作反馈模块包括方向盘角度检测传感器、档位检测传感器和刹车油门角度开度检测传感器，分别用于检测方向盘角度、档位以及刹车油门角度开度。

有益效果：

本发明中，通过交互模块对驾考学员进行实时操作指导，通过自主驾驶模块对教练车的周围环境进行监测，使学员能够实时知道教练车的行驶状态，本发明实施例提供的交互式自主教练车结构简单，不需要专门的教练对学员进行实时指导，节约人力资源。

附图说明

图1为交互式自主教练车自主驾驶部分各模块结构图；

图2为交互式自主教练车人机交互部分各模块结构图；

图3为交互式自主教练车人机交互部分软件流程图；

图4为本发明提供的一种具体实施实例示意图；

图5为驾驶员学习侧方停车投影显示器的细节示意图；

其中1车辆主体，2激光雷达，3环境感知摄像头，4透明液晶显示器，5车载计算机组，6控制计算机，7姿态检测摄像头，8投影显示的引导线，9实际车库线。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

实施例1、一种交互式的自主教练车系统，包括环境感知模块、车辆控制模块、交互式投影模块、操作反馈模块、驾驶员姿态检测模块以及语音模块；其中环境感知模块和车辆控制模块属于自主驾驶部分，其结构示意如图1，交互式投影模块、操作反馈模块、驾驶员姿态检测模块以及语音模块属于人机交互部分，其结构示意如图2。

环境感知模块用于教练车感知环境，获得环境信息发送至交互式投影模块和车辆控制模块；的环境包括教练车周围的静态障碍物、车道线、交通标示、可通行区域，动态障碍物；环境感知模块由多种车载传感器和车载感知计算机构成；所用车载传感器包含但不限于摄像头，激光测距雷达，GPS接收机，里程计和毫米波雷达；摄像头用于检测车道线、交通标志；激光测距雷达用于检测静态障碍物和可通行区域；毫米波雷达用于检测动态障碍物；GPS接收机用于检测车自身位置；里程计用于检测教练车所行驶的里程数。

操作反馈模块包括方向盘角度检测传感器、档位检测传感器和刹车油门角度开度检测传感器，分别用于检测方向盘角度、档位以及刹车油门角度开度，当用户操作教练车时，操作反馈模块根据当前时刻的方向盘角度、档位以及刹车油门角度，计算下一时刻的车辆的行驶状态，并将方向盘角度、档位以及刹车油门角度以及计算出的下一时刻的车辆的行驶状态发送到车辆控制模块以及交互投影模块。

车辆控制模块由伺服电机和车载控制计算机组成，车载控制计算机依据环境信息判断教练车是否违反交通规则以及是否发生碰撞，若是，则进入自主驾驶模式，否则接收驾驶员输入的语音操作指令。

在自主驾驶模式下，车载控制计算机依据环境信息、下一时刻的车辆方向盘角度、档位以及刹车油门角度，发出针对教练车的刹车，方向盘，油门和档位的控制信号，伺服电机接收控制信号对教练车进行刹车，方向盘，油门和档位的控制。

驾驶员姿态检测模块用于检测驾驶员的头部姿态，头部姿态结合交互式投影模块显示投影图像的位置，保证驾驶员能够正面看到投影图像；本实施例中驾驶员姿态检测模块具体为在头部设置三轴陀螺仪，检测驾驶员的头部转动角度。

交互式投影模块获取环境感知模块中的环境信息，依据该信息通过路径规划算法规划获得引导线，然后由操作反馈模块获取方向盘角度、档位以及刹车油门角度以及计算下一时刻的车辆的行驶状态，依据下一时刻的车辆的行驶状态计算车辆下一时刻方向相对于引导线的偏移量，将该偏移量由显示器进行显示，同时将方向盘角度、档位以及刹车油门角度进行显示；偏移量、方向盘角度、档位以及刹车油门角度同时发送至语音模块；本实施例中交互式投影模块为：安装在车前的透明液晶显示器、或者由投影仪与车辆挡风玻璃组合构成、或者为平视显示器。

语音模块获取偏移量、方向盘角度、档位以及刹车油门角度之后，规划操作方法并进行播报，规划操作方法使得偏移量变小；语音模块接收驾驶员下达的语音操作指令，通过语音识别语音操作指令，将语音操作指令发送至车辆控制模块中。

实施例2、另外，本发明还在于提供一种基于上述的驾驶系统的软件，软件流程如图3所示，软件主要包括以下步骤：

步骤1根据环境感知模块感知车辆周围环境，包括但不限于检测车道线，行人，车辆、障碍物、交通标示等环境信息。

步骤2将步骤1所感知的环境，判断当前车辆是否违反交通规则，并根据操作反馈模块得到驾驶员操作状态以及车辆自身状态，其中驾驶员操作状态包括方向盘角度、档位以及刹车油门角度开度，车辆自身状态包括车辆方向、加速度等根据步骤1感知的环境与对应的操作状态判断教练车辆是否有发生碰撞或其他安全问题的可能性，当违反交通规则或将会发生碰撞时利用语音模块通知驾驶员。

步骤3根据步骤2所得的判断，决定是否需要由计算机接管车辆控制(如果违反交通规则，则)，进入自主驾驶模式，计算机。在自主驾驶模式下，车辆控制模块接收计算机当驾驶员操作时，根据步骤1获取的环境信息以及步骤2中交通规则专家系统的输出计算出驾驶员应当采取的操作方法；当自主驾驶时，利用步骤1所得环境信息与控制模块控制车辆刹车，转向等，将车辆移动到所感知的安全区域。

步骤4根据驾驶员姿态检测模块实时检测出驾驶员的头部与眼部的在图像中的位置，结合相机标定技术获取驾驶员目光的观察方向。

步骤5根据步骤4所检测出的驾驶员的观察方向，以及步骤1检测到的环境信息、步骤3得到的操作方法或是由步骤2的到车辆的状态如车速、位置等转化为箭头、轮廓、曲线、数字等易于观察的形状，通过交互式投影模块投影到车辆挡风玻璃对应位置上。

实施例3、如图4所示，车辆主体1为一辆改装过方向盘，油门，刹车和档位控制方式的车辆，使其既可通过驾驶员控制也可通过计算机控制车辆。

车辆环境感知模块由激光雷达2，环境感知摄像头3，以及车载计算机5构成。其中激光雷达2用于测量车辆与车辆前方一定范围以内的障碍物的距离，并将数据传输至计算机处理，计算机得到激光雷达的数据后，经过计算得出障碍物准确的距离等信息。摄像头3用将前方彩色图像传输到计算机5中处理，计算机通过机器视觉算法检测前方行人、车辆、交通标志、车道线等信息。

车辆控制模块由控制计算机6机构成。控制计算机6可以通过控制方向电机，档位电机，油门电机，刹车电机，控制车辆完成转向，加减速，换挡等操作。

交互式投影装置由透明显示器4构成。显示器4所显示的文字，图案等可显示在驾驶员正常驾驶时的视野范围内，而且能与实际景物重合。

驾驶员姿态检测模块由姿态检测摄像头7构成，可通过机器视觉算法获得驾驶员眼部目光方向。

本发明所提出的交互式的自主教练车有三种工作状态，即自主示教状态、驾驶员操作教学状态以及紧急自主驾驶状态。

自主示教状态：当车辆处于自主示教状态时，首先由用户选择演示项目，如侧方停车、倒车入库等，之后由计算机控制车辆，由计算机通过激光雷达2和环境感知摄像头3，实时进行车辆周围环境感知，如车库线等，由控制计算机6对车辆进行控制，使车辆自主完成所需演示的项目，期间由语音模块以及投影模块与用户进行互动，教授操作要点，如挂档位，打方向盘等，使用户直观的学习操作车辆技巧。

驾驶员操作教学状态：当车辆处于驾驶员操作教学状态时，需要教练车计算机教授驾驶员具体的车辆操作方法，并由驾驶员操作车辆完成指定的教学动作如倒库、侧方停车、超车等，以侧方停车为例，如图5所示，首先，由车辆环境感知模块感知环境检测车库库线9，实时获得车辆与车库相对位置信息，并规划出一条可以引导车辆入库的引导线8，由语音模块提示驾驶员进行侧方停车的操作，驾驶员观察前方可以看到规划的引导线8，引导线是由投影模块投影到车前挡风玻璃上，并根据驾驶员姿态检测模块计算驾驶员目光方向来调整投影位置，保证引导线空间位置的固定。当驾驶员根据引导线开到指定位置时，由语音模块提示驾驶员换倒挡、看后视镜、打方向盘等操作，此时驾驶员看向后视镜，引导线由投影模块投影到后视镜视场中，驾驶员根据操作提示打方向盘，计算机根据操作反馈模块提供的驾驶员操作信息以及车辆的定位信息判断驾驶员方向盘旋转角度是否合理，并通过语音模块提醒驾驶员实时纠正方向盘角度，直到驾驶员正确停车入库。其他教学项目均可通过类似方法由计算机教授，因此不在赘述。

紧急自主驾驶状态：为了保证车辆安全，车辆还可处于紧急自主驾驶状态，当车辆处于驾驶员教学状态时，由于驾驶员的误操作或是环境干扰，导致车辆有可能发生碰撞时，车辆会切换到紧急自主驾驶模块，此时计算机通过激光雷达2和环境感知摄像头3，实时进行车辆周围环境感知，并通过车辆控制模块实现对车辆的自主控制，由计算机控制车辆驾驶到安全位置。

在本发明中，通过交互模块对驾考学员进行实时操作指导，通过自主驾驶模块对教练车的周围环境进行监测，使学员能够实时知道教练车的行驶状态，本发明实施例提供的交互式自主教练车结构简单，不需要专门的教练对学员进行实时指导，节约人力资源。

综上，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种交互式的自主教练车系统，其特征在于，包括环境感知模块、车辆控制模块、操作反馈模块以及语音模块；

所述环境感知模块用于教练车感知周围环境，获得环境信息发送至语音模块以及车辆控制模块；

所述操作反馈模块用于检测方向盘角度、档位以及刹车油门角度开度，当驾驶员操作教练车时，操作反馈模块将当前时刻的方向盘角度、档位以及刹车油门角度以及计算获得的下一时刻的车辆的行驶状态发送到车辆控制模块以及语音模块；

所述车辆控制模块依据环境信息判断所述教练车是否违反交通规则以及是否发生碰撞，若是，则进入自主驾驶模式，否则接收驾驶员输入的语音操作指令，若驾驶员无语音操作指令输入，则车辆控制模块无操作，若驾驶员有语音操作指令输入，则车辆控制模块依据语音操作指令进行操作；

在所述自主驾驶模式下，车辆控制模块依据环境信息、车辆方向盘角度、档位以及刹车油门角度，针对所述教练车的刹车，方向盘，油门和档位进行控制；

所述语音模块获取环境信息、方向盘角度、档位以及刹车油门角度以及下一时刻的车辆的行驶状态之后，依据环境信息通过路径规划算法获得引导线，然后依据下一时刻的车辆的行驶状态计算车辆下一时刻方向相对于引导线的偏移量，规划操作方法并进行播报，所述规划操作方法使得所述偏移量变小；语音模块接收驾驶员下达的语音操作指令，通过语音识别语音操作指令，将语音操作指令发送至所述车辆控制模块中；

所述自主教练车系统还包括驾驶员姿态检测模块和交互式投影模块；

所述驾驶员姿态检测模块用于检测驾驶员的头部姿态，头部姿态发送至所述交互式投影模块；

所述交互式投影模块获取环境感知模块中的环境信息，依据该信息通过路径规划算法规划获得引导线，然后由操作反馈模块获取方向盘角度、档位以及刹车油门角度以及下一时刻的车辆的行驶状态，依据下一时刻的车辆的行驶状态计算车辆下一时刻方向相对于引导线的偏移量，将该偏移量由显示器进行显示，同时将方向盘角度、档位以及刹车油门角度进行显示形成图像，图像的显示位置位于所述头部姿态的正前方；所述偏移量、方向盘角度、档位以及刹车油门角度同时发送至语音模块；

所述交互式投影模块为：安装在车前的透明液晶显示器、或者由投影仪与车辆挡风玻璃组合构成、或者为平视显示器。

2.如权利要求1所述的一种交互式的自主教练车系统，其特征在于，所述驾驶员姿态检测模块具体为在头部设置三轴陀螺仪，检测驾驶员的头部转动角度。

3.如权利要求1或者2所述的一种交互式的自主教练车系统，其特征在于，所述的周围环境包括教练车周围的静态障碍物、车道线、交通标示、可通行区域，动态障碍物；

所述环境感知模块由多种车载传感器和车载感知计算机构成；所用车载传感器包括摄像头，激光测距雷达，GPS接收机，里程计和毫米波雷达；所述摄像头用于检测车道线、交通标志；所述激光测距雷达用于检测静态障碍物和可通行区域；所述毫米波雷达用于检测动态障碍物；所述GPS接收机用于检测车自身位置；所述里程计用于检测教练车所行驶的里程数。

4.如权利要求1或2所述的一种交互式的自主教练车系统，其特征在于，所述操作反馈模块包括方向盘角度检测传感器、档位检测传感器和刹车油门角度开度检测传感器，分别用于检测方向盘角度、档位以及刹车油门角度开度。