CN112660157B - 一种多功能无障碍车远程监控与辅助驾驶系统 - Google Patents

Abstract

本发明请求保护一种多功能无障碍车远程监控与辅助驾驶系统，主要包括：车载5G+V2X终端、无障碍车下位机、信息服务云平台。车载5G+V2X终端用于无障碍车和驾驶者的状态监控与异常状态的检测及报警、远程遥控驾驶和自动驾驶的融合感知与决策规划，使得驾驶者亲属能及时掌握无障碍车的出行状况，且当发生异常情况时，驾驶者亲属可远程接管无障碍车，通过5G监控终端的操控界面遥控驾驶或启用自动驾驶功能驾驶无障碍车低速行驶至目的地；无障碍车下位机用于车载传感器的数据采集与控制指令的接收和执行；信息服务云平台用于用户数据管理与提供设备间通信接口。本发明可有效提高行动不便人群乘坐无障碍车出行的安全性。

Description

一种多功能无障碍车远程监控与辅助驾驶系统

技术领域

本发明属于智能网联汽车技术领域，尤其涉及无障碍车远程监控与辅助驾驶系统。

背景技术

随着智能网联汽车技术的不断发展，相关的应用日渐广泛，并不断提升交通出行的安全与效率。当前人们驾车出行已经离不开导航定位功能，方便快捷也成为用户选择交通工具的首要考虑因素。伴随着无人自动驾驶、车联网的兴起和大量汽车厂商的巨额投入，智能网联汽车技术迎来新一轮的发展高潮，相关市场的潜在价值更是空前巨大。目前，L4级别的自动驾驶已经逐步开始试运营，车联网设施的建设正在稳步推进，相关的法律法规也在不断完善当中。

智能网联汽车的技术体系包括导航定位、环境感知、决策与控制和车联网等。导航定位模块由GPS导航系统、数字地图、无线通信网络和车辆信息管理系统组成，可实现车辆的导航定位、行车路径规划等功能；环境感知模块包括机器视觉系统和雷达系统等，通过结合现代通讯技术、信息传感技术和计算机控制技术，实现高精度、高实时性的交通环境感知功能；决策与控制模块利用感知到的环境信息，加上高精度地图的辅助，动态规划车辆的局部行车路径同时控制车辆按照规划的路径行驶；车联网模块通常包括路侧设备RSU、车载设备OBU和MEC边缘计算服务器，以车内网、车际网和车载移动互联网为基础，按照约定的通信协议和数据交互标准实现车与行人、附近车辆、路侧设备、云端之间的无线通信，使得交通管理、动态信息服务和车辆控制更加智能化。

在4G网络时代，由于通信带宽、时延的限制，导致智能网联汽车技术在一段时间内难有实质的提升。随着5G时代的到来，凭借5G网络的大带宽、低时延特性，智能网联汽车技术将提升到一个新台阶。5G的特性包括毫米波、微型基站、Massive MIMO天线阵列和D2D设备间通信等。通过使用更高的通信频率，更多的通信基站，以及更为先进的信号传输和转发技术，使得5G通信可支撑起eMBB大带宽、URLLC超低时延高可靠和mMTC大规模连接的应用场景。目前，在5G通信场景下的远程驾驶系统已经趋于成熟，而NR-V2X标准的发布也表明车联网的5G时代已经到来。

尽管当前的L4级别自动驾驶技术已经较为完善，其高昂的造车成本却很大程度上限制了技术的成熟落地。以绝大多数智能车都安装的激光雷达为例，高性能的激光雷达价格都在数万到数十万之间，而普通的激光雷达又难以满足高速、高实时智能车的需求。除此之外，智能车安装的毫米波雷达通常价格也在数千元，而智能车搭载的传感器远不止以上两种。综合来看，L4级别的自动驾驶技术目前很难在民用普通车辆中普及。

为提高驾驶出行的安全性，部分智能网联汽车专门配有驾驶员异常状态检测模块，用以在驾驶员出现疲劳驾驶、分心驾驶时及时进行提醒，以尽可能避免安全事故的发生。当前对驾驶员的异常状态检测通常需要技术人员根据青壮年群体的平均统计数据设置固定的检测阈值，但对于乘坐无障碍车出行的老年群体而言，其平均统计数据与青壮年群体有显著的区别，且老年群体的统计数据存在比较大的方差，即个体之间的差异会非常明显。因此，通常的驾驶员异常状态检测方法难以应用到老年群体，故需要针对老年群体的特点，设计定制化、阈值可配置的驾驶者异常状态检测方法。

当前，中国的老龄化问题愈发严重。据不完全统计，2019年中国65岁及以上人口达到1亿7603万，较2018年增加945万，占比为12.6％，且预计2022年中国将进入深度老龄化社会。随着老龄人数的不断增加，无障碍车的需求也将逐年上升。经过调研发现，目前市面上的无障碍车几乎不具备网联能力，也不具有软件智能，难以保障老年人乘坐无障碍车出行的安全。可以想象，当出现老年人乘坐无障碍车外出突发疾病、失去意识的情况时，如果驾驶者无法自救，又无亲属或行人在旁边时，老年人将难以及时得到救护，严重的甚至会威胁到生命安全。因此，设计无障碍车专用的5G智能网联系统可以极大程度地降低此类情况的发生概率，进而提高老年人出行的安全性。

考虑到老年人出行的不确定性较高，有较大概率需要人员从旁协助，但在实际生活当中，其亲属很难长时间陪伴左右，因此给无障碍车配置远程辅助驾驶的功能，可有效解决在紧急情况下无人协助的问题。此外，由于无障碍车的行驶速度缓慢，对传感器的要求较低，对主控单元的算力要求也较低，故针对无障碍车的L4级别自动驾驶系统，可省去价格高昂的激光雷达与毫米波雷达，仅使用超声波雷达作为无障碍车的测距传感器，由此可显著降低无障碍车自动驾驶系统的成本。同时，还可将自动驾驶系统的运算流程部署在算力相对较低的模块化车载终端上，以省去价格昂贵的自动驾驶专用计算平台，从而进一步提高无障车自动驾驶系统的实用性。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种方法。本发明的技术方案如下：

一种多功能无障碍车远程监控与辅助驾驶系统，其包括：车载5G+V2X终端、无障碍车下位机、信息服务云平台；其中：车载5G+V2X终端包括远程监控模块、异常状态检测模块、融合感知模块、决策规划模块、远程遥控驾驶模块：远程监控模块用于实时获取无障碍车出行的状态信息；异常状态检测模块用于无障碍车和驾驶者的异常状态检测与报警；融合感知模块用于对多源数据进行融合，对道路交通目标进行检测、识别与定位；决策规划模块用于根据感知得到的道路交通状态，结合高精度定位服务提供的局部高精度定位和地图数据，对无障碍车行驶路径进行局部路径规划，并向无障碍车下位机发送控制参数；远程遥控驾驶模块，用于接收5G监控终端发送的遥控消息，并根据解码后消息内容向无障碍车下位机发送对应的控制参数；

无障碍车下位机包括车载传感模块、控制执行模块；车载传感模块用于测量无障碍车电池剩余电量、检测周围交通目标、获取后方道路图像；控制执行模块接收远程遥控驾驶或自动驾驶时发送的控制参数，控制无障碍车行驶；

信息服务云平台用于用户数据管理与提供设备间通信接口；5G监控终端通过信息服务云平台与配对的车载终端进行通信，包括监控数据的获取和远程控制无障碍车行驶。

进一步的，所述车载5G+V2X终端中，具体包括：

远程监控模块，使用终端内置的前置摄像头、后置摄像头、GPS、陀螺仪在内的传感器和车载热点、蓝牙，实时获取无障碍车出行的状态信息，包括前方道路图像、车身姿态、位置与速度、剩余电量、驾驶者面部图像、驾驶者心率、驾驶者血压，并将信息发送到5G监控终端，以供驾驶者亲属及时掌握无障碍车的出行状况；

异常状态检测模块，包括无障碍车异常状态检测模块、驾驶者异常状态检测模块；无障碍车异常状态检测模块用于检测无障碍车是否出现倾倒、运行速度超过阈值、位置偏离预定路线、驶入危险路段、故障、剩余电量不足在内的情况；驾驶者异常状态检测模块用于检测无障碍车驾驶者是否出现分心驾驶、疲劳驾驶、无意识驾驶和包括心率、血压等生理状态异常情况，当检测到异常状态时，模块将根据异常类型发送相应报警信息到5G监控终端，同时通过短信及时提醒驾驶者亲属；

融合感知模块，用于对从终端摄像头、车载超声波雷达、V2X通信、高精度定位服务获取的包括前方道路图像、超声波定位数据、V2X消息、局部高精度定位和地图数据等信息进行多源数据融合，以对道路交通目标进行检测、识别与定位，为自动驾驶提供环境感知信息；

决策规划模块，用于根据感知得到的道路交通状态，结合高精度定位服务提供的局部高精度定位和地图数据，对无障碍车行驶路径进行局部路径规划，并向无障碍车下位机发送控制参数；

远程遥控驾驶模块，用于接收5G监控终端发送的遥控消息，并根据解码后消息内容向无障碍车下位机发送对应的控制参数。

进一步的，还包括5G监控终端，5G监控终端用于接收通过信息服务云平台转发的由配对的车载5G+V2X终端发送的无障车实时监控数据及异常报警信息，和发送远程操控无障车指令到车载5G+V2X终端，以在驾驶者不能操控时进行远程辅助驾驶；5G监控终端采用5G智能手机，通过安装开发的APP可实现远程监控和辅助驾驶的功能。

进一步的，车载5G+V2X终端中，V2X用于接收RSU路侧设备和附近车辆广播的V2X消息，接收到的消息包括局部道路信息、附近车辆的位置与速度信息等，可用于无障碍车的防碰撞预警和识别、定位非视距交通目标，为局部路径规划提供环境感知信息；还设置有商用地图SDK，用于无障碍车自动驾驶时的全局路径规划和行驶路径导航。

进一步的，融合感知模块用于对从终端摄像头、车载超声波雷达、V2X通信、高精度定位服务获取的包括前方道路图像、超声波定位数据、V2X消息、局部高精度定位和地图数据信息进行多源数据融合，以对道路交通目标进行检测、识别与定位，为自动驾驶提供环境感知信息；

高精度定位服务包括差分定位基站、地图数据中心；差分定位基站用于向车载5G+V2X终端发送高精度定位数据，地图数据中心用于发送局部高精度地图，在无障碍车自动驾驶时，高精度定位服务提供的数据用于与融合感知模块感知到的交通环境进行数据融合，为局部路径规划提供依据；

进一步的，还包括智能手环，智能手环通过蓝牙或WiFi连接到车载5G+V2X终端，用于通过内置的心率传感器、血压传感器，获取驾驶者的心率、血压在内的数据，并发送到车载5G+V2X终端进行驾驶者生理状态的异常检测。

进一步的，所述远程监控与异常状态检测模块；其中：远程监控模块通过车载5G+V2X终端集成的陀螺仪、GPS、前置摄像头、后置摄像头等传感器和车载无线热点、蓝牙，实时获取包括车身姿态信息、位置速度信息、驾驶者面部图像、前方道路图像、无障碍车状态信息、驾驶者心率、驾驶者血压等，并转发到异常状态检测模块和上传到信息服务云平台，驾驶者亲属可通过5G监控终端及时查看无障碍车的出行状态；

进一步的，所述车载传感模块包括SOC测量模块、车载超声波雷达、车载摄像头等，用于测量无障碍车电池剩余电量、检测周围交通目标、获取后方道路图像；控制执行模块接收远程遥控驾驶或自动驾驶时发送的控制参数，在远程遥控驾驶时，模块根据接收到的控制指令，向执行机构发出控制信号，控制无障碍车的方向和速度；在自动驾驶时，模块以收到的局部规划路径为准，向执行机构发出控制信号，逐步驱动无障碍车以预定的速度和轨迹行驶。

进一步的，在无障碍车的异常状态检测中，具体包括：在车身倾倒检测中，使用卡尔曼滤波姿态解算方法处理从陀螺仪获得的原始姿态数据，包括绕X、Y、Z轴旋转的角速度和X、Y、Z轴的重力加速度分量，获得车身的方位角、俯仰角、翻滚角，由于车身方位角会存在累积偏差，因此使用从GPS获取的导航方位角对车身方位角进行校正，在获得车身姿态角后，将姿态角进行归一化处理，使得姿态角值在[-1,1]之间，接着输入到训练好的RBF神经网络进行车身姿态分类，RBF神经网络的输入为3维姿态角，隐藏层有16个神经元，输出为5维，分别表示正常、左倾倒、右倾倒、前倾倒和后倾倒状态，当网络持续10次及以上输出结果均为非正常状态时将触发车身倾倒报警；在偏离路线检测中，对比无障碍车运行的实时位置信息与出发时预设的路线是否一致来判断无障碍车是否出现行驶偏离路线的异常情况，当实际位置偏离目标路线50米及以上时将触发偏离路线报警；在车速过限检测中，当无障碍车运行速度超过预设的15KM/h速度时将触发车速过限报警；在电机故障检测中，当收到的无障碍车状态信息表示电机或电机驱动机构故障时将触发电机故障报警；在驶入危险路段检测中，当无障碍车行驶至山坡、桥梁、河坝等危险路段100米范围内时将触发驶入危险路段报警；在电量不足检测中，当检测到无障碍车剩余电量低于35％时将触发电量不足报警。

进一步的，所述驾驶者异常状态检测模块，包括人脸检测与特征点定位模块、多任务异常检测模块；其中：人脸检测与特征点定位模块用于从车载5G+V2X终端的前置摄像头获取的驾驶者面部图像中检测出驾驶者人脸边框和输出包括双眼、鼻尖、嘴部的特征点；多任务异常检测模块包括面部异常状态检测和生理异常状态检测部分；其中：面部异常状态检测包括分心检测、疲劳检测、无意识检测，生理异常状态检测包括心率异常检测、血压异常检测。

本发明的优点及有益效果如下：

本发明针对目前无障碍车普遍不具备智能网联功能，行动不便人群乘坐无障碍车出行得不到有效安全保障的问题，结合5G通信技术和智能网联汽车技术，提出一种多功能无障碍车远程监控与辅助驾驶系统对无障碍车和驾驶者进行实时状态监控、异常状态检测与报警，在必要时可借助5G监控终端远程接管无障碍车，通过远程遥控驾驶或启用自动驾驶功能控制无障碍车低速行驶至目的地；在本发明中，驾驶者亲属可随时通过监控终端查看无障碍车的出行状况，也可根据驾驶者的实际状态配置驾驶者异常状态检测模块的阈值，以尽可能减少系统误报的概率。当异常状态检测模块检测到如无障碍车倾倒或故障、驾驶者疲劳或无意识等异常状态时，可及时发送报警信息提醒驾驶者亲属，亲属可根据异常状况尽快做出相应处理，进而提高行动不便人群乘坐无障碍车出行的安全性。此外，本发明针对当前L4级别自动驾驶造车成本高昂的问题，根据无障碍车作为特殊车辆且低速行驶的特点，设计了一套成本低廉的无障碍车自动驾驶方案，该方案无需价格高昂的激光雷达或毫米波雷达，也无需专用的自动驾驶计算平台，可使用目前相对普及的5G手机作为模块化的车载终端和监控终端，从而极大程度降低无障碍车智能网联系统的硬件成本。在软件框架的设计中，考虑到车载终端有限的算力，分别使用设计的轻量化神经网络负责驾驶者面部图像处理和自动驾驶时的交通目标检测，在保证实时性的基础上，能达到较高的精度。当处于自动驾驶时，可挂起驾驶者异常状态检测模块，以避免车载终端同时运行自动驾驶任务和驾驶者异常状态检测任务而导致的系统实时性降低的情况。

附图说明

图1是本发明提供优选实施例优选实施例系统设计框图；

图2是远程监控与异常状态检测模块框图；

图3是驾驶者异常状态检测模块框图；

图4是视觉+V2X通信的交通目标检测框图；

图5是车载5G+V2X终端与无障碍车下位机的无障碍车自动驾驶框图；

图6是无障碍车远程驾驶操作界面设计示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

如图1所示，本发明包括信息服务云平台、5G监控终端、车载5G+V2X终端、高精度定位服务、智能手环、无障碍车下位机，设计了一种多功能无障碍车远程监控与辅助驾驶系统；其中：信息服务云平台用于用户数据管理和提供设备间通信接口。用户数据管理主要包括用户的注册、登陆、设备配对、信息查询、日志记录、数据导出和注销等功能。在系统运行时，5G监控终端通过信息服务云平台与配对的车载5G+V2X终端进行通信，包括监控数据的获取和远程操控无障碍车行驶；

5G监控终端主要用于接收通过信息服务云平台转发的由配对的车载5G+V2X终端发送的无障车实时监控数据及异常报警信息，和发送远程操控无障车指令到车载5G+V2X终端，以在驾驶者不能操控时进行远程辅助驾驶；5G监控终端可以是5G智能手机，通过安装开发的APP可实现远程监控和辅助驾驶的功能，同时降低硬件成本、提高设备便携性；

车载5G+V2X终端包括远程监控模块、异常状态检测模块、V2X通信、商用地图SDK、融合感知模块、决策规划模块、远程遥控驾驶模块；其中：远程监控模块通过车载5G+V2X终端集成的陀螺仪、GPS、摄像头等传感器和车载热点、蓝牙，实时获取无障碍车的出行状态信息，包括前方道路图像、车身姿态信息、速度位置信息、剩余电量信息和驾驶者面部图像、驾驶者心率、驾驶者血压等发送到5G监控终端；异常状态检测模块包括无障碍车异常状态检测模块、驾驶者异常状态检测模块，用于对获取的无障碍车和驾驶者状态信息进行异常状态的检测与报警；V2X通信用于接收RSU路侧设备和附近车辆广播的V2X消息，接收到的消息包括局部道路信息、附近车辆的位置与速度信息等，可用于无障碍车的防碰撞预警和识别、定位非视距交通目标，为局部路径规划提供环境感知信息；商用地图SDK用于无障碍车自动驾驶时的全局路径规划和行驶路径导航；融合感知模块用于对从终端摄像头、车载超声波雷达、V2X通信、高精度定位服务获取的包括前方道路图像、超声波定位数据、V2X消息、局部高精度定位和地图数据等信息进行多源数据融合，以对道路交通目标进行检测、识别与定位，为自动驾驶提供环境感知信息；决策规划模块用于对感知得到的道路交通环境结合高精度地图进行信息融合，并对无障碍车的行驶路径进行局部路径规划；远程遥控驾驶模块用于接收5G监控终端发送的遥控消息，并根据解码后消息内容向无障碍车下位机发送对应的控制参数。车载5G+V2X终端同样可以是5G智能手机，从而大幅降低硬件成本；

高精度定位服务包括差分定位基站、地图数据中心；差分定位基站用于向车载5G+V2X终端发送高精度定位数据，地图数据中心用于发送局部高精度地图。在无障碍车自动驾驶时，高精度定位服务提供的数据用于与融合感知模块感知到的交通环境进行数据融合，为局部路径规划提供依据；

智能手环通过蓝牙或WiFi连接到车载5G+V2X终端，用于通过内置的心率传感器、血压传感器等，获取驾驶者的心率、血压等数据，并发送到车载5G+V2X终端进行驾驶者生理状态的异常检测；

无障碍车下位机包括车载传感模块、控制执行模块；车载传感模块包括SOC测量模块、车载超声波雷达、车载摄像头等，用于测量无障碍车电池剩余电量、检测周围交通目标、获取后方道路图像；控制执行模块接收远程遥控驾驶或自动驾驶时发送的控制参数，在远程遥控驾驶时，模块根据接收到的控制指令，向执行机构发出控制信号，控制无障碍车的方向和速度；在自动驾驶时，模块以收到的局部规划路径为准，向执行机构发出控制信号，逐步驱动无障碍车以预定的速度和轨迹行驶。

如图2所示，远程监控与异常状态检测模块；其中：远程监控模块通过车载5G+V2X终端集成的陀螺仪、GPS、前置摄像头、后置摄像头等传感器和车载无线热点、蓝牙，实时获取包括车身姿态信息、位置速度信息、驾驶者面部图像、前方道路图像、无障碍车状态信息、驾驶者心率、驾驶者血压等，并转发到异常状态检测模块和上传到信息服务云平台，驾驶者亲属可通过5G监控终端及时查看无障碍车的出行状态；

异常状态检测模块包括无障碍车异常状态检测模块、驾驶者异常状态检测模块；其中：无障碍车异常状态检测模块通过分析由远程监控模块获得的包括车身姿态、位置速度、无障碍车状态等信息，对无障碍车异常状态包括车身倾倒、电机故障、偏离路线、驶入危险路段、车速过限、电量不足等进行检测；驾驶者异常状态检测模块通过分析由远程监控模块获得的驾驶者面部图像，对驾驶者异常状态包括分心驾驶、疲劳驾驶、无意识驾驶、心率异常、血压异常等进行检测。此外，针对不同驾驶者存在的状态差异，可相应设置不同的异常检测阙值。当异常状态检测模块检测到异常发生时，会及时通过信息服务云平台向5G监控终端发送对应类型的报警信息和向驾驶者亲属发送提示短信。同时，车载5G+V2X终端也会通过V2X通信进行本地报警以寻求帮助。

在无障碍车的异常状态检测中，具体包括：在车身倾倒检测中，使用卡尔曼滤波姿态解算方法处理从陀螺仪获得的原始姿态数据，包括绕X、Y、Z轴旋转的角速度和X、Y、Z轴的重力加速度分量，获得车身的方位角、俯仰角、翻滚角。由于车身方位角会存在累积偏差，因此使用从GPS获取的导航方位角对车身方位角进行校正。在获得车身姿态角后，将姿态角进行归一化处理，使得姿态角值在[-1,1]之间，接着输入到训练好的RBF神经网络进行车身姿态分类。RBF神经网络的输入为3维姿态角，隐藏层有16个神经元，输出为5维，分别表示正常、左倾倒、右倾倒、前倾倒和后倾倒状态。当网络持续10次及以上输出结果均为非正常状态时将触发车身倾倒报警；在偏离路线检测中，对比无障碍车运行的实时位置信息与出发时预设的路线是否一致来判断无障碍车是否出现行驶偏离路线的异常情况，当实际位置偏离目标路线50米及以上时将触发偏离路线报警；在车速过限检测中，当无障碍车运行速度超过预设的15KM/h速度时将触发车速过限报警；在电机故障检测中，当收到的无障碍车状态信息表示电机或电机驱动机构故障时将触发电机故障报警；在驶入危险路段检测中，当无障碍车行驶至山坡、桥梁、河坝等危险路段100米范围内时将触发驶入危险路段报警；在电量不足检测中，当检测到无障碍车剩余电量低于35％时将触发电量不足报警。

如图3所示，驾驶者异常状态检测模块，包括人脸检测与特征点定位模块、多任务异常检测模块；其中：人脸检测与特征点定位模块用于从车载5G+V2X终端的前置摄像头获取的驾驶者面部图像中检测出驾驶者人脸边框和输出包括双眼、鼻尖、嘴部的特征点。具体流程为：首先进行图像的预处理，将获取的驾驶者面部图像放缩到384x384像素，放缩时采用固定长宽比例、将放缩后的图像进行周边填充得到目标长宽。图像放缩后，对图像进行归一化处理，即将像素值除以255，得到[0,1]之间的浮点数；接着，将预处理的图像输入到训练好的EfficientNet-Lite骨架网络中，用以提取图像的特征；然后，YOLO目标检测头部和特征点定位头部网络用骨架网络输出的特征进行回归和分类，分别预测图像中可能的人脸边框和对应的人脸特征点；最后，对目标检测和特征点定位头部输出的预测结果进行图像后处理，使用非极大值抑制方法过滤掉相似或无效的人脸边框，同时排除低置信度的网络预测结果，进而得到最终的人脸边框和人脸特征点预测作为多任务异常检测模块中面部异常检测的输入；

多任务异常检测模块包括面部异常状态检测和生理异常状态检测部分；其中：面部异常状态检测包括分心检测、疲劳检测、无意识检测，生理异常状态检测包括心率异常检测、血压异常检测。具体流程为：在面部异常状态检测中，以人脸检测与特征点定位模块输出的人脸边框和人脸特征点为准，根据眼部特征点与人脸边框的相对位置，截取眼部图像，放缩到64x256像素，使用虹膜检测法定位出图像中双眼虹膜和上下眼睑的位置；根据嘴部特征点与人脸边框的相对位置，截取嘴部图像，放缩到64x64像素后进行归一化处理，输入到训练好的VGGNet-Lite分类网络，网络输出嘴部的闭合状态，包括普通张嘴、大张嘴和嘴部闭合；根据人脸边框截取边框外加20％长宽范围的人脸图像，放缩到224x224像素后进行归一化处理，输入到训练好的MobileNetV3分类网络中，网络输出头部姿态类型，包括正常、左偏头、左倾斜、左倾倒、右倾斜、右偏头、右倾倒、前倾斜和前倾倒。在生理异常状态检测中，车载5G+V2X终端通过蓝牙与驾驶者佩戴的智能手环连接，获得驾驶者的心率、血压等生理状态数据用于异常状态的检测。在实际部署中，考虑到目前市面上的5G终端如5G智能手机均搭载多核处理器，可将多任务异常检测模块的子任务分别部署在不同的核心线程上运行，以最大程度地利用硬件资源、同时提升应用的实时性。

在驾驶者的异常状态检测中，具体包括：在分心检测中，包括视线偏移检测和头部偏移检测两部分；其中：视线偏移检测使用人脸双眼虹膜和人脸鼻尖特征点的相对位置判断是否存在视线偏移，当左右眼虹膜连线的中点与鼻尖到双眼虹膜连线的垂线点的距离超过预设的1.0倍虹膜平均直径时，视为出现视线偏移；头部偏移检测以分类网络输出的头部姿态分类预测为准，当分类结果为左偏头、右偏头和前倾斜时，视为出现头部偏移。当连续t时间检测到视线偏移或头部偏移偏时将触发分心驾驶报警，t预设为3秒；

在疲劳检测中，检测的结果由平均闭眼时长、嘴部闭合状态和头部倾斜状态3项统计任务的加权估计得到；其中：在平均闭眼时长统计中，以虹膜检测输出的上下眼睑位置为准，采用PERCLOS判定准则，当闭眼时长占据一段时间T的百分比如80％时可认为驾驶者出现疲劳状态，预设的时间T为10秒；在嘴部闭合状态统计中，以网络输出的嘴部闭合状态预测为准，当连续t时间检测到嘴部处于张开状态时，视为在当前T内出现疲劳状态，t预设为5秒(t<＝T)；在头部倾斜状态统计中，以网络输出的头部姿态预测为准，当连续t时间检测到头部处于左倾斜、右倾斜或前倾斜时，视为在当前T内出现疲劳状态，t预设为5秒(t<＝T)。3项任务的加权系数预设为0.5,0.2,0.3，当加权后的得分超过预设值0.5时将触发疲劳驾驶报警；

在无意识检测中，以面部异常检测的输出结果为准，当连续t时间检测到闭眼、头部倾倒或嘴部大张开的状况时，视为驾驶员处于失去意识的状态，将触发无意识报警，t预设为10秒；

在生理异常状态检测中，以通过蓝牙接收到的驾驶者佩戴的智能手环发送的驾驶者心率、血压数据为准，当检测到驾驶者的心率超出预设的[60,100]范围时，视为发生心率异常，将触发心率异常报警；当检测到驾驶者的血压超出预设的收缩压[90,140]mmHg范围或舒张压[60,90]mmHg时，视为发生血压异常，将触发血压异常报警。

如图4所示，视觉+V2X通信的交通目标检测，包括视觉交通目标检测、V2X通信、视觉+V2X信息融合三部分；其中：视觉交通目标检测使用设计的MTYOLO神经网络对摄像头捕获的图像进行包括行人车辆、车道线、交通灯、交通标识、障碍物和动物的目标检测、识别与定位。MTYOLO神经网络包括轻量级骨架网络CSPDarkNet53-Lite、多尺度特征融合网络、多任务YOLO检测头部网络，检测的过程包括：图像获取、图像预处理、特征提取、多尺度特征融合、多任务目标检测、图像后处理和目标定位部分；图像获取部分获取摄像头捕获的视频帧编码流、同时对编码流进行解码得到RGB格式的可用图像；图像预处理部分将获取的图像进行尺度放缩，得到适合骨架网络输入的640x640像素长宽，同时对图像进行归一化处理，将图像的像素值除以255，得到[0,1]的浮点数；特征提取部分以预处理输出的图像为输入，使用CSPDarkNet53-Lite骨架网络提取图片的多尺度特征；多尺度特征融合部分使用3个BiFPN结构分别对骨架网络提取的多尺度特征进行特征融合，融合后的输出特征分别用于多任务目标检测；多任务目标检测部分由3个独立的目标检测任务组成，使用融合后的特征作为输入，分别检测包括行人车辆、交通灯、交通标识的规则交通目标、车道线和包括障碍物、动物的非规则交通目标；图像后处理部分对多任务目标检测的输出预测进行非极大值抑制，以过滤掉重复、无效的边框和低置信度的检测目标；目标定位部分对图像中检测到的交通目标进行由像素坐标系到世界坐标系的坐标转换，得到图像中目标在以无障碍车为原点的真实环境中的坐标位置。

在神经网络MTYOLO的设计中，考虑到车载终端的算力有限，使用包括Depth-wise卷积层的MBConv卷积块替换原CSPDarkNet53骨架网络的Bottleneck残差卷积块，以显著提升骨架网络推理的实时性。此外，考虑到规则交通目标与非规则交通目标之间存在较大的形状、纹理特征差异，使用Multi-Task Learning多任务框架，对规则交通目标和非规则交通目标分别使用单独的目标检测头部网络进行定位识别，同时考虑到车道线检测任务的特殊性，使用单独的目标检测头部网络对车道线进行检测；在训练目标检测网络的过程中，使用结构化裁剪技术通过训练、裁剪、微调的流程裁剪多余的网络参数，进而提升实时性能；

V2X通信部分用于接收、处理RSU路侧设备或搭载有OBU的附近车辆广播的V2X消息，包括BSM、RSM、RSI、MAP、SPAT消息等，具体包括：车载5G+V2X终端收到RSU或OBU广播的V2X消息后，先对消息进行解码，接着对消息体进行处理：从BSM消息中获取周围车辆的位置、速度、方向等信息；从RSM消息中获取道路机动车、非机动车、行人等的位置、速度、方向等信息；从RSI消息中获取交通事件、交通标志标牌等信息；从MAP消息中获取局部地图信息，包括局部区域的路口信息、路段信息、车道信息，道路之间的连接关系等；从SPAT消息中获取MAP消息对应的路口信号灯信息。对于消息体中包含的交通目标位置信息，以无障碍车的位置为原点进行相应的坐标转换，使得可以与视觉交通检测的目标定位信息进行融合；

视觉+V2X信息融合部分用于对视觉目标检测和V2X通信感知到的交通目标信息进行融合，包括目标关联、非视距目标感知、防碰撞预警；其中：目标关联是对视觉目标检测和V2X通信感知到的两组交通目标的位置分别进行关联，找出两组目标之间共同的目标。目标关联采用欧氏距离，最近邻匹配的方法，逐个匹配出最近位置的对应组相同类交通目标，当匹配距离在预设的最大的误差范围内时，即认为两个目标是同一目标；非视距目标感知是针对视觉目标检测方法无法在遮挡视线的情况下对视线之外的目标进行感知的缺点，利用V2X通信感知交通目标的能力，弥补视觉目标检测方法的不足。经过视觉+V2X信息融合后，过滤掉重复目标，剩下的交通目标信息可进行防碰撞预警与后续的多传感器信息融合；防碰撞预警是实时分析周围车辆信息，包括位置、速度、方向等，和无障碍车的位置、速度、方向信息，对可能出现的车辆碰撞进行提前预警，提前告知驾驶者应采取的措施。

如图5所示，车载5G+V2X终端与无障碍车下位机的无障碍车自动驾驶，在驾驶者亲属确认无障碍车驾驶者无法继续操控时，可通过5G监控终端向车载5G+V2X终端发送自动驾驶指令。在5G监控终端上设置目的地后，车载5G+V2X终端接收到信息，调用商用地图SDK进行全局路径规划。在规划好路径后，车载5G+V2X终端向无障碍车下位机发送自动驾驶激活指令，自动驾驶功能相关的模块开始工作。在此期间，车载5G+V2X终端负责行驶路径的导航和根据道路交通状态进行全局行驶路径的动态跟新。同时，融合感知模块结合高精度定位服务对周围环境进行智能感知，决策规划模块根据融合感知的环境信息和高精度地图，进行局部路径规划，控制执行模块根据收到的局部规划路径，逐步控制无障碍车按照预定的速度和轨迹，缓慢地行驶至目的地。考虑到车载5G+V2X终端的有限算力，在无障碍车自动驾驶期间，驾驶者异常状态检测模块自动关闭，以尽可能提高自动驾驶的实时性。

如图6所示，根据基于5G通信的便携式可视化无障碍车远程驾驶操作方法设计的无障碍车远程驾驶操作界面示意图，包括交通提示信息、远程监控信息、导航提示信息、前方与后方道路图像、驾驶者面部图像等的显示和对无障碍车进行左右转、加减速、鸣笛提示、前进与后退等的控制，以及对应的语音提示；其中：交通提示信息部分用于显示由车载5G+V2X终端发送的解析后的V2X消息，包括周围车辆、交通事件、交通标志标牌、局部地图、信号灯等信息；远程监控信息部分用于显示无障碍车与驾驶者的远程监控信息；导航提示信息部分用于显示当前无障碍车导航的位置、方向等信息；前方与后方道路图像部分显示由车载5G+V2X终端后置摄像头或车载摄像头捕获的道路图像；驾驶者面部图像部分用于显示车载5G+V2X终端前置摄像头捕获的图像；在无障碍车的左右转控制中，通过手指左右滑动可缓慢控制无障碍车进行相应的转向。当无障碍车转向幅度大于预设的15度时，会自动开启左闪或右闪转向提示；在加减速控制中，通过按压+号键控制无障碍车加速，松开按键则减速；在鸣笛控制中，通过按压W键进行鸣笛提示；在前进与后退控制中，通过按压N键对无障碍车前进或后退进行切换，在切换时需要进行确认；在语音提示中，提示的语音包括导航信息、防碰撞预警、无障碍车运行状态等。

除此之外，在无障碍车远程驾驶操作方法中，5G监控终端也可以通过USB接口、WiFi或蓝牙连接到远程驾驶仪上进行远程无障车驾驶。在此期间，5G监控终端向远程驾驶仪提供语音、图像等信号，同时接收、执行驾驶仪发送的包括左右转、加减速、鸣笛提示、前进与后退等控制信号。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (5)

1.一种多功能无障碍车远程监控与辅助驾驶系统，其特征在于，包括：

车载5G+V2X终端、无障碍车下位机、信息服务云平台；其中：车载5G+V2X终端包括远程监控模块、异常状态检测模块、融合感知模块、决策规划模块、远程遥控驾驶模块：远程监控模块用于实时获取无障碍车出行的状态信息；异常状态检测模块用于无障碍车和驾驶者的异常状态检测与报警；融合感知模块用于对多源数据进行融合，对道路交通目标进行检测、识别与定位；决策规划模块用于根据感知得到的道路交通状态，结合高精度定位服务提供的局部高精度定位和地图数据，对无障碍车行驶路径进行局部路径规划，并向无障碍车下位机发送控制参数；远程遥控驾驶模块，用于接收5G监控终端发送的遥控消息，并根据解码后消息内容向无障碍车下位机发送对应的控制参数；

无障碍车下位机包括车载传感模块、控制执行模块；车载传感模块用于测量无障碍车电池剩余电量、检测周围交通目标、获取后方道路图像；控制执行模块接收远程遥控驾驶或自动驾驶时发送的控制参数，控制无障碍车行驶；

信息服务云平台用于用户数据管理与提供设备间通信接口； 5G监控终端通过信息服务云平台与配对的车载5G+V2X终端进行通信，包括监控数据的获取和远程控制无障碍车行驶；

所述车载5G+V2X终端中，具体包括：

远程监控模块，使用终端内置的前置摄像头、后置摄像头、GPS、陀螺仪在内的传感器和车载热点、蓝牙，实时获取无障碍车出行的状态信息，包括前方道路图像、车身姿态、位置与速度、剩余电量、驾驶者面部图像、驾驶者心率、驾驶者血压，并将信息发送到5G监控终端，以供驾驶者亲属及时掌握无障碍车的出行状况；

异常状态检测模块，包括无障碍车异常状态检测模块、驾驶者异常状态检测模块；无障碍车异常状态检测模块用于检测无障碍车是否出现倾倒、运行速度超过阈值、位置偏离预定路线、驶入危险路段、故障、剩余电量不足在内的情况；驾驶者异常状态检测模块用于检测无障碍车驾驶者是否出现分心驾驶、疲劳驾驶、无意识驾驶和包括心率、血压生理状态异常情况，当检测到异常状态时，模块将根据异常类型发送相应报警信息到5G监控终端，同时通过短信及时提醒驾驶者亲属；

融合感知模块，用于对从终端摄像头、车载超声波雷达、V2X通信、高精度定位服务获取的包括前方道路图像、超声波定位数据、V2X消息、局部高精度定位和地图数据信息进行多源数据融合，以对道路交通目标进行检测、识别与定位，为自动驾驶提供环境感知信息；

还包括5G监控终端，5G监控终端用于接收通过信息服务云平台转发的由配对的车载5G+V2X终端发送的无障车实时监控数据及异常报警信息，和发送远程操控无障车指令到车载5G+V2X终端，以在驾驶者不能操控时进行远程辅助驾驶；5G监控终端采用5G智能手机，通过安装开发的APP可实现远程监控和辅助驾驶的功能；

车载5G+V2X终端中，V2X用于接收RSU路侧设备和附近车辆广播的V2X消息，接收到的消息包括局部道路信息、附近车辆的位置与速度信息，可用于无障碍车的防碰撞预警和识别、定位非视距交通目标，为局部路径规划提供环境感知信息；还设置有商用地图SDK，用于无障碍车自动驾驶时的全局路径规划和行驶路径导航；

高精度定位服务包括差分定位基站、地图数据中心；差分定位基站用于向车载5G+V2X终端发送高精度定位数据，地图数据中心用于发送局部高精度地图，在无障碍车自动驾驶时，高精度定位服务提供的数据用于与融合感知模块感知到的交通环境进行数据融合，为局部路径规划提供依据；

在无障碍车的异常状态检测中，具体包括：在车身倾倒检测中，使用卡尔曼滤波姿态解算方法处理从陀螺仪获得的原始姿态数据，包括绕X、Y、Z轴旋转的角速度和X、Y、Z轴的重力加速度分量，获得车身的方位角、俯仰角、翻滚角，由于车身方位角会存在累积偏差，因此使用从GPS获取的导航方位角对车身方位角进行校正，在获得车身姿态角后，将姿态角进行归一化处理，使得姿态角值在 [-1, 1] 之间，接着输入到训练好的RBF神经网络进行车身姿态分类，RBF神经网络的输入为3维姿态角，隐藏层有16个神经元，输出为5维，分别表示正常、左倾倒、右倾倒、前倾倒和后倾倒状态，当网络持续10次及以上输出结果均为非正常状态时将触发车身倾倒报警；在偏离路线检测中，对比无障碍车运行的实时位置信息与出发时预设的路线是否一致来判断无障碍车是否出现行驶偏离路线的异常情况，当实际位置偏离目标路线50米及以上时将触发偏离路线报警；在车速过限检测中，当无障碍车运行速度超过预设的15KM/h速度时将触发车速过限报警；在电机故障检测中，当收到的无障碍车状态信息表示电机或电机驱动机构故障时将触发电机故障报警；在驶入危险路段检测中，当无障碍车行驶至山坡、桥梁、河坝危险路段100米范围内时将触发驶入危险路段报警；在电量不足检测中，当检测到无障碍车剩余电量低于35%时将触发电量不足报警；

在驾驶者的异常状态检测中，具体包括：在分心检测中，包括视线偏移检测和头部偏移检测两部分；其中：视线偏移检测使用人脸双眼虹膜和人脸鼻尖特征点的相对位置判断是否存在视线偏移，当左右眼虹膜连线的中点与鼻尖到双眼虹膜连线的垂线点的距离超过预设的1.0倍虹膜平均直径时，视为出现视线偏移；头部偏移检测以分类网络输出的头部姿态分类预测为准，当分类结果为左偏头、右偏头和前倾斜时，视为出现头部偏移；当连续t时间检测到视线偏移或头部偏移偏时将触发分心驾驶报警，t预设为3秒；

在疲劳检测中，检测的结果由平均闭眼时长、嘴部闭合状态和头部倾斜状态3项统计任务的加权估计得到；其中：在平均闭眼时长统计中，以虹膜检测输出的上下眼睑位置为准，采用PERCLOS判定准则，当闭眼时长占据一段时间T的百分比如80%时可认为驾驶者出现疲劳状态，预设的时间T为10秒；在嘴部闭合状态统计中，以网络输出的嘴部闭合状态预测为准，当连续t时间检测到嘴部处于张开状态时，视为在当前T内出现疲劳状态，t预设为5秒（t<= T）；在头部倾斜状态统计中，以网络输出的头部姿态预测为准，当连续t时间检测到头部处于左倾斜、右倾斜或前倾斜时，视为在当前T内出现疲劳状态，t预设为5秒（t <= T）；3项任务的加权系数预设为0.5, 0.2, 0.3，当加权后的得分超过预设值0.5时将触发疲劳驾驶报警；

在无意识检测中，以面部异常检测的输出结果为准，当连续t时间检测到闭眼、头部倾倒或嘴部大张开的状况时，视为驾驶员处于失去意识的状态，将触发无意识报警，t预设为10秒；

在生理异常状态检测中，以通过蓝牙接收到的驾驶者佩戴的智能手环发送的驾驶者心率、血压数据为准，当检测到驾驶者的心率超出预设的 [60, 100] 范围时，视为发生心率异常，将触发心率异常报警；当检测到驾驶者的血压超出预设的收缩压 [90, 140] mmHg范围或舒张压 [60, 90] mmHg时，视为发生血压异常，将触发血压异常报警。

2.根据权利要求1所述的一种多功能无障碍车远程监控与辅助驾驶系统，其特征在于，还包括智能手环，智能手环通过蓝牙或WiFi连接到车载5G+V2X终端，用于通过内置的心率传感器、血压传感器，获取驾驶者的心率、血压在内的数据，并发送到车载5G+V2X终端进行驾驶者生理状态的异常检测。

3.根据权利要求2所述的一种多功能无障碍车远程监控与辅助驾驶系统，其特征在于，所述远程监控与异常状态检测模块；其中：远程监控模块通过车载5G+V2X终端集成的陀螺仪、GPS、前置摄像头、后置摄像头传感器和车载无线热点、蓝牙，实时获取包括车身姿态信息、位置速度信息、驾驶者面部图像、前方道路图像、无障碍车状态信息、驾驶者心率、驾驶者血压，并转发到异常状态检测模块和上传到信息服务云平台，驾驶者亲属可通过5G监控终端及时查看无障碍车的出行状态。

4.根据权利要求3所述的一种多功能无障碍车远程监控与辅助驾驶系统，其特征在于，所述车载传感模块包括SOC测量模块、车载超声波雷达、车载摄像头，用于测量无障碍车电池剩余电量、检测周围交通目标、获取后方道路图像；控制执行模块接收远程遥控驾驶或自动驾驶时发送的控制参数，在远程遥控驾驶时，模块根据接收到的控制指令，向执行机构发出控制信号，控制无障碍车的方向和速度；在自动驾驶时，模块以收到的局部规划路径为准，向执行机构发出控制信号，逐步驱动无障碍车以预定的速度和轨迹行驶。

5.根据权利要求1所述的一种多功能无障碍车远程监控与辅助驾驶系统，其特征在于，所述驾驶者异常状态检测模块，包括人脸检测与特征点定位模块、多任务异常检测模块；其中：人脸检测与特征点定位模块用于从车载5G+V2X终端的前置摄像头获取的驾驶者面部图像中检测出驾驶者人脸边框和输出包括双眼、鼻尖、嘴部的特征点；多任务异常检测模块包括面部异常状态检测和生理异常状态检测部分；其中：面部异常状态检测包括分心检测、疲劳检测、无意识检测，生理异常状态检测包括心率异常检测、血压异常检测。

Images