CN204440659U - 驾驶员安全驾驶辅助系统 - Google Patents

Abstract

驾驶员安全驾驶辅助系统，包括视频采集压缩模块、前端中控模块、无线回传模块、中心后台管理系统，其特征在于，所述视频采集压缩模块采集驾驶员的驾驶情况并进行压缩，将压缩后的码流发送至所述前端中控模块，所述前端中控模块用于检测特征视频中的驾驶行为，并可以在发现非安全驾驶行为时发出语音提醒；所述前端中控模块通过无线回传模块将视频中的违规图片回送至所述中心后台管理系统。本实用新型利用高清视频采集技术、智能行为识别技术、无线传输技术以及计算机网络等多项技术、在驾驶员出现非安全驾驶行为时及时提醒和预警。

Description

驾驶员安全驾驶辅助系统

技术领域

本实用新型涉及一种驾驶员安全驾驶辅助系统，具体的，涉及一种基于驾驶行为模式识别的驾驶员安全驾驶辅助系统。

背景技术

随着我国高速公路的不断建设和发展，驾驶员的安全驾驶至关重要。数据表明，不专心驾驶是导致车祸的重要因素之一，每年全球约30万人因不专心驾驶(单手或双手离开方向盘、吸烟、打手机、进食等)行为丧生。2014年7月12日，王某驾驶长途客运班车，一边打手机一边抽烟，单手控制方向盘，致使车辆失控与匝道左侧边护栏碰撞后翻出路外。2014年6月27日，大巴车司机一边开车一边嗑瓜子，单手离开方向盘，造成追尾。2013年11月27日，一大巴司机边开车边连续看手机长达20秒，单手驾车，追尾酿车祸。

现有技术中，为了驾驶安全，开发了一些安全驾驶辅助系统，但这些系统普遍存在以下几个方面的问题：

(1)单纯记录，无法回传，无法自动识别非安全行为，无法进行预防，只能事后追究责任取证。现有大巴上很多安装了行车记录仪，可以记录车厢内驾驶员及乘客的行为情况，也同时记录车外的情况，但一是无法进行记录回传，二是也不能自动识别，其作用仅仅是事后公司进行调查取证，而不能做到“预防优先，防患于未然”。

(2)某些实时交互平台(如丰田的G-book系统)需要配备专业的后端服务人员，运营费用高，智能程度低，也容易分散驾驶人员的注意力。另外，其所有的诉求都是由驾驶员主动发起，并不能起到辅助驾驶员的作用，在安全辅助方面的作用有些本末倒置。

(3)某些采用多传感设备的方法需要改造汽车本身，前期成本高，且影响驾驶习惯。该方法会加装握力感应器等，一来影响驾驶习惯，另外也需要对现有的车辆进行深度改造，难以推广。

为了解决上述技术问题，本发明团队经过刻苦钻研，开发出了一套成熟的安全驾驶辅助系统，本方案基于现有的图像监控及回传系统，充分发挥现有系统的价值，在后台服务器端增加先进的“非安全驾驶行为模式识别模块”(把驾驶行为模式识别统一到到对方向盘状态的检测，诸如行进过程中单手握方向盘或没有手握住方向盘超出30秒即可归结为非安全驾驶行为)，构建自动识别及报警系统，预防事故，彻底改变现有的“事后追究，难以预防”的窘态。

实用新型内容

基于此，本实用新型的目的在于，提供一种利用高清视频采集技术、智能行为识别技术、无线传输技术以及计算机网络等多项技术、在驾驶员出现非安全驾驶行为时及时提醒和预警的驾驶员安全驾驶辅助系统。

根据本实用新型所提供的驾驶员安全驾驶辅助系统，包括视频采集压缩模块、前端中控模块、无线回传模块、中心后台管理系统，其特征在于，所述视频采集压缩模块采集驾驶员的驾驶情况并进行压缩，将压缩后的码流发送至所述前端中控模块，所述中控模块分拣出特征视频，并实时分析检测特征视频中的驾驶行为，一旦发现非安全驾驶行为，发出语音提醒，截取违规图片，并将相应的违规图片(含时戳)通过无线回传模块回送至所述中心后台管理系统。

根据本实用新型上述驾驶员安全驾驶辅助系统，其特征在于，中心后台管理系统为指挥控制中心提供数据，指挥控制中心根据回传的违规图片的频率和数量，通过语音专线提醒驾驶员纠正驾驶行为。

根据本实用新型上述驾驶员安全驾驶辅助系统，其特征在于，所述前端中控模块从所述视频采集压缩模块发送过来的所述压缩码流中实时分析驾驶员行为，检测判断是否有不安全驾驶行为的发生，一旦检测到不安全驾驶行为的发生，自动语音播报提醒或把语音信号发送至后台，由中心后台管理系统确认是否进行提醒，并从码流中截取反映不安全驾驶行为的多张照片，由无线回传模块发送至后台管理系统。

根据本实用新型上述驾驶员安全驾驶辅助系统，其特征在于，所述前端中控模块当分析出汽车处于行驶过程中并且汽车方向盘上没有两只手的持续时间超过30s时，判断为驾驶员有不安全驾驶行为发生。

根据本实用新型上述驾驶员安全驾驶辅助系统，其特征在于，所述前端中控模块当分析出汽车处于行驶过程中并且汽车方向盘上没有两只手的持续时间超过15s时，判断为驾驶员有不安全驾驶行为发生。

根据本实用新型上述驾驶员安全驾驶辅助系统，其特征在于，通过所述无线回传模块，所述提醒语音和特征视频、违规图片被回传至中心后台管理系统。

根据本实用新型，中心后台管理系统具有以下功能：对接收到的特征图片进行存盘、显示、以及进行频度统计；同时管理多个驾驶员的行为；提供指挥控制中心人工干预的接口。

根据本实用新型，由于本实用新型利用高分辨率视频采集压缩技术、智能行为识别预警技术、无线回传技术以及计算机网络技术，利用作为视频采集压缩模块的高清摄像头将驾驶员的驾驶情况采集并进行压缩，并将压缩后的码流送前端中控模块，中控模块实时分析检测特征视频中的驾驶行为，一旦发现非安全驾驶行为，发出语音提醒并将相应的违规图片(含时戳)通过3G回传模块回送中心后台管理系统备份备查，这样，作为指控中心(指挥控制中心)，就能够根据回传的违规图片的频率和数量，以决定是否需要通过语音专线提醒驾驶员纠正驾驶行为。

根据本实用新型，视频采集压缩模块采用市面上的网络高清摄像头，其可以将驾驶员的行为进行高清录像并进行一定的压缩，并封装成IP包通过网口送出，现有的摄像头一般采用H.264进行压缩，本实用新型基于现在流行的3G/4G网络，但其压缩后的数据流对于3G/4G网络仍是很有压力，故本项目采用现场分析的方法，只提取违规时的图片进行传输，其他时段的视频丢弃，这样大大减轻了网络的压力。

根据本实用新型，前端中控模块从摄像头送过来的压缩视频流中实时分析驾驶员行为，检测判断是否有不安全驾驶行为的发生，一旦检测到不安全驾驶行为的发生，自动语音播报提醒(可选)或把语音信号发送至后台，由后台确认是否进行提醒，从视频流中截取反映不安全驾驶行为的多张照片，由3G/4G回传模块发送至中心后台管理系统进行存储和统计、备份备查。

根据本实用新型，无线回传模块将提醒语音和特征视频、违规图片通过3G/4G网络回传至中心后台管理系统。为了防止3G/4G网络的带宽不足及带宽抖动大，可以进行多网卡带宽绑定，进行链路聚合，以实现网络负载均衡及智能路由。

根据本实用新型，中心后台管理系统主要有以下功能：对接收到的特征图片进行存盘、显示、以及进行频度统计；可同时管理多个驾驶员的行为；提供指控中心人工干预的接口；其他管理员希望具备的管理功能。

根据本实用新型，可以实现非常优秀的性能指标：非安全行为至少包括抽烟、打手机、进食、单手或双手离开方向盘，识别率不小于60％；驾驶员非安全行为提醒延迟：不超过10s；后台支持用户数：不小于2000个(依赖于中心处理器的能力)。

根据本实用新型，采用基于图像的“非安全驾驶行为模式识别”算法，为驾驶运营提供优化的驾驶安全辅助系统，可及时发现、上报并提醒非安全驾驶行为，预防交通事故的发生。

根据本实用新型，系统提供良好的扩展性和兼容行，不但先期能够实现“行车过程中单手或双手离开方向盘等异常行为，行车过程中吸烟、打手机、进食等违规行为”等2大类代表的识别预警，而且后期可以扩展到“东张西望、交谈聊天、驾驶时间过长、疲劳征兆”等行为的预警与提醒。

根据本实用新型，采集多类实际数据，对识别算法进行优化，使得虚警概率和漏警概率大大降低，达到实用的标准，同时没有给驾驶员带来额外的干扰与注意力分散。

根据本实用新型，立足于现有的硬件资源整合，包括高清摄像采集模块、前端中控模块、3G/4G无线传输模块、中心软件统计模块，将核心的识别放在前端中控模块处理，提高资源利用效率及及时性。

附图说明

图1为示出本实用新型一具体实施方式的驾驶员安全驾驶辅助系统的结构图。

图2为示出本实用新型一具体实施方式的驾驶员安全驾驶辅助系统的视频压缩示意图。

具体实施方式

下面参照附图，通过具体实施方式对本实用新型的安全驾驶辅助系统进行详细描述。本领域技术人员应该懂得，该描述仅仅是例示性的，本实用新型并不限于该实施方式。

如图1所示，图1为示出本实用新型一具体实施方式的驾驶员安全驾驶辅助系统的结构图。所述驾驶员安全驾驶辅助系统包括视频采集压缩模块、前端中控模块、无线回传模块、中心后台管理系统，所述视频采集压缩模块采集驾驶员的驾驶情况并进行压缩，将压缩后的码流发送至所述前端中控模块，所述中控模块分拣出特征视频，并实时分析检测特征视频中的驾驶行为，一旦发现非安全驾驶行为，发出语音提醒，截取违规图片，并将相应的违规图片(含时戳)通过无线回传模块回送至所述中心后台管理系统存储统计、备份备查，中心后台管理系统为指挥控制中心提供数据，这样，作为指控中心，就能够根据回传的违规图片的频率和数量，以决定是否需要通过语音专线提醒驾驶员纠正驾驶行为。

在该方案中，将核心的识别放在前端中控模块处理，在中控模块中即已经分拣出特征视频，而无需将整个码流进行回传，只需将截取的违规图片传送给中心后台管理系统进行存储分析，这样大大减轻了网路负担，提高网路传输效率，显著提高资源利用效率及及时性。

在本实用新型该具体实施方式中，视频采集区域主要是驾驶员区域，集中在驾驶员座位、驾驶员本身以及方向盘等相关区域。由于本实用新型主要关注驾驶员是否存在非安全驾驶行为，其背景相对固定单一，可变参量少，故可采用基于某些特征的高倍压缩方法；另外，对于公司而言，其驾驶员的队伍是相对非常稳定的，故可以提前在中心管理系统中建立相应的库，以进行模板的匹配。

在本实用新型中，对于视频压缩而言，从高清摄像头到高清视频，采用经典的H.264压缩解决方案，其为成熟方案，一般的摄像头里面都进行了集成，其输出的包为已经进行H.264压缩后的码流，该码流可送DVR存储。由于本方案不对H.264进行修改，故不在此方案进行赘述，参考摄像头的说明使用即可，无需增加额外的硬件或软件，采用业界通用的H.264IP摄像头即可。

如上所述，本实用新型所监视的区域为方向盘区域，其在纵向上是固定的，只有水平方向的转动，是一个特征非常明显且很容易描述的对象，其只需要用简单的几个参数即可准确描述。另外，方向盘上的操作只有3种状态，双手握住方向盘(合规)，单手握住方向盘(交叉打轮是个例外，但高速行驶中极少采用)，无手在方向盘上。

基于这种特定的应用场景，可以采用基于特征点的压缩，其基本原理示意如图2所示。

图2为示出本实用新型具体实施方式的驾驶员安全驾驶辅助系统的视频压缩示意图。

如图2所示，发送端和接收端先从网络平台上获得共同的媒体中间件库，在此库的基础上，发端只需要发送关于该中间件的某类特征即可，收端根据特征即可重建出发端的原始图片，可进一步降低数据量5～10倍，代价是发端需要一定的处理能力，前期的试验表明一般的移动终端的处理能力是足够的，对于车载可供电的压缩应该是毫无压力的。

详细的来说，对于本项目的场景，收发双端实现建立好方向盘的库、司机握方向盘的库，所需要传输的就是一个标号、坐标等极少的特征参数，收端根据收到的特征参数，对库进行旋转投影等操作便可重建发端的违规图片。

下面对本实用新型前端中控模块进行详细说明。

前端中控模块是整个系统的大脑，其负责及时检测出非安全驾驶行为并作出正确响应，其运行的准确率及快捷性直接决定着整个系统的性能，也是是否能够达到需求的决定因素。本实用新型中，本系统的需求诸如可以是：识别驾驶员行车过程中单手或双手离开方向盘等异常行为；识别驾驶员行车过程中吸烟、打手机、进食等违规行为；所有异常行为及违规行为数据通过3G/4G方式回传到公司后台服务器。

上述需求的首要问题是进行行为分析及聚类，然后准确快捷地识别出非安全驾驶行为，然后进行响应干预，预防事故。

对于非安全驾驶行为抽象与聚类，诸如驾驶中抽烟、驾驶中进食、驾驶中打电话、单手驾驶等均属于非安全驾驶行为，直观上来看，其中存在着诸多不同，驾驶员性别不同、肤色不同、表情不同、身高不同、表情不同、姿态不同、车型不同、手机不同，如果逐一进行识别，需要具有极高的可与人类比拟的智能程度，而无法实现系统的自动识别，也就退化到现在的监控模式，靠人眼死盯，系统的智能化程度极低，更谈不上预警、预防等更高级的要求和操作，但仔细分析这些非安全驾驶行为，其有一个共同点：单手或者双手离开了方向盘。从这个角度出发的话，一个多场景检测识别的问题可抽象统一到一个对方向盘上有几只手的检测问题，这显然是一个较为容易的问题。由此，可以将该类能够反映绝大多数非安全驾驶行为抽象与聚类为同一性质的结果，即将同时满足如下两个个条件的情形抽象与聚类为非安全驾驶行为：

1)行驶过程中(不检查停车状态)；

2)方向盘上没有两只手的持续时间超过30s(限定时间是为了避免交叉打轮或是换挡之类操作的误报，但该时间可以进一步根据先验知识优化)。

在抽象和聚类后，前端中控模块即对其进行智能行为识别动作。

由上述可知，智能行为识别动作可以被简化成一个方向盘上的有几只手持续控制方向盘的时空二维检测问题，这大大简化了识别模块运行模式，提高运行速度。这其中，在进行智能行为识别时，还需同时考虑几个细节性问题：

1)摄像头要能够以较好的角度获得方向盘上手的位置，尽量从驾驶员的后上方俯视，以免被驾驶员本身或座椅遮挡；

2)由于涉及到时间尺度的检测，时间阈值的设置是很关键的，其需要通过前期的试验确立出合理的取值；

3)由于所检测的为方向盘，而方向盘为已知的且不会发生变化的对象，所以，在本实用新型中，提前建立有一个精确的模型库，模拟出各个方向盘的各种形态，显著辅助该系统提高识别的速度和准确率；

4)由于上述抽象与聚类模式归集了绝多数非安全驾驶行为，因此极少数非安全驾驶行为中，对方向盘的检测可能会存在一定的漏报，比如说抽烟时只是点烟及扔点烟头时用手，其他时候仍是双手握着方向盘，针对这种特殊情况，本实用新型为此增加对驾驶员嘴部形态进行检测的模式，两者结合，进一步提高识别准确率。

在考虑到上述四个细节问题之后，智能行为识别实质性简化成为一个经典的二维模式识别，其收敛速度及准确性将完全取决于模板的准确性、拍摄视频的清晰度等等，其在这方面的问题即归集为系统的问题，因本实用新型的发明点不在于对该系统问题进行分析，不在此赘述。我们前期开展过的相似工作(人脸检测)的准确率在80％以上，本实用新型中，通过植入相关算法，大大提高识别准确率。

智能行为识别的最终目标是及时发现并预警，下面举个具体例子对其基本工作机理及流程进行介绍，如下：

1)车辆启动后，对接收的特征视频进行驾驶行为模式进行自动识别；

2)如检测到单手离开方向盘，启动计数器，如持续10秒仍然是单手离开方向盘，立即通过语音提醒驾驶员注意安全驾驶；

3)如检测到双手离开方向盘，立即通过语音提醒驾驶员注意安全驾驶。

下面对回传模块进行说明。

考虑到目前只需传输特征图片，采用目前的3G网络足可以支撑。当需要考虑网络传输效果或者需要支撑多个车辆运行时，也可以采用4G网络进行传输，本实用新型系统同时还兼容5G网络传输。

另外，在考虑传输网络时，同时还应考虑到网络运营商的一些状况，例如：1)不同区域不同运营商的网络状况不同；2)同一运营商的网络抖动也会较大。故此，本实用新型优选采用2个网卡进行互为备份均衡的设计，提高回传图片的可靠性。

在前期的无线3G/4G回传模块的开发中，开发了单卡、双卡、七卡等支持多种运营商的多卡3G/4G回传模块，并形成了自主的创新技术，本申请申请人将在后续中不排除进一步申请专利的可能性。因为本实用新型发明点不在于此，所以不详细描述，采用该技术，具有诸多优点，例如：

极速的传输体验：采用自主研发的DYATP协议，带宽占用可达90％，传输速度比普通FTP快8倍。

采用断点续传技术：采用了某类先进编码技术，可以进行断点续传，降低传输开销。

数据安全可靠：支持MD5校验，传输时动态进行实时加密。结合前面提到的特征图片压缩方法，可以大幅度降低所需的3G/4G卡数量(考虑到系统的稳定性，采用2块3G/4G网卡即可满足要求)，从而大幅降低回传所引入的流量开销，节省该系统的日常运营费用。

下面对中心后台管理系统进行说明。中心后台管理系统主要实现回传图片的存档、显示与监控。考虑到同时监控的车辆较多，后台系统采用中断机制，主界面只显示出现违规的车辆。同时，按照违规次数和频度对所管理车辆进行排序，供监控人员参考。后台系统还提供报警机制，对出现违规极为频繁的车辆，报警提醒监控人员进行人工干预。

上面对本实用新型的安全驾驶辅助系统做出了详细的说明，由上描述可以看出，根据本实用新型，所述安全驾驶辅助系统能够高准确率实现智能识别，及时预警，通过模板匹配及自学习等算法进行行为自动识别，可自动识别非安全驾驶行为，并主动向驾驶员提醒预警，预防危险。其中，所述模板匹配及自学习算法可以采用本领域通用的模板匹配及自学习算法，采用成熟的匹配算法，以确保系统运行的稳定性和可靠性。

另外，根据本实用新型，所述安全驾驶辅助系统能够高分辨率进行特征提取，高效传输，本实用新型采用3G/4G等技术进行实时回传，如将全部视频回传将会消耗大量的流量，大幅增加运营成本，采用特征提取手段，建立先验知识库，大幅压低所需要传输的数据量。只传输相关的图片(或者理解为一种行为触发时的极低帧率的视频传输)，大大降低网路堵塞风险，大大节约可利用资源。

另外，根据本实用新型，所述安全驾驶辅助系统采用通用算法，易于扩展，本系统的核心识别算法具有通用性，只需更换相应的模板先验库即可，在前期试验运行成功的基础上，可以逐渐扩展到其他安全驾驶的方面上，以更大程度保证驾驶的安全性。

上面虽然按照具体实施方式进行了详细说明，但是本领域技术人员懂得，在上述说明的基础上进行各种改变和修饰，但是这些改变和修饰其均应该视为本实用新型的一部分。对于本领域技术人员而言，他们同样懂得，本实用新型具有更多潜在的优势，诸如：

1)本安全驾驶辅助系统处理流程合理、完整，数据准确可靠，满足用户信息化管理方面的需要；

2)本安全驾驶辅助系统可实现无人值守，降低人工成本。能够主动发现非安全驾驶行为或隐患，所述系统主动地进行识别与处理，并通过3G/4G无线传输至中心后台存储，管理员可通过系统截取图片确认是否存在非法驾驶行为以备后查，高效满足管理的需求；

3)本安全驾驶辅助系统具有较高服务水平，可以同时服务一个或多个车辆驾驶员，实现公司大量车队的批量高效管理；

4)本安全驾驶辅助系统采取可靠、成熟的技术手段，实现对驾驶员的跟踪服务，达到快速反应的目的；

5)本安全驾驶辅助系统具备可维护、可扩充性，易于实现升级，兼容性强，可支持所需扩展功能，适应未来的需求；

6)本安全驾驶辅助系统高度集成、设备安装方便、架构易于扩展升级。

上述尽管对本实用新型做出了详细说明，但是本实用新型并不仅限于上述具体实施方式之中，在不脱离本实用新型宗旨和精神范围内对本实用新型做出的各种变更和修饰均应落入本实用新型保护范围之内，本实用新型保护范围由所附权利要求书限定。

Claims (3)

1.驾驶员安全驾驶辅助系统，包括视频采集压缩模块、前端中控模块、无线回传模块、中心后台管理系统，其特征在于，所述视频采集压缩模块采集驾驶员的驾驶情况并进行压缩，将压缩后的码流发送至所述前端中控模块，所述前端中控模块用于检测特征视频中的驾驶行为，并可以在发现非安全驾驶行为时发出语音提醒；所述前端中控模块通过无线回传模块将视频中的违规图片回送至所述中心后台管理系统。

2.如权利要求1所述驾驶员安全驾驶辅助系统，其特征在于，中心后台管理系统为指挥控制中心提供数据，指挥控制中心根据回传的违规图片的频率和数量，通过语音专线提醒驾驶员纠正驾驶行为。

3.如权利要求1所述驾驶员安全驾驶辅助系统，其特征在于，所述前端中控模块还通过无线回传模块，将语音提醒和特征视频回传至中心后台管理系统。