CN112565352A

CN112565352A - 一种军用车辆驾驶远程授权及监控系统

Info

Publication number: CN112565352A
Application number: CN202011304648.XA
Authority: CN
Inventors: 司维超
Original assignee: Naval Aeronautical University
Current assignee: Naval Aeronautical University
Priority date: 2020-11-19
Filing date: 2020-11-19
Publication date: 2021-03-26

Abstract

本发明公开了一种军用车辆驾驶远程授权及监控系统，本系统采用人脸识别技术、网络技术以及远程连接授权技术，由车辆端、服务器端和客户端三部分组成。车辆端用于进行驾驶员人脸采集、人脸识别、实时抓拍、车辆定位以及车辆报警，并将相关信息利用HTTP协议进行远程传输至服务端。服务器端部署于云服务器，运行软件则是基于SpringBoot建立的管理程序，用于管理车辆端和客户端信息、汇总车辆端上传数据、在车辆端和客户端建立数据桥梁，并进行车辆路线偏离检测。客户端部署于移动智能终端，用于进行远程授权、远程监控等。本系统能够实现车辆的自动化管理，进而防止车辆的不正当使用行为，保障车辆管理安全。

Description

一种军用车辆驾驶远程授权及监控系统

技术领域

本发明交通管理技术领域，具体涉及一种军用车辆驾驶远程授权及监控系统。

背景技术

近年来，随着科技的加速发展，车辆类型和数量不断增加，车辆管理难度也不断攀升。但是各单位在管理机动车辆以及装备车辆时，仍大多采用人工管理的传统方法。在车辆管理难度大、安全事故突发性强的背景下，这种人工管理的方法就会带来诸多弊端，不仅占用大量的人力资源，且工作效率极其低下，严重影响车辆安全管理和效率。

因此，如何提高传统的车辆管理模式来满足新时代军队建设的需要是目前亟待解决的问题。

发明内容

针对上述存在的问题，本发明旨在提供一种军用车辆驾驶远程授权及监控系统，为了实现上述目的，本发明所采用的技术方案如下：

一种军用车辆驾驶远程授权及监控系统，其特征在于，包括车辆端、服务器端以及客户端；

所述车辆端是一种车载装置，其设置在军用车辆上，包括人脸图像采集模块、人脸识别模块、远程传输模块、实时抓拍模块、车辆定位模块以及车辆报警模块；

所述服务器端与车辆端和客户端通过无线网络连接，包括车辆路线偏离检测模块、信息管理单元和定期更新单元，车辆路线偏离检测模块通过车辆端上传的车辆定位信息与预设规划的任务路径进行车辆路线偏离检测；信息管理单元通过数据库存储客户端以及车载装置之间的对应关系，用于管理车辆端和客户端基本信息、汇总车辆端采集上传的车辆信息数据；定期更新单元通过接口调用实现对车辆信息和用户信息的周期更新；

所述客户端包括手机端、平板终端，其上安装有网页版客户端管理APP，用于对所管理的车辆端进行当前信息获取、远程授权和远程实时监控驾驶室。

进一步地，所述人脸图像采集模块用于预设录入包含多位合法驾驶员的人脸信息集，所述人脸信息集是由在光线条件好的环境下采集到的多张多角度无遮挡拍摄的驾驶员人脸照片经由面部特征提取算法处理后所得到的人脸特征数据所组成的集合。

进一步地，所述人脸识别模块包括摄像头抓拍单元和图像处理单元，其通过设置车辆驾驶室内固定的摄像头，经所述摄像头抓拍单元抓拍驾驶员图像，图像处理单元将驾驶员图像转换为灰度图像，再通过人脸识别，提取人脸图像的特征与所述人脸信息集中的人脸特征数据进行对比，并输出对比结果。

进一步地，所述远程传输模块包括无线模块，用于将车辆端处理的人脸识别结果、实时抓拍结果、车辆行驶路线等信息传输到服务器端进行存储进一步再转发至客户端，并将客户端下达的授权结果、抓拍命令等信号上传服务端再转发到车辆端。

进一步地，所述实时抓拍模块通过车辆驾驶室内固定的摄像头实时捕获车辆驾驶员视频流，设定时间间隔，并在时间间隔内连续抓取多帧面部图像，再将面部图像转化为灰度图，最后将抓拍的多帧图像传输至所述服务端。

进一步地，所述车辆定位模块包括车载北斗定位单元，用于车辆定位，并将车辆位置信息发送到所述车辆路线偏离检测模块。

进一步地，所述车辆路线偏离检测模块包括服务端地图比对单元，将接收到的所述车辆端提供的车辆位置信息与预期规划的行进路线进行比对，检测路线是否偏离，并将检测结果通过远程传输模块传送到客户端。

进一步地，所述客户端上运行有远程授权模块，用于获取服务端转发的车辆端人脸识别结果及抓拍的驾驶员图像，进行人为判断，以决定远程授权或拒绝使用车辆。

进一步地，所述客户端上还运行有远程监控模块，用于通过服务端向车辆端发起实时抓拍驾驶员图像的命令，便于随时远程监控驾驶室情况。

进一步地，所述车辆报警模块运行于车辆端，包括报警单元以及蜂鸣器，报警单元用于接收所述客户端发送的授权或拒绝信号，当接收到该车辆的拒绝授权信号时，控制蜂鸣器发出报警并控制该车辆启动电源禁止启动。

本发明的有益效果包括：

第一，本发明中的针对当前人工管理方法中：车辆管理难度大、安全事故突发性强的弊端，利用远程授权、监控、路线比对和传输等技术从远程客户端控制车辆启动或报警，以及实时掌握驾驶情况；

第二，本发明中的系统利用人脸采集技术，基于OpenCV对驾驶员人脸进行检测，可以根据需要为当前车辆预设多位驾驶员信息，保证了一车多用；

第三，本发明中的系统利用人脸识别技术，结合人工智能深度学习的特点提高了车辆驾驶员身份认证的准确性，且直接运行于车辆端，避免了与服务端冗余的数据交互，大大提高了识别效率；

第四，本发明中的系统利用实时抓拍技术，基于视频流连续抓拍多帧驾驶员图像，一是可以检测是否中途更换非法驾驶员，二是可以有效检测驾驶员是否出现精力不集中或打瞌睡等危险情况，且避免了单帧图像带来的不确定性的弊端；

第五，本发明中的系统利用车辆路线偏离检测技术，通过预先规划本次任务行车路线，定时获取车辆端定位模块提供的车辆定位信息，并与该任务路线进行比对，避免车辆偏离预定路线，可以防止公车私用的情况出现；

第六，本发明中的系统利用远程授权，可以通过远程通信技术，向车辆端下达允许或拒绝启动命令，且在拒绝使用时利用车辆报警模块发出报警提示，这样可以保证车辆的准入安全；

第七，本发明中的系统利用远程监控技术，可以通过实时抓拍技术，向车辆端下达抓拍驾驶员当前驾驶状态命令，且在判断出现危险情况时通过车辆报警模块发出报警提示，这样可以保证车辆的使用安全。

附图说明

图1为本系统的整体架构图；

图2为本系统各端的结构示意图；

图3为本系统中的数据传输流程图；

图4为本系统的工作过程流程图；

图5为本系统实施例中客户端信息实体-属性图；

图6为本系统实施例中双端匹配信息实体-属性图；

图7为本系统实施例中识别操作结果实体-属性图；

图8为本系统实施例中的服务端系统E-R图；

图9为本系统的人脸识别模型的神经网络结构图；

图10为本系统实施例中服务器登录界面图；

图11为本系统实施例中服务端车辆识别结果界面图；

图12为本系统实施例中客户端登录界面图；

图13为本系统客户端控制界面；

具体实施方式

为了使本领域的普通技术人员能更好的理解本发明的技术方案，下面结合附图和实施例对本发明的技术方案做进一步的描述。

参考附图1-2可以看出，一种军用车辆驾驶远程授权及监控系统，包括车辆端、服务器端以及客户端；

对于每个车辆来说，其具有专属驾驶员集合，为了能够保证该集合中驾驶员具有驾驶车辆的权限，必须首先要采集驾驶员的人脸信息集：

进一步地，所述人脸图像采集模块为预设的人脸信息集，在系统工作前，驾驶人要首先进行驾驶人员注册，其通过在光线条件好的环境下采集的多张多角度无遮挡拍摄的正式照片形成的人脸特征数据集组成，并连同驾驶员的姓名信息一起存储在车辆端的SD卡中，作为注册人员的安全认证标识，当驾驶员进入驾驶室启动车辆的时候，车辆端的摄像头会抓拍当前人员的面部图像并进行人脸特征的提取。根据车辆端获取的人脸特征结合SD卡内保存的特征模板进行人脸识别；

人脸采集模块目的是形成针对某车辆的合法用户的人脸特征数据包，因此在采集时，基于OpenCV对人脸进行检测，并将已检出的人脸突出出来，转化为灰度图像以此减少计算机所需要处理的计算量。针对每一个合法驾驶员可采集多张不同角度的图像，以增加后续人脸识别的准确性，最终将采集到的每个驾驶员的多张人脸图像集中放置于以其“编号-姓名”为命名的文件夹中。

进一步地，所述人脸识别模块用于接收驾驶室内设置的固定摄像头抓拍的面部图像，当驾驶员进人驾驶室后，利用人脸识别技术从输入图像中查找人脸位置并将人脸从整体图像中分割出来，并提取人脸图像的特征，即对规一化的人脸进行识别以及特征提取，再与所述的人脸信息集中的人脸特征进行对比，确认是否有相匹配的人脸图像，最终输出对比结果；

本系统采用了卷积神经网络(CNN)用于建立人脸识别模型，在模型中我们使用了Keras所提供的处理多分类问题的categorical_crossentropy损失函数。根据需要设计各神经网络层并按顺序添加至模型中，模型建立如附图9所示，模型建立完毕后，根据人脸样本的设计方案，采用了LFW人脸数据集进行模型训练。LFW人脸数据集由13000多张不同肤色人种在不同场景下的人脸图片组成。该数据集一共含有5000位不同人物的人脸模型，且其中的1680人都包含两张及两张以上的图片，这些图片都有相对应的识别标志、ID等。

模型训练完毕后，会形成aggregate.face.model.h5模型文件，供后续识别人脸调用。执行识别时，将训练好的模型加载出来，通过指定的摄像头设备实时捕获视频流，并根据人脸识别分类器采用循环检测的方式，读取视频流的每一帧图像，将彩色图像转化为灰度图像以降低数据处理的复杂度。并将灰度图像中所识别的人脸图像作为输入传递到模型中去识别。最后将识别好的人脸信息以及人脸图片存储至指定文件夹中，并调用服务端提供的SaveCZDResults接口上传相应的信息至服务端。

进一步地，所述远程传输模块包括无线传输单元，用于将车辆端处理的人脸识别结果、实时抓拍结果、车辆定位等信息传输到服务器端进行存储进一步再转发至客户端，并将客户端下达的授权结果、抓拍命令和危险提示等信号上传服务端再发送到车辆端。

进一步地，所述实时抓拍模块运行于车辆端，通过车辆驾驶室内固定摄像头实时捕获车辆驾驶员视频流，根据一定时间间隔连续抓取多帧面部图像，并将彩色图像转化为灰度图像以提高数据传输的效率，最后将抓拍的多帧图像传输至所述服务端。

进一步地，所述车辆定位模块包括车载北斗定位单元，用于车辆定位，并将车辆位置信息发送到车辆路线偏离检测模块。

进一步地，所述车辆路线偏离检测模块能够实现车辆行驶位置信息的数据采集，并且在执行任务时，通过车辆位置信息实时掌握车辆动态，能够有效监测是否偏离预设任务路线等情况，防止驾驶员在执行任务期间做与任务无关的事，便于对车辆的严格管理。

进一步地，所述客户端上运行有远程监控模块，用于通过服务端向车辆端发起抓拍驾驶员图像的命令，以随时远程监控驾驶室情况。

实施例：

参考附图3-4可以看出，本系统的工作流程如下：

首先，将车辆端软硬件安装于军用车辆上，利用实时抓拍模块进行驾驶员人脸识别或抓拍，将结果通过服务端提供的API远程上传至服务器端；

其次，服务器部署在云服务器上，操作系统使用Windows Server 2012，服务器上建立了车辆端与客户端信息对应关系数据库并提供相应的调用接口用于将车辆端和客户端之间的数据汇总和中转，接收车辆端识别或抓拍信息，并向客户端下发车辆端识别或抓拍信息；

再次，参考附图客户端从服务器获取识别或抓拍信息后，进行人为判断，进而给出授权或抓拍指令，并上传至服务器端；

再次；服务器端响应客户端授权或抓拍操作指令，进一步将该指令传输至车辆端；

最后，车辆端收到服务器中转过来的操作指令后，进行确认授权、拒绝使用或抓拍的操作。

进一步地，服务器上的数据库设计包括以下两部分：

第一，建立实体属性关系(E-R)图，其包括三个部分的信息：

(1)客户端信息

维护了客户端的基本信息，用于对客户端用户登录进行身份认证，数据项内容为id、客户编号、客户名称、性别、电话号码、地址、密码、备注。其中，客户编号默认采用其手机号码；密码存储的内容经过MD5进行加密。客户端信息的实体-属性图如附图5所示。

(2)双端匹配信息

维护了车辆端Nano基本信息、客户端与车辆端Nano之间的对应关系，用于将客户端与车辆端进行匹配，数据项内容为id、Nano编号、客户编号、是否启用、备注(存储当前Nano所部署车辆的车牌号)。其中，客户编号来自于客户端信息表；是否启用标记当前Nano是否可用(若不可用则无法提供车辆端功能)。双端匹配信息的实体-属性图附图6所示。

(3)识别操作结果

用于汇总车辆端识别/抓拍结果信息，记录当前客户端对车辆端的操作指令等，数据项内容包括id、Nano编号、日期、识别结果、图像存储位置、定位信息、授权指令、抓拍指令等内容。其中，识别结果为车辆端进行人脸识别后的结果；图像存储位置是车辆端抓取的当前驾驶员图像上传服务端后保存路径；定位信息存储车辆端上传的当前车辆所处的经度和纬度；授权指令记录客户端是否对车辆端进行授权使用与否(1表示允许；0表示不允许；-1表示未下达指令)；抓拍指令记录客户端是否要让车辆端提供抓拍服务(1表示抓拍；0表示不抓拍)。识别操作结果的实体-属性图如附图7所示。

通过对以上三个实体进行整合，形成总E-R图如附图8所示，其中，一个客户端可以管理多个车辆端的Nano；每个车辆端的Nano在识别操作结果表中只有唯一一行记录。

第二，对数据表结构进行设计，根据上述的总E-R图附图8所示，分别得到识别操作结果表、客户端信息表以及双端匹配信息表，分别对应于表1、表2和表3：

表1 识别操作结果表

表2 客户端信息表

表3 双端匹配信息表

进一步地，服务器端上为了汇总车辆端识别/抓拍信息，需提供相应的接口，包括：车辆端上传识别/抓拍信息至服务端接口、车辆端获取服务端指令信息接口和车辆端获取服务端指令信息接口；

车辆端上传识别/抓拍信息至服务端接口用于使车辆端通过调用该接口，将识别或抓拍的图像、识别结果、经纬度等信息上传至服务端进行汇总保存。其中人脸图像保存至服务端磁盘固定位置，而识别结果、经纬度和图像保存路径则直接保存至数据库“识别操作结果表”中；

车辆端获取服务端指令信息接口用于使车辆端通过调用该接口，可以获取服务端当前需要车辆端执行的指令；

车辆端获取服务端指令信息接口用于当车辆端执行完毕抓拍后，可以通过调用该接口，将服务端的抓拍指令恢复至不抓拍状态，避免车辆端重复抓拍；

进一步地，车辆端包括硬件和软件两部分，其硬件结构组成如下：采用NVIDIAJetson Nano作为核心开发板，无线模块采用迅捷FW150、定位模块采用北斗定位模块、摄像头选用Nano专用摄像头、音频模块选用USB音响。

实验结果：

参考附图10-13可以看出，本系统的服务器登录界面，当使用管理员账户登录服务器后，就能进入车辆识别结果界面，可以根据NanoID查询车辆启动时间、车辆端识别结果、驾驶员人脸图像以及客户端的授权与抓拍信息；当使用用户账户进入客户端后选择对应的Nano编号或车牌号可以查看车辆使用情况，使用情况包括Nano编号、识别日期、识别结果、使用授权以及是否抓拍这几项，客户可根据实际情况在客户端发送进行授权以及抓拍等操作命令。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims

1.一种军用车辆驾驶远程授权及监控系统，其特征在于，包括车辆端、服务器端以及客户端；

2.根据权利要求1所述的一种军用车辆驾驶远程授权及监控系统，其特征在于，所述人脸图像采集模块用于预设录入包含多位合法驾驶员的人脸信息集，所述人脸信息集是由在光线条件好的环境下采集到的多张多角度无遮挡拍摄的驾驶员人脸照片经由面部特征提取算法处理后所得到的人脸特征数据所组成的集合。

3.根据权利要求1所述的一种军用车辆驾驶远程授权及监控系统，其特征在于，所述人脸识别模块包括摄像头抓拍单元和图像处理单元，其通过设置在车辆驾驶室内固定的摄像头，经所述摄像头抓拍单元抓拍驾驶员图像，并通过图像处理单元将驾驶员图像转换为灰度图像，再通过人脸识别，提取人脸图像的特征与所述人脸信息集中的人脸特征数据进行对比，并输出对比结果。

4.根据权利要求1所述的一种军用车辆驾驶远程授权及监控系统，其特征在于，所述远程传输模块包括无线模块，用于将车辆端处理的人脸识别结果、实时抓拍结果、车辆行驶路线等信息传输到服务器端进行存储进一步再转发至客户端，并将客户端下达的授权结果、抓拍命令等信号上传服务端再转发到车辆端。

5.根据权利要求1所述的一种军用车辆驾驶远程授权及监控系统，其特征在于，所述实时抓拍模块通过车辆驾驶室内固定的摄像头实时捕获车辆驾驶员视频流，设定时间间隔，并在时间间隔内连续抓取多帧面部图像，再将面部图像转化为灰度图，最后将抓拍的多帧图像传输至所述服务端。

6.根据权利要求1所述的一种军用车辆驾驶远程授权及监控系统，其特征在于，所述车辆定位模块包括车载北斗定位单元，用于车辆定位，并将车辆位置信息发送到所述车辆路线偏离检测模块。

7.根据权利要求6所述的一种军用车辆驾驶远程授权及监控系统，其特征在于，所述车辆路线偏离检测模块包括服务端地图比对单元，将接收到的所述车辆端提供的车辆位置信息与预期规划的行进路线进行比对，检测路线是否偏离，并将检测结果通过远程传输模块传送到客户端。

8.根据权利要求1所述的一种军用车辆驾驶远程授权及监控系统，其特征在于，所述客户端上运行有远程授权模块，用于获取服务端转发的车辆端人脸识别结果及抓拍的驾驶员图像，进行人为判断，以决定远程授权或拒绝使用车辆。

9.根据权利要求1所述的一种军用车辆驾驶远程授权及监控系统，其特征在于，所述客户端上还运行有远程监控模块，用于通过服务端向车辆端发起实时抓拍驾驶员图像的命令，便于随时远程监控驾驶室情况。

10.根据权利要求1所述的一种军用车辆驾驶远程授权及监控系统，其特征在于，所述车辆报警模块运行于车辆端，包括报警单元以及蜂鸣器，报警单元用于接收所述客户端发送的授权或拒绝信号，当接收到该车辆的拒绝授权信号时，控制蜂鸣器发出报警并控制该车辆启动电源禁止启动。