CN111914773A - 一种抓拍违法上下客的设备、方法 - Google Patents

Abstract

本发明公开了一种抓拍违法上下客的设备、方法，由监控球机、嵌入式工控机、违法上下客分析软件、PC客户端软件四部分组成；嵌入式工控机用于安装违法上下客分析软件，实时分析监控球机的视频，检测并发现开关车门或开关车辆后备箱的行为后，控制监控球机转动，对准违法车辆，调整视频画面远近，对上下客的开门、上下客、关门的整个违法行为进行抓拍取证。抓拍完成后，控制球机复位，进行下一次的上下客行为的抓拍。

Description

一种抓拍违法上下客的设备、方法

技术领域

本发明涉及违法抓拍技术领域，特别涉及一种抓拍违法上下客的设备、方法,主要应用于公安交警部门、交通营运车辆管理部门，用于对飞机场、火车站、公交车站、高速公路等车流量密集路段禁止上下客区域的违法上下车行为的抓拍取证。

背景技术

随着城市交通精细化程度的提升，政府部门对城市路面交通的自动化管理提出了更高的要求。在机场、火车站、公交车站等车辆密集场所周边道路不允许运营车辆任意上下客，交警部门、运输管理部门都提出了对禁止上下客区域随意上下客违法行为的自动检测、处罚的需求。

在现有技术中，针对车辆的违法行为检测或抓拍的相似技术中，公开了一种高速公路服务区客车违法上下客的检测方法及系统(专利号为CN 201811350123.2)，所述方法包括：采集高速公路服务区的检测视频场；对检测视频场中的客车进行检测分析，包括：客车停车检测、客车行李箱打开检测、上下客统计计数及上下客携物特征检测；根据检测分析结果对违法上下客行为进行识别；能够实现高速公路服务区客车违法上下客行为的自动检测，提高检测判断的准确率，降低漏检率的准确率，降低漏检率；上述的检测方法与系统针对的是高速公路服务器内客车的行为检测，无法适应在机场、火车站、公交车站等车辆密集场所的违法行为检测的应用。

由此，希望设计出一种通过电子监控设备对道路视频中车辆目标进行图像自动分析判断的方法，对违法上下客的行为进行自动抓拍检测，即实现了对随意上下客违法行为的监管，也不需要耗费大量的人力到现场监督管理。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种抓拍违法上下客的设备、方法，满足现有技术与产品无法满足公安交警部门、交通营运车辆管理部门对于任意上下客违法行为的普适场景的自动抓拍取证，实现设备智能分析、自动控制、全程抓拍取证，适用于监控相机120米范围内的监控区域，提高检出率、准确率，保证抓拍取证图像清晰程度和效果。

现有近似发明通过检测采集检测视频场中客车停车行为、客车打开行李箱动作、上下客携物行为和客车停车后上下客计数统计，最后通过上下客计数统计不一致判断上下客行为，该检测机制存在以下技术缺点：

1、上下客的行为判断条件过于严格和复杂，并且通过上下客计数判断，检测可能会有比较多的遗漏；

2、检测行为被动分析采集检测视频场的上下客行为，存在视频场景固定、视场固定等缺点，无法对前端相机视场进行调整，势必影响上下客行为检测的准确率，发明应用场景较窄。

针对以上现有发明的缺点，本发明采用更加简单的上下客图像判断逻辑提升上下客行为的检出率，并且根据视频检测状态，主动控制监控球机，调整监控视场，因此具有更好的上下客行为抓拍视角和更广的监控范围。

本发明的设计内容相比于上述的高速公路服务区客车违法上下客的检测方法及系统，主要区别点如下所述：

1、视频检测原理不一样

本发明采用基于深度学习的行为分析技术通过开关汽车车门、开关汽车后备箱的图像特征判断上下客行为，现有近似发明采用视频分析停车行为、下客载物、统计上下客人数等图像特征判断上下客行为；

2、设备使用部门不一样

本发明主要应用于公安交警、交通营运车辆管理等执法部门，现有近似发明主要应用于高速公路管理、客车运营公司管理等部门；

3、检测对象不一样

本发明主要针对于小轿车、SUV等小型车辆的上下客行为检测，现有近似发明针对于大型客车的上下客行为检测；

4、上下客行为检测的目的不一样

本发明针上下客行为的检测主要用于违法取证，用于管理部门的处罚；

5、识别发现上下客行为后的控制方式不一样

本发明识别上下客行为后，主动控制球机对准上下客的车辆进行近距离最佳视场抓拍，现有近似发明一般针对于固定视频场景，识别上下客行为后，无法对前端监控相机进行控制抓拍；

6、上下客行为检测准确率及抓拍图像效果不一样

本发明可以通过控制球机近距离抓拍车辆违法行为，上下客行为的识别准确率、抓拍图像清晰、完整程度将大大优于现有近似发明。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种抓拍违法上下客的方法，由监控球机、嵌入式工控机、违法上下客分析软件、PC客户端软件四部分组成，该抓拍违法上下客的方法包括以下步骤：

步骤1，嵌入式工控机上启动违法上下客分析软件，违法上下客分析软件读取配置文件，加载监控场景预置点位信息，并且发送控制信令给监控球机；

步骤2，监控球机接收到控制信令后，控制球机云台转动至场景预置点位，进行视频监控；

步骤3，监控球机自动聚焦，视频画面进行实时编码采集，同时跟随外界环境变化，自动调节快门、光圈等，保证视频画面明亮、清晰、稳定；

步骤4，违法上下客分析软件通过视频对接协议连接监控球机主码流，实时获取监控视频码流，违法上下客分析软件调用智能分析算法进行车辆目标识别定位；

步骤5，实时监控视频帧，直接进行车辆目标检测和开车门、开后备箱行为特征分析匹配，连续多帧视频检测到开车门或者开后备箱特征后，判定为上下车行为；否则，判定为无上下车行为；

步骤6，检测判定为上下车行为后，立即控制监控球机进行抓拍，监控球机以目标车辆为视频中心，调整球机转动角度，调节球机视场到合适远近画面，使得目标车辆在监控画面中心，目标车辆车宽像素大于400像素；

步骤7，持续检测视频画面，判断开车门、开后备箱行为，直到完整的上下客行为结束为止，完成整个违法取证；检测过程中分为以下几种情况：情况1，控制监控球机转动至目标车辆后，无上下车行为的，判定本次抓拍为误识别，此次上下客抓拍流程结束，控制球机复位至预置位，返回至开始位置；情况2，控制球机转动至目标车辆后，持续有检测到上下车行为，但是超时设定的时间，系统放弃此次上下客抓拍流程，控制球机复位至预置位，返回至开始位置；情况3，控制球机转动至目标车辆后，持续有检测到上下车行为后，期间连续3秒无检测到上下车行为，判定上下客结束，此次抓拍成功；

步骤8，判定上下客行为抓拍成功后，从视频缓存中生成违法取证抓怕图像，并且保存导出违法图片和视频；控制球机复位至预置位，抓拍逻辑重新开始下一次违法上下客抓拍。

本发明的另外一个目的是提供一种抓拍违法上下客的设备，其包括监控球机、嵌入式工控机、违法上下客分析软件、PC客户端软件四部分；

监控球机，安装在禁止上下客区域，获取实时监控视频画面，用于违法上下客分析软件视频分析，并且接受违法上下客分析软件控制，对视频监控视场、远近进行调整、自动聚焦和抓拍；

嵌入式工控机，安装Windows或者Linux操作系统，部署违法上下客分析软件；

违法上下客分析软件，通过网络接口，实时获取监控球机的视频流，对视频画面智能分析上下客行为，检测到上下客行为后，根据目标车辆在画面中的位置和大小，控制监控球机对上下车行为的目标车辆进行视场调整、聚焦和抓拍；

PC客户端软件，用于对监控球机、违法上下客分析软件的配置以及违法上下客行为抓拍结果查看。

综上所述，本发明对比于现有技术的有益效果为：利用视频智能分析，通过检测车辆开关车门或上下客或车辆后备箱开关判断车辆上下客的行为；并控制监控球机转动、视场调整、焦距调整，提高上下客行为视频识别检出率、准确率，提升违法取证抓拍图像效果和清晰度的方案；采用违法上下客分析软件与球机关联控制的抓拍过程，具有以下优点：

1、通过违法上下客分析软件在识别出上下客行为后，对球机监控角度、抓拍场景、视场远近的控制，使得取证抓拍的图像质量更好，能够还原整个违法过程；

2、通过监控球机监控角度和抓拍远近的调整，使得算法检测的准确率更高；

3、违法上下客分析软件通过控制监控球机的控制，可以监控识别的范围更广。

附图说明

图1为实施例中监控球机安装示意图；

图2为实施例中抓拍违法上下客的方法流程图；

图3为实施例中上下客行为算法模型的训练流程图；

图4为实施例中上下客行为的智能检测流程图。

具体实施方式

以下结合附图对发明作进一步详细说明。

一种抓拍违法上下客的设备，其包括监控球机、嵌入式工控机、违法上下客分析软件、PC客户端软件四部分；

监控球机，监控球机安装在禁止上下客的道路边的监控立杆上，建议安装方式如图1所示，要求球机安装高度不低于6米，能够监控离立杆20～120米的区域，管控路段和区域视频画面无遮挡，获取实时监控视频画面，用于违法上下客分析软件视频分析，并且接受违法上下客分析软件控制，对视频监控视场、远近进行调整、自动聚焦和抓拍；

嵌入式工控机，提供强大、可靠的计算能力，安装Windows或者Linux操作系统，部署违法上下客分析软件；

违法上下客分析软件，通过网络接口，实时获取监控球机的视频流，对视频画面智能分析上下客行为，检测到上下客行为后，根据目标车辆在画面中的位置和大小，控制监控球机对上下车行为的目标车辆进行视场调整、聚焦和抓拍；

PC客户端软件，用于对监控球机、违法上下客分析软件的配置以及违法上下客行为抓拍结果查看。

针对上述抓拍违法上下客的设备，对应产生一种抓拍违法上下客的方法，由监控球机、嵌入式工控机、违法上下客分析软件、PC客户端软件四部分组成，参照图2所示，该抓拍违法上下客的方法包括以下步骤：

步骤1，嵌入式工控机上启动违法上下客分析软件，违法上下客分析软件读取配置文件，加载监控场景预置点位信息，并且发送控制信令给监控球机；

步骤2，监控球机接收到控制信令后，控制球机云台转动至场景预置点位，进行视频监控；

步骤3，监控球机自动聚焦，视频画面进行实时编码采集，同时跟随外界环境变化，自动调节快门、光圈等，保证视频画面明亮、清晰、稳定；

步骤4，违法上下客分析软件通过视频对接协议(Onvif协议或者28181协议)连接监控球机主码流，实时获取监控视频码流，违法上下客分析软件调用智能分析算法进行车辆目标识别定位；

步骤5，实时监控视频帧，直接进行车辆目标检测和开车门、开后备箱行为特征分析匹配，连续多帧(3帧视频以上)视频检测到开车门或者开后备箱特征后，判定为上下车行为；否则，判定为无上下车行为；

步骤6，检测判定为上下车行为后，立即控制监控球机进行抓拍，监控球机以目标车辆为视频中心，调整球机转动角度，调节球机视场到合适远近画面，使得目标车辆在监控画面中心，目标车辆车宽像素大于400像素；

步骤7，持续检测视频画面，判断开车门、开后备箱行为，直到完整的上下客行为结束为止(开车门、开后备箱行为由有到无的全过程)，完成整个违法取证；检测过程中分为以下几种情况：情况1，控制监控球机转动至目标车辆后，无上下车行为的，判定本次抓拍为误识别，此次上下客抓拍流程结束，控制球机复位至预置位，返回至开始位置；情况2，控制球机转动至目标车辆后，持续有检测到上下车行为，但是时间超时(默认时间120秒，系统可配置)，系统放弃此次上下客抓拍流程，控制球机复位至预置位，返回至开始位置；情况3，控制球机转动至目标车辆后，持续有检测到上下车行为后，期间连续3秒无检测到上下车行为，判定上下客结束，此次抓拍成功；

步骤8，判定上下客行为抓拍成功后，从视频缓存中生成违法取证抓怕图像，并且保存导出违法图片和视频；控制球机复位至预置位，抓拍逻辑重新开始下一次违法上下客抓拍。

上下客行为智能识别算法是本发明实施例的核心之一，本发明实施例提供了一种基于mobilenet-ssd模型端对端One-Stage的深度神经网络，专门针对机动车上下客行为分析而定制优化的图像智能识别算法。

本发明在上下客行为的特征提取、数据标定上进行了大量的比较测试，经比较“开车门或开后备箱全车标定”、“开车门或开后备箱精确标定”、“开车门或开后备箱局部标定”等方式进行特征提取比较测试，最终评测“开车门或开后备箱局部标定”获得的样本分类综合检出率和准确率最高。

上下客行为智能检测识别算法模型训练流程如图3所示，包含以下步骤：

收集开关门、开关后备箱样本，要求包括不同场景、不同角度、不同距离、不同分辨率、白天夜间的样本图片，不少于5000张；

采用“开车门或开后备箱局部标定”标准对样本进行标注；

对样本数据进行旋转、变色、变形数据增强，使得样本数达到20000张；

80％样本作为训练集、20％样本作为测试集，将样本归一化为512*512大小，并且制作成LMDB数据库文件；

启动Caffe训练框架，加载mobilenet-ssd模型对LMDB文件训练，进行迁移学习；

调优训练超参数、测试超参数、学习率、子集设置、迭代次数、迭代间隔等参数；

使用测试集对训练模型进行数据分类测试；

对训练模型输出进行优化，使得目标检测的评估指标mAP大于0.72以上；

模型训练完成，对模型接口进行封装。

上下客行为算法模型训练完成后，对模型接口进行封装，并且集成到违法上下客分析软件中，违法上下客分析软件对监控视频图像帧调用算法模型接口，分析得到上下客行为结果。检测过程如图4所示，包含以下步骤：

对监控球机的视频码流进行解码，获取RGB格式的视频图像帧；视频图像帧统一调整为512*512大小；

对图像的每个像素进行正则化处理，对每一个像素的值乘以0.007843倍乘因子，使像素值归一化到[0,1]区间；

将预处理的数据输入到上下客行为算法One-Stage神经网络模型，进行特征分类计算；

视频图像帧分析后，输出目标分类为：开车门、开后备箱，以及置信度和检测目标在图像中的坐标值

综合置信度、目标大小(坐标值)判断是否为开车门、开后备箱的图像，从而判断这帧视频图像是否为上下客的行为图像。

以上所述仅是本发明的示范性实施方式，而非用于限制本发明的保护范围，本发明的保护范围由所附的权利要求确定。

Claims (4)

1.一种抓拍违法上下客的方法，其特征在于，由监控球机、嵌入式工控机、违法上下客分析软件、PC客户端软件四部分组成，该抓拍违法上下客的方法包括以下步骤：

步骤1，嵌入式工控机上启动违法上下客分析软件，违法上下客分析软件读取配置文件，加载监控球机预置点位信息，并且发送控制信令给监控球机；

步骤2，监控球机接收到控制信令后，控制球机云台转动至场景预置点位，进行视频监控；

步骤3，监控球机自动聚焦，视频画面进行实时编码采集，同时跟随外界环境变化，自动调节快门、光圈等，保证视频画面明亮、清晰、稳定；

步骤4，违法上下客分析软件通过视频对接协议连接监控球机主码流，实时获取监控视频码流，违法上下客分析软件调用智能分析算法进行车辆目标识别定位；

步骤5，实时获取监控视频帧，直接进行车辆目标检测和开车门、开后备箱行为特征分析匹配，连续多帧视频检测到开车门或者开后备箱特征后，判定为上下车行为；否则，判定为无上下车行为；

步骤6，检测判定为上下车行为后，立即控制监控球机进行抓拍，监控球机以目标车辆为视频中心，调整球机转动角度，调节球机到合适远近画面，使得目标车辆在监控画面中心，目标车辆车宽像素大于400像素；

步骤7，持续检测视频画面，判断开车门、开后备箱行为，直到完整的上下客行为结束为止，完成整个违法取证；

步骤8，判定上下客行为抓拍成功后，从视频缓存中生成违法取证抓拍图像，并且保存导出违法图片和视频；控制球机复位至预置位，抓拍逻辑重新开始下一次违法上下客抓拍。

2.根据权利要求1所述的一种抓拍违法上下客的方法，其特征在于，所述步骤7中，具体包括以下三种检测情况：

情况1，控制监控球机转动至目标车辆后，无上下车行为的，判定本次抓拍为误识别，此次上下客抓拍流程结束，控制球机复位至预置位，返回至开始位置；

情况2，控制球机转动至目标车辆后，持续有检测到上下车行为，但是超时设定的时间，系统放弃此次上下客抓拍流程，控制球机复位至预置位，返回至开始位置；

情况3，控制球机转动至目标车辆后，持续有检测到上下车行为后，期间连续3秒无检测到上下车行为，判定上下客结束，此次抓拍成功。

3.根据权利要求1所述的一种抓拍违法上下客的方法，其特征在于，所述步骤5中，上下客行为检测步骤包括：

对监控球机的视频码流进行解码，获取RGB格式的视频图像帧；并将视频图像帧统一调整为512*512大小；

对图像的每个像素进行正则化处理，对每一个像素的值乘以倍乘因子，使像素值归一化到[0,1]区间；

将预处理的数据输入到上下客行为算法One-Stage神经网络模型，进行特征分类计算；

视频图像帧分析后，输出目标分类为开车门、开后备箱，以及置信度和检测目标在图像中的坐标值；

综合置信度、坐标值判断是否为开车门、开后备箱的图像，从而判断这帧视频图像是否为上下客的行为图像。

4.一种抓拍违法上下客的设备，其特征在于，包括监控球机、嵌入式工控机、违法上下客分析软件、PC客户端软件四部分；

监控球机，安装在禁止上下客区域，获取实时监控视频画面，用于违法上下客分析软件视频分析，并且接受违法上下客分析软件控制，对视频监控视场、远近进行调整、自动聚焦和抓拍；

嵌入式工控机，安装Windows或者Linux操作系统，部署违法上下客分析软件；

违法上下客分析软件，通过网络接口，实时获取监控球机的视频流，对视频画面智能分析上下客行为，检测到上下客行为后，根据目标车辆在画面中的位置和大小，控制监控球机对上下车行为的目标车辆进行视场调整、聚焦和抓拍；

PC客户端软件，用于对监控球机、违法上下客分析软件的配置以及违法上下客行为抓拍结果查看。

Images