CN113949719A

CN113949719A - 一种基于5g通信的车载巡检方法及系统

Info

Publication number: CN113949719A
Application number: CN202111194298.0A
Authority: CN
Inventors: 李祥斌
Original assignee: Zhenghao Software Shanghai Co ltd
Current assignee: Zhenghao Software Shanghai Co ltd
Priority date: 2021-10-13
Filing date: 2021-10-13
Publication date: 2022-01-18
Anticipated expiration: 2041-10-13
Also published as: CN113949719B

Abstract

本申请公开了一种基于5G通信的车载智能巡检系统及方法，该系统包括：车载设备，中继服务器和云后台；车载设备包括：车载摄像机组，网络视频录像机，车载定位装置，路由器，本地服务器和智能网关；车载定位装置用于生成车辆实时位置信息；车载摄像机组用于拍摄巡检视频；网络视频录像机用于接收和存储巡检视频；本地服务器用于实时解析巡检视频并在发生异常时报警；智能网关用于实现5G通信；中继服务器用于在读取报警时生成异常案卷；云后台用于实时接收异常案卷。本发明能够对实现对垃圾堆放、非机动车停放、违法装修、商贩占道、路面坑塘等市政问题的智能化监管。

Description

一种基于5G通信的车载巡检方法及系统

技术领域

本发明涉及通信技术领域，具体涉及一种基于5G通信的车载巡检方法，以及一种基于5G通信的车载巡检系统。

背景技术

随着城市现代化进程的发展，人均GDP在不断提高，人们生活需求、消费水平也在发生改变，随之而来的，是生活垃圾日益增多、非机动车乱停乱放、店铺违法装修、流动商贩占道经营、路面坑塘等诸多市政管理问题。因此，通过智能化监管以应对市政管理机构人力不足的问题势在必行。如何设计出一种新型的智能巡检系统，以应对现有城市化建设中遇到的上述问题，是本领域技术人员需要研究的方向。

发明内容

本申请公开了一种基于5G通信的车载巡检方法，能够对实现对垃圾堆放、非机动车停放、违法装修、商贩占道、路面坑塘等市政问题的智能化监管。

一种基于5G通信的车载智能巡检方法，其包括如下步骤：

步骤1：以车载摄像机组拍摄巡检视频；实时刷新车辆信息至中继服务器、由中继服务器上传至云端服务器；

步骤2：以本地服务器实时解析巡检视频，并在巡检视频发生异常时生成报警信号并发送至中继服务器；

步骤3：中继服务器基于报警信号生成事件数据包并传递至云端服务器；

步骤4：云端服务器将事件数据包与原数据包整合形成异常案卷。

优选的是，上述基于5G通信的车载智能巡检方法中，所述步骤2包括：

步骤21：采用深度学习网络模型来对道路场景进行实例分割，提取出前景目标和背景目标；

步骤22：基于目标事件类别，分别检出前景关注目标和背景关注目标；

步骤23：实时计算前景关注目标和背景关注目标的相对空间位置关系，在所述前景关注目标和背景关注目标的相对空间位置关系满足预存的目标事件类别启动条件时跳转至步骤24；

步骤24：对前景关注目标进行一段时序的跟踪判断，如满足异常目标事件则跳转至步骤25；

步骤25：生成异常报警信号并发送至中继服务器。

更优选的是，上述基于5G通信的车载智能巡检方法中，所述步骤24包括：

步骤A1：分别对检出的m个前景关注目标和n个背景关注目标进行跟踪、形成运动轨迹；

步骤A2：从n个背景关注目标中找到位于最左侧和最右侧的背景关注目标并在其运动轨迹上采样出多个像素点，利用最小二乘法计算出对应的三次曲线方程fleft(x)和fright(x)；

步骤A3：提取m个前景关注目标的图像目标框的底部中心点的像素的行坐标和列坐标(xm1、ym1)、(xm2、ym2)、……、(xm3、ym3),将行坐标代入三次曲线方程fleft(x)和fright(x)中，分别计算出对应的列坐标(ym1_left、ym1_right)、(ym2_left、ym2_right)、……、(ymm_left、ymm_right)；

步骤A4：通过时序关系，判断是否满足异常目标事件。

更优选的是，上述基于5G通信的车载智能巡检方法中，所述步骤3包括：

步骤31：提取异常报警信号的时间戳和图像像素位置，基于该时间戳和图像像素位置从视频中抽取对应的关键帧照片，并在异常位置处做标注；

步骤32：将所述关键帧照片和事件报警信息作为特征数据，通过超文本协议上传云端保存；

步骤33：将所述特征数据，结合算法id和时间组成数据对象，并编码成json格式。

为实现上述车载巡检方法，本发明还公开了一种基于5G通信的车载智能巡检系统，其技术方案如下：

一种基于5G通信的车载智能巡检系统，其包括：车载设备，中继服务器和云后台；所述车载设备安装于巡检车上、其包括：车载摄像机组，网络视频录像机，车载定位装置，路由器，本地服务器和智能网关；所述车载定位装置用于实时生成车辆实时位置信息；所述车载摄像机组安装于巡检车上、用于拍摄巡检视频；所述网络视频录像机连接车载摄像机组、用于接收和存储所述巡检视频；所述本地服务器通过路由器连接网络视频录像机、用于根据图像识别模型算法对巡检视频进行实时解析、并在巡检视频发生异常时生成报警信号；所述智能网关用于实现车载定位装置和本地服务器对中继服务器的5G通信连接；所述中继服务器用于在读取到报警信号时生成异常案卷；所述异常案卷包括车辆实时位置信息、车牌信息、事件类型和情况说明；所述云后台与中继服务器信号连接、用于实时接收异常案卷。

通过采用上述技术方案：以巡检车实现车载设备的移动。以车载摄像机组实现视频拍摄，并通过本地服务器基于预存的图像识别模型算法进行解析和识别。当判定拍摄视频中出现异常时生成异常报警信号，中继服务器读取该异常报警信号并同步获取巡检车的位置信息，并结合巡检车对应的车牌信息、事件类型和情况说明，构成异常案卷，该异常案卷通过5G专网发送至云后台。市政管理人员通过登录云后台读取异常案卷，相应作出工单派遣工作，前往发出报警信号的地点处理出现对应的市政管理问题。

优选的是，上述基于5G通信的车载智能巡检系统中：所述车载摄像机组包括多个可见光摄像机，且各可见光摄像机的朝向和倾斜角度均不相同。

通过采用上述技术方案：车载摄像机组实现对巡检车各个方向上视频的拍摄，各角度视频可进一步拼合构成全景视频，提升了巡检的质量和有效性。

更优选的是，上述基于5G通信的车载智能巡检系统中：所述车载摄像机组安装于云台上、所述云台通过升降支架与巡检车顶部连接。

通过采用上述技术方案：基于升降支架实现对车载摄像机组的高度调整。

进一步优选的是，上述基于5G通信的车载智能巡检系统中：所述车载定位装置采用北斗车载终端。

进一步优选的是，上述基于5G通信的车载智能巡检系统中：所述本地服务器采用边缘算力服务器R740。

进一步优选的是，上述基于5G通信的车载智能巡检系统中：所述中继服务器采用流媒体服务器iRTS-GM。

与现有技术相比，本申请结构简单，易于实现。能够对实现对垃圾堆放、非机动车停放、违法装修、商贩占道、路面坑塘等市政问题的智能化监管。

附图说明

图1为实施例1的模块框图；

图中各附图标记如下：

1、车载设备；2、中继服务器；3、云后台。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示：

一种基于5G通信的车载智能巡检系统，其包括：车载设备1，中继服务器2和云后台3。

所述车载设备1安装于巡检车上、其包括：车载摄像机组，网络视频录像机，车载定位装置，路由器，本地服务器和智能网关：

其中，所述车载定位装置采用北斗车载终端、其安装于巡检车内、用于实时生成巡检车的当前车辆实时位置信息；所述车载摄像机组安装于巡检车上、用于拍摄巡检视频。具体的：所述车载摄像机组安装于云台上、所述云台通过升降支架与巡检车顶部连接。工作时，升降支架实现对云台的整体高度调节、从而相应调整车载摄像机组的高度。所述车载摄像机组包括多个可见光摄像机，且各可见光摄像机的朝向和倾斜角度均不相同，用于对巡检车各个方向进行视频拍摄。所述网络视频录像机连接车载摄像机组、用于接收和存储所述巡检视频；所述本地服务器采用边缘算力服务器R740。所述本地服务器通过路由器连接网络视频录像机、用于根据图像识别模型算法对巡检视频进行实时解析、并在巡检视频发生异常时生成报警信号；所述智能网关用于实现车载定位装置和本地服务器对中继服务器2的5G通信连接；

所述中继服务器2采用流媒体服务器iRTS-GM。中继服务器2用于在读取到报警信号时生成异常案卷；所述异常案卷包括车辆实时位置信息、车牌信息、事件类型和情况说明；所述云后台3与中继服务器2信号连接、实时接收异常案卷。

实践中，其工作过程如下：

以巡检车实现车载设备1的移动。过程中，车载摄像机组对巡检车途经的范围实现视频拍摄，并通过本地服务器基于预存的图像识别模型算法对所取的拍摄视频进行解析和识别。当判定拍摄视频中出现异常时生成异常报警信号，中继服务器2读取该异常报警信号，同步获取发出报警信号的巡检车所在的位置信息，并结合巡检车对应的车牌信息、事件类型和情况说明，构成异常案卷，并将该异常案卷通过5G专网发送至云后台3。市政管理人员通过登录云后台3读取异常案卷，相应制备工单派遣工作，前往发出报警信号的地点处理出现对应的市政管理问题。

实施例1，检测非机动车违停：

其包括如下步骤：

从图像上的前景目标F中检测出m个非机动车(M1、M2、……、Mm)；

从背景目标B检测出n个车道线(L1、L2、……、Ln)。

同时，对相应的目标进行跟踪，形成目标运动轨迹。

从n个车道线(L1、L2、……、Ln)中找出最左和最右的车道线Lleft、Lright，从对应的车道线中采样出多个像素点，利用最小二乘法来计算出如式(1)所示的车道线的三次曲线方程fleft(x)、fright(x)。

y＝ax3+bx2+cx+d (1)

x表示图像像素的行坐标，y表示图像像素的列坐标。

提取出m个非机动车的图像目标框的底部中心点的像素的行坐标和列坐标(xm1、ym1)、(xm2、ym2)、……、(xm3、ym3),将行坐标代入到左右车道线的曲线方程中，计算出对应的列坐标(ym1_left、ym1_right)、(ym2_left、ym2_right)、……、(ymm_left、ymm_right)。

对第i个非机动车(xmi、ymi)，根据计算出来的对应的左右车道线列坐标(ymi_left、ymi_right)，利用是否满足关系式

ymi>ymi_left&&ymi<ymi_right来判别其是否在车道内。

通过时序关系，判断出非机动车是否处于静止状态。具体如下：

记录第i个非机动车在t时刻在图像上的中心点像素坐标为(xmit、ymit)，根据测距算法计算得到对应的世界坐标。

利用多帧的结果，计算出该目标在一段时间dt内的相对摄像头的位移Dist1dt，同时利用本车的GPS信号获取得到本车在dt内的移动范围Dist2dt，根据是否满Dist1dt+Dist2dt≈0来判别其是否静止。

对于判别为在道路区域内，且静止的非机动车，可以判别为非机动车违停行为。当然，对不同类型的事件类型，分析算法存在差异，在此不一一列举。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims

1.一种基于5G通信的车载智能巡检方法，其特征在于包括如下步骤：

2.如权利要求1所述基于5G通信的车载智能巡检方法，其特征在于，所述步骤2包括：

步骤25：生成异常报警信号并发送至中继服务器。

3.如权利要求2所述基于5G通信的车载智能巡检方法，其特征在于，所述步骤24包括：

步骤A4：通过时序关系，判断是否满足异常目标事件。

4.如权利要求1所述基于5G通信的车载智能巡检方法，其特征在于，所述步骤3包括：

5.一种基于5G通信的车载智能巡检系统，其特征在于，包括：车载设备，中继服务器和云后台；

所述车载设备安装于巡检车上、其包括：车载摄像机组，网络视频录像机，车载定位装置，路由器和本地服务器和智能网关；

所述车载定位装置中预存有对应于车辆实时的车牌信息，所述车载定位装置用于实时生成车辆实时定位数据、并基于车牌信息和车辆实时定位数据生成车辆实时信息；所述车辆实时定位数据包括车辆实时经纬度、车辆实时速度和信号实时准确度；

所述车载摄像机组安装于巡检车上、用于拍摄巡检视频；

所述网络视频录像机连接车载摄像机组、用于接收和存储所述巡检视频；

所述本地服务器通过路由器连接网络视频录像机，所述本地服务器用于实时解析巡检视频、并在巡检视频捕捉到异常事件时生成事件数据包；

所述智能网关用于实现本地服务器和车载定位装置对中继服务器的5G通信连接；所述中继服务器用于生成事件数据包并传递至云端服务器；云端服务器用于将事件数据包与原数据包整合形成异常案卷。

6.如权利要求5所述基于5G通信的车载智能巡检系统，其特征在于：所述车载摄像机组包括多个可见光摄像机，且各可见光摄像机的朝向和倾斜角度均不相同。

7.如权利要求5所述基于5G通信的车载智能巡检系统，其特征在于：所述车载摄像机组安装于云台上、所述云台通过升降支架与巡检车顶部连接。

8.如权利要求7所述基于5G通信的车载智能巡检系统，其特征在于：所述车载定位装置采用北斗车载终端。

9.如权利要求5所述基于5G通信的车载智能巡检系统，其特征在于：所述本地服务器采用边缘算力服务器R740。

10.如权利要求5所述基于5G通信的车载智能巡检系统，其特征在于：所述中继服务器采用流媒体服务器iRTS-GM。