CN105262983A - 基于灯联网的道路监控系统与方法 - Google Patents

Abstract

本发明涉及通信领域，尤其涉及一种基于灯联网的道路监控系统与方法。应用于终端道路监控与设备和远端服务器之间的监测，基于灯联网的道路监控系统包括，第一信息获取模块获取可见光图像与结构光图像，第二信息获取模块获取灯联网控制数据，处理模块处理可见光图像、结构光图像、灯联网控制数据，得到处理结果，判断模块根据处理结果，下达执行指令，执行模块根据指令，执行操作。本发明通过灯联网技术采集控制数据，并结合可见光、结构光图像进行监控，并实时处理道路上存在的问题。

Description

基于灯联网的道路监控系统与方法

技术领域

本发明涉及通信领域，尤其涉及一种基于灯联网的道路监控系统与方法。

背景技术

为认真履行国家关于“发展循环经济、建设节约型社会”的重要指示精神，落实国务院“关于做好建设节约型社会重点工作的通知”，城市路灯照明目前存在高能耗、高电费、路灯设施设备陈旧、灯具用量大、损耗大、管理人员少、管理困难的问题。因此，如何有效的节能和减少路灯管理人员，已成为各级主管部门迫切需要解决的棘手问题。

目前国内多数城市路灯都进行了节能改造，监控管理智能化、数字化，大大提高了城市路灯管理水平，大幅度降低了城市路灯管理的综合成本，节约了路灯照明用电费用，减少了管理人员，减少了财政支出。

但现有的监控技术应用不够完善，功能比较单一，在应用中难以将远程监控技术集中整合，不但增加了设备成本，而且增加了管理成本，并给市政管理带来不便。另外，现有的监控系统在实时监测、灯光调节方面还不够精细，一般采取区域控制、定时开关灯等方式，所以在灯光实时调节方面效果不理想，造成了电力成本的提高。

传统的灯联网通过智能控制路灯的开关来实现节能的目的。这种意义上的灯联网只能实现对“灯”的管理，是狭义的灯联网范畴。这并没有充分利用灯联网的特点，除了对单灯的控制以外，灯联网还可以用于定位、监控、管理等领域。可见目前灯联网仍处于起步阶段，更多的应用有待开发。

发明内容

为了解决上述问题，本发明提供了一种基于灯联网的道路监控系统与方法，通过灯联网技术采集控制数据，并结合可见光、结构光图像进行监控，并实时处理道路上存在的问题。

为了实现上述目的，本发明采用如下技术方案，应用于终端道路监控与设备和远端服务器之间的监测，基于灯联网的道路监控系统包括：

第一信息获取模块，设置于终端道路设备上，用于获取可见光图像与结构光图像；

第二信息获取模块，设置于所述终端道路设备上，用于获取灯联网控制数据；

处理模块，设置于所述远端服务器中，分别与所述第一信息获取模块、第二信息获取模块相连，用于处理所述可见光图像、结构光图像、等联网数据，得到处理结果并输出；

判断模块，设置于所述远端服务器中，与所述处理模块通讯连接，用于判断处理结果以发出执行指令；

执行模块，设置于所述终端道路设备上，与所述判断模块通讯连接，用于执行所述判断模块发出的执行指令。

进一步改进技术方案，所述可见光图像、结构光图像采用多光谱相机拍摄。

进一步改进技术方案，所述第二信息获取模块与所述处理模块之间采用灯联网技术获取灯联网控制数据。

进一步改进技术方案，所述处理单元包括：

识别模块，分别与所述第一信息获取模块、所述第二信息获取模块通讯连接，用于识别所述可见光图像、所述结构光图像、所述灯联网控制数据中的信息，得到处理结果。

存储单元，分别与所述识别模块、所述判断模块通讯连接，用于存储所述处理结果；

输出单元，分别与所述存储单元、所述判断模块通讯连接，内部预设上传规则，用于将所述处理结果分级上传至所述判断模块中。

进一步改进技术方案，所述判断模块设置于云端服务器中。

基于灯联网的道路监控系统，应用于终端道路监控与设备和远端服务器之间的监测，基于灯联网的道路监控方法包括：

步骤S1：第一信息获取模块获取可见光图像与结构光图像；

步骤S2：第二信息获取模块获取灯联网控制数据；

步骤S3：处理模块处理所述可见光图像、所述结构光图像、所述灯联网控制数据，得到处理结果；

步骤S4：判断模块根据所述处理结果，下达执行指令；

步骤S5：执行模块根据所述指令，执行操作。

进一步改进技术方案，所述步骤S1具体包括：利用所述多光谱照相机获取所述可见光图像与所述结构光图像。

进一步改进技术方案，所述步骤S2具体包括：采用灯联网技术获取灯联网控制数据。

进一步改进技术方案，所述步骤S3还包括：

步骤S31：识别单元处理所述可见光图像、所述结构光图像、所述灯联网控制数据，得到所述处理结果；

步骤S32：存储单元存储所述处理结果；

步骤S33：输出单元输出所述处理结果并上传至判断模块。

进一步改进技术方案，所述步骤S33具体包括：

所述输出单元输出所述处理结果并上传至云端服务器中的判断模块。

与现有技术对比，本发明的有益效果是：

1通过结构光图像与可见光图像综合判断道路上的二维信息与三维信息，提高监测的精确度与可靠性。

2、通过灯联网技术，获取道路上的声、光、热、电、力控的灯联网制数据，并将此数据与结构光图像、可视光图像进行合并，可以对道路的监控更加全面。

附图说明

图1为实施例一的结构示意图；

图2为实施例二的方法示意图。

1-第一信息获取模块；2-第二信息获取模块；3-处理模块；4-判断模块；5-执行模块。

具体实施方式

下面结合附图对本发明进行进一步说明。

实施例一

图1为本实施例的结构示意图，如图1所示，基于灯联网的道路监控系统包括：第一信息获取模块1、第二信息获取模块2、处理模块3、判断模块4、执行模块5。其中第一信息获取模块1、第二信息获取模块2、执行模块5设置于终端设备上，处理模块3与判断模块4设置于远端服务器之中，模块之间共同协调工作完成对道路系统的监控。

第一信息获取模块1采用多光谱相机拍摄图像，结构光发生器发射红外编码结构光与道路上，多光谱相机拍摄结构光照射的图像与可见光图像，灯联网是指通过各种信息传感元件，如电压、电流传感器、温度传感、光线感应技术、控制技术、无线、有线传输技术和英特网技术等各种技术汇集在一起，通过采集单盏灯具的光、热、电、力学、化学等各种需要的信息，接收远程监控中心控制数据或提取灯具内部设置的控制数据，完成对灯具的实时控制，与互联网结合形成的一个分布式区域性网络平台，既实现区域性网络节能监控又借助因特网这一全球性网络传输实现平台实现超长距离(全球性)的异地监控管理。其目的是实现对单灯监控和节能管理效益最大化，所有的单盏灯具可以实现与因特网的连接，方便识别、管理和控制。即第二信息获取模块2获取灯联网控制数据。

识别单元识别灯联网控制数据、可见光图像、结构光图像中的信息，识别单元采用计算机视觉技术进行识别，识别单元中的处理单元采用帧间差法和背景减除法，提取视场内的异物和运动目标(并采用模板匹配和深度学习的方法对目标及异物进行识别，并依据结果进行评级)。为了提高精度和可靠性，我们在多光谱像机旁边安装红外结构光发生器，并对有效监控范围透射编码结构光(如最简单的平行线或棋盘网格)。多光谱像机采集红外结构光图像，当视场内没有物体出现或者经过时，结构光图像呈规则状，不会产生形变；当视场内出现异物和运动目标时，结构光图像在局部产生形变，这时利用结构光测量原理，根据形变的位置、范围、幅度大小等参量，可测量出物体的位置、速度及三维几何尺度等。

灯联网控制数据的处理结果以及结构光图像与可见光图像的处理结果存储至存储单元，输出单元将结果输出至判断模块4，输出单元内部实现预设规则，并根据上述处理结果，结合事先设定的规则，有选择性的将监控到的目标和事件分级上传至监控中心的云端判断模块4，作进一步的判别。判断模块4综合各监控点信息进行综合判断，并可对各监控点中的执行模块5下达特定的控制指令，例如：关闭路灯、镜头缩放、特殊事件识别等软、硬件控制命令，在有必要时可调取各监控点的图像处理结果和监控视频。

例如，在系统安装完成，进行初始化时，系统会自动完成路面检测，识别诸如车道线、虚线、实线、停止线、双黄线、人行道、停车位、井盖等路面静止标识和物体，然后利用结构光对全场的位置进行标定，并记录其初始数据作为后续数据处理的标准样本。停车位及违规占道监控：通常停车位会有标准的停车位线，系统在初始化检测时会自动检测并识别停车位线，并统计停车位数量。系统会实时根据可见光图像和结构光图像进行分析，检索当前停车位剩余情况，当有车辆驶入或者驶出停车位时，系统会识别和判断停车位占用情况，并更新剩余停车位计数，并上传至指控中心的云端判断模块4。同时第二信息获取模块2通过物理学原理(对声、光、热、电、力判断)获取道路的灯联网控制数据，再与第一信息获取模块1中的图像共同上传至处理模块3进行图像的识别与数据的管理。如果路边没有停车位，而车辆出现较长时间停止不动时，系统会根据预设条件判断是否为违规占道，并上报指控中心。

例如，车辆测速：由于视场内的车道位置已通过结构光进行标定，但有车辆驶入时，可根据车辆在连续视频帧中出现的位置，通过运动距离和运动时间测出测量的移动速度。车流量监控：利用全场结构光可测量得到视场内车辆以及单位时间内进视场和出视场的车辆数量，从而计算出车流量。空中抛物及地面异物监控：通过与标准的背景图进行差图像运算，可以提取空中抛物与地面异物的情况。并进一步结合结构光的三维信息，可以得到异物的三维几何尺寸，然后根据事先设计的规则进行判定是否向指控中心发出告警信号。该系统可识别诸如路面突然发生沉降，井盖缺失等危险事件。

近年来，国家对环境污染的治理越来越重视，为了监测环境质量，不得不建立大量的环境监测基站，提高了监测成本。而路灯是城市的基础设施，几乎覆盖了整个城市，只要在路灯上安装环境监测设备，就可以将每一杆路灯改造成环境监测基站。本发明可通过图像处理与灯联网监测的方法分析能见度和光照度等数值，从而可实现道路实时监测功能。

例如，道路上的路灯上安装有灯联网声、光、热、电、力的传感器，并且在路灯近处装有结构光发生器与多光谱相机，用于灯联网的传感器感测当时道路上的雾浓度，将浓度信息获取后，上传至识别单元；结构光发生器对等周围道路上的信息进行结构光的发射，用于探测路等周围事物的经过情况，经多光谱相机拍摄后，将可见光图像与结构光图像上传至识别单元，识别单元对图像进行处理后，按照预先设定的规则分级上传至判断单元，当情况不是很紧急，或浓度不能达到预设标准时，或者是按照报警等级将信息发送至判断模块4，判断模块4再根据具体的情况分析过后，决定是否进行操作，若决定执行操作，则对每个路灯上的执行模块5进行指令的下达，由执行模块5执行路灯的开闭、灯亮度的强弱等。

实施例二

图2为本实施例的方法示意图，如图2所示，基于灯联网的道路监控系统，应用于终端道路监控与设备和远端服务器之间的监测，基于灯联网的道路监控方法包括：

步骤S1：第一信息获取模块获取可见光图像与结构光图像；利用多光谱照相机获取可见光图像与结构光图像。结构光激光器投射编码结构光，覆盖整个有效监控区域；多光谱相机开始工作并记录监控区域内的多光谱图像，然后将其分为可见光RGB图像和红外结构光图像分别进行处理。

步骤S2：第二信息获取模块获取灯联网控制数据，采用灯联网技术获取灯联网控制数据，通过采集单盏灯具的光、热、电、力学、化学等各种需要的信息，接收远程监控中心控制数据或提取灯具内部设置的控制数据，完成对灯具的实时控制，与互联网结合形成的一个分布式区域性网络平台，通过监控中心和远程分布式RTU(FAC4)，借助强大GPRS/CDMA移动通讯网络，完成对市政路灯、景观和光彩照明的远程控制、远程调光、远程监视、远程实时动态管理(遥测)四大方面的功能。

步骤S3：处理模块处理可见光图像、结构光图像、灯联网控制数据，得到处理结果，识别单元处理可见光图像、结构光图像、灯联网控制数据，得到处理结果，存储单元存储处理结果，输出单元输出处理结果并上传至判断模块。输出单元输出处理结果并上传至云端服务器中的判断模块。即可见光图像处理采用图像分割、帧间差法以及背景减除法等方法，提取视场内的异物和运动目标，并采用模板匹配和深度学习的方法对目标及异物进行识别，对运动目标进行行为分析，然后依据识别和分析结果对目标及其行为进行评级。

红外结构光图像处理利用结构光测量原理对视场内的目标参量进行测量。其测量原理为：当视场内没有物体出现或者经过时，结构光图像呈规则状，不会产生形变；当视场内出现异物和运动目标时，结构光图像在局部产生形变，这时，根据形变的位置、范围、幅度大小等参量，可测量出物体的位置、速度及三维几何尺度等。接收来自可见光和红外结构光图像的处理结果，综合利用可见光图像的高分辨率和结构光图像测量得到的三维信息等参量，对两部分图像处理的信息进行融合，可进一步对目标和事件进行判别。

步骤S4：判断模块根据所述处理结果，下达执行指令，输出模块根据上述处理结果，结合事先设定的规则，有选择性的将监控到的目标和事件分级上传至监控中心的云端服务器，作进一步的判别。

步骤S5：执行模块根据所述指令，执行操作，监控中心综合各监控点信息进行综合判断，并可对各监控点下达特定的控制指令，例如：关闭路灯、镜头缩放、特殊事件识别等软、硬件控制命令，在有必要时可调取各监控点的图像处理结果和监控视频。

综上所述，本发明提供一种在灯联网框架下，实现城市道路监控方法的解决途径，旨在综合利用灯联网和计算机视觉技术对城市道路进行全天候、实时监控，并对监控结果进行分析，实现诸如人或车流监控及行为分析、车位监控、交通违规监控、车牌识别、空中及地面异物监控(如高空坠物、井盖)等功能。

将狭义灯联网发展为基于计算机视觉的广义灯联网，可对城市道路进行全天候、实时监控，并对监控结果进行分析，实现诸如人或车流监控及行为分析、车位监控、交通违规监控、车牌识别、空中及地面异物监控(如高空坠物、井盖)等功能。

基于计算机视觉技术，对道路进行目标检测，当道路一定范围内不存在人或车辆等活动目标时，系统自动控制路灯关闭；当行人和车辆移动时，系统自动控制相邻的路灯打开。可以精准控制路灯开合，达到节能减排的目的。

基于机器学习的方法，对视场内的人和车辆进行行为分析，并根据分析结果对行为进行分级，对超过某个级别的行为进行预警。

本发明不经可以通过多光谱相机采集路灯周围事物的二维信息与三维信息，同时可以通过路灯上的传感器对路灯本身的情况进行检测，提高了检测的精度，能够对道路上的信息监测的同时再实现对其控制，真正实现智能化、自动化的控制与监测系统。

通过说明和附图，给出了具体实施方式的特定结构的典型实施例，基于本发明的精神，还可作其他的转换。尽管上述发明提出了现有的较佳实施例，然而，这些内容并不作为局限。

对于本领域的技术人员而言，阅读上述说明后，各种变化和修正无疑将显而易见。因此，所附的权利要求书应看作是涵盖本发明的真实意图和范围的全部变化和修正。在权利要求书范围内任何和所有等价的范围与内容，都应认为仍属本发明的意图和范围内。

Claims (10)

1.基于灯联网的道路监控系统，应用于终端道路监控与设备和远端服务器之间的监测，其特征在于，基于灯联网的道路监控系统包括：

第一信息获取模块，设置于终端道路设备上，用于获取可见光图像与结构光图像；

第二信息获取模块，设置于所述终端道路设备上，用于获取灯联网控制数据；

处理模块，设置于所述远端服务器中，分别与所述第一信息获取模块、第二信息获取模块相连，用于处理所述可见光图像、结构光图像、等联网数据，得到处理结果并输出；

判断模块，设置于所述远端服务器中，与所述处理模块通讯连接，用于判断处理结果以发出执行指令；

执行模块，设置于所述终端道路设备上，与所述判断模块通讯连接，用于执行所述判断模块发出的执行指令。

2.根据权利要求1所述的基于灯联网的道路监控系统，其特征在于，所述可见光图像、结构光图像采用多光谱相机拍摄。

3.根据权利要求1所述的基于灯联网的道路监控系统，其特征在于，所述第二信息获取模块与所述处理模块之间采用灯联网技术获取灯联网控制数据。

4.根据权利要求1所述的基于灯联网的道路监控系统，其特征在于，所述处理单元包括：

识别模块，分别与所述第一信息获取模块、所述第二信息获取模块通讯连接，用于识别所述可见光图像、所述结构光图像、所述灯联网控制数据中的信息，得到处理结果。

存储单元，分别与所述识别模块、所述判断模块通讯连接，用于存储所述处理结果；

输出单元，分别与所述存储单元、所述判断模块通讯连接，内部预设上传规则，用于将所述处理结果分级上传至所述判断模块中。

5.根据权利要求4所述的基于灯联网的道路监控系统，其特征在于，所述判断模块设置于云端服务器中。

6.基于灯联网的道路监控系统，应用于终端道路监控与设备和远端服务器之间的监测，基于灯联网的道路监控方法包括：

步骤S1：第一信息获取模块获取可见光图像与结构光图像；

步骤S2：第二信息获取模块获取灯联网控制数据；

步骤S3：处理模块处理所述可见光图像、所述结构光图像、所述灯联网控制数据，得到处理结果；

步骤S4：判断模块根据所述处理结果，下达执行指令；

步骤S5：执行模块根据所述指令，执行操作。

7.根据权利要求6所述的基于灯联网的道路监控方法，其特征在于，所述步骤S1具体包括：利用所述多光谱照相机获取所述可见光图像与所述结构光图像。

8.根据权利要求6所述的基于灯联网的道路监控方法，其特征在于，所述步骤S2具体包括：采用灯联网技术获取灯联网控制数据。

9.根据权利要求6所述的基于灯联网的道路监控方法，其特征在于，所述步骤S3还包括：

步骤S31：识别单元处理所述可见光图像、所述结构光图像、所述灯联网控制数据，得到所述处理结果；

步骤S32：存储单元存储所述处理结果；

步骤S33：输出单元输出所述处理结果并上传至判断模块。

10.根据权利要求9所述的基于灯联网的道路监控方法，其特征在于，所述步骤S33具体包括：

所述输出单元输出所述处理结果并上传至云端服务器中的判断模块。