CN115346123A - 一种基于智能网关的智慧灯杆自治系统 - Google Patents

一种基于智能网关的智慧灯杆自治系统 Download PDF

Info

Publication number
CN115346123A
CN115346123A CN202211045365.7A CN202211045365A CN115346123A CN 115346123 A CN115346123 A CN 115346123A CN 202211045365 A CN202211045365 A CN 202211045365A CN 115346123 A CN115346123 A CN 115346123A
Authority
CN
China
Prior art keywords
module
image
data
preset
intelligent gateway
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211045365.7A
Other languages
English (en)
Other versions
CN115346123B (zh
Inventor
郭昭烽
赵彬
刘兆航
芮正新
蔡艳丽
陈晓
王乙
肖诚斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Everbright Envirotech China Ltd
Everbright Environmental Protection Research Institute Nanjing Co Ltd
Everbright Environmental Protection Technology Research Institute Shenzhen Co Ltd
Original Assignee
Everbright Envirotech China Ltd
Everbright Environmental Protection Research Institute Nanjing Co Ltd
Everbright Environmental Protection Technology Research Institute Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Everbright Envirotech China Ltd, Everbright Environmental Protection Research Institute Nanjing Co Ltd, Everbright Environmental Protection Technology Research Institute Shenzhen Co Ltd filed Critical Everbright Envirotech China Ltd
Priority to CN202211045365.7A priority Critical patent/CN115346123B/zh
Publication of CN115346123A publication Critical patent/CN115346123A/zh
Application granted granted Critical
Publication of CN115346123B publication Critical patent/CN115346123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种基于智能网关的智慧灯杆自治系统，以图像捕获装置、传感器作为输入单元，智能网关作为处理单元，图像输出装置作为输出单元的智慧灯杆信息整合解决方案；构建基于Python的智能网关边缘计算处理体系，实现智能网关对电源、IO、串口、网口等接口的整合及管理，并在软件上提供微服务框架及图像处理的后台算力；而且使用流媒体协议、Http请求等交互方法实现对不同类型摄像头设备的兼容；构建了基于Flask框架的多媒体服务，以此实现对不同类型图像输出装置的兼容；整个设计能够在单杆离线运行、不依赖于中心服务算力的情况下，实现各终端设备的信息交互、数据处理以及智能识别，并且无需进行定制协议开发和协议栈积累。

Description

一种基于智能网关的智慧灯杆自治系统
技术领域
本发明涉及一种基于智能网关的智慧灯杆自治系统，属于智慧公共设施技术领域。
背景技术
在物联网特别是智慧灯杆应用领域，为了提高集成度，通常使得智慧灯杆上挂载或接入设备种类、厂家繁多，目前常用的接入设备已超过二十种。目前普遍采用交换机或路由器的模式接入智慧灯杆上的物联网设备（如视频监控、环境监测、紧急报警、显示屏、5G、充电桩等），且物联网设备是通过数据透传的方式经交换机或者路由器进入智慧灯杆云平台。基于这种接入模式将会导致下列问题：1 .本地业务联动处理不及时；2 .网络拥堵及带宽占用高；3 .网络数据高延迟；4 .数据透传导致数据不安全；5 .高冗余数据导致平台处理不及时或额外提升平台硬件成本；6 . IP资源的浪费率高；7 .标准化低，对外输出的协议种类繁杂。
现有技术主要从通讯数据处理和协议适配的角度，通过预制协议栈，通过协议自适应、自解析的方法，在智能网关中进行数据预处理，从而实现提高处理速度、减少数据透传、降低对中心服务器依赖的效果，但是存在以下缺点：A、构建设备识别信息、协议交互模板需要大量的数据积累；B、对实时通讯数据的处理仅限于验证、踢重等数据预处理范畴；C、对于如何对智慧灯杆系统进行整合，构建各种类型设备之间的联动机制，缺乏系统性描述。
发明内容
本发明所要解决的技术问题是提供一种基于智能网关的智慧灯杆自治系统，实现智慧灯杆图像捕获装置、图像输出装置、传感器等终端设备的内部联动，解决目前智慧灯杆系统依赖于服务器进行数据处理和指令传达的问题。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于智能网关的智慧灯杆自治系统，基于目标灯杆上所搭载包含边缘计算模块的智能网关，结合目标灯杆上搭载与智能网关相连的人体感知模块、以及预设各类型环境传感器，按如下步骤，由智能网关中的边缘计算模块针对目标灯杆上所搭载的光源、图像捕获装置、图像输出装置进行本地控制；
步骤A. 基于目标灯杆上所搭载各用电设备的取电，创建启动关于各类型环境传感器工作的环境数据采集线程，并结合人体感知模块的工作，创建启动智能网关中边缘计算模块关于人体感知模块、以及预设各类型环境传感器的IO状态读取线程，然后进入步骤B；
步骤B. 智能网关中的边缘计算模块根据IO状态读取线程的读取数据结果，创建启动关于光源、图像捕获装置的控制逻辑线程，按预设控制逻辑，针对所涉及各被控对象执行本地逻辑控制；
同时，基于Flask框架，智能网关中的边缘计算模块创建启动关于图像输出装置的多媒体服务线程，基于图像输出装置对预设多媒体任务Flask对象进行默认输出显示，结合针对图像捕获装置工作当前捕获图像关于预设类型目标的识别结果的Http请求、以及IO状态读取线程下所获各类型环境传感器的检测结果的Http请求，以两个Flask对象方式分别引入图像数据Web服务、环境数据Web服务，将形成的图像处理流媒体、环境数据流媒体与预设多媒体任务切换输送至图像输出装置进行输出显示。
作为本发明的一种优选技术方案：所述步骤B启动关于图像输出装置的多媒体服务线程中，关于图像输出装置对预设多媒体任务、图像处理流媒体、环境数据流媒体的切换输出显示过程中，基于嵌入指向智能网关内网IP地址和服务端口的WEB浏览器插件，在边缘计算模块接收WEB浏览器插件关于相应输出显示对象的http请求后，使用Response应答multipart媒体类型，获得对应相应输出显示对象的多个通过boundary分隔独立的数据块，通过当前的数据块替换之前的数据块，实现图像输出装置对相应输出显示对象的输出显示。
作为本发明的一种优选技术方案：所述步骤B启动关于图像输出装置的多媒体服务线程中、关于图像输出装置对预设多媒体任务Flask对象进行默认输出显示的过程中，当边缘计算模块接收WEB浏览器插件关于预设多媒体任务的http请求后，边缘计算模块引导其下载预设资源框架中的预设index.html模板，即引导WEB浏览器插件访问index.html模板中Flask对象的预设多媒体任务接口，获得对应预设多媒体任务的数据块，实现由图像输出装置对预设多媒体任务的输出。
作为本发明的一种优选技术方案：所述步骤B启动关于图像输出装置的多媒体服务线程中、关于图像输出装置分别对图像处理流媒体、环境数据流媒体的切换输出显示过程中，基于一个camera基类，结合分别对应图像数据、环境数据的虚函数GetFrames，应用流媒体生成器函数gen()，实现分别对应图像处理流媒体、环境数据流媒体的数据块绘制；
其中，关于对应环境数据流媒体的数据块绘制中，首先基于对应虚函数GetFrames，获取环境数据帧，接着由预设资源框架中读取预设背景图片BG.jpg，并进入预设资源框架中的数据锁Lock，然后通过IO状态读取线程读取各类型环境传感器的检测结果，并解除数据锁Lock，最后在所获预设背景图片BG.jpg上绘制各类型环境传感器的检测结果，并应用流媒体生成器函数gen()，更新环境数据帧构成环境数据流媒体帧，即对应环境数据流媒体的数据块；
关于对应图像处理流媒体的数据块绘制中，首先基于对应虚函数GetFrames，获取图像识别帧，然后获得图像捕获装置工作的当前捕获图像，并应用预设资源框架中分类器算法文件logic.xml，执行对当前捕获图像关于预设类型目标的识别，若获得识别结果，则由预设资源框架中的遮罩mask缓存识别结果，将该识别结果绘制在当前捕获图像上，并应用流媒体生成器函数gen()，更新图像识别帧构成图像处理流媒体帧，即对应图像处理流媒体的数据块；若未获得识别结果，则将预设资源框架中遮罩mask所缓存相距当前时刻最近一次的识别结果绘制在当前捕获图像上，并应用流媒体生成器函数gen()，更新图像识别帧构成图像处理流媒体帧，即对应图像处理流媒体的数据块。
作为本发明的一种优选技术方案：所述步骤B中，智能网关中的边缘计算模块根据IO状态读取线程的读取数据结果，创建启动关于光源的控制逻辑线程，按预设控制逻辑如下，针对光源执行本地逻辑控制；
首先进入预设资源框架中的数据锁Lock，获得IO状态读取线程的读取数据结果，再解除数据锁Lock；然后综合预设光源发光时间段、人体感知模块检测结果、各类型环境传感器中环境光强度传感器检测结果，针对光源执行开灯、关灯、以及光亮强度调节的本地逻辑控制。
作为本发明的一种优选技术方案：所述步骤B中，智能网关中的边缘计算模块根据IO状态读取线程的读取数据结果，创建启动关于图像捕获装置的控制逻辑线程，按预设控制逻辑如下，针对图像捕获装置执行本地逻辑控制；
首先进入预设资源框架中的数据锁Lock，获得IO状态读取线程的读取数据结果，再解除数据锁Lock；然后根据人体感知模块检测结果，调整图像捕获装置指向预设位置，针对图像捕获装置的指向进行本地逻辑控制。
作为本发明的一种优选技术方案：所述智能网关包含边缘计算模块的基础上，还包括IO/串口、网络交换模块、以及具有直流输出与交流输出的电源测控模块，其中，电源测控模块通过直流输出分别为人体感知模块、以及预设各类型环境传感器进行供电，人体感知模块、以及预设各类型环境传感器分别经IO/串口连接边缘计算模块；电源测控模块通过交流输出为光源进行供电，且光源的调光信号线经IO/串口连接边缘计算模块；图像捕获装置通过RJ45网线与POE网口经网络交换模块连接边缘计算模块，实现供电与通讯；电源测控模块通过交流输出为图像输出装置进行供电，且图像输出装置的调光信号线经IO/串口连接边缘计算模块，以及边缘计算模块经网络交换模块通过RJ45网线依次串联播放控制卡、图像输出装置。
作为本发明的一种优选技术方案：所述电源测控模块包括电源测控核心模块、防雷模块、继电器隔离模块、MOS隔离模块、以及第一开关电源、第二开关电源，防雷模块的输入端连接外部交流输入电源，防雷模块的输出端基于电源测控核心模块的控制、经继电器隔离模块提供交流输出，分别为光源、图像输出装置进行供电，同时防雷模块的输出端基于电源测控核心模块的控制、经MOS隔离模块提供直流输出，分别为人体感知模块、以及预设各类型环境传感器进行供电，并且防雷模块的输出端基于电源测控核心模块的控制、分别连接第一开关电源、第二开关电源，同时电源测控核心模块分别提供模拟量输入/输出端、数字量输入/输出端、以及CAN总线端；
所述边缘计算模块包括相互连接的边缘计算核心模块、通信转换模块，边缘计算核心模块经通信转换模块提供RS485接口、RS232接口、以及USB接口；
所述网络交换模块包括网关核心模块、以及分别与网关核心模块相连接的光纤通信模块、4G/5G通信模块、交换芯片、WiFi模块，网关核心模块经光纤通信模块提供光纤接口，网关核心模块经交换芯片提供网口与POE接口；
边缘计算模块中边缘计算核心模块与电源测控模块中电源测控核心模块之间通过串口相连进行供电，边缘计算模块中边缘计算核心模块与网络交换模块中网关核心模块之间通过网口相连进行通信。
作为本发明的一种优选技术方案：所述人体感知模块包括红外传感器、接近开关。
本发明所述一种基于智能网关的智慧灯杆自治系统，采用以上技术方案与现有技术相比，具有以下技术效果：
（1）本发明所设计一种基于智能网关的智慧灯杆自治系统，实现以图像捕获装置、传感器作为输入单元，智能网关作为处理单元，图像输出装置作为输出单元的智慧灯杆信息整合解决方案；其中，构建基于Python的智能网关边缘计算处理体系，实现智能网关对电源、IO、串口、网口等接口的整合及管理，并在软件上提供微服务框架及图像处理的后台算力；运行多服个务、运算线程，同时满足系统对于状态获取、逻辑控制、后台运算、输出控制的需求；而且使用流媒体协议、Http请求等交互方法实现对不同类型摄像头设备的兼容；构建了基于Flask框架的多媒体服务，以此实现对不同类型图像输出装置的兼容；并通过分层绘制、遮罩缓存的方法实现对视频流进行图像识别结果的高频无抖动输出；整个设计能够在单杆离线运行、不依赖于中心服务算力的情况下，实现各终端设备的信息交互、数据处理以及智能识别，并且无需进行定制协议开发和协议栈积累；
（2）本发明所设计一种基于智能网关的智慧灯杆自治系统，提出了一种边缘计算的实现形式，核心思想是通过边缘中心设备（如网关）的智能化提升，提供边缘侧的数据处理和智能识别服务，为中心服务节点分担通讯和运算的压力，并提高系统的容错率（可离线独立运行）。适用于在类似的边缘计算场景中应用，如智慧城管、智慧交通等；
（3）本发明所设计一种基于智能网关的智慧灯杆自治系统，通过对智能网关做合理的模块化功能及接口设计，可有效地接入各类输入设备、对数据信号进行协议转换和处理、并对输出设备进行控制；此方法不仅适用于智慧灯杆系统，对类似架构的系统同样适用，如：数据采集处理系统、微型控制系统；
（4）本发明所设计一种基于智能网关的智慧灯杆自治系统中，通过智能网关和通用协议接入设备的方法，适用于接入各类通过硬接线输出、串口线输出、RJ45网线通讯的各类传感设备，可以有效节省系统硬件投入、降低系统对设备的型号依赖；
（5）本发明所设计一种基于智能网关的智慧灯杆自治系统中，所设计基于Flask微服务框架的多媒体流输出方法，不仅适用于向LED屏输出图像信号，同样适用于向IP音柱或其他音响设备输出音频信号。
附图说明
图1是本发明设计基于智能网关的智慧灯杆自治系统的主线流程图；
图2是本发明设计基于智能网关的智慧灯杆自治系统中环境数据采集流程图；
图3是本发明设计基于智能网关的智慧灯杆自治系统中IO状态读取流程图；
图4是本发明设计基于智能网关的智慧灯杆自治系统中关于光源的逻辑控制流程图；
图5是本发明设计基于智能网关的智慧灯杆自治系统中关于图像捕获装置的逻辑控制流程图；
图6是本发明设计基于智能网关的智慧灯杆自治系统中预设资源框架图；
图7是本发明设计基于智能网关的智慧灯杆自治系统中Flask服务推流原理示意图；
图8是本发明设计基于智能网关的智慧灯杆自治系统中多媒体服务线程流程图；
图9是本发明设计基于智能网关的智慧灯杆自治系统的系统硬件架构图；
图10是本发明设计基于智能网关的智慧灯杆自治系统的系统硬件详细架构示意图；
图11是本发明设计基于智能网关的智慧灯杆自治系统的实际产品实施图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
本发明设计了一种基于智能网关的智慧灯杆自治系统，实际应用当中，基于目标灯杆上所搭载包含边缘计算模块的智能网关，结合目标灯杆上搭载与智能网关相连的人体感知模块、以及预设各类型环境传感器，人体感知模块包括红外传感器、接近开关，具体实施中，按图1所示，执行如下步骤，由智能网关中的边缘计算模块针对目标灯杆上所搭载的光源、图像捕获装置、图像输出装置进行本地控制；实际实施当中，图像捕获装置即搭载在目标灯杆上的摄像头，光源采用LED灯具，图像输出装置采用LED屏幕。
步骤A. 基于目标灯杆上所搭载各用电设备的取电，如图2所示，创建启动关于各类型环境传感器工作的环境数据采集线程，并结合人体感知模块的工作，如图3所示，创建启动智能网关中边缘计算模块关于人体感知模块、以及预设各类型环境传感器的IO状态读取线程，然后进入步骤B。
环境数据采集线程中，如图2所示，环境传感器同智能网关通过RS485线相连，程序开始后，根据传感器参数打开指定的串口，按周期向串口发送数据查询帧；接收到反馈数据后，根据通讯协议对数据进行解析，并缓存更新到内存中。如查询过程中串口被关闭或查询超时，则重连重试；当线程接收到结束信号时终止。
IO状态读取线程中，如图3所示，程序在边缘计算板中运行，故需通过发送IO状态查询帧查询IO状态；接收到反馈数据后，根据通讯协议对数据进行解析，并缓存更新到内存中。如查询过程中连接被关闭或查询超时，则重连重试；当线程接收到结束信号时终止。
步骤B. 智能网关中的边缘计算模块根据IO状态读取线程的读取数据结果，创建启动关于光源、图像捕获装置的控制逻辑线程，按预设控制逻辑，针对所涉及各被控对象执行本地逻辑控制。
同时，按图7所示，基于Flask框架，智能网关中的边缘计算模块创建启动关于图像输出装置的多媒体服务线程，基于图像输出装置对预设多媒体任务Flask对象进行默认输出显示，结合针对图像捕获装置工作当前捕获图像关于预设类型目标的识别结果的Http请求、以及IO状态读取线程下所获各类型环境传感器的检测结果的Http请求，以两个Flask对象方式分别引入图像数据Web服务、环境数据Web服务，将形成的图像处理流媒体、环境数据流媒体与预设多媒体任务切换输送至图像输出装置进行输出显示。
实际应用当中，如图6所示预设资源框架图，主要由资源（resource）、内存（memory）和工作线程（workThread）组成；其中：
资源中的index.html和BG.jpg用于为多媒体服务提供网页和背景图模板；logic.xml为图像识别运算所加载的分类器算法文件。
内存中保存：公共变量，如环境传感器所检测的温度、湿度等；同步锁用于保护公共变量的在多线程中的读写；遮罩(mask)用于缓存图像识别后得出的结果，后续用于叠加实时图像形成流媒体服务，输出反馈给LED屏幕。
软件系统中运行的工作线程主要有：控制逻辑线程，用于通过读取公共变量得到输入信号，经过逻辑判断对指定设备进行输出控制；多媒体服务，通过Flask框架为LED屏幕提供播放内容；变量采集，用于更新当前环境传感器变量参数；IO读写，用于读取和模拟量、开关量状态，并根据需要对其进行控制；图像识别运算，用于在后台进行图像识别处理，并生成数据结果和遮罩(mask)，并缓存到内存中。
具体实际实施当中，按图7所示，上述步骤B启动关于图像输出装置的多媒体服务线程中，关于图像输出装置对预设多媒体任务、图像处理流媒体、环境数据流媒体的切换输出显示过程中，基于嵌入指向智能网关内网IP地址和服务端口的WEB浏览器插件，在边缘计算模块接收WEB浏览器插件关于相应输出显示对象的http请求后，使用Response应答multipart媒体类型，获得对应相应输出显示对象的多个通过boundary分隔独立的数据块，通过当前的数据块替换之前的数据块，实现图像输出装置对相应输出显示对象的输出显示。
图像输出装置的显示中，即浏览器处理multipart/x-mixed-replace类型时，会使用当前的块数据替换之前的块数据，从而实现LED屏幕的快速、无抖动刷新的效果。
def gen(camera):
while True:
frame = camera.get_frame() yield (b'--frame\r\n'b'Content-Type: image/jpeg\r\n\r\n' + frame + b'\r\n')
具体实施当中，步骤B启动关于图像输出装置的多媒体服务线程中、关于图像输出装置对预设多媒体任务Flask对象进行默认输出显示的过程中，当边缘计算模块接收WEB浏览器插件关于预设多媒体任务的http请求后，边缘计算模块引导其下载预设资源框架中的预设index.html模板，index.html模板中的核心内容如下：
<body><img src="{{ url_for('video_feed') }}"></body>
即引导WEB浏览器插件访问index.html模板中Flask对象的预设多媒体任务接口video_feed接口，其核心内容如下：
@app.route('/video_feed')
def video_feed():
return Response(gen(Camera()),mimetype='multipart/x-mixed-replace;boundary=frame')
即获得对应预设多媒体任务的数据块，实现由图像输出装置对预设多媒体任务的输出。
并且步骤B启动关于图像输出装置的多媒体服务线程中、关于图像输出装置分别对图像处理流媒体、环境数据流媒体的切换输出显示过程中，基于一个camera基类，结合分别对应图像数据、环境数据的虚函数GetFrames，应用流媒体生成器函数gen()，按图8所示，实现分别对应图像处理流媒体、环境数据流媒体的数据块绘制。
其中，关于对应环境数据流媒体的数据块绘制中，首先基于对应虚函数GetFrames，获取环境数据帧，接着由预设资源框架中读取预设背景图片BG.jpg，并进入预设资源框架中的数据锁Lock，然后通过IO状态读取线程读取各类型环境传感器的检测结果，并解除数据锁Lock，最后在所获预设背景图片BG.jpg上绘制各类型环境传感器的检测结果，并应用流媒体生成器函数gen()，更新环境数据帧构成环境数据流媒体帧，即对应环境数据流媒体的数据块。
关于对应图像处理流媒体的数据块绘制中，首先基于对应虚函数GetFrames，获取图像识别帧，然后获得图像捕获装置工作的当前捕获图像，并应用预设资源框架中分类器算法文件logic.xml，执行对当前捕获图像关于预设类型目标的识别，若获得识别结果，则由预设资源框架中的遮罩mask缓存识别结果，将该识别结果绘制在当前捕获图像上，并应用流媒体生成器函数gen()，更新图像识别帧构成图像处理流媒体帧，即对应图像处理流媒体的数据块；若未获得识别结果，则将预设资源框架中遮罩mask所缓存相距当前时刻最近一次的识别结果绘制在当前捕获图像上，并应用流媒体生成器函数gen()，更新图像识别帧构成图像处理流媒体帧，即对应图像处理流媒体的数据块。
实际实施应用当中，步骤B中，智能网关中的边缘计算模块根据IO状态读取线程的读取数据结果，创建启动关于光源的控制逻辑线程，如图4所示，按预设控制逻辑如下，针对光源执行本地逻辑控制。
首先进入预设资源框架中的数据锁Lock，获得IO状态读取线程的读取数据结果，再解除数据锁Lock；然后综合预设光源发光时间段、人体感知模块检测结果、各类型环境传感器中环境光强度传感器检测结果，针对光源执行开灯、关灯、以及光亮强度调节的本地逻辑控制；其中，人体感知模块检测结果中的红外传感器用于判定周边是否有人。
所述步骤B中，智能网关中的边缘计算模块根据IO状态读取线程的读取数据结果，创建启动关于图像捕获装置的控制逻辑线程，如图5所示，按预设控制逻辑如下，针对图像捕获装置执行本地逻辑控制。
首先进入预设资源框架中的数据锁Lock，获得IO状态读取线程的读取数据结果，再解除数据锁Lock；然后根据人体感知模块检测结果，调整图像捕获装置指向预设位置，针对图像捕获装置的指向进行本地逻辑控制。
实际应用中，对图像捕获装置中摄像头云台的控制指令通过往摄像头发送特定的request请求来实现,如：
url = 'http://XX.XX.XX.XX/ISAPI/PTZCtrl/channels/1/presets/%d/goto1'requests.put(url, auth=HTTPDigestAuth('admin', '******'))
上述设计基于智能网关的智慧灯杆自治系统在实际应用当中，基于所述智能网关包含边缘计算模块的基础上，如图9所示，还包括IO/串口、网络交换模块、以及具有直流输出与交流输出的电源测控模块，其中，电源测控模块通过直流输出分别为人体感知模块、以及预设各类型环境传感器进行供电，人体感知模块、以及预设各类型环境传感器分别经IO/串口连接边缘计算模块；电源测控模块通过交流输出为光源进行供电，且光源的调光信号线经IO/串口连接边缘计算模块；图像捕获装置通过RJ45网线与POE网口经网络交换模块连接边缘计算模块，实现供电与通讯；电源测控模块通过交流输出为图像输出装置进行供电，且图像输出装置的调光信号线经IO/串口连接边缘计算模块，以及边缘计算模块经网络交换模块通过RJ45网线依次串联播放控制卡、图像输出装置。
具体实施中，红外传感器、接近开关及环境传感器是智慧灯杆的感应类设备，为系统提供输入信号。智能网关为其分别提供5V或12V直流供电。红外传感器和接近开关的输入信号通过硬接点接入智能网关的AI或DI端子。环境传感器通过信号线接入智能网关其中一路RS485端子。
摄像头即为系统提供图像信号输入，也是特殊事件触发时的受控对象。摄像头通过RJ45网线和智能网关的POE网口相连，满足供电和通讯的要求。智能网关的边缘计算层软件将通过RSTP协议捕获摄像头的媒体流，对实时图像进行识别和处理；通过特定的通讯协议（如ISAPI），对其进行云台转动、拍照、录像等控制。
LED灯具是系统的重要受控设备，智能网关通过220V交流输出接口对其供电，另外将其0-10V调光信号线接入AO端子，智能网关的边缘计算层软件将通过改变AO端子的输出电压，实现对灯具的调光控制。
LED屏幕是系统的主要输出展示设备，智能网关通过220V交流输出接口对其供电，并通过RJ45网线进行通讯连接。LED屏幕中预设好播放内容，使用浏览器插件通过HTTP协议访问智能网关提供多媒体服务，当前环境数据、图像识别结果的实时播报。
具体设计下，如图10所示，电源测控模块包括电源测控核心模块、防雷模块、继电器隔离模块、MOS隔离模块、以及第一开关电源、第二开关电源，防雷模块的输入端连接外部交流输入电源，防雷模块的输出端基于电源测控核心模块的控制、经继电器隔离模块提供交流输出，分别为光源、图像输出装置进行供电，同时防雷模块的输出端基于电源测控核心模块的控制、经MOS隔离模块提供直流输出，分别为人体感知模块、以及预设各类型环境传感器进行供电，并且防雷模块的输出端基于电源测控核心模块的控制、分别连接第一开关电源、第二开关电源，同时电源测控核心模块分别提供模拟量输入/输出端、数字量输入/输出端、以及CAN总线端。
所述边缘计算模块包括相互连接的边缘计算核心模块、通信转换模块，边缘计算核心模块经通信转换模块提供RS485接口、RS232接口、以及USB接口。
所述网络交换模块包括网关核心模块、以及分别与网关核心模块相连接的光纤通信模块、4G/5G通信模块、交换芯片、WiFi模块，网关核心模块经光纤通信模块提供光纤接口，网关核心模块经交换芯片提供网口与POE接口。
边缘计算模块中边缘计算核心模块与电源测控模块中电源测控核心模块之间通过串口相连进行供电，边缘计算模块中边缘计算核心模块与网络交换模块中网关核心模块之间通过网口相连进行通信，实际应用中，边缘计算模块主要的软件运行环境为：嵌入式Linux4.1.15系统；交叉编译运行Python3.6脚本解释器；安装Flask0.12.2，Python-OpenCV等组件支持。
将本发明所设计基于智能网关的智慧灯杆自治系统，应用于实际当中，构建如图11所示的智慧灯杆，实现以图像捕获装置、传感器作为输入单元，智能网关作为处理单元，图像输出装置作为输出单元的智慧灯杆信息整合解决方案；其中，构建基于Python的智能网关边缘计算处理体系，实现智能网关对电源、IO、串口、网口等接口的整合及管理，并在软件上提供微服务框架及图像处理的后台算力；运行多服个务、运算线程，同时满足系统对于状态获取、逻辑控制、后台运算、输出控制的需求；而且使用流媒体协议、Http请求等交互方法实现对不同类型摄像头设备的兼容；构建了基于Flask框架的多媒体服务，以此实现对不同类型图像输出装置的兼容；并通过分层绘制、遮罩缓存的方法实现对视频流进行图像识别结果的高频无抖动输出；整个设计能够在单杆离线运行、不依赖于中心服务算力的情况下，实现各终端设备的信息交互、数据处理以及智能识别，并且无需进行定制协议开发和协议栈积累。
设计提出了一种边缘计算的实现形式，核心思想是通过边缘中心设备（如网关）的智能化提升，提供边缘侧的数据处理和智能识别服务，为中心服务节点分担通讯和运算的压力，并提高系统的容错率（可离线独立运行）。适用于在类似的边缘计算场景中应用，如智慧城管、智慧交通等；通过对智能网关做合理的模块化功能及接口设计，可有效地接入各类输入设备、对数据信号进行协议转换和处理、并对输出设备进行控制；此方法不仅适用于智慧灯杆系统，对类似架构的系统同样适用，如：数据采集处理系统、微型控制系统；并且通过智能网关和通用协议接入设备的方法，适用于接入各类通过硬接线输出、串口线输出、RJ45网线通讯的各类传感设备，可以有效节省系统硬件投入、降低系统对设备的型号依赖；而且所设计基于Flask微服务框架的多媒体流输出方法，不仅适用于向LED屏输出图像信号，同样适用于向IP音柱或其他音响设备输出音频信号。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (9)

1.一种基于智能网关的智慧灯杆自治系统，其特征在于：基于目标灯杆上所搭载包含边缘计算模块的智能网关，结合目标灯杆上搭载与智能网关相连的人体感知模块、以及预设各类型环境传感器，按如下步骤，由智能网关中的边缘计算模块针对目标灯杆上所搭载的光源、图像捕获装置、图像输出装置进行本地控制；
步骤A. 基于目标灯杆上所搭载各用电设备的取电，创建启动关于各类型环境传感器工作的环境数据采集线程，并结合人体感知模块的工作，创建启动智能网关中边缘计算模块关于人体感知模块、以及预设各类型环境传感器的IO状态读取线程，然后进入步骤B；
步骤B. 智能网关中的边缘计算模块根据IO状态读取线程的读取数据结果，创建启动关于光源、图像捕获装置的控制逻辑线程，按预设控制逻辑，针对所涉及各被控对象执行本地逻辑控制；
同时，基于Flask框架，智能网关中的边缘计算模块创建启动关于图像输出装置的多媒体服务线程，基于图像输出装置对预设多媒体任务Flask对象进行默认输出显示，结合针对图像捕获装置工作当前捕获图像关于预设类型目标的识别结果的Http请求、以及IO状态读取线程下所获各类型环境传感器的检测结果的Http请求，以两个Flask对象方式分别引入图像数据Web服务、环境数据Web服务，将形成的图像处理流媒体、环境数据流媒体与预设多媒体任务切换输送至图像输出装置进行输出显示。
2.根据权利要求1所述一种基于智能网关的智慧灯杆自治系统，其特征在于：所述步骤B启动关于图像输出装置的多媒体服务线程中，关于图像输出装置对预设多媒体任务、图像处理流媒体、环境数据流媒体的切换输出显示过程中，基于嵌入指向智能网关内网IP地址和服务端口的WEB浏览器插件，在边缘计算模块接收WEB浏览器插件关于相应输出显示对象的http请求后，使用Response应答multipart媒体类型，获得对应相应输出显示对象的多个通过boundary分隔独立的数据块，通过当前的数据块替换之前的数据块，实现图像输出装置对相应输出显示对象的输出显示。
3.根据权利要求2所述一种基于智能网关的智慧灯杆自治系统，其特征在于：所述步骤B启动关于图像输出装置的多媒体服务线程中、关于图像输出装置对预设多媒体任务Flask对象进行默认输出显示的过程中，当边缘计算模块接收WEB浏览器插件关于预设多媒体任务的http请求后，边缘计算模块引导其下载预设资源框架中的预设index.html模板，即引导WEB浏览器插件访问index.html模板中Flask对象的预设多媒体任务接口，获得对应预设多媒体任务的数据块，实现由图像输出装置对预设多媒体任务的输出。
4.根据权利要求2所述一种基于智能网关的智慧灯杆自治系统，其特征在于：所述步骤B启动关于图像输出装置的多媒体服务线程中、关于图像输出装置分别对图像处理流媒体、环境数据流媒体的切换输出显示过程中，基于一个camera基类，结合分别对应图像数据、环境数据的虚函数GetFrames，应用流媒体生成器函数gen()，实现分别对应图像处理流媒体、环境数据流媒体的数据块绘制；
其中，关于对应环境数据流媒体的数据块绘制中，首先基于对应虚函数GetFrames，获取环境数据帧，接着由预设资源框架中读取预设背景图片BG.jpg，并进入预设资源框架中的数据锁Lock，然后通过IO状态读取线程读取各类型环境传感器的检测结果，并解除数据锁Lock，最后在所获预设背景图片BG.jpg上绘制各类型环境传感器的检测结果，并应用流媒体生成器函数gen()，更新环境数据帧构成环境数据流媒体帧，即对应环境数据流媒体的数据块；
关于对应图像处理流媒体的数据块绘制中，首先基于对应虚函数GetFrames，获取图像识别帧，然后获得图像捕获装置工作的当前捕获图像，并应用预设资源框架中分类器算法文件logic.xml，执行对当前捕获图像关于预设类型目标的识别，若获得识别结果，则由预设资源框架中的遮罩mask缓存识别结果，将该识别结果绘制在当前捕获图像上，并应用流媒体生成器函数gen()，更新图像识别帧构成图像处理流媒体帧，即对应图像处理流媒体的数据块；若未获得识别结果，则将预设资源框架中遮罩mask所缓存相距当前时刻最近一次的识别结果绘制在当前捕获图像上，并应用流媒体生成器函数gen()，更新图像识别帧构成图像处理流媒体帧，即对应图像处理流媒体的数据块。
5.根据权利要求1所述一种基于智能网关的智慧灯杆自治系统，其特征在于：所述步骤B中，智能网关中的边缘计算模块根据IO状态读取线程的读取数据结果，创建启动关于光源的控制逻辑线程，按预设控制逻辑如下，针对光源执行本地逻辑控制；
首先进入预设资源框架中的数据锁Lock，获得IO状态读取线程的读取数据结果，再解除数据锁Lock；然后综合预设光源发光时间段、人体感知模块检测结果、各类型环境传感器中环境光强度传感器检测结果，针对光源执行开灯、关灯、以及光亮强度调节的本地逻辑控制。
6.根据权利要求1所述一种基于智能网关的智慧灯杆自治系统，其特征在于：所述步骤B中，智能网关中的边缘计算模块根据IO状态读取线程的读取数据结果，创建启动关于图像捕获装置的控制逻辑线程，按预设控制逻辑如下，针对图像捕获装置执行本地逻辑控制；
首先进入预设资源框架中的数据锁Lock，获得IO状态读取线程的读取数据结果，再解除数据锁Lock；然后根据人体感知模块检测结果，调整图像捕获装置指向预设位置，针对图像捕获装置的指向进行本地逻辑控制。
7.根据权利要求1所述一种基于智能网关的智慧灯杆自治系统，其特征在于：所述智能网关包含边缘计算模块的基础上，还包括IO/串口、网络交换模块、以及具有直流输出与交流输出的电源测控模块，其中，电源测控模块通过直流输出分别为人体感知模块、以及预设各类型环境传感器进行供电，人体感知模块、以及预设各类型环境传感器分别经IO/串口连接边缘计算模块；电源测控模块通过交流输出为光源进行供电，且光源的调光信号线经IO/串口连接边缘计算模块；图像捕获装置通过RJ45网线与POE网口经网络交换模块连接边缘计算模块，实现供电与通讯；电源测控模块通过交流输出为图像输出装置进行供电，且图像输出装置的调光信号线经IO/串口连接边缘计算模块，以及边缘计算模块经网络交换模块通过RJ45网线依次串联播放控制卡、图像输出装置。
8.根据权利要求7所述一种基于智能网关的智慧灯杆自治系统，其特征在于：所述电源测控模块包括电源测控核心模块、防雷模块、继电器隔离模块、MOS隔离模块、以及第一开关电源、第二开关电源，防雷模块的输入端连接外部交流输入电源，防雷模块的输出端基于电源测控核心模块的控制、经继电器隔离模块提供交流输出，分别为光源、图像输出装置进行供电，同时防雷模块的输出端基于电源测控核心模块的控制、经MOS隔离模块提供直流输出，分别为人体感知模块、以及预设各类型环境传感器进行供电，并且防雷模块的输出端基于电源测控核心模块的控制、分别连接第一开关电源、第二开关电源，同时电源测控核心模块分别提供模拟量输入/输出端、数字量输入/输出端、以及CAN总线端；
所述边缘计算模块包括相互连接的边缘计算核心模块、通信转换模块，边缘计算核心模块经通信转换模块提供RS485接口、RS232接口、以及USB接口；
所述网络交换模块包括网关核心模块、以及分别与网关核心模块相连接的光纤通信模块、4G/5G通信模块、交换芯片、WiFi模块，网关核心模块经光纤通信模块提供光纤接口，网关核心模块经交换芯片提供网口与POE接口；
边缘计算模块中边缘计算核心模块与电源测控模块中电源测控核心模块之间通过串口相连进行供电，边缘计算模块中边缘计算核心模块与网络交换模块中网关核心模块之间通过网口相连进行通信。
9.根据权利要求1至8中任意一项所述一种基于智能网关的智慧灯杆自治系统，其特征在于：所述人体感知模块包括红外传感器、接近开关。
CN202211045365.7A 2022-08-30 2022-08-30 一种基于智能网关的智慧灯杆自治系统 Active CN115346123B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211045365.7A CN115346123B (zh) 2022-08-30 2022-08-30 一种基于智能网关的智慧灯杆自治系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211045365.7A CN115346123B (zh) 2022-08-30 2022-08-30 一种基于智能网关的智慧灯杆自治系统

Publications (2)

Publication Number Publication Date
CN115346123A true CN115346123A (zh) 2022-11-15
CN115346123B CN115346123B (zh) 2023-11-17

Family

ID=83954021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211045365.7A Active CN115346123B (zh) 2022-08-30 2022-08-30 一种基于智能网关的智慧灯杆自治系统

Country Status (1)

Country Link
CN (1) CN115346123B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116887488A (zh) * 2023-09-07 2023-10-13 中建照明有限公司 一种用于城市道路的交通照明控制系统及其控制方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203149339U (zh) * 2013-03-13 2013-08-21 黄山风景区管理委员会 一种远程控制的电子摄像机防雷控制器
CN111669878A (zh) * 2020-05-26 2020-09-15 同济大学 一种基于泛在感知的智慧灯杆照明控制方法及系统
CN111988352A (zh) * 2019-05-23 2020-11-24 上海三思电子工程有限公司 边缘计算执行、管理、配合方法、设备、系统及存储介质
CN112866096A (zh) * 2020-12-31 2021-05-28 天津大学 一种面向工业物联网的智慧物联网关
CN213484906U (zh) * 2020-10-28 2021-06-18 孙夕庆 一种智慧塔杆及基于该智慧塔杆的光纤通讯网络
WO2022041087A1 (zh) * 2020-08-25 2022-03-03 江苏省瑞宝特科技发展有限公司 一种多功能模块化智慧灯杆及其实现方法
CN114553892A (zh) * 2022-02-21 2022-05-27 济南浪潮智投智能科技有限公司 一种智慧灯杆管理方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203149339U (zh) * 2013-03-13 2013-08-21 黄山风景区管理委员会 一种远程控制的电子摄像机防雷控制器
CN111988352A (zh) * 2019-05-23 2020-11-24 上海三思电子工程有限公司 边缘计算执行、管理、配合方法、设备、系统及存储介质
CN111669878A (zh) * 2020-05-26 2020-09-15 同济大学 一种基于泛在感知的智慧灯杆照明控制方法及系统
WO2022041087A1 (zh) * 2020-08-25 2022-03-03 江苏省瑞宝特科技发展有限公司 一种多功能模块化智慧灯杆及其实现方法
CN213484906U (zh) * 2020-10-28 2021-06-18 孙夕庆 一种智慧塔杆及基于该智慧塔杆的光纤通讯网络
CN112866096A (zh) * 2020-12-31 2021-05-28 天津大学 一种面向工业物联网的智慧物联网关
CN114553892A (zh) * 2022-02-21 2022-05-27 济南浪潮智投智能科技有限公司 一种智慧灯杆管理方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AMIR M.RAHMANI等: "Exploiting smart e-Health gateways at the edge of healthcare Internet-of-Things:A fog computing approach", 《FUTURE GENERATION COMPUTER SYSTEMS》, vol. 78, no. 2, pages 641 - 658, XP055499249, DOI: 10.1016/j.future.2017.02.014 *
CHARLES.ZHANG: "利用flask将opencv实时视频流输出到浏览器", pages 1, Retrieved from the Internet <URL:https://blog.csdn.net/qq_36387683/article/details/91879928> *
DATAXUJING: "将OpenCV视频传输到网页浏览器并进行目标检测", pages 1, Retrieved from the Internet <URL:https://github.com/DataXujing/OpenCV-Flask/tree/master> *
段宝燕: "智慧灯杆为载体的边缘智能网关研发", 《中国优秀硕士学位论文全文数据库 工程科技II辑》, vol. 2021, no. 01, pages 038 - 406 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116887488A (zh) * 2023-09-07 2023-10-13 中建照明有限公司 一种用于城市道路的交通照明控制系统及其控制方法
CN116887488B (zh) * 2023-09-07 2023-12-12 中建照明有限公司 一种用于城市道路的交通照明控制系统及其控制方法

Also Published As

Publication number Publication date
CN115346123B (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
CN109451040A (zh) 基于边缘计算的物联网组网系统及组网方法
CN1254972C (zh) 基于ip网络智能视频内容监控系统
CN107277442A (zh) 一种基于智能全景实时视频vr巡检监控装置及监控方法
CN103716584A (zh) 基于上下文感知的智能移动终端现场监测方法
CN111770014A (zh) 数据信息处理方法，边缘网关，以及处理数据信息的系统
CN102546338A (zh) 基于can总线的多媒体智能传感器网络系统及方法
CN107094244A (zh) 可集中管控的智能客流监测装置与方法
CN112783064A (zh) 楼宇智能控制三维模型展示方法及相关设备
CN104090538B (zh) 基于wifi的智能助残轮椅控制系统及控制方法
CN115346123A (zh) 一种基于智能网关的智慧灯杆自治系统
EP4362456A1 (en) Monitoring system and method based on digital converter station
CN110262340A (zh) 一种基于边缘计算的物联接入与监测方法
CN114363562A (zh) 基于云分发的5g配网监测系统和配网监测方法
CN203368647U (zh) 混合式视频质量诊断系统
CN204669511U (zh) 一种一体化的自动录播跟踪系统
CN201601789U (zh) 一种联动报警视频监控综合信息集中管理系统
KR102251777B1 (ko) 프록시 기능을 지원하는 지능형 영상 감시 장치 및 그 구동방법
CN201585043U (zh) 一种3g摄像机
CN111614936A (zh) 一种用于云计算数据中心的视频监控系统
CN114945233A (zh) 一种智慧城市楼宇景观灯光的集成控制平台
CN112057832B (zh) 一种基于移动流媒体技术的实景骑行训练系统
CN109614903A (zh) 一种监控摄像机外置人脸识别装置
CN105471592B (zh) 一种公共Wi-Fi系统
CN205232356U (zh) 一种基于移动终端的增强现实监控系统
CN212572702U (zh) 一种基于边缘计算采集、处理、显示与安全控制装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant