CN113596955A - 基于移动边端节点的城市视网膜系统 - Google Patents

Abstract

本发明是模拟视神经网络的多层次边缘节点摄像分析平台，用于市域范围的图像解析与泛在监控。系统利用路灯网络设置主相机、边缘计算机与通讯组件，把路灯变成神经元节点，构筑覆盖市域的视觉专网。继而在行人、车辆及无人机设置分相机与边缘算力，形成可移动的边端感知节点。本发明搭建了可拓展的城市视网膜系统，共同组成点线面结合的视觉网络，具备全面感知与事前预测能力，既能快速响应多层次的视频分析需求，又满足智慧城市的智能化感知的需要。

Description

基于移动边端节点的城市视网膜系统

(一)技术领域

本发明是模拟视神经网络的多层次边缘节点摄像分析平台，用于市域范围的图像解析与泛在监控。系统利用路灯网络设置主相机、边缘计算机与通讯组件，把路灯变成神经元节点，构筑覆盖市域的视觉专网。继而在行人、车辆及无人机设置分相机与边缘算力，形成可移动的边端感知节点。进一步，边端感知融合到神经元组成的视觉专网中，神经元通过手机信号连接城市大脑，建立基于多层次边缘计算的视网膜系统，完成图像分类识别的体系架构，实现多维度的边端感知，充分发掘泛在传感器的潜力，为智慧城市的视觉识别与网格监控奠定技术基础。

(二)背景技术

现有的视频监控系统，主要是用摄像头拍摄视频，经数据压缩后上传服务器，存储在硬盘中，然后通过各种算法对存储数据进行解析，获得有效结果后形成控制指令，再发到控制器实施管理。这一模式一直面临数据量大、检索不易及计算困难等挑战，归纳成三个问题：难存储、难检索、难识别。

首先是存储成本高，而且存的越久成本就越高；其次不能实时反馈，服务器把数据提出来做处理，实时性和准确性都差；再次无法协作识别，A摄像头录的信息，不见得在B摄像头上能对得上，识别准确率很低。这种“1-1模式”越来越不适应智慧城市的管理要求。

注意到上述问题，本发明提出一种模拟视神经网络的多层次边缘节点感知平台，在路灯上设置主相机与边缘计算机，形成独立完成计算和存储的神经元节点，每个节点设定合理的服务半径，确保连接服务区内的边端相机，构成覆盖城市区域的视觉专网。本发明充分利用可移动的边端相机，模拟无所不在的视觉细胞，这些视觉细胞通过中继节点或其他边端相机，以数据中继方式连接神经元节点，如果不在中继范围，计算结果在进入某个服务区联网后再上传。本发明建立分布式的边缘节点感知网络，形成整体识别的视网膜架构，多维感知，协调解析，高效汇总，是全新的数字城市管理的基础设施。

(三)发明内容

在视网膜系统中，视觉细胞是基本单元，组成特定的边端感知区，负责接收视觉数据与组合形体。初步处理结果汇聚到视网膜中的神经元细胞，进行视觉矫正与最终成像，计算结果传输到大脑的功能区，最终形成包含明暗、色彩及体积的视觉感知。简而言之，视网膜是一套分级计算的体系，从初成像、结果矫正直到最终成像，每一步都有边端化计算处理，体系成员并不简单的收发数据，依赖于某个处理核心，而是分类识别，分步计算，总体协调，体现出边缘计算的特点。

视觉是人类的主要感知器，大脑约70％的外界数据来自视觉。与城市管理类比，视频监控设备就是城市的视觉。现代城市广泛安装视频设备，每天记录海量的图像信息，这些信息基本反映了城市运行的概况，也是精细管理的主要数据源。现有的视频记录模式，摄像机存储图像，然后发送到云中心，出了事才会回溯图像，还原事件原貌，以事后处理为主，缺乏事前预警，完全没有体现出视觉的提前预测的优点，离真正的视网膜系统差的很远。

本发明依据边缘计算的原理，在视频监控系统中引入一系列边端计算节点，包括边视觉节点与端视觉节点，构成分级识别与分步计算的架构，再把这些节点融合到无线的视觉专网中，协调计算，整体成像，计算结果通过手机信号发送云中心，由城市大脑形成最终结果。

进一步，边视觉节点是固定设备，拍摄位置好，计算能力强，存储空间大，且设置上行与下行两个通讯链路，上行链路以专用信号连接其他节点，构成视觉主网，下行链路以公共频段信号(WIFI/Bluetoot h/Zigbee…)连接服务区的边端相机，构成视觉分网。该类节点可以看作神经元，设有高品质相机与边缘计算机，具备全景拍摄与综合解析的能力，是本发明的主视觉设备。

路灯是沿街道均匀分布的基础设施，其间距在20～50米，其高度在9～12米，视野良好，供电可靠，是神经元节点最好的安装位置。本发明中，路灯上设置主相机、处理器、存储器及无线模块组成的边缘节点，主相机是带云台的全景相机，可360°旋转，处理器用于图片要素的识别计算，且处理其他节点的中继数据，存储器用于数据存储，包括本地数据与中继数据两部分，无线模块建立上行与下行两个通讯链路，神经元节点由上行链路互相连接，其间距为40～400米，下行链路的服务半径为20～200米，连接服务区内的的所有边端相机，同时兼顾主相机的拍摄效果。神经元节点可以与灯具一体化，也可以在灯具外独立安装。

进一步，路灯上的神经元节点形成线状监控网络，但由于建筑或树木的遮挡，不能实现对远离街道的面区域的监控，特别是人群聚集的广场、公园及绿道，存在视觉盲点。本发明设置多个可移动的端视觉节点，为自组网的边端相机，机内设有专项优化的图片分类算法，针对性的解析图片的特定要素，并通过下行链路与神经元节点通讯，行人、汽车或无人机都是边端相机的载体，可将视觉识别拓展到城市的任何角落。

识别的专项优化后，端视觉节点不需要很强的算力与带宽，电池供电且携带方便。管理员可以每天携带数字相机做巡查，志愿者可以用安装应用的手机担任视觉细胞，汽车可以安装摄像头弥补主相机的不足，无人机可以定期扫描特定区域采集相关视频。城市中无所不在的移动载体，能够最大限度的提高视觉专网的有效性与全面性。该类节点可以看作视觉细胞，具备专门特征的图片解析能力，是本发明的分视觉设备。

进一步，系统设有多层次数据中继模式，首先设立与神经元节点通讯的中继节点，负责连接其服务区的边端相机，其次每个边端相机都可互为中继，没有中继节点的地方，依靠行人或无人机充当中继路由，再者边端相机的计算结果在本地暂存，进入某个服务区完成联网后，发送给神经元节点。上述中继模式解决了远离街区的边端相机的联网问题，确保视觉专网的协调工作。

综上所述，本发明搭建了可拓展的城市视网膜系统，主网与分网形成整体，分工协作，共同组成点线面结合的视觉网络，依赖多层次边端节点的分布式算力，具备全面感知与事前预测能力，既能快速响应多层次的视频分析需求，又满足智慧城市的智能化感知的需要。

(四)有益效果

本发明利用路灯安装神经元节点，建立城市级的视觉主网，并充分利用移动载体设置边端相机，形成边端化的视觉分网，由此组成多层次边缘计算体系，模拟出视神经网络。系统实现多维感知，协调解析，高效汇总，具有很高的计算效率与感知水平，充分发掘泛在传感器的潜力，为智慧城市的视觉识别与网格监控奠定技术基础。

(五)附图说明

以下结合附图对本发明加以说明，图1是本发明的神经元节点的结构与通讯示意图，图2是本发明的视网膜构成图和固定中继的实施例，图3是本发明的视觉专网示意图和边端相机专门化的实施例。

具体实施方式

图1说明神经元节点的构成。节点与灯具一体化，包含主相机1、处理器2、存储器3及无线模块4，主相机1是带云台的全景相机，可360°旋转，处理器2用于图片要素的识别计算，且处理其他节点的中继数据，存储器3用于数据存储，包括本地数据与中继数据两部分，无线模块4建立上行与下行两个通讯链路，神经元节点由上行链路互相连接，其间距为40～400米，下行链路的服务半径为20～200米，连接服务区内的所有边端相机5，同时兼顾主相机1的拍摄效果。该类节点也可在灯具外独立安装。

图2说明神经元节点与边端相机如何搭建视网膜系统。神经元节点6形成下行服务区8，中继节点7只有通讯功能，同样形成下行服务区，边端相机5散布在各下行服务区中，分别与对应的节点建立连接。下行服务区外的边端相机，可以连接服务区中的某个边端相机，以中继路由的方式与神经元节点或中继节点通讯。适当范围的专网中，其中一个神经元节点设置5G模块，通过电信基站连接云中心9，专网的计算结果以手机信号发送到城市大脑，构成完整的城市视网膜系统。

图2也是通过固定节点实施中继的实施例。中继节点7设在公园中，两者的间距同样为40～400米，与神经元的间距要求一致。中继节点7负责连接边端相机A与B，相机A在中继节点的服务区中，可以直连，相机B不在服务区内，它先连接相机A，通过相机A的接力，与中继节点7完成连接。根据区域感知需求，可以用神经元节点代替中继节点，既增加主视觉分析能力，又起到数据中继的作用。

图3说明视觉专网的数据交换模式。神经元节点6设置在路灯上，覆盖街区范围，边端相机5以行人、汽车或无人机为载体，可拓展到街区外任何地方。下行服务区内的边端相机与神经元6直接通讯，区外的边端相机，可以先连接区内的某个相机，通过中继方式连接神经元。某个神经元节点设置5G模块，通过电信基站连接云中心9。

图3也是边端相机如何专项优化的实施例。管理员负责花草维护，边端相机提取人视线范围内的游客形态，监控破坏行为；汽车在道路中开行，边端相机提取道路中的行车状态，拍摄事故现场，边缘计算会忽略其他图片要素。这样的单项优化识别，对算力和通讯的要求都较低。图3还说明，管理员的相机不在神经元节点的服务区中，但可以先连接无人机，通过无人机的接力，与神经元节点完成连接。

Claims (7)

1.一种模拟视神经网络的多层次边缘节点摄像分析平台，利用路灯网络设置神经元节点，构筑覆盖市域的视觉专网，其特征是：

路灯上设置主相机、处理器、存储器及无线模块组成的神经元节点，主相机是带云台的全景相机，可360°旋转，处理器用于图片要素的识别计算，且处理其他节点的中继数据，存储器用于数据存储，包括本地数据与中继数据两部分，无线模块建立上行与下行两个通讯链路；

设置多个可移动的端视觉节点，为自组网的边端相机，机内设有专项优化的图片分类算法，针对性的解析图片的特定要素，并通过下行链路与神经元节点通讯，行人、汽车或无人机都是边端相机的载体；

设有多层次数据中继模式，首先设立与神经元节点通讯的中继节点，负责连接其服务区的边端相机，其次每个边端相机都可互为中继，没有中继节点的地方，依靠行人或无人机充当中继路由，再者边端相机的计算结果在本地暂存，进入某个服务区完成联网后，发送给神经元节点。

2.根据权利要求1所述的摄像分析平台，其特征是神经元节点由上行链路互相连接，其间距为40～400米，下行链路的服务半径为20～200米，连接服务区内的所有边端相机，同时兼顾主相机的拍摄效果。

3.根据权利要求1所述的摄像分析平台，其特征是神经元节点可以与灯具一体化，也可以在灯具外独立安装。

4.根据权利要求1所述的摄像分析平台，其特征是神经元节点形成下行服务区，中继节点只有通讯功能，同样形成下行服务区，边端相机散布在各下行服务区中，分别与对应的节点建立连接。

5.根据权利要求1所述的摄像分析平台，其特征是下行服务区外的边端相机，可以连接服务区中的某个边端相机，以中继路由的方式与神经元节点或中继节点通讯。

6.根据权利要求1所述的摄像分析平台，其特征是根据区域感知需求，可以用神经元节点代替中继节点，既增加主视觉分析能力，又起到数据中继的作用。

7.根据权利要求1所述的摄像分析平台，其特征是适当范围的专网中，其中一个神经元节点设置5G模块，通过电信基站连接云中心，专网的计算结果以手机信号发送到城市大脑。

Images