CN114913475B - 基于gis和机器视觉的城市网格化管理方法及系统 - Google Patents

Abstract

本发明公开了一种基于GIS和机器视觉的城市网格化管理方法，其包括对城市遥感地图进行多级网格划分，并对每个城市网格配置唯一编码；在每个城市网格的地理区域中布置复眼成像监控装置，并对每个复眼成像监控装置进行编码；利用复眼成像监控装置获取城市监控图像，并使用深度神经网络图像识别模型对监控图像进行分类识别以获得所述城市监控图像的分类标签；对获得的分类标签进行信息整合以获得同一城市管理事件信息集合。

Description

基于GIS和机器视觉的城市网格化管理方法及系统

技术领域

本发明涉及城市网格化管理技术领域，尤其涉及一种基于GIS和机器视觉的城市网格化管理方法及系统。

背景技术

进入20世纪90年代，城市化进程明显加快，对区域经济社会发展起到了巨大的推动作用，但在城市化水平提高的同时，也出现了交通拥挤、环境污染等一系列城市问题。这些问题的出现固然有城市建设方面的原因，但更重要的还是由城市管理体制和城市管理手段等方面的原因造成的。由于传统管理体制方面的原因，城市管理存在许多薄弱环节，主要表现为：信息滞后，管理被动；各专业管理部门职能交叉、多头管理。从城市管理手段看，虽然许多城市已经建立了城市管理信息系统，但多限于城市信息的存储和管理，而城市的业务和事务管理很少用到现代信息技术，通常还是用传统的粗放式管理手段，这显然远远不能适应现代城市的发展需要。随着计算机技术、信息技术、网络和通信技术的快速发展及其在城市管理中的应用，城市信息化管理进程明显加快，相继出现了“数字城市”、“智能城市”等概念。进入21世纪，北京、上海等地尝试将网格化管理应用于现代城市管理,并取得了良好的效果。

但是目前的城市网格化管理仍处于初级阶段，城市信息的收集与上传仍然更多的依靠处于社区街道的基层网格管理员，通过人工方式实现。这就造成了信息的获取在时效性、准确性和完整性的多方面的缺陷。当发生城市突发事件时，由集成网格管理上报大量信息和数据时，这些数据信息之间往往是相互独立的，无法及时反映出突发事件的全貌。这就使得突发事件处理部门在应对突发事件上难于作出及时有效的应对策略。

由此可见，本领域中需要一种能够基于GIS系统和机器视觉分析功能的针对城市突发事件进行信息数据分析整合的管理系统，从而提高对城市突发事件的感知速度和准确度，及时描绘出突发事件的全部信息。

发明内容

本发明所要实现的技术目的在于提供基于GIS和机器视觉的城市网格化管理方法及系统，基于该系统能够实现对城市突发事件进行信息数据分析整合，从而提高对城市突发事件的感知速度和准确度，及时描绘出突发事件的全部信息。

为实现上述技术目的，本发明提供一种基于GIS和机器视觉的城市网格化管理方法，所述方法包括：

对城市遥感地图进行多级网格划分，并对每个城市网格配置唯一编码；

在每个城市网格的地理区域中布置复眼成像监控装置，并对每个复眼成像监控装置进行编码；

将城市网格编码与复眼成像监控装置编码输入地理信息化系统GIS，并完成城市网格编码与复眼成像监控装置编码的对应关系；

利用复眼成像监控装置获取城市监控图像，并使用深度神经网络图像识别模型对监控图像进行分类识别已获得所述城市监控图像的分类标签；

对获得的分类标签进行信息整合，所述信息整合过程包括如下步骤：

A.将所述分类标签划分为第一类城市管理事件和第二类城市管理事件；

B.筛选出所有第一类城市管理事件的城市网格，并将每一个输出第一类城市管理事件的城市网格设定为一个第一级事件网格，同时将相邻的第一级事件网格进行合并成一个第一级事件网格；

C.针对一个第一级事件网格构建信息整合数据存储器，并将该第一级事件网格的分类标签及网格编码输入信息整合数据存储器，随后筛选与该第一级事件网格相邻的所有城市网格，将发生第二类城市管理事件的网格设定为窗口网格，并将该窗口的分类标签及网格编码输入信息整合数据存储器；

D.对与窗口网格相邻且网格编码未存储入信息整合数据存储器的城市网格进行筛选，将发生第二类城市管理事件的网格设定为窗口网格，并将该窗口网格的分类标签和网格编码存入信息整合数据存储器；重复步骤D直至不再检测到相邻的发生第二类城市管理事件的网格；

E.将信息整合数据存储器中的信息数据输出为一条城市管理事件信息集合并输出。

在一个实施例中，所述对城市遥感地图进行多级网格划分具体为：以城市遥感地图中的街道级行政区域范围为基准进行一级网格划分在每一个一级网格中以城市的道路为基准进行二级网格划分。

在一个实施例中，所述复眼成像监控装置采用由6行×8列共48个窄视场长焦成像子单元构成的阵列，每个窄视场长焦成像子单元的焦距为100mm，视场角为35°，输出图像的分辨率为1080P。

在一个实施例中，所述使用深度神经网络图像识别模型对监控图像进行分类识别包括：

对所述城市监控图像以预定的时间间隔进行提取，每提取预定数量的城市监控图像构成为一组，每组内的每个监控图像都经过傅里叶变换转换为高频数据分量及低频数据分量，并分别输入高频分量网络模块模块和低频分量网络模块，从高频分量网络模块模块和低频分量网络模块获得的运算结果经过叠加输入共享权重的长短时期记忆网络单元，在经过长短时期记忆网络单元后其输出结果输入全连接层。经过全连接层后结果输入至图卷积分类器以获得多分类标签。

在一个实施例中，所述高频分量网络模块中的输入卷积层采用4×4的卷积核，16个滤波器，滑动步长为1。卷积块数目为三个，其中第一卷积块设置为具有三通道的卷积层，第一卷积块的第一通道为单层卷积层，其采用8×8的卷积核，32个滤波器，滑动步长为1；第一卷积块的第二通道为双层卷积层，其中第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，第二卷积层采用8×8的卷积核，64个滤波器，滑动步长为1；第三通道为三层卷积层，其中第一卷积层8×8的卷积核，32个滤波器，滑动步长为1，第二卷积层采用4×4的卷积核，32个滤波器，滑动步长为1，第三卷积层采用4×4的卷积核，16个滤波器，滑动步长为1。

第二卷积块设置为具有三通道的卷积层，第二卷积块的第一通道为双层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用8×8的卷积核，64个滤波器，滑动步长为1；第二卷积块的第二通道为双层卷积层，其第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，128个滤波器，滑动步长为1；第二卷积块的第三通道为三层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1，其第三卷积层采用2×2的卷积核，128个滤波器，滑动步长为1。

第三卷积块设置为具有双通道的卷积层，第三卷积块的第一通道为双层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1；第三卷积块的第二通道为双层卷积层，其第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，128个滤波器，滑动步长为1。

第三卷积块输出至平均池化层，平均池化层的池化窗口大小设置为2×2，通道数为64，步长设定为2。

本发明的还提供一种基于GIS和机器视觉的城市网格化管理系统，所述系统包括：

处理器，适用于实现各指令；以及

存储设备，适用于存储多条指令，所述指令适于由处理器加载并执行；所述指令包括：

对城市遥感地图进行多级网格划分，并对每个城市网格配置唯一编码；

在每个城市网格的地理区域中布置复眼成像监控装置，并对每个复眼成像监控装置进行编码；

将城市网格编码与复眼成像监控装置编码输入地理信息化系统GIS，并完成城市网格编码与复眼成像监控装置编码的对应关系；

利用复眼成像监控装置获取城市监控图像，并使用深度神经网络图像识别模型对监控图像进行分类识别已获得所述城市监控图像的分类标签；

对获得的分类标签进行信息整合，所述信息整合过程包括如下步骤：

A.将所述分类标签划分为第一类城市管理事件和第二类城市管理事件；

B.筛选出所有第一类城市管理事件的城市网格，并将每一个输出第一类城市管理事件的城市网格设定为一个第一级事件网格，同时将相邻的第一级事件网格进行合并成一个第一级事件网格；

C.针对一个第一级事件网格构建信息整合数据存储器，并将该第一级事件网格的分类标签及网格编码输入信息整合数据存储器，随后筛选与该第一级事件网格相邻的所有城市网格，将发生第二类城市管理事件的网格设定为窗口网格，并将该窗口的分类标签及网格编码输入信息整合数据存储器；

D.对与窗口网格相邻且网格编码未存储入信息整合数据存储器的城市网格进行筛选，将发生第二类城市管理事件的网格设定为窗口网格，并将该窗口网格的分类标签和网格编码存入信息整合数据存储器；重复步骤D直至不再检测到相邻的发生第二类城市管理事件的网格；

E.将信息整合数据存储器中的信息数据输出为一条城市管理事件信息集合并输出。

在一个实施例中，所述对城市遥感地图进行多级网格划分具体为：以城市遥感地图中的街道级行政区域范围为基准进行一级网格划分在每一个一级网格中以城市的道路为基准进行二级网格划分。

在一个实施例中，所述复眼成像监控装置采用由6行×8列共48个窄视场长焦成像子单元构成的阵列，每个窄视场长焦成像子单元的焦距为100mm，视场角为35°，输出图像的分辨率为1080P。

在一个实施例中，所述使用深度神经网络图像识别模型对监控图像进行分类识别包括：

对所述城市监控图像以预定的时间间隔进行提取，每提取预定数量的城市监控图像构成为一组，每组内的每个监控图像都经过傅里叶变换转换为高频数据分量及低频数据分量，并分别输入高频分量网络模块模块和低频分量网络模块，从高频分量网络模块模块和低频分量网络模块获得的运算结果经过叠加输入共享权重的长短时期记忆网络单元，在经过长短时期记忆网络单元后其输出结果输入全连接层。经过全连接层后结果输入至图卷积分类器以获得多分类标签。

在一个实施例中，所述高频分量网络模块中的输入卷积层采用4×4的卷积核，16个滤波器，滑动步长为1。卷积块数目为三个，其中第一卷积块设置为具有三通道的卷积层，第一卷积块的第一通道为单层卷积层，其采用8×8的卷积核，32个滤波器，滑动步长为1；第一卷积块的第二通道为双层卷积层，其中第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，第二卷积层采用8×8的卷积核，64个滤波器，滑动步长为1；第三通道为三层卷积层，其中第一卷积层8×8的卷积核，32个滤波器，滑动步长为1，第二卷积层采用4×4的卷积核，32个滤波器，滑动步长为1，第三卷积层采用4×4的卷积核，16个滤波器，滑动步长为1。

第二卷积块设置为具有三通道的卷积层，第二卷积块的第一通道为双层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用8×8的卷积核，64个滤波器，滑动步长为1；第二卷积块的第二通道为双层卷积层，其第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，128个滤波器，滑动步长为1；第二卷积块的第三通道为三层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1，其第三卷积层采用2×2的卷积核，128个滤波器，滑动步长为1。

第三卷积块设置为具有双通道的卷积层，第三卷积块的第一通道为双层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1；第三卷积块的第二通道为双层卷积层，其第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，128个滤波器，滑动步长为1。

第三卷积块输出至平均池化层，平均池化层的池化窗口大小设置为2×2，通道数为64，步长设定为2。

<城市网格划分技术>

首先，本发明中进行城市网格划分的数据基础为遥感影像地图，遥感影像地图是一种以遥感影像和一定的地图符号来表现制图对象地理空间分布和环境状况的地图。随着我国高分系列卫星的发展，目前通过高分卫星获取的遥感影像数据分辨率已经达到5m以内，该分辨率下的遥感图像地图已经完全能够达到进行城市网格划分的精度要求。

地理网格的划分是网格化城市信息系统建立的基础。地理网格的划分应该根据城市空间形态和社区属性来划分，本发明中提出三种划分方法，其分别是按方格网划分网格、按行政区划划分网格和按照道路街区划分网格。

1.根据方格网划分的地理网格是相对规则的网格，这种划分方式将地理信息存储于按行列排列的单元网格中，由此构建规则格网的地理数据模型。方格网划分放阀一般将大比例尺地图等分为若干100m*100m的格网，每个格网根据其中心点坐标来代表网格地理位置。这种方法有利于空间信息的存储和分析，但是在一定程度上破坏了地物的完整性，造成同一地物被划分在不同格网中，使格网的属性呈现不唯一性，不利于城市信息的管理。

2.道路是城市的基础设施，在交通方面起着重要的作用，城市中的道路也天然把城市划分为不同的单元，这些街区单元从某种意义来说就是地理网格的一种。将地图按照道路街区进行划分，根据主干道和地理分布划分出的地理网格，整体上可能呈现出不规则，这一般取决于城市的道路规划情况。按道路街区划分网格要遵循的主要原则有：(1)网格根据实际地形进行划分，并选取适当的比例尺。(2)网格的边界即街区的边界，走向沿着道路方向。(3)网格划分中遇到小巷、绿地、公园、湖泊等需根据真实地理分布进行划分。(4)网格划分须保持建筑物的完整性，网格之间无重叠部分。按道路街区划分地理网格沿着明显的边界划分，操作简便，避免了划分中造成的管理交叠和缺位现象。缺点是对于行政边界有分歧的地区，机械地按照道路划分可能造成管理上的冲突。

3.行政区划是为了便于城市管理而分级划分的不同区域，城市中的行政区有明显界限的划分，不同的行政区划经济、政策、环境、设施等往往不相一致。行政区划下级设立街道办事处，街道办事处又涵盖了不同的居委会，而居委会的工作主要面向社区，因此这类按行政区划划分的地理网格的基本思路就是以社区为基本单元，依据其属地、地理现状、公共设施等基本属性进行划分。划分原则主要有：(1)网格划分应基于权威准侧的理数据获取的基础上进行，并选取适当的比例尺。(2)网格的边界应该是社区的边界。(3)建筑物不能被拆分，否则管理对象就会出现描述上的不一致，在数字社区信息系统的地图划分上会产生管理职能交叉和管理缺位的现象。(4)网格之间的拼接须为无缝拼接，不能留白也不能重叠。(5)网格划分要与实际管理相适应。

在实际城市网格划分应用中，仅使用一种网格划分技术对遥感影像地图进行划分往往达不到城市精细化管理的要求，因此本发明中提出了对遥感影像地图进行多级的划分，每级划分使用不同的网格划分方法。例如，首先对城市遥感影像地图进行按照行政区域的划分，在完成第一级网格划分后，城市遥感地图依据不同的街道行政区域被划分为多个网格区域，接下来对每个第一级网格区域进行第二级网格划分，第二级网格划分依据城市道路分布进行，将第一级网格依据城市道路分为多个第二级网格区域。根据实际需要可以对第二级网格在此进行网格划分，例如，当第二级网格是依据城市快速路或主干道路进行的网格划分，那个第二级网格的区域有可能仍然较大，那么在第三次进行网格划分时，可以依据第二级网格内部的城市次干路或支路进行划分。对于城市的快速路、主干路、次干路和支路的等级认定依据可以根据国家标准的《城市道路设计规范》进行划分。

在完成对城市遥感影像地图的划分后，需要对每一个网格进行编码，如果在进行城市网格划分时只有一级网格，则可以采用简单的一级编码完成对每一个网格的划分，使每一个网格具有唯一对应的网格编码即可。但是当城市网格划分时设定有多级网格时，地物复杂多样的特性需要引入多级网格编码方法。本发明采用的方法是在第一级网格的基础上采用四叉树法对网格进行继续编码，网格编码会按照从上到下、从左到右依次编码。以网格级数为N，编号为m的网格为例，其行列号表达式为：

其上一级的网格行列号表达式为：

其下一级的网格行列号表达式为：

根据上述编码规则完成对每一个网格的唯一编码。

<城市突发事件感知技术>

对于城市突发事件的感知，本发明中采用对监控视频图像进行机器视觉识别完成，机器视觉图像识别通过经过训练的深度神经网络模型实现。为了获取能够达到进行更多城市事件信息进行图像识别的要求，本发明中采用复眼成像单元作为获取城市监控图像的摄像设备，所述复眼成像单元作为复眼监控摄像机的后端复眼图像/视频重建，获取统一坐标系下的完整的的全分辨率图像/视频，或者缩小像素尺寸的全景图像/视频，或者指定特写区域的特写图像/视频单元，或者全景和特写的组合图像/视频，是指对采集到的前端各路视频进行包括但不限于对不同前端摄像机的图像/视频采集、坐标系进行变换到统一坐标系、对各路摄像机数据进行图像拼接、图像融合、图像裁切、视频流生成、视频流输出等关键技术步骤实现统一坐标系下超高分辨率复眼成像图像/视频的处理子系统。现有技术中通过复眼摄像装置可以获取视场角达到170度以上，且分辨率高于4K的高清晰度图像，图像中涉及的各类城市事件能够被清晰的获取。本发明中在每一个网格中都设置有多个复眼监控装置，所述多个复眼监控装置获取的监控图像能够尽可能多的覆盖该网格内所涉及各类地物，包括道路、各类建筑物、树木。同时为了减少城市绿化对监控图像的遮挡影响，还需要考虑进行在不同高度设置复眼监控装置。且本发明中每一个复眼监控装置设置有与其所对应的网格的网格编码相对应的唯一的监控装置编码。从而实现每一个复眼监控装置所获取的监控图像能够明确的表达其所在网格的城市信息。本发明中除了利用专门的复眼监控装置进行城市图像获取，还可以对接于其他各类城市监控摄像装置所获取的图像，从而辅助进行城市事件的图像识别，例如城市治安摄像装置或交通管理摄像装置。

本发明中使用深度学习神经网络模型实现对监控图像的人工智能识别，基于深度学习的图像检测算法主要采用了卷积神经网络来进行提取目标特征其优点在于：权重共享很大程度上减少了网络参数，使卷积神经网络的适应性有了很大的提高；提取特征和对于模式的分类可以并行运行；使输入的视频图像和网络的拓扑结构较吻合；可用GPU为卷积神经网络的计算进行加速，运行时间能够极大的缩短。当城市监控图像存在光照不均匀、多目标存在、背景复杂、干扰物遮挡等缺陷时。而基于深度学习的图像检测算法，利用卷积神经网络提取特征，通过改进卷积神经网络，可以增加其非线性，使其提取到更加抽象性的特征，从而充分分析图像中的目标物体的关键信息。本发明中设定的城市管理事件类型包括：交通堵塞、交通事故、人群聚集、建筑物倒塌、垃圾暴露、井盖丢失、燃烧及可视性烟尘排放。本发明的深度学习神经网络模型即针对上述城市管理事件类型进行人工智能模型训练，从而实现对上述七种城市管理事件实现人工智能识别。

与现有技术相比，本发明的一个或多个实施例可以具有如下优点：

本发明中通过使用GIS技术对城市物理空间进行了网格划分，并对应于每个网格设置监控设备，通过使用人工智能模型实现对监控图像的城市时间识别，并整合多个不同网格的识别结果，从而构建完整的城市事件全貌信息。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明一实施例中城市网格划分示意图；

图2为本发明一实施例的基于深度神经网络的图像识别模型结构示意图；

图3为本发明一实施例的多层卷积神经网络结构示意图；

图4为本发明一实施例的城市管理事件信息整合流程示意图。

图5为本发明一实施例的获取信息集合的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明作进一步地详细说明。

如图1所示为本实施例中对城市遥感地图进行网格划分的示意图，本实施例中为便于对城市管理事件的处理，将城市遥感地图进行两级的网格划分，其中如图1中实线所示，以城市遥感地图中的行政区划为基准进行城市网格划分，具体的本实施例中以城市的街道级行政区域范围为基准进行一级网格划分，即完成一级网格划分后，每一个城市网格均与一个城市街道行政区划对应。随后如图1中的虚线所示，在每一个一级网格中以城市的道路为基准进行二级网格划分，从而将每个一级网格划分多个二级网格。

在进行完上述二级网格划分后，本实施例对上述全部一级网格及二级网格进行编码，使每一个一级网格及二级网格均与唯一编码对应。具体编码方式可使用发明内容部分所述的编码方法。

本实施例中，在完成对城市遥感地图进行网格划分后，需要在每一个城市网格中布置复眼监控装置，所述复眼监控装置的布置于网格区域内的道路、道路交叉口及建筑物外墙处。所述复眼监控装置采样采用6×8个窄视场长焦成像子单元构成阵列，每个窄视场长焦成像子单元的焦距为100mm，视场角为35°，输出图像的分辨率为1080P。该复眼监控装置的整体带宽36Mbps。将全部6×8个窄视场长焦成像子单元拍摄的48路1080p主、子码流输入复眼图像重建计算装置，经过存储、解码、坐标变换、尺度变换、拼接、融合、裁切及编码输出得到全分辨率下的全景图像，该图像分辨率为12800×9200。在完成对复眼监控装置的布置后对每一复眼监控装置进行编码，使每一个复眼监控装置具有唯一编码，且复眼监控装置的编码与其所在的一级网格及二级网格的编码相对应。

本实施例中，在完成了对城市遥感地图的网格划分编码及复眼监控装置的布置编码后，将所述网格划分、网格编码、复眼监控装置地理位置及复眼监控装置的编码导入GIS系统，本实施例中基于现有技术中的SuperMap GIS 10i平台使用ArcGIS Engine组件进行二次开发以实现对城市网格、复眼监控装置以及城市监控图像目标识别的信息化管理。其包括每一个城市网格内部的道路名称与建筑物名称。从而实现对城市网格内部复眼监控装置及监控地物的识别、查询以及可视化展示。

本发明中将城市管理事件分为交通堵塞、交通事故、人群聚集、地物倒塌、垃圾暴露、井盖丢失、燃烧及可视性烟尘排放八种类型。即本发明所使用的图像识别人工智能模型能够对城市监控图像进行上述八种标签的机器视觉识别。如图2所示为本实施例所采用的基于深度神经网络的图像识别模型，所述图像识别模型包括对城市监控图像进行傅里叶变换从而获得图像的高频数据分量和低频数据分量，其中低频数据分量代表着图像中亮度或者灰度值变化缓慢的区域，也就是图像中大片平坦的区域，描述了图像的主要部分，是对整幅图像强度的综合度量。高频数据分量对应着图像变化剧烈的部分，也就是图像的边缘(轮廓)或者噪声以及细节部分。主要是对图像边缘和轮廓的度量，而人眼对高频分量比较敏感。之所以说噪声也对应着高频分量，是因为图像噪声在大部分情况下都是高频的。所述城市监控图像以预定的时间间隔进行提取，例如本实施例使用1分钟为间隔获取城市城市监控图像。同时以预定数量的城市监控图像为一组，每组内的每个监控图像都经过傅里叶变换转换为高频数据分量及低频数据分量，并分别输入结构相同的两个多层卷积神经网络模块，即高频分量网络模块模块和低频分量网络模块，其输出结果叠加输入共享权重的长短时期记忆网络单元(LSTM cell)，在经过长短时期记忆网络单元后其输出结果输入全连接层。经过全连接层后结果输入至图卷积分类器(GCN)以获取多个标签输出结果。

本实施例使用的超参数机器训练对模型进行训练，该超参数机器训练的目的在于，根据所提供训练数据集、验证数据集和测试数据集训练得到上述卷积神经网络模型中所需的全部参数，并形成卷积神经网络模型的最优超参数组合模型。该机器训练过程如下：

a.将卷积神经网络模型结构输入超参数随机生成器；

b.由超参数随机生成器形成超参数组合模型池；

c.利用测试数据集对超参数组合模型池中的每一个超参数组合模型进行测试，如果测试通过则结束训练将该超参数组合模型输入已训练超参数组合模型池，如测试未通过，则利用训练数据集对该超参数组合模型进行优化，优化后再次测试，直到该模型测试通过。

d.利用验证数据集对已训练超参数组合模型池中的每一超参数组合模型进行验证，验证通过的超参数组合模型即为最优超参数组合模型。

在进行超参数机器训练流程时所使用的训练数据集、验证数据集和测试数据集训共使用4000副图像数据，且每一个图像数据均标记有对应的概率结果。其中训练数据集所包含的数据量为3200个，测试和验证数据集分别使用400个数据。训练流程中的优化方法为批量Adam后向传输，当测试数据集正确率大于99％或训练超过1000轮时，训练停止，否则继续优化，多个超参数组合模型中验证数据集正确率最高的组合为最优超参数组合模型。

同时由于本发明中所有复眼监控装置的摄像方位都是固定的，即获取的图像场景也是相对固定的，本实施例中可以针对每个复眼监控装置所获取的监控图像采用定制的训练数据集进行训练，从而使得机器视觉的训练更为有效快速。

图3是本实施例根据上述训练方法所得到的高低频分量网络模块具体结构，所述高频分量网络模块中的输入卷积层采用4×4的卷积核，16个滤波器，滑动步长为1。卷积块数目为三个，其中第一卷积块设置为具有三通道的卷积层，第一卷积块的第一通道为单层卷积层，其采用8×8的卷积核，32个滤波器，滑动步长为1；第一卷积块的第二通道为双层卷积层，其中第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，第二卷积层采用8×8的卷积核，64个滤波器，滑动步长为1；第三通道为三层卷积层，其中第一卷积层8×8的卷积核，32个滤波器，滑动步长为1，第二卷积层采用4×4的卷积核，32个滤波器，滑动步长为1，第三卷积层采用4×4的卷积核，16个滤波器，滑动步长为1。

第二卷积块设置为具有三通道的卷积层，第二卷积块的第一通道为双层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用8×8的卷积核，64个滤波器，滑动步长为1；第二卷积块的第二通道为双层卷积层，其第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，128个滤波器，滑动步长为1；第二卷积块的第三通道为三层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1，其第三卷积层采用2×2的卷积核，128个滤波器，滑动步长为1。

第三卷积块设置为具有双通道的卷积层，第三卷积块的第一通道为双层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1；第三卷积块的第二通道为双层卷积层，其第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，128个滤波器，滑动步长为1。

第三卷积块输出至平均池化层，平均池化层的池化窗口大小设置为2×2，通道数为64，步长设定为2。

由平均池化层输出至两层全连接层，两个全连接层的神经元个数为4和2。

所述低频分量网络模块的卷积层设置为三层，第一层卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1，第三卷积层采用2×2的卷积核，128个滤波器，滑动步长为1。

低频分量网络模块的第三卷积层输出至平均池化层，平均池化层的池化窗口大小设置为2×2，通道数为64，步长设定为2。

低频分量网络模块的平均池化层输出至两个全连接层，两个全连接层的神经元个数为4和2。

本实施例使用的GCN分类器是通过基于GCN的映射函数从标签特征学习相互依赖的目标标签分类器。通过堆叠GCN使其中每个GCN层的输入都取前一层的节点特征作为输入，然后输出新的节点特征。第一层的输入是词嵌入特征向量，矩阵最后一层的输出是多标签分类。基于相关系数矩阵GCN分类器可在节点之间进行信息传递，本发明中以数据驱动的方式构相关系数矩阵，即相关性可以通过挖掘标签在数据集中的共现模式而来定义。本实施例中以条件概率的形式对标签的相关依赖性进行建模，通过统计训练数据集中标签对的出现次数，得到分类标签共现矩阵，然后使用分类标签共现矩阵得到条件概率矩阵。

由于本实施例的机器视觉识别模型的输入图像数据具有时间属性，因此其输出的分类标签结果也带有时间属性，基于此可以通过分类标签所产生的时刻获知城市管理事件的发生时间点。

本实施例中，在完成了城市监控图像的机器视觉识别后，需要对识别结果进行整合以获取城市管理事件的完整信息集合。本实施例中，将八种类型城市管理事件按优先级分为两类，其中第一类城市管理事件为交通事故、人群聚集、地物倒塌、垃圾暴露、井盖丢失、燃烧，第二类城市管理事件为交通堵塞及可视性烟尘排放。如图4所示，本实施例中的信息整合过程包括：

首先，获取输出第一类城市管理事件的城市网格，每一个输出第一类城市管理事件的城市网格均设定为一个第一级事件网格，同时将相邻的第一级事件网格进行合并成一个第一级事件网格。

随后，针对一个第一级事件网格构建信息整合数据存储器并将该第一级事件网格的分类信息输入信息整合数据库，同时检测与该第一级事件网格相邻的所有城市网格，将发生第二类城市管理事件的网格设定为第一级事件网格的第二级事件网格，同时将该第二级事件网格的分类信息输入信息整合数据存储器。

下一步，对与第二级事件网格相邻且不与上级网格相邻的城市网格进行检测，将发生第二类城市管理事件的网格设定为第三级事件网格，同时将该第三级事件网格的分类信息输入信息整合数据存储器。直至不再检测到相邻的发生第二类城市管理事件的网格。

最后，将信息整合数据存储器中的信息数据输出为一条城市管理事件信息集合并输出。同时针对下一个第一级事件网格进行检测。

如图5所示，通过上述信息整合方法获取信息集合的一个具体方式示意图，其中网格30541中的复眼监控装置上传的监控图像经过机器视觉识别得到的分类为“地物倒塌”及“交通堵塞”，由于该分类结果中涉及第一类城市管理事件，则设定网格30541为第一级事件网格；

随后根据上述信息整合方法得到网格30526、网格30543、网格30571中出现第二类城市管理事件，则对上述信息整合得到的信息集合如下表1所示：

表1

上述信息输入GIS平台后可以完整的提现，由于在10:25在网格30541处的某位置发生地物倒塌造成，网格30526、网格30543、网格30571的某些街道发生交通堵塞。通过上述信息整合方法，可以完整展现城市管理事件的全部信息，并通过机器视觉识别给出分类标签对应的时间点，展示出城市管理事件的发展时间线。上述信息集合能够有效的帮助城市管理部门了解城市管理事件的发生起因和目前所处状态，并为对事件发展的趋势提供可靠的预测依据。

以上所述，仅为本发明的具体实施案例，本发明的保护范围并不局限于此，任何熟悉本技术的技术人员在本发明所述的技术规范内，对本发明的修改或替换，都应在本发明的保护范围之内。

Claims (10)

1.一种基于GIS和机器视觉的城市网格化管理方法，其特征在于，所述方法包括：

对城市遥感地图进行多级网格划分，并对每个城市网格配置唯一编码；

在每个城市网格的地理区域中布置复眼成像监控装置，并对每个复眼成像监控装置进行编码；

将城市网格编码与复眼成像监控装置编码输入地理信息化系统GIS，并完成城市网格编码与复眼成像监控装置编码的对应关系；

利用复眼成像监控装置获取城市监控图像，并使用深度神经网络图像识别模型对监控图像进行分类识别以获得所述城市监控图像的分类标签；

对获得的分类标签进行信息整合，所述信息整合过程包括如下步骤：

A.将所述分类标签划分为第一类城市管理事件和第二类城市管理事件；

B.筛选出所有第一类城市管理事件的城市网格，并将每一个输出第一类城市管理事件的城市网格设定为一个第一级事件网格，同时将相邻的第一级事件网格进行合并成一个第一级事件网格；

C.针对一个第一级事件网格构建信息整合数据存储器，并将该第一级事件网格的分类标签及网格编码输入信息整合数据存储器，随后筛选与该第一级事件网格相邻的所有城市网格，将发生第二类城市管理事件的网格设定为窗口网格，并将该窗口的分类标签及网格编码输入信息整合数据存储器；

D.对与窗口网格相邻且网格编码未存储入信息整合数据存储器的城市网格进行筛选，将发生第二类城市管理事件的网格设定为窗口网格，并将该窗口网格的分类标签和网格编码存入信息整合数据存储器；重复步骤D直至不再检测到相邻的发生第二类城市管理事件的网格；

E.将信息整合数据存储器中的信息数据输出为一条城市管理事件信息集合并输出。

2.根据权利要求1所述的城市网格化管理方法，其特征在于，所述对城市遥感地图进行多级网格划分具体为：以城市遥感地图中的街道级行政区域范围为基准进行一级网格划分在每一个一级网格中以城市的道路为基准进行二级网格划分。

3.根据权利要求1所述的城市网格化管理方法，其特征在于，所述复眼成像监控装置采用由6行×8列共48个窄视场长焦成像子单元构成的阵列，每个窄视场长焦成像子单元的焦距为100mm，视场角为35°，输出图像的分辨率为1080P。

4.根据权利要求1所述的城市网格化管理方法，其特征在于，所述使用深度神经网络图像识别模型对监控图像进行分类识别包括：

对所述城市监控图像以预定的时间间隔进行提取，每提取预定数量的城市监控图像构成为一组，每组内的每个监控图像都经过傅里叶变换转换为高频数据分量及低频数据分量，并分别输入高频分量网络模块模块和低频分量网络模块，从高频分量网络模块模块和低频分量网络模块获得的运算结果经过叠加输入共享权重的长短时期记忆网络单元，在经过长短时期记忆网络单元后其输出结果输入全连接层；经过全连接层后结果输入至图卷积分类器以获得多分类标签。

5.根据权利要求4所述的城市网格化管理方法，其特征在于，所述高频分量网络模块中的输入卷积层采用4×4的卷积核，16个滤波器，滑动步长为1；卷积块数目为三个，其中第一卷积块设置为具有三通道的卷积层，第一卷积块的第一通道为单层卷积层，其采用8×8的卷积核，32个滤波器，滑动步长为1；第一卷积块的第二通道为双层卷积层，其中第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，第二卷积层采用8×8的卷积核，64个滤波器，滑动步长为1；第三通道为三层卷积层，其中第一卷积层8×8的卷积核，32个滤波器，滑动步长为1，第二卷积层采用4×4的卷积核，32个滤波器，滑动步长为1，第三卷积层采用4×4的卷积核，16个滤波器，滑动步长为1；

第二卷积块设置为具有三通道的卷积层，第二卷积块的第一通道为双层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用8×8的卷积核，64个滤波器，滑动步长为1；第二卷积块的第二通道为双层卷积层，其第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，128个滤波器，滑动步长为1；第二卷积块的第三通道为三层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1，其第三卷积层采用2×2的卷积核，128个滤波器，滑动步长为1；

第三卷积块设置为具有双通道的卷积层，第三卷积块的第一通道为双层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1；第三卷积块的第二通道为双层卷积层，其第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，128个滤波器，滑动步长为1；

第三卷积块输出至平均池化层，平均池化层的池化窗口大小设置为2×2，通道数为64，步长设定为2。

6.一种基于GIS和机器视觉的城市网格化管理系统，所述系统包括：

处理器，适用于实现各指令；以及

存储设备，适用于存储多条指令，所述指令适于由处理器加载并执行；所述指令包括：

对城市遥感地图进行多级网格划分，并对每个城市网格配置唯一编码；

在每个城市网格的地理区域中布置复眼成像监控装置，并对每个复眼成像监控装置进行编码；

将城市网格编码与复眼成像监控装置编码输入地理信息化系统GIS，并完成城市网格编码与复眼成像监控装置编码的对应关系；

利用复眼成像监控装置获取城市监控图像，并使用深度神经网络图像识别模型对监控图像进行分类识别以获得所述城市监控图像的分类标签；

对获得的分类标签进行信息整合，所述信息整合过程包括如下步骤：

A.将所述分类标签划分为第一类城市管理事件和第二类城市管理事件；

B.筛选出所有第一类城市管理事件的城市网格，并将每一个输出第一类城市管理事件的城市网格设定为一个第一级事件网格，同时将相邻的第一级事件网格进行合并成一个第一级事件网格；

C.针对一个第一级事件网格构建信息整合数据存储器，并将该第一级事件网格的分类标签及网格编码输入信息整合数据存储器，随后筛选与该第一级事件网格相邻的所有城市网格，将发生第二类城市管理事件的网格设定为窗口网格，并将该窗口的分类标签及网格编码输入信息整合数据存储器；

D.对与窗口网格相邻且网格编码未存储入信息整合数据存储器的城市网格进行筛选，将发生第二类城市管理事件的网格设定为窗口网格，并将该窗口网格的分类标签和网格编码存入信息整合数据存储器；重复步骤D直至不再检测到相邻的发生第二类城市管理事件的网格；

E.将信息整合数据存储器中的信息数据输出为一条城市管理事件信息集合并输出。

7.根据权利要求6所述的城市网格化管理系统，其特征在于，所述对城市遥感地图进行多级网格划分具体为：以城市遥感地图中的街道级行政区域范围为基准进行一级网格划分在每一个一级网格中以城市的道路为基准进行二级网格划分。

8.根据权利要求6所述的城市网格化管理系统，其特征在于，所述复眼成像监控装置采用由6行×8列共48个窄视场长焦成像子单元构成的阵列，每个窄视场长焦成像子单元的焦距为100mm，视场角为35°，输出图像的分辨率为1080P。

9.根据权利要求6所述的城市网格化管理系统，其特征在于，所述使用深度神经网络图像识别模型对监控图像进行分类识别包括：

对所述城市监控图像以预定的时间间隔进行提取，每提取预定数量的城市监控图像构成为一组，每组内的每个监控图像都经过傅里叶变换转换为高频数据分量及低频数据分量，并分别输入高频分量网络模块模块和低频分量网络模块，从高频分量网络模块模块和低频分量网络模块获得的运算结果经过叠加输入共享权重的长短时期记忆网络单元，在经过长短时期记忆网络单元后其输出结果输入全连接层；经过全连接层后结果输入至图卷积分类器以获得多分类标签。

10.根据权利要求9所述的城市网格化管理系统，其特征在于，所述高频分量网络模块中的输入卷积层采用4×4的卷积核，16个滤波器，滑动步长为1；卷积块数目为三个，其中第一卷积块设置为具有三通道的卷积层，第一卷积块的第一通道为单层卷积层，其采用8×8的卷积核，32个滤波器，滑动步长为1；第一卷积块的第二通道为双层卷积层，其中第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，第二卷积层采用8×8的卷积核，64个滤波器，滑动步长为1；第三通道为三层卷积层，其中第一卷积层8×8的卷积核，32个滤波器，滑动步长为1，第二卷积层采用4×4的卷积核，32个滤波器，滑动步长为1，第三卷积层采用4×4的卷积核，16个滤波器，滑动步长为1；

第二卷积块设置为具有三通道的卷积层，第二卷积块的第一通道为双层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用8×8的卷积核，64个滤波器，滑动步长为1；第二卷积块的第二通道为双层卷积层，其第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，128个滤波器，滑动步长为1；第二卷积块的第三通道为三层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1，其第三卷积层采用2×2的卷积核，128个滤波器，滑动步长为1；

第三卷积块设置为具有双通道的卷积层，第三卷积块的第一通道为双层卷积层，其第一卷积层采用8×8的卷积核，32个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，64个滤波器，滑动步长为1；第三卷积块的第二通道为双层卷积层，其第一卷积层采用8×8的卷积核，64个滤波器，滑动步长为1，其第二卷积层采用4×4的卷积核，128个滤波器，滑动步长为1；

第三卷积块输出至平均池化层，平均池化层的池化窗口大小设置为2×2，通道数为64，步长设定为2。

Images