CN116343103B - 一种基于三维gis场景与视频融合的自然资源监管方法 - Google Patents

Abstract

本发明提出一种基于三维GIS场景与视频融合的自然资源监管方法，包括：铁塔上的智能视频前端采集自然资源实时视频，设置预制位与抓拍频率进行视频帧图像的自动抓拍；采用深度学习对视频帧图像进行要素识别并判断是否发生变化；视频帧图像进行预处理；建立视频帧图像与可视的三维模型不规则格网面片的映射关系，形成三维GIS地图；将视频帧图像中的空间位置信息与自然资源大数据进行分析比对，若判定为疑似违法的预警信息，则指挥中心基于多级数据检索技术调用三维GIS地图对预警信息进行判断是否需要实地核查，若需核查，则将预警信息下发至网格员终端APP进行核查。

Description

一种基于三维GIS场景与视频融合的自然资源监管方法

技术领域

本申请涉及三维GIS与视频融合技术领域，特别涉及一种基于三维GIS场景与视频融合的自然资源监管方法。

背景技术

在三维虚拟地理场景中，可以模拟真实物理世界的地形、地貌、建筑特征，并具有多LOD特征；三维虚拟地理场景是一种新的信息源，其为突破单目相机无法实现目标对象的空间定位难点问题，提供了新理念，通过三维虚拟地理场景中目标检测与空间定位方法，实现人工智能目标检测技术、三维地理信息技术、视频监控技术三者结合应用，突破单目相机无法实现目标对象的空间定位难点问题，打造自然资源“天空地网”监察监管体系，提升自然资源监管和快速反应能力；

现有技术CN111683221B公开了嵌入矢量红线数据的自然资源实时视频监测方法及系统，包括获取自然资源矢量红线数据和对应的高分辨率遥感影像，获取摄像头初始画面图像；将矢量红线数据叠加到高分辨率遥感影像上，借助遥感影像语义信息，在视频图像和矢量红线数据上识别同名点，计算几何映射关系；将矢量红线数据映射到实时视频，获得视频监控区域；通过获得在尺度和空间均匀分布的特征点，对监控视频相邻帧图像进行匹配获得同名点；根据同名点得到图像间几何变换关系，将前一帧图像上的监控区域范围映射到后一帧图像，实现图像帧之间监控区域关联；根据几何关系，在监控视频上进行面积量测，并支持基于确定的视频区域，进行后续相关目标运动分析，实现区域自动预警报警；

存在以下问题：

（1）获取高分辨率遥感影像出现地理位置有偏移且影响获取地域覆盖不全，导致自然资源视频监测不准确，有较大偏差；

（2）高分辨率遥感影像数据量较大，短时间内难以获得有效特征信息，实时性差，图像噪声污染较严重。

发明内容

为了解决上述问题，本发明提出一种基于三维GIS场景与视频融合的自然资源监管方法，以更加确切地解决上述所述的问题。

本发明通过以下技术方案实现的：

S1：铁塔上的智能视频前端采集自然资源实时视频，设置预制位与抓拍频率进行视频帧图像的自动抓拍；

S2：采用深度学习对视频帧图像进行要素识别并判断是否发生变化；对视频帧图像进行预处理；建立视频帧图像与可视的三维模型不规则格网面片的映射关系，形成三维GIS地图；

S3：将视频帧图像中的空间位置信息与自然资源大数据进行分析比对，若判定为疑似违法的预警信息，则指挥中心基于多级数据检索技术调用三维GIS地图对预警信息进行判断是否需要实地核查，若需核查，则将预警信息下发至网格员终端APP进行核查；

所述预处理是对视频帧图像进行图像平滑处理：采用含有奇数个点的滑动窗口，对该滑动窗口内的各个像素灰度排列：

,

其中，表示像素灰度值，/>表示输出像素灰度值，/>为滑动模板窗口，/>表示中值边缘函数，采用/>为中心的正方形窗口，进行开运算消除散点和毛刺对图像进行平滑，先腐蚀后膨胀。

进一步的，所述的一种基于三维GIS场景与视频融合的自然资源监管方法，所述将视频帧图像中的空间位置信息与自然资源大数据进行分析比对的步骤中，包括：

通过采集自然资源实时视频确定分析的范围，系统基于SOA架构自动分析地类面积，与规划数据、基本农田和建设用地报批图层进行叠加分析。

进一步的，所述的一种基于三维GIS场景与视频融合的自然资源监管方法，所述建立视频帧图像与可视的三维模型不规则格网面片的映射关系的步骤中，包括：

通过卷积操作得到特征图，采用设计损失函数进行分离特征边界来进行图像配准；移动立方体MC算法根据图片配准的边缘轮廓线建立自然资源实时视频帧图像与可视的三维模型不规则格网面片的映射关系。

进一步的，所述的一种基于三维GIS场景与视频融合的自然资源监管方法，所述采用深度学习对视频帧图像进行要素识别并判断是否发生变化的步骤中，包括：

采用混合高斯模型对自然资源实时视频帧图像进行识别；使用高斯模型来表示图像中各个像素点的特征，用当前图像中各个像素点的特征与已有混合高斯模型匹配，若当前图像中各个像素点的特征有变化，则判定匹配不成功，其中当前图像中各个像素点表示为变化点，将自然资源实时视频帧图像中的变化点基于空间ETL与数据库进行数据交换，得到新一帧图像后进行更新混合高斯模型；

在匹配过程中，先对视频帧图像序列排序得出像素点亮度的变化过程，再结合高斯模型的概率密度函数得出像素点亮度的变化概率；将像素点亮度的变化概率与置信值进行判断；对于坐标的像素点亮度的变化过程可用下式确定：

，

其中，表示视频图像序列，/>表示像素点/>在/>时刻的亮度值；

对于，像素点亮度的变化概率/>可用下式确定：

，

，

其中，表示像素点亮度的变化概率，/>表示混合高斯模型中高斯模型的个数，/>表示/>时刻的第/>个高斯模型权值，/>，/>表示/>时刻的第/>个均值向量，表示/>时刻的第/>个协方差矩阵，/>表示像素点/>在/>时刻的亮度变化值，表示高斯模型的概率密度函数。

进一步的，所述的一种基于三维GIS场景与视频融合的自然资源监管方法，所述将像素点亮度的变化概率与置信值进行判断的步骤中，包括：

若小于或等于置信值，则判定当前图像中各个像素点与已有混合高斯模型相匹配，将其表示为背景点；若/>大于置信值，则判定当前图像中各个像素点的特征与已有混合高斯模型不匹配，将其表示为变化点；判断过程可由下式确定：

，

其中，D表示置信参数，表示/>时刻的第/>个协方差矩阵。

进一步的，所述的一种基于三维GIS场景与视频融合的自然资源监管方法，所述将其表示为背景点的步骤后，包括：

将背景点中已有混合高斯模型中权值最低的高斯模型去掉，并根据输入当前图像中各个像素点的特征引入一个新的高斯模型，以当前图像中各个像素点亮度值作为均值，并赋以协方差矩阵/>和高斯模型权值/>；若/>与第m个高斯模型相匹配，则对在/>时刻的/>个高斯模型的权值进行更新，在权值更新后，对权值进行标准化，其均值和协方差进行更新；

所述权值进行更新可用下式确定：，

其中，表示权值更新率，/>表示/>时刻的第/>个高斯模型权值，/>表示/>时刻的第/>个高斯模型权值；

所述权值进行标准化可用下式确定：

，

其中，，/>表示混合高斯模型中高斯模型的个数；

所述均值向量和协方差矩阵进行更新可用下式确定：

，

其中，表示更新常数，/>表示/>时刻的均值向量，/>表示/>时刻的均值向量，/>表示/>时刻的协方差矩阵；/>表示/>时刻的协方差矩阵。

进一步的，所述的一种基于三维GIS场景与视频融合的自然资源监管方法，所述背景点是由高斯模型的个数决定的，背景点的更新还受到权值与协方差矩阵的影响；按照背景预值进行排列，选择前/>个分布作为背景模型：

，

其中，表示分离出背景阈值，/>表示背景点权值，/>表示混合高斯模型中高斯模型的个数。

进一步的，所述的一种基于三维GIS场景与视频融合的自然资源监管方法，所述指挥中心基于多级数据检索技术调用三维GIS地图对预警信息进行判断是否需要实地核查的步骤中，包括：

指挥中心的系统根据OGC规范的交换数据格式与执法通平台进行系统衔接，通过系统的业务交换引擎和数据交换引擎将系统的业务流和数据流定向流入与外部其他系统连接的指定适配器进行数据交换；指挥中心的系统和执法通平台构建大数据综合监管平台；大数据综合监管平台查看区域所有探头，显示摄像头旋转角度和位置信息，支持与摄像头联动操作和视频的定位，对异常区域进行自动自动识别并按照时间形成监控成果画面，同时指挥中心接收来源于移动监管子系统的巡查线索以及来源于群众的举报线索，通过预警信息、监控成果画面与举报线索结合进行判定是否需要核实。

进一步的，所述的一种基于三维GIS场景与视频融合的自然资源监管方法，所述形成三维GIS地图的步骤后，包括：

指挥中心的系统通过数据接口实时调用三维GIS地图成果数据，采用ArcGIS缓存技术进行地图成果数据缓存化处理；实施人员通过建库软件进行初步核查并判断是否存在问题；具体为：

先通过数据建库软件进行对地图数据的转换，将转换后的成果数据直接传输至自然大数据库中，形成自然资源成果数据库，并配置地图专题服务；若判断存在问题，则形成检查报告通过FLEX技术共享给数据建库作业单位进行修改。

本发明的有益效果：

通过混合高斯模型进行图像变化识别；使用k个高斯模型来表示图像中各个像素点的特征，用当前图像中的每个像素点与混合高斯模型匹配；在获得新一帧图像后更新混合高斯模型，高斯混合模型能够适应环境变化，解决多场景中的变化目标检测；通过该模型取得的运动检测结果具有较高的准确性；

通过将自然资源实时视频帧图像进行图像平滑处理；建立自然资源实时视频帧图像与可视的三维模型不规则格网面片的映射关系，形成三维GIS地图；图像平滑处理有效降低图像噪声污染，改善图像质量；

利用通讯基站铁塔分布广、视野宽和网络通讯便利的特点，将智能视频前端安装在铁塔上，单个摄像头基本能够覆盖永久基本农田、主要交通干线、重要乡镇及周边、重要矿山、城乡结合部和城市开发边界线重点区域，成本较低；直接通过摄像头获取的视频帧图像形成三维GIS地图，速度较快，实时性较强。

附图说明

图1为本发明的一种基于三维GIS场景与视频融合的自然资源监管方法的流程示意图；

图2为本发明的一种基于三维GIS场景与视频融合的自然资源监管方法的专题成果数据深加工处理流程图。

具体实施方式

为了更加清楚完整的说明本发明的技术方案，下面结合附图对本发明作进一步说明。

请参考图1，本申请所提供的一种基于三维GIS场景与视频融合的自然资源监管方法，步骤包括：

S1：智能视频获取装置安装在铁塔上进行全天候视频巡查，采集自然资源实时视频，设置预制位与抓拍频率进行视频帧图像的自动抓拍；

在具体实施中，智能视频获取装置包括摄像头，利用通讯基站铁塔分布广、视野宽和网络通讯便利的特点，将智能视频获取装置安装在铁塔上，对视频覆盖区域内的多时段高频次的全天候视频巡查，采集自然资源实时视频；通过采集自然资源实时视频确定分析的范围；通过人机交互的方式对被跟踪目标进行初始化的；确定变化区域为跟踪的目标区域；利用深度学习网络提取目标特征，使用卷积神经网络提取每个目标的特征向量，以区分不同目标之间的差异；在目标跟踪中，颜色、纹理、梯度可以作为目标的特征；颜色对于目标形变、缩放、摄像头视角变化不敏感，所以利用颜色作为目标的特征具有较高的可靠性；使用卡尔曼滤波模块用于预测每个目标的位置和速度，以减小运动模糊和噪声对追踪结果的影响；根据匈牙利算法模块用于将当前帧中的每个检测框与上一帧中已跟踪的目标进行匹配，更新目标的位置和速度信息；跟踪变化目标并进行抓拍，经过智能化识别后对变化物体进行抓拍；每个摄像头进行360度旋转、焦距缩放并对变化目标进行抓拍，同时也支持手动实时抓拍；设置任意时间点，进行自动抓拍，数据永久保存以及设置好自动抓拍频率，系统会定期进行自动抓拍；对于自动抓拍的监控画面利用深度学习技术进行智能识别，支持挖掘机、在建项目、土堆、建筑废弃物自动识别；

S2：采用深度学习对视频帧图像进行要素识别并判断是否发生变化；对视频帧图像进行预处理；建立视频帧图像与可视的三维模型不规则格网面片的映射关系，形成三维GIS地图；预处理包括图像平滑、图像分割、图像配准；建立视频帧图像与可视的三维模型不规则格网面片的映射关系，形成三维GIS地图；

在具体实施中，采用混合高斯模型对自然资源实时视频帧图像进行要素识别；使用高斯模型来表示图像中各个像素点的特征，用当前图像中各个像素点的特征与已有混合高斯模型匹配，若判定当前图像中各个像素点的特征有变化，则匹配不成功，当前图像中各个像素点表示为变化点，将自然资源实时视频帧图像中的变化点基于空间ETL与数据中心的数据库进行数据交换；在获得新一帧图像后更新混合高斯模型；由于通常情况下都存在着光线的变化，场景的变更，以及场景中存在运动物体，所以单高斯模型不能完全描述像素点的变化过程，而用混合高斯模型更为合理；在一段连续的视频帧中将每一个特定点像素亮度值看作是一个随时间变化的随机过程，这个亮度值对于彩色图像来说就是一个矢量，对于灰度图像来说是一个标量；在获得新一帧图像后更新混合高斯模型；

采用混合高斯模型对自然资源实时视频帧图像进行识别；使用高斯模型来表示图像中各个像素点的特征，用当前图像中各个像素点的特征与已有混合高斯模型匹配，若当前图像中各个像素点的特征有变化，则判定匹配不成功，并将当前图像中各个像素点表示为变化点，将自然资源实时视频帧图像中的变化点基于空间ETL与数据库进行数据交换，得到新一帧图像后进行更新混合高斯模型；

在匹配过程中，先对视频帧图像序列排序得出像素点亮度的变化过程，再结合高斯模型的概率密度函数得出像素点亮度的变化概率；将像素点亮度的变化概率与置信值进行判断；对于像素点的像素点亮度的变化过程可用下式确定：

，

其中，表示视频图像序列，/>表示像素点/>在/>时刻的亮度值；

对于，像素点亮度的变化概率/>可用下式确定：

，

，

其中，表示像素点亮度的变化概率，/>表示混合高斯模型中高斯模型的个数，/>表示/>时刻的第/>个高斯模型权值，/>，/>表示/>时刻的第/>个均值向量，/>表示/>时刻的第/>个协方差矩阵，/>表示像素点/>在/>时刻的亮度变化值，表示高斯模型的概率密度函数；将自然资源实时视频帧图像中的变化点基于空间ETL与数据中心的数据库进行数据交换；在获得新一帧图像后更新混合高斯模型；基于空间ETL的数据交换模式，是将空间ETL的一些数据转换处理的步骤定义成GIS操作的标准流程节点，而且每个节点的数据操作是可以对数据属性结构进行配置的，因此使得要完成两种不同数据格式的数据交换，只需要通过数据转换的流程配置和对流程节点的属性结构对照配置即可完成数据的交换，数据仓库的ETL，即数据抽取、转换、装载的过程，是构建数据仓库的重要环节；用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去；具体来讲，数据抽取是数据源接口，包括原始数据接口和外部数据接口，数据源接口从业务系统中抽取数据，为数据仓库输入数据；数据转换包含对来自多个生产系统的数据源的处理，确保数据集中的所有数值是一致的和被正确记录的，保证数据按要求装入数据仓库；数据装载部件负责将数据按照物理数据模型定义的表结构装入数据仓库；这些步骤包括清空数据域、填充空格、有效性检查；ETL的本质是数据流动的过程，从多源异构数据库、数据文件流向统一的目标数据，期间抽取、转换、加载大致体现了这样一个过程；针对多种异构数据源，有必要设计多个接口去建立跨平台、跨数据访问、跨数据格式的数据读取接口，根据这些接口，抽取源数据，实现不同网络、不同操作系统、不同数据库之间的数据的抽取。抽取的过程是完成从外部多源异构数据资源提取数据子集，并将它们装载到空间数据仓库中的首要步骤；数据抽取是空间数据仓库成功的关键，抽取的数据集一般先保存到数据准备区内，在此进行数据清理、转换和集成，然后再装载到数据仓库中；空间数据的映射与转换数据的映射指的是从源数据到目标数据的映射，空间数据的映射转换就是建立源数据S到目标数据D的关系；为了规范化或未来应用目标的需要，可能会将一个或多个属性数据表的列与空间数据模型、栅格模型、文档组合成一个面向应用的目标数据模型；当然也存在一个模型分解到多个目标数据模型中的情况；在进行映射时，可以有选择的选取空间域与属性域集合，经过转换后形成新数据模型的域集，属性域映射成目标数据模型的属性域，空间域映射成目标数据模型的空间或属性域；属性模型的域的一部分或全部构成目标数据模型的部分域，保存若干条经度和纬度信息的关系表或空间数据映射成目标数据模型中的一个空间列作为空间数据，而栅格和文档构建一个索引域保存在同一个数据模型中，并用附表保存栅格数据的坐标定位信息、空间范围信息；由于管理上的方便，可能存在档和栅格映射到另一个数据模型中，属性和矢量数据映射到同一个数据模型中，由于它们是关于同一主题的内容，所以要建立它们的关联，即两个新的数据模型通过某个列建立关联。下图给出了属性、空间、栅格和文档映射到不同模型，并在模型间建立关联的实例；将源数据模型映射到目标数据模型的模式数据作为映射规则保存到映射规则文件中；

将像素点亮度的变化概率与置信值进行判断的步骤中，若小于或等于置信值，则判定当前图像中各个像素点与已有混合高斯模型相匹配，将其表示为背景点；若大于置信值，则判定当前图像中各个像素点的特征与已有混合高斯模型不匹配，将其表示为变化点；判断过程可由下式确定：

，

其中，D表示置信参数，表示/>时刻的第/>个协方差矩阵；

如果没有相匹配的高斯模型，则将高斯模型中权值最低的高斯模型去掉，并根据输入的新像素值引入一个新的高斯模型，以当前的像素亮度值作为均值，并赋以大的协方差矩阵/>和较小的高斯模型权值/>；如果/>与第m个高斯模型相匹配，对于在/>时刻的k个高斯模型的权值按如下的规则进行更新：

，

其中，表示权值更新率，/>表示/>时刻的第/>个高斯模型权值，/>表示/>时刻的第/>个高斯模型权值，

在权值更新后，对权值进行取下标准化：

，

其中，/>表示混合高斯模型中高斯模型的个数；

对于匹配的高斯模型，均值向量和协方差矩阵进行更新可用下式确定：

，

其中，表示更新常数，/>表示/>时刻的均值向量，/>表示/>时刻的均值向量，/>表示/>时刻的协方差矩阵；/>表示/>时刻的协方差矩阵。

较大的使得背景模型对背景变化的响应比较快，但是对运动目标的抗干扰能力差，较小的/>则相反；但是由于在混和高斯模型中，背景的判断是由多个高斯模型决定的，因此背景的更新还受到权值的影响。

由于权值的更新率对背景的更新以及运动目标的抗干扰的影响，使得/>对背景模型的影响变得小了；作为背景的像素值，通常具有较小的方差和较大的权值；分别计算出像素X对于这k个高斯模型的概率，并按照/>的值排列它们，选择前B个分布作为背景模型：

，

其中，表示分离出背景阈值，/>表示背景点权值，/>表示混合高斯模型中高斯模型的个数；T取稍大，则可以为复杂的动态背景建立多个高斯模型的混合模型来模拟复杂场景；如果T取的很小，高斯混合模型则退化为单高斯模型；对于不能直接提取到背景的场景；通过建立K高斯混合模型也可以获得良好的背景模型；混合高斯模型检测的结果中含有大量噪声点，应用自适应中值滤波去除噪声，然后再用形态学中的腐蚀膨胀算子处理进而得到最终的效果图；高斯混合背景模型能够适应环境变化，也能够解决繁忙的场景中的目标检测问题；通过该模型取得的运动检测结果具有较高的正确性和准确性；采用混合高斯模型对自然资源实时视频帧图像进行识别检测是否发生变化；

在具体实施中，将自然资源实时资源视频帧进行图像平滑与图像分割进行图像预处理；通过多个卷积和卷积操作得到特征图，设计损失函数进行分离特征边界来进行图像配准；移动立方体MC算法根据图片配准的边缘轮廓线建立自然资源实时视频帧图像与可视的三维模型不规则格网面片的映射关系，形成三维GIS地图；

图像平滑：消除或尽量减少噪声的影响，改善图像质量；噪声并不限于人眼所能看的见的失真和变形，有些噪声只有在进行图像处理时才可以发现；噪声可能来自图像采集、量化过程，也可能产生于图像传送过程；具有离散性和随机性特点；会使图像的质量退化，甚至伪迹；对视频帧图像进行图像平滑处理：在一定条件下可以克服线性滤波器带来的图像细节模糊，而且对抑制图像中的脉冲干扰因此这些噪声在图像中往往以孤立点的形式出现，与之对应的像素又比较少，所用采用中值滤波能有效地去除这些噪声，同时还能保持图像的细节，达到图像预处理的目的，采用一个含有奇数个点的滑动窗口，对该滑动窗口内的各个像素灰度排列，用局部中值代替局部平均值：

，

其中，表示像素灰度值，/>表示输出像素灰度值，/>为滑动模板窗口，/>表示中值边缘函数，采用/>为中心的正方形窗口，进行开运算消除散点和毛刺对图像进行平滑，先腐蚀后膨胀，可以消除亮度较高的细小区域，而且不会明显改变其他物体区域的面积；

图像分割：通过卷积操作提取图像特征，得到特征图；在解码器阶段，对特征图进行上采样，并且在上采样过程中U-Net采用了特殊的特征融合方式，在下采样和上采样过程中的特征图在通道维度进行拼接实现特征融合，U-Net通过设计损失函数来让模型有分离边界的能力：

，

其中，E表示带边界权值的损失函数，表示softmax损失函数，/>表示时像素点标签值，/>表示/>时像素点权值，目的时为了给图像中贴近边界点的像素更高的权值，/>表示平衡不同类别出现的概率，/>表示像素点；

，

其中，表示/>时平衡类别比例的权值，/>表示像素点到最近特征点的距离，/>表示像素点到最近特征点第二近的距离，/>表示预设的参数、/>表示常数值，其中/>，/>；

先对图片进行卷积和池化，在U-Net中池化4次，图片是224x224的，那么就会变成112x112，56x56，28x28，14x14四个不同尺寸的特征；然后我们对14x14的特征图做上采样或者反卷积，得到28x28的特征图，这个28x28的特征图与之前的28x28的特征图进行通道伤的拼接，然后再对拼接之后的特征图做卷积和上采样，得到56x56的特征图，再与之前的56x56的特征拼接，卷积，再上采样，经过四次上采样可以得到一个与输入图像尺寸相同的224x224的预测结果；

图像配准：借用经典力学中物体质量分布计算两幅图像像素点的质心和主轴，再通过平移和旋转使两幅图像的质心和主轴对齐，用自动方法对二维数字图像序列进行地域自然资源轮廓边缘的检测，提取轮廓线从而达到配准的目的；

图像三维GIS重建：利用图片边缘轮廓线，用移动立方体MC算法进行表面重建；将图像的切片读取到内存中；按照体元扫描2个切片；通过将体元的8个顶点值与所取得值面值相比较，计算立方体的索引；使用索引从查找表中查找边列表；使用每个边缘顶点的灰度值，通过线性插值计算得到三角面片顶点的确切位置；计算每个体元顶点的单位法线，并将法线插值到三角形面片的每个顶点；输出三角形面片的顶点和法线；重建后的三维图像数据在计算机屏幕上进行不同角度的立体显示，利用消隐和明暗处理技术形成三维GIS地图，三维GIS地图通过符合三调标准的数据接口可以实时调用三调成果管理平台生成的三调各类成果数据，由实施人员通过建库软件进行初步核查判断是否存在问题，先通过数据建库软件进行对数据的转换，将转换后的成功数据直接倒入自然大数据库中形成自然资源成果数据库，成果数据配置地图专题服务最后进行地图数据缓存化处理，若判断存在问题，则形成检查报告交由数据建库作业单位进行修改，系统基于SOA架构自动分析地类面积，与规划数据、基本农田和建设用地报批图层进行智能叠加分析。

S3：将视频帧图像中的空间位置信息与自然资源大数据进行分析比对，自动分析地类面积、是否符合规划、是否占用基本农田以及是否报批过，从而实现智能抓拍的违法行为的数据分析。若判定为疑似违法的预警信息，则指挥中心基于多级数据检索技术调用三维GIS地图对预警信息进行判断是否需要实地核查，若需核查，则将预警信息下发至网格员终端APP进行核查。

在具体实施中，指挥中心包括自然资源综合监管指挥系统、慧眼守土系统、移动大数据综合监管系统、后台构建系统和数据交换，形成在线监管-调查评价-政务管理-社会服务“一体化的综合监管平台，在软件设计上，采用面向对象的设计方法，恪守“高内聚、紧耦合”的设计原则，提高系统复用度；在系统架构上，采用B/S、APP开发相结合的体系架构，对于复杂业务系统采用B/S架构模式实现，采用ASP.NETMVC进行构建，移动端应用采用安卓开发平台，在设计移动GIS功能开发时，通过ARCGISAndroidSDK进行构建，客户应用场景可以实现自定义或灵活配置，在数据建设方面，采用ARCGIS10平台、大型数据库数据库软件采用Oracle11g12c企业版本，按照制定的标准，通过集中与分布式管理相结合、多级备份、相对独立的数据管理机制实现数据的统一管理与维护；平台利用大数据分析技术，多级数据检索技术通过优化及提高GIS服务中间件对大数据量数据操作浏览速度，系统提供了多种地图数据调用的方式实现一张图综合展现，如按索引图层调用图形、按目录调用图形、按图幅调用图形、按地名调用图形、按坐标或自定义区域调用图形功能，满足用户随时随地进行关键数据统计分析，如对建设用地报批的情况进行汇总统计，供地的情况进行统计，土地分类面积进行统计，土地违法案件和土地违法面积进行分区域统计，通过要素识别确定的建设物体，在移动终端叠加一张图数据和高空视频监控探头，可以查看区域范围内所有高空视频监控探头和一张图信息，并对摄像头进行控制；在视频画面任意焦距范围实现画面像素与地理位置之间的转换，将抓拍区域视频帧图像的变化信息与历史数据进行分析比对，对于抓拍的监控画面利用深度学习技术进行智能识别，支持挖掘机、在建项目、土堆、建筑废弃物自动识别，自动预警；与大数据进行叠加分析，自动分析地类面积、是否符合规划、是否占用基本弄农田、是否报批过；实现对智能抓拍的违法行为进行数据分析和信息过滤，确保预警信息的真实有效；与三维GIS确定经纬度坐标，ArcGIS可以在多台机器上分别创建各自比例尺，并把生成的地图缓存拷贝到同一个结构目录下，节省时间代价，ArcGIS的缓存技术有2D和3D两种，分别为二维和三维地图服务；根据应用要求，还可以分为融合缓存、多图层缓存、以及按需缓存；融合缓存把所有图层群组在一起生成切割片块；多层缓存为每个图层建立切片块，可以支持客户端控制图层显示、标注和要素选取；按需缓存则不是事先生成切片，而是根据客户端首次访问请求创建切片，可以节省空间和缓存创建时间；ArcGIS支持全图范围创建缓存，也可以制定某个地图范围内创建缓存地图，在ArcGIS10.3中，ArcGIS提供更多的方法，可以按照某个要素范围，例如某个省范围内进行局部地图缓存的创建和更新；这对于地图更新同样适用，保持地图快速更新指挥中心调用Web地图服务返回相应的三维GIS地图中；系统提供了多种地图数据调用的方式，如按索引图层调用图形、按目录调用图形、按图幅调用图形、按地名调用图形、按坐标或自定义区域调用图形功能；先返回服务器级原数据，再返回一个地图影响，最后返回在地图上某些特殊要素的信息；经过与相关业务进行图层叠加，判读发现违法用地和建设物体，同时指挥中心还接收来源于群众的举报线索，将线索线索组织下发给外业巡查人员进行疑似违法案件便可在现场进行登记，指挥中心的系统与执法通平台数据进行集成构建大数据综合监管平台，监管指挥根据举报线索的地理位置，安排附近正在巡查的人员进行现场核查或者指派给具体负责人进行核查；

填写相关主要违法案件信息内容，用地单位、面积、巡查人、现场照片、录像，填写完毕后系统可以实时上报至服务器，自动进入违法案件查处流程，为违法案件查处提供了有利的证据和处罚执行效力；若判断为疑似违法的预警信息，则发送预警信息至指挥中心的执法通平台中，执法通平台整体应用架构基于SOA面向服务的架构，采用Web服务的方式来实现，基于SOA架构的系统中的所有的程序功能都被封装在一些功能模块中，利用这些已经封装好的功能模块组装构建我们所需要的程序或者系统，而这些功能模块就是SOA架构中的不同的服务，不仅为一个流程的组织和实现提供了一种指导模式，同时也为具体的底层service开发提供了指导；执法通系统使用的基础数据服务平台包含历年遥感影像、土地利用现状、基础地理信息、土地整治项目专题数据，新平台系统同样使用该基础服务平台，在原数据平台基础上增加国土空间规划、国土三调、城乡规划、生态红线、湿地、主体功能区数据专题，并且新老平台的数据层都是使用的windows服务器和Orcale的数据库，数据框架一致，可以直接共享与自然资源智能监督指挥中心进行使用，执法通系统的业务支撑平台为电子政务平台的架构，新系统的业务支撑平台同样为电子政务平台的架构。系统采用的工作流平台为单位自主研发，主要体现在对移动端地图权限的控制，支持跨区域的动态巡查，通过后台设定地图权限代码来进行控制，内置了丰富的业务功能模块，最大限度的利用网络实现业务数据上下级共享，完成几乎所有法侓文书内容的自动填充、统计，并可以自动嵌入和显示相关的声音、影像、图片数据，极大地提高了执法效率，实现违法线索的闭环管理。

请参考图2，本发明提出一种基于三维GIS场景与视频融合的自然资源监管方法的专题成果数据深加工处理流程图；

指挥中心的系统通过数据接口实时调用三维GIS地图成果数据，采用ArcGIS缓存技术进行地图成果数据缓存化处理；实施人员通过建库软件进行初步核查并判断是否存在问题；先通过数据建库软件进行对地图数据的转换，将转换后的成果数据直接传输至自然大数据库中，形成自然资源成果数据库，并配置地图专题服务；若判断存在问题，则形成检查报告通过FLEX技术下发给数据建库作业单位进行修改；

大数据综合监管平台查看区域所有探头，显示摄像头旋转角度和位置信息，支持与摄像头联动操作和视频的定位，对异常区域进行自动拍照、自动识别，并按照时间形成监控成果画面，将抓拍的照片与视频回传至系统，系统通过要素识别、空间定位及维护识别出重要矿山、重点耕地的建设物体和其经纬度，经过与相关业务图层的智能叠加，通过预警信息与监控成果画面结合进行判定是否需要核实，高清视频自动抓拍的预警信息，通过指挥中心后台的数据分析比对判断的违法预警信息自动推送到网格员APP端；采用新一代Flex富客户端技术将预警信息下发至终端APP上，系统基于ESRIFlexViewer框架进行设计开发，利用富客户端Flex技术使得系统操作更加人性化，展示效果更加逼真，满足不同层次业务人员的使用需求；监管指挥根据举报线索的地理位置，安排附近正在巡查的人员进行现场核查或者指派给具体负责人进行核查，网格员通过采集地块坐标调用自然资源大数据进行初步核查是否存在问题，若网格员排查后确定不存在问题，则提交核查结果返回系统归档，若存在问题，先在APP软件勾画图地块图斑、空间测量以及填写违法区域，再上传核查的视图照片、视频及证明材料并提交到业务系统中，成立数据配置地图违法图层专题服务，实现了地图数据缓存化处理。

当然，本发明还可有其它多种实施方式，基于本实施方式，本领域的普通技术人员在没有做出任何创造性劳动的前提下所获得其他实施方式，都属于本发明所保护的范围。

Claims (8)

1.一种基于三维GIS场景与视频融合的自然资源监管方法，其特征在于，包括：

S1：铁塔上的智能视频前端采集自然资源实时视频，设置预制位与抓拍频率进行视频帧图像的自动抓拍；

S2：采用深度学习对视频帧图像进行要素识别并判断是否发生变化；对视频帧图像进行预处理；建立视频帧图像与可视的三维模型不规则格网面片的映射关系，形成三维GIS地图；

S3：将视频帧图像中的空间位置信息与自然资源大数据进行分析比对，若判定为疑似违法的预警信息，则指挥中心基于多级数据检索技术调用三维GIS地图对预警信息进行判断是否需要实地核查，若需核查，则将预警信息下发至网格员终端APP进行核查；

所述预处理是对视频帧图像进行图像平滑处理：采用含有奇数个点的滑动窗口，对该滑动窗口内的各个像素灰度排列：

，

其中，表示像素灰度值，/>表示输出像素灰度值，/>为滑动模板窗口，表示中值边缘函数，采用/>为中心的正方形窗口，进行开运算消除散点和毛刺对图像进行平滑，先腐蚀后膨胀；

采用混合高斯模型对自然资源实时视频帧图像进行识别；使用高斯模型来表示图像中各个像素点的特征，用当前图像中各个像素点的特征与已有混合高斯模型匹配，若当前图像中各个像素点的特征有变化，则判定匹配不成功，其中当前图像中各个像素点表示为变化点，将自然资源实时视频帧图像中的变化点基于空间ETL与数据库进行数据交换，得到新一帧图像后进行更新混合高斯模型；

在匹配过程中，先对视频帧图像序列排序得出像素点亮度的变化过程，再结合高斯模型的概率密度函数得出像素点亮度的变化概率；将像素点亮度的变化概率与置信值进行判断；对于坐标的像素点亮度的变化过程可用下式确定：

，

其中，表示视频图像序列，/>表示像素点/>在/>时刻的亮度值；

对于，像素点亮度的变化概率/>可用下式确定：

，

，

其中，表示像素点亮度的变化概率，/>表示混合高斯模型中高斯模型的个数，表示/>时刻的第/>个高斯模型权值，/>，/>表示/>时刻的第/>个均值向量，表示/>时刻的第/>个协方差矩阵，/>表示像素点/>在/>时刻的亮度变化值，表示高斯模型的概率密度函数。

2.根据权利要求1所述的一种基于三维GIS场景与视频融合的自然资源监管方法，其特征在于，所述将视频帧图像中的空间位置信息与自然资源大数据进行分析比对的步骤中，包括：

通过采集自然资源实时视频确定分析的范围，系统基于SOA架构自动分析地类面积，与规划数据、基本农田和建设用地报批图层进行叠加分析。

3.根据权利要求1所述的一种基于三维GIS场景与视频融合的自然资源监管方法，其特征在于，所述建立视频帧图像与可视的三维模型不规则格网面片的映射关系的步骤中，包括：

通过卷积操作得到特征图，采用设计损失函数进行分离特征边界来进行图像配准；移动立方体MC算法根据图片配准的边缘轮廓线建立自然资源实时视频帧图像与可视的三维模型不规则格网面片的映射关系。

4.根据权利要求1所述的一种基于三维GIS场景与视频融合的自然资源监管方法，其特征在于，所述将像素点亮度的变化概率与置信值进行判断的步骤中，包括：

若小于或等于置信值，则判定当前图像中各个像素点与已有混合高斯模型相匹配，将其表示为背景点；若/>大于置信值，则判定当前图像中各个像素点的特征与已有混合高斯模型不匹配，将其表示为变化点；判断过程可由下式确定：

，

其中，D表示置信参数，表示/>时刻的第/>个协方差矩阵。

5.根据权利要求4所述的一种基于三维GIS场景与视频融合的自然资源监管方法，其特征在于，所述将其表示为背景点的步骤后，包括：

将背景点中已有混合高斯模型中权值最低的高斯模型去掉，并根据输入当前图像中各个像素点的特征引入一个新的高斯模型，以当前图像中各个像素点亮度值作为均值，并赋以协方差矩阵/>和高斯模型权值/>；若/>与第m个高斯模型相匹配，则对在/>时刻的个高斯模型的权值进行更新，在权值更新后，对权值进行标准化，其均值和协方差进行更新；

所述权值进行更新可用下式确定：

，

其中，表示权值更新率，/>表示/>时刻的第/>个高斯模型权值，/>表示/>时刻的第/>个高斯模型权值；

所述权值进行标准化可用下式确定：

，

其中，，/>表示混合高斯模型中高斯模型的个数；

所述均值向量和协方差矩阵进行更新可用下式确定：

，

其中，表示更新常数，/>表示/>时刻的均值向量，/>表示/>时刻的均值向量，表示/>时刻的协方差矩阵；/>表示/>时刻的协方差矩阵。

6.根据权利要求5所述的一种基于三维GIS场景与视频融合的自然资源监管方法，其特征在于，所述背景点是由高斯模型的个数决定的，背景点的更新还受到权值与协方差矩阵的影响；按照背景预值进行排列，选择前/>个分布作为背景模型：

，

其中，表示分离出背景阈值，/>表示背景点权值，/>表示混合高斯模型中高斯模型的个数。

7.根据权利要求1所述的一种基于三维GIS场景与视频融合的自然资源监管方法，其特征在于，所述指挥中心基于多级数据检索技术调用三维GIS地图对预警信息进行判断是否需要实地核查的步骤中，包括：

指挥中心的系统根据OGC规范的交换数据格式与执法通平台进行系统衔接，通过系统的业务交换引擎和数据交换引擎将系统的业务流和数据流定向流入与外部其他系统连接的指定适配器进行数据交换；指挥中心的系统和执法通平台构建大数据综合监管平台；大数据综合监管平台查看区域所有探头，显示摄像头旋转角度和位置信息，支持与摄像头联动操作和视频的定位，对异常区域进行自动自动识别并按照时间形成监控成果画面，同时指挥中心接收来源于移动监管子系统的巡查线索以及来源于群众的举报线索，通过预警信息、监控成果画面与举报线索结合进行判定是否需要核实。

8.根据权利要求1所述的一种基于三维GIS场景与视频融合的自然资源监管方法，其特征在于，所述形成三维GIS地图的步骤后，包括：

指挥中心的系统通过数据接口实时调用三维GIS地图成果数据，采用ArcGIS缓存技术进行地图成果数据缓存化处理；实施人员通过建库软件进行初步核查并判断是否存在问题；具体为：

先通过数据建库软件进行对地图数据的转换，将转换后的成果数据直接传输至自然大数据库中，形成自然资源成果数据库，并配置地图专题服务；若判断存在问题，则形成检查报告通过FLEX技术共享给数据建库作业单位进行修改。