CN121708552B - 一种基于视频影像的全景融合与ai变化监测方法及系统 - Google Patents

Abstract

本申请提供一种基于视频影像的全景融合与AI变化监测方法及系统，属于计算机视觉与地理信息处理技术领域，本申请首先获取目标区域的路网、土地数据及双光谱视频，利用云台姿态修正融合生成双光谱全景图。其次，构建路网地块拓扑图，利用时空图神经网络生成空间风险概率矩阵，并结合土地类别生成语义掩码。随后，通过将风险概率及语义掩码与全景图的红外、可见光特征进行加权乘积运算，生成增强后的特征矩阵。最后，对比历史时期特征矩阵计算差强分布，将超过阈值的区域锁定为目标变化区域，实现基于时空逻辑驱动的精准监测。本申请能够实现对高风险区域变化的自适应加权感知，有效解决了传统全图统一阈值监测导致的误报与漏报问题。

Description

一种基于视频影像的全景融合与AI变化监测方法及系统

技术领域

本申请属于计算机视觉与地理信息处理技术领域，尤其涉及一种基于视频影像的全景融合与AI变化监测方法及系统。

背景技术

随着自然资源监管力度的加强，基于视频影像的全景融合与AI变化监测技术在耕地保护、生态红线监管等领域应用日益广泛。该技术通过整合多路监控视频流构建全景视图，并利用人工智能算法自动识别地表覆盖变化，能够有效提升监管的实时性与覆盖范围。

现有技术通常利用云台摄像机巡航采集图像，通过图像特征匹配拼接生成全景图，并采用背景差分法或通用的深度学习目标检测模型对比前后时相的影像以发现变化。部分方法虽然尝试结合地理围栏技术，在视频中叠加静态的矢量边界，但主要侧重于对围栏内区域进行简单的视觉与矢量叠加显示。

然而，现有方法大多仅依靠视觉特征进行无差别的全图监测，忽略了不同地理位置因道路通达性或历史违规习惯差异而具有不同的风险等级，且未充分考虑土地利用性质对变化敏感度的影响。这种缺乏空间业务逻辑约束的监测模式，导致在非重点区域容易因环境噪声产生误报，而在高风险区域又可能因特征提取权重不足而遗漏隐蔽的违规线索。因此，现有技术中存在因缺乏地理时空风险逻辑引导而导致AI变化监测准确率低且针对性差的技术问题。

发明内容

本申请目的是提供一种基于视频影像的全景融合与AI变化监测方法及系统，以解决现有技术中AI变化监测准确率低且针对性差的问题。

为解决上述技术问题，第一方面，本申请提供一种基于视频影像的全景融合与AI变化监测方法，包括：

获取目标区域的路网矢量数据、土地类别数据和地块违规记录，云台摄像机采集的目标区域的可见光视频和红外视频，以及云台摄像机的姿态数据；

利用姿态数据分别对可见光视频和红外视频进行像素坐标重采样后，分别进行特征点匹配与图像融合生成双光谱全景图；

基于路网矢量数据构建以地块为节点以道路为边的拓扑图，将地块违规记录关联至对应节点，将拓扑图输入至训练好的时空图神经网络输出节点的风险概率值，并将风险概率值映射至双光谱全景图生成概率矩阵；

根据土地类别数据，通过投影变换生成与双光谱全景图分辨率相同的语义掩码，语义掩码的元素值为根据土地类别设定的变化系数；

将从双光谱全景图提取的红外特征矩阵与概率矩阵逐元素点乘得到第一矩阵，将从双光谱全景图提取的可见光特征矩阵与概率矩阵、语义掩码进行乘积运算得到第二矩阵；

计算第一矩阵和第二矩阵与历史时期的历史第一矩阵和历史第二矩阵间的像素差值得到差强分布图，并将差强分布图中像素值大于预设强度阈值的像素集合确定为目标变化区域。

可选地，方法还包括：

将双光谱全景图中目标变化区域对应的全景影像切片输入训练好的包括骨干特征提取网络和多尺度检测头的多尺度目标检测模型，判断目标变化区域是否存在目标特种机械，目标特种机械包括挖掘机、推土机、水泥搅拌车和渣土运输车中的至少一种；

在目标变化区域存在目标特种机械的情况下，利用目标跟踪算法在可见光视频中确定目标特种机械的运动轨迹，并计算目标特种机械在目标变化区域内的驻留时长；

根据目标变化区域对应的土地类别，判断目标变化区域是否属于禁止作业区域；

在驻留时长大于预设时间阈值且目标变化区域属于禁止区域的情况下，判定目标变化区域存在违规作业行为并触发监管告警事件，预设时间阈值根据目标特种机械的设备类型确定。

可选地，利用姿态数据分别对可见光视频和红外视频进行像素坐标重采样后，分别进行特征点匹配与图像融合生成双光谱全景图，包括：

提取姿态数据中的水平旋转角度、垂直俯仰角度以及镜头焦距并计算当前视频帧相对于预设水平平面的单应性映射矩阵；

利用单应性映射矩阵，分别将可见光视频和红外视频投影至预设水平平面并执行重采样，得到可见光图像序列和红外图像序列；

分别对可见光图像序列和红外图像序列进行特征匹配，并分别计算得到可见光图像序列和红外图像序列的相邻视频帧在预设水平平面上的几何变换参数；

利用对应的几何变换参数，分别将可见光图像序列和红外图像序列投影至预设的全景球面坐标空间并进行多尺度加权融合，生成可见光全景图像和红外全景图像；

按照全景球面坐标空间的空间位置对应关系，对可见光全景图像以及红外全景图像进行像素级叠加对齐，得到双光谱全景图。

可选地，基于路网矢量数据构建以地块为节点以道路为边的拓扑图，将地块违规记录关联至对应节点，将拓扑图输入至训练好的时空图神经网络输出节点的风险概率值，并将风险概率值映射至双光谱全景图生成概率矩阵，包括：

提取路网矢量数据中每个地块的几何中心点坐标作为拓扑节点，并提取路网矢量数据中连接不同地块的道路线段数据作为拓扑边，将地块违规记录的每个区域违规行为次数关联至对应的拓扑节点，构建拓扑图；

利用训练好的时空图神经网络对拓扑图进行消息传递与特征聚合运算，提取地块节点间的空间拓扑关联特征与随时间变化的演化特征，输出每个拓扑节点的归一化的风险概率值；

根据双光谱全景图的投影参数，将每个拓扑节点的预测风险概率由地理空间位置映射至双光谱全景图的像素坐标位置，并对双光谱全景图中的像素区域进行空间概率平滑处理，生成与双光谱全景图分辨率一致的概率矩阵。

可选地，根据土地类别数据，通过投影变换生成与双光谱全景图分辨率相同的语义掩码，语义掩码的元素值为根据土地类别设定的变化系数，包括：

建立土地类别数据所在的地理空间坐标系与双光谱全景图所在的坐标空间之间的映射关系；

基于映射关系将土地类别数据中的地块属性标签投影至双光谱全景图的对应像素点位，生成各像素点包括地类标签的初始掩码；

根据预设的地块管控等级与权重映射规则，将初始掩码中的地类标签转换为表示地块变化敏感程度的归一化权重数值，作为变化系数填充至对应像素点，生成语义掩码。

可选地，将从双光谱全景图提取的红外特征矩阵与概率矩阵逐元素点乘得到第一矩阵，将从双光谱全景图提取的可见光特征矩阵与概率矩阵、语义掩码进行乘积运算得到第二矩阵，包括：

利用预设的边缘检测算子分别对双光谱全景图中的可见光图像层和红外图像层执行空间特征提取处理，通过识别可见光图像层中每个像素区域的边缘分布及色彩分布信息生成可见光特征矩阵，并通过提取红外图像层中每个像素区域的热能辐射亮度分布信息生成红外特征矩阵；

将概率矩阵中每个坐标位置点的风险概率值与语义掩码中对应坐标位置点的变化系数进行对应像素点位的乘法运算，得到风险权重矩阵；

将红外特征矩阵中每个通道的特征数值与概率矩阵中对应坐标位置的数值进行乘积运算，得到第一矩阵；

将可见光特征矩阵中每个通道的特征数值与风险权重矩阵中对应坐标位置的数值进行乘积运算，得到第二矩阵。

可选地，强度阈值根据历史监测周期的差强分布图中的像素值统计分布中的预设百分位数的数值确定；

计算第一矩阵和第二矩阵与历史时期的历史第一矩阵和历史第二矩阵间的像素差值得到差强分布图，包括：

将当前监测周期的第一矩阵与历史时期的历史第一矩阵进行空间位置映射对齐，并对映射对齐后的像素点的数值进行减法运算，得到第一像素差值矩阵；

将当前监测周期的第二矩阵与历史时期的历史第二矩阵进行空间位置映射对齐，并对映射对齐后的像素点的数值进行减法运算，得到第二像素差值矩阵；

分别提取第一像素差值矩阵与第二像素差值矩阵在相同像素坐标下的数值，并利用基于监测需求预设的权重比例进行加权求和，得到差强分布图。

第二方面，本申请提供了一种基于视频影像的全景融合与AI变化监测系统，包括：

获取模块，用于获取目标区域的路网矢量数据、土地类别数据和地块违规记录，云台摄像机采集的目标区域的可见光视频和红外视频，以及云台摄像机的姿态数据；

生成模块，用于利用姿态数据分别对可见光视频和红外视频进行像素坐标重采样后，分别进行特征点匹配与图像融合生成双光谱全景图；

生成模块，还用于基于路网矢量数据构建以地块为节点以道路为边的拓扑图，将地块违规记录关联至对应节点，将拓扑图输入至训练好的时空图神经网络输出节点的风险概率值，并将风险概率值映射至双光谱全景图生成概率矩阵；

生成模块，还用于根据土地类别数据，通过投影变换生成与双光谱全景图分辨率相同的语义掩码，语义掩码的元素值为根据土地类别设定的变化系数；

运算模块，用于将从双光谱全景图提取的红外特征矩阵与概率矩阵逐元素点乘得到第一矩阵，将从双光谱全景图提取的可见光特征矩阵与概率矩阵、语义掩码进行乘积运算得到第二矩阵；

确定模块，用于计算第一矩阵和第二矩阵与历史时期的历史第一矩阵和历史第二矩阵间的像素差值得到差强分布图，并将差强分布图中像素值大于预设强度阈值的像素集合确定为目标变化区域。

第三方面，本申请提供了一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述第一方面所述的基于视频影像的全景融合与AI变化监测方法的步骤。

第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时能够实现如上述第一方面所述的基于视频影像的全景融合与AI变化监测方法的步骤。

本申请所提供的基于视频影像的全景融合与AI变化监测方法，通过构建基于路网拓扑和历史违规记录的时空图神经网络，生成能够量化地理空间风险的概率矩阵，并结合土地类别数据生成的语义掩码，将传统的单纯视觉特征提取转变为业务逻辑驱动的特征增强过程。

该方法利用概率矩阵和语义掩码对全景影像的红外与可见光特征进行加权运算，实质上是在算法底层建立了针对不同地理位置的注意力机制，使得监测模型能够自动抑制低风险区域的环境噪声干扰，同时显著增强高风险及敏感地块内微小变化的特征响应。这种风险自适应感知的处理方式，有效克服了现有技术因缺乏地理时空逻辑引导而导致的一刀切监测弊端，在保证监测覆盖面的同时，实现了对违规行为的高灵敏度捕捉与对误报的有效过滤。因此，本申请有效解决了现有技术中因缺乏地理时空风险逻辑引导而导致AI变化监测准确率低且针对性差的技术问题。

进一步地，本申请通过在目标变化区域内进一步引入多尺度目标检测与运动轨迹分析，能够精准识别挖掘机、渣土车等特种工程机械实体，并结合驻留时长与土地利用类型进行多维度的合规性研判。该方法利用轨迹跟踪计算驻留时长，有效区分了工程车辆的正常过境通行与实质性违规作业行为，并通过判定当前地块是否属于禁止作业区域，将单纯的视觉变化检测提升为对人车地交互行为的语义理解。

这种基于行为时序特征与空间权属约束的二次校验机制，能够极大程度地滤除因车辆临时停靠或经过产生的非违规干扰，确保监管告警聚焦于真实的破坏性活动。因此，本申请有效解决了现有技术因缺乏对作业行为特征与空间合规性的深度关联分析而导致的违规判定误报率高且识别精准度不足的技术问题。

附图说明

为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种基于视频影像的全景融合与AI变化监测方法的流程示意图；

图2为本申请实施例提供的一种生成概率矩阵方法的流程示意图；

图3为本申请实施例提供的一种生成语义掩码方法的流程示意图；

图4为本申请实施例提供的一种基于视频影像的全景融合与AI变化监测系统的结构示意图；

图5是本申请一个实施例提供的电子设备的硬件结构示意图。

具体实施方式

在自然资源视频监测领域，现有的全景变化检测技术主要依赖于图像像素级的视觉比对或通用的目标识别算法，普遍采用全域统一阈值的监测模式。这种模式并未将道路通达性、历史违规分布以及土地利用性质等关键的地理空间逻辑融入视觉分析过程，导致监测算法缺乏对不同区域风险差异的感知能力。这一缺陷使得现有技术面临着难以调和的矛盾：若降低检测阈值以捕捉隐蔽线索，则林区风吹草动等环境噪声会导致大量误报；若提高阈值以过滤噪声，则往往会遗漏高风险区域内的微小违规变化，难以满足监管工作对精准度与针对性的双重要求。

针对上述问题，本申请提出一种基于视频影像的全景融合与AI变化监测方法，其核心在于构建了一种路网拓扑驱动的时空风险自适应感知机制。具体地，该方法在利用云台姿态数据融合生成双光谱全景图的基础上，通过构建路网地块拓扑图并输入时空图神经网络，解算出表示区域违规倾向的风险概率矩阵，并结合土地类别生成的语义掩码，对视频影像的红外与可见光特征进行像素级的加权干预。

该方法摒弃了传统的无差别视觉监测模式，通过风险概率与特征矩阵的点乘运算，在算法底层实现了对高风险区域特征的定向增强与低风险区域噪声的主动抑制，解决了现有技术因缺乏地理时空逻辑引导而导致的误报率高与查准率低的问题，显著提升了自然资源监管的智能化水平。

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了解决现有技术问题，本申请实施例提供了一种基于视频影像的全景融合与AI变化监测方法、装置、设备、计算机存储介质及计算机程序产品。下面首先对本申请实施例所提供的基于视频影像的全景融合与AI变化监测方法进行介绍。

图1示出了本申请一个实施例提供的基于视频影像的全景融合与AI变化监测方法的流程示意图。如图1所示，该方法包括：

S101、获取目标区域的路网矢量数据、土地类别数据和地块违规记录，云台摄像机采集的目标区域的可见光视频和红外视频，以及云台摄像机的姿态数据。

路网矢量数据是指描述目标区域内道路中心线位置、拓扑连接关系及道路等级的地理空间矢量文件，可以包括高等级公路、乡村道路及田间便道等具有不同通行能力的线状要素。土地类别数据是指表示地块用途属性及管控要求的空间分布数据，可以为根据国土调查标准划分的耕地、林地、建设用地及永久基本农田保护区等分类信息。地块违规记录是指目标区域内各行政地块在历史监管周期内发生违法违规行为的统计档案，可以包括违规类型、发生时间及查处频次等结构化信息。

可见光视频和红外视频是指由双光谱云台摄像机同步采集的反映地表可见光波段纹理特征的RGB彩色影像流以及反映地表热能辐射分布的热成像影像流。云台摄像机的姿态数据是指摄像机在拍摄特定视频帧时刻的镜头方位参数，可以包括云台的水平旋转角度、垂直俯仰角度以及镜头的当前变倍系数。

在具体实施过程中，针对监测区域，数据处理装置通过专线网络或无线传输协议与自然资源基础数据库建立连接，根据预设的监测范围边界索引下载该区域最新的路网矢量数据，其中为高等级公路，为田间小路，及土地类别数据，其中表示基本农田区域，表示一般林地区域。

同时访问执法监管业务数据库同步拉取该区域的地块违规记录，其中表示地块历史上发生过次违规，表示地块发生过次违规。其次，在采集时刻通过ONVIF协议或设备SDK向部署在野外高点的双光谱云台摄像机发送控制指令或订阅请求，获取实时回传的可见光视频流与红外视频流，并利用串口通信或网络回调机制同步读取每一帧视频对应的云台姿态数据，分别代表水平方位角、垂直俯仰角及焦距倍率。

S102、利用姿态数据分别对可见光视频和红外视频进行像素坐标重采样后，分别进行特征点匹配与图像融合生成双光谱全景图。

可选地，步骤S102利用姿态数据分别对可见光视频和红外视频进行像素坐标重采样后，分别进行特征点匹配与图像融合生成双光谱全景图的过程可具体包括：

S1021、提取姿态数据中的水平旋转角度、垂直俯仰角度以及镜头焦距并计算当前视频帧相对于预设水平平面的单应性映射矩阵。

单应性映射矩阵是指描述摄像机成像平面与物理世界中某一基准平面之间透视投影变换关系的数值矩阵，用于将具有透视畸变的斜视图像校正为正射俯视图像。预设水平平面是指在三维地理空间中定义的用于消除云台俯仰角度造成的几何变形的虚拟基准面。预设水平平面的参数定义如下表1所示：

如表1所示，表1示出了构建预设水平平面所需的关键配置，其中基准海拔高度设定了平面的垂直位置，平面法向量定义了平面的朝向，通常垂直于重力方向，投影分辨率则规定了重采样后的像素密度。

在具体实施过程中，首先从步骤S101获取的姿态数据中解析出水平旋转角度、垂直俯仰角度以及镜头焦距。其次，基于摄像机的内部参数矩阵即包括主点坐标及像素物理尺寸与由姿态角构建的旋转矩阵，利用计算机视觉中的射影几何原理计算当前视频帧平面到表1定义的预设水平平面的单应性映射矩阵。示例地，假设摄像机光心高度为，单应性映射矩阵如下公式（1）所示：

（1）

其中为位移向量，主要由摄像机安装高度决定，为表1中的平面法向量，为摄像机光心到地平面的垂直距离。最终计算得到的单应性映射矩阵为如下形式：

该矩阵中的元素如和即反映了透视变换的程度。

S1022、利用单应性映射矩阵，分别将可见光视频和红外视频投影至预设水平平面并执行重采样，得到可见光图像序列和红外图像序列。

可见光图像序列和红外图像序列是指经过逆透视变换处理后生成的消除了因拍摄角度导致的近大远小透视效应的标准化图像集合，其中每一帧图像的像素坐标均对应预设水平平面上的物理位置。

在具体实施过程中，利用步骤S1021计算得到的单应性映射矩阵，分别对可见光视频流中的每一帧原始图像和红外视频流中的每一帧原始图像进行透视变换。具体地，采用双线性插值算法，对于原始图像中的任意像素点，通过矩阵运算获得其在预设水平平面上的对应坐标。最终，得到校正后的可见光图像序列和红外图像序列。

S1023、分别对可见光图像序列和红外图像序列进行特征匹配，并分别计算得到可见光图像序列和红外图像序列的相邻视频帧在预设水平平面上的几何变换参数。

几何变换参数是指描述同一序列中相邻两帧图像在预设水平平面上因云台转动而产生的相对位置关系的数值集合，主要包括平移向量与旋转角度。特征匹配是指在两幅图像中寻找代表同一物理场景点的特征点对的过程，常用的算法包括尺度不变特征转换、加速稳健特征或定向快速旋转简报。

在具体实施过程中，针对可见光图像序列，选取相邻的两帧和，利用定向快速旋转简报算法提取角点特征并生成二进制描述子。通过汉明距离度量特征点相似度，并采用随机抽样一致性算法剔除误匹配点，获得匹配点对集合。基于这些匹配点对，利用最小二乘法解算出从到的几何变换矩阵。同理，对红外图像序列进行相同操作得到。最终，计算得到的几何变换参数为如下矩阵形式：

其中，通常为仿射变换矩阵，包括平移、旋转和缩放参数；，表示平移像素量，为旋转角度。

S1024、利用对应的几何变换参数，分别将可见光图像序列和红外图像序列投影至预设的全景球面坐标空间并进行多尺度加权融合，生成可见光全景图像和红外全景图像。

预设的全景球面坐标空间是指一个虚拟构建的用于承载全景影像数据的球体模型。可见光全景图像和红外全景图像是指在这个球面坐标系下由多帧图像拼接融合而成的完整大幅面影像。预设的全景球面坐标空间的参数定义如下表2所示：

表2：预设的全景球面坐标空间参数对照表

如表2所示，表2规定了球体的几何属性及网格划分方式，确保了全景图能够无缝覆盖360度视场。

进一步地，表1定义的预设水平平面采用正射投影，其投影分辨率即0.1米/像素是一个地面线性分辨率，确保校正后的图像具有统一的地面采样间隔。而表2定义的全景球面坐标空间采用球面投影，其角分辨率即0.05度/像素是一个角度分辨率，确保全景拼接时角度采样均匀。

这两个坐标系之间的转换基于摄像机的几何安装参数。具体而言，地面线性分辨率与球面角分辨率之间的关系近似为：，其中H为摄像机相对于地面的安装高度。

在具体实施过程中，首先根据表2定义的参数构建空白的全景画布。其次，利用步骤S1023得到的几何变换参数，分别将图像序列和图像序列中的每一帧映射到全景球面坐标空间的对应位置。对于重叠区域，采用多尺度拉普拉斯金字塔融合算法进行处理：将重叠部分的图像分解为不同频带的子图像，分别计算加权系数，低频部分采用线性渐变权重以消除光照差异，高频部分采用最大值保留或特定权重以保持纹理细节，最后重构图像以消除拼缝。最终，生成覆盖监测区域A的可见光全景图像和红外全景图像。

S1025、按照全景球面坐标空间的空间位置对应关系，对可见光全景图像以及红外全景图像进行像素级叠加对齐，得到双光谱全景图。

双光谱全景图是指包括可见光波段信息与红外波段信息的复合全景影像，通常表现为具有多个通道如R、G、B、Thermal的高维矩阵数据。像素级叠加对齐是指确保不同传感器采集的影像在同一像素坐标上对应相同的地理目标。

在具体实施过程中，由于可见光镜头与红外镜头在物理安装上可能存在微小的位置偏差，首先通过预先标定的双目外参矩阵对进行微调，使其在表2所定义的球面坐标空间下与精确配准。然后，将两幅全景图像沿通道维度进行堆叠合并。示例地，首先根据表2中设定的经纬度覆盖范围与角分辨率，计算出全景图像的像素宽度与像素高度。其次，将尺寸为的可见光全景图，与尺寸为的红外全景图合并，得到尺寸为的双光谱全景图，其中，3代表可见光影像的RGB颜色通道数量，4代表叠加红外通道后的总通道数量。在该全景图中，任意像素坐标同时包括了该地理位置的颜色纹理信息和温度辐射信息。

本实施例消除了透视畸变，实现了可见光与红外双光谱在全景球面坐标系下的像素级对齐，有效解决了传统视频拼接中因视角差异导致的几何错位问题，生成了具备统一空间基准与多维属性的高质量全景底图。

S103、基于路网矢量数据构建以地块为节点以道路为边的拓扑图，将地块违规记录关联至对应节点，将拓扑图输入至训练好的时空图神经网络输出节点的风险概率值，并将风险概率值映射至双光谱全景图生成概率矩阵。

可选地，步骤S103基于路网矢量数据构建以地块为节点以道路为边的拓扑图，将地块违规记录关联至对应节点，将拓扑图输入至训练好的时空图神经网络输出节点的风险概率值，并将风险概率值映射至双光谱全景图生成概率矩阵的过程可具体包括：

图2示出了本申请一个实施例提供的生成概率矩阵方法的流程示意图。如图2所示，首先通过提取路网矢量数据中每个地块的几何中心点坐标作为拓扑节点，并将连接不同地块的道路线段数据作为拓扑边，同时关联地块违规记录中的违规次数来构建反映地块间空间邻接关系与交通可达性的拓扑图。随后，利用训练好的时空图神经网络对拓扑图执行消息传递与特征聚合运算，以此提取地块节点间的空间拓扑关联特征以及随时间变化的演化特征，并输出每个拓扑节点对应的归一化风险概率值。最后，根据投影参数将拓扑节点的预测风险概率从地理空间位置映射至双光谱全景图的像素坐标位置，并对像素区域进行空间概率平滑处理，从而生成一个与双光谱全景图分辨率一致的概率矩阵。

S1031、提取路网矢量数据中每个地块的几何中心点坐标作为拓扑节点，并提取路网矢量数据中连接不同地块的道路线段数据作为拓扑边，将地块违规记录的每个区域违规行为次数关联至对应的拓扑节点，构建拓扑图。

拓扑图是指一种用于描述地块间空间邻接关系与交通可达性的数据结构，通常表示为，其中节点集合代表各个行政地块或自然地块，边集合代表连接地块的道路网络。几何中心点坐标是指地块多边形轮廓的质心位置。

在具体实施过程中，首先解析步骤S101获取的土地类别数据和路网矢量数据。其次，对于中的每一个地块，利用几何算法计算其质心坐标（），并生成唯一的拓扑节点。接着，分析中的道路线段，若存在一条道路直接连接地块与，或者从到的路网距离小于预设阈值如500米，则在节点与之间建立一条拓扑边，该边的权重根据道路等级设定，例如一级公路权重为，田间小路权重为。最后，查询地块违规记录，将每个地块对应的历史违规次数作为节点特征绑定到对应节点上。

S1032、利用训练好的时空图神经网络对拓扑图进行消息传递与特征聚合运算，提取地块节点间的空间拓扑关联特征与随时间变化的演化特征，输出每个拓扑节点的归一化的风险概率值。

训练好的时空图神经网络是指一种经过历史数据迭代优化、能够处理图结构数据并捕获时空依赖关系的深度学习模型，常见架构包括图卷积网络与长短期记忆网络的结合体。空间拓扑关联特征是指地块之间因路网连接而产生的相互影响，例如相邻地块违规行为的扩散效应。归一化的风险概率值是指输出数值在0到1之间，表示该地块发生违规行为的可能性大小。

在具体实施过程中，首先训练得到训练好的时空图神经网络：首先获取训练样本集，训练样本集包括多个历史时段的训练样本，每个训练样本包括历史路网拓扑结构、历史地块违规记录序列以及对应的下一时段真实违规发生情况标签。

其次，分别对每个训练样本执行以下步骤：将每个训练样本中的路网拓扑图和历史违规记录序列输入至预设的时空图神经网络模型中。该模型首先利用图卷积层聚合邻居节点信息，计算空间特征，如下公式（2）所示：

（2）

其中，为第层的节点特征矩阵，为邻接矩阵，为度矩阵，为权重参数。当层为网络的最后一层图卷积层时，其输出即可被视为提取到的空间特征。接着，将空间特征输入时间卷积层处理时间维度，得到时空聚合特征。最后，将时空聚合特征输入全连接层进行线性变换，并通过Sigmoid激活函数将输出映射至0到1区间，得到每个节点的预测违规概率值。

最后，根据真实违规发生情况标签和预测违规概率值，利用交叉熵损失函数计算模型的损失值。在损失值不满足训练停止条件如且迭代次数＜1000的情况下，通过反向传播算法调整模型中的权重参数，得到更新后的预测模型，并返回继续训练，直至满足停止条件，得到训练好的时空图神经网络。

其次，利用该训练好的模型，将步骤S1031构建的当前拓扑图及关联特征输入模型。模型经过前向计算，依次完成空间特征聚合、时空特征提取以及全连接层分类映射，最终输出每个节点的风险概率值。

S1033、根据双光谱全景图的投影参数，将每个拓扑节点的预测风险概率由地理空间位置映射至双光谱全景图的像素坐标位置，并对双光谱全景图中的像素区域进行空间概率平滑处理，生成与双光谱全景图分辨率一致的概率矩阵。

概率矩阵是指一个与双光谱全景图尺寸相同的二维数值矩阵，其每个元素的值代表对应像素位置的违规风险等级。投影参数是指建立地理坐标即经纬度与全景图像素坐标之间映射关系的转换系数，通常基于步骤S1024中的全景球面坐标定义。空间概率平滑处理是指利用高斯模糊或插值算法消除离散节点映射后产生的边界突变而生成连续的风险热力分布。

在具体实施过程中，首先，根据表2确定的全景球面坐标系参数，找到全景图中所有落在该地块范围内的像素点集合。其次，对于该集合中的每一个像素坐标（），将其初始风险值均设为该地块的预测概率值。最后，考虑到违规行为的影响或监管视线可能不会严格限制在地块边界内，为了模拟风险在空间上的连续过渡并避免算法在边界像素上因概率骤变而产生不稳定响应，采用高斯滤波器对初始矩阵进行平滑处理，生成最终的概率矩阵，表示为：

其中元素代表高风险区，元素代表低风险区域，中间元素则体现了平滑过渡的效果。

本实施例深度挖掘了地块间的道路邻接效应与历史违规演化规律，将抽象的地理业务数据转化为与全景影像精准对齐的像素级风险概率矩阵，赋予了监测系统对高发风险区域的先验感知能力，有效实现了对高风险目标的聚焦与对非重点区域环境噪声的主动抑制。

S104、根据土地类别数据，通过投影变换生成与双光谱全景图分辨率相同的语义掩码，语义掩码的元素值为根据土地类别设定的变化系数。

可选地，步骤S104根据土地类别数据，通过投影变换生成与双光谱全景图分辨率相同的语义掩码，语义掩码的元素值为根据土地类别设定的变化系数的过程可具体包括：

图3示出了本申请一个实施例提供的生成语义掩码方法的流程示意图。如图3所示，首先建立土地类别数据所在的地理空间坐标系与双光谱全景图所在的坐标空间之间的映射关系。为适应云台摄像机大范围旋转的特性并避免平面投影的边缘畸变，可以选择球面坐标系作为全景图的基础参考框架，利用投影参数构建转换函数，从而将地理坐标点位精确计算为全景图上的像素坐标。随后基于映射关系将土地类别数据中的地块属性标签投影至双光谱全景图的对应像素点位，通过扫描线填充算法或多边形栅格化算法找出轮廓内部所有像素点集合，生成各像素点包括地类标签的初始掩码。最后根据预设的地块管控等级与权重映射规则，将初始掩码中的地类标签转换为表示地块变化敏感程度的归一化权重数值，作为变化系数填充至对应像素点，最终生成语义掩码。

S1041、建立土地类别数据所在的地理空间坐标系与双光谱全景图所在的坐标空间之间的映射关系。

地理空间坐标系是指用于定义土地类别矢量数据位置参考的标准坐标系统，常见如WGS84经纬度坐标或CGCS2000投影坐标。映射关系是指将地球表面的地理点位准确转换至全景图像素点位的数学变换模型。映射关系如下表3所示：

在本实施例中，为适应云台摄像机大范围旋转的特性并避免平面投影的边缘畸变，最终选择球面坐标系作为全景图的基础参考框架，其与地理坐标的精确映射由表3中的参数定义。

如表3所示，表3展示了实现该转换所需的关键变量，其中原点经纬度锚定了全景图的地理中心，投影比例尺确定了角度与像素的对应比例，畸变修正系数用于微调光学系统产生的非线性偏差。

在具体实施过程中，首先读取步骤S101中土地类别数据的源数据以确定其源坐标系如EPSG:4326，并读取双光谱全景图的头文件获取全景球面定义。其次，利用表3中的参数构建转换函数。具体地，假设源坐标点为，全景图中心原点为（），投影比例尺为，旋转偏移量为，则转换函数在局部区域的线性化表达如下公式（3）所示：

（3）

其中为基于畸变系数计算的校正项。通过上述公式（3），任意地理坐标均可被唯一计算为全景图上的像素坐标。

S1042、基于映射关系将土地类别数据中的地块属性标签投影至双光谱全景图的对应像素点位，生成各像素点包括地类标签的初始掩码。

地块属性标签是指在土地类别数据中赋予每个地块的分类标识，如0101代表水田，0301代表有林地。初始掩码是指一个与全景图等大的二维矩阵，其存储内容为每个像素点所覆盖地块的分类代码。

在具体实施过程中，首先遍历土地类别数据中的每一个多边形地块。其次，对于地块的边界顶点序列，利用上述公式（3）将其转换为全景图坐标系下的多边形轮廓。接着，采用扫描线填充算法或多边形栅格化算法，找出该轮廓内部包括的所有像素点集合。对于集合中的每一个像素点，将该像素点对应的地块属性标签设定为其在初始掩码矩阵中的值。最终，针对监测区域A，假设生成初始掩码为：

其中代表基本农田代码，代表林地代码，代表城镇住宅用地代码。

S1043、根据预设的地块管控等级与权重映射规则，将初始掩码中的地类标签转换为表示地块变化敏感程度的归一化权重数值，作为变化系数填充至对应像素点，生成语义掩码。

语义掩码是指最终生成的用于指导AI算法进行特征加权的数值矩阵，其元素值为变化系数。变化系数是一个介于0到1之间的浮点数，数值越高表示该区域对变化越敏感，即监管级别越高。地块管控等级与权重映射规则是指将行政管理上的土地用途类型映射为算法权重的逻辑表。地块管控等级与权重映射规则如下表4所示：

如表4所示，表4列举了不同地类代码对应的管控级别及量化权重，管控等级一级为最高等级，对应的权重数值即变化系数也最高，体现了耕地红线优先、生态用地次之、建设用地适度监管的业务逻辑。

在具体实施过程中，首先对步骤S1042生成的初始掩码进行逐像素遍历。其次，对于每一个像素点的值即地类代码，查询表4以获取对应的权重数值，并将该数值写入新的矩阵中，生成最终的语义掩码可以为：

其中，元素对应基本农田的高敏感度，元素对应林地的中等敏感度，元素对应建设用地的低敏感度。

本实施例实现了将矢量化的土地利用性质数据精准投影至视频像素空间，在算法底层建立了土地性质驱动的特征加权机制，显著提升了执法监管的针对性与智能化水平。

S105、将从双光谱全景图提取的红外特征矩阵与概率矩阵逐元素点乘得到第一矩阵，将从双光谱全景图提取的可见光特征矩阵与概率矩阵、语义掩码进行乘积运算得到第二矩阵。

可选地，步骤S105将从双光谱全景图提取的红外特征矩阵与概率矩阵逐元素点乘得到第一矩阵，将从双光谱全景图提取的可见光特征矩阵与概率矩阵、语义掩码进行乘积运算得到第二矩阵的过程可具体包括：

S1051、利用预设的边缘检测算子分别对双光谱全景图中的可见光图像层和红外图像层执行空间特征提取处理，通过识别可见光图像层中每个像素区域的边缘分布及色彩分布信息生成可见光特征矩阵，并通过提取红外图像层中每个像素区域的热能辐射亮度分布信息生成红外特征矩阵。

边缘检测算子是指一种用于识别图像中亮度剧烈变化点即边缘的数学卷积核，如Sobel算子或Laplacian算子，用于提取图像的纹理轮廓。可见光特征矩阵是指表示可见光全景图中纹理细节、色彩差异及边缘强度的多维数值矩阵。红外特征矩阵是指表示红外全景图中地表温度辐射强度及其空间梯度变化的数据矩阵。

在具体实施过程中，首先，分别从步骤S1025生成的双光谱全景图中分离出可见光图像层和红外图像层。其次，对于可见光图像层，利用Sobel算子分别计算水平方向和垂直方向的梯度，并结合原始RGB颜色通道，组合生成可见光特征矩阵。对于红外图像层，直接提取其灰度值并计算局部方差以反映热能分布的不均匀性，生成红外特征矩阵。

S1052、将概率矩阵中每个坐标位置点的风险概率值与语义掩码中对应坐标位置点的变化系数进行对应像素点位的乘法运算，得到风险权重矩阵。

风险权重矩阵是指一个综合了路网拓扑风险与土地管控等级的联合权重图，用于量化每个像素点在变化监测中的综合重要性。

在具体实施过程中，首先，读取步骤S1033生成的概率矩阵与步骤S1043生成的语义掩码。其次，对于矩阵中的每一个坐标，将中的风险概率值与中的变化系数相乘，得到对应的，从而生成风险权重矩阵，可以为：

S1053、将红外特征矩阵中每个通道的特征数值与概率矩阵中对应坐标位置的数值进行乘积运算，得到第一矩阵。

第一矩阵是指经过路网风险概率加权后的红外辐射特征图，其突出了高风险区域内的热能异常同时抑制了低风险区域的热噪声。

在具体实施过程中，将红外特征矩阵与概率矩阵进行逐元素相乘。具体地，对于任意坐标，计算，和分别为红外特征矩阵与概率矩阵在对应位置的元素值。最终得到的第一矩阵可以为：

其中，表示加权后的红外差异强度。

S1054、将可见光特征矩阵中每个通道的特征数值与风险权重矩阵中对应坐标位置的数值进行乘积运算，得到第二矩阵。

第二矩阵是指经过时空风险和土地性质双重加权后的可见光特征图，用于捕捉地表覆盖物的视觉形态变化。

在具体实施过程中，将可见光特征矩阵与步骤S1052生成的风险权重矩阵进行逐元素相乘。具体地，对于任意坐标，计算。最终得到的第二矩阵表现为：

其中表示加权后的可见光差异强度。

本实施例创造性地构建了特征加权机制，有效抑制了低风险区域的背景噪声，显著增强了高风险地块内微小变化的特征响应，大幅提升了违规监测的灵敏度与准确性。

S106、计算第一矩阵和第二矩阵与历史时期的历史第一矩阵和历史第二矩阵间的像素差值得到差强分布图，并将差强分布图中像素值大于预设强度阈值的像素集合确定为目标变化区域。

历史时期的历史第一矩阵和历史第二矩阵是指在上一监测周期通过相同方法流程生成的分别代表历史红外热特征和历史可见光视觉特征的基准特征数据。差强分布图是指一个综合了双光谱变化幅度的二维热力图，其像素值越高表示该位置发生地表变化的可能性越大。

目标变化区域是指最终被判定为存在疑似违规行为的连通像素集合，通常对应具体的物理地块范围。预设强度阈值是指用于从连续变化的差强值中截断出显著变化区域的临界数值。

可选地，步骤S106中强度阈值根据历史监测周期的差强分布图中的像素值统计分布中的预设百分位数的数值确定。

预设强度阈值如下表5所示：

如表5所示，表5展示了基于统计学原理设定的阈值计算逻辑，其中基础置信度设定了最小过滤底限，动态百分位数规定了根据历史数据波动情况自适应调整阈值的方法，环境修正因子则用于在恶劣天气下适当放宽标准以减少误报。

在具体实施过程中，首先调取存储在时序数据库中的历史第一矩阵和历史第二矩阵。其次，利用简单的矩阵减法与加权求和运算，计算当前监测周期的第一矩阵、第二矩阵与历史基准之间的差异，生成差强分布图。接着，根据表5的规则动态确定本次监测的预设强度阈值。

示例地，假设统计历史周期如过去7天所有差强分布图的像素值直方图，找到第95%的数值m，取环境修正因子为。则最终阈值。最后，对当前的差强分布图进行二值化处理：将所有的像素点标记为1即变化，其余为0即背景。对标记为1的像素进行连通域分析，剔除面积小于50像素的细碎噪点。剩余的连通区域即被确定为目标变化区域。

步骤S106中计算第一矩阵和第二矩阵与历史时期的历史第一矩阵和历史第二矩阵间的像素差值得到差强分布图的过程可具体包括：

将当前监测周期的第一矩阵与历史时期的历史第一矩阵进行空间位置映射对齐，并对映射对齐后的像素点的数值进行减法运算，得到第一像素差值矩阵。

第一像素差值矩阵是指表示当前时刻与历史时刻在红外热辐射维度上差异程度的数值矩阵，其数值大小反映了地表热源如车辆引擎、施工设备的新增或消失情况。空间位置映射对齐是指消除因两次拍摄间微小的云台复位误差导致的像素偏移，确保比较的是同一物理位置。

在具体实施过程中，首先从数据库中调取历史第一矩阵。其次，利用图像配准算法如基于相位相关的配准，计算当前第一矩阵相对于的微小平移量（），并对进行逆向平移校正。接着，执行矩阵减法运算：。

将当前监测周期的第二矩阵与历史时期的历史第二矩阵进行空间位置映射对齐，并对映射对齐后的像素点的数值进行减法运算，得到第二像素差值矩阵。

第二像素差值矩阵是指表示当前时刻与历史时刻在可见光视觉纹理维度上差异程度的数值矩阵，其数值反映了地表覆盖物如推土、建房的形态改变。该矩阵同样经过了严格的空间对齐处理。

在具体实施过程中，首先从数据库中调取历史第二矩阵。其次，利用图像配准算法如基于相位相关的配准，计算当前第一矩阵相对于的微小平移量（），并对进行逆向平移校正。然后执行减法运算：。

分别提取第一像素差值矩阵与第二像素差值矩阵在相同像素坐标下的数值，并利用基于监测需求预设的权重比例进行加权求和，得到差强分布图。

差强分布图是指最终生成的融合了双光谱变化信息的综合变化检测结果图。权重比例是指根据不同的监测任务侧重点如侧重夜间偷采还是日间违建设定的加权系数。预设的权重比例如下表6所示：

如表6所示，表6展示了针对不同场景模式的配置策略，其中红外权重用于调节热异常在最终结果中的占比，可见光权重则用于调节视觉纹理变化的占比。

在具体实施过程中，首先识别当前的监测环境或用户设定的模式如日间常规模式，查阅表6获取对应的红外权重和可见光权重。然后，对第一像素差值矩阵和第二像素差值矩阵进行加权融合，对于任意像素坐标，计算最终的差强值。最终生成的差强分布图为如下形式：

其中，表示对应像素点的综合差异强度。

本实施例克服了单一光谱监测在夜间或恶劣天气下的盲区，确保了能自动适应不同季节或光照条件下的背景波动，在保证极低误报率的同时，实现了对全天候、多类型违规变化的高精度捕捉。

可选地，方法还包括：

将双光谱全景图中目标变化区域对应的全景影像切片输入训练好的包括骨干特征提取网络和多尺度检测头的多尺度目标检测模型，判断目标变化区域是否存在目标特种机械，目标特种机械包括挖掘机、推土机、水泥搅拌车和渣土运输车中的至少一种。

全景影像切片是指从完整双光谱全景图中裁剪出的包括目标变化区域及周边背景的局部图像块。多尺度目标检测模型是指一种深度学习神经网络，例如YOLOv5或FasterR-CNN，其包括用于提取图像特征的骨干网络如ResNet和用于在不同分辨率特征图上预测目标位置与类别的多尺度检测头。目标特种机械是指自然资源监管重点关注的违规作业车辆，其视觉特征如机械臂、搅拌罐与普通车辆有显著区别。

在具体实施过程中，首先，训练得到训练好的多尺度目标检测模型：首先获取训练样本集，训练样本集包括多个包括工程车辆的标注图像，每个训练样本包括可见光和红外图像切片、车辆类别标签即挖掘机、推土机等以及对应的真实边界框坐标标签。

其次，分别对每个训练样本执行以下步骤：将每个训练样本输入至预设的检测模型中。模型首先利用骨干特征提取网络逐层提取图像的语义特征，生成多层级特征金字塔。接着，将这些特征输入多尺度检测头，分别在大、中、小三个尺度上预测候选目标的类别概率与边界框偏移量，得到预测检测结果。

最后，根据真实边界框坐标标签和预测检测结果，利用损失函数与分类损失函数计算模型的总损失值。在损失值不满足训练停止条件如的情况下，通过梯度下降算法调整骨干网络与检测头的权重参数，得到更新后的模型，并返回继续训练，直至满足停止条件，得到训练好的多尺度目标检测模型。

利用该训练好的模型，将步骤S106确定的目标变化区域对应的切片图像输入模型。模型输出检测结果列表。

在目标变化区域存在目标特种机械的情况下，利用目标跟踪算法在可见光视频中确定目标特种机械的运动轨迹，并计算目标特种机械在目标变化区域内的驻留时长。

目标跟踪算法是指用于在连续视频帧中锁定并记录同一目标位置序列的技术，常见如深度学习与简单在线实时跟踪或字节级关联跟踪。在具体实施过程中，首先，当检测到特种机械时自动调用对应的原始可见光视频流。其次，初始化深度学习与简单在线实时跟踪器，为检测到的机械分配唯一ID。

随后，逐帧分析视频，记录该ID的质心坐标序列即运动轨迹。最后，计算该轨迹在目标变化区域内的持续时间。例如，假设挖掘机从10:00进入区域，至10:45仍未离开，则计算得到的驻留时长分钟。

根据目标变化区域对应的土地类别，判断目标变化区域是否属于禁止作业区域。

禁止作业区域是指根据法律法规严禁进行非农建设或破坏性作业的地块类型，通常包括永久基本农田、生态保护红线区等。判断根据来源于步骤S101获取的土地类别数据。

在具体实施过程中，查询目标变化区域的中心坐标在土地类别数据中的属性。若该区域属性为基本农田或林地，则判定为禁止作业区域；若为建设用地或临时堆场，则判定为非禁止区域。

在驻留时长大于预设时间阈值且目标变化区域属于禁止区域的情况下，判定目标变化区域存在违规作业行为并触发监管告警事件，预设时间阈值根据目标特种机械的设备类型确定。

监管告警事件是指生成的包括违规证据即全景图、切片、视频片段、位置信息并推送给执法人员的电子工单。预设时间阈值是指用于界定违规作业的最小持续时间标准。预设时间阈值如下表7所示：

如表7所示，表7展示了针对不同类型机械设定的判定标准，体现了对不同作业效率与危害程度的差异化考量。

在具体实施过程中，假设检测到的机械类型为挖掘机，驻留时长分钟，目标变化区域属于基本农田。查阅表7获取对应的时间阈值为30分钟。由于且区域属于禁止作业区域，则判定逻辑成立，生成非法占用农田施工的告警事件，并将包括挖掘机特写照片、全景位置图及45分钟的轨迹视频片段打包发送至监管平台。

本实施例不仅精准识别了挖掘机等特种工程机械实体，还通过驻留时长与用地红线规则的双重约束，有效剔除了过境车辆与合规施工产生的干扰，极大提升了违规线索发现的准确率与执法取证的有效性。

图4为本申请实施例提供的一种基于视频影像的全景融合与AI变化监测系统的一种具体实施方式的结构示意图，参照图4，该系统可以包括：

410获取模块，用于获取目标区域的路网矢量数据、土地类别数据和地块违规记录，云台摄像机采集的目标区域的可见光视频和红外视频，以及云台摄像机的姿态数据；

420生成模块，用于利用姿态数据分别对可见光视频和红外视频进行像素坐标重采样后，分别进行特征点匹配与图像融合生成双光谱全景图；

420生成模块，还用于基于路网矢量数据构建以地块为节点以道路为边的拓扑图，将地块违规记录关联至对应节点，将拓扑图输入至训练好的时空图神经网络输出节点的风险概率值，并将风险概率值映射至双光谱全景图生成概率矩阵；

420生成模块，还用于根据土地类别数据，通过投影变换生成与双光谱全景图分辨率相同的语义掩码，语义掩码的元素值为根据土地类别设定的变化系数；

430运算模块，用于将从双光谱全景图提取的红外特征矩阵与概率矩阵逐元素点乘得到第一矩阵，将从双光谱全景图提取的可见光特征矩阵与概率矩阵、语义掩码进行乘积运算得到第二矩阵；

440确定模块，用于计算第一矩阵和第二矩阵与历史时期的历史第一矩阵和历史第二矩阵间的像素差值得到差强分布图，并将差强分布图中像素值大于预设强度阈值的像素集合确定为目标变化区域。

本申请实施例的基于视频影像的全景融合与AI变化监测系统用于实现前述的基于视频影像的全景融合与AI变化监测方法，因此基于视频影像的全景融合与AI变化监测系统中的具体实施方式可见前文中的基于视频影像的全景融合与AI变化监测方法的实施例部分，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

图5示出了本申请一个实施例提供的电子设备的硬件结构示意图。

电子设备可以包括处理器510以及存储有计算机程序指令的存储器520。

具体地，上述处理器510可以包括中央处理器（CPU），或者特定集成电路（Application Specific Integrated Circuit，ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。

存储器520可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器520可包括硬盘驱动器（Hard Disk Drive，HDD）、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线（Universal Serial Bus，USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器520可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器520可在综合网关容灾设备的内部或外部。在特定实施例中，存储器520是非易失性固态存储器。

存储器可包括只读存储器（Read-Only Memory，ROM），随机存取存储器（RandomAccess Memory，RAM），磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器包括一个或多个编码有包括计算机可执行指令的软件的有形（非暂态）计算机可读存储介质（例如，存储器设备），并且当该软件被执行（例如，由一个或多个处理器）时，其可操作来执行参考根据本公开的第一方面的方法所描述的操作。

处理器510通过读取并执行存储器520中存储的计算机程序指令，以实现上述实施例中的任意一种基于视频影像的全景融合与AI变化监测方法。

在一个示例中，电子设备还可包括通信接口530和总线540。其中，如图5所示，处理器510、存储器520、通信接口530通过总线540连接并完成相互间的通信。

通信接口530，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。

总线540包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口（AGP）或其他图形总线、增强工业标准架构（EISA）总线、前端总线（FSB）、超传输（HT）互连、工业标准架构（ISA）总线、无限带宽互连、低引脚数（LPC）总线、存储器总线、微信道架构（MCA）总线、外围组件互连（PCI）总线、PCI-Express（PCI-X）总线、串行高级技术附件（SATA）总线、视频电子标准协会局部（VLB）总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线540可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

该电子设备可以执行本申请实施例中的基于视频影像的全景融合与AI变化监测方法，从而实现结合附图描述的基于视频影像的全景融合与AI变化监测方法。

另外，结合上述实施例中的基于视频影像的全景融合与AI变化监测方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于视频影像的全景融合与AI变化监测方法。

需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路（ASIC）、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM（EROM）、软盘、CD-ROM、光盘、硬盘、光纤介质、射频（RF）链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

上面参考根据本申请的实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。

以上对本申请所提供的一种基于视频影像的全景融合与AI变化监测方法及系统进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请的保护范围内。

Claims (10)

1.一种基于视频影像的全景融合与AI变化监测方法，其特征在于，包括：

获取目标区域的路网矢量数据、土地类别数据和地块违规记录，云台摄像机采集的目标区域的可见光视频和红外视频，以及云台摄像机的姿态数据；

利用所述姿态数据分别对所述可见光视频和所述红外视频进行像素坐标重采样后，分别进行特征点匹配与图像融合生成双光谱全景图；

基于所述路网矢量数据构建以地块为节点以道路为边的拓扑图，将所述地块违规记录关联至对应节点，将所述拓扑图输入至训练好的时空图神经网络输出节点的风险概率值，并将所述风险概率值映射至所述双光谱全景图生成概率矩阵；

根据所述土地类别数据，通过投影变换生成与所述双光谱全景图分辨率相同的语义掩码，所述语义掩码的元素值为根据土地类别设定的变化系数；

将从所述双光谱全景图提取的红外特征矩阵与所述概率矩阵逐元素点乘得到第一矩阵，将从所述双光谱全景图提取的可见光特征矩阵与所述概率矩阵、所述语义掩码进行乘积运算得到第二矩阵；

计算所述第一矩阵和所述第二矩阵与历史时期的历史第一矩阵和历史第二矩阵间的像素差值得到差强分布图，并将所述差强分布图中像素值大于预设强度阈值的像素集合确定为目标变化区域。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述双光谱全景图中所述目标变化区域对应的全景影像切片输入训练好的包括骨干特征提取网络和多尺度检测头的多尺度目标检测模型，判断所述目标变化区域是否存在目标特种机械，所述目标特种机械包括挖掘机、推土机、水泥搅拌车和渣土运输车中的至少一种；

在所述目标变化区域存在所述目标特种机械的情况下，利用目标跟踪算法在所述可见光视频中确定所述目标特种机械的运动轨迹，并计算所述目标特种机械在所述目标变化区域内的驻留时长；

根据所述目标变化区域对应的土地类别，判断所述目标变化区域是否属于禁止作业区域；

在所述驻留时长大于预设时间阈值且所述目标变化区域属于禁止区域的情况下，判定所述目标变化区域存在违规作业行为并触发监管告警事件，所述预设时间阈值根据所述目标特种机械的设备类型确定。

3.根据权利要求1所述的方法，其特征在于，所述利用所述姿态数据分别对所述可见光视频和所述红外视频进行像素坐标重采样后，分别进行特征点匹配与图像融合生成双光谱全景图，包括：

提取所述姿态数据中的水平旋转角度、垂直俯仰角度以及镜头焦距并计算当前视频帧相对于预设水平平面的单应性映射矩阵；

利用所述单应性映射矩阵，分别将所述可见光视频和所述红外视频投影至所述预设水平平面并执行重采样，得到可见光图像序列和红外图像序列；

分别对所述可见光图像序列和所述红外图像序列进行特征匹配，并分别计算得到所述可见光图像序列和所述红外图像序列的相邻视频帧在所述预设水平平面上的几何变换参数；

利用对应的所述几何变换参数，分别将所述可见光图像序列和所述红外图像序列投影至预设的全景球面坐标空间并进行多尺度加权融合，生成可见光全景图像和红外全景图像；

按照所述全景球面坐标空间的空间位置对应关系，对所述可见光全景图像以及所述红外全景图像进行像素级叠加对齐，得到所述双光谱全景图。

4.根据权利要求1所述的方法，其特征在于，所述基于所述路网矢量数据构建以地块为节点以道路为边的拓扑图，将所述地块违规记录关联至对应节点，将所述拓扑图输入至训练好的时空图神经网络输出节点的风险概率值，并将所述风险概率值映射至所述双光谱全景图生成概率矩阵，包括：

提取所述路网矢量数据中每个地块的几何中心点坐标作为拓扑节点，并提取所述路网矢量数据中连接不同地块的道路线段数据作为拓扑边，将所述地块违规记录的每个区域违规行为次数关联至对应的所述拓扑节点，构建所述拓扑图；

利用所述训练好的时空图神经网络对所述拓扑图进行消息传递与特征聚合运算，提取地块节点间的空间拓扑关联特征与随时间变化的演化特征，输出每个拓扑节点的归一化的风险概率值；

根据所述双光谱全景图的投影参数，将每个拓扑节点的预测风险概率由地理空间位置映射至所述双光谱全景图的像素坐标位置，并对所述双光谱全景图中的像素区域进行空间概率平滑处理，生成与所述双光谱全景图分辨率一致的概率矩阵。

5.根据权利要求1所述的方法，其特征在于，所述根据所述土地类别数据，通过投影变换生成与所述双光谱全景图分辨率相同的语义掩码，所述语义掩码的元素值为根据土地类别设定的变化系数，包括：

建立所述土地类别数据所在的地理空间坐标系与所述双光谱全景图所在的坐标空间之间的映射关系；

基于所述映射关系将所述土地类别数据中的地块属性标签投影至所述双光谱全景图的对应像素点位，生成各像素点包括地类标签的初始掩码；

根据预设的地块管控等级与权重映射规则，将所述初始掩码中的地类标签转换为表示地块变化敏感程度的归一化权重数值，作为所述变化系数填充至对应像素点，生成所述语义掩码。

6.根据权利要求1所述的方法，其特征在于，所述将从所述双光谱全景图提取的红外特征矩阵与所述概率矩阵逐元素点乘得到第一矩阵，将从所述双光谱全景图提取的可见光特征矩阵与所述概率矩阵、所述语义掩码进行乘积运算得到第二矩阵，包括：

利用预设的边缘检测算子分别对所述双光谱全景图中的可见光图像层和红外图像层执行空间特征提取处理，通过识别所述可见光图像层中每个像素区域的边缘分布及色彩分布信息生成所述可见光特征矩阵，并通过提取所述红外图像层中每个像素区域的热能辐射亮度分布信息生成所述红外特征矩阵；

将所述概率矩阵中每个坐标位置点的风险概率值与所述语义掩码中对应坐标位置点的变化系数进行对应像素点位的乘法运算，得到风险权重矩阵；

将所述红外特征矩阵中每个通道的特征数值与所述概率矩阵中对应坐标位置的数值进行乘积运算，得到所述第一矩阵；

将所述可见光特征矩阵中每个通道的特征数值与所述风险权重矩阵中对应坐标位置的数值进行乘积运算，得到所述第二矩阵。

7.根据权利要求1所述的方法，其特征在于，所述强度阈值根据历史监测周期的差强分布图中的像素值统计分布中的预设百分位数的数值确定；

所述计算所述第一矩阵和所述第二矩阵与历史时期的历史第一矩阵和历史第二矩阵间的像素差值得到差强分布图，包括：

将当前监测周期的所述第一矩阵与所述历史时期的所述历史第一矩阵进行空间位置映射对齐，并对映射对齐后的像素点的数值进行减法运算，得到第一像素差值矩阵；

将当前监测周期的所述第二矩阵与所述历史时期的所述历史第二矩阵进行空间位置映射对齐，并对映射对齐后的像素点的数值进行减法运算，得到第二像素差值矩阵；

分别提取所述第一像素差值矩阵与所述第二像素差值矩阵在相同像素坐标下的数值，并利用基于监测需求预设的权重比例进行加权求和，得到所述差强分布图。

8.一种基于视频影像的全景融合与AI变化监测系统，其特征在于，包括：

获取模块，用于获取目标区域的路网矢量数据、土地类别数据和地块违规记录，云台摄像机采集的目标区域的可见光视频和红外视频，以及云台摄像机的姿态数据；

生成模块，用于利用所述姿态数据分别对所述可见光视频和所述红外视频进行像素坐标重采样后，分别进行特征点匹配与图像融合生成双光谱全景图；

生成模块，还用于基于所述路网矢量数据构建以地块为节点以道路为边的拓扑图，将所述地块违规记录关联至对应节点，将所述拓扑图输入至训练好的时空图神经网络输出节点的风险概率值，并将所述风险概率值映射至所述双光谱全景图生成概率矩阵；

生成模块，还用于根据所述土地类别数据，通过投影变换生成与所述双光谱全景图分辨率相同的语义掩码，所述语义掩码的元素值为根据土地类别设定的变化系数；

运算模块，用于将从所述双光谱全景图提取的红外特征矩阵与所述概率矩阵逐元素点乘得到第一矩阵，将从所述双光谱全景图提取的可见光特征矩阵与所述概率矩阵、所述语义掩码进行乘积运算得到第二矩阵；

确定模块，用于计算所述第一矩阵和所述第二矩阵与历史时期的历史第一矩阵和历史第二矩阵间的像素差值得到差强分布图，并将所述差强分布图中像素值大于预设强度阈值的像素集合确定为目标变化区域。

9.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的基于视频影像的全景融合与AI变化监测方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时能够实现如权利要求1至7中任一项所述的基于视频影像的全景融合与AI变化监测方法。