CN115909183B - 一种燃气输送外部环境监测系统与监测方法 - Google Patents

Abstract

本发明提供了一种燃气输送外部环境监测系统与监测方法，解决现有采集视频判别过程缺乏自动化识别的的技术问题。方法包括：沿无人机飞行方向进行地面物体的同步视频采集形成正面视频和背面视频；利用目标检测模型确定正面视频和背面视频每帧图像中的可识别目标；根据正面视频和背面视频中可识别目标的图像特征比较，确定可识别目标的完整图像序列；根据完整图像序列建立可识别目标在路由界限内的立体模型；根据立体模型的变化趋势对可识别目标进行潜在威胁评估。形成时序性自动进行潜在威胁评估。充分发挥无人机巡线的效率优势，较好地释放了人力资源，提升了对燃气输送外部环境中潜在威胁评估的时效性和准确性。

Description

一种燃气输送外部环境监测系统与监测方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种燃气输送外部环境监测系统与监测方法。

背景技术

燃气输送管路埋设、架设的路由途径上环境复杂，容易出现异物随机意外侵入路由界限形成对管路的潜在危害。现有技术中，通常采用先泄漏后检测的方式对燃气输送外部环境进行监测，对于潜在危害缺乏预先评估、持续监测的技术手段。现有技术中，采用无人机对路由途径上路路由界限内进行周期性巡线观察，往往需要对路由界限内的物体进行人工识别和判别，受无人机速度和高度影响，对采集视频中的潜在危害判别需要消耗大量人力资源，且准确率无法保证。现有技术中，存在目标检测技术，通过前期数据集训练形成二维图像的目标检测模型，较准确地确定可识别目标。

发明内容

鉴于上述问题，本发明实施例提供一种燃气输送外部环境监测系统与监测方法，解决现有采集视频判别过程缺乏自动化识别的的技术问题。

本发明实施例的燃气输送外部环境监测系统，包括无人机，所述无人机包括：

下视前置摄像头，用于在无人机体下方形成前方下视视角，进行视角内物体的正面的图像采集；

下视后置摄像头，用于在无人机体下方形成后方下视视角，进行视角内物体背面的图像采集；

视角重叠区域，用于通过下视前置摄像头和下视后置摄像头的重叠视角形成。

本发明实施例的燃气输送外部环境监测方法，包括：

沿无人机飞行方向进行地面物体的同步视频采集形成正面视频和背面视频；

利用目标检测模型确定正面视频和背面视频每帧图像中的可识别目标；

根据正面视频和背面视频中可识别目标的图像特征比较，确定可识别目标的完整图像序列；

根据完整图像序列建立可识别目标在路由界限内的立体模型；

根据立体模型的变化趋势对可识别目标进行潜在威胁评估。

本发明一实施例中，所述形成正面视频和背面视频包括：

通过下视前置摄像头形成正面视频，同步通过下视后置摄像头形成背面视频，赋予正面视频帧和背面视频帧的成像坐标信息和成像时间信息；

获取视角重叠区域的相似图像，形成相似图像间的量化差异；

根据成像坐标信息和时间信息建立正面视频帧、背面视频帧、相似图像和量化差异的映射关联数据。

本发明一实施例中，所述确定可识别目标的完整图像序列包括：

从正面视频或背面视频中选取一个可识别目标，沿视频时间轴逐帧读取该可识别目标，确定包括可识别目标的视频帧；

在包括可识别目标的视频帧中，根据映射关联数据确定可识别目标在相似图像中差异最小的临空视频帧，根据临空视频帧的成像时间信息和成像坐标信息，建立可识别目标的图像序列基准；

根据图像序列基准在正面视频和背面视频中连续逐帧选择包括可识别目标的视频帧，根据时序性建立可识别目标的完整图像序列；

遍历可识别目标，逐一建立完整图像序列。

本发明一实施例中，所述根据完整图像序列建立可识别目标在路由界限内的立体模型包括：

顺序获取可识别目标在对应完整图像序列中每个图像中的轮廓图形；

通过轮廓图形的位置修正和仿射变换形成轮廓图形的顺序序列；

根据顺序序列进行轮廓图形拟合形成可识别目标的立体模型；

根据对应完整图像序列中的位置信息确定立体模型在燃气管路路由界限的坐标空间内的坐落状态。

本发明一实施例中，所述根据立体模型的变化趋势对可识别目标进行潜在威胁评估包括：

根据时序性建立每次外部环境监测周期的可识别目标的坐落状态；

根据可识别目标的图像特征对比确定外部环境监测周期间的相同可识别目标；

根据相同可识别目标在不同外部环境监测周期中的坐落状态进行每个可识别目标的潜在威胁评估；

形成可视化界面，建立外部环境监测周期中可识别目标的立体模型的变化趋势展示，并在各外部环境监测周期中建立可识别目标时序性索引，根据人机交互指令激活可识别目标的顺序视频展示。

本发明实施例的燃气输送外部环境监测系统，包括：

存储器，用于存储如上述的燃气输送外部环境监测方法处理步骤对应的程序代码；

处理器，用于执行所述程序代码。

本发明一实施例中，无人机构成的终端部署视频采集过程对应的程序代码；

计算资源与存储资源构成的集中服务端部署目标检测过程、完整图像序列形成过程、立体模型形成过程和潜在威胁评估对应的程序代码。

本发明实施例的燃气输送外部环境监测系统，包括：

视频采集同步装置，用于沿无人机飞行方向进行地面物体的同步视频采集形成正面视频和背面视频；

目标数据识别装置，用于利用目标检测模型确定正面视频和背面视频每帧图像中的可识别目标；

目标图像序列装置，用于根据正面视频和背面视频中可识别目标的图像特征比较，确定可识别目标的完整图像序列；

目标模型建立装置，用于根据完整图像序列建立可识别目标在路由界限内的立体模型；

潜在威胁评估装置，用于根据立体模型的变化趋势对可识别目标进行潜在威胁评估。

本发明实施例的燃气输送外部环境监测系统与监测方法将目标检测技术、图像建模技术与无人机视频采集结构相结合构成地面物体的立体构型并根据时序性自动进行潜在威胁评估。充分发挥无人机巡线的效率优势，较好地释放了人力资源，提升了对燃气输送外部环境中潜在威胁评估的时效性和准确性。

附图说明

图1所示为本发明一实施例燃气输送外部环境监测系统中无人机镜头布设的架构示意图。

图2所示为本发明一实施例燃气输送外部环境监测方法的流程示意图。

图3所示为本发明一实施例燃气输送外部环境监测方法中视频采集的流程示意图。

图4所示为本发明一实施例燃气输送外部环境监测方法中形成可识别目标的完整图像序列的流程示意图。

图5所示为本发明一实施例燃气输送外部环境监测方法中形成立体模型的流程示意图。

图6所示为本发明一实施例燃气输送外部环境监测方法中进行潜在威胁评估的流程示意图

图7所示为本发明一实施例燃气输送外部环境监测系统的架构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明白，以下结合附图及具体实施方式对本发明作进一步说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明一实施例燃气输送外部环境监测系统中无人机镜头布设如图1所示。在图1中，本发明实施例包括：

下视前置摄像头010，用于在无人机体下方形成前方下视视角，进行视角内物体的正面的图像采集。

摄像头的视角沿飞行方向进行视角角度规划。沿飞行方向进行视频采集获得的是飞行路线上(覆盖燃气管路路由界限的)地面背景和物体朝向摄像头的，前部图像是逐渐接近物体，且逐渐飞跃至物体顶部的图像。

下视后置摄像头020，用于在无人机体下方形成后方下视视角，进行视角内物体背面的图像采集。

摄像头的视角规划考虑沿飞行方向进行的视角角度规划。沿飞行方向进行视频采集获得的是飞行路线上(覆盖燃气管路路由界限内的)地面背景和物体朝向摄像头的背部图像。背部图像是逐渐远离物体，且逐渐由物体顶部飞离物体背部的图像。

视角重叠区域030，用于通过下视前置摄像头010和下视后置摄像头020的重叠视角形成。在重叠区域030内，在无人机保持确定高度的基础上，下视前置摄像头010和下视后置摄像头020对重叠区域030内的物体进行小角度差异的并行图像采集，形成的采集图像差异最小，无采集时间间隔。

在视角重叠区域030内且在相同时间节点上，并行采集的图像中包括地面相同物体的最小采集差异的局部图像，近于相同的图像。

本发明实施例燃气输送外部环境监测系统中进行图像采集的的无人机镜头布设结构可以获得地面物体(在无人机飞行方向上的)完整图像特征。利用视角重叠区域的并行图像的比对，可以确定无人机与地面物体的临空状态(即无人机位于确定物体顶部上方或地面背景确定位置)，确定地面物体前部和背部的图像采集分界，为燃气输送外部环境监测过程中地面物体图像数据的融合提供数据处理基准。

本发明一实施例燃气输送外部环境监测方法如图2所示。在图2中，本发明实施例包括：

步骤100：沿无人机飞行方向进行地面物体的同步视频采集形成正面视频和背面视频。

无人机飞行方向覆盖燃气管路路由界限范围，无人机采用自动路由规划，可以根据预设坐标与自身定位设备获取的坐标比对，维持固定的飞行路线，飞行路线的偏差利用机载导航设备纠偏可以保持在可接受程度，无人机沿覆盖燃气管路路由界限的飞行路线定期飞行。在确定高度和速度后，利用摄像头的光学防抖技术可以获得覆盖燃气管路的稳定视频采集。通过无人机自身定位设备的航行定位数据可以建立视频帧建立时的地理坐标关联。在正面视频(或背面视频)中，随着无人机与地面物体的正面距离(或背面距离)变化，在无人机高度基本保持不变的基础上，地面物体在视频帧中的成像是地面物体在摄像头传感器上的投影，随距离逐渐变化。视频帧率通常在24-120Hz，可以认为相邻视频帧中同一地面物体投影成像的轮廓变化梯度属于平滑过渡。当在路由界限内出现海拔起伏导致与无人机间距发生改变时，相邻视频帧中投影成像的面积变形梯度也属于平滑过渡。当无人机飞行方向为到达目的地后向出发点的反向归途飞行时，可以通过地理坐标关联形成视频帧地理位置的维度关联。每一次折返飞行形成一次外部环境监测周期，各外部环境监测周期间通过地理位置的维度关联建立不同外部环境监测周期间视频帧的关联。

步骤200：利用目标检测模型确定正面视频和背面视频每帧图像中的可识别目标。

本领域技术人员可以理解，目标检测模型采用成熟图像识别技术，例如CenterNet网络、YOLOv2网络、RetinaNet网络等。通过训练数据集可以根据目标标注完成对应初始模型的参数优化和固定，使目标检测模型满足目标检测精度需求。目标检测精度包括但不限于目标类型、目标尺寸等。

步骤300：根据正面视频和背面视频中可识别目标的图像特征比较，确定可识别目标的完整图像序列。

通过目标检测模型获得的可识别目标具有视频帧中该目标的相对位置确定图像特征，例如目标颜色、目标纹理、目标图案和目标轮廓等，可以通过矢量或向量量化形成可量化比较的图像特征图谱。每个可识别目标在正面视频和背面视频中可通过图像特征比较归一，避免出现同一地面物体形成两个可识别目标。图像特征比较归一过程利用了当无人机在地面物体临空时可以获取图像特征相差最小的正面视频帧和背面视频帧，根据这两帧的同步成像时间可以确定与可识别目标相关的正面视频帧序列和背面视频帧序列，并提取各视频帧中可识别目标的图像特征，形成可识别目标的完整图像序列。可识别目标的图像特征通常是指在视频帧中确定的可识别目标范围(例如矩形框)内的图像特征、视频帧成像时坐标、可识别目标范围的相对位置等。

步骤400：根据完整图像序列建立可识别目标在路由界限内的立体模型。

可识别目标的连续轮廓通过完整图像序列逐帧体现，通过通用图像处理技术例如二值化、OpenCV等手段可以提取每帧中可识别目标的轮廓。在一种理想状态下，保持无人机的稳定速度和稳定高度，可识别目标的连续轮廓可以等效为可识别目标在摄像头传感器上投影的连续轮廓。根据摄像头各帧成像坐标和摄像头在可识别目标临空时的成像坐标可以获得距离信息，根据无人机高度信息和距离信息可以获得投影角度信息。通过简单坐标空间转换连续轮廓可以拟合可识别目标的立体模型。利用视频采集时的坐标位置，对可识别目标偏移进行量化可以形成立体模型的局部相对位置校正，进而形成每次无人机巡线形成的立体模型的偏差校正基准，进而构成同一可识别目标的立体模型，形成各外部环境监测周期间不同立体模型状态变化对比基础。

步骤500：根据立体模型的变化趋势对可识别目标进行潜在威胁评估。

通过对各外部环境监测周期间立体模型的位置和形状的时序性变化进行记录和对比，可以对路由界限内所有可识别目标自动进行潜在威胁评估。根据预置威胁评估模型，可以快速过滤合理正常经过的地面物体，可以判断确定地面目标的滞留时长和滞留期间的形态变化。根据威胁评估模型进而形成潜在威胁评估。进一步与其他现有检测监测手段结合，快速进行潜在威胁现场的详细评估。

实际应用中，目标检测技术用于无人机采集的监测视频确定地面的可识别目标，通过无人机视频采集结构形成的视频帧与目标定位的关联性确定可识别目标的综合图像特征，进而通过综合图像特征提取建模信息形成可识别目标立体轮廓，通过监测视频帧的坐标特征确定可识别目标的相对位置，通过立体轮廓确定可识别目标的形态变化和威胁评估。将无人机图像采集结构与地面目标识别技术相结合，建立地面路由界限内侵入目标和地形变化的自动识别过程。

本发明实施例的燃气输送外部环境监测方法，将目标检测技术、图像建模技术与无人机视频采集结构相结合构成地面物体的立体构型并根据时序性自动进行潜在威胁评估。充分发挥无人机巡线的效率优势，较好地释放了人力资源，提升了对燃气输送外部环境中潜在威胁评估的时效性和准确性。

本发明一实施例燃气输送外部环境监测方法中视频采集如图3所示。在图3中，步骤100包括：

步骤110：通过下视前置摄像头形成正面视频，同步通过下视后置摄像头形成背面视频，赋予正面视频帧和背面视频帧的成像坐标信息和成像时间信息。

步骤120：获取视角重叠区域的相似图像，形成相似图像间的量化差异。

量化差异可以采用矢量或向量形式逐像素量化，或采用图像特征图的形式量化保存。量化差异可以反映两个相似图像中的主要部分的相似度，包括但不限于形状、纹理、图案等的相似度，还包括相似形状、纹理、图案等的角度差异和变形差异等。理想情况下，当无人机位于一个物体的正上方时，相似图像间只存在镜像差异。

步骤130：根据成像坐标信息和时间信息建立正面视频帧、背面视频帧、相似图像和量化差异的映射关联数据。

映射关联数据形成一种索引关系，使得通过坐标和/或时间可以定位正面视频帧、背面视频帧、相似图像和量化差异。

在本发明一实施例中，步骤200中，目标检测获得的可识别目标为视频帧中的确定范围，确定范围内与可识别目标对应的图像特征可以采用矢量或向量形式逐像素量化，或采用图像特征图的形式量化保存。可识别目标的附加信息包括但不限于确定范围在视频帧中的相对坐标范围、视频帧形成时的物理坐标、视频帧形成时的设定高度、可识别目标的基本类型和视频帧形成时的物理坐标与规划线路坐标的偏移量等。

本发明一实施例燃气输送外部环境监测方法中形成可识别目标的完整图像序列如图4所示。在图4中，步骤300包括：

步骤310：从正面视频或背面视频中选取一个可识别目标，沿视频时间轴逐帧读取该可识别目标，确定包括可识别目标的视频帧。

基于已检测到的可识别目标在一个视频中进行确定可识别目标的匹配。通常相邻帧的时间间隔有限，相邻第一帧和第二帧中同一个可识别目标的变化和图像特征更趋于相同，可以直接识别匹配为同一可识别目标。对于相邻第二帧和第三帧中确定可识别目标的匹配基于第二帧和第三帧中同一个可识别目标的直接识别。后续相邻帧中的可识别目标的匹配也是基于和前一帧的匹配。经过逐帧两两匹配可以忽略同一可识别目标在较大时序周期上的渐变差异导致读取迷失。随着无人机进发，快速移动的可识别目标会在较少的若干视频帧后消失，缓慢移动或固定的可识别目标会在较多的若干视频帧后消失。

步骤320：在包括可识别目标的视频帧中，根据映射关联数据确定可识别目标在相似图像中差异最小的临空视频帧，根据临空视频帧的成像时间信息和成像坐标信息，建立可识别目标的图像序列基准。

在包括可识别目标的视频帧中，利用正面视频帧、背面视频帧、相似图像和量化差异的映射关联数据，在视角重叠区域的相似图像(两个方向成像图像)中确定可识别目标的图像特征差异最小的那个视频帧作为临空视频帧，即无人机为可识别目标顶部上方时的成像视频帧(两个方向成像图像)。根据临空视频帧的成像时间和成像坐标建立可识别目标的图像序列基准，根据图像序列基准可以在正面视频和背面视频中确定可识别目标出现的顺序视频帧。

步骤330：根据图像序列基准在正面视频和背面视频中连续逐帧选择包括可识别目标的视频帧，根据时序性建立可识别目标的完整图像序列。

临空视频帧为无人机临空状态成像，正面视频和背面视频分别为无人机飞近和飞离时的成像。图像序列基准和根据时序性可以将相关视频帧中的可识别目标的图像内容、图像特征和附加坐标、时间等信息分离出来建立可识别目标的完整图像序列。

步骤340：遍历可识别目标，逐一建立完整图像序列。

通过遍历一个外部环境监测周期中形成的正面视频和背面视频，可以建立燃气管路路由界限(例如燃气管路两侧间距3-5米)内所有地面可识别目标的完整图像序列。

本发明一实施例燃气输送外部环境监测方法中形成立体模型如图5所示。在图5中，步骤400包括：

步骤410：顺序获取可识别目标在对应完整图像序列中每个图像中的轮廓图形。

根据视频帧率和无人机飞行速率，各视频帧可以等效为一个时间间隔的飞行长度后可识别目标在摄像头传感器上投影的轮廓。每个视频帧记录一个飞行长度后对可识别目标在一个无人机动态成像方向上的二维成像形状。通过通用图像处理技术可以从图像中确定目标边界，获得每个图像中可识别目标的轮廓图形。

步骤420：通过轮廓图形的位置修正和仿射变换形成轮廓图形的顺序序列。

以完整图像序列中可识别目标的相对位置信息和图像帧的坐标信息进行轮廓图形的相对位置平移修正，通过仿射变换获得轮廓图形再成像角度和高度的形变修正，可以降低摄像头成像过程中的图形畸变缺陷，使连续的轮廓图形形成基于同一位置基准描述可识别目标连续断面轮廓图形的数据集合。在本发明一实施例中，可以直接利用STN网络模型对输入图像进行空间变换，对输入图像进行矫正，经过STN网络模型将图片调整到标准方向，并将图片进行缩放。STN网络模型包含三个部分：输入模块，是以变换矩阵的元素作为输出的网络结构，变换矩阵可以为任意形式，例如仿射变换矩阵为一个参数为6的变换矩阵，网络结构可以是以回归层为终止的多种网络结构，可以采用全连接结构或卷积结构；仿射模块，是根据输入模块的参数，产生一个对输入模块做特定变换的规则，仿射模块同时将输入横纵坐标范围和输出横纵坐标范围归一化。由此对图像进行裁剪、平移、旋转、拉伸及扭曲变换形成输出的特征图；采集模块，在获得相应的规则和变换矩阵后，需要对原特征图进行采样从而得到新的特征图，即为变换后的图片。

步骤430：根据顺序序列进行轮廓图形拟合形成可识别目标的立体模型。

通过顺序序列对应的完整图像序列中的坐标信息和视频帧率，可以确定轮廓图形间各方向的渐变趋势以及量化间距，通过三维建模技术可以拟合出最接近的三维立体模型。

步骤440：根据对应完整图像序列中的位置信息确定立体模型在燃气管路路由界限的坐标空间内的坐落状态。

每个立体模型与可识别目标对应，可识别目标在完整图像序列中具有确定坐标范围，将可识别目标的坐标范围在燃气管路路由界限的坐标空间内映射可以获得立体模型的坐落位置和坐落方向。

本发明一实施例燃气输送外部环境监测方法中进行潜在威胁评估如图6所示。在图6中，步骤500包括：

步骤510：根据时序性建立每次外部环境监测周期的可识别目标的坐落状态。

利用燃气管路路由界限稳定性，可以进行每次外部环境监测周期中的坐标空间的修正，形成每次外部环境监测周期中的坐标空间的对齐，保证可识别目标的坐落状态的基准一致性。进而利用每次外部环境监测周期形成在不同时段内可识别目标坐落状态的数据快照(Data Snapshot)。

步骤520：根据可识别目标的图像特征对比确定外部环境监测周期间的相同可识别目标。

对不同外部环境监测周期间的可识别目标进行图像特征比较，可以采用可识别目标的图案、纹理、形状等若干维度特征进行综合比对，在相同可识别目标的确定过程中可以确定同一个可识别目标在不同外部环境监测周期间的坐标位置。

步骤530：根据相同可识别目标在不同外部环境监测周期中的坐落状态进行每个可识别目标的潜在威胁评估。

根据相同可识别目标在不同外部环境监测周期中的移动位置和移动速率确定潜在威胁物体的威胁等级，对潜在威胁物体的体量、移动速率和方向进行监测和告警。

根据相同可识别目标在不同外部环境监测周期中的形态变化确定潜在威胁物体的威胁等级，对潜在威胁物体的体量和形态变化方向进行监测和告警。可识别目标的体量可以根据立体模型进行相对量化。

步骤540：形成可视化界面，建立外部环境监测周期中可识别目标的立体模型的变化趋势展示，并在各外部环境监测周期中建立可识别目标时序性索引，根据人机交互指令激活可识别目标的顺序视频展示。

本发明一实施例燃气输送外部环境监测系统，包括：

存储器，用于存储上述燃气输送外部环境监测方法处理步骤对应的程序代码；

处理器，用于执行上述燃气输送外部环境监测方法处理步骤对应的程序代码。

处理器可以采用DSP(Digital Signal Processor)数字信号处理器、FPGA(Field-Programmable Gate Array)现场可编程门阵列、MCU(Microcontroller Unit)系统板、SoC(system on a chip)系统板或包括I/O的PLC(Programmable Logic Controller)最小系统。还可以采用云端资源。

在本发明一实施例中，形成无人机构成的终端，和计算资源与存储资源构成的集中服务端，终端部署视频采集过程对应的程序代码或功能模块；集中服务端部署目标检测过程、完整图像序列形成过程、立体模型形成过程和潜在威胁评估对应的程序代码或功能模块。本发明实施例的燃气输送外部环境监测系统形成分布采集集中处理的系统架构，可以有效适应燃气网络的复杂结构和规模。

本发明一实施例燃气输送外部环境监测系统如图7所示。在图7中，本发明实施例包括：

视频采集同步装置10，用于沿无人机飞行方向进行地面物体的同步视频采集形成正面视频和背面视频；

目标数据识别装置20，用于利用目标检测模型确定正面视频和背面视频每帧图像中的可识别目标；

目标图像序列装置30，用于根据正面视频和背面视频中可识别目标的图像特征比较，确定可识别目标的完整图像序列；

目标模型建立装置40，用于根据完整图像序列建立可识别目标在路由界限内的立体模型；

潜在威胁评估装置50，用于根据立体模型的变化趋势对可识别目标进行潜在威胁评估。

如图7所示，在本发明一实施例中，视频采集同步装置10包括：

同步采集模块11，用于通过下视前置摄像头形成正面视频，同步通过下视后置摄像头形成背面视频，赋予正面视频帧和背面视频帧的成像坐标信息和成像时间信息；

差异量化模块12，用于获取视角重叠区域的相似图像，形成相似图像间的量化差异；

数据关联模块13，用于根据成像坐标信息和时间信息建立正面视频帧、背面视频帧、相似图像和量化差异的映射关联数据。

如图7所示，在本发明一实施例中，目标图像序列装置30包括：

目标搜寻模块31，用于从正面视频或背面视频中选取一个可识别目标，沿视频时间轴逐帧读取该可识别目标，确定包括可识别目标的视频帧；

基准搜寻模块32，用于在包括可识别目标的视频帧中，根据映射关联数据确定可识别目标在相似图像中差异最小的临空视频帧，根据临空视频帧的成像时间信息和成像坐标信息，建立可识别目标的图像序列基准；

序列建立模块33，用于根据图像序列基准在正面视频和背面视频中连续逐帧选择包括可识别目标的视频帧，根据时序性建立可识别目标的完整图像序列；

目标遍历模块34，用于遍历可识别目标，逐一建立完整图像序列。

如图7所示，在本发明一实施例中，目标模型建立装置40包括：

轮廓采集模块41，用于顺序获取可识别目标在对应完整图像序列中每个图像中的轮廓图形；

轮廓对齐模块42，用于通过轮廓图形的位置修正和仿射变换形成轮廓图形的顺序序列；

轮廓拟合模块43，用于根据顺序序列进行轮廓图形拟合形成可识别目标的立体模型；

模型定位模块44，用于根据对应完整图像序列中的位置信息确定立体模型在燃气管路路由界限的坐标空间内的坐落状态。

如图7所示，在本发明一实施例中，潜在威胁评估装置50包括：

周期监测模块51，用于根据时序性建立每次外部环境监测周期的可识别目标的坐落状态；

目标对齐模块52，用于根据可识别目标的图像特征对比确定外部环境监测周期间的相同可识别目标；

威胁评估模块53，用于根据相同可识别目标在不同外部环境监测周期中的坐落状态进行每个可识别目标的潜在威胁评估；

评估可视模块54，用于形成可视化界面，建立外部环境监测周期中可识别目标的立体模型的变化趋势展示，并在各外部环境监测周期中建立可识别目标时序性索引，根据人机交互指令激活可识别目标的顺序视频展示。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (9)

1.一种燃气输送外部环境监测系统，包括无人机，其特征在于，所述无人机包括：

下视前置摄像头，用于在无人机体下方形成前方下视视角，进行视角内物体的正面的图像采集；下视前置摄像头沿飞行方向进行视角角度规划；沿飞行方向进行视频采集获得的是飞行路线上地面背景和物体朝向摄像头的前部图像，前部图像是逐渐接近物体，且逐渐飞跃至物体顶部的图像；

下视后置摄像头，用于在无人机体下方形成后方下视视角，进行视角内物体的背面的图像采集；下视后置摄像头沿飞行方向进行视角角度规划；沿飞行方向进行视频采集获得的是飞行路线上地面背景和物体朝向摄像头的背部图像；背部图像是逐渐远离物体，且逐渐由物体顶部飞离物体背部的图像；

视角重叠区域，用于通过下视前置摄像头和下视后置摄像头的重叠视角形成；利用视角重叠区域的并行图像的比对，确定无人机与地面物体的临空状态，确定地面物体前部和背部的图像采集分界，为燃气输送外部环境监测过程中地面物体图像数据的融合提供数据处理基准。

2.一种燃气输送外部环境监测方法，其特征在于，利用如权利要求1所述的无人机，包括：

沿无人机飞行方向进行地面物体的同步视频采集形成正面视频和背面视频；

利用目标检测模型确定正面视频和背面视频每帧图像中的可识别目标；

根据正面视频和背面视频中可识别目标的图像特征比较，确定可识别目标的完整图像序列；

根据完整图像序列建立可识别目标在路由界限内的立体模型；

根据立体模型的变化趋势对可识别目标进行潜在威胁评估。

3.如权利要求2所述的燃气输送外部环境监测方法，其特征在于，所述形成正面视频和背面视频包括：

通过下视前置摄像头形成正面视频，同步通过下视后置摄像头形成背面视频，赋予正面视频帧和背面视频帧的成像坐标信息和成像时间信息；

获取视角重叠区域的相似图像，形成相似图像间的量化差异；

根据成像坐标信息和时间信息建立正面视频帧、背面视频帧、相似图像和量化差异的映射关联数据。

4.如权利要求2所述的燃气输送外部环境监测方法，其特征在于，所述确定可识别目标的完整图像序列包括：

从正面视频或背面视频中选取一个可识别目标，沿视频时间轴逐帧读取该可识别目标，确定包括可识别目标的视频帧；

在包括可识别目标的视频帧中，根据映射关联数据确定可识别目标在相似图像中差异最小的临空视频帧，根据临空视频帧的成像时间信息和成像坐标信息，建立可识别目标的图像序列基准；

根据图像序列基准在正面视频和背面视频中连续逐帧选择包括可识别目标的视频帧，根据时序性建立可识别目标的完整图像序列；

遍历可识别目标，逐一建立完整图像序列。

5.如权利要求2所述的燃气输送外部环境监测方法，其特征在于，所述根据完整图像序列建立可识别目标在路由界限内的立体模型包括：

顺序获取可识别目标在对应完整图像序列中每个图像中的轮廓图形；

通过轮廓图形的位置修正和仿射变换形成轮廓图形的顺序序列；

根据顺序序列进行轮廓图形拟合形成可识别目标的立体模型；

根据对应完整图像序列中的位置信息确定立体模型在燃气管路路由界限的坐标空间内的坐落状态。

6.如权利要求2所述的燃气输送外部环境监测方法，其特征在于，所述根据立体模型的变化趋势对可识别目标进行潜在威胁评估包括：

根据时序性建立每次外部环境监测周期的可识别目标的坐落状态；

根据可识别目标的图像特征对比确定外部环境监测周期间的相同可识别目标；

根据相同可识别目标在不同外部环境监测周期中的坐落状态进行每个可识别目标的潜在威胁评估；

形成可视化界面，建立外部环境监测周期中可识别目标的立体模型的变化趋势展示，并在各外部环境监测周期中建立可识别目标时序性索引，根据人机交互指令激活可识别目标的顺序视频展示。

7.一种燃气输送外部环境监测系统，其特征在于，包括：

存储器，用于存储如权利要求2至6任一所述的燃气输送外部环境监测方法处理步骤对应的程序代码；

处理器，用于执行所述程序代码。

8.如权利要求7所述的燃气输送外部环境监测系统，其特征在于，无人机构成的终端部署视频采集过程对应的程序代码；

计算资源与存储资源构成的集中服务端部署目标检测过程、完整图像序列形成过程、立体模型形成过程和潜在威胁评估对应的程序代码。

9.一种燃气输送外部环境监测系统，其特征在于，利用如权利要求1所述的无人机，包括：

视频采集同步装置，用于沿无人机飞行方向进行地面物体的同步视频采集形成正面视频和背面视频；

目标数据识别装置，用于利用目标检测模型确定正面视频和背面视频每帧图像中的可识别目标；

目标图像序列装置，用于根据正面视频和背面视频中可识别目标的图像特征比较，确定可识别目标的完整图像序列；

目标模型建立装置，用于根据完整图像序列建立可识别目标在路由界限内的立体模型；

潜在威胁评估装置，用于根据立体模型的变化趋势对可识别目标进行潜在威胁评估。