CN115222595A - 一种机场大范围环境下的多平台多视角图像拼接方法 - Google Patents

一种机场大范围环境下的多平台多视角图像拼接方法 Download PDF

Info

Publication number
CN115222595A
CN115222595A CN202210781788.9A CN202210781788A CN115222595A CN 115222595 A CN115222595 A CN 115222595A CN 202210781788 A CN202210781788 A CN 202210781788A CN 115222595 A CN115222595 A CN 115222595A
Authority
CN
China
Prior art keywords
airport
image
reconstruction
splicing
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210781788.9A
Other languages
English (en)
Inventor
罗晓燕
蔡开泉
卢京泽
王雅民
常宇
张磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202210781788.9A priority Critical patent/CN115222595A/zh
Publication of CN115222595A publication Critical patent/CN115222595A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种机场大范围环境下的多平台多视角图像拼接方法。首先利用图像生成对抗思想对机场遥感图像进行处理，生成机场的边缘结构框架图。然后在边缘结构框架图的引导之下，通过建立多视角图像对齐网络和重建网络实现机场多视角多平台图像的对齐和重建，最终得到基于机场大范围下的图像拼接图。通过多级约束有效提高特征提取与表达能力，并且结合深度学习方式训练出一种精确的图像重建拼接模型用于对机场塔楼摄像头拍摄到多视角图片，可以有效地提高拼接准确度，在监视机场实时动态、预估机场内安全隐患等应用中都具有重大意义。

Description

一种机场大范围环境下的多平台多视角图像拼接方法
技术领域
本发明提供了一种机场大范围环境下的多平台多视角图像拼接方法。通过利用图像生成对抗思想对机场遥感图像进行处理，生成机场的边缘结构框架图，在边缘结构框架图的引导下，通过建立多视角图像变形网络和重建网络实现机场多视角多平台图像的变形和重建，最终得到基于机场大范围下的图像拼接图。在机场监视下的安全检测、数据收集分析等应用中都具有重大意义，属于航空监视领域。
背景技术
随着计算机视觉的发展，图像处理得到了广泛的应用，然而很多场景下都存在着图像拼接存在重影、伪影等问题，这大大的限制了检测技术的发展空间。
另外，随着经济水平提高，航空运输载客航班也越来越多，对机场的调度安排也逐渐成为了管理监视机场信息动态的重点。由于机场塔楼的地理优势，其较高的地势能够有效地将视角覆盖到整个机场，安装合适分辨率的机场摄像头，便可以实时监测机场内的人员、车辆、航班动向，为机场的实时调度和安全预警提供了有力保障。
但是，对于同一个目标，几个机场摄像头拍摄到的图片可能只有该目标的物体一部分，为了获得目标的完整信息，避免一些可能发生的危险事故，则就需要对机场塔楼图像进行拼接处理。然而传统的图像拼接方法如SIFT等在处理机场这类大面积、低重合度的图像时会出现重影、拼接痕迹过于明显、拼接效果不佳，图像畸变严重等问题。因此，提出一种机场大范围环境下的多平台多视角图像拼接方法就显得十分重要。
发明内容
机场塔楼摄像头在工作时能拍摄到整个机场不同视角下的照片，但由于其视角不同导致很多场景下的图像拼接都存在着存在重影、伪影等问题。通过对多视角图像进行多方面约束，并对特定部分进行像素级重建，可以有效地提高拼接准确度。针对上述问题，本发明提供了一种机场大范围环境下的多平台多视角图像拼接方法。通过多级约束提高特征提取精度和拼接准确度的深度学习方式训练出一种图像重建拼接模型用于对机场塔楼摄像头拍摄到多视角图片，可以有效地提高拼接准确度，在监视机场实时动态、预估机场内安全隐患等应用中都具有重大意义。本发明首先利用边缘特征提取的方式对机场遥感图像进行处理，生成机场的边缘结构框架图，在边缘结构框架图的引导之下，通过建立多视角图像变形网络和重建网络实现机场多视角多平台图像的变形和重建，最终得到基于机场大范围下的图像拼接全景图。
本发明提供一种机场大范围环境下的多平台多视角图像拼接方法，包括：
采集机场多视角图片。通过机场塔楼监控获取多视角下的待拼接场景图。
由机场GIS图像获得框架图。对从机场得到的自身遥感图像进行处理，得到机场大致框架图。
图像粗对齐。以获得的框架图作为约束，对机场原始图像进行旋转、平移、翻转等操作，对原始图像进行变换，得到更新后的数据集。
图像拼接重建。搭建神经网络，粗对齐好后的每个视角下的机场图像进行处理消除伪影，通过引入约束让提高图像与真实图像的相似度，再对处理好的图像解码、重建得到像素级的拼接图。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明中训练检测网络模型流程图；
图2为本发明中机场大范围环境下的多平台多视角图像拼接方法工作流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种机场多平台多视角机场大范围下的图像拼接方法。通过深度学习训练出一种图像重建拼接模型用于对机场塔楼摄像头拍摄到多视角图片，可以有效地提高检测准确度，在监视机场实时动态、预估机场内安全隐患等应用中都具有重大意义。
首先，需要通过将数据集放入网络中进行训练，迭代一定次数后在进行测试与使用，具体流程如图1所示，包括：
S101：采集机场多视角图片。通过机场塔楼监控获取多视角下的待拼接场景图。
S102：使用图像生成对抗的思想对机场卫星遥感图像进行图像生成，得到机场大体框架图，并作为后续图像重建拼接的主干和约束保存。
S103：以S102中得到的机场框架结构图作为约束，对所有原始图像进行特征提取，得到相对应的单应性矩阵，利用该矩阵之间的关系对两相似度较高的图像进行变形处理；
S104：对从S103中处理过的机场图像数据集进行低分辨率下的采样，通过滤波、编码、编解码重建与分析图像以消除伪影，从而得到高质量的拼接结果。
具体的，在S101中，通过安装在机场塔楼上的摄像头可以拍摄到整个机场不同视角下的视频，且各个视角各个机位的图像间存在重叠区域，可以储存下来以便分析处理，以得到机场图像数据库。
具体的，在S102中，使用条件生成对抗网络CGAN对机场卫星遥感图像进行图像生成。作为后续图像重建拼接的条件保存。
具体的，在S103中，以S102中得到的机场框架结构图作为约束，对所有原始图像进行特征提取，得到相对应的单应性矩阵；
具体的，在利用机场框架结构图引导特征提取过程中，设R为最终得到的特征点构成的集合，C为机场框架结构图中特征点构成的集合，G为通过一般方式得到的机场摄像头图像提取的特征点构成的集合，那么显然为保证得到的最终结果准确，最好满足R＝C∩G，同时若设Δs(x,y)代表原始图和框架图中x,y两点相对于标准点之间的像素间距，代表其之间的像素特征差异，通过建立函数L(x1,x2)＝ω1·Δs(x1,x2)+ω2·Δp(x1,x2)，可以衡量每一对特征点之间的差异度，同时可以作为反馈结果继续指导特征点集合的选择，最终通过使该值最小化的方式得到精确度较高的特征点。
然后，利用该矩阵之间的关系对两相似度类似的图像进行扭曲处理，变形；
设定逆时针旋转角度为θ，旋转前某个训练样本上的某点A坐标为(x0,y0)，旋转后该点A的坐标为(x1,y1)，则有
x1＝x0cosθ-y0sinθ
y1＝x0sinθ+y0cosθ
最后，对旋转变换后的各个训练样本进行翻转处理，构成新的训练集。
具体的，在S104中，对从S103中处理过的机场图像数据集进行低分辨率下的采样，通过设计卷积层进行滤波与编码，然后设计编解码网络重建与分析图像，学习图像拼接过程中图像变形的逻辑和方式以最大程度上消除伪影，以得到高质量的拼接结果。
在重建网络中，引入约束引导重建过程，主要分为内容约束和缝隙约束，通过引入参数LContent和LSeam衡量内容约束和缝隙约束与真值图像之间的差异，而用LC,S＝ω1LContent+ω2LSeam作为总的损失函数，从而通过使该值最小化的方式让最终的变形结果在图像的特征和像素值上接近于真值，此时将机场GIS图像以及生成好的机场框架图像一起作为约束，最终解码恢复非重叠区域，实现由特征向像素的过渡，最终重建出完整的机场全景拼接图。
通过以上步骤，可以训练出所需的机场塔楼多视角下的图像拼接模型，在实际应用中，利用该模型对采集到的目标物体图像进行拼接，可得到机场全景拼接图。
实际应用中的具体实施流程如图2所示，具体为：
S101:采集机场多视角图片。通过机场塔楼监控获取多视角下的待拼接场景图。
S102:使用图像生成对抗的思想对机场卫星遥感图像进行图像生成，得到机场大体框架图，并作为后续图像重建拼接的主干和约束保存。
S103：以S102中得到的机场框架结构图作为约束，对所有原始图像进行特征提取，得到相对应的单应性矩阵；
具体的，在利用机场框架结构图引导特征提取过程中，设R为最终得到的特征点构成的集合，C为机场框架结构图中特征点构成的集合，G为通过一般方式得到的机场摄像头图像提取的特征点构成的集合，那么显然为保证得到的最终结果准确，最好满足R＝C∩G，同时若设Δs(x,y)代表原始图和框架图中x,y两点相对于标准点之间的像素间距，代表其之间的像素特征差异，通过建立函数L(x1,x2)＝ω1·Δs(x1,x2)+ω2·Δp(x1,x2)，可以衡量每一对特征点之间的差异度，同时可以作为反馈结果继续指导特征点集合的选择，最终通过min L(x1,x2)的方式得到精确度较高的特征点。
然后，利用该矩阵之间的关系对两相似度类似的图像进行扭曲处理，变形；
设定逆时针旋转角度为θ，旋转前某个训练样本上的某点A坐标为(x0,y0)，旋转后该点A的坐标为(x1,y1)，则有
x1＝xxcosθ-y0sinθ
y1＝x0sinθ+y0cosθ
最后，对旋转变换后的各个训练样本进行翻转处理，构成新的训练集。
S104:对从S103中处理过的机场图像数据集进行低分辨率下的采样，通过设计卷积层进行滤波与编码，然后设计反卷积层重建与分析图像，学习图像拼接过程中图像变形的逻辑和方式以最大程度上消除伪影，以得到高质量的拼接结果。
在重建网络中，引入约束引导重建过程，主要分为内容约束和缝隙约束，通过引入参数LContent和LSeam衡量内容约束和缝隙约束与真值图像之间的差异，而用LC,S＝ω1LContent+ω2LSeam作为总的损失函数，从而通过使该值最小化的方式让最终的变形结果在图像的特征和像素值上接近于真值，此时将机场GIS图像以及生成好的机场框架图像一起作为约束，最终解码恢复非重叠区域，实现由特征向像素的过渡，最终重建出完整的机场全景拼接图。
通过以上步骤，可以训练出所需的机场塔楼多视角下的图像拼接模型，在实际应用中，利用该模型对采集到的目标物体图像进行拼接，可得到机场全景拼接图。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (2)

1.机场大范围环境下的多平台多视角图像拼接方法，其特征在于，首先由机场遥感图像获得全局框架图；其次采集机场多视角图片，通过机场塔楼监控获取多视角下的场景图，各个机位视角下的图像间存在一定的重叠区域，通过重叠区域中的关键特征点为后续图像拼接提供参考信息；其次通过提取特征计算单应性矩阵，并以此作为图像变形、翻转的依据，做到图像的预对齐，提升后续重建过程中的速度和准确度。以获得的框架图作为约束，提取各个视角下的机场图像特征，预测各个特征的单应性，得到相对应的单应性矩阵；然后，利用该矩阵之间的关系对两相似度类似的图像进行旋转、平移、翻转等操作，变形构成新的训练集。
2.机场大范围环境下的多平台多视角图像拼接方法，其特征在于，对变形处理过的机场图像进行下采样得到低分辨率图像，再通过设计卷积层进行滤波与编码，将获取的框架图以及GIS图像一起作为约束，利用掩膜进行对内容和边界上的约束，设计反卷积层重建与分析图像，通过这种方式让神经网络逐渐由特征层面的重建过渡到像素层面上的重建，在区域纹理保持的过程中逐步融合边缘区域从而重构出全景，最终得到像素级的机场全景拼接图。
CN202210781788.9A 2022-07-04 2022-07-04 一种机场大范围环境下的多平台多视角图像拼接方法 Pending CN115222595A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210781788.9A CN115222595A (zh) 2022-07-04 2022-07-04 一种机场大范围环境下的多平台多视角图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210781788.9A CN115222595A (zh) 2022-07-04 2022-07-04 一种机场大范围环境下的多平台多视角图像拼接方法

Publications (1)

Publication Number Publication Date
CN115222595A true CN115222595A (zh) 2022-10-21

Family

ID=83608961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210781788.9A Pending CN115222595A (zh) 2022-07-04 2022-07-04 一种机场大范围环境下的多平台多视角图像拼接方法

Country Status (1)

Country Link
CN (1) CN115222595A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315152A (zh) * 2023-09-27 2023-12-29 杭州一隅千象科技有限公司 双目立体成像方法及其系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315152A (zh) * 2023-09-27 2023-12-29 杭州一隅千象科技有限公司 双目立体成像方法及其系统
CN117315152B (zh) * 2023-09-27 2024-03-29 杭州一隅千象科技有限公司 双目立体成像方法及其系统

Similar Documents

Publication Publication Date Title
Rivadeneira et al. Thermal Image Super-resolution: A Novel Architecture and Dataset.
CN111862126A (zh) 深度学习与几何算法结合的非合作目标相对位姿估计方法
Wu et al. Densely pyramidal residual network for UAV-based railway images dehazing
CN112258436B (zh) 图像处理模型的训练方法、装置、图像处理方法及模型
WO2023082453A1 (zh) 一种图像处理方法及装置
CN114973028A (zh) 一种航拍视频图像实时变化检测方法及系统
CN116935214A (zh) 一种卫星多源遥感数据的时空谱融合方法
CN115222595A (zh) 一种机场大范围环境下的多平台多视角图像拼接方法
Xia et al. Cloud removal of optical remote sensing imagery with multitemporal SAR-optical data using X-Mtgan
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
Feng et al. A lightweight collective-attention network for change detection
Guo et al. Stereo cross-attention network for unregistered hyperspectral and multispectral image fusion
CN117994295A (zh) 一种基于时空约束的跨相机轨迹拼接方法
CN117745709A (zh) 一种铁路异物侵限检测方法、系统、设备及介质
Guan et al. Improved RefineDNet algorithm for precise environmental perception of autonomous earthmoving machinery under haze and fugitive dust conditions
Zhuang et al. Dimensional transformation mixer for ultra-high-definition industrial camera dehazing
CN111127355A (zh) 一种对缺损光流图进行精细补全的方法及其应用
Zhang et al. SwinVI: 3D Swin Transformer Model with U-net for Video Inpainting
Jin et al. RFE-VCR: Reference-enhanced transformer for remote sensing video cloud removal
CN117078564B (zh) 视频会议画面的智能生成方法及其系统
CN113269865B (zh) 隧道掌子面地下水出水特征智能识别方法及地下水状态分级方法
Wang et al. Geometric-aware calibration mechanism for self-supervised depth estimation
Shi et al. An Image Raindrop Removal Method Based on Squeeze-Excitation and Residual Fusion
Tian et al. DrivingForward: Feed-forward 3D Gaussian Splatting for Driving Scene Reconstruction from Flexible Surround-view Input
CN116309043A (zh) 一种基于块扫描的图像超分辨率方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination