CN111079556B - 一种多时相无人机视频图像变化区域检测及分类方法 - Google Patents

一种多时相无人机视频图像变化区域检测及分类方法 Download PDF

Info

Publication number
CN111079556B
CN111079556B CN201911167304.6A CN201911167304A CN111079556B CN 111079556 B CN111079556 B CN 111079556B CN 201911167304 A CN201911167304 A CN 201911167304A CN 111079556 B CN111079556 B CN 111079556B
Authority
CN
China
Prior art keywords
image
registration
infrared
visible light
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911167304.6A
Other languages
English (en)
Other versions
CN111079556A (zh
Inventor
吴国强
姜梁
马祥森
包文龙
孙浩惠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronic Technology Research Institute Of China Aerospace
Aerospace Times Feihong Technology Co ltd
Original Assignee
Electronic Technology Research Institute Of China Aerospace
Aerospace Times Feihong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronic Technology Research Institute Of China Aerospace, Aerospace Times Feihong Technology Co ltd filed Critical Electronic Technology Research Institute Of China Aerospace
Priority to CN201911167304.6A priority Critical patent/CN111079556B/zh
Publication of CN111079556A publication Critical patent/CN111079556A/zh
Application granted granted Critical
Publication of CN111079556B publication Critical patent/CN111079556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种多时相无人机视频图像变化区域检测及分类方法，属于图像处理计算机视觉领域。该方法具体包括以下步骤：同源图像的变化区域检测；多源图像配准和融合；变化区域分类。本发明基于无人机视频图像特点和国内现有技术在无人机视频图像变化区域检测与分类方面的缺陷，统筹算法性能和适应性，提出一种多时相无人机视频图像变化区域检测及分类方法，解决了无人机视频处理系统变侦察某目标区域地物状态变化方面的诸多问题。

Description

一种多时相无人机视频图像变化区域检测及分类方法
技术领域
本发明属于图像处理、计算机视觉领域，具体涉及一种多时相无人机视频图像变化区域检测及分类方法。
背景技术
场景中目标出现和消失，或目标区域状态的改变，均会引起不同时间成像的场景图像中产生差异，而变化检测的目的即是对这些差异进行定量分析，判断发生变化的区域，同时对变化情况进行评估。变化检测在许多领域具有重要的应用需求，比如民用领域可用于农业、国土资源监测和灾情评估等；在军事上,可用于执行毁伤效果评估、战场信息动态感知、军事目标监测等任务。无人机具有高机动性、高分辨率、隐蔽性好、操作灵活等优势，在昼夜空中侦察和战场监视领域具有广泛的应用。利用无人机搭载的视频传感器获取航拍侦察过程中的多时相视频图像，并对视频图像的地物状态变化进行检测与分析，既降低了获取视频数据的成本，又降低了人工判读变化区域的主观性和盲目性，提高了变化检测过程的时效性，具有重要的理论价值和广泛的应用前景。
多时相无人机视频图像变化区域检测及分类是指利用多个时期的覆盖同一地区的无人机视频场景图像来确定地物状态变化的技术过程，研究对象涉及变化的类型、分布状况及变化信息的描述，即确定变化前后的地物类型、界限并分析变化的属性。其中，多时相视频图像一方面为无人机执行同一次航拍侦察任务时前后某两个时刻的视频图像，另一方面也为无人机执行不同次航拍侦察任务时某两次航拍侦察的视频图像。无人机在执行某区域的侦察任务中，视频图像中的地面背景往往比较复杂，目标区域的外观在不同的时间可能存在各种差异，在图像中也大多呈不规则分布状态，给变化区域的检测带来较大困难。其次，由于无人机拍摄时间不同、拍摄角度不同、拍摄时气象条件不同导致的目标区域视频颜色、亮度和像素分布都有较大差异，采用常规的仿射或单应模型无法精确拟合图像全场的变换关系，在配准结果中存在较多的局部配准误差，导致提取的变化信息中包含过多的干扰。同时，单源传感器拍摄的图像具有一定的局限性，导致目标的误判和漏判，以光电载荷获取的可见光图像与红外图像为例，采用多源图像像素级融合技术对可见光图像变化区域与红外图像变化区域进行融合，多维度丰富图像信息，增加变化检测算法的准确性。最后，以应用决策树、支持向量机、随机森林等传统的分类器进行变化区域分类虽然能够为该问题提供解决方案，但是由于在视觉感知领域研究成果的限制，分类器设计方法中应用的人工规定的图像特征难以精确区分同类目标的变化性。同时由于分类器学习原理的限制，在训练数据超过一定数量以后，分类器精度不再随训练数据量的增加而提升，难以充分的利用丰富的图像数据资源。
综上所述，在无人机视频图像处理系统中，多时相无人机视频图像变化区域检测及分类技术目前面临以下问题：
1)无人机在执行某区域的侦察任务中，视频图像中的地面背景往往比较复杂，目标区域的外观在不同的时间可能存在各种差异，在图像中也大多呈不规则分布状态，给目标区域的检测带来较大困难；
2)无人机航拍侦察过程中，受自身航时所限，单架无人机在一次侦察飞行中获取的视频图像数据有限，需通过长航时、多架次无人机侦察飞行来获取足够数据来完成变化检测基础上短时间间隔的区域入侵检测或长时间间隔的地物状态变化分析；
3)无人机拍摄时间不同、拍摄角度不同、拍摄时气象条件不同导致的目标区域视频颜色、亮度和像素分布都有较大差异，给多时相的同源图像在同一坐标系下的精确配准带来难度；
4)受成像机理的限制，单源传感器拍摄的图像具有一定的局限性，不能完全体现图像变化区域的信息；
5)以光电载荷获取的可见光图像与红外图像为例，多源图像的图像特征有较大差异，单一特征难以完成可见光图像与红外图像在同一坐标系下的配准；
6)传统目标分类算法应用人工设计的图像特征进行训练，不能精确区分同类目标的变化性，同时由于分类器学习原理的限制，在训练数据超过一定数量以后，分类器精度不再随训练数据量的增加而提升，难以充分的利用丰富的图像数据资源。
因此，以每架无人机的光电载荷侦察为例，若是对多架无人机拍摄的可见光图像与红外图像分别进行变化区域检测，对提取的可见光图像与红外图像变化区域进行配准与融合，增加变化检测算法的准确性，最后通过设计深度模型网络结构，通过构建变化的目标区域数据集，训练深度网络权重，对变化的目标区域类型进行分类，可有效解决上述问题。
发明内容
因此，基于无人机视频图像特点和国内现有技术在无人机视频图像变化区域检测与分类方面的缺陷，统筹算法性能和适应性，提出一种多时相无人机视频图像变化区域检测及分类方法，解决了无人机视频处理系统变侦察某目标区域地物状态变化方面的诸多问题。以无人机携带光电载荷进行侦察为例，主要解决技术问题包括：
1)目标区域的外观在不同的时间可能存在各种差异和在图像中呈现的不规则分布造成目标区域的检测困难的问题；
2)无人机航拍侦察过程中，受自身航时所限，无法获取足够数据来完成变化检测基础上短时间间隔的区域入侵检测或长时间间隔的地物状态变化分析的问题；
3)无人机因拍摄时间不同、拍摄角度不同、拍摄时气象条件不同导致的目标区域视频颜色、亮度和像素分布差异较大造成的多时相的同源图像在同一坐标系下的配准误差较大的问题；
4)受光照、气候条件和成像机理的限制，无人机单源传感器拍摄的图像具有局限性，不能完全体现目标区域的信息问题；
5)多源图像的图像特征有较大差异，单一特征难以完成可见光图像与红外图像在同一坐标系下的配准的问题；
6)传统目标分类算法以人工设定的图像特征为基础进行目标分类的局限性和准确性问题。
根据本发明的多时相无人机视频图像变化区域检测及分类方法，具体包括以下步骤：
步骤1：同源图像的变化区域检测，采用同源图像配准技术完成多时相侦察图像在同一坐标系下的配准，再通过变化区域分割技术完成红外图像目标变化区域和可见光图像目标变化区域的提取；
步骤2：多源图像配准和融合，首先采用基于图像梯度互信息的配准算法对红外图像目标变化区域和可见光图像目标变化区域进行配准，然后采用自适应权重目标区域融合算法完成红外图像目标变化区域和可见光图像目标变化区域的融合；
步骤3：变化区域分类，采用变化区域分类算法设计深度模型网络结构，通过构建变化的目标区域数据集，训练深度网络权重，对变化的目标区域类型进行分类。
进一步的，所述步骤1具体包括：
步骤11：获取某个目标区域多时相的可见光侦察图像和红外侦察图像，选择两个不同时刻的该目标区域的可见光侦察图像和和对应时刻的红外侦察图像进行后续处理；
步骤12：对两张同源图像进行图像预处理；
步骤13：精确拟合图像变换关系，去除局部配准误差实现两张同源图像的精确配准；
步骤14：对两张同源图像作差，获取差值图像；
步骤15：进行特征高维变换，在高维特征空间上进行变化检测进一步提高目标变化区域与非变化区域之间的区分度；
步骤16：在高维特征空间构建像素分割全局目标函数，将所有像素节点划分为目标变化区域和非变化区域，提取可见光图像目标变化区域与红外图像目标变化区域。
进一步的，所述步骤12中，图像预处理包括目标区域裁剪、基于暗通道先验的图像去雾与灰度校正操作。
进一步的，所述步骤13中，采用基于Surf特征匹配和B样条非刚性变换模型实现精确拟合图像变换关系。
进一步的，所述步骤13具体包括：对预处理后的可见光侦察图像和红外侦察图像进行基于Surf和单应变换的图像初步配准，再通过B样条非刚性变换模型精确拟合图像变换关系，去除局部配准误差，实现两张可见光图像图像的精确配准。
进一步的，所述步骤14具体包括：采用Min-Max双向作差算法对输入的两张同源图像作差，取某时刻待检图像变化像素点与同一场景区域另一时刻待检图像的对应像素点邻域作差的极值作为图像差值，获取差值图像。
进一步的，所述步骤15中，采用慢特征分析法(SFA)对差值图像进行特征高维变换。
进一步的，所述步骤16中，采用基于图割的变化检测全局优化技术在高维特征空间构建像素分割全局目标函数。
进一步的，所述步骤2具体包括：
步骤21：对提取的可见光图像目标变化区域与红外图像目标变化区域进行基于图像梯度互信息的配准，得到可见光配准图像和红外配准图像；
步骤22：分别对可见光配准图像和红外配准图像进行傅里叶变换的得到频谱图；
步骤23：基于频谱图得到红外图像频谱残留和可见光图像频谱残留；
步骤24：对红外图像频谱残留和可见光图像频谱残留作逆傅里叶变换得到红外图像显著图和可见光图像显著图，分别计算红外配准图像的目标变化区域的像素显著值及其在可见光配准图像中的对应区域的像素显著值，同样，分别计算可见光配准图像的目标变化区域的像素显著值及其在红外配准图像中的对应区域的像素显著值；
步骤25：将红外配准图像的目标变化区域与其在可见光配准图像中的对应区域均匀分割成N块子区域；同样，将可见光配准图像的目标变化区域与其在红外配准图像中的对应区域均匀分割成N块子区域，N为大于1的正整数；
步骤26：将子区域的的像素显著值的平均值作为该子区域的融合权重，对红外配准图像和可见光配准图像对应的子区域进行线性加权得到只融合目标变化区域的融合图像。
进一步的，所述步骤23中，通过对红外配准图像频谱图幅频响应进行均值平滑，将平滑后的幅频响应与原始幅频响应作差，得到红外图像频谱残留；通过对可见光配准图像频谱图幅频响应进行均值平滑，将平滑后的幅频响应与原始幅频响应作差，得到可见光图像频谱残留。
进一步的，所述步骤26采用以下方式得到只融合目标变化区域的融合图像：
设红外配准图像的目标变化区域S(x,y)IR的子区域ΔSIR的某个像素的显著值为I(x,y)IR，则ΔSIR的显著值featureIR为S(x,y)IR内像素显著值和的平均。如下所示，其中MIR、NIR为ΔSIR的尺寸，
同理，可见光配准图像的目标变化区域S(x,y)RGB的对应子区域的某个像素的显著值为I(x,y)RGB，则ΔSRGB的显著值featureRGB为S(x,y)RGB内像素显著值和的平均，如下所示，其中MRGB、NRGB为ΔSRGB的尺寸，
则红外配准图像的该子区域的融合权重weightIR和可见光配准图像的对应子区域的融合权重weightRGB如下式所示：
weightIR＝featureIR/(featureIR+featureRGB)
weightRGB＝featureRGB/(featureIR+featureRGB)
S(x,y)fus为融合后图像，融合方式采用线性加权的方式进行，如下式所示：
S(x,y)fusion＝weightIR*S(x,y)IR+weightRGB*S(x,y)RGB。
进一步的，所述步骤3具体包括：
构建融合后的变化区域的图像数据集，对卷积神经网络模型进行训练，所述卷积神经网络模型包含五个卷积层以及两个全连接层，与初级网络相同，最后一个池化层为空间金字塔池化层，最终输出1000维的特征向量，并通过线性SVM分类器进行分类。
本发明的有益效果：
1)本发明以无人机拍摄的多时相视频图像为基础，通过引入以“图像预处理-图像配准-变化检测”为主线的变化区域提取技术，克服了不规则变化区域的精确检测问题；
2)本发明引入的多时相无人机视频图像变化区域检测及分类技术，以多帧不同时刻的目标区域图像为基础进行目标变化区域的检测与分类，克服了长时间侦察观测获取数据难、人工标注判读工作量大的问题；
3)本发明引入了基于Surf特征匹配和B样条非刚性变换模型精确拟合图像变换关系，克服了同源多时相视频图像配准时引入的局部配准误差问题；
4)本发明引入对红外图像变化区域和可见光图像变化区域的融合技术克服了受光照、气候条件和成像机理的限制，无人机单源传感器拍摄的图像局限性问题；
5)本发明引入基于梯度互信息的异源图像配准方法，有效地解决了红外图像和可见光图像的图像特征差异较大，无法进行直接配准的问题。
6)本发明引入自适应权重目标变化区域融合算法，在不对图像进行分解变换的前提下，将提取到的目标变化区域进行均匀分割，以目标变化区域的显著性为基础分别计算各分割子区域的融合权重的方式更具科学性，融合结果更具真实性。
7)本发明自主设计了一个包含五个卷积层的高级卷积神经网络进行目标变化区域的分类，克服了人工设计并提取图像特征的局限性和准确性问题。
附图说明
图1为本发明多时相无人机视频图像变化区域检测及分类技术总体流程图；
图2为本发明多时相无人机视频图像变化区域检测流程图；
图3为本发明基于图像梯度互信息的图像配准算法流程图；
图4为本发明多源图像自适应权重融合算法流程图；
图5为本发明变化区域分类算法流程图。
具体实施方式
下面结合流程图对算法实施过程中涉及的关键技术进行详细说明。
一种多时相无人机视频图像变化区域检测及分类技术，主要包含同源图像的变化区域检测、多源图像配准和融合与变化区域分类三部分内容。其中同源图像的变化区域检测部分采用同源图像配准技术完成多时相侦察图像在同一坐标系下的配准，再通过变化区域分割技术完成变化区域的提取；多源图像配准和融合部分首先采用基于图像梯度互信息的配准算法对红外图像变化区域和可见光图像变化区域进行配准，然后采用自适应权重目标区域融合算法完成红外图像变化区域和可见光图像变化区域的融合；最后，采用变化区域分类算法设计深度模型网络结构，通过构建变化的目标区域数据集，训练深度网络权重，对变化的目标区域类型进行分类。技术总体流程如图1所示。
所述同源图像的变化区域检测以“图像预处理-图像配准-变化检测”为主线，首先对多时相的两张同源视频图像进行包含目标区域裁剪、基于暗通道先验的图像去雾与灰度校正在内的图像预处理，以为更好的提取多时相图像的变化区域；其次采用基于Surf特征匹配和B样条非刚性变换模型精确拟合图像变换关系，去除局部配准误差实现两张同源图像的精确配准；其次，采用Min-Max双向作差算法对输入的两张同源图像作差，取某时刻待检图像变化像素点与同一场景区域另一时刻待检图像的对应像素点邻域作差的极值作为图像差值；然后，采用慢特征分析法(SFA)对差值图像进行特征高维变换，在高维特征空间上进行变化检测进一步提高变化与非变化区域之间的区分度；最后，采用基于图割的变化检测全局优化技术在高维特征空间构建像素分割全局目标函数，将所有像素节点划分为变化区域和非变化区域。同源图像的变化区域检测流程图如图2所示。
所述基于图像梯度互信息的配准算法以信息论中的熵的概念为基础，通过计算红外图像和可见光图像的梯度熵和联合梯度熵来得到红外图像和可见光图像的梯度互信息，当梯度互信息达到最大值时，可认为两幅图像达到最佳配准。梯度互信息综合利用图像梯度信息和异源图像互信息各自的优点，结合了图像灰度信息和空间梯度信息，可以有效降低局部极值出现的概率，消除互信息函数多局部极值的问题，提高图像配准的精确度和鲁棒性。基于图像梯度互信息的配准算法如图3所示。
所述多源图像融合算法包含基于频谱残留的图像显著值计算和基于自适应权重目标区域融合。基于频谱残留的图像显著值计算算法主要以视觉显著理论中的频谱残留模型为基础，将配准图像转换到频域得到频谱图，通过对频谱图进行一系列非线性变换，获取配准图像的显著值。基于自适应权重目标区域融合算法是从像素级融合的层次出发，将变化区域均匀分布成若干个子块区域，通过计算红外图像变化区域与可见光图像对应区域(或可见光图像变化区域与红外图像对应区域)的各子块区域融合权重，进而对红外图像变化区域与可见光图像对应区域(或可见光图像变化区域与红外图像对应区域)进行线性加权得到只融合变化区域的融合图像。其中，红外图像与可见光图像的变化目标区域融合权重可以通过计算该区域的频谱显著值来获得。多源图像融合算法流程图如图4所示。
所述变化区域分类算法在卷积神经网络模型的基础上，设计一个包含五个卷积层的高级卷积神经网络，在扩充后的数据库上进行训练，提升神经网络的泛化性，实现准确的目标分类。为解决目标尺度可变性导致的输出维度不同的问题，在典型卷积神经网络结构的基础上添加了空间金字塔池化层，使卷积神经网络对于不同尺寸的输入可以得到相同维度的输出，同时减少了同一图像上提取多个目标区域特征的运算量，提升算法的单帧运算速度。网络包含五个卷积层以及两个全连接层，与初级网络相同，最后一个池化层为空间金字塔池化层，最终输出1000维的特征向量，并通过线性SVM分类器进行分类，流程图如图5所示。
实施例
本发明采用一种多时相无人机视频图像变化区域检测及分类技术来快速完成无人机视频图像下对某侦察区域的变化检测与分类。以无人机光电载荷拍摄的可见光图像与红外图像为例，首先，采用同源图像的变化区域检测技术采完成对不规则变化区域的分割提取；然后，采用多源图像配准和融合技术完成红外图像变化区域和可见光图像变化区域的融合；最后，采用变化区域分类算法设计深度模型网络结构，通过构建变化的目标区域数据集，训练深度网络权重，对变化的目标区域类型进行分类。
算法可归纳为以下步骤：
1)获取某个目标区域多时相的可见光侦察图像和红外侦察图像，选择两个不同时刻的该目标区域的可见光侦察图像和和对应时刻的红外侦察图像进行后续处理。
2)对两张可见光图像进行包含目标区域裁剪、基于暗通道先验的图像去雾与灰度校正在内的图像预处理，以为更好的提取多时相图像的变化区域；两张可见光图像作同样的预处理。
3)对预处理后的两张可见光图像进行基于Surf和单应变换的图像初步配准，再通过B样条非刚性变换模型精确拟合图像变换关系，去除局部配准误差，实现两张可见光图像图像的精确配准；两张可见光图像作同样的预处理。
4)采用Min-Max双向作差算法对输入的两张可见光图像作差，获取差值图；两张可见光图像作同样的预处理。
5)采用慢特征分析法(SFA)对可见光差值图像进行特征高维变换，并再采用基于图割的变化检测全局优化技术在高维特征空间构建像素分割全局目标函数，将所有像素节点划分为目标变化区域和非变化区域，完成变化区域的分割提取；两张可见光图像作同样的预处理。
6)对获取的可见光图像变化区域与红外图像变化区域进行基于图像梯度互信息的配准，得到可见光配准图像和红外配准图像。
7)分别对可见光配准图像和红外配准图像进行傅里叶变换的得到频谱图。
8)对红外配准图像频谱图幅频响应进行均值平滑，将平滑后的幅频响应与原始幅频响应作差，得到红外图像频谱残留。对可见光配准图像频谱图幅频响应进行均值平滑，将平滑后的幅频响应与原始幅频响应作差，得到可见光图像频谱残留。
9)基于频谱残留逆变换获取红外配准图像显著图和可见光配准图像显著图，分别计算红外配准图像的目标变化区域的像素显著值及其在可见光配准图像中的对应区域的像素显著值，同样，分别计算可见光配准图像的目标变化区域的像素显著值及其在红外配准图像中的对应区域的像素显著值；
10)将红外配准图像的目标变化区域与其在可见光配准图像中的对应区域均匀分割成多个子区域；同样，将可见光配准图像的目标变化区域与其在红外配准图像中的对应区域均匀分割成多个子区域；
11)将子区域的的像素显著值的平均值作为该子区域的融合权重，对红外配准图像和可见光配准图像对应的子区域进行线性加权得到只融合目标变化区域的融合图像。
12)构建融合后的变化区域的图像数据集，设计卷积神经网络模型进行训练，网络包含五个卷积层以及两个全连接层，与初级网络相同，最后一个池化层为空间金字塔池化层，最终输出1000维的特征向量，并通过线性SVM分类器进行分类。
下面结合流程图对算法实施过程中涉及的关键技术进行详细说明。
1.同源图像变化区域检测
本发明提出本文提出的一种多时相无人机视频图像变化检测技术，通过对无人机所拍摄的多时相视频图像进行“预处理-配准-变化检测”等一系列处理粗提取多时相视频图像变化区域，最后再对粗提取区域进行连通域分析以实现视频图像变化区域的精提取，完成变化区域的检测，检测过程如图2所示。
1.1图像预处理
(1)图像裁剪
若图像尺寸过大，包含过多不必要的冗余部分，在预处理前需要进行图像裁剪，去除冗余信息，有针对性的对保留的感兴趣区域进行变化检测。
(2)暗通道去雾
图像去雾的目的是为了弥补无人机航拍侦察时图像采集设备因大气散射和天气原因导致的图像整体灰度偏高、对比度偏低和信噪比较低的影响，提升图像质量。带雾图像通常由如下成像模型描述：
I＝J*t+A*(1-t) (1)
其中I为实际拍摄的图像，J为实际场景图像，t为场景透射率图像，A为大气光分量。图像去雾的目的即为对场景透射率图像t和大气光分量A进行估计以获得实际场景图像J。
基于暗通道先验的图像去雾算法以暗通道先验理论为基础，该理论提出对于不包含天空区域的无雾图像，其中三个颜色通道中总是有一个颜色通道的值非常的低，几乎等于0，其表达式为：
式中，Imin为图像I的每个像素点的RGB三通道IR、IG、IB的灰度值中的最小值。对于图像的每个像素点进行最小化处理，得到D的计算公式如下：
其中Q(i,j)为像素I(x,y)为中心的N*N大小的块图像，实际中由图像大小决定，根据暗通道先验原理，暗通道图像D与透射率图像t的关系为：
D＝A(1-t) (4)
考虑到在无人机拍摄的视频中除去场景变换的情况下，实际的大气分量A在帧间的变化非常小，可以通过帧间数值控制方法来稳定A：将当前帧获得的Ai与上一帧的Ai-1做差并求绝对值为dA，若dA小于δ，则这一帧中仍将Ai-1作为大气分量；否则，将Ai作为大气分量。在获得暗通道图像D与大气光分量A后可根据上式估计相应的透射率图像t。
初步得到的透射率图像存在一定分块现象，需要对透射率图像t进行线性平滑得到平滑透射率图像tE。对在以点k为中心，大小为M*M的窗口Wk内的所有像素x以如下公式进行线性近似。
tE＝akt+bk (5)
当ak，bk的值发生变化时，线性近似的结果tE也会发生变化，tE和t之间的差由下式求得，
求出平滑透射率图像tE，根据公式(1)的图像成像模型，实际的场景图像J可由下式获得，
(3)灰度校正
通常对于输入的两幅图像，在提取变化信息之前，需要首先对图像亮度进行校正，其中最常用的校正模型为线性模型。针对无人机航拍侦察视频场景拍摄时间的差异和外界光照条件不同，选择图像的灰度特征和局部方差特征进行图像的校正，校正模型为线性模型。设两幅图像I1与图像I2，根据图像I1的亮度信息对图像I2进行线性校正公式如下所示。
其中I1(x,y)为原图，为校正后图像，μ1和μ2分别表示图像I1和I2的灰度值，σ1和σ2为分别表示图像I1和I2的方差。
1.2图像配准
(1)Surf特征单应变换
由于不同时间段、不同拍摄距离、不同拍摄视角等因素，无人机多时相拍摄的视频图像可能会存在平移、旋转、缩放等空间变换关系，没有严格对齐，需要在融合前对其进行配准，获取一幅图像到另一幅图像的单应性变换矩阵。
Surf特征是图像配准过程中效性较好的匹配特征。该特征首先根据Hessian矩阵进行特征点检测，并利用Haar小波和积分图像完成Hessian矩阵的快速近似计算，然后在特征点的局部邻域内统计Haar小波响应值得到特征描述。设图像I(x,y)上一点p，该点的Hessian矩阵定义为：
其中Lxx(p,σ)，Lxy(p,σ)和Lyy(p,σ)表示高斯二阶导函数与图像I(x,y)的卷积，设方差为σ的高斯函数为g(σ)，则
采用Haar小波模板代替高斯二阶导函数与图像卷积实质上是一种盒子滤波，可以通过采用积分图像快速计算，相对于使用高斯二阶导函数的卷积，计算速度得以大大提高。
为了在尺度空间上搜索Hessian矩阵的最大响应值，采用逐渐增大的Haar小波模板在图像上滤波，得到不同尺度上的Hessian矩阵响应值，在上下两层以及本层的周围26个位置寻找局部最大值作为检测到的特征点。这种方法避免了构建图像金字塔方法中的降采样过程，因而计算速度会更快。
在检测的特征点位置构建特征描述之前，首先需要估计特征主方向，即在特征点半径6s的邻域内，统计60度扇形内所有点的水平Haar和垂直Haar小波特征总和，假设Haar小波的尺寸变长为4s，得到了扇形的值后，将60度扇形以一定间隔旋转，最后将最大值的扇形方向作为该特征点的主方向。
分别在两幅待配准图像上构建SURF特征描述子，然后采用快速近似最近邻搜索算法完成特征点匹配，得到特征点之间的对应关系。根据匹配的特征点对，采用RANSAC算法解算单应性变换模型，如下所示。
基于Surf和单应变换的图像配准结果基本正确，然而将两幅图像逐像素直接作差并取绝对值后，在差图像上能够很明显地看出配准结果存在较多的局部配准误差。尤其是一些强边缘或存在起伏的位置，比如平地地块的边界、高架道路、山丘和楼房等位置，留的局部配准误差将直接影响后续的变化检测效果，因此，在基于SURF特征和单应变换模型的粗配准之后，需要进一步的精配准。
(2)B样条非刚性变换
基于B样条的非刚性变换模型是指首先在二维网格点上将两幅图像配准，然后使用B样条基函数在网格点之间的插值得到整幅图像的变换关系。
其中三次B样条基函数已经具有足够的平滑性，因此图像配准通常使用三次B样条基函数完成网格点插值。此时参与插值的局部邻域的控制点数为4，设P(x)表示两个网格点之间的插值，计算公式如下所示。
其中bi表示邻域控制点的输入值，xi表示控制点的相对坐标，当xi＝0～3时，xi依次等于-1、0、1和2。则三次B样条基函数分段表示公式如下，
设二维网格的配准参数为t，则图像配准的目标函数如下所示:
E(t)＝D(I1,I2(t))+w||Δt||2 (15)
其中D(I1,I2(t))|，表示配准参数为t时，图像I1与图像I2之间的相似性度量，w||Δt||2为正则项，用于平滑配准参数。在上节粗配准基础上，采用梯度下降法求解该目标函数进行基于B样条的非刚性图像精配准。
基于Surf特征的图像配准在将两幅图像逐像素直接作差并取绝对值后，在差图像上能够很明显地看出配准结果存在较多的局部配准误差。而当待配准图像与基准图像有较大仿射变化时，B样条函数的控制点的移动距离变大，导致部分图像压缩严重，最终致使配准失败。以Surf特征和B线条非刚性特征的为基础，融合Surf特征和B线条非刚性特征的精确配准，进一步降低配准误差对配准结果的影响。
1.3Min-Max双向作差
常规差图像将配准图像上对应像素直接相减，如果在两幅图像之间存在局部配准误差，则在差图像上可能产生干扰，影响后续的变化检测。针对这个问题，可以采用双向Min-Max差图像方法减弱局部配准误差对变化检测的影响，采用一种Min-Max图像作差方法对输入图像进行双向作差，取某时刻待检图像变化像素点与同一场景区域另一时刻待检图像的对应像素点邻域作差的极值作为图像差值。
假设两幅配准后的图像I1和I2，如果图像I1中某个像点p1是变化的，则该像点不仅与图像I2中的对应像点p2之间存在较大像差，与像点p2的邻域像素之间也将存在较大不同；反之，如果图像I1中的像点p1只是由配准误差引起虚假变化，则该像点尽管与图像I2中的对应像点p2之间存在较大像差，与像点p2的某些邻域像素之间将存在较大的相似性。因此，图像I1中的像点p1计算差图像时，同时计算该像素与图像I2中对应像点p2及其邻域像素之间的差，选择最小值作为像点p1处的图像差值。设图像I1中像点p1坐标为(k,l)，则该像点的图像差值d1由下式计算。
其中表示输入两个像素之间的差值，表示图像中像点附近的一个邻域，通常可设为一个3×3的小窗口，也可以设为更大的矩形或圆形窗口，如下所示。
W(s,r)＝{(m,n)∈z2||m|≤r,|n|≤r} (17)
W(c,r)＝{(m,n)∈z2||m2+n2≤r} (18)
其中r为矩形窗口的半边长或圆形窗口的半径。
如果发生变化的是图像I2中的像点p2，在图像I1上按公式8计算的单向Min差图像会导致像点p2的变化被漏检，因此需要在图像I2上也计算一次Min差图像，如下所示。
如此，无论是图像I1上的像点p1发生变化还是图像I2上的像点p2发生变化，在双向Min差图像中总会有一副图像上产生一个大的差值，而如果只是配准误差引起虚假变化，在双向Min差图像中总是产生小的差值。因此，最终选择两幅差图像上的大值得到最终的差图像。
1.4特征高维变换技术
采用特征变换方法将高维特征变换到新的特征空间并选择其中部分特征来计算差图像，一方面提高了变化与非变化之间的区分度，另一方面也降低了特征维度。采用慢特征分析法(SFA)将高维特征进行特征变换，再在新的特征空间中进行变化分析，有利于更深度的提取变化信息。
设n维时变特征x(t)＝[x1(t),x2(t),...,xn(t)]，其中t∈[t0,t1]，分别为前后两次的成像时间，SFA试图找到一组变换函数g1(x),g2(x),...,gM(x)使得变换后，使得变换后的特征z(t)，在时域变化尽可能慢的同时又包含显著的信息，变换后的特征z(t)如下所示：
z(t)＝[g1(x),g2(x),...,gM(x)]T (20)
z(t)中的任意一维特征不仅要满足特征变化率要尽可能小的条件，还要保证特征的零均值约束，使输出的特征z中涵盖各类不同特征从而包含丰富的信息量。
特征变换函数通常采用线性变换的形式，如下所示，
基于SFA将原始特征变换到新的特征空间后，在新的特征空间上进行变化检测能够提高变化与非变化之间的区分度。根据SFA目标函数的定义，特征变换函数求解的过程等价于最小化非变化区域特征之间的差异。于是，在变换后的新特征空间上，非变化区域的特征差异将会被压缩，而变化区域将会变得更加显著，提高了变化与非变化之间的区分度。
1.5基于图割的变化检测
考虑到待检图像每个像素位置的差值信息、像素之间的空间关系及变化检测的结果中可能存在较多的孤立噪声和空洞现象，采用基于马尔科夫随机场构造一个包含数据项和平滑项的全局目标函数，通过采用图割(Graph Cuts)算法求解该目标函数，得到最终的变化检测分析结果。
设差图像上各像素值为dn，其中n∈P表示像素位置索引，P为图像上所有像素构成的集合。记fn∈{0,1}为像素n处的变化检测结果，其中0表示非变化，1表示变化，图像上所有像素的检测结果构成总的变化检测输出，记为f。假设图像上任意像素n只与其邻域的像素m有关，则{n,m}构成一个邻域像素对，记图像上所有邻域像素对构成的集合为N。变化检测的全局目标函数如下所示，
为了将上式所示的目标函数最小化，求解得到变化检测结果，可采用图割的方法，设图像上每个像素为一个节点，邻域节点之间构成一条边，这种边称为n-link。设s和t为两个端点，分别表示变化区域和非变化区域，端点到所有节点也构成一条边。其中连接端点s的边称为s-link，计算权重时令fn＝1，连接端点t的边称为t-link，计算权重时中令fn＝0。所有的节点、端点和边构成了一个图，假设采用8-邻域系统，则每个节点只与周围8个节点有关。
各节点之间边的权重为目标函数平滑项，端点与节点之间边的权重为目标函数数据项。因此，最小化目标函数的过程等价于在图中找到一个割，将图分为两部分，使得所有分割的边界权重的累加值最小，于是求解目标函数的过程转换为求解最小割问题。根据最小割最大流定理，最小割问题与最大流问题等价，最后采用最大流算法即可得到目标函数的解，如上图所示。其中所有虚线所示的边即为分割边界上的边，最终一条穿过所有虚线边的粗虚线将所有像素节点划分为变化区域和非变化区域。
实际基于图割全局优化进行变化检测时，为了提升算法性能，采用迭代的方法求解全局目标函数。算法流程如下所示：
1)给定显著属于变化的区域和显著属于非变化的区域，完成变化区域和非变化区域高斯混合模型的初始化；
2)根据各像素属于高斯混合模型各分量的概率大小，对图像上所有像素分配所属的高斯混合模型分量；
3)使用高斯混合模型分量各自所属的像素，更新高斯混合模型各分量；
4)计算目标函数数据项和平滑项，基于图割求解目标函数；
5)重复2)到4)，直到收敛或达到设定的迭代次数。
2.多源图像配准
互信息概念是数学信息论中的理论知识，一般用来衡量两个随机变量或矢量间的相关性大小。对于两幅图像而言，互信息描述的是一幅图像中包含另一幅图像信息的多少，图像的信息用信息熵来表示。以边缘熵为例，对于给定的两幅图像A和B，H(A)和H(B)表示图像A和图像B的边缘熵，H(A,B)表示图像之间的联合熵。两幅图像的互信息I(A,B)表示为
I(A,B)＝H(A)+H(B)-H(A,B) (23)
有上式可知，图像的边缘熵、联合熵以及互信息密切相关，其互信息值为两幅图像的边缘熵的和减去两幅图像的联合熵。在多传感器图像配准中，图像来自不同的传感器，两幅图像像素对的分布比同一传感器的两幅图像像素对的分布要分散，配准过程中联合熵不稳定，互信息会产生多个极大值甚至在误配准位置达到最大值，梯度互信息综合利用图像梯度信息和异源图像互信息各自的优点，结合了图像灰度信息和空间梯度信息，可以有效降低局部极值出现的概率，消除互信息函数多局部极值的问题，提高图像配准的精确度和鲁棒性。图像点的梯度信息由梯度向量和梯度幅值组成，对于参考图像中的点a和待校准图像的点b，a、b处的梯度向量，它们之间的夹角表示为如下公式。
其中Δa是参考图像点a的梯度向量，Δb是待校准图像点b的梯度向量，|Δa|、|Δb|分别是相应梯度幅值。梯度向量由图像各点在x，y方向上的偏导数组成，通过两个方向的掩模单独对平滑后的图像做卷积完成。这里采用以高斯核σ＝0.5，在x,y方向的高斯二维掩模与图像做卷积来计算某点在x,y方向上的偏导数。梯度向量表示图像在某点灰度变化率最大的方向，所以对于同一场景的两幅图像，理论上图像中配准区域位于边缘的图像点的梯度是相同或相反的。为了更好的评价图像匹配程度，定义评价函数为w(a)＝(cos(2a)+1)/2
(25)
根据评价函数可知，对应像素点的梯度方向的夹角趋近于0°或180°，评价函数接近于1，进一步得到参考图像和待校准图像间的梯度信息函数为，
当两幅图像在空间位置上达到对齐时，它们之间的梯度信息达到极大值，进一步结合归一化互信息，确立最终的梯度互信息函数为
GMI(A,B)＝G(A,B)*NMI(A,B) (27)
将梯度互信息看做配准的相似性评价函数，当梯度互信息达到最大值时，可认为两幅图像达到最佳配准。
基于图像梯度互信息的图像配准过程如图3所示：
1)选择可见光图像作为参考图像，红外图像作为待校准图像，确定图像的空间变换模型，此处以仿射变换为变换模型；
2)设置初始搜索点(初始变换参数)，点的维数是初始变换参数的个数，利用初始参数求取空间变换模型将红外图像进行空间几何变换；
3)对变换后的图像进行B样条非刚性插值，并计算可见光图像和插值后红外图像的梯度互信息大小，看是否获得最大梯度互信息值，如果没有则就进入下一步骤进行参数优化；
4)选用均匀粒子群搜索优化算法，利用设置的初始搜索点，再设置一个初始搜索方向，进行搜索优化，求取使得互信息达到最大时的最佳配准参数；
5)使用求取的最佳配准参数将红外图像进行最后的仿射变换；
6)对变换后的红外图像再进行最后一次B样条非刚性插值输出配准后的图像。
3.多源图像融合
3.1频谱残留
自然图像具有统计特性变换不变性，大多数自然图像在幅度谱上遵循1/f的原则，即某频率的幅频响应与该频率的倒数近似成正比，如下式所示：
E{A(f)}∞1/f (28)
其中E{A(f)}表示傅里叶频谱的平均幅频响应，f表示某频率。对于上式，大量实验表明取对数后的幅频响应与频率f近似成线性关系，但曲线并不是平滑的，对数幅频响应随频率的增加会有小幅度的异常尖峰出现，这些变化的异常尖峰代表图像的显著信息，平滑部分代表图像的冗余信息。显著信息反映了图像中视觉较为显著的部分，多为边缘和纹理信息较为丰富的区域，而这些区域极有可能是包含目标的区域；冗余信息多为图像的背景，视觉效果不显著，像素分布也较为均匀。由此得出，抑制图像冗余的背景信息，保留显著的目标信息，可以对可能包含目标的区域进行有效地提取。
当用多张图像取平均后，其对数幅频响应与频率关系曲线变得平滑，这些异常尖峰被消除。由此得出，将单幅图像的幅频响应与多张图像取平均后的幅频响应做差可以有效地抑制冗余信息，保留显著信息。做差后的差值叫做频谱残留，它代表图像中的显著信息，将频谱残留进行逆傅里叶变换得到的区域即为图像中可能包含目标的区域。
本发明假设输入的配准图像为I，令FFT和FFT-1分别为图像的快速傅里叶变换和快速逆傅里叶变换。为了便于计算，首先将原图变换为64*64的固定尺寸，有
A(f)＝Amp{FFT(I)}
(29)
P(f)＝Pha{FFT(I)} (30)
其中，A(f)为I幅频响应，P(f)为I相频响应。然后利用3*3的均值滤波器h3(f)与I做卷积，以模拟平均的幅频响应最后频谱残留R(f)可由下式计算，
R(f)＝log(A(f))-h3(f)*log(A(f)) (31)
最后对R(f)进行逆傅里叶变换求得空间域的显著图，再利用标准差为8的高斯低通滤波器g8(x,y)对显著图进行平滑得到最后的显著图S，
S＝g8(x,y)*FFT-1[exp(R(f)+P(f))] (32)
频谱残留显著图S为单通道灰度图，灰度图中的显著区域具有灰度不均、零散分布的特点，需要对灰度图进行阈值分割。设S(x,y)为显著图S中某像素点的灰度值，E(S)是频域显著图S的平均灰度值，O为阈值分割后的显著图，则
threshod＝E(S)*3 (34)
对显著图O进行形态学和连通域分析后，求取连通域的最小外接矩形，即完成对显著图O中目标区域的预提取。
3.2目标区域自适应权重融合
目标区域自适应权重融合是将目标变化区域均匀分布成若干个子块，通过计算红外配准图像目标变化区域与可见光配准图像对应区域的各子块融合权重，进而对红外图像目标变化区域与可见光图像对应区域进行融合。同样，也可计算可见光配准图像目标变化区域与红外配准图像对应区域的各子块融合权重来完成对可见光配准图像目标变化区域与红外配准图像对应区域的融合。
在分别对红外配准图像和可见光配准图像进行基于频谱残留模型的侦察目标预提取后，得到红外配准图像的显著图和可见光配准图像的显著图，显著图为图像显著值的直观体现。
设红外配准图像的目标变化区域S(x,y)IR的子区域ΔSIR的某个像素的显著值为I(x,y)IR，则ΔSIR的显著值featureIR为S(x,y)IR内像素显著值和的平均。
如下所示，其中MIR、NIR为ΔSIR的尺寸，
同理，可见光配准图像的目标变化区域S(x,y)RGB的对应子区域的某个像素的显著值为I(x,y)RGB，则ΔSRGB的显著值featureRGB为S(x,y)RGB内像素显著值和的平均，如下所示，其中MRGB、NRGB为ΔSRGB的尺寸，
则红外配准图像的该子区域的融合权重weightIR和可见光配准图像的对应子区域的融合权重weightRGB如下式所示：
weightIR＝featureIR/(featureIR+featureRGB) (37)
weightRGB＝featureRGB/(featureIR+featureRGB) (38)
S(x,y)fus为融合后图像，融合方式采用线性加权的方式进行，如下式所示：
S(x,y)fusion＝weightIR*S(x,y)IR+weightRGB*S(x,y)RGB (39)
4.变化区域分类
应用决策树、支持向量机、随机森林等传统的分类器设计方法能够为该问题提供解决方案，但是由于在视觉感知领域研究成果的限制，分类器设计方法中应用的人工规定的图像特征难以精确区分同类目标的变化性。同时由于分类器学习原理的限制，在训练数据超过一定数量以后，分类器精度不再随训练数据量的增加而提升，难以充分的利用丰富的图像数据资源。而以深度卷积网络、循环神经网络为代表的深度学习技术则能够克服传统分类器方法的应用限制，为解决问题提供可行途径。卷积神经网络能够提供复杂的函数表达方法，根据训练数据定义更利于分类目标的特征表示方法，在训练数据量充足的情况下具有强大的泛化性，完全契合遥感数据目标分类的应用需求。
卷积神经网络(Convolutional Neural Networks)是深度学习理论的一个重要模型，其在图像识别领域有着广泛的应用。CNN模型在人工神经网络上发展而来，两者之间有很多相同的地方，如网络层与层之间均是前面的层次作为后面的层次的输入，参数的更新都采用的是反向传播算法。同时两者之间也有很多不同，首先CNN模型所包含的网络层次更多，一些复杂的网络模型可能多达数百层。其次CNN模型不是零散的样本属性变量值作为输入，其可以将原始图像作为输入。最后CNN模型中引入了很多实用策略如卷积、池化、dropout等策略用以提高模型的容错等性能，其中卷积和池化是现有的CNN模型中必备的策略。
本发明拟设计一个包含五个卷积层的高级卷积神经网络，在扩充后的数据库上进行训练，提升神经网络的泛化性，实现准确的目标分类。为解决目标尺度可变性导致的输出维度不同的问题，在典型卷积神经网络结构的基础上添加了空间金字塔池化层，使卷积神经网络对于不同尺寸的输入可以得到相同维度的输出，同时减少了同一图像上提取多个目标区域特征的运算量，提升算法的单帧运算速度。利用现有深度学习框架建立高级卷积神经网络，网络包含五个卷积层以及两个全连接层，与初级网络相同，最后一个池化层为空间金字塔池化层，最终输出1000维的特征向量，并通过线性SVM分类器进行分类，分类种类为8至10种。变化区域分类算法流程如图5所示。

Claims (7)

1.一种多时相无人机视频图像变化区域检测及分类方法，其特征在于，具体包括以下步骤：
步骤1：同源图像的变化区域检测，采用同源图像配准技术完成多时相侦察图像在同一坐标系下的配准，再通过目标变化区域分割技术完成红外图像目标变化区域和可见光图像目标变化区域的提取；
步骤2：多源图像配准和融合，采用基于图像梯度互信息的配准算法对红外图像目标变化区域和可见光图像目标变化区域进行配准，得到可见光配准图像和红外配准图像，采用自适应权重目标变化区域融合算法完成红外配准图像的目标变化区域和可见光配准图像的目标变化区域的融合；
步骤3：变化区域分类，采用变化区域分类算法构建深度模型网络结构，通过构建变化的目标区域数据集，训练深度网络权重，对变化的目标区域类型进行分类，
其中，所述步骤2具体包括：
步骤21：对提取的可见光图像目标变化区域与红外图像目标变化区域进行基于图像梯度互信息的配准，得到可见光配准图像和红外配准图像；
步骤22：分别获取可见光配准图像和红外配准图像的频谱图，基于频谱图得到红外配准图像的频谱残留和可见光配准图像的频谱残留；
步骤23：基于频谱残留逆变换获取红外配准图像显著图和可见光配准图像显著图，分别计算红外配准图像的目标变化区域的像素显著值及其在可见光配准图像中的对应区域的像素显著值，同样，分别计算可见光配准图像的目标变化区域的像素显著值及其在红外配准图像中的对应区域的像素显著值；
步骤24：将红外配准图像的目标变化区域与其在可见光配准图像中的对应区域均匀分割成多个子区域；同样，将可见光配准图像的目标变化区域与其在红外配准图像中的对应区域均匀分割成多个子区域；
步骤25：将子区域的像素显著值的平均值作为该子区域的融合权重，对红外配准图像和可见光配准图像对应的子区域进行线性加权得到只融合目标变化区域的融合图像，
其中，所述步骤22具体包括：通过对红外配准图像的频谱图幅频响应进行均值平滑，将平滑后的幅频响应与原始幅频响应作差，得到红外配准图像的频谱残留；通过对可见光配准图像的频谱图幅频响应进行均值平滑，将平滑后的幅频响应与原始幅频响应作差，得到可见光配准图像的频谱残留；
其中，所述步骤25采用以下方式对子区域进行线性加权得到只融合目标变化区域的融合图像：
设红外配准图像的目标变化区域S(x,y)IR的子区域ΔSIR的某个像素的显著值为I(x,y)IR，则ΔSIR的显著值featureIR为S(x,y)IR内像素显著值和的平均，如下式所示，其中MIR、NIR为ΔSIR的尺寸，
同理，可见光配准图像的目标变化区域S(x,y)RGB的对应子区域的某个像素的显著值为I(x,y)RGB，则ΔSRGB的显著值featureRGB为S(x,y)RGB内像素显著值和的平均，如下式所示，其中MRGB、NRGB为ΔSRGB的尺寸，
则红外配准图像的该子区域的融合权重weightIR和可见光配准图像的对应子区域的融合权重weightRGB如下式所示：
weightIR＝featureIR/(featureIR+featureRGB)
weightRGB＝featureRGB/(featureIR+featureRGB)
S(x,y)fus为融合后图像，融合方式采用线性加权的方式进行，如下式所示：
S(x,y)fusion＝weightIR*S(x,y)IR+weightRGB*S(x,y)RGB。
2.根据权利要求1所述的多时相无人机视频图像变化区域检测及分类方法，其特征在于，所述步骤1具体包括：
步骤11：获取某个目标区域多时相的可见光图像和红外图像，选择两个不同时刻的该目标区域的可见光图像和对应时刻的红外图像进行后续处理；
步骤12：对两张同源的可见光图像和两张同源的红外图像分别进行精确配准，并分别作差获取可见光侦察图像的差值图像和红外侦察图像差值图像；
步骤13：采用慢特征分析法对可见光图像的差值图像和红外图像差值图像进行特征高维变换，在高维特征空间上进行变化检测；
步骤14：采用基于图割的变化检测全局优化技术在高维特征空间构建像素分割全局目标函数，将所有像素节点划分为目标变化区域和非变化区域，提取可见光图像目标变化区域与红外图像目标变化区域。
3.根据权利要求2所述的多时相无人机视频图像变化区域检测及分类方法，其特征在于，所述步骤12中，精确配准操作具体包括：对预处理后的两张同源的可见光图像和两张同源的红外图像分别进行基于Surf和单应变换的图像初步配准，再通过B样条非刚性变换模型精确拟合图像变换关系，去除局部配准误差，实现两张同源的可见光图像的精确配准，以及两张同源的红外图像的精确配准。
4.根据权利要求2所述的多时相无人机视频图像变化区域检测及分类方法，其特征在于，所述步骤12中，分别作差获取可见光侦察图像的差值图像和红外侦察图像差值图像具体包括：采用Min-Max双向作差算法对精确配准后的两张同源的可见光图像和两张同源的红外图像分别作差，取某时刻待检图像变化像素点与同一场景区域另一时刻待检图像的对应像素点邻域作差的极值作为图像差值，获取可见光侦察图像的差值图像和红外侦察图像差值图像。
5.根据权利要求2所述的多时相无人机视频图像变化区域检测及分类方法，其特征在于，所述步骤12中，在精确配准操作前还包括对两张同源的可见光图像和两张同源的红外图像分别进行预处理，包括目标区域裁剪、基于暗通道先验的图像去雾与灰度校正。
6.根据权利要求1所述的多时相无人机视频图像变化区域检测及分类方法，其特征在于，所述步骤2中，对可见光配准图像和红外配准图像进行傅里叶变换的得到频谱图；对红外配准图像的频谱残留和可见光配准图像的频谱残留作逆傅里叶变换得到显著图。
7.根据权利要求1所述的多时相无人机视频图像变化区域检测及分类方法，其特征在于，所述步骤3具体包括：
构建融合后的变化区域的图像数据集，对卷积神经网络模型进行训练，所述卷积神经网络模型包含五个卷积层以及两个全连接层，与初级网络相同，最后一个池化层为空间金字塔池化层，最终输出1000维的特征向量，并通过线性SVM分类器进行分类。
CN201911167304.6A 2019-11-25 2019-11-25 一种多时相无人机视频图像变化区域检测及分类方法 Active CN111079556B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911167304.6A CN111079556B (zh) 2019-11-25 2019-11-25 一种多时相无人机视频图像变化区域检测及分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911167304.6A CN111079556B (zh) 2019-11-25 2019-11-25 一种多时相无人机视频图像变化区域检测及分类方法

Publications (2)

Publication Number Publication Date
CN111079556A CN111079556A (zh) 2020-04-28
CN111079556B true CN111079556B (zh) 2023-08-15

Family

ID=70311564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911167304.6A Active CN111079556B (zh) 2019-11-25 2019-11-25 一种多时相无人机视频图像变化区域检测及分类方法

Country Status (1)

Country Link
CN (1) CN111079556B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639595B (zh) * 2020-05-29 2022-03-18 桂林电子科技大学 基于权重不可知神经网络的无人机微动特征信号检测方法
WO2021253173A1 (zh) * 2020-06-15 2021-12-23 深圳市大疆创新科技有限公司 图像处理方法、装置及巡检系统
CN114002700A (zh) * 2020-07-28 2022-02-01 北京理工大学 激光末制导飞行器组网控制方法
CN112102379B (zh) * 2020-08-28 2022-11-04 电子科技大学 一种无人机多光谱影像配准方法
CN112101168A (zh) * 2020-09-08 2020-12-18 中电科大数据研究院有限公司 基于卫星与无人机联动的公益诉讼辅助取证系统及方法
CN112102217B (zh) * 2020-09-21 2023-05-02 四川轻化工大学 一种可见光图像与红外图像快速融合方法及系统
CN112396580B (zh) * 2020-11-05 2024-02-02 北京信息科技大学 一种圆形零件缺陷检测方法
CN112381802A (zh) * 2020-11-17 2021-02-19 中国科学院长春光学精密机械与物理研究所 一种图像变化检测方法、装置、电子设备及存储介质
CN112488029B (zh) * 2020-12-10 2022-07-08 重庆邮电大学 一种基于空地协同的车辆检测方法
CN112488066A (zh) * 2020-12-18 2021-03-12 航天时代飞鸿技术有限公司 一种无人机多机协同侦察下的目标实时检测方法
CN112966546A (zh) * 2021-01-04 2021-06-15 航天时代飞鸿技术有限公司 一种基于无人机侦察图像的嵌入式姿态估计方法
CN113283280B (zh) * 2021-02-22 2023-05-02 西北工业大学 基于可见光图像处理的地面目标云模型毁伤效果评估方法
CN112884692B (zh) * 2021-03-15 2023-06-23 中国电子科技集团公司第十一研究所 分布式机载协同侦察光电系统及无人机系统
CN113065585B (zh) * 2021-03-23 2021-12-28 北京亮亮视野科技有限公司 图像合成模型的训练方法、装置与电子设备
CN113916192B (zh) * 2021-11-05 2023-06-23 郑州信息科技职业学院 喀斯特溶洞图像采集监测与成像系统
CN114842011B (zh) * 2022-07-04 2022-09-09 启东万惠机械制造有限公司 基于图像处理的轴承磨损检测方法及系统
CN115187969B (zh) * 2022-09-14 2022-12-09 河南工学院 一种基于视觉识别的铅酸电池回收系统和方法
CN117218535B (zh) * 2023-09-12 2024-05-14 黑龙江省网络空间研究中心(黑龙江省信息安全测评中心、黑龙江省国防科学技术研究院) 一种基于sfa的长期森林覆盖变化检测方法
CN117056377B (zh) * 2023-10-09 2023-12-26 长沙军顺航博科技有限公司 一种基于图论的红外图像处理方法、系统及存储介质
CN117095005B (zh) * 2023-10-20 2024-02-02 山东龙拓新材料有限公司 一种基于机器视觉的塑料母粒质检方法及系统
CN117830322A (zh) * 2024-03-06 2024-04-05 慧创科仪(北京)科技有限公司 用于对近红外数据进行显著性差异分析的方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833762A (zh) * 2010-04-20 2010-09-15 南京航空航天大学 基于对象间粗大边缘和拟合的异源图像匹配的方法
CN104835175A (zh) * 2015-05-26 2015-08-12 西南科技大学 一种基于视觉注意机制的核环境中目标检测方法
CN105354841A (zh) * 2015-10-21 2016-02-24 武汉工程大学 一种快速遥感影像匹配方法及系统
KR20170080267A (ko) * 2015-12-31 2017-07-10 권순태 다수의 단말기 간 정보교류시스템.
CN109064437A (zh) * 2018-07-11 2018-12-21 中国人民解放军国防科技大学 一种基于引导滤波和在线字典学习的图像融合方法
CN109101995A (zh) * 2018-07-06 2018-12-28 航天星图科技（北京）有限公司 一种基于融合局部特征的快速无人机图像匹配方法
CN109584193A (zh) * 2018-10-24 2019-04-05 航天时代飞鸿技术有限公司 一种基于目标预提取的无人机红外与可见光图像融合方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7653264B2 (en) * 2005-03-04 2010-01-26 The Regents Of The University Of Michigan Method of determining alignment of images in high dimensional feature space
US8250481B2 (en) * 2008-10-16 2012-08-21 The Curators Of The University Of Missouri Visualizing geographic-area change detected from high-resolution, remotely sensed imagery

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833762A (zh) * 2010-04-20 2010-09-15 南京航空航天大学 基于对象间粗大边缘和拟合的异源图像匹配的方法
CN104835175A (zh) * 2015-05-26 2015-08-12 西南科技大学 一种基于视觉注意机制的核环境中目标检测方法
CN105354841A (zh) * 2015-10-21 2016-02-24 武汉工程大学 一种快速遥感影像匹配方法及系统
KR20170080267A (ko) * 2015-12-31 2017-07-10 권순태 다수의 단말기 간 정보교류시스템.
CN109101995A (zh) * 2018-07-06 2018-12-28 航天星图科技（北京）有限公司 一种基于融合局部特征的快速无人机图像匹配方法
CN109064437A (zh) * 2018-07-11 2018-12-21 中国人民解放军国防科技大学 一种基于引导滤波和在线字典学习的图像融合方法
CN109584193A (zh) * 2018-10-24 2019-04-05 航天时代飞鸿技术有限公司 一种基于目标预提取的无人机红外与可见光图像融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种多时相无人机视频图像变化检测技术研究;吴国强等;《第十五届中国航天电子技术研究院学术交流会优秀论文集》;20181213;58-65 *

Also Published As

Publication number Publication date
CN111079556A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN111079556B (zh) 一种多时相无人机视频图像变化区域检测及分类方法
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
Chen et al. Building change detection with RGB-D map generated from UAV images
CN108765325B (zh) 一种小型无人机模糊图像复原方法
CN108805906A (zh) 一种基于深度图的运动障碍物检测及定位方法
US11783457B2 (en) Multispectral camera dynamic stereo calibration algorithm based on saliency features
CN109919960B (zh) 一种基于多尺度Gabor滤波器的图像连续边缘检测方法
CN105976330A (zh) 一种嵌入式雾天实时视频稳像方法
CN110111290B (zh) 一种基于nsct和结构张量的红外与可见光图像融合方法
CN113066050B (zh) 一种基于视觉的空投货台航向姿态解算方法
Guo et al. Haze and thin cloud removal using elliptical boundary prior for remote sensing image
CN115240089A (zh) 一种航空遥感图像的车辆检测方法
CN112634130A (zh) Quick-SIFT算子下无人机航拍图像拼接方法
Albanwan et al. A novel spectrum enhancement technique for multi-temporal, multi-spectral data using spatial-temporal filtering
CN115272876A (zh) 一种基于深度学习的遥感图像船舶目标检测方法
CN106971402B (zh) 一种基于光学辅助的sar图像变化检测方法
Peng et al. Seamless UAV hyperspectral image stitching using optimal seamline detection via graph cuts
CN107657628A (zh) 一种实时彩色目标跟踪方法
CN116863357A (zh) 一种无人机遥感堤坝影像定标与智能分割变化检测方法
CN114565653B (zh) 一种存在旋转变化和尺度差异的异源遥感图像匹配方法
CN107564029B (zh) 基于高斯极值滤波和群稀疏rpca的运动目标检测方法
Fan et al. Unmanned Aerial Vehicle remote sensing image dehazing via global parameters
Ye et al. Improved edge detection algorithm of high-resolution remote sensing images based on fast guided filter
Wang et al. A detection method for transmission line insulators based on an improved FCM algorithm
Majidi et al. Aerial tracking of elongated objects in rural environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant