CN113379658B - 一种无人机观测目标特征双光融合方法及系统 - Google Patents

一种无人机观测目标特征双光融合方法及系统 Download PDF

Info

Publication number
CN113379658B
CN113379658B CN202110610282.7A CN202110610282A CN113379658B CN 113379658 B CN113379658 B CN 113379658B CN 202110610282 A CN202110610282 A CN 202110610282A CN 113379658 B CN113379658 B CN 113379658B
Authority
CN
China
Prior art keywords
image
visible light
fusion
infrared image
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110610282.7A
Other languages
English (en)
Other versions
CN113379658A (zh
Inventor
陈余庆
孙钰涵
徐慧朴
纪勋
余明裕
刘田禾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN202110610282.7A priority Critical patent/CN113379658B/zh
Publication of CN113379658A publication Critical patent/CN113379658A/zh
Application granted granted Critical
Publication of CN113379658B publication Critical patent/CN113379658B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种无人机观测目标特征双光融合方法及系统。方法包括：采集第一可见光图像；采集第一红外图像；对所述第一可见光图像及第一红外图像进行预处理，获得像素配准后的第二可见光图像及第二红外图像；将所述第二可见光图像及第二红外图像输入预先训练的轻量级深度学习网络，所述轻量级深度学习网络包括编码器模块、融合模块以及解码器模块，所述编码器模块用于提取第二可见光图像及第二红外图像的深度特征，提取好的深度特征输入融合模块进行融合，最后解码器根据融合后的特征重构出融合图像。本发明采用深度学习网络相比传统算法能够更好的提取图像特征。

Description

一种无人机观测目标特征双光融合方法及系统
技术领域
本发明涉及无人机智能巡检技术领域，具体而言，尤其涉及一种无人机观测目标特征双光融合方法及系统。
背景技术
当前无人机上应用的双光融合方法中，多使用两个摄像头分别获取红外图像和可见光图像，而现阶段无人机搭载的摄像头多为双目摄像头，即一个摄像头即可同时获取到红外图像和可见光图像，应针对双目摄像头提出一种图像配准融合方法。
无人机上应用的图像融合算法以多尺度分解算法为主，多尺度分解算法提取的特征为手工特征，而深度学习算法提取的特征为深度特征，深度特征能更好的表达图像纹理信息，因此融合效果优于多尺度分解算法。但深度学习算法对于处理器性能要求较高，需找到一种能够搭载在无人机上并做到实时处理的深度学习算法应用于无人机双光检测中。
发明内容
本发明提供一种无人机观测目标特征双光融合方法及系统。本发明主要采用注意力机制的图像融合策略，能更好保留两类图像独有的图像特征。
本发明采用的技术手段如下：
一种无人机观测目标特征双光融合方法，包括：
通过无人机采集第一可见光图像和第一红外图像；所述第一可见光图像的视野范围大于所述第一红外图像的视野范围；
对所述第一可见光图像及第一红外图像进行预处理，获得像素配准后的第二可见光图像及第二红外图像；
将所述第二可见光图像及第二红外图像输入预先训练的轻量级深度学习网络，所述轻量级深度学习网络包括编码器模块、融合模块以及解码器模块，所述编码器模块用于提取第二可见光图像及第二红外图像的深度特征，提取好的深度特征输入融合模块进行融合，最后解码器根据融合后的特征重构出融合图像。
进一步地，对所述第一可见光图像及第一红外图像进行预处理，包括：
获取第一红外图像的分辨率大小；
将所述第一可见光图像根据第一红外图像的分辨率大小进行裁剪；
采用基于特征点匹配的配准算法，首先提取图像中具有代表性的部分作为特征点，再通过相似性度量找到匹配的特征点对，然后通过匹配的特征点对得到图像空间坐标变换参数，最后由坐标变换参数对裁剪好的可见光图像与红外图像进行配准，从而获得像素配准后的第二可见光图像及第二红外图像。
进一步地，所述融合模块根据以下公式进行特征融合：
其中，X为提取到的可见光特征，Y为提取到的红外特征，G(Xi,Yi)为注意力函数，其表达式为：
进一步地，所述轻量级深度学习网络的训练过程，包括：
将训练样本输入到编码器用于提取深度特征，然后将提取出的深度特征再输入至解码器进行重构，得到输出的图像；
定义基于空间距离与结构相似度结合的损失函数，用于评价输入图像和输出图像的差异程度，从而更新网络的权重参数，最终目的是通过训练提高编码器提取深度特征的能力以及解码器重构图像的能力。
本发明还提供了一种无人机观测目标特征双光融合系统，包括：
采集单元，用于通过无人机采集第一可见光图像和第一红外图像；所述第一可见光图像的视野范围大于所述第一红外图像的视野范围；
预处理单元，用于对所述第一可见光图像及第一红外图像进行预处理，获得像素配准后的第二可见光图像及第二红外图像；
融合单元，用于将所述第二可见光图像及第二红外图像输入预先训练的轻量级深度学习网络，所述轻量级深度学习网络包括编码器模块、融合模块以及解码器模块，所述编码器模块为卷积神经网络，用于提取第二可见光图像及第二红外图像的深度特征，提取好的深度特征输入融合模块进行融合，最后解码器根据融合后的特征重构出融合图像。
进一步地，对所述第一可见光图像及第一红外图像进行预处理，包括：
获取第一红外图像的分辨率大小；
将所述第一可见光图像根据第一红外图像的分辨率大小进行裁剪；
采用基于特征点匹配的配准算法，首先提取图像中具有代表性的部分作为特征点，再通过相似性度量找到匹配的特征点对，然后通过匹配的特征点对得到图像空间坐标变换参数，最后由坐标变换参数对裁剪好的可见光图像与红外图像进行配准，从而获得像素配准后的第二可见光图像及第二红外图像。
进一步地，所述融合模块根据以下公式进行特征融合：
其中，X为提取到的可见光特征，Y为提取到的红外特征，G(Xi,Yi)为注意力函数，其表达式为：
进一步地，所述轻量级深度学习网络的训练过程，包括：
将训练样本输入到编码器用于提取深度特征，然后将提取出的深度特征再输入至解码器进行重构，得到输出的图像；
定义基于空间距离与结构相似度结合的损失函数，用于评价输入图像和输出图像的差异程度，从而更新网络的权重参数，最终目的是通过训练提高编码器提取深度特征的能力以及解码器重构图像的能力。
较现有技术相比，本发明具有以下优点：
1、本发明基于深度学习网络设计，相比传统算法能够更好的提取图像特征。
2、本发明搭建的自编码器网络为轻量级对于硬件平台性能要求不高，可以使用搭载在无人机上的硬件平台进行实时处理，以便接下来的图像处理工作。
3、本发明采用注意力机制的图像融合策略，能更好保留两类图像独有的图像特征。
基于上述理由本发明可在无人机智能巡检领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明无人机观测目标特征双光融合方法流程图。
图2为本发明轻量级深度学习网络架构图。
图3为本发明轻量级深度学习网络密集块结构图。
图4为本发明轻量级深度学习网络训练框图。
图5为实施例中采集的可见光图像。
图6为实施例中采集的红外图像。
图7a为实施例中配准后的可见光图像。
图7b为实施例中配准后的红外图像。
图8为实施例中输出的融合图像。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示，本发明提供了一种无人机观测目标特征双光融合方法，包括：
S1、通过无人机采集第一可见光图像和第一红外图像；所述第一可见光图像的视野范围大于所述第一红外图像的视野范围。
S2、对所述第一可见光图像及第一红外图像进行预处理，获得像素配准后的第二可见光图像及第二红外图像。具体包括：将预处理后的样本图像输入到编码器用于提取深度特征，然后将提取出的深度特征再输入至解码器进行重构，得到输出的图像；定义基于空间距离与结构相似度结合的损失函数，用于评价输入图像和输出图像的差异程度，从而更新网络的权重参数，最终目的是通过训练提高编码器提取深度特征的能力以及解码器重构图像的能力。
S3、将所述第二可见光图像及第二红外图像输入预先训练的轻量级深度学习网络，所述轻量级深度学习网络包括编码器模块、融合模块以及解码器模块，所述编码器模块用于提取第二可见光图像及第二红外图像的深度特征，提取好的深度特征输入融合模块进行融合，最后解码器根据融合后的特征重构出融合图像。
进一步地，所述融合模块根据以下公式进行特征融合：
其中，X为提取到的可见光特征，Y为提取到的红外特征，G(Xi,Yi)为注意力函数，其表达式为：
进一步地，所述轻量级深度学习网络的训练过程，包括：将训练样本输入到编码器用于提取深度特征，然后将提取出的深度特征再输入至解码器进行重构，得到输出的图像；定义基于空间距离与结构相似度结合的损失函数，用于评价输入图像和输出图像的差异程度，从而更新网络的权重参数，最终目的是通过训练提高编码器提取深度特征的能力以及解码器重构图像的能力。
下面通过具体的应用实例，对本发明的方法和效果做进一步说明。
本实施例中，无人机通过搭载在无人机上的双目摄像头采集所需环境图像数据作为训练样本，并对样本进行预处理。由于无人机搭载的双目摄像头由于内部成像机制不同，采集到的可见光图像的视野范围相比红外图像要大，而且成像中心会有一定的偏差。因此提出了一种针对双目摄像头的图像预处理方法。预处理过程如下：首先，获取红外图像的分辨率大小，再利用Opencv中的image函数对可见光图像根据红外图像的分辨率大小进行裁剪，解决视野范围不同带来的误差。接着采用基于特征点匹配的配准算法，对裁剪好的可见光图像与红外图像进行配准。
其次，构建轻量级深度学习网络，网络架构如图2所示。网络为自编码器，包括编码器模块、融合模块以及解码器模块。编码器模块用于提取红外图像和可见光图像深度特征，提取好的深度特征输入融合模块进行融合，最后解码器根据融合后的特征重构出融合图像。其中，C1、C2、C3和C4均为3×3大小的卷积层。Partial Dense Block为改进后的密集块结构，如图3所示。该结构将输入的维度均分为两部分，一部分进行卷积，一部分直接和卷积后的结果级联。这样可以有效减少内存消耗和计算瓶颈。
融合模块根据融合策略将编码器模块提取出来的红外和可见光图像特征进行融合，并将结果输入至解码器。该网络为轻量级，可以在无人机能够搭载的硬件平台上进行工作。融合策略将原来的相加策略更改为软性注意力策略，融合公式为：
其中X、Y分别为提取到的可见光和红外特征，G(Xi,Yi)为注意力函数，公式为：
目的是尽量保留两种图像中特有的图像特征。
然后，根据样本和设定的损失函数和网络结构对网络进行训练。如图4所示，在训练时网络仅由编码器与解码器组成，训练样本输入到编码器用于提取深度特征，提取出的深度特征再输入至解码器进行重构，得到输出的图像。损失函数采用空间距离与结构相似度结合的损失函数，用于评价输入图像和输出图像的差异程度，从而更新网络的权重参数，最终目的是通过训练提高编码器提取深度特征的能力以及解码器重构图像的能力。损失函数在原来的基础上，加入了梯度损失函数，可以更好的保留原图像的梯度信息等细节信息。具体公式如下：
L＝λLssim+Lp+Lgrad
Lp、Lssim和Lgrad的计算公式如下，其中O为输入图像，是采集到的样本图像，I为输出图像，是经过网络处理后重构出的图像。go和gi是样本图像和输出图像的梯度。SSIM(O,I)为输入图像和输出图像的结构相似性函数，λ为比例系数，可针对实际情况进行更改，由于结构相似性函数值与其他函数值有三个数量级上的差距，因此λ可取1000。μx，μy为平均值，σx，σy为方差，σxy为协方差，c1，c2为常数。
Lp＝||O-I||2
Lssim＝1-SSIM(O,I)
训练数据可以根据使用环境不同采集不同的环境图像，训练完成后得到编码器与解码器的权重参数，将网络原始参数根据训练好的参数进行更新。训练好的网络即可用于无人机双光检测。
本实施例优选大疆经纬M600pro无人机、搭载其上的双目摄像头以及妙算处理器实现实时双光检测。
无人机使用其搭载的双目摄像头采集周围环境的图像，制作训练数据集。如果采集的数据集较少，可以加入其他目标检测的公开数据集。训练数据集用于网络训练，网络结构如图4所示。将训练好的网络搭建在无人机搭载的妙算处理器中，网络结构如图3所示，开始双光融合检测。
首先对采集到的图像数据进行预处理。摄像头拍摄到的红外图像和可见光图像如图5、图6所示。
将可见光图像按照红外图像的大小进行裁剪。并将二者转成灰度图像进行配准，配准后的可见光图像如图7a和7b所示。配准好的图像输入网络，得到最后的融合结果。融合图像如图8所示。
对应于上述无人机观测目标特征双光融合方法，本发明实施例还提供了一种无人机观测目标特征双光融合系统，包括：
采集单元，用于通过无人机采集第一可见光图像和第一红外图像；所述第一可见光图像的视野范围大于所述第一红外图像的视野范围；
预处理单元，用于对所述第一可见光图像及第一红外图像进行预处理，获得像素配准后的第二可见光图像及第二红外图像；
融合单元，用于将所述第二可见光图像及第二红外图像输入预先训练的轻量级深度学习网络，所述轻量级深度学习网络包括编码器模块、融合模块以及解码器模块，所述编码器模块用于提取第二可见光图像及第二红外图像的深度特征，提取好的深度特征输入融合模块进行融合，最后解码器根据融合后的特征重构出融合图像。
对于本发明实施例的而言，由于其与上面实施例中的相对应，所以描述的比较简单，相关相似之处请参见上面实施例中部分的说明即可，此处不再详述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种无人机观测目标特征双光融合方法，其特征在于，包括：
通过无人机采集第一可见光图像和第一红外图像；所述第一可见光图像的视野范围大于所述第一红外图像的视野范围；
对所述第一可见光图像及第一红外图像进行预处理，获得像素配准后的第二可见光图像及第二红外图像；
将所述第二可见光图像及第二红外图像输入预先训练的轻量级深度学习网络，所述轻量级深度学习网络包括编码器模块、融合模块以及解码器模块，所述编码器模块为卷积神经网络，用于提取第二可见光图像及第二红外图像的深度特征，提取好的深度特征输入融合模块进行融合，最后解码器根据融合后的特征重构出融合图像，所述融合模块根据以下公式进行特征融合：
其中，X为提取到的可见光特征，Y为提取到的红外特征，G(Xi,Yi)为注意力函数。
2.根据权利要求1所述的无人机观测目标特征双光融合方法，其特征在于，对所述第一可见光图像及第一红外图像进行预处理，包括：
获取第一红外图像的分辨率大小；
将所述第一可见光图像根据第一红外图像的分辨率大小进行裁剪；
采用基于特征点匹配的配准算法，首先提取图像中具有代表性的部分作为特征点，再通过相似性度量找到匹配的特征点对，然后通过匹配的特征点对得到图像空间坐标变换参数，最后由坐标变换参数对裁剪好的可见光图像与红外图像进行配准，从而获得像素配准后的第二可见光图像及第二红外图像。
3.根据权利要求1所述的无人机观测目标特征双光融合方法，其特征在于，所述轻量级深度学习网络的训练过程，包括：
将预处理后的样本图像输入到编码器用于提取深度特征，然后将提取出的深度特征再输入至解码器进行重构，得到输出的图像；
定义基于空间距离与结构相似度结合的损失函数，用于评价输入图像和输出图像的差异程度，从而更新网络的权重参数，最终目的是通过训练提高编码器提取深度特征的能力以及解码器重构图像的能力。
4.一种无人机观测目标特征双光融合系统，其特征在于，包括：
采集单元，用于通过无人机采集第一可见光图像和第一红外图像；所述第一可见光图像的视野范围大于所述第一红外图像的视野范围；
预处理单元，用于对所述第一可见光图像及第一红外图像进行预处理，获得像素配准后的第二可见光图像及第二红外图像；
融合单元，用于将所述第二可见光图像及第二红外图像输入预先训练的轻量级深度学习网络，所述轻量级深度学习网络包括编码器模块、融合模块以及解码器模块，所述编码器模块为卷积神经网络，用于提取第二可见光图像及第二红外图像的深度特征，提取好的深度特征输入融合模块进行融合，最后解码器根据融合后的特征重构出融合图像，所述融合模块根据以下公式进行特征融合：
其中，X为提取到的可见光特征，Y为提取到的红外特征，G(Xi,Yi)为注意力函数。
5.根据权利要求4所述的无人机观测目标特征双光融合系统，其特征在于，对所述第一可见光图像及第一红外图像进行预处理，包括：
获取第一红外图像的分辨率大小；
将所述第一可见光图像根据第一红外图像的分辨率大小进行裁剪；
采用基于特征点匹配的配准算法，首先提取图像中具有代表性的部分作为特征点，再通过相似性度量找到匹配的特征点对，然后通过匹配的特征点对得到图像空间坐标变换参数，最后由坐标变换参数对裁剪好的可见光图像与红外图像进行配准，从而获得像素配准后的第二可见光图像及第二红外图像。
6.根据权利要求4所述的无人机观测目标特征双光融合系统，其特征在于，所述轻量级深度学习网络的训练过程，包括：
将训练样本输入到编码器用于提取深度特征，然后将提取出的深度特征再输入至解码器进行重构，得到输出的图像；
将预处理后的样本图像输入到编码器用于提取深度特征，然后将提取出的深度特征再输入至解码器进行重构，得到输出的图像；
定义基于空间距离与结构相似度结合的损失函数，用于评价输入图像和输出图像的差异程度，从而更新网络的权重参数，最终目的是通过训练提高编码器提取深度特征的能力以及解码器重构图像的能力。
CN202110610282.7A 2021-06-01 2021-06-01 一种无人机观测目标特征双光融合方法及系统 Active CN113379658B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110610282.7A CN113379658B (zh) 2021-06-01 2021-06-01 一种无人机观测目标特征双光融合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110610282.7A CN113379658B (zh) 2021-06-01 2021-06-01 一种无人机观测目标特征双光融合方法及系统

Publications (2)

Publication Number Publication Date
CN113379658A CN113379658A (zh) 2021-09-10
CN113379658B true CN113379658B (zh) 2024-03-15

Family

ID=77575297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110610282.7A Active CN113379658B (zh) 2021-06-01 2021-06-01 一种无人机观测目标特征双光融合方法及系统

Country Status (1)

Country Link
CN (1) CN113379658B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952246A (zh) * 2017-03-14 2017-07-14 北京理工大学 基于视觉注意特性的可见光红外图像增强彩色融合方法
CN109448035A (zh) * 2018-11-14 2019-03-08 重庆邮电大学 基于深度学习的红外图像与可见光图像配准方法
CN109919887A (zh) * 2019-02-25 2019-06-21 中国人民解放军陆军工程大学 一种基于深度学习的无监督图像融合方法
CN111709902A (zh) * 2020-05-21 2020-09-25 江南大学 基于自注意力机制的红外和可见光图像融合方法
CN111986240A (zh) * 2020-09-01 2020-11-24 交通运输部水运科学研究所 基于可见光和热成像数据融合的落水人员检测方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952246A (zh) * 2017-03-14 2017-07-14 北京理工大学 基于视觉注意特性的可见光红外图像增强彩色融合方法
CN109448035A (zh) * 2018-11-14 2019-03-08 重庆邮电大学 基于深度学习的红外图像与可见光图像配准方法
CN109919887A (zh) * 2019-02-25 2019-06-21 中国人民解放军陆军工程大学 一种基于深度学习的无监督图像融合方法
CN111709902A (zh) * 2020-05-21 2020-09-25 江南大学 基于自注意力机制的红外和可见光图像融合方法
CN111986240A (zh) * 2020-09-01 2020-11-24 交通运输部水运科学研究所 基于可见光和热成像数据融合的落水人员检测方法及系统

Also Published As

Publication number Publication date
CN113379658A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN110135366B (zh) 基于多尺度生成对抗网络的遮挡行人重识别方法
CN110378381B (zh) 物体检测方法、装置和计算机存储介质
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN110501072B (zh) 一种基于张量低秩约束的快照式光谱成像系统的重构方法
CN112446270A (zh) 行人再识别网络的训练方法、行人再识别方法和装置
CN109035172B (zh) 一种基于深度学习的非局部均值超声图像去噪方法
He et al. Deep convolutional neural network framework for subpixel mapping
CN110148103B (zh) 基于联合优化的高光谱和多光谱图像融合方法、计算机可读存储介质、电子设备
CN107767358B (zh) 一种图像中物体模糊度确定方法和装置
CN112287954A (zh) 图像分类方法、图像分类模型的训练方法及其装置
Wang et al. RSCNet: A residual self-calibrated network for hyperspectral image change detection
CN111340758A (zh) 一种基于深度神经网络的高效虹膜图像质量评价新方法
Liu et al. Single image super resolution techniques based on deep learning: Status, applications and future directions
CN110853048A (zh) 基于粗、精训练的mri图像分割方法、装置和存储介质
Quan et al. Visible and infrared image fusion based on curvelet transform
US20240161304A1 (en) Systems and methods for processing images
CN114581453A (zh) 基于多轴面特征融合二维卷积神经网络的医学图像分割方法
CN116152650A (zh) 基于CNN和Transformer双向协同指导网络的海洋生物检测方法
CN115578589A (zh) 一种无监督超声心动图切面识别方法
CN117391938B (zh) 一种红外图像超分辨率重建方法、系统、设备及终端
Li et al. Infrared and visible image fusion method based on a principal component analysis network and image pyramid
CN117788296A (zh) 基于异构组合深度网络的红外遥感图像超分辨率重建方法
Wang et al. Feature guided masked autoencoder for self-supervised learning in remote sensing
Luo et al. Infrared and Visible Image Fusion: Methods, Datasets, Applications, and Prospects
CN113379658B (zh) 一种无人机观测目标特征双光融合方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant