CN116091361B - 一种多偏振参量图像融合方法、系统及地形勘探监测仪 - Google Patents

一种多偏振参量图像融合方法、系统及地形勘探监测仪 Download PDF

Info

Publication number
CN116091361B
CN116091361B CN202310289844.1A CN202310289844A CN116091361B CN 116091361 B CN116091361 B CN 116091361B CN 202310289844 A CN202310289844 A CN 202310289844A CN 116091361 B CN116091361 B CN 116091361B
Authority
CN
China
Prior art keywords
image
polarization
polarized
fusion
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310289844.1A
Other languages
English (en)
Other versions
CN116091361A (zh
Inventor
段锦
张昊
高美玲
陈广秋
刘举
黄丹丹
郝有菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN202310289844.1A priority Critical patent/CN116091361B/zh
Publication of CN116091361A publication Critical patent/CN116091361A/zh
Application granted granted Critical
Publication of CN116091361B publication Critical patent/CN116091361B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明属于偏振图像处理技术领域，公开了一种多偏振参量图像融合方法、系统及地形勘探监测仪。利用偏振相机获取任意三个不同角度的偏振强度图像；对偏振强度图像进行解调，得到强度图像，偏振参量图像，线偏振度图像；对偏振参量图像进行预处理，得到偏振信息差异图像；分别将强度图像，偏振信息差异图像，线偏振度图像分解为基础层和细节层，再进行融合，得到融合基础层和融合细节层，并重建融合偏振图像。本发明针对多偏振参量图像的融合任务，能够充分融合不同偏振参量图像的优势信息。相较于偏振参量图像，融合偏振图像具有更高的对比度和更清晰的细节特征。

Description

一种多偏振参量图像融合方法、系统及地形勘探监测仪
技术领域
本发明属于偏振图像处理技术领域，尤其涉及一种多偏振参量图像融合方法、系统及地形勘探监测仪。
背景技术
偏振图像融合技术可以充分地结合强度信息和偏振信息，进而有效地提升偏振图像的整体质量，对各种复杂成像条件下的目标通常具有较为明显的增强作用，融合图像一般具有高对比度、清晰细节以及偏振特性等优势特征。因此，偏振图像融合技术广泛应用在民用和军事等领域。
目前，大部分偏振图像的融合算法都是将强度图像和线偏振度图像/>作为研究对象，并未使用偏振参量图像中的/>和/>，实际融合效果仍具有一定的提升空间。/>，由不同角度的偏振强度图像计算得到，具有区别S0的优势信息。因此，设计一种可以同时结合多偏振参量图像优势信息的融合方法具有重要的意义。
通过上述分析，现有技术存在的问题及缺陷为：
（1）现有技术不能同时将多个偏振参量图像的优势信息集中到单幅融合偏振图像，无法有效地提高偏振图像的对比度和细节信息，不利于后续高级视觉任务的进行。
（2）现有技术应用在多偏振参量图像的融合任务，客观指标的准确度较差。
（3）现有技术中的部分\某些，得到的融合偏振图像通常存在信息含量较低、视觉效果不够突出等问题。
（4）现有技术的设计过程通常比较复杂且体积较大，较难应用在各种系统或存储介质中，轻量化程度和灵活性较差。
发明内容
为克服相关技术中存在的问题，本发明公开实施例提供了一种多偏振参量图像融合方法、系统及地形勘探监测仪。本发明目的在于提供一种可以同时结合多偏振参量图像优势信息的融合方法，将强度图像，偏振参量图像/>，偏振参量图像/>，线偏振度图像进行融合得到信息更加丰富的融合偏振图像，能够提高偏振图像的对比度和纹理细节，更有利于后续高级视觉任务的进行。
所述技术方案如下：一种多偏振参量图像融合方法包括以下步骤：
步骤S1、获取不同角度的偏振强度图像；
步骤S2、对获取的偏振强度图像进行解调，得到强度图像，偏振参量图像/>，偏振参量图像/>，线偏振度图像/>；
步骤S3、对偏振参量图像和偏振参量图像/>进行预处理，得到偏振信息差异图像/>；
步骤S4、分别将强度图像，偏振信息差异图像/>，线偏振度图像/>分解为基础层BL和细节层DL；
步骤S5、对基础层BL和细节层DL分别进行融合，基础层BL利用加权融合策略得到融合基础层FBL；细节层DL利用深度学习网络得到融合细节层FDL；
步骤S6、利用融合基础层FBL和融合细节层FDL重建融合偏振图像FPI。
在步骤S1中，获取不同角度的偏振强度图像包括：利用偏振相机获取任意三个不同角度的偏振强度图像：。
在步骤S2中，对获取的偏振强度图像进行解调，计算公式为：
；
；
；
；
其中，分别表示利用偏振相机获取图像时的偏振片旋转角度；分别表示不同角度的偏振强度图像。
在步骤S3中，对偏振参量图像和偏振参量图像/>进行预处理，计算公式为：
；
其中，表示由偏振参量图像/>、/>得到的偏振信息差异图像；/>为参数，用于增强/>和/>的信息差异；/>表示对偏振参量图像/>、/>进行减法计算；/>表示对/>和/>的差值取绝对值。
在步骤S4中，分别将强度图像，偏振信息差异图像/>，线偏振度图像/>分解为基础层BL和细节层DL；计算公式为：
；
；
其中，为偏振参量图像；/>为平均滤波；/>和/>分别表示基础层BL、细节层DL的偏振参量图像；/>和/>分别为基础层（Base Layer）和细节层（DetailLayer）的符号表示；/>。
在步骤S5中，所述基础层BL利用加权融合策略得到融合基础层FBL，计算公式为：
；
其中，为融合基础层；/>表示基础层BL的偏振参量图像；/>为基础层BL偏振参量图像的平衡系数，用于均衡融合基础层FBL的信息量；/>；表示对/>和/>的各项乘积进行求和计算。
在步骤S5中，所述细节层DL利用深度学习网络得到融合细节层FDL，具体包括以下步骤：
（1）利用卷积神经网络提取细节层DL的深度特征；
其中，m表示细节层DL的偏振参量图像，，/>；，表示深度特征的通道索引；
（2）利用零相位分量分析ZCA将深度特征映射到相同空间，得到处理后的深度特征/>；利用L1范数和基于块的平均运算符，得到细节层DL初始权重图，计算公式为：
；
；
其中，、/>和/>、/>为空间坐标；/>和/>表示/>的坐标范围；/>和表示/>的坐标范围；/>和/>分别表示各自范围的求和计算；/>表示对ZCA处理后的深度特征/>计算L1范数；r表示选取的块大小；
（3）利用上采样将细节层DL初始权重图调整为源图像大小，归一化得到细节层DL最终权重图/>，计算公式为：
；
其中，为细节层DL初始权重图；/>表示对细节层DL偏振参量图像的初始权重进行求和计算，/>，/>；
（4）将细节层DL和最终权重图进行加权计算得到融合细节层FDL，计算公式为：
；
其中，为融合细节层FDL；/>表示细节层DL的最终权重图；m表示细节层DL，/>；/>；/>表示对/>和的乘积进行求和计算。/>表示细节层DL的偏振参量图像，，/>为空间坐标。
在步骤S6中，利用融合基础层FBL和融合细节层FDL重建融合偏振图像FPI，计算公式为：
；
其中，表示融合偏振图像PFI；/>和/>分别为融合基础层FBL和融合细节层FDL的权重系数；/>和/>分别表示融合基础层FBL和融合细节层FBL与对应权重系数的乘法计算。
本发明的另一目的在于提供一种实施所述多偏振参量图像融合方法的多偏振参量图像融合系统，所述多偏振参量图像融合系统包括：
基础层和细节层分解模块，用于利用偏振相机获取任意三个不同角度的偏振强度图像，通过解调得到偏振参量图像，在进行预处理后分别将待融合的偏振参量图像分解为基础层和细节层；
融合基础层和融合细节层获取模块，用于分别利用加权融合策略和深度学习网络得到融合基础层和融合细节层；
融合偏振图像重建模块，用于利用融合基础层和融合细节层重建融合偏振图像。
本发明的另一目的在于提供一种地形勘探监测仪，实施所述多偏振参量图像融合方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：
第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果，具体描述如下：
（1）本发明能够融合多偏振参量图像（）。首先，利用偏振相机获取任意三个不同角度的偏振强度图像，通过解调得到/>；其次，将/>进行预处理得到偏振信息差异图像/>；然后，分别将/>，/>，/>分解为基础层（BaseLayer，BL）和细节层（Detail Layer，DL）。BL利用加权融合策略得到融合基础层（FusedBase Layer，FBL）；DL利用深度学习网络得到融合细节层（Fused Detail Layer，FDL）；最后，利用FBL和FDL重建融合偏振图像（Fused Polarization Image，FPI）。本发明可以结合多偏振参量图像的不同优势信息，能够有效地提高偏振图像的对比度和纹理细节。
（2）现有技术中的大部分偏振图像融合方法的研究对象主要是和线偏振度图像（degree of linear polarization，DoLP），本发明则是增加了融合对象的数量，进行多偏振参量（/>）的融合方法设计，具有能够结合多偏振参量的不同优势信息的优点，这是本发明与目前已有的其他方法的主要区别。通过本发明，对于各偏振参量图像的不同信息能够实现准确且充分地保留，得到的融合偏振图像具有突出的主观视觉效果和较高的客观评价指标。
（3）现有技术中的部分设计较为复杂，因此导致代码比较冗余，同时融合效果也并不突出。而本发明的设计复杂程度适中，运行速度也比较快。
第二、把技术方案看作一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：
（1）本发明提供一种多偏振参量图像融合方法，融合对象为偏振参量图像中的。其中，/>可以由任意三个不同角度的偏振强度图像解调得到，能够提供互补的信息；/>则能够反映不同材料物体间的偏振特性差异。因此，通过对上述的多偏振参量进行融合，能够将不同的优势信息集中到单幅融合偏振图像，进而有效地提高偏振图像的对比度和细节信息。
为得到理想的融合效果，分别将上述多偏振参量图像分解为基础层和细节层，基础层利用加权融合策略得到融合基础层，细节层则利用深度学习网络得到融合细节层，最后利用融合基础层和融合细节层重建融合偏振图像。相较于偏振参量图像，本发明得到的融合偏振图像在主观评价和客观指标上都具有明显的提升效果。
（2）相比于现有技术，本发明的优点进一步包括：偏振参量图像中的，/>，S2由不同角度的强度图像解调得到，包含着能够互补的优势信息。同时，/>则具有较强地偏振特性表征能力。因此，本发明将上述偏振参量图像进行融合，可以增强偏振图像的对比度和细节信息，有利于更好地突显目标特征。
（3）本发明首先将偏振参量图像和/>进行预处理，得到能够反映/>和/>信息差异的偏振信息差异图像/>。然后，分别将强度图像/>，偏振信息差异图像/>，线偏振度图像/>分解为基础层和细节层。基础层利用加权融合策略，并根据各偏振参量图像基础层的特征差异设置平衡系数，得到对比度较高的融合基础层；细节层利用深度学习网络进行处理。首先使用卷积神经网络对细节层的特征进行提取，然后使用ZCA和L1范数得到初始权重图，在此基础上进行上采样和归一化得到最终权重图，在与细节层进行加权计算后得到纹理清晰的融合细节层；最后，利用融合基础层和融合细节层重建融合偏振图像。
（4）本发明针对多偏振参量图像的融合任务，能够充分地融合不同偏振参量图像的优势信息。实验结果表明，相较于偏振参量图像，本发明的融合偏振图像具有更高的对比度和更清晰的细节特征，同时评价指标得到明显提升，本发明为多偏振参量图像融合研究奠定了技术基础。
第三、作为本发明创造性辅助证据，还体现在以下几个重要方面：
（1）本发明可以通过软件系统或存储介质集成到计算机中，能够应用于雨雾、水下等各种复杂条件下的偏振成像探测及处理任务。本发明将多个偏振参量图像的不同优势信息进行融合，对于图像的对比度和纹理细节具有突出的增强效果，能够为后续的目标检测识别、语义分割等高级视觉任务提供有利条件。本发明在民用和军事领域都具有一定的应用价值，例如无人机地形勘探、搜救等任务。由于偏振成像技术在传统成像的基础上增加了偏振维度的信息，因此具有更好的成像效果，而本发明在此基础上充分地结合多偏振参量图像，能够提供更丰度、准确的信息，从而有利于克服各种复杂场景下的干扰因素，得到视觉效果突出的融合图像。
（2）本发明对于多偏振参量图像融合研究奠定了技术基础，已有的大部分偏振图像融合方法主要以强度图像和线偏振度图像/>作为研究对象，或通过对源图像进行预处理以及改进网络性能来提高融合图像质量，很少有研究从多偏振参量图像的角度进行考虑。因此，本发明结合多个偏振参量图像的信息，实现了新的偏振图像融合增强方法设计，丰富了多偏振参量图像融合的研究内容。
（3）图像融合目的是将多幅图像的不同优势信息集中到一幅融合图像中，进而提高图像的对比度和细节纹理等特征。因此，对于如何能够得到更好的融合效果，已有许多学者在这方面做了大量研究。偏振参量图像能够提供丰富的信息，但由于部分参量图像的视觉效果并不够突出，直接进行融合并不能得到理想的融合图像。因此，本发明将这些偏振参量图像进行预处理，在得到能够反映偏振信息差异的预处理图像后，再分别将多偏振参量分解为基础层和细节层，同时制定相应的融合策略，最终得到目标融合效果。
（4）本发明为多偏振参量图像融合研究提供了新的思路，奠定了理论和技术基础。而且本发明以多偏振参量图像为研究对象，能够将各参量的不同优势信息进行充分结合。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理；
图1是本发明实施例提供的多偏振参量图像融合方法流程图；
图2是本发明实施例提供的多偏振参量图像融合方法原理图；
图3是本发明实施例提供的多偏振参量图像融合方法架构原理示意图；
图4是本发明实施例提供的细节层的融合网络结构示意图；
图5是本发明实施例提供的残差块网络结构示意图；
图6是本发明实施例提供的多偏振参量图像融合系统示意图；
图7（a）是本发明实施例提供的容器（containers）融合结果对比中S0强度图像；
图7（b）是本发明实施例提供的容器（containers）融合结果对比中S1偏振参量图像；
图7（c）是本发明实施例提供的容器（containers）融合结果对比中S2偏振参量图像；
图7（d）是本发明实施例提供的容器（containers）融合结果对比中S12偏振信息差异图像；
图7（e）是本发明实施例提供的容器（containers）融合结果对比中DoLP线偏振度图像；
图7（f）是本发明实施例提供的容器（containers）融合结果对比中FPI融合偏振图像；
图8（a）是本发明实施例提供的罩子（cover）融合结果对比中S0强度图像；
图8（b）是本发明实施例提供的罩子（cover）融合结果对比中S1偏振参量图像；
图8（c）是本发明实施例提供的罩子（cover）融合结果对比中S2偏振参量图像；
图8（d）是本发明实施例提供的罩子（cover）融合结果对比中S12偏振信息差异图像；
图8（e）是本发明实施例提供的罩子（cover）融合结果对比中DoLP线偏振度图像；
图8（f）是本发明实施例提供的板子（plate）融合结果对比中FPI融合偏振图像；
图9（a）是本发明实施例提供的板子（plate）融合结果对比中S0强度图像；
图9（b）是本发明实施例提供的板子（plate）融合结果对比中S1偏振参量图像；
图9（c）是本发明实施例提供的板子（plate）融合结果对比中S2偏振参量图像；
图9（d）是本发明实施例提供的板子（plate）融合结果对比中S12偏振信息差异图像；
图9（e）是本发明实施例提供的板子（plate）融合结果对比中DoLP线偏振度图像；
图9（f）是本发明实施例提供的板子（plate）融合结果对比中FPI融合偏振图像；
图中：1、基础层和细节层分解模块；2、融合基础层和融合细节层获取模块；3、融合偏振图像重建模块。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
一、解释说明实施例：
如图1所示，本发明实施例提供一种多偏振参量图像融合方法，包括以下步骤：
S101，利用偏振相机获取任意三个不同角度的偏振强度图像，通过解调得到偏振参量图像，在进行预处理后分别将待融合的偏振参量图像分解为基础层和细节层；
S102，分别利用加权融合策略和深度学习网络得到融合基础层和融合细节层；
S103，利用融合基础层和融合细节层重建融合偏振图像。
实施例1。
如图2所示，本发明实施例涉及一种多偏振参量图像融合方法，具体步骤如下：
步骤S1、利用偏振相机获取任意三个不同角度的偏振强度图像：；
步骤S2、对偏振强度图像进行解调，利用公式（1）得到强度图像/>，偏振参量图像/>，偏振参量图像/>，线偏振度图像/>；
；
；
；
（1）
其中，分别表示利用偏振相机获取图像时的偏振片旋转角度；/>分别表示对应角度的偏振强度图像。
步骤S3、利用公式（2）对偏振参量图像和/>进行预处理，得到偏振信息差异图像；
（2）
其中，表示由偏振参量图像/>和偏振参量图像/>得到的偏振信息差异图像；/>为参数，用于增强/>和/>的信息差异，本实例中取值为3；/>表示对偏振参量图像/>和偏振参量图像/>进行减法计算；/>表示对/>和/>的差值取绝对值。
步骤S4、利用平均滤波分别将，/>，/>分解为基础层（Base Layer，BL）和细节层（Detail Layer，DL），计算过程为公式（3）；
；
（3）
其中，为偏振参量图像；/>为平均滤波，本实例中设定大小为30×30；和/>分别表示基础层BL、细节层DL的偏振参量图像；/>和/>分别为基础层和细节层的符号表示；/>。
步骤S5、基础层BL利用加权融合策略得到融合基础层（Fused Base Layer，FBL）（），计算过程为公式（4）；
（4）
其中，为融合基础层；/>为基础层BL偏振参量图像的平衡系数，用于均衡融合基础层FBL的信息量，/>，本实例中分别设定为0.5，0.3，0.2；；/>表示对/>和/>的各项乘积进行求和计算。
细节层DL利用深度学习网络得到融合细节层（Fused Detail Layer，FDL）（），具体包括以下步骤：
首先，利用卷积神经网络提取细节层DL的深度特征（）；
其中，m表示细节层DL的偏振参量图像，，/>；，表示深度特征的通道索引；
其次，利用零相位分量分析（ZCA）将深度特征映射到相同空间，得到处理后的深度特征/>；利用L1范数和基于块的平均运算符，得到DL初始权重图（/>），计算过程为公式（5）；
（5）
其中，、/>和/>、/>为空间坐标；/>和/>表示对应的像素；/>和/>表示/>的坐标范围；/>和/>则表示/>的坐标范围；/>和/>分别表示各自范围的求和计算；/>表示对ZCA处理后的深度特征/>计算L1范数；r表示选取的块大小，本实例中取值为2；
然后，利用上采样将DL初始权重图调整为源图像大小，归一化得到DL最终权重图（/>），计算过程为公式（6）；
（6）
其中，为细节层DL初始权重图；/>表示对细节层DL偏振参量图像的初始权重进行求和计算，/>，/>；
最后，将细节层DL和DL最终权重图进行加权计算得到融合细节层FDL（），计算过程为公式（7）；
（7）
其中，为融合细节层FDL；/>表示细节层DL的最终权重图；m表示细节层DL，/>；/>；/>表示对/>和的乘积进行求和计算。/>表示细节层DL的偏振参量图像，，/>为空间坐标。
步骤S6、利用融合基础层FBL和融合细节层FDL重建融合偏振图像FPI（FusedPolarization Image，FPI）（），计算过程为公式（8）；
（8）
其中，表示融合偏振图像PFI；/>和/>分别为融合基础层FBL和融合细节层FDL的权重系数，本实例中取值都为1；/>和/>分别表示融合基础层FBL和融合细节层FBL与对应权重系数的乘积。
实施例2。
如图2所示，本发明实施例涉及一种多偏振参量图像融合方法，包括以下步骤：
步骤S1、利用偏振相机获取图像，旋转偏振片的角度分别为0°，45°，90°，得到对应角度的三个偏振强度图像：；
步骤S2、对偏振强度图像进行解调，利用以下公式得到偏振参量图像：；
；
；
；
；
步骤S3、利用公式（2）对偏振参量图像和/>进行预处理，得到偏振信息差异图像；
（2）
其中，表示由偏振参量图像/>和偏振参量图像/>得到的偏振信息差异图像；/>为参数，用于增强/>和/>的信息差异，本实例中取值为3；/>表示对偏振参量图像/>和偏振参量图像/>进行减法计算；/>表示对/>和/>的差值取绝对值。
步骤S4、利用平均滤波分别将偏振参量图像，/>，/>分解为基础层（BaseLayer，BL）和细节层（Detail Layer，DL），计算过程为公式（3）；
；
（3）
其中，为偏振参量图像；/>为平均滤波，本实例中设定大小为30×30；和/>分别表示基础层BL、细节层DL的偏振参量图像；/>和/>分别为基础层和细节层的符号表示；/>。
步骤S5、基础层BL利用加权融合策略得到融合基础层（Fused Base Layer，FBL）（），计算过程为公式（4）；
（4）
其中，为融合基础层；/>表示基础层BL的偏振参量图像；/>为基础层BL偏振参量图像的平衡系数，用于均衡融合基础层FBL的信息量，/>，本实例中分别设定为0.5，0.3，0.2；/>；/>表示对/>和/>的各项乘积进行求和计算。
上述方案如图3所示，为本发明实施例提供的多偏振参量图像融合方法架构原理；
如图4所示，细节层DL利用深度学习网络得到融合细节层（Fused Detail Layer，FDL）（），具体包括以下步骤：
首先，利用卷积神经网络提取细节层DL的深度特征（），本实例中使用残差网络（ResNet152）；
如图5所示，残差网络（ResNet152）主要由残差块组成。其中，X表示残差块的输入；ReLU为激活函数；F(X)表示经过第一层权重计算和激活函数的输出；F(X)+X表示经过第二层权重计算的F(X)与输入X相加；
其中，m表示细节层DL的偏振参量图像，，/>；，表示深度特征的通道索引；
其次，利用零相位分量分析（ZCA）将深度特征映射到相同空间，得到；利用L1范数和基于块的平均运算符，得到DL初始权重图（/>），计算过程为公式（5）；
（5）
其中，、/>和/>、/>为空间坐标；/>和/>表示/>的坐标范围；/>和表示/>的坐标范围；/>和/>分别表示各自范围的求和计算；/>表示对ZCA处理后的深度特征/>计算L1范数；r表示选取的块大小，本实例中取值为2；
然后，利用上采样将DL初始权重图调整为源图像大小，归一化得到DL最终权重图（/>），计算过程为公式（6）；
（6）
其中，为细节层DL初始权重图；/>表示对细节层DL偏振参量图像的初始权重进行求和计算；
最后，将细节层DL和DL最终权重图进行加权计算得到融合细节层FDL（），计算过程为公式（7）；
（7）
其中，为融合细节层FDL；/>表示细节层DL偏振参量的最终权重图；/>表示对/>和/>的乘积进行求和计算。
步骤S6、利用融合基础层FBL和融合细节层FDL重建融合偏振图像（FusedPolarization Image，FPI）（），计算过程为公式（8）；
（8）
其中，表示融合偏振图像PFI；/>和/>分别为融合基础层FBL和融合细节层FDL的权重系数，本实例中取值都为1；/>和/>分别表示融合基础层FBL和融合细节层FBL与对应权重系数的乘法计算。
实施例3。
如图2所示，本发明实施例涉及一种多偏振参量图像融合方法，包括以下步骤：
步骤S1、利用偏振相机获取图像，旋转偏振片的角度分别为0°，60°，120°，得到对应角度的三个偏振强度图像：；/>
步骤S2、对偏振强度图像进行解调，利用以下公式得到偏振参量图像：/>；
；
；
；
；
步骤S3、利用公式（2）对偏振参量图像和偏振参量图像/>进行预处理，得到偏振信息差异图像/>；
（2）
其中，表示由偏振参量图像/>和偏振参量图像/>得到的偏振信息差异图像；/>为参数，用于增强/>和/>的信息差异，本实例中取值为3；/>表示对偏振参量图像/>和偏振参量图像/>进行减法计算；/>表示对/>和/>的差值取绝对值。
步骤S4、利用平均滤波分别将，/>，/>分解为基础层（Base Layer，BL）和细节层（Detail Layer，DL），计算过程为公式（3）；
；
（3）
其中，和/>分别表示基础层BL、细节层DL的偏振参量图像；/>表示偏振参量图像；/>为平均滤波，本实例中设定大小为30×30；/>和/>分别为基础层和细节层的符号表示；/>表示偏振参量图像，/>。
步骤S5、基础层BL利用加权融合策略得到融合基础层（Fused Base Layer，FBL）（），计算过程为公式（4）；
（4）
其中，为融合基础层；/>为基础层BL的偏振参量图像；/>为基础层BL偏振参量图像的平衡系数，用于均衡融合基础层FBL的信息量，/>，本实例中分别设定为0.5，0.3，0.2；/>；/>表示对/>和/>的各项乘积进行求和计算。
实施例4。
如图6所示，本发明实施例提供一种多偏振参量图像融合系统，包括：
基础层和细节层分解模块1，用于利用偏振相机获取任意三个不同角度的偏振强度图像，通过解调得到偏振参量图像，在进行预处理后分别将待融合的偏振参量图像分解为基础层和细节层；
融合基础层和融合细节层获取模块2，用于分别利用加权融合策略和深度学习网络得到融合基础层和融合细节层；
融合偏振图像重建模块3，用于利用融合基础层和融合细节层重建融合偏振图像。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
上述装置/单元之间的信息交互、执行过程等内容，由于与本发明实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程。
二、应用实施例：
本发明实施例提供了一种计算机设备，该计算机设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。
本发明实施例还提供了一种信息数据处理终端，所述信息数据处理终端用于实现于电子装置上执行时，提供用户输入接口以实施如上述各方法实施例中的步骤，所述信息数据处理终端不限于手机、电脑、交换机。
本发明实施例还提供了一种服务器，所述服务器用于实现于电子装置上执行时，提供用户输入接口以实施如上述各方法实施例中的步骤。
本发明实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一个计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random AccessMemory，RAM）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
三、实施例相关效果的证据：本发明实施例提供一种多偏振参量图像融合方法，可应用于偏振图像融合任务，能够有效地增强偏振图像的整体对比度和纹理信息。融合偏振图像结合了不同偏振参量的优势信息，同时具有较高的对比度、清晰细节以及突出的偏振特性表征效果，更有利于后续高级视觉任务的进行。
融合结果如图7（a）-图7（f）、图8（a）-图8（f）、图9（a）-图9（f）所示。其中，图7（a）、图8（a）、图9（a）为强度图像，虽然该图像具有比较丰富的细节信息，但是整体对比度不够均衡；图7（b）、图8（b）、图9（b）为偏振参量图像/>，图7（c）、图8（c）、图9（c）为偏振参量图像，虽然对偏振信息具有一定的表征作用，但是整体效果并不突出。因此，对/>和/>进行预处理得到偏振信息差异图像/>。
如图7（d）、图8（d）、图9（d）所示，比较和S2，偏振信息差异图像S12能够更好地体现目标的边缘轮廓和纹理细节；图7（e）、图8（e）、图9（e）为线偏振度图像/>，虽然该图像对偏振特性具有较强地表征能力，但是仍存在着对比度不足的问题；图7（f）、图8（f）、图9（f）为本发明得到的融合偏振图像FPI。
可以发现，该图像同时具有，/>，/>，/>的优势信息，整体对比度较高且细节足够清晰，相较于偏振参量图像，融合偏振图像FPI具有更好的主观视觉感受。
在实例实施中，选取信息熵（Entropy，EN）和平均梯度（Average Gradient，AG）作为评价指标对融合效果进行定量分析。其中，EN可以说明图像的信息丰富程度，AG能够反映图像的细节清晰程度。实验结果如表1所示，表中数据为20幅图像的指标计算平均值。
表1融合结果对比
。
从表中结果可知：对于由偏振参量图像和/>预处理得到的偏振信息差异图像，比较/>的两项指标分别提高了45.014%和414.314%，比较S2则提高46.632%和360.32%。而对于本发明得到的融合偏振图像FPI，比较强度图像/>，偏振信息差异图像/>以及线偏振度图像/>，两项评价指标也都得到明显提高；比较S0，FPI的EN和AG分别提高29.147%和228.834%；比较/>，两项指标提高了69.095%和93.97%；比较/>，则分别提高36.038%和234.31%；可以说明，本发明能够有效地增强偏振图像整体质量，融合偏振图像FPI具有更丰富的信息量和更清晰的纹理细节。
以上所述，仅为本发明较优的具体的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种多偏振参量图像融合方法，其特征在于，该方法包括以下步骤：
步骤S1、获取不同角度的偏振强度图像；
步骤S2、对获取的偏振强度图像进行解调计算，得到第一偏振Stokes参量强度图像S0，第二偏振Stokes参量图像S1，第三偏振Stokes参量图像S2，进而得到线偏振度图像DoLP；
步骤S3、对第二偏振Stokes参量图像S1和第三偏振Stokes参量图像S2进行预处理，得到偏振信息差异图像S12；
步骤S4、分别将第一偏振Stokes参量强度图像S0，偏振信息差异图像S12，线偏振度图像DoLP分解为基础层BL和细节层DL；
步骤S5、对基础层BL和细节层DL分别进行融合，基础层BL利用加权融合策略得到融合基础层FBL，细节层DL利用深度学习网络得到融合细节层FDL；
步骤S6、对FBL和FDL进行融合，重建融合偏振图像FPI；
在步骤S3中，对第二偏振Stokes参量图像S1和第三偏振Stokes参量图像S2进行预处理，计算公式为：
S12＝α·|S1-S2|
其中，S12表示由第二偏振Stokes参量图像S1、第三偏振Stokes参量图像S2得到的偏振信息差异图像；α为参数，用于增强第二偏振Stokes参量图像S1和第三偏振Stokes参量图像S2的信息差异；S1-S2表示对第二偏振Stokes参量图像S1、第三偏振Stokes参量图像S2进行减法计算；|S1-S2|表示对第二偏振Stokes参量图像S1和第三偏振Stokes参量图像S2的差值取绝对值。
2.根据权利要求1所述的多偏振参量图像融合方法，其特征在于，在步骤S1中，获取不同角度的偏振强度图像包括：利用偏振相机获取任意三个不同角度的偏振强度图像：Ia,Ib,Ic。
3.根据权利要求1所述的多偏振参量图像融合方法，其特征在于，在步骤S2中，对获取的偏振强度图像进行计算，得到S0，S1，S2，DoLP；
其中，S0为第一偏振Stokes参量强度图像，S1为第二偏振Stokes参量图像，S2为第三偏振Stokes参量图像，DoLP为线偏振度图像。
4.根据权利要求1所述的多偏振参量图像融合方法，其特征在于，在步骤S4中，分别将第一偏振Stokes参量强度图像S0，偏振信息差异图像S12，线偏振度图像DoLP分解为基础层BL和细节层DL；计算公式为：
其中，Ik(x,y)为偏振参量图像；Z为平均滤波；和/>分别表示基础层BL、细节层DL的偏振参量图像；B和D分别为基础层和细节层的符号表示；k＝S0,S12,DoLP。
5.根据权利要求1所述的多偏振参量图像融合方法，其特征在于，在步骤S5中，所述基础层BL利用加权融合策略得到融合基础层FBL，计算公式为：
其中，FB(x,y)为融合基础层，表示基础层BL的偏振参量图像，Bk为基础层BL偏振参量图像的平衡系数，k＝S0,S12,DoLP；/>表示对基础层BL的偏振参量图像/>和基础层BL偏振参量图像的平衡系数Bk的各项乘积进行求和计算。
6.根据权利要求1所述的多偏振参量图像融合方法，其特征在于，在步骤S5中，所述细节层DL利用深度学习网络得到融合细节层FDL，具体包括以下步骤：
(1)利用卷积神经网络提取细节层DL的深度特征
其中，m表示细节层DL的偏振参量图像，k＝S0,S12,DoLP；i∈{1,2,…C}，表示深度特征的通道索引；
(2)利用零相位分量分析ZCA将深度特征映射到相同空间，得到处理后的深度特征/>利用L1范数和基于块的平均运算符，得到细节层DL初始权重图Am(x,y)，计算公式为：
其中，x、y和p、q为空间坐标；p＝x-r和x+r表示p的坐标范围；q＝y-r和y+r表示q的坐标范围；和/>分别表示各自范围的求和计算；/>表示对ZCA处理后的深度特征/>计算L1范数；r表示选取的块大小；
(3)利用上采样将细节层DL初始权重图Am(x,y)调整为源图像大小，归一化得到细节层DL最终权重图Wm(x,y)，计算公式为：
其中，Am(x,y)为细节层DL初始权重图；∑Am(x,y)表示对细节层DL偏振参量图像的初始权重进行求和计算；
(4)将细节层DL和最终权重图Wm(x,y)进行加权计算得到融合细节层FDL，计算公式为：
其中，FD(x,y)为融合细节层FDL；Wm(x,y)表示细节层DL的最终权重图；表示对/>和Wm(x,y)的乘积进行求和计算；/>表示细节层DL的偏振参量图像，k＝S0,S12,DoLP，(x,y)为空间坐标。
7.根据权利要求1所述的多偏振参量图像融合方法，其特征在于，在步骤S6中，对FBL和FDL进行融合，重建融合偏振图像FPI，计算公式为：
F(x,y)＝λB·FB(x,y)+λD·FD(x,y)
其中，F(x,y)表示融合偏振图像FPI；λB和λD分别为融合基础层FBL和融合细节层FDL的权重系数；λB·FB(x,y)和λD·FD(x,y)分别表示融合基础层FBL和融合细节层FBL与对应权重系数的乘积。
8.一种实施权利要求1-7任意一项所述多偏振参量图像融合方法的多偏振参量图像融合系统，其特征在于，该系统包括：
基础层和细节层分解模块(1)，用于利用偏振相机获取任意三个不同角度的偏振强度图像，对获取的偏振强度图像进行计算，得到第一偏振Stokes参量强度图像S0，第二偏振Stokes参量图像S1，第三偏振Stokes参量图像S2，进而得到线偏振度图像DoLP，对第二偏振Stokes参量图像S1和第三偏振Stokes参量图像S2进行预处理，得到偏振信息差异图像S12，分别将强度图像S0，偏振信息差异图像S12，线偏振度图像DoLP分解为基础层BL和细节层DL；
融合基础层和融合细节层获取模块(2)，用于对基础层BL和细节层DL分别进行融合，基础层BL利用加权融合策略得到融合基础层FBL，细节层DL利用深度学习网络得到融合细节层FDL；
融合偏振图像重建模块(3)，用于对FBL和FDL进行融合，重建融合偏振图像FPI。
9.一种地形勘探监测仪，其特征在于，该地形勘探监测仪实施权利要求1-7任意一项所述多偏振参量图像融合方法。
CN202310289844.1A 2023-03-23 2023-03-23 一种多偏振参量图像融合方法、系统及地形勘探监测仪 Active CN116091361B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310289844.1A CN116091361B (zh) 2023-03-23 2023-03-23 一种多偏振参量图像融合方法、系统及地形勘探监测仪

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310289844.1A CN116091361B (zh) 2023-03-23 2023-03-23 一种多偏振参量图像融合方法、系统及地形勘探监测仪

Publications (2)

Publication Number Publication Date
CN116091361A CN116091361A (zh) 2023-05-09
CN116091361B true CN116091361B (zh) 2023-07-21

Family

ID=86208576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310289844.1A Active CN116091361B (zh) 2023-03-23 2023-03-23 一种多偏振参量图像融合方法、系统及地形勘探监测仪

Country Status (1)

Country Link
CN (1) CN116091361B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116295446B (zh) * 2023-05-22 2023-08-04 中国人民解放军国防科技大学 一种偏振多尺度分解的无人机视觉匹配导航方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105139367A (zh) * 2015-07-27 2015-12-09 中国科学院光电技术研究所 一种基于非下采样剪切波的可见光偏振图像融合方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500444A (zh) * 2013-09-04 2014-01-08 北京航空航天大学 一种偏振图像融合方法
CN109285213A (zh) * 2018-07-18 2019-01-29 西安电子科技大学 全方位偏振三维重建方法
CN109410160B (zh) * 2018-10-09 2020-09-22 湖南源信光电科技股份有限公司 基于多特征和特征差异驱动的红外偏振图像融合方法
US11747480B2 (en) * 2020-08-18 2023-09-05 IntelliShot Holdings, Inc. Automated threat detection and deterrence apparatus
CN114627033A (zh) * 2022-02-11 2022-06-14 南京威视科技有限公司 一种基于偏振融合的高反目标增强方法
CN115731456A (zh) * 2022-11-15 2023-03-03 福州大学 基于快照式光谱偏振相机的目标检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105139367A (zh) * 2015-07-27 2015-12-09 中国科学院光电技术研究所 一种基于非下采样剪切波的可见光偏振图像融合方法

Also Published As

Publication number Publication date
CN116091361A (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN110570353A (zh) 密集连接生成对抗网络单幅图像超分辨率重建方法
CN114757832B (zh) 基于交叉卷积注意力对抗学习的人脸超分辨方法和装置
CN116091361B (zh) 一种多偏振参量图像融合方法、系统及地形勘探监测仪
CN112819875B (zh) 单目深度估计的方法、装置及电子设备
Ding et al. U 2 D 2 Net: Unsupervised unified image dehazing and denoising network for single hazy image enhancement
Al-Wassai et al. Multisensor images fusion based on feature-level
CN112669249A (zh) 结合改进nsct变换和深度学习的红外与可见光图像融合方法
CN115578262A (zh) 基于afan模型的偏振图像超分辨率重建方法
CN116739899A (zh) 基于saugan网络的图像超分辨率重建方法
Wang et al. Multiscale single image dehazing based on adaptive wavelet fusion
CN111815550A (zh) 一种基于灰度共生矩阵的红外与可见光图像融合方法
CN115034997A (zh) 图像处理方法及装置
Chang et al. UIDEF: A real-world underwater image dataset and a color-contrast complementary image enhancement framework
Li et al. Effective data-driven technology for efficient vision-based outdoor industrial systems
CN113298147A (zh) 基于区域能量和直觉模糊集的图像融合方法及装置
CN116033279A (zh) 一种夜晚监控相机的近红外图像彩色化方法、系统及设备
Yao et al. A multi-expose fusion image dehazing based on scene depth information
CN116051444A (zh) 一种有效的红外与可见光图像自适应融合方法
Yang et al. Multi-scale underwater image enhancement with optimized homomorphic filter and RGB color correction
CN110298807A (zh) 基于改进Retinex及量子菌群算法的NSCT域红外图像增强方法
Hu et al. Infrared and visible image fusion based on multiscale decomposition with Gaussian and co-occurrence filters
Kumar et al. Underwater Image Enhancement using deep learning
CN110827231A (zh) 一种显著性驱动下的主动学习多源图像融合方法
Fu et al. See clearly on rainy days: Hybrid multiscale loss guided multi-feature fusion network for single image rain removal
Liu et al. A Multilevel Visual Feature-Based Approach for Measuring the Spatial Information in Remote Sensing Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant