CN115393233A - 一种基于自编码器的全线偏振图像融合方法 - Google Patents

一种基于自编码器的全线偏振图像融合方法 Download PDF

Info

Publication number
CN115393233A
CN115393233A CN202210878279.8A CN202210878279A CN115393233A CN 115393233 A CN115393233 A CN 115393233A CN 202210878279 A CN202210878279 A CN 202210878279A CN 115393233 A CN115393233 A CN 115393233A
Authority
CN
China
Prior art keywords
image
polarization
encoder
images
linear polarization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210878279.8A
Other languages
English (en)
Inventor
任文艺
孟建雯
杨婷
赵曼
何天宇
冯扬
于若宁
伍丹
张锐
解迎革
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest A&F University
Original Assignee
Northwest A&F University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest A&F University filed Critical Northwest A&F University
Priority to CN202210878279.8A priority Critical patent/CN115393233A/zh
Publication of CN115393233A publication Critical patent/CN115393233A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于自编码器的全线偏振图像融合方法，首先对分焦平面偏振传感器获取的不同偏振态图像进行Stokes解算，得到Stokes矢量，利用它们获得线偏振度、线偏振角的映射以形成新的偏振特征图像，并与光强图像组合获得一组新的数据范式，再利用基于卷积神经网络的自编码器从目标的光强信息和偏振特征图像进行特征提取、特征融合，图像重建。本发明能够最大程度降低由材料属性和光照环境引起的偏振模糊，并对各类场景具有鲁棒性，通过自编码器的图像融合方法能够使得特征得以充分的提取并融合，保留并增强目标的偏振信息，提高复杂背景下的目标检测能力。

Description

一种基于自编码器的全线偏振图像融合方法
技术领域
本发明属于偏振图像的处理及信息融合技术领域，具体涉及一种基于自编码器的全线偏振图像融合方法。
背景技术
相比传统成像技术只能获得目标的强度图像和光谱信息，偏振成像能够获得目标的应力属性、双折射属性、粗糙度、光照信息、边缘信息、表面取向等，更适用于水下探测、大气遥感探测、以及伪装目标等场景。故偏振成像作为一种获取目标图像信息的重要手段，目前在军事目标、环境监测、生物医学检测等领域有着广泛的应用。
偏振成像融合技术是一种利用偏振特征信息和光强信息实现目标检测的新型光电成像探测技术，能够揭示目标的多维特征、增强目标的对比度。利用偏振特征可以求出强度、线偏振度、线偏振角图像，进而获取目标的结构、粗糙度、阴影等细节。目前针对偏振图像融合的研究主要是将强度图、线偏振度图、线偏振角图像映射到伪彩色空间以提供更多的偏振信息，但是这类研究适用于人眼观察，难以扩展至机器视觉领域的目标检测。另一种近期流行的相关研究是从光强图和线偏振度图像中提取目标的特征，通过多尺度分解、稀疏表示或者深度学习方法进行图像重建恢复。但是线偏振度图像亮度低，在水下探测等领域不具优势，难以广泛应用至复杂的场景。由于线偏振度图和线偏振角图像对光照环境敏感，且与目标的物理性质密切相关，在自然场景下易表现出显著的偏振模糊，故目前从信息维度出发的偏振图像融合首先需要对偏振图像做去噪处理，但效果仍然不理想，甚至去噪可能会丢失部分图像细节，对于户外自然环境仍束手无策(户外场景噪声非常显著)。如何从复杂目标的多种偏振态中提取偏振信息并与光强图像融合获得良好的效果，进而提高复杂背景下的目标检测能力是偏振技术应用的关键。
发明内容
为了解决上述存在的技术问题，本发明设计了一种基于自编码器的全线偏振图像融合方法，利用偏振成像技术和基于卷积神经网络的自编码器对光强、线偏振度、线偏振角信息进行深层特征的提取，实现全线偏振图像的融合与增强，提高了在复杂目标下的目标探测性能。
为了解决上述存在的技术问题，本发明采用了以下方案：
一种基于自编码器的全线偏振图像融合方法，包括以下步骤：
步骤1，对由偏振成像技术获取的偏振图像进行Stokes解算，得到4个Stokes参量S0，S1，S2，S3，公式如下：
Figure BDA0003763349860000021
并根据偏振图像的Stokes矢量确定线偏振度图像DoLP和线偏振角图像AoLP：
Figure BDA0003763349860000022
Figure BDA0003763349860000023
其中，S0表示光强图像，S1表示线性或垂直线偏振分量图像，S2表示45度或135度处的线性偏振分量图像，S3表示光束中右旋或左旋的偏振分量图像，在自然环境中，圆偏振分量很小，可忽略；I0、I45、 I90、I135分别表示0°、45°、90°、135°四个偏振方向的出射光强偏振图像，IL和IR分别表示左、右旋圆偏振图像；
步骤2，获得线偏振度图像DoLP、线偏振角图像AoLP的映射以形成新的偏振特征图像，将线偏振度图像DoLP、线偏振角图像AoLP的映射分别记为L1、L2：
L1＝DoLP·cos（2AoLP) 公式(4)
L2＝DoLP·sin(2AoLP) 公式(5)；
步骤3，利用局部直方图均衡算法对光强图像S0进行局部均衡处理，调整其像素值分布；
步骤4，将所述步骤3处理后的光强图像S0、由公式(4)和公式 (5)获得的偏振特征图像L1和L2，送入预训练好的基于自编码器的图像融合网络，所述图像融合网络包括编码器、融合层、解码器；所述步骤3处理后的光强图像S0、L1和L2分别经过编码器进行特征提取后获得的高维度特征在融合层对应加权，再通过解码器重建生成融合图像。
进一步，所述步骤1具体包括：
步骤11，利用偏振成像技术采集场景的偏振图像或者近红外偏振图像；其图片基于分焦平面偏振传感器捕获，其关键部件是焦平面阵列，其中每四个微偏振器分别收集0°、45°、90°和135°方向的偏振光，形成一个2×2的超级像素，这些具有周期性的超级像素被排列在焦平面上，使分焦平面偏振传感器能够同时获得四个方向的偏振图像；
步骤12，将所述步骤11中获得的偏振图像解码成四个偏振方向的出射光强偏振图像I0、I45、I90、I135；此外，IL和IR分别表示左、右旋圆偏振图像；
步骤13，对所述步骤12得到的四张偏振图像分量I0、I45、I90、I135进行Stokes偏振态解算，得到偏振图像的4个Stokes参量S0，S1，S2， S3；
步骤14，根据偏振图像的Stokes矢量确定线偏振度图像DoLP和线偏振角图像AoLP。
进一步，所述步骤12中的解码方案采用牛顿插值法或双线性插值法或双三次插值法。
进一步，所述步骤4中，基于自编码器的图像融合网络的训练，训练数据集在MS-COCO通用数据集上实施，训练数据集中的训练数据通过裁剪、旋转、翻转数据增强后分别在编码器中生成不同目标的高维特征，并解码获得重建后的图像，由损失函数约束，不断调整训练，直到最后生成器生成的图像与真实图像在允许的差异范围内；
其中的网络设计如下：
编码器，即特征提取阶段，使用一个标准卷积层和一个级联密集连接的卷积块组合，分别用于提取粗糙特征和深层特征，得到训练集的源图像的多维特征图；其中，级联密集连接的卷积块由三个卷积层组成，每一层的输出被用作所有后续层的输入；所有的卷积层由卷积核、批量归一层和ReLU激活层组成；网络中所有卷积核的尺寸都相同，均为3X3，自编码器的各个卷积层的维度都是16，其中，最后一个卷积层不包含ReLU层；
融合层，融合层的机制是像素加权，不参与网络训练；
解码器，即图像重建阶段，该阶段从高层次的特征中恢复出最后的融合结果；解码器由5层卷积层组成，各卷积层的维度分别是64， 32，16，8，1；
损失函数对特征提取和图像重建效果非常重要，将其设计为：
Figure BDA0003763349860000041
通过最小化
Figure BDA0003763349860000042
实现图像融合的性能，其中经实验尝试确定权重
为1000，θ是神经网络中的训练参数，C指训练数据集 MS-COCO，损失函数由两部分组成，分别是结构相似性损失函数LMS-SSIM和梯度损失函数LG：
Figure BDA0003763349860000043
Figure BDA0003763349860000044
其中MS-SSIM常常作为全参考的图像质量评价指标，用来驱动If融合图像不断向Is输入图像靠近；
Figure BDA0003763349860000045
分别是融合结果和源图像的梯度量，
Figure BDA0003763349860000051
是拉普拉斯提度算子，||·||表示弗罗贝尼乌斯范数，H、W分别为图像的长和宽。
进一步，训练数据集在MS-COCO通用数据集上实施，其中上百万张图像参与训练，参与训练的图像既包括通用图像也包括偏振图像。
进一步，由偏振成像技术获取的偏振态图像包括来自室内、室外、还有近红外场景的图像。
该基于自编码器的全线偏振图像融合方法具有以下有益效果：
(1)本发明基于自编码器的全线偏振图像融合方法，与传统的将图像映射到伪彩色空间方法相比，更适用于解释场景的物理属性，并且便于与硬件设施协作实现工业检测、医学诊断检测、大气遥感探测、水下成像等领域的目标探测。
(2)本发明基于自编码器的全线偏振图像融合方法，与仅仅利用光强图和线偏振度图像融合方法相比，引入了对偏振度和偏振角图像的有效提取和融合，并且抑制了来自偏振态的噪声，即使是在户外这种光照不可控、物质材料各异的场景，也能重建出场景的绝大部分信息，有效提高了复杂场景下的目标检测准确率。
(3)本发明基于自编码器的全线偏振图像融合方法，与常规多尺度分解的偏振图像融合方法相比，能够反映图像中的阴影、边缘信息，且不会引入伪Gibbs效应，更适于偏振图像融合。
(4)本发明基于自编码器的全线偏振图像融合方法，使用通用数据集MS-COCO训练，避免了偏振图像数据集少并且针对偏振融合领域，没有真实图像的问题。
(5)本发明基于自编码器的全线偏振图像融合方法，与通常的偏振图像融合方法相比，增加了光强图的目标增强，进一步增加了目标细节，提高了对比度，更适合非相关研究者的观察和场景的识别。
(6)本发明基于自编码器的全线偏振图像融合方法，面向卷积神经网络的特征提取和重建，网络结构设计简单，卷积核的大小为3×3，最大通道数不超过64维，尽管是基于三张源图像的融合，但在融合效果和计算效率之间取得较好的平衡。
(7)本发明基于自编码器的全线偏振图像融合方法，因其分目标提取特征的操作，使得算法适用于多张图像的融合，可拓展至多曝光图像融合、多聚焦图像融合、可见光和红外图像融合。
附图说明
图1：本发明实施方式中基于自编码器的全线偏振图像融合方法的流程图；
图2：本发明实施方式中自编码器的网络模型示意图；
图3：本发明与现有技术的效果对比图。
具体实施方式
下面结合附图，对本发明做进一步说明：
图1至图3示出了本发明一种基于自编码器的全线偏振图像融合方法的具体实施方式。图1是本实施方式中基于自编码器的全线偏振图像融合方法的流程图；图2是本实施方式中自编码器的网络模型示意图；图3是本实施方式中本发明与现有技术的效果对比图。
如图1所示，本实施方式中的基于自编码器的全线偏振图像融合方法，包括以下步骤：
步骤1，对由偏振成像技术获取的偏振图像进行Stokes解算，得到4个Stokes参量S0，S1，S2，S3，公式如下：
Figure BDA0003763349860000061
并根据偏振图像的Stokes矢量确定线偏振度图像DoLP和线偏振角图像AoLP：
Figure BDA0003763349860000062
Figure 1
其中，S0表示光强图像，S1表示线性或垂直线偏振分量图像，S2表示45度或135度处的线性偏振分量图像，S3表示光束中右旋或左旋的偏振分量图像，在自然环境中，圆偏振分量很小，可忽略；I0、I45、 I90、I135分别表示0°、45°、90°、135°四个偏振方向的出射光强偏振图像，IL和IR分别表示左、右旋圆偏振图像；
步骤2，获得线偏振度图像DoLP、线偏振角图像AoLP的映射以形成新的偏振特征图像，将线偏振度图像DoLP、线偏振角图像AoLP的映射分别记为L1、L2：
L1＝DoLP·cos(2AoLP) 公式(4)
L2＝DoLP·sin(2AoLP) 公式(5)；
根据公式(2)和公式(3)得到的线偏振度DoLP和线偏振角图像 AoLP，相比强度图能够反映光照、粗糙度、边缘、应力分布、双折射性质、表面取向等信息。DoLP整体对比度高，亮度低，细节较少；而 AoLP亮度高、细节多，尤其是在低光照条件下表现出更大的优势，但同时AoLP放大了噪声，呈过曝的状态。因此本发明提出上述对线偏振度、线偏振角的映射；
步骤3，利用局部直方图均衡算法对光强图像S0进行局部均衡处理，调整其像素值分布；
步骤4，将所述步骤3处理后的光强图像S0、由公式(4)和公式 (5)获得的偏振特征图像L1和L2，送入预训练好的基于自编码器的图像融合网络，所述图像融合网络包括编码器、融合层、解码器；所述步骤3处理后的光强图像S0、L1和L2分别经过编码器进行特征提取后获得的高维度特征在融合层对应加权，再通过解码器重建生成融合图像。
优选地，所述步骤1具体包括：
步骤11，利用偏振成像技术采集场景的偏振图像或者近红外偏振图像；其图片基于分焦平面偏振传感器捕获，其关键部件是焦平面阵列，其中每四个微偏振器分别收集0°、45°、90°和135°方向的偏振光，形成一个2×2的超级像素，这些具有周期性的超级像素被排列在焦平面上，使分焦平面偏振传感器能够同时获得四个方向的偏振图像；
步骤12，将所述步骤11中获得的偏振图像解码成四个偏振方向的出射光强偏振图像I0、I45、I90、I135；此外，IL和IR分别表示左、右旋圆偏振图像；
步骤13，对所述步骤12得到的四张偏振图像分量I0、I45、I90、I135进行Stokes偏振态解算，得到偏振图像的4个Stokes参量S0，S1，S2， S3；
步骤14，根据偏振图像的Stokes矢量确定线偏振度图像DoLP和线偏振角图像AoLP。
优选地，所述步骤12中的解码方案采用牛顿插值法或双线性插值法或双三次插值法。本实施例中采用了牛顿插值法。
优选地，所述步骤4中，基于自编码器的图像融合网络的训练，训练数据集在MS-COCO通用数据集上实施，训练数据集中的训练数据通过裁剪、旋转、翻转等数据增强后分别在编码器中生成不同目标的高维特征，并解码获得重建后的图像，由损失函数约束，不断调整训练，直到最后生成器生成的图像与真实图像几乎没有差异(即最后生成器生成的图像与真实图像在允许的差异范围内)；
其中的网络设计如下：
编码器，即特征提取阶段，使用一个标准卷积层和一个级联密集连接的卷积块组合，分别用于提取粗糙特征和深层特征，得到训练集的源图像的多维特征图；其中，级联密集连接的卷积块由三个卷积层组成，每一层的输出被用作所有后续层的输入；所有的卷积层由卷积核、批量归一层和ReLU激活层组成；网络中所有卷积核的尺寸都相同，均为3X3，自编码器的各个卷积层的维度都是16，其中，最后一个卷积层不包含ReLU层；
融合层，融合层的机制是像素加权，不参与网络训练；
解码器，即图像重建阶段，该阶段从高层次的特征中恢复出最后的融合结果；解码器由5层卷积层组成，各卷积层的维度分别是64， 32，16，8，1；
损失函数对特征提取和图像重建效果非常重要，将其设计为：
Figure BDA0003763349860000091
通过最小化
Figure BDA0003763349860000092
实现图像融合的性能，其中经实验尝试确定权重
为1000，θ是神经网络中的训练参数，C指训练数据集 MS-COCO，损失函数由两部分组成，分别是结构相似性损失函数LMS-SSI 和梯度损失函数LG：
Figure BDA0003763349860000093
Figure BDA0003763349860000094
其中MS-SSIM常常作为全参考的图像质量评价指标，用来驱动If融合图像不断向Is输入图像靠近；
Figure BDA0003763349860000095
分别是融合结果和源图像的梯度量，
Figure BDA0003763349860000096
是拉普拉斯提度算子，||·||表示弗罗贝尼乌斯范数，H、W分别为图像的长和宽。基于深度学习的自编码器一方面处理速度快，另一方面特征表示能力强。尽管本发明实现三幅图像的融合，但处理速度依然很快且避免了原偏振态的噪声，达到更好的融合效果。
优选地，训练数据集在MS-COCO通用数据集上实施，其中上百万张图像参与训练，参与训练的图像既包括通用图像也包括偏振图像。
优选地，由偏振成像技术获取的偏振态图像包括来自室内、室外、还有近红外场景的图像。其中，室外目标图像的线偏振度、线偏振角噪声很大，其偏振模糊最为显著，本发明中提出的映射L1，L2很大程度上解决了该问题，保留了线偏振度、线偏振角的高频信息。
本实施例中，使用python语言配合TensorFlow深度学习框架执行基于自编码器的全线偏振图像融合。根据预先构建的损失函数公式 (6)、公式(7)、公式(8)，MS-COCO数据集训练基于自编码器的图像融合网络模型，并保存模型及其参数。
本实施例中，如图3所示，利用偏振成像技术采集场景的偏振图像或者近红外偏振图像；然后，将偏振图像解码成四个偏振方向的出射光强偏振图像I0、I45、I90、I135，并对四张偏振图像分量I0、I45、 I90、I135进行Stokes偏振态解算，得到偏振图像的4个Stokes参量S0，S1，S2，S3，如图3中的(a)；然后，根据目标图像的Stokes矢量确定线偏振度图像DoLP和线偏振角图像AoLP,如图3中的(b)和(c)；然后，根据公式(4)和公式(5)得到线偏振度图像DoLP、线偏振角图像AoLP的映射以形成新的偏振特征图像L1，L2，如图3中的(d) 和(e)；然后，利用局部直方图均衡算法对光强图像S0进行局部均衡处理，调整其像素值分布；然后，将均衡处理后的光强图像S0、偏振特征图像L1和L2送入预训练好的基于自编码器的图像融合网络模型，如图2所示，利用预训练好的基于自编码器的图像融合网络模型将均衡处理后的光强图像S0、偏振特征图L1，L2送入自编码器，提取各图像的高维度特征，经过编码器提取特征之后，共有3×64维的特征图；来自三幅源图像的64维特征在融合层对应加权，获得1×64维的特征图，之后送入解码器，各卷积层逐步恢复重建出最终的融合图，如图3 中的(j)。相比较图3中(f)-(i)分别是FEVIP、LPF、PFNet、DeepFuse 使用(a)和(b)得到的偏振融合结果，本发明效果更好。本发明获得线偏振度、线偏振角的映射以形成新的偏振特征图像，并与光强图像组合获得一组新的数据范式，再利用基于卷积神经网络的自编码器从目标的光强信息和偏振特征图像进行特征提取、特征融合，图像重建。这种偏振数据映射能够最大程度降低由材料属性和光照环境引起的偏振模糊，并对各类场景具有鲁棒性，通过自编码器的图像融合方法能够使得特征得以充分的提取并融合，保留并增强目标的偏振信息，提高复杂背景下的目标检测能力。
本发明具有以下有益效果：
本发明基于自编码器的全线偏振图像融合方法，与传统的将图像映射到伪彩色空间方法相比，更适用于解释场景的物理属性，并且便于与硬件设施协作实现工业检测、医学诊断检测、大气遥感探测、水下成像等领域的目标探测。
本发明基于自编码器的全线偏振图像融合方法，与仅仅利用光强图和线偏振度图像融合方法相比，引入了对偏振度和偏振角图像的有效提取和融合，并且抑制了来自偏振态的噪声，即使是在户外这种光照不可控、物质材料各异的场景，也能重建出场景的绝大部分信息，有效提高了复杂场景下的目标检测准确率。
本发明基于自编码器的全线偏振图像融合方法，与常规多尺度分解的偏振图像融合方法相比，能够反映图像中的阴影、边缘信息，且不会引入伪Gibbs效应，更适于偏振图像融合。
本发明基于自编码器的全线偏振图像融合方法，使用通用数据集 MS-COCO训练，避免了偏振图像数据集少并且针对偏振融合领域，没有真实图像的问题。
本发明基于自编码器的全线偏振图像融合方法，与通常的偏振图像融合方法相比，增加了光强图的目标增强，进一步增加了目标细节，提高了对比度，更适合非相关研究者的观察和场景的识别。
本发明基于自编码器的全线偏振图像融合方法，面向卷积神经网络的特征提取和重建，网络结构设计简单，卷积核的大小为3×3，最大通道数不超过64维，尽管是基于三张源图像的融合，但在融合效果和计算效率之间取得较好的平衡。
本发明基于自编码器的全线偏振图像融合方法，因其分目标提取特征的操作，使得算法适用于多张图像的融合，可拓展至多曝光图像融合、多聚焦图像融合、可见光和红外图像融合。
总之：本发明在深度学习的强大特征提取能力上，设计了基于自编码器的图像融合网络，由损失函数约束图像融合的性能，在偏振成像的基础上，设计了一种新的偏振特征图像与光强图像融合，增加了融合图像的细节，利用偏振特征对场景的阴影、粗糙度、边缘等属性进行补充增强，且抑制了因光照和物质特性造成的偏振模糊，适用于偏振图像融合和复杂场景下的目标探测系统中。
上面结合附图对本发明进行了示例性的描述，显然本发明的实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围内。

Claims (7)

1.一种基于自编码器的全线偏振图像融合方法，其特征在于，包括以下步骤：
步骤1，对由偏振成像技术获取的偏振图像进行Stokes解算，得到4个Stokes参量S0，S1，S2，S3，公式如下：
Figure FDA0003763349850000011
并根据偏振图像的Stokes矢量确定线偏振度图像DoLP和线偏振角图像AoLP：
Figure FDA0003763349850000012
Figure FDA0003763349850000013
其中，S0表示光强图像，S1表示线性或垂直线偏振分量图像，S2表示45度或135度处的线性偏振分量图像，S3表示光束中右旋或左旋的偏振分量图像，在自然环境中，圆偏振分量很小，可忽略；I0、I45、I90、I135分别表示0°、45°、90°、135°四个偏振方向的出射光强偏振图像，IL和IR分别表示左、右旋圆偏振图像；
步骤2，获得线偏振度图像DoLP、线偏振角图像AoLP的映射以形成新的偏振特征图像，将线偏振度图像DoLP、线偏振角图像AoLP的映射分别记为L1、L2：
L1＝DoLP·cos(2AoLP) 公式(4)
L2＝DoLP·sin(2AoLP) 公式(5)；
步骤3，利用局部直方图均衡算法对光强图像S0进行局部均衡处理，调整其像素值分布；
步骤4，将所述步骤3处理后的光强图像S0、由公式(4)和公式(5)获得的偏振特征图像L1和L2，送入预训练好的基于自编码器的图像融合网络，所述图像融合网络包括编码器、融合层、解码器；所述步骤3处理后的光强图像S0、L1和L2分别经过编码器进行特征提取后获得的高维度特征在融合层对应加权，再通过解码器重建生成融合图像。
2.根据权利要求1所述的基于自编码器的全线偏振图像融合方法，其特征在于，所述步骤1具体包括：
步骤11，利用偏振成像技术采集场景的偏振图像或者近红外偏振图像；
步骤12，将所述步骤11中获得的偏振图像解码成四个偏振方向的出射光强偏振图像I0、I45、I90、I135；此外，IL和IR分别表示左、右旋圆偏振图像；
步骤13，对所述步骤12得到的四张偏振图像分量I0、I45、I90、I135进行Stokes偏振态解算，得到偏振图像的4个Stokes参量S0，S1，S2，S3；
步骤14，根据偏振图像的Stokes矢量确定线偏振度图像DoLP和线偏振角图像AoLP。
3.根据权利要求2所述的基于自编码器的全线偏振图像融合方法，其特征在于，所述步骤11中，偏振图像基于分焦平面偏振传感器捕获，其关键部件是焦平面阵列，其中每四个微偏振器分别收集0°、45°、90°和135°方向的偏振光，形成一个2×2的超级像素，这些具有周期性的超级像素被排列在焦平面上，使分焦平面偏振传感器能够同时获得四个方向的偏振图像。
4.根据权利要求2所述的基于自编码器的全线偏振图像融合方法，其特征在于，所述步骤12中的解码方案采用牛顿插值法或双线性插值法或双三次插值法。
5.根据权利要求1所述的基于自编码器的全线偏振图像融合方法，其特征在于，所述步骤4中，基于自编码器的图像融合网络的训练，训练数据集在MS-COCO通用数据集上实施，训练数据集中的训练数据通过裁剪、旋转、翻转数据增强后分别在编码器中生成不同目标的高维特征，并解码获得重建后的图像，由损失函数约束，不断调整训练，直到最后生成器生成的图像与真实图像在允许的差异范围内；
其中的网络设计如下：
编码器，即特征提取阶段，使用一个标准卷积层和一个级联密集连接的卷积块组合，分别用于提取粗糙特征和深层特征，得到训练集的源图像的多维特征图；其中，级联密集连接的卷积块由三个卷积层组成，每一层的输出被用作所有后续层的输入；所有的卷积层由卷积核、批量归一层和ReLU激活层组成；网络中所有卷积核的尺寸都相同，均为3X3，自编码器的各个卷积层的维度都是16，其中，最后一个卷积层不包含ReLU层；
融合层，融合层的机制是像素加权，不参与网络训练；
解码器，即图像重建阶段，该阶段从高层次的特征中恢复出最后的融合结果；解码器由5层卷积层组成，各卷积层的维度分别是64，32，16，8，1；
损失函数对特征提取和图像重建效果非常重要，将其设计为：
Figure FDA0003763349850000031
通过最小化
Figure FDA0003763349850000032
实现图像融合的性能，其中经实验尝试确定权重α为1000，θ是神经网络中的训练参数，C指训练数据集MS-COCO，损失函数由两部分组成，分别是结构相似性损失函数LMS-SSIM和梯度损失函数LG：
Figure FDA0003763349850000041
Figure FDA0003763349850000042
其中MS-SSIM常常作为全参考的图像质量评价指标，用来驱动If融合图像不断向Is输入图像靠近；
Figure FDA0003763349850000043
分别是融合结果和源图像的梯度量，
Figure FDA0003763349850000044
是拉普拉斯提度算子，||·||表示弗罗贝尼乌斯范数，H、W分别为图像的长和宽。
6.根据权利要求5所述的基于自编码器的全线偏振图像融合方法，其特征在于，训练数据集在MS-COCO通用数据集上实施，其中上百万张图像参与训练，参与训练的图像既包括通用图像也包括偏振图像。
7.根据权利要求1所述的基于自编码器的全线偏振图像融合方法，其特征在于，由偏振成像技术获取的偏振态图像包括来自室内、室外、还有近红外场景的图像。
CN202210878279.8A 2022-07-25 2022-07-25 一种基于自编码器的全线偏振图像融合方法 Pending CN115393233A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210878279.8A CN115393233A (zh) 2022-07-25 2022-07-25 一种基于自编码器的全线偏振图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210878279.8A CN115393233A (zh) 2022-07-25 2022-07-25 一种基于自编码器的全线偏振图像融合方法

Publications (1)

Publication Number Publication Date
CN115393233A true CN115393233A (zh) 2022-11-25

Family

ID=84116190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210878279.8A Pending CN115393233A (zh) 2022-07-25 2022-07-25 一种基于自编码器的全线偏振图像融合方法

Country Status (1)

Country Link
CN (1) CN115393233A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503704A (zh) * 2023-06-27 2023-07-28 长春理工大学 一种强背景下目标偏振探测系统及其探测方法
CN116630310A (zh) * 2023-07-21 2023-08-22 锋睿领创(珠海)科技有限公司 一种石英玻璃的检测方法、装置、设备及介质
CN116630750A (zh) * 2023-07-21 2023-08-22 山东科技大学 偏振光图像处理方法、系统、计算机设备以及存储介质
CN116739958A (zh) * 2023-08-04 2023-09-12 长春理工大学 一种双谱段偏振超分辨率融合探测方法和系统
CN117928399A (zh) * 2024-03-22 2024-04-26 中国空气动力研究与发展中心超高速空气动力研究所 基于偏振光成像的同轴热电偶绝缘层厚度测量装置及方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503704A (zh) * 2023-06-27 2023-07-28 长春理工大学 一种强背景下目标偏振探测系统及其探测方法
CN116503704B (zh) * 2023-06-27 2023-09-05 长春理工大学 一种强背景下目标偏振探测系统及其探测方法
CN116630310A (zh) * 2023-07-21 2023-08-22 锋睿领创(珠海)科技有限公司 一种石英玻璃的检测方法、装置、设备及介质
CN116630750A (zh) * 2023-07-21 2023-08-22 山东科技大学 偏振光图像处理方法、系统、计算机设备以及存储介质
CN116630750B (zh) * 2023-07-21 2023-09-26 山东科技大学 偏振光图像处理方法、系统、计算机设备以及存储介质
CN116630310B (zh) * 2023-07-21 2023-11-17 锋睿领创(珠海)科技有限公司 一种石英玻璃的检测方法、装置、设备及介质
CN116739958A (zh) * 2023-08-04 2023-09-12 长春理工大学 一种双谱段偏振超分辨率融合探测方法和系统
CN116739958B (zh) * 2023-08-04 2023-11-03 长春理工大学 一种双谱段偏振超分辨率融合探测方法和系统
CN117928399A (zh) * 2024-03-22 2024-04-26 中国空气动力研究与发展中心超高速空气动力研究所 基于偏振光成像的同轴热电偶绝缘层厚度测量装置及方法
CN117928399B (zh) * 2024-03-22 2024-05-28 中国空气动力研究与发展中心超高速空气动力研究所 基于偏振光成像的同轴热电偶绝缘层厚度测量装置及方法

Similar Documents

Publication Publication Date Title
CN110570353B (zh) 密集连接生成对抗网络单幅图像超分辨率重建方法
CN115393233A (zh) 一种基于自编码器的全线偏振图像融合方法
Jung et al. Unsupervised deep image fusion with structure tensor representations
Khan et al. Flatnet: Towards photorealistic scene reconstruction from lensless measurements
Vanmali et al. Visible and NIR image fusion using weight-map-guided Laplacian–Gaussian pyramid for improving scene visibility
Wang et al. Recent progress in image deblurring
Lefkimmiatis et al. Hessian Schatten-norm regularization for linear inverse problems
Dong et al. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization
Ye et al. CSformer: Bridging convolution and transformer for compressive sensing
Ruan et al. Aifnet: All-in-focus image restoration network using a light field-based dataset
Zhao et al. Single image super-resolution based on deep learning features and dictionary model
Min et al. Blind deblurring via a novel recursive deep CNN improved by wavelet transform
Wang et al. Multivector sparse representation for multispectral images using geometric algebra
CN116091916A (zh) 一种多尺度从rgb图像重建对应的高光谱图像算法及系统
Hsu et al. Object detection using structure-preserving wavelet pyramid reflection removal network
CN112465796B (zh) 一种融合焦点堆栈和全聚焦图像的光场特征提取方法
Luo et al. Infrared and visible image fusion based on visibility enhancement and norm optimization low-rank representation
Gao et al. Infrared and visible image fusion using dual-tree complex wavelet transform and convolutional sparse representation
Chudasama et al. Computationally efficient progressive approach for single-image super-resolution using generative adversarial network
Vavilin et al. Fast HDR image generation from multi-exposed multiple-view LDR images
Singh et al. A non-conventional review on image fusion techniques
CN114821239A (zh) 一种有雾环境下的病虫害检测方法
Kour et al. A review on image processing
Zhang et al. Learning to perform joint image super-resolution and rain removal via a single-convolutional neural network
Kun et al. Color image detail enhancement based on quaternion guided filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination