CN117876253B - 一种低照度彩色偏振图像增强方法及系统 - Google Patents

Abstract

本发明属于偏振图像处理及显示技术领域，公开了一种低照度彩色偏振图像增强方法及系统。该方法将选取的不同方向偏振态的低照度彩色偏振图像通过预处理模块进行处理获取不同偏振方向的低照度彩色偏振角度子图像；将所述不同偏振方向的低照度彩色偏振角度子图像输入至增强融合模块进行增强融合获得不同偏振方向增强后的彩色偏振结果图像。本发明实现了在不损失彩色偏振图像中偏振信息的情况下，将低照度条件下的彩色偏振图像进行色偏校正及去噪，解决了彩色偏振相机拍摄图像时因环境原因所导致的噪声较多问题，提高了观察者对偏振图像中目标物的高辨识度信息处理。

Description

一种低照度彩色偏振图像增强方法及系统

技术领域

本发明属于偏振图像处理及显示技术领域，尤其涉及一种低照度彩色偏振图像增强方法及系统。

背景技术

偏振成像是一种利用光的偏振特性来获取图像的技术，可以提供物体表面特性、材质及光线传播方式的附加信息，在安全监控、深海探测及天文观测等领域广泛应用。随着偏振成像传感器的发展，彩色偏振相机在偏振成像中得到了广泛的应用，其将光谱和偏振信息进行结合，有效地获取具有多维信息的图像，但是在低照度环境下常常面临着噪声增强及偏振信息丢失的问题，不能满足实际应用。

目前关于低照度偏振图像增强共分为三类，第一，基于非局部块匹配方法，可以很好地恢复图像细节信息但不能校正色偏；第二，基于Retinex（视网膜假设）方法，其可以抑制暗环境下的噪声并纠正颜色偏差，适用性较差；第三，基于深度学习的方法，其可以去噪及色偏校正，但并未充分考虑偏振成像及常规强度成像之间的差异，导致不能获得较好的强度、偏振度及偏振角图像。

发明内容

为克服相关技术中存在的问题，本发明公开实施例提供了一种低照度彩色偏振图像增强方法及系统。具体涉及一种低照度环境下结合偏振图像信息分解的低照度彩色偏振图像的增强方法。本发明目的在于为解决目前低照度彩色偏振图像增强技术存在的不足，本发明提出了一种低照度彩色偏振图像增强方法，结合偏振信息分解和深度学习技术，在不损失偏振信息的基础上将低照度条件下的彩色偏振图像进行色偏校正及去噪，准确恢复了偏振图像中的色彩及偏振信息，减少了更多因在低照度环境中产生的噪声问题，提高观察者对偏振图像中目标物的高辨识度信息处理。并在公开数据集LLCP上进行测试及验证，充分说明本方法的有效性

所述技术方案如下：低照度彩色偏振图像增强方法，包括：

S1：对选取的不同方向偏振态的低照度彩色偏振图像通过预处理模块进行处理，获取不同偏振方向的低照度彩色偏振角度子图像；

S2：将所述不同偏振方向的低照度彩色偏振角度子图像输入至增强融合模块进行增强融合，获得不同偏振方向增强后的彩色偏振结果图像。

在步骤S1中，在不同方向偏振态的低照度彩色偏振图像中，不同方向偏振态包括0°~360°任意角度的多个方向偏振态图像，多个方向偏振态图像均通过预处理模块进行处理，分别获取多个方向偏振态图像的低照度彩色偏振角度子图像；

不同方向偏振态的低照度彩色偏振图像统称为，不同偏振方向的低照度彩色偏振角度子图像统称为/>。

进一步，所述不同偏振方向的低照度彩色偏振角度子图像包括：

S101：将不同方向偏振态的低照度彩色偏振图像作为输入，进行区域分割分为/>块，区域分割操作后，分割的低照度彩色偏振图像块变量集合为：

；

式中，为分割类别集合，/>为第一分割类别，/>为第K分割类别；

S102：利用图像分解方法将进行分解，分解出/>个反射率图像/>及/>个照射度图像/>，表达式为：

；

；

式中，为反射率图像，/>为照射度图像，/>为第一个反射率图像，/>为第/>个反射率图像，/>为第一个照射度图像，/>为第/>个照射度图像；

S103：将反射率图像及照射度图像/>进行偏振信息分解，获得多个不同/>低照度彩色偏振角度反射率图像/>和多个不同/>低照度彩色偏振角度照射度图像/>，其中，，将/>和/>统称为不同偏振方向的低照度彩色偏振角度子图像/>，即/>。

在步骤S2中，所述获得不同偏振方向增强后的彩色偏振结果图像包括：

S201：将多个不同低照度彩色偏振角度反射率图像/>输入至增强网络模块生成偏振方向反射率子图像/>；将多个不同/>低照度彩色偏振角度照射度图像/>输入至约束网络模块生成偏振方向照射度子图像/>；

S202：将偏振方向子图像按通道拼接为个2通道的数组，即/>；

S203：将进行增强融合，获得不同偏振方向的增强后彩色偏振结果图像。

进一步的，在步骤S201中，所述增强网络模块通过学习图像的细微差异对复杂场景的处理，适应图像中不同区域的变化，并捕捉彩色偏振图像中在低照度条件下丧失的关键细节信息；所述约束网络模块是为了增强彩色偏振图像的边缘细节，降低噪声对图像的干扰；

所述增强网络模块通过深度可分离卷积、批归一化和激活函数组件的结合，提取和强调图像的微小特征，防止在低照度环境中出现的细节模糊和信息丢失，保留图像的细节信息；

所述约束网络模块包括高斯滤波卷积、拉普拉斯增强卷积及非线性激活函数，用于平滑低照度彩色偏振角度子图像并增强边缘，降低噪声对图像的干扰；所述高斯滤波卷积用于去除高频噪声，保留不同偏振方向的低照度彩色偏振角度子图像的整体结构；所述拉普拉斯增强卷积利用拉普拉斯滤波，增强多个不同低照度彩色偏振角度照射度图像的边缘特征；所述非线性激活函数用于网络的非线性拟合；

在步骤S203中，将进行增强融合，获得不同偏振方向的增强后彩色偏振结果图像/>，包括：

将输入融合网络模块进行增强融合，所述融合网络模块包括：卷积层、softmax层；

通过对每个偏振方向的通道应用1×1的卷积层，获得相应的注意力分数，并对注意力分数进行softmax操作，获得归一化权重信息；使用注意力权重对每个偏振方向的结果进行加权融合。

还包括：通过设置内容损失函数，用于量化增强后的彩色偏振图像与正常亮度下的彩色偏振图像之间的差异，使融合网络保留图像的内容和细节信息，在低照度条件下保留边缘、纹理和结构的图像特征；

通过设置光度损失函数，用于比较增强后的彩色偏振图像与正常亮度下的彩色偏振图像之间在光度学上的相似性，使融合网络调整图像的亮度和色彩信息，使得生成得结果图像真实；

通过设置全变分损失函数，用于对图像的空间梯度进行正则化，使得不同偏振方向的增强后彩色偏振结果图像图像平滑；

通过设置总损失函数用于从多个方面的目标，平衡不同类型的损失。

本发明的另一目的在于提供一种低照度彩色偏振图像增强系统，该系统实施所述低照度彩色偏振图像增强方法，该系统包括：

预处理模块，用于对选取的不同方向偏振态的低照度彩色偏振图像通过预处理模块进行处理，获取不同偏振方向的低照度彩色偏振角度子图像；

增强融合模块，用于将所述不同偏振方向的低照度彩色偏振角度子图像进行增强融合，获得不同偏振方向增强后的彩色偏振结果图像。

进一步，所述预处理模块包括：用于区域分割的区域分割模块和用于图像分解的图像分解模块，所述区域分割模块，用于将不同方向偏振态的低照度彩色偏振图像作为输入，进行区域分割分为/>块，区域分割操作后分割的低照度彩色偏振图像块变量集合；

所述图像分解模块，用于利用图像分解方法将低照度彩色偏振图像块变量集合进行分解，分解出个反射率图像/>及/>个照射度图像/>，以及用于将反射率图像/>及照射度图像/>进行偏振信息分解，获得不同偏振方向的低照度彩色偏振角度子图像/>。

进一步，所述增强融合模块包括增强网络模块、约束网络模块及融合网络模块；其中，增强网络模块与约束网络模块呈并行结构，并行后与融合网络模块采取顺序串行结构获得不同偏振方向增强后彩色偏振结果图像，统称为；

所述增强网络模块，用于生成偏振方向反射率子图像；

所述约束网络模块，用于生成偏振方向照射度子图像；

所述融合网络模块，用于将偏振方向子图像按通道拼接为个2通道的数组进行增强融合获得不同偏振方向增强后的彩色偏振结果图像/>。

进一步，所述低照度彩色偏振图像增强系统搭载在计算机设备，该计算机设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述低照度彩色偏振图像增强系统的功能。

结合上述的所有技术方案，本发明所具备的有益效果为：本发明提供的预处理模块指将低照度彩色偏振图像进行区域分割，并对其分割后的图像块进行图像分解；所述增强融合模块将图像分解后的结果分别输入至增强网络模块和约束网络模块，并将结果输入至融合网络模块，获得增强后的彩色偏振结果图像；本发明实现了在不损失彩色偏振图像中偏振信息的情况下，将低照度条件下的彩色偏振图像进行色偏校正及去噪，解决了彩色偏振相机拍摄图像时因环境原因所导致的噪声较多问题，提高了观察者对偏振图像中目标物的高辨识度信息处理。

相比于现有技术，本发明的优点进一步包括：首先，本发明充分结合偏振信息，能够利用图像中额外的光学属性，提供更加全面的信息，有助于更准确地表征物体和场景信息；其次，区域分割和偏振信息分解可以使其更加专注于不同区域的特征，提高对复杂场景的处理能力，获得更加精准和精细的预处理图像；此外，本发明结合深度学习模型对低照度彩色偏振图像进行增强，有组合与学习复杂特征和模式，改善图像的质量，为后续图像分析和识别任务做准备；最后，本发明的增强结果不仅有效地提高了彩色偏振图像的亮度，使得彩色偏振图像的可视性提高，而且细节也更加清晰，并且在增强亮度的同时，本发明能够保持偏振信息的完整性，减轻了因增强处理操作而导致的信息丢失问题。

综上，本发明的最终目标是为了提高观察者对偏振图像中目标的识别能力。清晰度的提高、噪声降低及偏振信息的充分利用有助于图像更容易理解和解释，从而提高目标识别的准确性和可靠性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理；

图1是本发明实施例提供的低照度彩色偏振图像增强方法流程图；

图2是本发明实施例提供的低照度彩色偏振图像增强系统原理图；

图3是本发明实施例提供的增强网络模块结构原理示意图；

图4是本发明实施例提供的约束网络模块结构原理示意图；

图中：1、预处理模块；101、区域分割模块；102、图像分解模块；2、增强融合模块；201、增强网络模块；202、约束网络模块；203、融合网络模块。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

本发明的创新点在于：针对目前低照度彩色偏振图像增强算法存在亮度低、偏振信息丢失及存在噪声等问题，提出了一种结合预处理模块1和增强融合模块2相结合的低照度彩色偏振图像增强方法。预处理模块1采用区域分割模块101对低照度彩色偏振图像进行分割，区域分割的精细性有助于针对不同区域的亮度特性进行个性化处理；采用图像分解模块102对低照度彩色偏振图像进行分解，进一步将每个区域块中的信息细化为更小的元素，使得处理能够更加精细化和灵活化；增强网络模块201是为了保留彩色偏振图像的细节信息及学习图像的细微差异；约束网络模块202是为了更有针对性地改善图像的边缘细节，并有效降低噪声对图像的影响；融合网络模块203是为了获得不同偏振方向的增强后彩色偏振结果图像便于后续处理。

实施例1，如图1所示，本发明实施例提供的一种低照度彩色偏振图像增强方法，该低照度彩色偏振图像增强网络是由一个深度学习网络构成，网络包括预处理模块1及增强融合模块2；方法包括以下步骤：

S1：对选取的不同方向偏振态的低照度彩色偏振图像通过预处理模块1进行处理，获取不同偏振方向的低照度彩色偏振角度子图像；

S2：将所述不同偏振方向的低照度彩色偏振角度子图像输入至增强融合模块2进行增强融合，获得不同偏振方向增强后的彩色偏振结果图像。

在本发明步骤S1中，在不同方向偏振态的低照度彩色偏振图像中，不同方向偏振态包括0°~360°任意角度的多个方向偏振态图像，多个方向偏振态图像均通过预处理模块1进行处理，分别获取多个方向偏振态图像的低照度彩色偏振角度子图像；

不同方向偏振态的低照度彩色偏振图像统称为，不同偏振方向的低照度彩色偏振角度子图像统称为/>。

作为优选实施例中，所述不同方向偏振态的低照度彩色偏振图像中的不同方向偏振态包括四个方向偏振态，所述四个方向偏振态均按相同操作通过预处理模块1进行处理分别获取四个偏振方向的低照度彩色偏振角度子图像。

所述不同偏振方向的低照度彩色偏振角度子图像具体包括如下步骤：

S101：将不同方向偏振态的低照度彩色偏振图像作为输入，进行区域分割分为/>块，区域分割操作后，分割的低照度彩色偏振图像块变量集合为：

；

式中，为分割类别集合，/>为第一分割类别，/>为第K分割类别；

在本实施例中，本发明采用目前语义分割较优的区域分割方法，即SAM算法对低照度彩色偏振图像进行分割，其中，取值由低照度彩色偏振图像中的语义信息决定；

S102：利用图像分解方法将进行分解，分解出/>个反射率图像/>及/>个照射度图像/>，表达式为：

；

；

式中，为反射率图像，/>为照射度图像，/>为第一个反射率图像，/>为第/>个反射率图像，/>为第一个照射度图像，/>为第/>个照射度图像；

在本实施例中，本发明利用Retinex分解方法对分割后的低照度彩色偏振图像方法进行分解，分解出个反射率图像及/>个照射度图像；

可以理解，本发明的实施例中图像分解方法为利用Retinex方法对低照度彩色偏振图像进行分解，也可以利用其它图像分解方法对低照度彩色偏振图像进行分解，只要可以分解出反射率图像和照射度图像即可，本发明这一步是做预处理步骤，所以将其操作统称图像分解；

S103：将反射率图像及照射度图像/>进行偏振信息分解，获得多个不同/>低照度彩色偏振角度反射率图像/>和多个不同/>低照度彩色偏振角度照射度图像/>，其中，将/>和/>统称为不同偏振方向的低照度彩色偏振角度子图像/>，即/>。

在本实施例中，作为一种优选的方式，本发明取0°，45°，90°及135°共计4个角度的低照度彩色偏振反射率图像和照射度图像。

可以理解，本发明创新的提出不同偏振方向的低照度彩色偏振角度子图像。

本发明采用区域分割和图像分解的技术手段旨在更有效地处理低照度彩色偏振图像，以实现对不同区域块的亮度增强，并避免偏振信息丢失的问题。主要通过细致的区域分析和分解操作，有针对性地提升低照度彩色偏振图像的视觉质量。通过区域分割，可以将更复杂的彩色偏振图像划分成不同的区域块，每个区域块包含特定的特征和信息。这种区域分割的精细性有助于针对不同区域的亮度特性进行个性化处理；而图像分解则进一步将每个区域块中的信息细化为更小的元素，使得处理能够更加精细化和灵活化。这两项操作进行协同操作，使得预处理操作能够更加精确地了解和捕捉图像中各个区域的细微差异，为后续增强操作做奠定基础。

在处理低照度彩色偏振图像时，提升亮度是一个关键目标。区域分割和图像分解的操作使得亮度增强的过程可以在不同的局部区域有针对性地进行，有助于提高整体图像的明亮度，维持各个区域之间的对比度，确保图像细节得到充分提升。同时，预处理模块1在避免了增强亮度的过程中丢失了偏振信息的问题，偏振信息对于图像的理解和分析至关重要，因此在亮度增强的同时保留这些信息，可以确保本发明结果图像的综合质量得到有效提升。

在本发明实施例步骤S2中，如图2所示，增强融合模块2具体包括增强网络模块201、约束网络模块202及融合网络模块203；其中，增强网络模块201与约束网络模块202呈并行结构，并行后与融合网络模块203采取顺序串行结构获得不同偏振方向增强后的彩色偏振结果图像；

所述增强网络模块201用于生成偏振方向反射率子图像；

所述约束网络模块202用于生成偏振方向照射度子图像；

所述融合网络模块203用于将偏振方向子图像按通道拼接为个2通道的数组/>进行增强融合获得不同偏振方向增强后的彩色偏振结果图像/>。

将所述不同偏振方向的低照度彩色偏振角度子图像输入至增强融合模块2中进行增强融合获得不同偏振方向增强后的彩色偏振结果图像，具体步骤如下：

S201：将多个不同低照度彩色偏振角度反射率图像/>输入至增强网络模块201生成偏振方向反射率子图像/>；将多个不同/>低照度彩色偏振角度照射度图像/>输入至约束网络模块202生成偏振方向照射度子图像/>；

可以理解，本发明采用增强网络模块201是为了保留彩色偏振图像的细节信息及学习图像的细微差异；如果不采取增强网络模块201会导致结果图像出现色彩失真导致颜色不真实，及缺乏质感信息。

采用约束网络模块202是为了增强彩色偏振图像的边缘细节，降低噪声对图像的干扰；如果不采用约束网络模块202会导致结构图像中物体的边缘变得模糊不清，物体特征变得更加模糊，辨识度更低，从而引入视觉上的不适感。

S202：将偏振方向子图像按通道拼接为个2通道的数组，即/>；

可以理解，通过通道拼接可以允许将不同通道的特征信息结合在一起，从而创建出更丰富、更综合的特征表示，使得不同通道之间的相关性充分利用，有助于提高模型对图像中关联信息的理解能力。

S203：将进行增强融合，获得不同偏振方向的增强后彩色偏振结果图像。

实施例2，示例性的，作为一种实施方式，在本发明实施例步骤S2包括：

如图3所示，为增强网络模块201结构示意图，该流程具体步骤如下：

将步骤S201中4个0°，45°，90°及135°的低照度彩色偏振角度反射率图像（）输入至增强网络模块201生成偏振方向反射率子图像（）；在本实施例中，本发明增强网络模块201由深度可分离模块及逆向恢复模块组成，并添加残差连接将输入与输出相加，保留图像更多的细节信息并学习低照度彩色偏振角度子图像的细微差异，形成一个端到端的增强网络模块201。其中，深度可分离卷积模块具体包括深度可分离卷积层、批量归一化层及激活函数，逆向恢复模块具体包括逆卷积层。本增强网络模块201实例中一共配置了3个深度可分离卷积模块及逆向恢复模块；

增强网络模块201是为了更有效地保留图像的细节信息，并通过学习图像的细微差异实现对复杂场景的更精准处理。本发明增强网络模块201用于捕捉彩色偏振图像中在低照度条件下丧失的关键细节信息，从而确保增强后的图像更具有清晰度和可识别性。在细节信息的保留方面，本发明的增强网络模块201通过深度学习技术，特别是深度可分离卷积、批归一化和激活函数等组件的结合，有助于有效提取和强调图像的微小特征，防止在低照度环境中可能出现的细节模糊和信息丢失；通过学习图像的细微差异，模块可以更好地适应图像中不同区域的变化，提高对复杂光照和颜色条件的适应性，从而实现更加精准和全面的图像恢复。

如图4所示，为约束网络模块202结构示意图，该流程具体步骤如下：

将4个0°，45°，90°及135°的低照度彩色偏振角度照射度图像（）输入至约束网络模块202生成偏振方向照射度子图像（）；在本实施例中，本发明约束网络模块202包括高斯滤波卷积、拉普拉斯增强卷积及非线性激活函数，将三者进行结合，有助于不同偏振方向的低照度彩色偏振角度子图像/>平滑并增强边缘，降低噪声对图像的干扰。本约束网络中，高斯滤波卷积目的是为了去除高频噪声，保留低照度彩色偏振角度子图像的整体结构，减少噪声对低照度彩色偏振图像增强的影响；拉普拉斯增强卷积利用拉普拉斯滤波，增强0°，45°，90°及135°的低照度彩色偏振角度照射度图像（/>）的边缘特征；非线性激活函数的目的是为了提高网络的非线性拟合能力；本发明实施例中约束模块一共配置了2个高斯滤波卷积、拉普拉斯增强卷积及ReLu非线性激活函数。

约束网络模块202是为了更有针对性地改善图像的边缘细节，并有效降低噪声对图像的影响。本发明约束网络模块202的引入在于通过约束和引导的机制，强调对彩色偏振图像中的边缘部分的精准增强，以确保关键的图像特征得到充分凸显。此模块有助于提高彩色偏振图像在边缘区域的清晰度，使得细微的结构和纹理更为明显，从而增强图像的整体感知质量。与此同时，在低照度环境中，彩色偏振图像容易受到各种噪声的干扰，影响图像的可视性和可解释性。通过引入约束网络，可以在增强的过程中通过专注于边缘部分的细节提升，更有效地抑制噪声的影响，从而改善图像的清晰度和整体质量，使其在一定程度上对低照度彩色偏振图像的增强效果更加精准和可控，以获得更高的清晰度和信息完整性。

其次，将偏振方向子图像按通道拼接为个2通道的数组，即/>，，/>及/>；输入至融合网络模块203中获得不同偏振方向的增强后彩色偏振结果图像/>，以便后续对结果图像进行处理。

在本实施例步骤S3中，本发明深度学习网络还包括融合网络，包括卷积层、softmax层。通过对每个偏振方向的通道应用一个1×1的卷积层，获得相应的注意力分数，并对其进行softmax操作，获得归一化权重信息，接着使用注意力权重对每个偏振方向的结果进行加权融合，最终获得融合后的增强结果。

设置本发明的损失函数：

内容损失：

；

其中，是不同方向偏振态的低照度彩色偏振图像；/>是不同偏振方向的增强后彩色偏振结果图像；/>是特征提取函数；/>是特征表示的维度数量；/>是真实图像在第/>个维度上的表示；/>是增强图像在第/>个维度上的表示。

光度损失：

；

全变分损失：

；

其中，分别是图像的像素索引。

总损失函数：

；

其中，分别为网络中的超参数，/>。

内容损失的目的是量化增强后的彩色偏振图像与正常亮度下的彩色偏振图像之间的差异，从而使网络更好地保留图像的内容和细节信息，促使网络在低照度条件下保留关键的图像特征，如边缘、纹理和结构信息；

光度损失通过比较增强后的彩色偏振图像与正常亮度下的彩色偏振图像之间在光度学上的相似性，使网络能更好地调整图像的亮度和色彩信息，使得生成得结果图像能更接近真实图像，提高图像在视觉上得自然感和真实感；

全变分损失通过对图像的空间梯度进行正则化，使得结果图像具有更加平滑和自然的外观，减少可能存在的噪声和突兀的细节；

总损失函数综合考虑从多个方面的目标，通过平衡不同类型的损失，引导深度学习网络生成更加符合期望的图像。

在本实施例步骤S3中。本实施例中将增强结果进行stokes解算，获得解算后的增强线偏振度、偏振角/>及强度图像/>；

其具体计算过程如公式（5）和公式（6）所示：

；

；

其中，0°，45°，90°及135°表示4个不同的偏振方向的角度值，表示x轴横向方向上偏振光分量的强度值，/>表示斜切轴45°方向上偏振光分量的强度值。线偏振度/>是偏振光强度与总光强的强度值之比，偏振角/>是线偏振光的偏振方向与水平方向所成的角度信息。

通过上述实施例可知，本发明还具有以下优点：

改善图像质量：本发明通过增强低照度彩色偏振图像，可以提高图像的清晰度、对比度和颜色准确性。这对于很多应用场景，如监控系统、夜间拍摄、医学成像等都是关键的。提高图像质量可以带来更准确的信息，有助于做出更可靠的决策。

增强安全性：在监控和安防领域，提高低照度彩色偏振图像的质量可以增强监视系统的性能，提高夜间监测的效果。这可以提高安全性，减少犯罪风险。

医学成像：在医学图像领域，改善低照度图像的质量对于疾病诊断和手术过程中的导航都非常重要，偏振特性可以显示出医学成像的病态结构，这可以提高医疗设备的效能，改善患者护理。

本发明第一次将区域分割及图像分解技术与增强融合网络进行结合对低照度彩色偏振图像进行增强，采用了较为新颖的算法，弥补了当前针对彩色偏振图像此类光学图像在低照度下增强算法的不足；本发明算法有效融合彩色、偏振和低照度信息，提供了更加全面和准确的图像增强效果，引入了国内外业内技术空白的新维度；本发明在不同环境和场景下都能够适应，并且可以泛化到不同类型的彩色偏振图像中，填补了目前低照度彩色偏振图像方面的技术空白。

传统的彩色偏振图像增强算法在低光条件下常常无法提供清晰、对比度高且颜色准确的图像，本发明通过融合偏振信息和深度学习技术，有效地提高了彩色偏振图像在这些条件下的可视质量；

本发明使用包含不同场景和环境的多样性数据集进行训练和评估，有助于确保算法具有泛化性，而不仅仅是在特定的条件下表现优异；本发明在训练数据时去除了可能导致技术偏见的因素，比如，特定环境下的光照偏见等。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

上述装置/单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程。

本发明实施例还提供了一种计算机设备，该计算机设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。

本发明实施例还提供了一种信息数据处理终端，所述信息数据处理终端用于实现于电子装置上执行时，提供用户输入接口以实施如上述各方法实施例中的步骤，所述信息数据处理终端不限于手机、电脑、交换机。

本发明实施例还提供了一种服务器，所述服务器用于实现于电子装置上执行时，提供用户输入接口以实施如上述各方法实施例中的步骤。

本发明实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random AccessMemory，RAM）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。

为进一步说明本发明实施例相关效果，进行如下实验：本发明选取2023年公开数据集LLCP作为训练和测试集，采用图像分割和图像分解是为了更好地恢复不同区域块亮度增强及避免偏振信息丢失问题；采用增强网络模块201是为了保留彩色偏振图像的细节信息及学习图像的细微差异；采用约束网络模块202是为了增强彩色偏振图像的边缘细节，降低噪声对图像的干扰；采用融合模块203是为了偏振信息更好地融合，以便后续处理。

从实验结果可以明显看出，本发明算法在一定程度上缓解了S0图像的颜色偏差，并校正了柱子等物体附近的色偏，整体的对比度有所增加，其AOP和DoLP的局部失真问题也得到了明显改善。IBA算法增强结果仍包含一些明显的噪声；RBMP算法并没正确纠正隐藏在黑暗中的颜色偏差；Zero-DCE算法柱子处几乎没有增强，导致AOP和DoLP处的噪声较多，质量较差；U-Retinex算法整体色调偏暗，并未对整体低照度彩色偏振图像进行亮度增强；RRDNet算法整体色调较发白，不符合人类视觉感知。

上述是从定性方面对本发明增强算法的评估，下面进行定量评估，采用PSNR、SSIM、及PCQI评价指标，使用20组低照度图像作为测试，对比结果如表1所示；实验结果表明，本发明的一种低照度彩色偏振图像增强方法对增强后的彩色偏振S0及DoLP图像的PSNR和SSIM值均取得最优值，且较次优值分别提高了2.2884及0.0600,0.6986及0.001，明显大部分指标值优于其他算法。

表1 不同算法对比结果：

。

以上所述，仅为本发明较优的具体的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种低照度彩色偏振图像增强方法，其特征在于，该方法包括：

S1：对选取的不同方向偏振态的低照度彩色偏振图像通过预处理模块(1)进行处理，获取不同偏振方向的低照度彩色偏振角度子图像；

S2：将所述不同偏振方向的低照度彩色偏振角度子图像输入至增强融合模块(2)进行增强融合，获得不同偏振方向增强后的彩色偏振结果图像；

在步骤S1中，在不同方向偏振态的低照度彩色偏振图像中，不同方向偏振态包括0°～360°任意角度的多个方向偏振态图像，多个方向偏振态图像均通过预处理模块(1)进行处理，分别获取多个方向偏振态图像的低照度彩色偏振角度子图像；

不同方向偏振态的低照度彩色偏振图像统称为I₀，不同偏振方向的低照度彩色偏振角度子图像统称为I₁；

所述不同偏振方向的低照度彩色偏振角度子图像包括：

S101：将不同方向偏振态的低照度彩色偏振图像I₀作为输入，进行区域分割分为K块，区域分割操作后，分割的低照度彩色偏振图像块变量集合为：

I₀ ^′＝{I₁ ^′,I₂ ^′,I₃ ^′…I^′ _K}

式中，I₀ ^′为分割类别集合，I₁ ^′为第一分割类别，I^′ _K为第K分割类别；

S102：利用图像分解方法将I₀ ^′进行分解，分解出K个反射率图像及K个照射度图像表达式为：

式中，为反射率图像，/>为照射度图像，/>为第一个反射率图像，/>为第K个反射率图像，/>为第一个照射度图像，/>为第K个照射度图像；

S103：将反射率图像及照射度图像/>进行偏振信息分解，获得多个不同n^°低照度彩色偏振角度反射率图像/>和多个不同n^°低照度彩色偏振角度照射度图像/>其中，n^°＝1^°,2^°…360^°，将/>和/>统称为不同偏振方向的低照度彩色偏振角度子图像I₁，即

在步骤S2中，所述获得不同偏振方向增强后的彩色偏振结果图像包括：

S201：将多个不同n^°低照度彩色偏振角度反射率图像输入至增强网络模块(201)生成偏振方向反射率子图像/>将多个不同n^°低照度彩色偏振角度照射度图像/>输入至约束网络模块(202)生成偏振方向照射度子图像/>

S202：将偏振方向子图像按通道拼接为n×K个2通道的数组，即

S203：将进行增强融合，获得不同偏振方向的增强后彩色偏振结果图像I₂；

在步骤S201中，所述增强网络模块(201)通过学习图像的细微差异对复杂场景的处理，适应图像中不同区域的变化，并捕捉彩色偏振图像中在低照度条件下丧失的关键细节信息；所述约束网络模块(202)是为了增强彩色偏振图像的边缘细节，降低噪声对图像的干扰；

所述增强网络模块(201)通过深度可分离卷积、批归一化和激活函数组件的结合，提取和强调图像的微小特征，防止在低照度环境中出现的细节模糊和信息丢失，保留图像的细节信息；

所述约束网络模块(202)包括高斯滤波卷积、拉普拉斯增强卷积及非线性激活函数，用于平滑低照度彩色偏振角度子图像并增强边缘，降低噪声对图像的干扰；所述高斯滤波卷积用于去除高频噪声，保留不同偏振方向的低照度彩色偏振角度子图像的整体结构；所述拉普拉斯增强卷积利用拉普拉斯滤波，增强多个不同n^°低照度彩色偏振角度照射度图像的边缘特征；所述非线性激活函数用于网络的非线性拟合。

2.根据权利要求1所述的低照度彩色偏振图像增强方法，其特征在于，在步骤S203中，将进行增强融合，获得不同偏振方向的增强后彩色偏振结果图像I₂，包括：

将输入融合网络模块(203)进行增强融合，所述融合网络模块(203)包括：卷积层、softmax层；

通过对每个偏振方向的通道应用1×1的卷积层，获得相应的注意力分数，并对注意力分数进行softmax操作，获得归一化权重信息；使用注意力权重对每个偏振方向的结果进行加权融合。

3.根据权利要求2所述的低照度彩色偏振图像增强方法，其特征在于，还包括：通过设置内容损失函数，用于量化增强后的彩色偏振图像与正常亮度下的彩色偏振图像之间的差异，使融合网络保留图像的内容和细节信息，在低照度条件下保留边缘、纹理和结构的图像特征；

通过设置光度损失函数，用于比较增强后的彩色偏振图像与正常亮度下的彩色偏振图像之间在光度学上的相似性，使融合网络调整图像的亮度和色彩信息，使得生成得结果图像真实；

通过设置全变分损失函数，用于对图像的空间梯度进行正则化，使得不同偏振方向的增强后彩色偏振结果图像I₂图像平滑；

通过设置总损失函数用于从多个方面的目标，平衡不同类型的损失。

4.一种低照度彩色偏振图像增强系统，其特征在于，该系统实施如权利要求1-3任意一项所述低照度彩色偏振图像增强方法，该系统包括：

预处理模块(1)，用于对选取的不同方向偏振态的低照度彩色偏振图像进行处理，获取不同偏振方向的低照度彩色偏振角度子图像；

增强融合模块(2)，用于将所述不同偏振方向的低照度彩色偏振角度子图像进行增强融合，获得不同偏振方向增强后的彩色偏振结果图像。

5.根据权利要求4所述低照度彩色偏振图像增强系统，其特征在于，所述预处理模块(1)包括：用于区域分割的区域分割模块(101)和用于图像分解的图像分解模块(102)，

所述区域分割模块(101)，用于将不同方向偏振态的低照度彩色偏振图像I₀作为输入，进行区域分割分为K块，区域分割操作后分割的低照度彩色偏振图像块变量集合；

所述图像分解模块(102)，用于利用图像分解方法将低照度彩色偏振图像块变量集合进行分解，分解出K个反射率图像及K个照射度图像/>以及用于将反射率图像/>及照射度图像/>进行偏振信息分解，获得不同偏振方向的低照度彩色偏振角度子图像I₁。

6.根据权利要求4所述低照度彩色偏振图像增强系统，其特征在于，所述增强融合模块(2)包括：增强网络模块(201)、约束网络模块(202)及融合网络模块(203)；其中，增强网络模块(201)与约束网络模块(202)呈并行结构，并行后与融合网络模块(203)采取顺序串行结构获得不同偏振方向增强后彩色偏振结果图像，统称为I₂；

所述增强网络模块(201)，用于生成偏振方向反射率子图像

所述约束网络模块(202)，用于生成偏振方向照射度子图像

所述融合网络模块(203)，用于将偏振方向子图像按通道拼接为n×K个2通道的数组进行增强融合获得不同偏振方向增强后的彩色偏振结果图像I₂。