CN113920297B - 基于物理驱动的神经网络透过散射介质的彩色泛化成像方法 - Google Patents

Abstract

本发明公开一种基于物理驱动的神经网络透过散射介质的彩色泛化成像方法，包括建立一个物理模型与神经网络模型互驱动的神经网络、建立一个用于采集实验图像数据的系统配置，将采集到的图像数据经过预处理后送进神经网络进行图像复原重建。本发明将基于散斑相关和散斑冗余性物理先验和多通道卷积神经网络强大的数据挖掘和映射能力的有效结合，仅利用一块介质的散斑数据即可实现透过未知散射介质的多光谱复杂目标等情况下，实现对目标的高质量恢复，有力地推动了物理感知学习方法在实际散射场景中的成像泛化成像。该方法更加充分的利用了散斑的原始信息，对实际散射场景复杂多变、目标信息特性复杂和数据难以充分获取任务。

Description

基于物理驱动的神经网络透过散射介质的彩色泛化成像方法

技术领域

本发明属于计算成像领域，具体涉及一种基于物理驱动的神经网络透过散射介质的彩色泛化成像方法。

背景技术

经过散射介质的随机调制，目标信息退化为不在具有原始的空间结构信息的散斑图案，同时目标空间位置对应的光谱信息也随着散射过程被打乱。如何对散射退化后的目标进行恢复并同时还原物体对应的颜色信息，是一个非常具有挑战的问题。同时，在医疗观测和实际场景中，散射场景大都是不稳定的，如何在未知的散射场景对退化目标进行重建是计算成像领域的研究热点之一。我们生活的现实世界是一个具有多波段光谱信息并存的环境，光谱等颜色信息也包含了重要的目标特征，对目标特性的分析至关重要，比如生物组织成像的病变判别。同时对散射退化后的颜色信息结合空间结构特征进行有效地还原，进一步增加了透过散射介质成像的难度，因此准确恢复散射退化目标的对应颜色信息也是计算成像领域中一个亟待解决的问题。

目前已经有一些散射成像计算方法来恢复散射退化后的目标，主要包括相干门控法、基于波前整形的方法、基于传输矩阵的方法、基于单像素成像的方法、基于点扩散函数的方法和基于光学记忆效应的散斑相关方法。但是以上方法大都聚焦在固定的窄波段目标重建，在多光谱散射计算成像方面主要有基于点扩散函数的方法和基于散斑相关(光谱编码和压缩感知)技术的成像方法。基于点扩散函数法需要对系统进行侵入式的标定，获取系统的光谱信息，并且要求彩色目标波段相对独立。基于光谱编码和压缩感知的散斑相关方法，通过色散棱镜将多光谱散斑信息进行编码和解码，在基于记忆效应范围内应用散斑相关原理对目标进行恢复。以上方法无法直接从获取的多光谱散斑直接恢复目标信息，对动态多变的实际场景中的复杂目标无法进行有效地恢复。

随着深度学习等人工智能技术的飞速发展，深度学习依托其强大的数据挖掘能力，在计算成像领域有着广泛的应用场景，并取得了令人印象深刻的成像结果。尤其是在一些复杂的逆问题中，依托于数据驱动的学习模型，可以通过大量数据中寻找复杂成像问题中最优解，甚至得到比传统计算成像更高质量的结果。透过散射介质成像是深度学习成功应用的一个典型的逆问题优化求解热点。利用深度学习求解散射成像问题在窄波段的求解取得了快速的发展，针对传统散射计算成像方法中一系列问题，利用深度学习在许多领域都取得了突破性进展，比如目标复杂度高、大视场、大景深、动态散射介质和宽谱段响应等各种复杂散射条件。

基于深度学习在光学相关领域的研究也呈现指数式的增长，同时关于深度学习是否学习到有用的特征以及泛化能力也存在相关的质疑，其中讨论较多的问题之一就是神经网络模型的场景泛化问题。纯数据驱动的计算成像学习方法对训练数据依赖性也相对较高，成像模型的泛化能力一直是使用深度学习各个成像领域中都在讨论的热点问题。应用于未知散射场景的成像的方法，大都依赖大量的训练数据集和专门设计的复杂神经网络结构，并且成像目标的稀疏性、成像质量和未知散射场景相似度要求等问题都限制了该方法的泛化能力。具体到散射计算成像领域，也是希望神经网络可以学到尽可能多的物理过程，来完成相应物理问题的解决。将物理先验信息在神经网络训练之前告知学习的目标过程中，也是一个行之有效方法之一。结合物理过程，将神经网络嵌入到物理任务之中在许多领域也有了令人印象深刻的工作和结果，比如显微成像自适应编码光源调整和3D的分步测量计算等方法。基于物理驱动神经网络的工作可以有效地解决上述工作中的大部分问题，但是成像谱段较窄，并且对于复杂的目标需要相对较多散射场景作为训练数据才能够对复杂目标进行有效地恢复。因此如何实现在有限的散射场景数据情况下，对多波段复杂目标进行准确目标恢复是将散射计算成像技术推向实际应用场景的重要因素。

发明内容

为了解决上述技术问题，本发明提供一种基于物理驱动的神经网络透过散射介质的彩色泛化成像方法，其具体技术方案如下：

一种基于物理驱动的神经网络透过散射介质的彩色泛化成像方法，包括以下步骤：

步骤1：建立一个物理模型与神经网络模型互驱动的神经网络，所述神经网络包括彩色三通道相关预处理模块和U-Net型卷积神经网络数据驱动模块，所述彩色三通道相关预处理模块的每个单通道散斑自相关由能谱的二维傅里叶反变换计算求出，所述U-Net型卷积神经网络数据驱动模块用于对宽谱复杂目标在未知散射场景中进行高质量重建；

步骤2：建立一个系统配置，利用系统配置采集不同结构复杂程度和光谱特性的图像数据，所述系统配置包括投影仪、多个散射介质、光瞳、减光片和相机，所述散射介质包括不同的散射特性和制造厂商，选择其中一块作为训练场景，其余作为未知散射场景进行目标恢复；

步骤3：将采集到的图像数据经过彩色三通道相关预处理模块的预处理后，送进U-Net型卷积神经网络数据驱动模块进行图像复原重建。

进一步的，所述步骤2采集的图像数据，按照结构复杂程度和光谱特性分三组，重建难度依次增加，每组数据都挑选出1000张目标，每组图像数据选择以训练场景为散射介质的前900张作为训练数据，其余散射介质的前900张作为未见过的散射场景中见过的目标，其余散射介质的后100张作为未见过的散射场景中未见过的目标进行目标恢复。

进一步的，所述三组图像数据依次为彩色固定波段单字符、白色宽谱字符和彩色ALOI数据集，其中彩色固定波段单字符、白色宽谱字符皆为不同的1000张手写字符，彩色ALOI数据集为500张不同的目标，每个目标对应两种不同的色温。

进一步的，所述步骤2采集到的图像数据，选择所有未知散射场景的中心区域256*256散斑进行步骤3预处理作为神经网络的测试数据，选择训练场景的中心区域256*256和其周围上、下、左、右、左上、左下、右上、右下偏移量为256个像素共9个子区域散斑图进行步骤3预处理作为神经网络的训练数据。

进一步的，神经网络的训练选用Adma作为优化器、MSE作为代价函数对生成的数据模型进行约束和优化。

进一步的，完成步骤1-3对数据的采集和处理后，对重建目标进行定量指标评价，除了使用常见的平均绝对误差MAE、结构相似性SSIM和峰值信噪比PSNR对目标重建空间结构信息进行评价外，还使用CIEDE2000对多光谱目标进行色彩准确度评价，CIEDE2000的计算公式如下：

其中ΔE00是总色差，ΔL′、ΔC′和ΔH′分别是亮度、饱和度和色调上的差异，k_L、k_C和k_H是与实验条件相关的校正系数，S_L、S_C和S_H是用来校正颜色空间均匀性的权重函数，R_T是校正空间蓝色区域容差椭圆主轴方向的偏转函数。

本发明的有益效果为：

在仅使用一块散射介质的数据情况下，本发明利用记忆效应范围内平移不变性、各波段散射的相对独立性和利用散斑的冗余性充分挖掘获取散斑中的有效信息，将透过不同的散射介质成像进行有效关联，最后利用深度神经网络强大的解析能力，通过有限的数据获取多光谱泛化成像中的有效信息，从而实现利用单块散射介质对宽谱复杂目标的高质量泛化重建。

本发明与现有技术相比，其显著优点有：

1、将目标的散射泛化成像维度进行拓展，将颜色信息加入目标泛化成像任务中；

2、根据散斑冗余性对散斑信息进行充分挖掘，降低数据模型对物理驱动预处理散射数据样本量的依赖程度；

3、实现仅使用一块散射介质的样本数据完成对彩色复杂目标进行高保真泛化重建，细微的颜色信息也可以准确分辨。

附图说明

图1是一个散斑图不同区域的散斑统计特性，

其中：图1中的 （a）是选择了其中4个不同的子区域，图1中的 （b）是图1中的 （a）4个不同子区域的自相关分析，图1中的 （c）是图1中的 （b）自相关中虚线处的强度值，

图2是神经网络结构示意图，

其中：图2中的 (a)是彩色三通道相关预处理模块，图2中的 (b)是图2中的 (a)的单通道相关预处理，图2中的 (c)是U-Net型卷积神经网络数据驱动模块，

图3是系统配置结构示意图，

其中：①是相机和减光片，②是散射介质和光瞳，③是投影仪和目标，

图4是彩色固定波段单字符的重建结果，

图5是白色宽谱字符的重建结果，

图6是彩色ALOI数据集的重建结果分析，

其中：图6中的 (a)是光谱响应特性曲线，图6中的 (b)是重建结果，

图7是三组图像数据的重建指标评价表，

图8是使用散斑冗余理论的重建结果。

具体实施方式

现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

一种基于物理驱动的神经网络透过散射介质的彩色泛化成像方法，其特征在于，包括以下步骤：

步骤1：建立一个物理模型与神经网络模型互驱动的神经网络，所包括彩色三通道相关预处理模块和U-Net型卷积神经网络数据驱动模块，其中，彩色三通道相关预处理模块的每个单通道散斑自相关由能谱的二维傅里叶反变换计算求出。

根据多波段散斑的波段独立性，配合彩色三通道相机获取的散斑信息，我们首先将彩色散斑进行离散相关处理，在组合为与目标匹配的彩色自相关图案送入三通道深度卷积神经网络中，进行目标结构信息和颜色信息的恢复。同时利用散斑的冗余性进行数据增强，仅通过利用一块散射介质的数据进行模型的训练，便可实现对复杂目标进行高保真准确重建效果。通过在学习方法中嵌入散射物理模型，可以有效挖掘彩色散斑中的普适性的规律先验和有效信息，即使用传统的U-net卷积神经网络也可以对宽谱复杂目标在未知散射场景中进行高质量重建。

步骤2：建立一个系统配置，利用系统配置采集不同结构复杂程度和光谱特性的图像数据，所述系统配置包括投影仪、D1~D5五个散射介质、光瞳、减光片和相机，所述散射介质包括不同的散射特性和制造厂商，选择一块D1（220grit索雷博制造）作为训练场景，其余作为未知散射场景进行目标恢复。

所述步骤2采集的图像数据，按照结构复杂程度和光谱特性分三组，重建难度依次增加，依次为Group1彩色固定波段单字符、Group2白色宽谱字符和Group3彩色ALOI数据集。每组数据都挑选出1000张目标，其中Group1彩色固定波段单字符、Group2白色宽谱字符皆为不同的1000张手写字符，Group3彩色ALOI数据集为500张不同的目标，每个目标对应2175K和3075K两种不同的色温。每组图像数据选择以D1训练场景为散射介质的前900张作为训练数据，其余散射介质的前900张作为未见过的散射场景中见过的目标，其余散射介质的后100张作为未见过的散射场景中未见过的目标进行目标恢复。

散射介质可以被视为对物体进行编码的随机掩膜，并且捕获的散斑图案具有冗余特性。每个子区域散斑图案包含原始目标的相对完整的信息，并且可以通过选择部分散斑图案来表征和恢复原始目标。散斑图案的子区域通常被选择用来重建目标，并且剩余的散斑没有被有效充分利用。根据基于光学记忆效应OME的散斑相关方法，点扩散函数PSF的自相关被近似为δ峰值函数，而不是完美的峰值函数。收集的散斑图案的不同区域的散射调制，这导致不同子区域的自相关具有非常相似的主结构和不同的背景项。如图1所示，从一个图案中选择四个子区域散斑，并计算相应的自相关，此外，对不同区域的自相关进行了冗余性分析。不同区域的自相关在图1中的 （c）是中间部分具有相似的主要结构，而背景项在图1中的 （c）是右侧部分具有明显的差异，背景项的不同可以描述散射介质中不同的调制过程。

步骤3：将采集到的图像数据经过彩色三通道相关预处理模块的预处理后，送进U-Net型卷积神经网络数据驱动模块进行图像复原重建。

步骤2采集到的图像数据，选择所有未知散射场景的中心区域256*256散斑进行步骤3预处理作为神经网络的测试数据，选择D1训练场景的中心区域256*256和其周围上、下、左、右、左上、左下、右上、右下偏移量为256个像素共9个子区域散斑图进行步骤3预处理作为神经网络的训练数据。其中，神经网络的训练选用Adma作为优化器、MSE作为代价函数对生成的数据模型进行约束和优化。

完成步骤1-3对数据的采集和处理后，对重建目标进行定量指标评价，除了使用常见的平均绝对误差MAE、结构相似性SSIM和峰值信噪比PSNR对目标重建空间结构信息进行评价外，还使用CIEDE2000对多光谱目标进行色彩准确度评价，CIEDE2000的计算公式如下：

其中ΔE00是总色差，ΔL′、ΔC′和ΔH′分别是亮度、饱和度和色调上的差异，k_L、k_C和k_H是与实验条件相关的校正系数，S_L、S_C和S_H是用来校正颜色空间均匀性的权重函数，R_T是校正空间蓝色区域容差椭圆主轴方向的偏转函数。

首先，使用包含多组固定颜色的Group1彩色固定波段单字符进行多光谱泛化重建实验，重建结果如图4所示，包含不同颜色的彩色目标透过未知散射介质的成像结果。从重建结果可以看出，通过本文所提出的方法在仅利用一块散射介质的数据作为训练数据便可以对具有不同统计特性的未知散射场景进行有效恢复。其中，对见过的目标能够对目标的空间结构和颜色信息实现高保真度的恢复，即使随着任务复杂度的提高，对未见过的目标该方法依然可以准确地对目标进行重建。重建结果的客观指标的统计平均如图7所示，通过分析重建的定量评价指标，证明了物理感知的深度学习方法可以在不同未知统计特性分布的散射场景下对目标进行准确的恢复，结果具有鲁棒性。

其次，使用包含更加复杂光谱信息的Group2白色宽谱字符进行宽谱段未知散射场景成像实验，除了与Group1有相同复杂程度的空间结构外，光谱响应的分布更加宽泛，对各波段空间结构信息的重建有着更高的要求，更接近实际场景的宽谱应用情况。从图5和图7中的重建结果和重建指标可以看出，相对Group1数据，Group2的重建指标随着目标光谱特性的复杂程度提升，空间结构性指标略有下降，但依然保持着高质量的目标重建。同时由于目标的光谱信息分布相较于Group1实验，白色全波段响应具有一致性，因此对颜色信息的恢复通过CIEDE2000指标可以看出重建的更为准确。

然后，使用空间结构和颜色信息更为复杂的Group3彩色ALOI数据集对该方法进行实验和分析。如图6所示，该方法对见过的目标的空间结构和颜色信息依然可以进行较高准确度的恢复。本实施例选取对同一目标选取了两种不同色温光源照明下所采集的原始目标数据（2175K和3075K），利用本发明提出的方法可以准确的恢复不同色温下的目标信息，色温实验也证明了多光谱目标泛化重建的可靠性，即细微的光谱差异也可以准确的分辨开。但是由于ALOI的空间结构信息相较于字符目标过于复杂，且采用的训练样本数有限，因此对未见过的ALOI实际目标的结构信息无法进行准确的复原。

最后，使用散斑冗余理论的图像重建结果，如图8所示，不同数量的子区域散斑重建结果差异较为明显。由于物体散射信息是通过散射体随机调制的，相机采集的散斑是冗余的，每个子区域包含原始目标相对完整的信息。为了验证散斑冗余理论，在泛化训练过程中使用了不同数量的子区域。如图6所示，可以得出明显的结论，充分利用散斑冗余度可以帮助基于物理感知的深度学习方法建立更完整的泛化模型。随着目标的复杂性增加，重建的难度也相应增加。字符对象需要三个256×256的子区域才能得到可靠的泛化结果，ALOI数据集可能需要五个以上的256×256的子区域才能得到相应的可靠重建结果。此外，在相同数量的子区域的情况下，在散斑相关过程中，在具有更多散斑颗粒数的情况下，可以获得更好的泛化重建结果。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术术语和科学术语）具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本申请中所述的“和/或”的含义指的是各自单独存在或两者同时存在的情况均包括在内。

本申请中所述的“连接”的含义可以是部件之间的直接连接也可以是部件间通过其它部件的间接连接。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (3)

1.一种基于物理驱动的神经网络透过散射介质的彩色泛化成像方法，其特征在于，包括以下步骤：

步骤1：建立一个物理模型与神经网络模型互驱动的神经网络，所述神经网络包括彩色三通道相关预处理模块和U-Net型卷积神经网络数据驱动模块，所述彩色三通道相关预处理模块的每个单通道散斑自相关由能谱的二维傅里叶反变换计算求出，所述U-Net型卷积神经网络数据驱动模块用于对宽谱复杂目标在未知散射场景中进行高质量重建；

步骤2：建立一个系统配置，利用系统配置采集不同结构复杂程度和光谱特性的图像数据，所述系统配置包括投影仪、多个散射介质、光瞳、减光片和相机，所述散射介质包括不同的散射特性和制造厂商，选择其中一块作为训练场景，其余作为未知散射场景进行目标恢复，

所述步骤2采集的图像数据，按照结构复杂程度和光谱特性分三组，重建难度依次增加，每组数据都挑选出1000张目标，每组图像数据选择以训练场景为散射介质的前900张作为训练数据，其余散射介质的前900张作为未见过的散射场景中见过的目标，其余散射介质的后100张作为未见过的散射场景中未见过的目标进行目标恢复，

所述三组图像数据依次为彩色固定波段单字符、白色宽谱字符和彩色ALOI数据集，其中彩色固定波段单字符、白色宽谱字符皆为不同的1000张手写字符，彩色ALOI数据集为500张不同的目标，每个目标对应两种不同的色温；

步骤3：将采集到的图像数据经过彩色三通道相关预处理模块的预处理后，送进U-Net型卷积神经网络数据驱动模块进行图像复原重建，

所述步骤2采集到的图像数据，选择所有未知散射场景的中心区域256*256散斑进行步骤3预处理作为神经网络的测试数据，选择训练场景的中心区域256*256和其周围上、下、左、右、左上、左下、右上、右下偏移量为256个像素共9个子区域散斑图进行步骤3预处理作为神经网络的训练数据。

2.根据权利要求1所述的一种基于物理驱动的神经网络透过散射介质的彩色泛化成像方法，其特征在于：神经网络的训练选用Adma作为优化器、MSE作为代价函数对生成的数据模型进行约束和优化。

3.根据权利要求1所述的一种基于物理驱动的神经网络透过散射介质的彩色泛化成像方法，其特征在于：完成步骤1-3对数据的采集和处理后，对重建目标进行定量指标评价，除了使用常见的平均绝对误差MAE、结构相似性SSIM和峰值信噪比PSNR对目标重建空间结构信息进行评价外，还使用CIEDE2000对多光谱目标进行色彩准确度评价，CIEDE2000的计算公式如下：

其中ΔE00是总色差，ΔL′、ΔC′和ΔH′分别是亮度、饱和度和色调上的差异，k_L、k_C和k_H是与实验条件相关的校正系数，S_L、S_C和S_H是用来校正颜色空间均匀性的权重函数，R_T是校正空间蓝色区域容差椭圆主轴方向的偏转函数。

Images