CN117201691B - 一种基于深度学习的全景扫描关联成像方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的全景扫描关联成像方法，其特征在于，包括以下步骤:构建基于深度学习的预训练模型得到最优光照模式；将得到的最优光照模式作为调制光源，通过投影仪投射出调制光场，并照射在反射镜上，通过步进电机带动反射镜转动，使光场能够扫描照射到目标物体的全部位置；将桶探测器每次采集到的信息作为图像重建部分中神经网络的输入数据，神经网络输出每个位置的高质量图像，再将每个位置输出的高质量图像进行合并处理，最终得到平滑的高质量全景图像。本发明用于解决现有全景关联成像技术成像质量差，重构图像时间长，以及对宽视域场景成像难等技术问题。

Description

一种基于深度学习的全景扫描关联成像方法

技术领域

本发明涉及全景关联成像和深度学习技术领域，具体涉及一种基于深度学习的全景扫描关联成像方法。

背景技术

关联成像是一种不同于传统光学成像方法的新型成像方法，基于光场涨落和二阶关联获取目标图像的新型成像技术；关联成像不仅具有更高的信息获取效率，而且提升了图像信息获取的灵活性，当物体与图像不在同一光场中，也可以观察到物体，这是传统光学成像无法实现的。关联成像虽然有很多优点，但它需要广泛采样，耗时较长，对面积较大的目标物体却没有很好的成像方法，而全景成像技术可以通过特殊的装置或方法获得水平方向360°和垂直方向大于180°视场的大场景图像，给出目标物体周围的全方位信息。

而在实际中，在极低采样率的情况下重构图像的质量是成像的重点也是难点；近年来，人工智能技术特别是深度学习技术发展迅速，自深度学习被引入光学领域以来，该方法在人脸识别、医学图像处理等领域得到了广泛应用。深度学习算法可以通过不断训练网络，更新参数，从而恢复高质量的图像。

发明内容

本发明的目的在于提供一种基于深度学习的全景扫描关联成像方法，用于解决现有全景关联成像技术成像质量差，重构图像时间长，以及对宽视域场景成像难等技术问题。

本发明的目的可以通过以下技术方案实现：

一种基于深度学习的全景扫描关联成像方法，包括以下步骤:

S1：构建基于深度学习的预训练模型得到最优光照模式；

S2：将得到的最优光照模式作为调制光源，通过投影仪投射出调制光场，并照射在反射镜上，通过步进电机带动反射镜转动，使光场能够扫描照射到目标物体的全部位置，物体表面反射的光子由一个无空间分辨能力的桶探测器接收；

S3：将桶探测器每次采集到的信息作为图像重建部分中神经网络的输入数据，神经网络输出每个位置的高质量图像，再将每个位置输出的高质量图像进行合并处理，最终得到平滑的高质量全景图像。

本发明进一步优化的方案为，所述步骤S1中，通过所述预训练模型得到最优光照模式过程如下：

S11：构建基于深度学习的神经网络模型；

S12：训练神经网络模型；

S13：用桶探测器采集的信号测试和验证神经网络模型。

本发明进一步优化的方案为，所述步骤S12中，神经网络模型的训练，包括如下步骤：

S121：将数据集中的原图作为深度学习模型的训练数据，原图输入网络与随机光照模式计算得到桶信号，桶信号输入改进的Attention-Unet神经网络中；

S122：在Attention-Unet神经网络中，目标原图和随机光场计算得到的桶信号作为神经网络的输入数据，通过数据集对神经网络训练，其中/>为第i个原始目标物体，/>为第i个原始目标物体所对应的桶信号，I表示训练数据集中共有I张图像，以神经网络输出的图片与目标原图作损失，并用ADAM优化器对损失函数优化，得到训练后的神经网络模型参数；

S123：将随机光场数据输入训练后的神经网络模型中，输出得到的光场即为最优光照模式。

本发明进一步优化的方案为，所述步骤S122中，数据集的制作步骤如下：

取30000张像素为64×64大小的不同灰度物体作为原始的目标图像，对于第i张原 始目标图像,通过将其与随机光场矩阵计算得到一维光场强度序列,式中，表示第n个光场强度值，n=1,2,...N,N=400是测量总 数，直接将一维光场强度序列重构图像，得到预估图像，表示为。

本发明进一步优化的方案为，所述步骤S122中，神经网络模型参数R表示为：，其中，表示第i个用于训练的原始目标物 体，表示为桶信号得到的第i个预估图像，L为损失函数。

本发明进一步优化的方案为，所述步骤S2中，步进电机带动反光镜转动，使光场扫描照射目标物体的全部位置，包括如下步骤：

S21：全景目标物体尺寸大小为A×B，光场的宽度为L，每次反光镜转动并带动光场移动的长度为S，对光场照明的区域采样N次，每次步进S后，桶探测器会采集到不同的测量值；

S22：每次移动后采集光强信息，当前次与上次所采集的光强数据会由于步进距离小于光场宽度发生重叠采集，每次步进所重叠区域长度为（L-S），重叠区域的大小与每个位置的重叠次数都取决于步进长度，步进移动的次数为，最后会得到t+1组桶信号的值。

本发明进一步优化的方案为，所述步骤S3中，高质量全景图像获取过程为：

S31：从目标物体表面反射的光场由桶探测器接收，将桶探测器所采集的信号与预训练得到的最优光照模式进行差分关联计算，可以先得到重构的差分图像，将重构的差分图像输入到随机初始化的未经训练的神经网络中，得到输出图像；

S32：将输出的图像通过关联成像模型计算预估桶信号，利用预估桶信号构建神经网络的损失函数为L=a×loss1+b×loss2，其中，loss1表示测量桶信号与预估桶信号之间的均方误差，loss2表示神经网络输出图像的重叠区域之间的均方误差，a、b均为预设比例系数，a>b；

通过优化网络参数，使损失函数最小，得到最终的网络模型，网络模型的输出即为最终成像结果；

S33：得到训练完成的高质量图像后，再将其组合成全景长图，即得到平滑的高质量全景图像。

本发明进一步优化的方案为，所述步骤S31中，重构的差分图像的获取过程为：

将桶探测器在每个位置采集到的信号按顺序排序，每次采集到的数据排列成一维向量，形成桶信号序列；以步骤S123得到最优光照模式作为参考光场，其对应的光场强度分布表示为/>，将此离散化的光强点阵值求和得到/>；通过计算参考光场与桶探测数据/>之间的强度关联获取目标物体图像/>，表达式为：，其中，/>表示差分关联计算得到的重构结果，/>表示信号光路第i次探测得到的光强分布，/>表示桶探测器第i次探测得到的总光强值,i表示第i次测量，N是总共的测量样本次数；、/>和/>分别表示/>、和/>的统计平均。

本发明进一步优化的方案为，所述测量桶信号与预估桶信号之间的均方误差loss1的构建过程为：

将每个位置的预估图像与预处理得到的最优光照模式通过关联成像模型计算出预估桶信号，为使预估桶信号与测量真实桶信号值的误差最小，构建损失函数loss1，表达式为：，其中，/>为第i个位置的预估桶信号/>，为第i个位置的真实测量桶信号，i=1.2...t+1，J表示网络训练次数。

本发明进一步优化的方案为，所述神经网络输出图像的重叠区域之间的均方误差loss2的构建为：

基于步进电机的移动，当步进距离小于光场范围时，桶探测器会对重叠区域的信号进行重复采集，从而所重构出的图像会有部分区域相同，为了使重叠区域的图像误差最小，构建损失函数loss2，表达式为：

，其中，/>为第i个位置采样所得到的预估图像重叠区域的空间分布，/>为第i-1个位置采样所得到的预估图像重叠区域的空间分布，i=1.2...t+1，i为第i个采样位置，J表示网络训练次数。

与现有技术相比，本发明的有益效果：

本发明先通过预训练模型训练出最优的光照模式；再将得到的最优光照模式作为优化的光场进行照明，通过桶探测器采集到的数据作为图像重建步骤的神经网络的输入数据，最后能够恢复高分辨率的长目标图像，利用了人工智能深度学习技术在图像处理方面的智能恢复与重建原始信号的优势，能够有效地提升全景关联成像的成像质量以及成像的平滑完整性，在较低采样率的情况下能够提升成像的质量。

附图说明

下面结合附图对本发明作进一步的说明。

图1是为本发明实施例提供的基于深度学习的全景扫描关联成像方式示意图；

图2为本发明实施例提供全景关联成像原理图；

图3是本发明实施例提供的一种网络训练模型的结构示意图；

图4是本发明实施例提供的一种基于深度学习的全景扫描关联成像方法流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本实施例公开一种基于深度学习的全景扫描关联成像方法，首先，基于关联成像的信号测量和全景成像的基本原理，搭建起了全景关联成像的实验系统，如图1和图2所示。

在本实施例中，根据全景成像可宽视域成像的特性设计了一种新型的全景扫描关联成像方法，并将深度学习用于全景关联成像超分辨率的算法中，包括以下步骤:

S1：构建基于深度学习的预训练模型得到最优光照模式，通过预训练模型得到最优光照模式过程如下：

S11：构建基于深度学习的神经网络模型；

S12：训练神经网络模型；神经网络模型的训练，包括如下步骤：

S121：将数据集中的原图作为深度学习模型的训练数据，原图输入网络与随机光照模式计算得到桶信号，桶信号输入改进的Attention-Unet神经网络中。如图3所示，Attention-Unet神经网络的网络架构主要包括编码器、解码器和skip connection三部分；

如图2所示，在编码器部分中，输入图像经过两组3×3×3的3D卷积和ReLU激活，然后再进行最大池化下采样，经过3组这样的卷积、池化块之后，网络进入到解码器部分；

编码器最后一层的特征图除了直接进行上采样外，还与来自编码器的特征图进行注意力门控计算，然后再与上采样的特征图进行合并，经过三次这样的上采样块之后即可得到最终的输出；

其中，经过注意力门控处理后得到的特征图会包含不同空间位置的重要性信息，使得模型能够重点关注某些目标区域。

S122：在Attention-Unet神经网络中，目标原图和随机光场计算得到的桶信号作为神经网络的输入数据，通过数据集对神经网络训练，其中/>为第i个原始目标物体，/>为第i个原始目标物体所对应的桶信号，I表示训练数据集中共有I张图像，以神经网络输出的图片与目标原图作损失，并用ADAM优化器对损失函数优化，得到训练后的神经网络模型参数。神经网络模型参数R表示为：/>；其中/>表示第i个用于训练的原始目标物体，/>表示为桶信号得到的第i个预估图像，L为损失函数。

其中，数据集的制作步骤如下：

取30000张像素为64×64大小的不同灰度物体作为原始的目标图像，对于第i张原 始目标图像,通过将其与随机光场矩阵计算得到一维光场强度序列,式中，表示第n个光场强度值，n=1,2,...,N,N=400是测量总 数，直接将一维光场强度序列重构图像，得到预估图像，表示为。

S123：将随机光场数据输入训练后的神经网络模型中，输出得到的光场即为最优光照模式。

S13：用桶探测器采集的信号测试和验证神经网络模型。

S2：将得到的最优光照模式作为调制光源，通过投影仪投射出调制光场，并照射在反射镜上，通过步进电机带动反射镜转动，使光场能够扫描照射到目标物体的全部位置，物体表面反射的光子由一个无空间分辨能力的桶探测器接收；其中，步进电机带动反光镜转动，使光场扫描照射目标物体的全部位置，包括如下步骤：

S21：全景目标物体尺寸大小为A×B，光场的宽度为L，每次反光镜转动并带动光场移动的长度为S，对光场照明的区域采样N次，每次步进S后，桶探测器会采集到不同的测量值；

S22：每次移动后采集光强信息，当前次与上次所采集的光强数据会由于步进距离小于光场宽度发生重叠采集，每次步进所重叠区域长度为（L-S），重叠区域的大小与每个位置的重叠次数都取决于步进长度，步进移动的次数为，最后会得到t+1组桶信号的值。

S3：将桶探测器每次采集到的信息作为图像重建部分中神经网络的输入数据，神经网络输出每个位置的高质量图像，再将每个位置输出的高质量图像进行合并处理，最终得到平滑的高质量全景图像。其中，高质量全景图像获取过程为：

S31：从目标物体表面反射的光场由桶探测器接收，将桶探测器所采集的信号与预训练得到的最优光照模式进行差分关联计算，可以先得到重构的差分图像，将重构的差分图像输入到随机初始化的未经训练的神经网络中，得到输出图像；其中，重构的差分图像的获取过程为：

将桶探测器在每个位置采集到的信号按顺序排序，每次采集到的数据排列成一维向量，形成桶信号序列；以步骤S123得到最优光照模式作为参考光场，其对应的光场强度分布表示为/>，将此离散化的光强点阵值求和得到/>；通过计算参考光场与桶探测数据/>之间的强度关联获取目标物体图像/>，表达式为：，其中，/>表示差分关联计算得到的重构结果，/>表示信号光路第i次探测得到的光强分布，/>表示桶探测器第i次探测得到的总光强值,i表示第i次测量，N是总共的测量样本次数； 、和/>分别表示/>、和/>的统计平均。

S32：将输出的图像通过关联成像模型计算预估桶信号，利用预估桶信号构建神经网络的损失函数为L=a×loss1+b×loss2，其中，loss1表示测量桶信号与预估桶信号之间的均方误差，loss2表示神经网络输出图像的重叠区域之间的均方误差，a、b均为预设比例系数，a>b；

通过优化网络参数，使损失函数最小，得到最终的网络模型，网络模型的输出即为最终成像结果；

S33：得到训练完成的高质量图像后，再将其组合成全景长图，即得到平滑的高质量全景图像。

在本实施例中，测量桶信号与预估桶信号之间的均方误差loss1的构建过程为：

将每个位置的预估图像与预处理得到的最优光照模式通过关联成像模型计算出预估桶信号，为使预估桶信号与测量真实桶信号值的误差最小，构建损失函数loss1，表达式为：，其中，/>为第i个位置的预估桶信号，/>为第i个位置的真实测量桶信号，i=1.2...t+1，J表示网络训练次数。

在本实施例中，神经网络输出图像的重叠区域之间的均方误差loss2的构建为：

基于步进电机的移动，当步进距离小于光场范围时，桶探测器会对重叠区域的信号进行重复采集，从而所重构出的图像会有部分区域相同，为了使重叠区域的图像误差最小，构建损失函数loss2，表达式为：，其中，为第i个位置采样所得到的预估图像重叠区域的空间分布，/>为第i-1个位置采样所得到的预估图像重叠区域的空间分布，i=1.2...t+1，i为第i个采样位置，J表示网络训练次数。

以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (7)

1.一种基于深度学习的全景扫描关联成像方法，其特征在于，包括以下步骤:

S1：构建基于深度学习的预训练模型得到最优光照模式；

S2：将得到的最优光照模式作为调制光源，通过投影仪投射出调制光场，并照射在反射镜上，通过步进电机带动反射镜转动，使光场能够扫描照射到目标物体的全部位置，物体表面反射的光子由一个无空间分辨能力的桶探测器接收；

所述步骤S2中，步进电机带动反光镜转动，使光场扫描照射目标物体的全部位置，包括如下步骤：

S21：全景目标物体尺寸大小为A×B，光场的宽度为L，每次反光镜转动并带动光场移动的长度为S，对光场照明的区域采样N次，每次步进S后，桶探测器会采集到不同的测量值；

S22：每次移动后采集光强信息，当前次与上次所采集的光强数据会由于步进距离小于光场宽度发生重叠采集，每次步进所重叠区域长度为（L-S），重叠区域的大小与每个位置的重叠次数都取决于步进长度，步进移动的次数为，最后会得到t+1组桶信号的值；

S3：将桶探测器每次采集到的信息作为图像重建部分中神经网络的输入数据，神经网络输出每个位置的高质量图像，再将每个位置输出的高质量图像进行合并处理，最终得到平滑的高质量全景图像；

所述步骤S3中，高质量全景图像获取过程为：

S31：从目标物体表面反射的光场由桶探测器接收，将桶探测器所采集的信号与预训练得到的最优光照模式进行差分关联计算，先得到重构的差分图像，将重构的差分图像输入到随机初始化的未经训练的神经网络中，得到输出图像；

所述步骤S31中，重构的差分图像的获取过程为：

将桶探测器在每个位置采集到的信号按顺序排序，每次采集到的数据排列成一维向量，形成桶信号序列；以得到最优光照模式作为参考光场，其对应的光场强度分布表示为/>，将此离散化的光强点阵值求和得到/>；通过计算参考光场与桶探测数据/>之间的强度关联获取目标物体图像/>，表达式为：

，其中，/>表示差分关联计算得到的重构结果，/>表示信号光路第i次探测得到的光强分布，表示桶探测器第i次探测得到的总光强值,i表示第i次测量，N是总共的测量样本次数；、/>和/>分别表示/>、和/>的统计平均；

S32：将输出的图像通过关联成像模型计算预估桶信号，利用预估桶信号构建神经网络的损失函数为，其中，/>表示测量桶信号与预估桶信号之间的均方误差，/>表示神经网络输出图像的重叠区域之间的均方误差，a、b均为预设比例系数，a>b；

通过优化网络参数，使损失函数最小，得到最终的网络模型，网络模型的输出即为最终成像结果；

S33：得到训练完成的高质量图像后，再将其组合成全景长图，即得到平滑的高质量全景图像。

2.根据权利要求1所述的一种基于深度学习的全景扫描关联成像方法,其特征在于，所述步骤S1中，通过所述预训练模型得到最优光照模式过程如下：

S11：构建基于深度学习的神经网络模型；

S12：训练神经网络模型；

S13：用桶探测器采集的信号测试和验证神经网络模型。

3.根据权利要求2所述的一种基于深度学习的全景扫描关联成像方法,其特征在于，所述步骤S12中，神经网络模型的训练，包括如下步骤：

S121：将数据集中的原图作为深度学习模型的训练数据，原图输入网络与随机光照模式计算得到桶信号，桶信号输入改进的Attention-Unet神经网络中；

S122：在Attention-Unet神经网络中，目标原图和随机光场计算得到的桶信号作为神经网络的输入数据，通过数据集对神经网络训练，其中/>为第i个原始目标物体，/>为第i个原始目标物体所对应的桶信号，I表示训练数据集中共有I张图像，I=30000，以神经网络输出的图片与目标原图作损失，并用ADAM优化器对损失函数优化，得到训练后的神经网络模型参数；

S123：将随机光场数据输入训练后的神经网络模型中，输出得到的光场即为最优光照模式。

4.根据权利要求3所述的一种基于深度学习的全景扫描关联成像方法,其特征在于，所述步骤S122中，数据集的制作步骤如下：

取30000张像素为64×64大小的不同灰度物体作为原始的目标图像，对于第i张原始目标图像,通过将其与随机光场矩阵计算得到一维光场强度序列,式中，/>表示第/>个光场强度值，/>,是测量总数，直接将一维光场强度序列/>重构图像，得到预估图像/>，表示为。

5.根据权利要求3所述的一种基于深度学习的全景扫描关联成像方法,其特征在于，所述步骤S122中，神经网络模型参数R表示为：

，其中，/>表示第i个用于训练的原始目标物体，/>表示为桶信号得到的第i个预估图像，L为损失函数。

6.根据权利要求1所述的一种基于深度学习的全景扫描关联成像方法,其特征在于，所述测量桶信号与预估桶信号之间的均方误差的构建过程为：

将每个位置的预估图像与预处理得到的最优光照模式通过关联成像模型计算出预估桶信号，为使预估桶信号与测量真实桶信号值的误差最小，构建损失函数，表达式为：/>，其中，/>为第i个位置的预估桶信号，/>为第i个位置的真实测量桶信号，i=1.2...t+1，J表示网络训练次数。

7.根据权利要求1所述的一种基于深度学习的全景扫描关联成像方法,其特征在于，所述神经网络输出图像的重叠区域之间的均方误差的构建为：

基于步进电机的移动，当步进距离小于光场范围时，桶探测器会对重叠区域的信号进行重复采集，从而所重构出的图像会有部分区域相同，为了使重叠区域的图像误差最小，构建损失函数，表达式为：

，其中，/>为第i个位置采样所得到的预估图像重叠区域的空间分布，/>为第i-1个位置采样所得到的预估图像重叠区域的空间分布，i=1.2...t+1，i为第i个采样位置，J表示网络训练次数。