CN110187143A - 一种基于深度神经网络的层析piv重构方法和装置 - Google Patents

Abstract

本发明公开一种基于深度神经网络的层析粒子图像测速重构方法和装置，在层析PIV实验中实现从投影粒子图像到空间粒子分布的重构，该方法包括：生成数据集、搭建神经网络模型并进行训练、读取投影图像、采用倍增代数重构技术(MART)重构图像、采用神经网络进行修正处理。采用本发明的重构方法能够提高层析PIV空间粒子的重构精度，且本发明所采用深度神经网络运行效率极高，几乎不增加额外的计算时间。

Description

一种基于深度神经网络的层析PIV重构方法和装置

技术领域

本发明涉及层析粒子图像测速领域，具体涉及一种基于深度神经网络的层析PIV重构方法和装置。

背景技术

PIV是一种现代激光测速技术，主要用于流体运动的速度测量，对研究流体动力学理论和实验有着至关重要的作用。PIV通过在被测介质中加入荧光示踪粒子，再利用示踪粒子在流场中的运动来得到流体的全局速度场。近年来，层析粒子图像测速技术(层析PIV)成功地将二维PIV推广到三维流场测量，能够获得瞬时的三维三分量(3D3C)的速度场。该技术通过不同视角下(一般为4个相机)粒子散射成像重构出空间粒子的真实分布，然后采用三维互相关计算相邻粒子的位移。其中，空间粒子重构是该方法的关键。

假设被测空间E中的示踪粒子按照投影关系同时成像在四个不同视角的相机之上。从测量空间到相机平面的投影关系可以事先标定得到，映射函数决定了粒子之间的相对位置。如果将空间测量体E离散成和像素(pixel)大小相当的体素(voxel)，投影成像可以简化成一系列线性方程组：

WE＝I (1)

即假设粒子图像是空间粒子灰度沿视线投影积分的结果。其中W为投影权重函数，W_ij表示第j个体素对第i个像素的贡献系数。空间灰度重构可以认为是一个逆投影过程，就是已知粒子图像I和权重函数W求解空间灰度分布E。目前，主流的层析PIV都采用基于熵最大的倍增代数重构技术(multiplicative algebraic reconstruction technique，MART)对粒子分布进行重构还原。该方法被证明是当前最适合层析PIV重构的方法，其迭代收敛速度快，在多数实验中重构的精度较高，其迭代公式可简单表述为：

E^k+1＝E^k(I/WE^k)^uW (2)

其中，k代表迭代次数，I/WE^k代表对投影误差的评估，空间灰度E会根据误差的大小不断逼近最优解。然而，层析PIV在实际应用中，会受到相机个数与视角，粒子浓度和映射函数精度等因素的影响，出现粒子拉长和虚假粒子两个问题，进而影响了重构精度。

所谓粒子拉长，是指层析PIV在理想情况下重构出来应该是高斯分布的球形粒子，正如平面PIV中的粒子服从高斯分布一样。但由于相机视角以及个数原因，投影灰度并不能完全反应粒子的空间形状，导致了在相机轴线方向(测量体厚度方向)粒子被拉长。此外，虚假粒子也是层析PIV重构面临的一个难点。图像采集实际上是一个投影积分过程，空间连续的粒子灰度被映射到离散的平面图像之上。MART算法就是希望通过这样的欠采样图像重构出空间粒子灰度分布，这是反投影过程。由于可利用的粒子位置信息有限，导致在所有相机视线的交点处都可能出现粒子，但是这个粒子是否真实存在就不得而知。

为了提升层析PIV的空间粒子分布重构精度(进而提升三维速度场测速精度)，需要对MART的重构结果进行优化。

发明内容

本发明针对PIV重构方法的不足，提供一种基于深度神经网络的层析PIV重构方法和装置。该方法借助深度学习，设计深度神经网络对MART重构结果进行修正，提高层析PIV空间粒子分布重构的精度。

本发明的技术方案具体如下：

一种基于深度神经网络的层析PIV重构方法，其特征在于，该方法包括如下步骤：

S1：生成训练数据集；

随机生成真实空间粒子分布E，即神经网络训练时的标签，并根据已知投影的权重系数W，通过I＝WE计算得到多角度的投影图像，并采用倍增代数重构技术重构图像，得到E_MART，作为神经网络训练时的输入；

S2：搭建卷积神经网络，设置网络训练的目标函数和训练策略参数，采用S1生成的数据集对所述的卷积神经网络进行训练，从而得到训练好的卷积神经网络模型；

S3：获取空间粒子分布在多个相机中的真实投影图像；

S4：采用倍增代数重构技术对S3中获取的投影图像进行重构，获得重构图像；

S5：采用S2训练好的卷积神经网络模型对S4获得的重构图像进行修正，获得接近真实空间粒子分布的图像。

进一步地，所述的S1和S4中采用倍增代数重构技术重构图像时均为迭代求解空间灰度分布，其迭代格式为：

其中，I为多角度的投影图像，W为权重函数，为第k步迭代得到的E_MART图像，u为迭代速率。

进一步地，所述的真实空间粒子分布E中的粒子空间位置随机分布，粒子形态满足空间球体的高斯分布，具体公式如下：

其中，(x,y,z)代表重构体的三维空间坐标，(x₀,y₀,z₀)代表粒子中心的物理位置，i(x,y,z)当前坐标位置处的粒子的灰度，i₀代表粒子中心的灰度值，d为粒子的直径。

进一步地，所述的卷积神经网络具有全卷积神经网络结构。

进一步地，所述的卷积神经网络的目标函数采用图像像素的均方误差，其公式如下：

其中，分别为标签值与网络预测值，w_i是每个像素点的权重，n为单幅图像中的像素点个数。

进一步地，根据所述的均方误差，采用Nadam的优化方法对神经网络的参数进行更新。

一种基于深度神经网络的层析PIV重构装置，其特征在于，该装置包括：倍增代数重构模块、深度神经网络修正模块，其中，

所述倍增代数重构模块，用于依据投影图像对空间粒子分布灰度场进行倍增代数技术重构；

所述深度神经网络修正模块，用于在所述的倍增代数重构模块完成图像重构后，依据训练好的深度神经网络模型对其进行修正处理。

本发明的有益效果如下：

本发明在得到MART重构结果之后，采用深度神经网络对其进行滤波修正，一方面，神经网络可在一定程度上解决粒子轮廓模糊、形状不规则的问题，保证粒子形状的各项同性，即减少粒子被拉长的情况；另一方面，可将部分虚假粒子过滤掉，从而提高层析PIV空间粒子的重构精度。并且，本发明所采用深度神经网络运行效率极高，几乎不增加额外的计算时间。

附图说明

图1是本发明实施例所述层析PIV方法的相机布置示意图；

图2是本发明实施例所述基于深度神经网络的层析PIV重构方法流程图；

图3是本发明实施例生成所述训练数据的流程图；

图4是本发明实施例所述卷积神经网络的网络结构示意图；

图5是本发明实施例在粒子浓度为0.15时的重构结果对比图，其中(a)为已知的正确粒子分布场，(b)是原始MART重构粒子场，(c)为经过所述神经网络修正优化后的粒子场。

具体实施方式

下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明涉及一种基于深度神经网络的层析粒子图像测速(PIV)重构算法，具体地说，涉及一种在层析PIV实验中从投影粒子图像到空间粒子分布的重构方法和装置。层析PIV的相机布置如图1所示，其中相机为‘┼’字型布置。被测空间E中的粒子被激光照亮后在四个相机中得到投影图像I₁,I₂,I₃,I₄。本发明提供的技术即是已知投影图像和投影权重系数W，重构获得空间粒子分布E。

本发明的基于深度神经网络的层析PIV重构方法，如图2所示，具体步骤如下：

S1：生成训练数据集；

随机生成真实空间粒子分布E，即神经网络训练时的标签，并根据已知投影的权重系数W，通过I＝WE计算得到多角度的投影图像，并采用倍增代数重构技术重构图像，得到E_MART，作为神经网络训练时的输入。

图3为本发明实施例生成所述训练数据的流程图，所述的真实空间粒子分布E中的图像中粒子个数由粒子密度ρ决定，在本实施例中取ρ＝0.15 particle per pixel，粒子空间位置随机分布，粒子形态满足空间球体的高斯分布，具体公式如下：

其中，(x,y,z)代表重构体的三维空间坐标，(x₀,y₀,z₀)代表粒子中心的物理位置，i(x,y,z)当前坐标位置处的粒子的灰度，i₀代表粒子中心的灰度值，d为粒子的直径。本实施例中i₀和d保持不变。在本实施例中，重复图3所示生成所述训练数据的流程，生成1000项数据。

S2：搭建卷积神经网络，设置网络训练的目标函数和训练策略参数，采用S1生成的数据集对所述的卷积神经网络进行训练，从而得到训练好的卷积神经网络模型；

本实施例的卷积神经网络具有全卷积神经网络结构，即输出图像的分辨率(尺寸)与输入图像相同，如图4所示，为本实施例所述卷积神经网络的网络结构示意图，本实施例采用一个对称的编码-解码器全卷积神经网络(Fully Convolutional Network,FCN)，网络的输入为MART重构结果，输出为同等分辨率的重构图像。编码器部分主要起特征提取的作用，通过多个多通道特征图最大化的利用输入图片的特征，使得网络在训练集较小的情况下也能够得到较好的图像生成结果，同时包含若干次降采样(池化)，以实现多个尺度上的特征提取。解码器部分主要起上采样作用，将高层次的特征图多次反卷积恢复到原图片的分辨率。网络结构中加入了大量的Dropout层，目标是防止网络过拟合。该网络模型用于MART算法的优化修正，相当于对MART重构结果进行空间滤波操作。

本实施例所采用目标函数(loss function)采用了图像像素的均方误差(MSE)误差，其公式如下：

其中，分别为标签值与网络预测值，w_i是每个像素点的权重，本实例中均取值为1，n为单幅图像中的像素点个数。本实施例采用了Nadam的优化方法，Nadam类似于带有Nesterov动量项的Adam。Nadam对学习率有了更强的约束，同时对梯度的更新也有更直接的影响。

采用S1的数据集进行训练为每次随机从数据集中抽取batch size(从4到32逐渐增大)个样本进行训练(梯度下降)，总共训练了6000次。

S3：获取空间粒子分布在多个相机中的真实投影图像，即在实验中获取空间粒子分布在多个相机中的成像结果，相机的布置如图1所示。

S4：采用倍增代数重构技术(MART)对S3中获取的投影图像进行重构，获得重构图像；即已知图像I和权重函数W，采用MART迭代求解空间灰度分布，其迭代格式为：

其中，I为多角度的投影图像，W为权重函数，为第k步迭代得到的E_MART图像，u为迭代速率。

S5：采用S2训练好的卷积神经网络模型对S4获得的重构图像进行修正，获得接近真实空间粒子分布的图像。

一种基于深度神经网络的层析PIV重构装置，其特征在于，该装置包括：倍增代数重构模块、深度神经网络修正模块，其中，

所述倍增代数重构模块，用于依据投影图像对空间粒子分布灰度场进行倍增代数技术重构；即设定已知知图像I和权重函数W，设定迭代初始值，并采用以下迭代格式求解：

所述深度神经网络修正模块，用于在所述的倍增代数重构模块完成图像重构后，依据训练好的深度神经网络模型对其进行修正处理。

综上，本发明实施例在得到MART重构结果之后，采用事先训练好的深度神经网络对其进行滤波修正。一方面，神经网络可在一定程度上解决粒子轮廓模糊、形状不规则的问题，保证粒子形状的各项同性，即减少粒子被拉长的情况；另一方面，可将部分虚假粒子过滤掉，从而提高层析PIV空间粒子的重构精度。并且，本发明所采用深度神经网络运行效率极高，几乎不增加额外的计算时间。图5是人工模拟当粒子浓度为0.15时重构结果对比图，图5(a)为已知正确粒子场；图5(b)为原始MART重构粒子场；图5(c)为本实例重构粒子场。从中可以看出本实例不仅消除了粒子拉长效应，同时明显的削弱了虚假粒子，提高了重构的精度。

本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (7)

1.一种基于深度神经网络的层析PIV重构方法，其特征在于，该方法包括如下步骤：

S1：生成训练数据集；

随机生成真实空间粒子分布E，即神经网络训练时的标签，并根据已知投影的权重系数W，通过I＝WE计算得到多角度的投影图像，并采用倍增代数重构技术重构图像，得到E_MART，作为神经网络训练时的输入；

S2：搭建卷积神经网络，设置网络训练的目标函数和训练策略参数，采用S1生成的数据集对所述的卷积神经网络进行训练，从而得到训练好的卷积神经网络模型；

S3：获取空间粒子分布在多个相机中的真实投影图像；

S4：采用倍增代数重构技术对S3中获取的投影图像进行重构，获得重构图像。

S5：采用S2训练好的卷积神经网络模型对S4获得的重构图像进行修正，获得接近真实空间粒子分布的图像。

2.根据权利要求1所述的基于深度神经网络的层析PIV重构方法，其特征在于，所述的S1和S4中采用倍增代数重构技术重构图像时均为迭代求解空间灰度分布，其迭代格式为：

其中，I为多角度的投影图像，W为权重函数，为第k步迭代得到的E_MART图像，u为迭代速率。

3.根据权利要求1所述的基于深度神经网络的层析PIV重构方法，其特征在于，所述的真实空间粒子分布E中的粒子空间位置随机分布，粒子形态满足空间球体的高斯分布，具体公式如下：

其中，(x,y,z)代表重构体的三维空间坐标，(x₀,y₀,z₀)代表粒子中心的物理位置，i(x,y,z)当前坐标位置处的粒子的灰度，i₀代表粒子中心的灰度值，d为粒子的直径。

4.根据权利要求1所述的基于深度神经网络的层析PIV重构方法，其特征在于，所述的卷积神经网络具有全卷积神经网络结构。

5.根据权利要求4所述的基于深度神经网络的层析PIV重构方法，其特征在于，所述的卷积神经网络的目标函数采用图像像素的均方误差，其公式如下：

其中，y_i,分别为标签值与网络预测值，w_i是每个像素点的权重，n为单幅图像中的像素点个数。

6.根据权利要求5所述的基于深度神经网络的层析PIV重构方法，其特征在于，根据所述的均方误差，采用Nadam的优化方法对神经网络的参数进行更新。

7.一种基于深度神经网络的层析PIV重构装置，其特征在于，该装置包括：倍增代数重构模块、深度神经网络修正模块，其中，

所述倍增代数重构模块，用于依据投影图像对空间粒子分布灰度场进行倍增代数技术重构；

所述深度神经网络修正模块，用于在所述的倍增代数重构模块完成图像重构后，依据训练好的深度神经网络模型对其进行修正处理。