CN117825743A - 基于傅里叶特征增强和全局匹配的piv测速方法与装置 - Google Patents

Abstract

本发明公开了一种基于傅里叶特征增强和全局匹配的PIV测速方法与装置。方法是构造了具有特征编码模块、特征增强模块、全局匹配模块、迭代更新生成流场模块和上下文特征提取模块的神经网络模型，再利用数据集对所述神经网络模型进行训练，将PIV实验粒子图像输入到所述神经网络模型处理得到速度场。本发明采用基于注意力机制的全局匹配方法，并在所述神经网络结构中引入傅里叶神经算子得到频率域特征，解决目前基于AI的PIV测速方法对大速度流场预测不准的问题，提高了模型的鲁棒性和抗干扰能力。

Description

基于傅里叶特征增强和全局匹配的PIV测速方法与装置

技术领域

本发明涉及激光测速技术领域中的粒子图像测速( Particle ImageVelocimetry，简称PIV)技术，特别的，涉及一种基于傅里叶特征增强和全局匹配的PIV测速方法与装置。

背景技术

粒子图像测速PIV（Particle Image Velocimetry）是一种瞬态、多点、无接触式的流体力学测速方法，可以用于测量流体中的速度场分布。该技术的基本原理是在流场中散播一些跟踪性与反光性良好的示踪粒子，用激光片光照射到所测流场的切面区域，通过成像记录系统连续摄取两次或多次曝光的粒子图像；并利用互相关算法将图像与相邻时间间隔内的图像进行比较，以确定颗粒位置并推算速度。

由于互相关算法计算得到流场存在坏点较多、时空分辨率较低等问题，近年来许多人开始尝试采用AI技术来从PIV粒子图像中计算速度矢量场。例如许超、蔡声泽等提出一种基于卷积神经网络的粒子图像测速方法（CN201910105156.9）、高琪等提出一种基于深度学习的粒子图像测速方法与装置（CN202110692079.9）。这些深度学习模型都是基于卷积神经网络（CNN）框架构建，由于卷积神经网络中只使用了局部共性的信息，局部信息范围受到卷积核大小的限制，不能够利用全场信息实现全场的PIV粒子匹配，因此基于卷积神经网络的PIV模型在预测大位移时会出现很大的误差。

另外，基于卷积神经网络AIPIV模型在实际应用中的抗干扰能力非常差。当拍摄的PIV粒子图像质量较差，存在大量噪音尤其是存在光斑、光带等噪音时，基于卷积神经网络AIPIV模型计算得到的流场会出现大面错误区域，鲁棒性非常差。

发明内容

为了解决背景技术中存在的问题，本发明的目的是提供一种具有强鲁棒性的用于从PIV粒子图像计算速度场的深度学习计算模及装置，解决目前基于卷积神经网络模型的模型在计算过程中存在大位移计算精度低，抗噪音干扰能力差等问题。

本发明采用的技术方案是：

一、一种基于傅里叶特征增强和全局匹配的PIV测速方法：

步骤101：构造神经网络模型；

步骤102：利用数据集对神经网络模型进行训练；

步骤103：读取两帧PIV实验粒子图像；

步骤104：输入到神经网络模型处理得到速度场。

所述的神经网络模型包括特征编码模块、特征增强模块、全局匹配模块、迭代更新生成流场模块和上下文特征提取模块；将相邻时间间隔的时间间隔的至少两幅PIV粒子图像输入到所述特征编码模块获得至少两个编码特征，再将所述至少两个编码特征输入到所述特征增强模块中获得至少两个增强特征，将所述至少两个增强特征输入到所述全局匹配模块后获得两个匹配特征，将至少一幅原始的PIV粒子图像输入到所述上下文特征提取模块中提取获得对应的上下文特征信息，再将所述至少两个匹配特征和所述至少一个上下文特征信息共同输入到所述迭代更新生成流场模块中进行-多次迭代计算得到最终的位移矢量场；

所述上下文特征提取网络采用卷积网络框架或残差网络框架。

所述的特征编码模块包括依次进行的第一卷积层、分块操作和第二卷积层；每幅PIV粒子图像先输入到第一卷积层中获得初始特征，再将初始特征通过分块操作分为多个子块，对每个子块在通道方向进行展开为特征图，然后将所有子块的特征图输入第二卷积层对通道方向尺度进行调整后得到每幅PIV粒子图像各自的编码特征。

所述的特征增强模块包含多层连续依次连接的T-F特征增强层，每个T-F特征增强层均包括分别各自独立进行的傅里叶层、交叉注意力机制层（Transformer层）和特征映射层以及最后的相加映射层；

将输入的两个特征和在第一个维度(即批次方向)进行拼接合并后获得合并特征，再将合并特征分别输入到傅里叶层、交叉注意力机制层（Transformer层）和特征映射层中；

其中，傅里叶层构成了一条路径，交叉注意力机制层（Transformer层）构成了另一条路径，特征映射层构成了第三条路径。

合并特征输入到傅里叶层中，傅里叶层包括一次傅里叶变换、一次相乘操作和一次傅里叶逆变换，傅里叶层中先对合并特征进行傅里叶变换将空间域的特征映射到频率域获得频率域特征，再将频率域特征与预先设置好的可学习参数R进行相乘操作得到频率域内的新特征，然后将更新后的频率域特征进行傅里叶逆变换后映射回到空间域获得更新后的空间域特征；

同时将合并特征输入至交叉注意力机制层（Transformer层）通过交叉注意力机制来提取相似特征；

同时将合并特征输入至特征映射层中和预先设置好的可学习的参数矩阵W进行相乘得到映射特征；

最后将傅里叶层获得的更新后的空间域特征、交叉注意力机制层Transformer获得的相似特征和特征映射层获得的映射特征输入到相加映射层中，先进行相加、再经过激活函数σ映射后得到合成增强特征，将合成增强特征在第一个维度(即批次方向)上再进行分解得到从第一幅图像提取的增强特征F1和从第二幅图像提取的增强特征F2。

上述三条路径上的特征相加后会得到一个特征，经过激活函数映射后，输出的增强特征在第一个维度即批次维度上进行拆解得到两个增强特征，分别代表从第一幅图像提取的特征和第二幅图像提取的特征。之前在批次方向上拼接是为了并行计算，即一次计算同时得到两幅图像的增强特征，提高处理效率。

具体实施中，特征增强模块中可以包括多个T-F特征增强层，能够实现特征更好的增强。

所述的交叉注意力机制层（Transformer层）的交叉注意力机制具体为：

将输入的其中一个特征通过投影得到查询矩阵Q，然后将输入的另一个特征通过连续两次投影得到键矩阵K和值矩阵V，然后将键矩阵K变形后和查询矩阵Q相乘得到交叉注意力矩阵，然后交叉注意力矩阵与值矩阵V相乘并通过变形得到最终的注意力特征。

所述的全局匹配模块包括展平操作、相乘操作、映射操作；

具体是将特征增强模块输出的两个增强特征先均通过展平操作变成向量，再将两个增强特征的向量通过相乘操作相乘得到注意力矩阵C，最后将注意力矩阵C通过softmax函数映射到0~1之间得到匹配矩阵P作为匹配特征。

所述方法中，在全局匹配模块获得匹配特征之后，迭代更新生成流场模块中按照以下方式处理获得速度场：

S1、初始化获得一个尺度为M×N的初始坐标矩阵Coords0，通过匹配矩阵P的匹配特征处理获得形变后的匹配坐标矩阵作为初始的匹配坐标矩阵Coords1；

S2、根据初始坐标矩阵Coords0和当前第i次迭代下的匹配坐标矩阵Coordsi按照以下公式结合处理获得当前第i次迭代下的流场flowi：

flowi= upsample(Coordsi- Coords0)

其中，upsample()表示上采样函数；

同时用当前第i次迭代下的匹配坐标矩阵Coordsi对匹配矩阵P进行形变得到当前第i次迭代下形变后的匹配体积矩阵Pi作为匹配特征；

S3、将当前第i次迭代下形变后的匹配体积矩阵Pi、上下文特征信息和当前第i次迭代下的流场flowi一起输入到迭代更新生成流场模块，通过迭代更新生成流场模块处理获得修正流场Δflow和循环神经网络的隐状态变量；

S4、然后根据修正流场Δflow对当前匹配坐标矩阵Coordsi按照以下公式进行更新作为下一次迭代的匹配坐标矩阵：

Coords(i+1)=Coordsi+Δflow

其中，Coordsi表示第i次迭代下的匹配坐标矩阵，Coords(i+1) 表示第i+1次迭代下的匹配坐标矩阵；

S5、不断重复上述步骤S2~S4进行迭代循环处理多次，以最终迭代获得的流场作为速度场。

所述的迭代更新生成流场模块的迭代过程采用GRU循环神经网络，输入是基于匹配坐标矩阵coordsi的匹配体积矩阵Pi、上下文特征信息和当前的流场flow，输出的是GRU循环神经网络的隐状态变量和修正流场Δflow。

所述初始的匹配坐标矩阵Coords1具体按照以下方式获得：

将初始坐标矩阵Coords0和匹配矩阵P进行相乘获得形变后的匹配坐标矩阵Coords1：

Coords1= P(i,j,u,v)×Coords0

其中，P(i,j,u,v)表示增强特征F1中的每一个元素分别与增强特征F2中的所有元素相乘再经过softmax函数变换后得到的匹配矩阵；

或者根据匹配矩阵P采用以下公式处理获得形变后的匹配坐标矩阵Coords1：

Coords1=argmax_u,v(P(i,j,u,v))

其中，argmax_u,v()分别表示对维度u求最大值和对维度v取最大值。

所述步骤102中，在对神经网络模型进行训练时候，设置以下两种损失函数之一：

一种方式是仅以训练迭代完毕后的最后一次迭代步预测获得的流场作为输出进行损失计算，损失函数采用均方误差(MSE)，即损失loss表示为：

loss=mse(flow_p, flow_t)

其中，flow_p是最后一次迭代步预测的流场，flow_t是真实的标签流场，mse()表示均方误差；

另一种方式是输出训练过程中所有次迭代步预测获得的流场作为输出进行损失计算，损失函数采用均方误差(MSE)，即损失loss表示为：

loss=(∑_i=1(λ_i×loss_i))/N

loss_i=mse(flow_i, flow_t)

其中，flow_i是第i次迭代步预测的流场，flow_t是真实的标签流场，mse()表示均方误差；i表示迭代步的序数，i=1…N，N表示迭代步的总数；loss_i表示第i次迭代步下的损失，λ_i表示第i次迭代步的权重因子。

二、一种应用于PIV测速方法的装置，实现上述计算方法的所述装置包含：

图像采集模块，用于直接采集获取PIV实验系统生成的粒子图像；

标准输入输出模块，用于从外接设备中接收输入的数据、以及所述装置生成的数据对外输出至其他设备；

存储介质模块，用于存储从图像采集模块和标准输入输出模块过来的数据，还存储装置运行过程产出的任何中间数据和结果数据，除此之外并且存储实现所述PIV测速方法的运行算法的计算机程序；

处理器模块，用于执行存储介质模块中存储的计算机程序和从存储介质模块中读取运行计算机程序所需的数据，以实现速度场计算方法；

数据传出模块，用于将上述各个模块连接在一起，实现上述各个模块之间的通信和数据传输。

本发明的创新是在于方法中通过神经网络模型中注意力机制的全局匹配处理以及以傅立叶转换成频域特征去除噪音等手段的处理获得了粒子图像的速度场，这能够解决对大速度流场预测不准的问题，提高了模型的鲁棒性和抗干扰能力。

本发明的有益效果是：

本发明提出的方案，采用基于注意力机制的全场匹配方法，解决目前基于AI的PIV方法对大速度流场预测不准的问题。

本发明提出的方案在神经网络结构中引入的傅里叶神经算子，将粒子图像特征经过傅里叶变换后得到频率域特征，在频率域采用科学系的算子有效的去除PIV粒子图像中的噪音，提高了模型的鲁棒性和抗干扰能力。

附图说明

图1是本发明方法的整体方案流程图；

图2是本发明方法的神经网络模型结构图；

图2是本发明方法的神经网络模型中迭代更新生成流场的结构图；

图3是实施例的特征编码模块示意图；

图4是实施例的特征增强模块中的T-F层示意图；

图5是实施例的交叉注意力机制层Transformer层中的Cross-attention机制图；

图6是实施例的装置。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明。

本发明的实施例如下：

实施例一

本发明的整体技术方案如下图1所示：

步骤101：构造神经网络模型

神经网络模型的结构图如下图2所示，神经网络模型的输入是两幅时间连续的PIV粒子图像。PIV粒子图像是做PIV实验测量得到的，PIV实验连续曝光，相机会拍摄一系列时间连续的PIV粒子图像，两幅粒子图像是时间连续的如1-2，2-3，3-4等。

S1、在神经网络模型中，两幅PIV粒子图像首先经过特征编码模块得到两个编码特征。

特征编码模块的示意图如下图3所示，该模块首先采用第一卷积层在图像中提取得到大小为H×W×C大小的初始特征，然后将初始特征通过分块层进行分块，分块后每个子块的大小为M×N，示意图中M=N=2，然后对图中的每个子块如虚线框中子块通过展开层在通道（channel）方向进行展开，得到尺寸大小为H/M × W/N × C×M×N的特征图；然后将特征图输入第二卷积层对通道（channel）方向的尺度进行调整得到，卷积层的输入通道（In_channels）大小为C×M×N，输出通道（Out_channels）大小为C×M×N/2，卷积核的大小为（3×3），步长（stride）为1，激活函数为ReLu，经过卷积层后得到编码特征。

特征编码模块中可以根据需要循环设置多个由分块层、展开层和卷积层构成的子块对特征进行多次编码得到最终的编码特征。两幅PIV粒子图像各自经上述处理后获得各自的编码特征。

具体实施中，特征编码模块的示意图如下图3所示，该模块首先采用卷积层对图像进行特征提取得到大小为256×256×32大小的图像特征，然后对其进行分块，分块大小为2×2，然后对图中的每个分块如虚线框中分块在通道（channel）方向进行展开，得到尺寸大小为256/2 × 256/2 × 32×2×2的特征图，然后将特征输入卷积层对通道（channel）方向的尺度进行调整得到，卷积层的输入通道（In_channels）大小为32×2×2，输出通道（Out_channels）大小为32×2×2/2，卷积核的大小为（3×3），步长（stride）为1，激活函数为ReLu，经过卷积层后得到编码特征。编码模块中可以根据需要循环设置三个分块层、展开层和卷积层对特征进行多次编码得到最终的尺度为32×32×256的编码特征。

S2、粒子图像经过特征编码模块得到编码特征后，编码特征再被输入至特征增强模块获得增强特征。

特征增强模块包含多层名为T-F（Transformer Fourier layers）的特征增强块，其示意图如下图4所示，第一个特征增强块的输入是两个编码特征F1和F2，其余特征增强块的输入是之前特征增强块输出的两个特征，每个特征增强块中具有三条路径。

为了并行加快计算，首先将两个编码特征F1和F2在batch方向进行拼接合并，获得合并特征F，然后再分别输入到三条路径中。

特征增强块中的第一条路径是：将合并后的合并特征F输入图4中最上面一行所示的傅里叶层，傅里叶层首先对输入的特征进行傅里叶变换将空间域的特征映射到频率域获得频率域特征，然后再将频率域特征与可学习参数R相乘得到更新后的频率域内新特征，然后再进行傅里叶逆变换将更新后的频率域内新特征映射回到空间域获得更新后的空间域特征。

傅里叶层对输入的特征的操作用下式表示：

Fearture_out=F^-1(R×F(Fearture_in))

其中，R表示可学习参数，Fearture_out表示傅里叶层输出的特征，Fearture_in表示输入傅里叶层的特征，F()表示傅里叶变换函数，F^-1()表示傅里叶逆变换函数。

本发明通过傅里叶层变换到频率域，在频率域能够更有效的区分PIV粒子图像中的噪音特征，因此本发明的傅里叶层处理时能够通过学习参数R更有效过滤噪音。

特征增强模块中的第二条路径是：输入合并后的合并特征F输入至中间的交叉注意力机制层Transformer。

本发明的PIV粒子图像与常规图像不同，单张PIV粒子图像中没有明显的线、面等明显的特征，因此本发明未通过自注意力机制（self-attention）来从单张图像中提取特征，而是利用相邻的两张PIV粒子图像中在粒子分布上非常相似的特点通过交叉注意力机制来提取相邻PIV粒子图像中的相似特征。

具体过程如下图5所示。首先将其中一个编码特征一F1通过投影得到查询矩阵Q，然后将另一个编码特征二F2通过连续两次投影得到键矩阵K和值矩阵V，然后将键矩阵K变形后和查询矩阵Q相乘得到交叉注意力矩阵，然后交叉注意力矩阵与值矩阵V相乘并通过变形得到最终的注意力特征。若特征尺寸过大，可以通过swin-transformer等框架来加速计算。

特征增强模块中的第三条路径是：特征映射层，即将预先设置好的可学习参数矩阵W与合并后的合并特征F进行相乘得到新的特征作为映射特征。

在经过上述三条路径后，最后将映射特征与傅里叶层和交叉注意力机制层Transformer获得的特征输入到相加映射层中，进行相加并经过激活函数σ映射后得到合成增强特征，最后将合成增强特征在第一个维度上再进行分解得到从第一幅图像提取的增强特征F1和从第二幅图像提取的增强特征F2。

特征增强模块中可以包括四个T-F层实现是特征的增强。

S3、经过特征增强模块之后得到的增强特征一和增强特征二，然后将两个增强特征输入到全局匹配模块处理获得匹配矩阵P。

增强特征一和增强特征二的高度和宽度分别为M和N，分别将增强特征一和增强特征二展平为（M×N）×1的向量和1×（M×N）的向量，然后将两个向量相乘得到（M×N）×（M×N）的注意力矩阵C，即将两个特征矩阵进行点乘（即增强特征一中每一个点都和增强特征二中的所有点相乘，两个点越相似乘积越大）得到四维的匹配体积矩阵C，如下所示：

C(i,j,u,v)=F₁(i,j)^T×F₂(u,v)

其中，i,j表示增强特征F1的角标，u,v分别表示增强特征F2的角标，F₁(i,j)表示增强特征一第i行、第j列的像素值，F₂(u,v)表示增强特征二第i行、第j列的像素值；C(i,j,u,v)表示增强特征F1中的每一点与增强特征F2中中的所有点相乘得到的注意力矩阵

具体实施中，经过特征增强模块之后得到的增强特征一和增强特征二，特征的高度和宽度分别为32和32，分别将增强特征一和增强特征二展平为（32×32）×1的向量和1×（32×32）的向量，然后将两个向量相乘得到（32×32）×（32×32）的注意力矩阵C。

然后通过softmax函数将注意力矩阵C的值域映射到0~1之间得到匹配矩阵P，如下所示：

P(i,j,u,v)= 𝑠𝑜𝑓𝑡𝑚𝑎𝑥(𝐶(𝑖,𝑗∙))⊙softmax(C(∙u,v))

其中，P(i,j,u,v)表示增强特征F1和增强特征F2的全局匹配矩阵，𝑠𝑜𝑓𝑡𝑚𝑎𝑥(𝐶(𝑖,𝑗∙))表示对注意力矩阵C中的后两个维度（u，v）作用softmax函数，将其值映射到0~1；𝑠𝑜𝑓𝑡𝑚𝑎𝑥(𝐶(∙𝑢,𝑣))表示将注意力矩阵C中前两个维度作用softmax函数，将其值映射到0~1；⊙表是元素相乘。

S4、如图2所示，在全局匹配模块获得匹配特征之后，迭代更新生成流场模块中按照以下方式处理获得速度场：

S41、初始化获得一个尺度为M×N的初始坐标矩阵Coords0，同时通过匹配矩阵P的匹配特征处理获得形变后的匹配坐标矩阵作为初始的匹配坐标矩阵Coords1，具体采用以下公式：

Coords1=argmax_u,v(P(i,j,u,v))

其中，argmax_u,v()分别表示对维度u取最大值和对维度v取最大值。

S42、根据初始坐标矩阵Coords0和当前第i次迭代下的匹配坐标矩阵Coordsi按照以下公式结合处理获得当前第i次迭代下的流场flowi，初始是将从匹配矩阵P得到的匹配坐标矩阵Coords1与初始坐标矩阵相减获得初始稀疏流场，然后再经过上采样得到然后与原始粒子图像大小相同的速度场：

flowi= upsample(Coordsi- Coords0)

其中，upsample()表示上采样函数；

即具体是将从当前第i次迭代下的匹配坐标矩阵Coordsi与初始坐标矩阵相减获得初始稀疏流场，然后再经过上采样得到然后与原始粒子图像大小相同的速度场作为初始流场flow，然后进入迭代更新生成流场模块。

同时用当前第i次迭代下的匹配坐标矩阵Coordsi对匹配矩阵P进行形变得到当前第i次迭代下形变后的匹配体积矩阵Pi作为匹配特征；

S43、将当前第i次迭代下形变后的匹配体积矩阵Pi、上下文特征信息和当前第i次迭代下的流场flowi一起输入到迭代更新生成流场模块，通过迭代更新生成流场模块处理获得修正流场Δflow和循环神经网络的隐状态变量；

S44、然后根据修正流场Δflow对当前匹配坐标矩阵Coordsi按照以下公式进行更新作为下一次迭代的匹配坐标矩阵：

Coords(i+1)=Coordsi+Δflow

其中，Coordsi表示第i次迭代下的匹配坐标矩阵，Coords(i+1) 表示第i+1次迭代下的匹配坐标矩阵；

S45、不断重复上述步骤S42~S44进行迭代循环处理多次，以最终迭代获得的流场作为速度场。

然后进入下一个迭代循环，设定迭代次数为10次则到最终的流场，图2中的虚线表示迭代过程。

最终是根据修正流场Δflow结合初始坐标矩阵Coords0和形变后的匹配坐标矩阵Coords1按照以下公式结合处理对当前流场flowi更新，表示如下：

Coordsi’=Coordsi+Δflow

flowi’= upsample(Coordsi’- Coords0)

其中，Coordsi’表示更新后的匹配坐标矩阵，flowi’表示更新后的流场。

步骤102：利用数据集对神经网络模型进行训练

训练模型的数据集采用目前公开的PIV粒子图像数据集，如https://github.com/shengzesnail/PIV_dataset或是基于http://turbulence.pha.jhu.edu/开源流场数据人工构造的PIV粒子图像数据集。

损失函数具体是仅以训练迭代完毕后的最后一次迭代步预测获得的流场作为输出进行损失计算，损失函数采用均方误差(MSE)，即损失loss表示为：

loss=mse(flow_p, flow_t)

其中，flow_p是最后一次迭代步预测的流场，flow_t是真实的标签流场，mse()表示均方误差；

具体实施在训练过程中，优化器选用AdamW，学习率选用固定的学习率如0.0001或是周期性变化的学习率OneCycleLR，最后可以基于python语言采用pytorch框架完成模型的训练并保存训练后的模型。

步骤103：读取两帧PIV实验粒子图像

PIV实验结束后，读取拍摄的PIV粒子图像，并进行前期的预处理如将值域归一化到-1~1之间，若拍摄的PIV粒子图像大小与模型输入要求的大小不一致，将PIV粒子图像进行裁剪分割，得到满足模型输入要求的PIV粒子图像。

步骤104：运行神经网络模型计算得到速度场

将满足输入要求的PIV粒子图像输入到训练后的模型，运行模型得到输出的速度场，若输入的PIV粒子图像经过的裁剪分割，则将模型输出的速度场进行拼接得到与原始粒子图像尺寸相同的速度场。

实现上述计算方法的所述装置如图6所示，其包含的模块和功能如下：

模块201，该模块为图像采集模块，图像采集模块是直接获取PIV实验系统生成的粒子图像。。

模块202，该模块为标准输入输出模块，可以从外接设备中输入所需的数据，还可以将该装置生成的数据对外输出至其他设备。

模块203，该模块为存储介质模块，该模块不但可以存储从模块201和模块202的到数据，还可以存储装置运行过程产出的任何中间数据和结果数据，除此之外开可以存储实现算法的计算机程序。

模块204，该模块为处理器模块，用于执行模块203中存储的计算机程序和读取运行程序所需的数据，以实现速度场计算方法。

模块205，该模块为数据传出模块，数据传出模块将上述各个模块201-204连接在一起，实现上述各个模块之间的通信和数据传输。

具体实施的PIV粒子图像测速对象可以是医疗领域的心脑血管，进而通过分发明的方法获得血液的流速，反应速度大小对病变的影响。

实施例二

实施例二与实施例一的不同之处是，使用的损失函数不同，模型输出所有迭代步预测得到的流场flowi，输出训练过程中所有次迭代步预测获得的流场作为输出进行损失计算，损失函数采用均方误差(MSE)，即损失loss表示为：

loss=(∑_i=1(λ_i×loss_i))/N

loss_i=mse(flow_i, flow_t)

其中，flow_i是第i次迭代步预测的流场，flow_t是真实的标签流场，mse()表示均方误差；i表示迭代步的序数，i=1…N，N表示迭代步的总数；loss_i表示第i次迭代步下的损失，λ_i表示第i次迭代步的权重因子。

即首先基于每一个迭代步的输出计算MSE损失，再乘以一个权重因子λ，最后求平均得到最终的损失。λ的权重为一个由小到大的权重序列构成，如取值为[0.134,0.167,0.209, 0.262, 0.327, 0.409, 0.512, 0.64,0.8,1.0]。其余部分与实施例一相同，在此不再详述。

实施例三

实施例三与实施例二的不同之处，输入的粒子图像为三位粒子图像，神经网络框架内为三维测速框架即卷积层、傅里叶算子、tansformer层均为提取三维图像特征的网络层，输出的速度场为三维速度场，其余与实施例二相同。

上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (9)

1.一种基于傅里叶特征增强和全局匹配的PIV测速方法，其特征在于：

步骤101：构造神经网络模型；

所述的神经网络模型包括特征编码模块、特征增强模块、全局匹配模块、迭代更新生成流场模块和上下文特征提取模块；将相邻时间间隔至少两幅PIV粒子图像输入到所述特征编码模块获得至少两个编码特征，再将所述至少两个编码特征输入到所述特征增强模块中获得至少两个增强特征，将所述至少两个增强特征输入到所述全局匹配模块后获得两个匹配特征，将至少一幅PIV粒子图像输入到所述上下文特征提取模块中提取获得对应的一个上下文特征信息，再将所述至少两个匹配特征和所述至少一个上下文特征信息共同输入到所述迭代更新生成流场模块中进行-多次迭代计算得到最终的位移矢量场；

步骤102：利用数据集对神经网络模型进行训练；

步骤103：读取PIV实验粒子图像；

步骤104：输入到神经网络模型处理得到速度场。

2.根据权利要求1所述的一种基于傅里叶特征增强和全局匹配的PIV测速方法，其特征在于：

所述的特征编码模块包括依次进行的第一卷积层、分块操作和第二卷积层；每幅PIV粒子图像先输入到所述第一卷积层中获得初始特征，再将所述初始特征通过分块操作分为多个子块，对每个子块在通道方向进行展开为特征图，然后将所述所有子块的特征图输入所述第二卷积层对通道方向尺度进行调整后得到编码特征。

3.根据权利要求1所述的一种基于傅里叶特征增强和全局匹配的PIV测速方法，其特征在于：

所述的特征增强模块包含多层连续依次连接的T-F特征增强层，每个所述T-F特征增强层均包括傅里叶层、交叉注意力机制层和特征映射层以及相加映射层；

将输入的至少两个特征和在第一个维度进行拼接合并后获得合并特征，再将所述合并特征分别输入到所述傅里叶层、交叉注意力机制层和特征映射层中；

所述合并特征输入到所述傅里叶层中，所述傅里叶层中先对所述合并特征进行傅里叶变换将空间域的特征映射到频率域获得频率域特征，再将所述频率域特征与可学习的参数R进行相乘操作得到频率域内的新特征，然后将更新后的频率域特征进行傅里叶逆变换后映射回到空间域获得更新后的空间域特征；

同时将所述合并特征输入至所述交叉注意力机制层通过交叉注意力机制来提取相似特征；

同时将所述合并特征输入至所述特征映射层中和可学习参数矩阵W进行相乘得到映射特征；

最后将更新后的空间域特征、相似特征和映射特征输入到所述相加映射层中，先进行相加、再经过激活函数σ映射后得到合成增强特征，将合成增强特征在第一个维度上再进行分解得到从第一幅图像提取的增强特征F1和从第二幅图像提取的增强特征F2。

4.根据权利要求3所述的一种基于傅里叶特征增强和全局匹配的PIV测速方法，其特征在于：

所述的交叉注意力机制层的交叉注意力机制具体为：

将输入的其中一个特征通过投影得到查询矩阵Q，然后将输入的另一个特征通过连续两次投影得到键矩阵K和值矩阵V，然后将键矩阵K变形后和查询矩阵Q相乘得到交叉注意力矩阵，然后交叉注意力矩阵与值矩阵V相乘并通过变形得到最终的注意力特征。

5.根据权利要求1所述的一种基于傅里叶特征增强和全局匹配的PIV测速方法，其特征在于：

所述的全局匹配模块包括展平操作、相乘操作、映射操作；

具体是将特征增强模块输出的两个增强特征先均通过展平操作变成向量，再将两个增强特征的向量通过相乘操作相乘得到注意力矩阵C，最后将注意力矩阵C通过softmax函数映射到0~1之间得到匹配矩阵P作为匹配特征。

6.根据权利要求1所述的一种基于傅里叶特征增强和全局匹配的PIV测速方法，其特征在于：

所述方法中，在所述全局匹配模块获得所述匹配特征之后，迭代更新生成流场模块中按照以下方式处理获得速度场：

S1、初始化获得一个尺度为M×N的初始坐标矩阵Coords0，通过匹配矩阵P的匹配特征处理获得形变后的匹配坐标矩阵作为初始的匹配坐标矩阵Coords1；

S2、根据初始坐标矩阵Coords0和当前的匹配坐标矩阵Coordsi按照以下公式结合处理获得当前流场flowi：

flowi= upsample(Coordsi- Coords0)

其中，upsample()表示上采样函数；

同时用当前的匹配坐标矩阵Coordsi对匹配矩阵P进行形变得到当前形变后的匹配体积矩阵Pi；

S3、将所述当前形变后的匹配体积矩阵Pi、所述上下文特征信息和所述当前流场flowi一起输入到迭代更新生成流场模块，通过迭代更新生成流场模块处理获得修正流场Δflow；

S4、然后根据所述修正流场Δflow对所述当前匹配坐标矩阵Coordsi按照以下公式进行更新作为下一次迭代的匹配坐标矩阵：

Coords(i+1)=Coordsi+Δflow

其中，Coordsi表示第i次迭代下的匹配坐标矩阵，Coords(i+1) 表示第i+1次迭代下的匹配坐标矩阵；

S5、不断重复上述步骤S2~S4进行迭代循环处理多次，以最终迭代获得的流场作为速度场。

7.根据权利要求6所述的一种基于傅里叶特征增强和全局匹配的PIV测速方法，其特征在于：

所述初始的匹配坐标矩阵Coords1具体按照以下方式获得：

将所述初始坐标矩阵Coords0和所述匹配矩阵P进行相乘获得形变后的匹配坐标矩阵Coords1：

Coords1= P(i,j,u,v)×Coords0

其中，P(i,j,u,v)表示增强特征F1中的每一个元素分别与增强特征F2中的所有元素相乘再经过softmax函数变换后得到的匹配矩阵；

或者根据匹配矩阵P采用以下公式处理获得形变后的匹配坐标矩阵Coords1：

Coords1=argmax_u,v(P(i,j,u,v))

其中，argmax_u,v()分别表示对维度u求最大值和对维度v取最大值。

8.根据权利要求1所述的一种基于傅里叶特征增强和全局匹配的PIV测速方法，其特征在于：

所述步骤102中，在对神经网络模型进行训练时候，设置以下两种损失函数之一：

一种方式是仅以训练迭代完毕后的最后一次迭代步预测获得的流场作为输出进行损失计算，损失loss表示为：

loss=mse(flow_p, flow_t)

其中，flow_p是最后一次迭代步预测的流场，flow_t是真实的标签流场，mse()表示均方误差；

另一种方式是输出训练过程中所有次迭代步预测获得的流场作为输出进行损失计算，损失loss表示为：

loss=(∑_i=1(λ_i×loss_i))/N

loss_i=mse(flow_i, flow_t)

其中，flow_i是第i次迭代步预测的流场，flow_t是真实的标签流场，mse()表示均方误差；i表示迭代步的序数，i=1…N，N表示迭代步的总数；loss_i表示第i次迭代步下的损失，λ_i表示第i次迭代步的权重因子。

9.用于实施权利要求1-8任一所述PIV测速方法的装置，其特征在于：所述装置包含：

图像采集模块（201），用于直接采集获取PIV实验系统生成的粒子图像；

标准输入输出模块（202），用于从外接设备中接收输入的数据、以及所述装置生成的数据对外输出；

存储介质模块（203），用于存储从图像采集模块（201）和标准输入输出模块（202）过来的数据，还存储装置运行过程产出的任何中间数据和结果数据，并且存储实现所述PIV测速方法的计算机程序；

处理器模块（204），用于执行存储介质模块（203）中存储的计算机程序和从存储介质模块（203）中读取运行计算机程序所需的数据，以实现速度场计算方法；

数据传出模块（205），用于将上述各个模块连接在一起，实现上述各个模块之间的通信和数据传输。