CN113139989B - 一种基于深度学习的粒子图像测速方法与装置 - Google Patents

一种基于深度学习的粒子图像测速方法与装置 Download PDF

Info

Publication number
CN113139989B
CN113139989B CN202110692079.9A CN202110692079A CN113139989B CN 113139989 B CN113139989 B CN 113139989B CN 202110692079 A CN202110692079 A CN 202110692079A CN 113139989 B CN113139989 B CN 113139989B
Authority
CN
China
Prior art keywords
particle image
particle
deep learning
field
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110692079.9A
Other languages
English (en)
Other versions
CN113139989A (zh
Inventor
高琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110692079.9A priority Critical patent/CN113139989B/zh
Publication of CN113139989A publication Critical patent/CN113139989A/zh
Application granted granted Critical
Publication of CN113139989B publication Critical patent/CN113139989B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P5/00—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft
    • G01P5/18—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft by measuring the time taken to traverse a fixed distance
    • G01P5/20—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft by measuring the time taken to traverse a fixed distance using particles entrained by a fluid stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的粒子图像测速方法及装置。本发明用随机生成的粒子图像和模拟计算的较高分辨率的速度矢量场传递处理获得较低分辨率的多幅初始速度场，进而组建获得不同工况的训练样本序列构成数据集；再构造包含先后且相关联融合的多尺度收缩和扩张处理的深度学习网络模型，将数据集输入到深度学习网络模型进行训练；将实验粒子图像计算初始速度场，再输入至训练后的深度学习网络模型中得到预测的速度场。本发明方法能方便地构造非常丰富的有效的数据集，最终速度场的分辨率高于传统的互相关算法，鲁棒性好，获得了单像素级的高分辨率流场，满足PIV实验高分辨率要求。

Description

一种基于深度学习的粒子图像测速方法与装置
技术领域
本发明涉及一种图像测速方法和装置，特别的是涉及一种基于深度学习的粒子图像测速( Particle Image Velocimetry，简称PIV)方法与装置。
背景技术
粒子图像测速（Particle Image Velocimetry, PIV）是一种非接触式、全局、定量的智能检测手段，其基本原理是在流场中散播适当的示踪粒子，用脉冲激光片照射测量场的切面区域，通过成像系统摄取曝光的粒子图像，然后运用计算机图像处理技术从PIV实验粒子图像中获取流体运动的速度场信息，其基本原理是取相邻两张图像中示踪粒子或多个粒子构成的图案的位移Δs，然后再除以极短的曝光时间Δt，从而得到速度U。
目前在PIV粒子图像测速领域中依然采用传统的互相关算法从粒子图像中计算得到速度场，其具体过程是从相邻的第一帧中选取窗口，然后再在第二帧图像中的一定区域内进行匹配，以相关性最大的位置作为该窗口的位移矢量，如果窗口选择过大，会大幅度的降低计算结果的分辨率，而窗口选择过小，又会导致窗口的粒子特征过少，可能会产生多个相似的峰值，得不到正确的结果，因此互相关算法难以满足实际应用中对高分辨和高精度的需求。
为了解决互相关算法计算结果分辨率低的问题，目前已经有相关人员开始尝试采用AI技术来从PIV例子图像中计算速度矢量场，并且开发出了基于如FlowNet，LiteFlowNet等网络结构的AI算法，可实现直接从粒子图像计算得到单像素级的超分辨速度场，在粒子图像质量较好的情况下可得到比较理想的结果，但这些算法的鲁棒性均较差。由于实际PIV实验得到的粒子图像包含各种噪音，采用上述AI算法计算时常常得不到正确的流场，其原因出现在对粒子图像的特征提取上，由于PIV粒子图像不具有常见图像中的纹理、边缘等宏观特征，常常造成特征提取不准确，从而造成计算结果的失真甚至错误。
发明内容
为了解决背景技术中存在的问题，本发明的目的是提供一种基于深度学习的粒子图像测速的方法及装置，解决目前粒子图像中计算速度场中存在的计算精度、分辨率低及鲁棒性差等问题。
本发明采用的技术方案是：
一、一种基于深度学习的粒子图像测速方法：
步骤S1：生成数据集
基于随机生成的粒子图像和模拟计算的较高分辨率的速度矢量场依次传递处理获得较低分辨率的多幅初始速度场，并组建不同工况的训练样本序列，进而构成数据集；
步骤S2：构造深度学习网络模型并利用数据集训练；
根据数据集的输入和标签构造对应的深度学习网络模型，深度学习网络模型包含先后进行且相关联融合的多尺度收缩和多尺度扩张的处理，将数据集输入到深度学习网络模型进行训练；
步骤S3：在实际PIV实验中读取获得的实验粒子图像，并计算实验粒子图像的初始速度场；
步骤S4：将实验粒子图像和对应的初始速度场输入至S2中训练完成的深度学习网络模型中得到预测的较高分辨的速度场，根据速度场能够反映表现出粒子图像测速的结果。
所述实验粒子图像通常具体可以为实际实验对象的流场图像，例如风洞试验图、船舶流体动力学图像等，但不限于此。
所述步骤S1，具体为：
S1.1、对于流场进行计算流体力学模拟计算，从模拟计算的结果中抽取t1，t2，t3……多个时刻的速度矢量场，进而组成速度矢量场序列；
所述的速度矢量场为二维数据或三维数据。
S1.2、随机生成初始幅粒子图像，由当前幅粒子图像和当前时刻的速度矢量场结合生成下一幅粒子图像，进而由粒子图像和速度矢量场交替结合生成各幅粒子图像，再优化组建形成最终的粒子图像序列；
各幅粒子图像均为灰度像素作为粒子、黑色像素作为背景的图像。
S1.3、粒子图像序列中，每相邻两幅粒子图像采用互相关算法进行处理生成得到较低分辨率的一个初始速度场，各个相邻两幅粒子图像对应得到的初始速度场组成了初始速度场序列；
S1.4、以粒子图像序列中的相邻两幅粒子图像与对应在初始速度场序列中生成的初始速度场作为一个样本的输入，以相邻两幅粒子图像之间在速度矢量场序列中对应的速度矢量场作为较高分辨率的速度场，并作为一个样本的标签label，由样本的输入和样本的标签构造样本，从而所有样本构建了训练样本序列；
S1.5、重复上述步骤S1.1～S1.4对各种工况进行计算流体力学模拟计算，构造不同工况下的训练样本序列，综合各种不同工况下的训练样本序列组建形成训练用的数据集。
具体实施中，常见的各种工况包含有平板流、槽道流、圆柱绕流、海洋表面流、反向台阶流、湍流、边界层流，但不限于此。
所述的S1.2中，具体为：
S1.2.1、采用灰度像素作为粒子，按照预设的粒子浓度生成一幅随机位置且随机大小的粒子图像作为第一幅粒子图像；
预设的粒子浓度是在浓度范围中随机抽取一个浓度，浓度是指单位面积所包含的粒子个数。粒子图像为二维的图像或三维的图像。
S1.2.2、对于第k幅粒子图像，均按照以下方式处理获得下一幅粒子图像：
对于第k幅粒子图像中每个粒子所在的位置，找到在tk时刻的速度矢量场中相同位置处的速度矢量v，通过公式获得粒子在第k+1幅粒子图像中的位置，进而生成第k+1幅粒子图像：
Sk+1=Sk+vk×Δt
式中，Sk表示粒子在第k幅粒子图像中的位置，vk表示粒子所在位置在tk时刻的速度矢量场中的速度矢量，Sk+1表示粒子在第k+1幅粒子图像中位置，Δt表示时间间隔，是实际PIV实验拍摄图像时的相机高光时间间隔，也是连续两幅粒子图像的时间间隔；
S1.2.3、不断重复上述步骤S1.2.2，直到遍历到最后时刻的速度矢量场，生成各幅粒子图像，最后在各幅粒子图像中添加背景噪音形成最终的粒子图像序列。
由于粒子图像为二维的图像或三维的图像，粒子图像序列为二维或三维的。
所述的背景噪音例如采用高斯噪音，但不限于此。
所述的步骤S2中，深度学习网络模型包括有两个输入层和一个输出层，
第一个输入层输入的是粒子图像序列中的相邻两幅粒子图像，第一个输入层输出经第一收缩式网络结构进行特征提取，具体是多尺度收缩操作；
第二个输入层输入的是粒子图像序列中相邻两幅粒子图像经互相关算法在初始速度场序列中对应计算生成的初始速度场，第二个输入层输出经第二收缩式网络结构进行特征提取，具体是多尺度收缩操作；
具体实施中，第一收缩式网络结构由连续五个卷积池化模块构成，第二收缩式网络结构由连续两个卷积池化模块构成。
第一个输入层和第二个输入层经特征提取后的结果均输入到合并层进行合并和融合，合并层的输出经扩张式网络结构进行多尺度扩张操作处理后完成特征还原进而输出到输出层，并且第一个输入层和第二个输入层在进行特征提取处理过程中获得的各个尺度收缩操作后的中间结果经特征转移层转移到扩张式网络结构的相同尺度扩张操作中进行合并；
本发明设置合并层将从粒子图像提取的特征和从初始场提取的特征进行合并和融合，之后设置一组由反卷积层构成的扩张式网络结构从特征中逐步还原出速度场，此外还设置了特征转移层将特征提取阶段的不同尺度的特征转移至特征还原结构中并将其中相同尺度的特征进行合并。
设置一层卷积层作为输出层，输出层输出预测速度场，预测速度场的维度与第一个输入层输入的粒子图像的维度相同。
所述的第一收缩式网络结构和第二收缩式网络结构拓扑结构相同，均包括连续多个卷积池化模块，通过多个卷积池化模块依次进行降尺度收缩操作，每个卷积池化模块均由一个卷积层和一个池化层连接构成，从而收缩式网络结构整体形成了卷积层和池化层交替组成的网络结构。
所述的扩张式网络结构为包括连续多个反卷积池化模块，通过多个反卷积池化模块依次进行升尺度扩张操作，每个反卷积池化模块均由一个反卷积层和一个池化层连接构成，从而扩张式网络结构整体形成了反卷积层和池化层交替组成的网络结构。
所述的步骤S2中，深度学习网络模型还增设了另外两个输出层，共形成三个输出层；将扩张式网络结构进行多尺度扩张操作中的两种中间的尺度扩张结果分别输入到另外两个输出层，经另外两个输出层输出获得更低分辨率的预测速度场。
在深度学习网络模型训练时候，损失函数采用回归问题中的均方误差MSE，用高分辨率的预测速度场和训练样本序列中的标签label构造损失函数。
在深度学习网络模型训练时候，损失函数采用回归问题中的均方误差MSE，采用不同尺度的高、低分辨率的预测速度场和训练样本序列中的标签label插值后得到的不同尺度的速度矢量场构造损失函数。
二、一种粒子图像测速装置，包含如下：
图像采集模块，直接采集获取PIV实验系统生成的粒子图像并发送到存储介质模块；
I/O接口模块，从外接设备中接收输入所需的粒子图像数据并发送到存储介质模块，同时从处理器模块接收粒子图像测速的结果数据并对外输出至外部设备；
存储介质模块，存储从图像采集模块和I/O接口模块接收到的数据，存储实现算法的计算机程序并发送到处理器模块，存储处理器模块运行计算机程序过程中产出的任何中间数据和结果数据；
处理器模块，运行存储介质模块中存储的计算机程序，从读取存储介质模块读取计算机程序所需的数据，以实现所述粒子图像测速方法；
数据传输模块，将上述各个模块连接在一起，实现上述各个模块之间的通信和数据传输。
本发明利用由粒子图像位置添加速度矢量而生成的粒子图像序列进而建立数据集，并且基于PIV粒子图像和低分辨率的速度场两类数据形式构建包含先后且相关联融合的多尺度收缩和扩张处理的深度学习网络，通过神经网络的数据融合和超分辨计算特性，实现从PIV粒子图像至速度场的高分辨重建。
本发明的有益效果是：
(1)本发明方法能够获得单像素级的高分辨率流场，而传统互相关算法的匹配窗口都大于8，即最少8*8=64个像素才能计算得到一个速度矢量，因此本发明方法计算得到的速度场的分辨率远高于传统互相关算法，能够很好地满足PIV实验对高分辨率速度场的要求。
(2)本发明方法基于原始的粒子图像和初始速度场两种输入信息，鲁棒性好，即便粒子图像的质量很差，噪音严重也能够得到合理准确的单像素级高分辨率速度场。
(3)本发明提出了的数据集生成方法，只需要随机生成一幅随机位置的粒子图像，即可根据该随机位置的粒子图像通过速度矢量场序列生成一系列粒子图像，同一个速度矢量场序列基于不同的初始随机粒子图像即可生成完全不同的粒子图像序列，方法能方便地构造非常丰富的有效的数据集，进而辅助预测获得高分辨率图像。
附图说明
图1为本发明方法的逻辑路线图；
图2为数据集生成过程的示意图；
图3为深度学习网络模型的第一种网络结构示意图；
图4为深度学习网络模型的第二种网络结构示意图；
图5为本发明装置的结构图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明。
本发明的实施例和实施情况分别如下：
实施例一：采用第一种神经网络结构
其计算实现方案主要包括如图1所示的几个步骤：
步骤S1：生成数据集101，该步骤的具体过程如图2所示：
S1.1、对于一定工况的流场进行计算流体力学(CFD)模拟计算，从模拟计算的结果中抽取t1，t2，t3……多个时刻的更高分辨率的速度矢量场，进而组成速度矢量场序列201，即如图2中201所指的一行所示的速度矢量场序列；
具体实施以常见的流动形式，如backstep流动、圆柱绕流、湍流、均匀流、SQG流动进行CFD数值模拟，在上述工况模拟的结果中抽取出一系列的二维或三维的速度矢量场序列201，其中二维情况下速度矢量场的维度大小均为（256，256），三维情况下速度矢量场的维度大小均为（256，256，256）。
S1.2、随机生成初始幅粒子图像，结合上述模拟得到的矢量场序列计算得到粒子图像序列202，并在生成的粒子图像中随机的加入噪音；具体为：
S1.2.1、计算机中采用灰度像素作为粒子，按照预设的粒子浓度生成一幅随机位置且随机大小的粒子图像作为第一幅粒子图像，即初始幅粒子图像；随机位置且随机大小是指粒子位置随机且粒子大小随机，具体实施中粒子的亮暗也可随机，粒子图像中非粒子的像素为纯黑色。
S1.2.2、对于第k幅粒子图像，均按照以下方式处理获得下一幅粒子图像：
对于第k幅粒子图像中每个粒子所在的位置，找到在tk时刻的速度矢量场中相同位置处的速度矢量v，即按照虚线箭头所指的速度矢量场中相同位置位处的速度矢量v，通过公式获得粒子在第k+1幅粒子图像中的位置，进而生成第k+1幅粒子图像：
Sk+1=Sk+vk×Δt
式中，Sk表示粒子在第k幅粒子图像中的位置，vk表示粒子所在位置在tk时刻的速度矢量场中的速度矢量，Sk+1表示粒子在第k+1幅粒子图像中位置，δ表示时间间隔，Δt表示时间间隔，是实际PIV实验拍摄图像时的相机高光时间间隔，也是连续两幅粒子图像的时间间隔；
S1.2.3、不断重复上述步骤S1.2.2，直到遍历到最后时刻的速度矢量场，生成各幅粒子图像，最后在各幅粒子图像中添加已知的背景噪音形成最终的粒子图像序列202。
具体实施中，根据当第一幅粒子图像中每个粒子所在的位置，找到在t1时刻的速度矢量场中相同位置处的速度矢量v，利用速度矢量v计算得到粒子在第二幅粒子图像中的位置：
S2=S1+v*Δt
式中，S1表示粒子在第一幅粒子图像中的位置，v表示粒子所在位置在速度矢量场中的速度矢量，S2表示粒子在第二幅粒子图像中位置，Δt表示时间间隔；
进而利用第一幅粒子图像中各个粒子在第二幅粒子图像中的位置生成第二幅粒子图像(二维或三维)，然后根据第二幅粒子图像和下一时刻的速度矢量场生成第三幅粒子图像，不断重复上述过程，生成各幅粒子图像组成粒子图像序列202，即如图2中所示的202所指的一行的粒子图像序列(二维或三维)，最后在每一幅粒子图像中添加已知的背景噪音形成更加符合实际的粒子图像序列202。
S1.3、如图2所示的粒子图像序列202中，每相邻两幅粒子图像采用互相关算法等传统算法进行处理生成得到更低分辨率的一个初始速度场，各个相邻两幅粒子图像对应得到的初始速度场组成了初始速度场序列203；
S1.4、以如图2中所示的粒子图像序列202中的相邻两幅粒子图像与对应在初始速度场序列203中生成的初始速度场作为一个样本的输入，以相邻两幅粒子图像之间在速度矢量场序列201中对应的速度矢量场作为更高分辨率的速度场，并作为一个样本的标签label，由样本的输入和样本的标签构造训练用的样本，从而所有样本构建了训练样本序列，由此通过粒子图像序列202、初始速度场序列203和速度矢量场序列201构造了训练所示用的训练样本序列(二维或三维)；
S1.5、重复上述步骤S1.1～S1.4对实际中常见的各种工况进行计算流体力学模拟计算，构造各种不同工况下的训练样本序列，综合各种不同工况下的训练样本序列组建形成训练用的数据集(二维或三维)。数据集的样本数量为10万数量级。
步骤S2：构造深度学习网络模型并利用数据集训练102；
目前已经有相关研究人员尝试采用AI技术从PIV粒子图像中直接计算得到高分辨率的流场，但实践结果表明，算法的鲁棒性均很差，由于实验中拍摄的PIV粒子图像包含各式各样的噪音，并且粒子图像没有常见图像中的宏观物体的纹理和边缘特征，因此仅仅以粒子图像作为神经网络的输入在噪音严重的情况下得到的计算结果均很差，甚至出现毫无实际意义的错误结果。
为解决上述问题，本发明提出以相邻两幅粒子图像和根据这两幅粒子图像计算低分辨率的初始速度场作为输入，来预测最终单像素级的高分辨率的速度矢量场的神经网络结构，该神经网络分别从粒子图像和低分辨率的初始速度场中提取特征信息，并基于两种特征信息预测得到最终的的高分辨率的速度矢量场。
以下是构造的神经网络结构作为深度学习网络模型：
本实施例中神经网络结构如图3所示，包括有两个输入层和一个输出层，
第一个输入层输入的是粒子图像序列202中的相邻两幅粒子图像，第一个输入层输出经第一收缩式网络结构对输入的相邻两幅粒子图像进行特征提取，具体是多尺度收缩操作；
第二个输入层输入的是粒子图像序列202中相邻两幅粒子图像经互相关算法在初始速度场序列203中对应计算生成的初始速度场，第二输入层之后同样设置收缩式网络结构，第二个输入层输出经第二收缩式网络结构初始速度场进行特征提取，具体是多尺度收缩操作。第一收缩式网络结构和第二收缩式网络结构拓扑结构相同，均包括连续多个卷积池化模块，通过多个卷积池化模块依次进行降尺度收缩操作，每个卷积池化模块均由一个卷积层和一个池化层连接构成，从而收缩式网络结构整体形成了卷积层和池化层交替组成的网络结构。
第一个输入层和第二个输入层经特征提取后的结果均输入到合并层进行合并和融合，具体实施的合并和融合是将相同的通道拼接，拼接后经过卷积层处理；合并层的输出经扩张式网络结构进行多尺度扩张操作处理后完成特征还原进而输出到输出层，并且第一个输入层和第二个输入层在进行特征提取处理过程中获得的各个尺度收缩操作后的中间结果经特征转移层转移到扩张式网络结构的相同尺度扩张操作中进行合并。扩张式网络结构为包括连续多个反卷积池化模块，通过多个反卷积池化模块依次进行升尺度扩张操作，每个反卷积池化模块均由一个反卷积层和一个池化层连接构成，从而扩张式网络结构整体形成了反卷积层和池化层交替组成的网络结构。
例如，特征转移层将第一个输入层/第二个输入层在特征提取过程中一个卷积池化模块尺度收缩操作获得的（8，8）特征维度的中间结果输入到扩张式网络结构中，和扩张式网络结构中在一个反卷积池化模块进行反卷积的（8，8）特征维度的结果进行拼接进而获得（16，16）结果。
最后设置一层卷积层作为输出层，输出层的输入为特征还原的结果，输出层输出高分辨率的预测速度场，预测速度场的维度与第一个输入层输入的粒子图像的维度相同，即以获得单像素级的高分辨率流场。
当二维数据情况下，收缩式网络结构中卷积池化模块的卷积层为2D卷积层，扩张式网络结构中反卷积池化模块的反卷积层为2D反卷积层；当三维数据情况下，收缩式网络结构中卷积池化模块的卷积层为3D卷积层，扩张式网络结构中反卷积池化模块的反卷积层为3D反卷积层。
具体地，二维情况时，第一个输入层的维度为（256，256，2）用于输入两幅相邻的粒子图像，第一个输入层之后设置五层2D卷积层，每层2D卷积层之后在下一个2D卷积层之前均依次设置激活层和池化层，其中池化层的步长2，上述卷积层用于提取不同尺度的特征，如（256，256）、（128，128）、（64，64）、（32，32）、（16，16）等不同尺度的特征；第二个输入层输入的是从相邻两幅粒子图像计算得到的初始速度场，之后设置两层卷积层，每层卷积层之后在下一个2D卷积层之前均依次设置激活层和池化层，其中池化层的步长2，用于从初始速度场中提取不同尺度的特征，如（32，32）、（16，16）的特征。
然后设置合并层将从两个输入层提取的特征进行合并，合并后设置一层卷积层从合并的特征中提取特征信息使合并的特征进一步融合；其后设置四层2D反卷积层，反卷积的步长均为2，逐步的从特征中还原出不同尺度的如（32，32）、（64，64）、（128，128）、（256，256）的特征，此外还设置特征转移层将特征提取中提取的不同尺度的特征信息与特征还原中间处理的特征进行合并然后再进行反卷积操作，例如将反卷积得到的（32，32）特征和从第一个输入层提取的（32，32）的特征、从第二个输入层提取的（32，32）的特征进行合并，然后再进行反卷积得到（64，64）的特征，最后设置一层没有激活层的卷积层作为输出层，输出的是维度为（256，256）的单像素级的高分辨率流场。三维情况时仅是输入输出的维度不同，其余与2D情况均相同。
在第一种网络结构的单输出的情况下，直接用高分辨率的预测速度场和训练样本序列中的标签label(即速度矢量场序列201中对应的速度矢量场)来构造损失函数。
选用Adam优化器，以均方差MSE为损失函数，利用上述生成的数据集对深度学习网络模型进行训练，得到最终的能够预测高分辨速度场的深度学习网络模型。
（3）对待测试的流场进行PIV实验读取获得的实验粒子图像103，得到某时刻的连续两幅粒子图像，计算获得初始速度场后，将实验粒子图像和对应的初始速度场输入至上述训练完成的深度学习网络模型中，得到该时刻的速度场的预测结果104。
具体实施中，实验粒子图像的初始速度场是由实验粒子图像输入到PIV图像测速软件中处理输出获得，具体例如为MicroVec或者PIVlab软件。
实施例二：采用第二种神经网络结构
实施例二与实施例一的不同之处是神经网络的输出层的数目不同，实施例二中的采用第二种网络结构，第二种网络结构和第一种网络结构基本类似，如图4所示。
第二种网络结构是在第一种网络结构基础上，还增设了另外两个输出层，共形成三个输出层；将扩张式网络结构进行多尺度扩张操作中的两种中间的尺度扩张结果分别输入到另外两个输出层，经另外两个输出层输出获得更低分辨率的预测速度场。
即特征提取、特征合并融合和特征转移均与实施例一相同，不同之处是，实施例二中的第二种神经网络在反卷积的过程中共设置三个输出层，分别输出尺度为（32，32）、（64，64）和（256，256）的速度场，其中（256，256）的速度场是最终实际需要的单像素级的高分辨流场，（32，32）和（64，64）的速度场输出是为了更容易的训练神经网络而设置的额外输出，通过设置额外的输出，可通过计算不同尺度的输出流场和真实label流场之间的均方差来构造损失函数，在训练过程中，第二种神经网络能够从损失函数中获得不同尺度的误差反馈，使得实施例二中的神经网络更加容易训练。
在第二种网络结构的多输出的情况下，采用不同尺度的高、低分辨率的预测速度场和训练样本序列中的标签label(即速度矢量场序列201中对应的速度矢量场) 插值后得到的不同尺度的速度矢量场来构造损失函数。
这样其中第一输出层和第二输出层输出的是低分辨率流场，前两个输出层仅用于更有效的训练神经网络，第三输出层输出的是最终实际需要单像素级的高分辨率流场。第二种神经网络会速度更快，性能更优。
具体实施实现本发明方法的装置如图5所示，其包含的模块和功能如下：
图像采集模块301，直接采集获取PIV实验系统生成的粒子图像并发送到存储介质模块303；
I/O接口模块302，从外接设备中接收输入所需的粒子图像数据并发送到存储介质模块303，同时从处理器模块304接收粒子图像测速的结果数据并对外输出至外部设备；
存储介质模块303，存储从图像采集模块301和I/O接口模块302接收到的数据，存储实现算法的计算机程序并发送到处理器模块304，存储处理器模块304运行计算机程序过程中产出的任何中间数据和结果数据；
处理器模块304，运行存储介质模块303中存储的计算机程序，从读取存储介质模块303读取计算机程序所需的数据，以实现所述粒子图像测速方法；
数据传输模块305，将上述各个模块连接在一起通信连接，实现上述各个模块之间的通信和数据传输。

Claims (9)

1.一种基于深度学习的粒子图像测速方法，其特征在于：
步骤S1：生成数据集（101）：基于随机生成的粒子图像和模拟计算的较高分辨率的速度矢量场依次传递处理获得较低分辨率的多幅初始速度场，并组建不同工况的训练样本序列，进而构成数据集；
步骤S2：构造深度学习网络模型并利用数据集训练（102）：根据数据集的输入和标签构造对应的深度学习网络模型，深度学习网络模型包含先后进行且相关联融合的多尺度收缩和多尺度扩张的处理，将数据集输入到深度学习网络模型进行训练；
步骤S3：在实际PIV实验中读取获得的实验粒子图像，并计算实验粒子图像的初始速度场（103）；
步骤S4：将实验粒子图像和对应的初始速度场输入至S2中训练完成的深度学习网络模型中得到预测的速度场（104）；
所述步骤S1，具体为：
S1.1、对于流场进行计算流体力学模拟计算，从模拟计算的结果中抽取t1，t2，t3……多个时刻的速度矢量场，进而组成速度矢量场序列（201）；
S1.2、随机生成初始幅粒子图像，由当前幅粒子图像和当前时刻的速度矢量场结合生成下一幅粒子图像，进而由粒子图像和速度矢量场交替结合生成各幅粒子图像，再优化组建形成最终的粒子图像序列（202）；
S1.3、粒子图像序列（202）中，每相邻两幅粒子图像采用互相关算法进行处理生成得到一个初始速度场，各个相邻两幅粒子图像对应得到的初始速度场组成了初始速度场序列（203）；
S1.4、以粒子图像序列（202）中的相邻两幅粒子图像与对应在初始速度场序列（203）中生成的初始速度场作为一个样本的输入，以相邻两幅粒子图像之间在速度矢量场序列（201）中对应的速度矢量场作为一个样本的标签label，由样本的输入和样本的标签构造样本，从而所有样本构建了训练样本序列；
S1.5、重复上述步骤S1.1～S1.4对各种工况进行计算流体力学模拟计算，构造不同工况下的训练样本序列，综合各种不同工况下的训练样本序列组建形成训练用的数据集。
2.根据权利要求1所述的一种基于深度学习的粒子图像测速方法，其特征在于：所述的S1.2中，具体为：
S1.2.1、采用灰度像素作为粒子，按照预设的粒子浓度生成一幅随机位置且随机大小的粒子图像作为第一幅粒子图像；
S1.2.2、对于第k幅粒子图像，均按照以下方式处理获得下一幅粒子图像：
对于第k幅粒子图像中每个粒子所在的位置，找到在tk时刻的速度矢量场中相同位置处的速度矢量v，通过公式获得粒子在第k+1幅粒子图像中的位置，进而生成第k+1幅粒子图像：
Sk+1=Sk+vk×Δt
式中，Sk表示粒子在第k幅粒子图像中的位置，vk表示粒子所在位置在tk时刻的速度矢量场中的速度矢量，Sk+1表示粒子在第k+1幅粒子图像中位置，Δt表示时间间隔，是实际PIV实验拍摄图像时的相机高光时间间隔，也是连续两幅粒子图像的时间间隔；
S1.2.3、不断重复上述步骤S1.2.2，直到遍历到最后时刻的速度矢量场，生成各幅粒子图像，最后在各幅粒子图像中添加背景噪音形成最终的粒子图像序列（202）。
3.根据权利要求1所述的一种基于深度学习的粒子图像测速方法，其特征在于：所述的步骤S2中，深度学习网络模型包括有两个输入层和一个输出层，
第一个输入层输入的是粒子图像序列（202）中的相邻两幅粒子图像，第一个输入层输出经第一收缩式网络结构进行特征提取，具体是多尺度收缩操作；
第二个输入层输入的是粒子图像序列（202）中相邻两幅粒子图像经互相关算法在初始速度场序列（203）中对应计算生成的初始速度场，第二个输入层输出经第二收缩式网络结构进行特征提取，具体是多尺度收缩操作；
第一个输入层和第二个输入层经特征提取后的结果均输入到合并层进行合并和融合，合并层的输出经扩张式网络结构进行多尺度扩张操作处理后完成特征还原进而输出到输出层，并且第一个输入层和第二个输入层在进行特征提取处理过程中获得的各个尺度收缩操作后的中间结果经特征转移层转移到扩张式网络结构的相同尺度扩张操作中进行合并；
设置一层卷积层作为输出层，输出层输出预测速度场，预测速度场的维度与第一个输入层输入的粒子图像的维度相同。
4.根据权利要求3所述的一种基于深度学习的粒子图像测速方法，其特征在于：所述的第一收缩式网络结构和第二收缩式网络结构拓扑结构相同，均包括连续多个卷积池化模块，通过多个卷积池化模块依次进行降尺度收缩操作，每个卷积池化模块均由一个卷积层和一个池化层连接构成。
5.根据权利要求3所述的一种基于深度学习的粒子图像测速方法，其特征在于：所述的扩张式网络结构为包括连续多个反卷积池化模块，通过多个反卷积池化模块依次进行升尺度扩张操作，每个反卷积池化模块均由一个反卷积层和一个池化层连接构成。
6.根据权利要求3所述的一种基于深度学习的粒子图像测速方法，其特征在于：所述的步骤S2中，深度学习网络模型还增设了另外两个输出层，共形成三个输出层；将扩张式网络结构进行多尺度扩张操作中的两种中间的尺度扩张结果分别输入到另外两个输出层，经另外两个输出层输出获得预测速度场。
7.根据权利要求3所述的一种基于深度学习的粒子图像测速方法，其特征在于：在深度学习网络模型训练时候，损失函数采用回归问题中的均方误差MSE，用高分辨率的预测速度场和训练样本序列中的标签label构造损失函数。
8.根据权利要求6所述的一种基于深度学习的粒子图像测速方法，其特征在于：在深度学习网络模型训练时候，损失函数采用回归问题中的均方误差MSE，采用不同尺度的高、低分辨率的预测速度场和训练样本序列中的标签label插值后得到的不同尺度的速度矢量场构造损失函数。
9.应用于权利要求1所述粒子图像测速方法的一种粒子图像测速装置，其特征在于：包含如下：
图像采集模块（301），直接采集获取PIV实验系统生成的粒子图像并发送到存储介质模块（303）；
I/O接口模块（302），从外接设备中接收输入所需的粒子图像数据并发送到存储介质模块（303），同时从处理器模块（304）接收粒子图像测速的结果数据并对外输出至外部设备；
存储介质模块（303），存储从图像采集模块（301）和I/O接口模块（302）接收到的数据，存储实现算法的计算机程序并发送到处理器模块（304），存储处理器模块（304 ）运行计算机程序过程中产出的任何中间数据和结果数据；
处理器模块（304），运行存储介质模块（303）中存储的计算机程序，从读取存储介质模块（303）读取计算机程序所需的数据，以实现所述粒子图像测速方法；
数据传输模块（305），将上述各个模块连接在一起，实现上述各个模块之间的通信和数据传输。
CN202110692079.9A 2021-06-22 2021-06-22 一种基于深度学习的粒子图像测速方法与装置 Active CN113139989B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110692079.9A CN113139989B (zh) 2021-06-22 2021-06-22 一种基于深度学习的粒子图像测速方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110692079.9A CN113139989B (zh) 2021-06-22 2021-06-22 一种基于深度学习的粒子图像测速方法与装置

Publications (2)

Publication Number Publication Date
CN113139989A CN113139989A (zh) 2021-07-20
CN113139989B true CN113139989B (zh) 2021-11-23

Family

ID=76815880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110692079.9A Active CN113139989B (zh) 2021-06-22 2021-06-22 一种基于深度学习的粒子图像测速方法与装置

Country Status (1)

Country Link
CN (1) CN113139989B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706582B (zh) * 2021-08-26 2022-09-20 北京航空航天大学宁波创新研究院 速度、速度场测量方法、系统、设备、装置及存储介质
CN113781528A (zh) * 2021-08-26 2021-12-10 山东新一代信息产业技术研究院有限公司 一种基于光流计算的河流表面流速测算方法
CN114062712B (zh) * 2021-09-29 2022-09-06 东南大学 基于单光场成像的合成孔径粒子图像测速方法及装置
CN114723608B (zh) * 2022-04-14 2023-04-07 西安电子科技大学 基于流体粒子网络的图像超分辨率重建方法
CN115114859B (zh) * 2022-07-15 2023-03-24 哈尔滨工业大学 一种基于双向门控循环单元的高时间分辨率流场重构方法
CN117422735B (zh) * 2023-12-13 2024-03-26 南方科技大学 粒子测速方法、粒子测速装置、电子设备及存储介质
CN117825743B (zh) * 2024-03-04 2024-06-11 浙江大学 基于傅里叶特征增强和全局匹配的piv测速方法与装置
CN117952173B (zh) * 2024-03-26 2024-06-11 浙江大学 深度学习模型训练的piv及速度场数据集构建方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231299B (zh) * 2007-01-23 2010-12-01 同济大学 一种测量粒子速度的方法
CN109669049B (zh) * 2019-02-01 2021-04-09 浙江大学 一种基于卷积神经网络的粒子图像测速方法

Also Published As

Publication number Publication date
CN113139989A (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN113139989B (zh) 一种基于深度学习的粒子图像测速方法与装置
CN111881773B (zh) 一种基于位置偏移的事件相机人体姿态估计方法及系统
CN111401436B (zh) 一种融合网络和双通道注意力机制的街景图像分割方法
CN113516693B (zh) 一种快速通用的图像配准方法
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN113284251B (zh) 一种自适应视角的级联网络三维重建方法及系统
CN113850900B (zh) 三维重建中基于图像和几何线索恢复深度图的方法及系统
CN114359509A (zh) 一种基于深度学习的多视图自然场景重建方法
Zhang et al. Pa-mvsnet: Sparse-to-dense multi-view stereo with pyramid attention
CN117218508A (zh) 一种基于通道并行融合多注意力机制的滚珠丝杠故障诊断方法
CN117974886A (zh) 一种基于Transformer网络的三维流场超分辨率重建方法
CN117876397A (zh) 一种基于多视角数据融合的桥梁构件三维点云分割方法
CN117593702B (zh) 远程监控方法、装置、设备及存储介质
Nguyen et al. Combination of images and point clouds in a generative adversarial network for upsampling crack point clouds
CN114037731A (zh) 一种fpga实现的神经网络光流估计方法、装置及介质
CN117788544A (zh) 一种基于轻量级注意力机制的图像深度估计方法
CN117557720A (zh) 一种轻量级深度网络的微观三维形貌重建方法
CN115100409B (zh) 一种基于孪生网络的视频人像分割算法
CN116109778A (zh) 基于深度学习的人脸三维重建方法、计算机设备与介质
CN111985542B (zh) 代表性图结构模型、视觉理解模型的建立方法及应用
Li et al. Improving resolution of 3D surface with convolutional neural networks
Liu et al. Compressed sensing image reconstruction based on convolutional neural network
Cretu et al. Neural network architecture for 3D object representation
CN117825743B (zh) 基于傅里叶特征增强和全局匹配的piv测速方法与装置
Luo et al. Full resolution dense depth recovery by fusing RGB images and sparse depth

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant