CN115861206A - 一种用于粒子图像测速的图像成像方法及装置 - Google Patents

Abstract

本发明属于粒子图像测速领域，具体涉及一种用于粒子图像测速的图像成像方法及装置，包括：基于预先设置的多分幅相机内n个图像传感器的曝光时序，控制各图像传感器对流场目标位置进行单次图像采集，得到n帧低空间分辨率粒子图像；通过不同图像传感器分时曝光，控制所采集低空间分辨率粒子图像间的帧间间隔，实现高时间分辨率的图像采集；对多帧低空间分辨率粒子图像进行超分辨率重建，得到具有高时间分辨率的多帧高空间分辨率粒子图像，其中，每帧低空间分辨率粒子图像的重建采用包括该帧低空间分辨率粒子图像的多帧低空间分辨率粒子图像实现。本发明为提高大尺度全场高速PIV测量的精度和效率提供了一种高时间分辨率高空间分辨率图像的获取方法。

Description

一种用于粒子图像测速的图像成像方法及装置

技术领域

本发明属于粒子图像测速领域，更具体地，涉及一种用于粒子图像测速的图像成像方法及装置。

背景技术

高超声速流场测量技术广泛应用于飞行器设计领域，如高超声速流场中压缩拐角模型、前向台阶模型、圆柱绕流模型等模型的流场测量，用于优化飞行器几何构型，解决气动力/热问题，对飞行器的设计和验证至关重要。高超声速流场具有高超声速、可压缩、非均匀、非定常的特点，同时湍流细小结构物理尺寸在0.1-10mm量级，小尺度涡结构在粒子图像中<1pixel，这为流场的全场高精度高分辨率测量带来了巨大挑战。

高超声速流场测量技术发展经历了由单点到全场、接触到无接触、时均到瞬时、低速到高速、二维到三维的的发展历程，当前粒子图像测速技术(particle imagevelocimetry简称PIV)是国际公认的最具前景的高超声速流场测量方法，这其中成像系统更是PIV技术中至关重要的一环，如何获取到具有高时间分辨率、高空间分辨率的粒子图像是速度场精确测量的关键。

目前PIV领域常用的成像装置分为两种：以CMOS图像传感器为成像单元的高速相机和以CCD图像传感器为成像单元的跨帧相机。CMOS高速相机虽然成像帧率高，可以达到几万赫兹，但是相邻两帧粒子图像的帧间间隔较长，通常在百微秒量级，只能进行低速流场PIV测量；同时，增加成像帧率会降低成像空间分辨率，导致小尺度结构捕捉能力下降。CCD跨帧相机可以实现百纳秒级的帧间间隔图像采集，但成像帧率低，通常为几十甚至十几赫兹，无法实现流场高频特性的测量；与此同时，无论是CCD相机还是CMOS相机，都采用单个传感器进行成像，空间分辨率大都在几百万像素级别，在大尺度全场PIV测量过程中无法实现微小流程结构的精细测量。

因此，在大尺度全场高速PIV测量领域，高空间分辨率是实现流场微小结构精确测量的关键，而微小结构精确测量以及帧间间隔又是保证对高超声速流场中的细小涡结构的速度场测量精度的关键，如何同时提高采集图像的空间分辨率和时间分辨率，是目前高速PIV测量亟需解决的问题。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种用于粒子图像测速的图像成像方法及装置，其目的在于提高对高超声速流场中的细小涡结构的PIV测量精度。

为实现上述目的，按照本发明的一个方面，提供了一种用于粒子图像测速的图像成像方法，包括：

基于预先设置的多分幅相机内n个图像传感器的曝光时序，控制各图像传感器对流场目标位置进行单次图像采集，得到n帧低空间分辨率粒子图像；其中，所述多分幅相机中设置有分光成像模块以实现均匀n分光；通过不同图像传感器分时曝光，控制所采集低空间分辨率粒子图像之间的帧间间隔，实现高时间分辨率的图像采集；

对多帧低空间分辨率粒子图像进行超分辨率重建，得到具有高时间分辨率的多帧高空间分辨率粒子图像，其中，每帧低空间分辨率粒子图像的重建是采用包括该帧低空间分辨率粒子图像的多帧低空间分辨率粒子图像进行实现。

进一步，所述n取值为四，所述多分幅相机还设置有紧贴镜头后端的像增强器，用于提高传感器入射光强。

进一步，所述分光成像模块包括设置于所述像增强器后端且依次连接的光学延长单元和分光成像单元；

所述光学延长单元用于延长相机镜头后截距，保证镜头所成像位于各图像传感器平面；所述分光成像单元由分光棱镜和n个图像传感器组成，以实现均匀四分光以及图像采集。

进一步，所述重建的方式为：

将待重建低空间分辨率粒子图像与其它各低空间分辨率粒子图像组成图像对；

采用由粗到精的方式计算每组图像对之间的位移场；根据该位移场，将该组图像对中待重建低空间分辨率粒子图像以外的图像与待重建低空间分辨率粒子图像对齐；将对齐后的多张低空间分辨率粒子图像沿通道维度进行拼接；

对拼接后的图像进行特征提取，将提取的浅层特征输入到特征融合模块，得到低分辨率融合特征；将所述低分辨率融合特征映射到高分辨率特征空间，得到高分辨率特征；采用所述高分辨率特征，重建出待重建低空间分辨率粒子图像的插值图像与高空间分辨率粒子图像之间的残差图像，基于所述残差图像及所述插值图像，得到待重建低空间分辨率粒子图像的高空间分辨率粒子图像。

进一步，所述特征融合模块由多头注意力残差模块级联组成；其中，

每个多头注意力残差模块以前一层输出特征L_t-1作为输入，将L_t-1分别送入到每个注意力头中计算多尺度空间-通道注意力，每个注意力头使用不同大小的卷积核，每个注意力头具有不同的感受野；

将每个注意力头的输出按照位置相加并使用sigmoid函数进行激活得到最终的空间-通道注意力W；所述输入特征L_t-1还经两个卷积层进行进一步特征映射，并结合残差连接，得到特征L'_t，表示为：

L'_t＝prelu(conv(prelu(conv(L_t-1))))+L_t-1；

其中，conv()表示卷积操作，prelu()表示激活函数；

将特征L'_t与注意力W按位置相乘得到输出特征L_t。

进一步，每帧低空间分辨率粒子图像的重建是采用包括该帧低空间分辨率粒子图像的相邻多帧低空间分辨率粒子图像实现。

进一步，所述n个图像传感器在垂直于入射光线的平面内存在安装机械偏差；

则所述曝光时序能够使得部分图像传感器同时曝光，当同时曝光的图像传感器有多组时，不同组之间分时曝光；

在超分辨率重建时，基于每组采集的多帧低空间分辨率粒子图像，对该组得到的某一帧低空间分辨率粒子图像进行超分辨率重建，得到该组对应的一帧高空间分辨率粒子图像。

进一步，所述曝光时序为：n个图像传感器按序依次曝光，且帧间间隔根据所需时间分辨率确定。

本发明还提供一种用于粒子图像测速的图像成像装置，用于执行如上所述的一种用于粒子图像测速的图像成像方法，包括：多分幅相机和图像重建模块；

所述多分幅相机用于低空间分辨率粒子图像的采集；所述图像重建模块用于执行超分辨率重建。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如上所述的一种用于粒子图像测速的图像成像方法。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

(1)本发明提供了一种超高时间分辨率超高空间分辨率图像获取方法，其中引入多分幅相机，通过分光原理，可以突破图像传感器数据读出速度对于帧间间隔的限制。相比于传统跨帧相机百纳秒级的帧间间隔，基于分光原理的成像系统可以实现十纳秒级的帧间间隔成像；同时采用多分光成像系统，可以实现连续多帧图像输出，每帧图像之间时间间隔为十纳秒级。

(2)传统相机采集到的图像仅可以实现基于单帧图像的超分辨率重建，而本发明可以实现基于多帧图像的超分辨率重建，在经过图像超分辨率重建算法之后可以得到更加清晰准确、贴近自然成像图片的重建结果，重建误差更小。也就是，本发明可以对采集到的原始低空间分辨率图像进行基于多帧图像的超分辨率重建，能够将原始图像的空间分辨率扩大16倍甚至64倍，极大地提高图像的空间分辨率，实现微小结构的清晰成像，同时减小成像过程中产生的对于真实物体的量化误差，为后续的PIV测量工作提供更高质量的粒子图像。

(3)本发明通过设置曝光时序，可以实现多种图像采集模式，例如，模式一通过设置统一的帧间间隔，对个CMOS传感器依次曝光，可以获取到多帧等时间间隔的原始图像；模式二将多个CMOS传感器分组，每组内的各传感器依次曝光，组与组之间分时曝光，可以获取到多组原始图像，每组图像同时曝光，但由于机械位置偏差，每组内各图像可以包含更丰富的图像信息，能够基于组内各图像重建出高空间分辨率图像。

附图说明

图1为本发明实施例提供的一种用于粒子图像测速的图像成像方法示意图；

图2为本发明实施例提供的四分幅相机结构示意图；

图3为本发明实施例提供的光学延长单元结构示意图；

图4为本发明实施例提供的一种用于粒子图像测速的图像成像方法中基于多帧图像的超分辨率重建示意图；

图5为本发明实施例提供的曝光时序图；

图6为本发明实施例提供的一种用于粒子图像测速的图像成像方法中超分辨率重建流程示意图；

图7为本发明实施例提供的一种用于粒子图像测速的图像成像方法中超分辨率重建流程中光流估计框架图；

图8为本发明实施例提供的一种用于粒子图像测速的图像成像方法中超分辨率重建流程中多头注意力残差模块及反投影模块框架图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例一

一种用于粒子图像测速的图像成像方法，如图1所示，包括：

基于预先设置的多分幅相机内n个图像传感器的曝光时序，控制各图像传感器对流场目标位置进行单次图像采集，得到n帧低空间分辨率粒子图像；其中，多分幅相机中设置有分光成像模块以实现均匀n分光；通过不同图像传感器分时曝光，控制所采集低空间分辨率粒子图像之间的帧间间隔，实现高时间分辨率的图像采集；

对多帧低空间分辨率粒子图像进行超分辨率重建，得到具有高时间分辨率的多帧高空间分辨率粒子图像，其中，每帧低空间分辨率粒子图像的重建是采用包括该帧低空间分辨率粒子图像的多帧低空间分辨率粒子图像进行实现。

本方法通过设置传感器曝光时序来控制相机工作模式，控制传感器进行图像采集，通过不同传感器分别曝光来控制图像之间的时间间隔，进而实现极高的时间分辨率。图像超分辨率重建使用采集到的多帧低空间分辨率图像进行超分辨率重建，进而获取到具有更高空间分辨率的图像。

由于本方法采用多个传感器分别曝光，因此图像之间时间间隔可以达到十纳秒级，可以实现高时间分辨率输出，同时，由于通过分光原理，可以突破图像传感器数据读出速度对于帧间间隔的限制，可以实现传感器最大分辨率输出；另外通过图像超分辨率重建模块对原始低空间分辨率图像进行4倍或8倍图像超分辨率重建，可以使原始图像分辨率增大16倍甚至64倍，实现极高的空间分辨率；最终可以实现高时空分辨率成像。可作为优选的，使用CMOS传感器作为感光元件，相比于CCD传感器来说成像动态范围更大，可以满足弱光环境下的成像要求。

本方法能够实现微小流场结构的精细测量以及高时空分辨率的图像输出，极大提高了测量精度和对小尺度流场结构的测量能力。

优选地，上述n取值为四，四分幅相机还设置有紧贴镜头后端的像增强器，用于提高传感器入射光强。

四分幅相机能实现高时空分辨率，且相对于更高分幅相机，装置体积小，实现难度低，且对于配套其它设备要求较低。

进一步优选地，如图2所示，四分幅相机包括像增强器和分光成像模块，分光成像模块包括光学延长单元和分光采集单元。像增强器用于增强入射光线强度，弱光环境下相机成像整体较暗，且所述成像装置采用分光成像原理，入射光线被平均分为四等份，因此每个CMOS传感器接收到的光强较弱，像增强器通过电子倍增技术提高传感器入射光强，可以解决弱光环境下成像装置成像较暗的问题。光学延长单元用于延长相机镜头后截距，常规光学镜头为保证相机结构的紧凑性，后截距较小，无法放置分光棱镜等光学元件，因此需使用光学延长单元延长镜头后截距，以放置分光棱镜，实现均匀四分光，保证每个图像传感器感光光强一致；分光采集单元包括分光器及四个CMOS传感器，其中分光器包括半透半反棱镜及全反射棱镜，用于将入射光线平均分为四份，分别进入四个CMOS传感器。

如图3所示的分光延长单元。成像系统采用现有光学镜头进行成像，而常规光学镜头为保证相机结构的紧凑性，后截距较小，无法放置分光棱镜等光学元件，因此需使用光学延长单元延长镜头后截距，以放置分光棱镜，实现均匀四分光，且图像传感器感光区域与成像平面重合。另外，光学延长单元需要减小成像畸变，镜片表面镀增透膜减少入射光的损耗，保证每个图像传感器感光光强一致，成像无畸变；光学延长单元由外壳、压片及光学镜片组成。由于光学镜片大小不同，同时为了尽量减少安装难度，采用分段式外壳，将光学镜片分段组装后通过螺纹进行连接。压片外侧具有螺纹，用于固定光学镜片的相对位置，保证光学镜片安装过程中无位置偏移、姿态偏转。

作为一个优选地实施例，上述n个图像传感器在垂直于入射光线的平面内存在安装机械偏差。CMOS传感器在空间位置上存在轻微的机械偏差，通过分光棱镜分光后采集到的图像包含的信息不完全相同，即能够采集到更加丰富的图像信息。理想情况下，四个传感器同时曝光所成图像在目标位置以及图像灰度等方面应该完全一致，由于机械偏差，导致目标物体在不同传感器所成图像中的位置存在一定偏差。

则如图4的下图所示，曝光时序能够使得部分图像传感器同时曝光，当同时曝光的图像传感器有多组时，不同组之间分时曝光；在超分辨率重建时，基于每组采集的多帧低空间分辨率粒子图像，对该组得到的某一帧低空间分辨率粒子图像进行超分辨率重建，得到该组对应的一帧高空间分辨率粒子图像。需要说明的是，组与组之间的待重建的低空间分辨率图像为时序上相邻的图像，也可以不是相邻的图像，优选的为相邻的图像，以便于后续测速计算。

例如，将四个CMOS传感器分为两组，每组两个，两组传感器按照一定的时间间隔依次曝光，每组两个传感器同时曝光，获取到四组原始低空间分辨率图像，采用的曝光时序如图5的右图所示；对两组低空间分辨率原始图像分别进行图像超分辨率重建，获得两组高分辨率图像。该模式可用如下公式表示：

I_HR1＝F_SR(I_LR1,I_LR2)；

I_HR2＝F_SR(I_LR3,I_LR4)；

式中，I_LR1、I_LR2、I_LR3、I_LR4为获取到的四组低空间分辨率原始图像，F_SR为图像超分辨率重建算法，I_HR1、I_HR2为得到的高分辨率图像。

作为一个优选地实施例，如图4的上图所示，上述曝光时序为：n个图像传感器按序依次曝光，且帧间间隔根据所需时间分辨率确定。

则在超分辨率重建时，确定多张待重建低空间分辨率图像，基于多张低空间分辨率图像，对该张低空间分辨率图像进行重建，得到该张低空间分辨率图像对应的高空间分辨率图像。

例如，采用如图5的左图所示的曝光时序，控制四个CMOS传感器按照相同的时间间隔依次曝光，获取到等时间间隔的四帧原始低空间分辨率图像；使用四帧原始低空间分辨率图像中的前三帧和后三帧分别进行图像超分辨率重建，获得两组高分辨率图像。该模式可用如下公式表示：

I_HR1＝F_SR(I_LR1,I_LR2,I_LR3)；

I_HR2＝F_SR(I_LR2,I_LR3,I_LR4)；

式中，I_LR1、I_LR2、I_LR3、I_LR4为获取到的四组等时间间隔的低空间分辨率原始图像，F_SR为图像超分辨率重建算法，I_HR1、I_HR2为得到的高分辨率图像。

优选地，如图6所示，上述重建的方式为：

将待重建低空间分辨率粒子图像与其它各低空间分辨率粒子图像组成图像对；

按照由粗到精的策略，计算每组图像对之间的位移场；根据该位移场，将该组图像中对待重建低空间分辨率粒子图像以外的图像与待重建低空间分辨率粒子图像对齐；将对齐后的多张低空间分辨率粒子图像沿通道维度进行拼接；

对拼接后的图像进行特征提取，将提取的浅层特征输入到特征融合模块，得到低分辨率融合特征；将所低分辨率融合特征映射到高分辨率特征空间，得到高分辨率特征；采用高分辨率特征，重建出待重建低空间分辨率粒子图像的插值图像与高空间分辨率粒子图像之间的残差图像，基于残差图像及插值图像，得到待重建低空间分辨率粒子图像的高空间分辨率粒子图像。

具体的，上述按照由粗到精的策略，计算每组图像对之间的位移场的实现方式，如图7所示，首先对低空间分辨率粒子图像对

进行下采样得到下采样后的粒子图像对/>

根据/>

和/>

得到光流场/>

对/>

进行上采样得到与原始图像分辨率相同的光流场/>

将低空间分辨率粒子图像对/>

和/>

作为输入，估计得到精细光流场/>

根据/>

及/>

对低空间分辨率粒子图像/>

进行warp操作，将/>

与/>

对齐。同样，将低空间分辨率粒子图像/>

对齐到/>

将对齐后的粒子图像沿通道维度进行拼接。

将对齐后的粒子图像送入到特征融合模块进行特征融合。特征融合模块由多头注意力残差模块(MARB)组成，优选的，如图8的左图所示，每个多头注意力残差模块以前一层输出特征L_t-1作为输入，将L_t-1分别送入到每个注意力头中计算多尺度空间-通道注意力，每个注意力头使用不同大小的卷积核，每个注意力头具有不同的感受野；

将每个注意力头的输出按照位置相加并使用sigmoid函数进行激活得到最终的空间-通道注意力W；所述输入特征L_t-1还经两个卷积层进行进一步特征映射，并结合残差连接，得到特征L'_t，表示为：

L'_t＝prelu(conv(prelu(conv(L_t-1))))+L_t-1；

其中，conv()表示卷积操作，prelu()表示激活函数；

将特征L'_t与注意力W按位置相乘得到输出特征L_t。

也就是，MARB模块包含注意力分支及特征提取分支，注意力分支用于提取多尺度空间-通道注意力。注意力分支包含多个注意力头，每个注意力头使用不同大小的卷积核对输入特征进行卷积和反卷积来提取多尺度注意力，对多头注意力分支输出结果求和并激活即可得到最终的注意力输出，将得到的注意力与输入特征按位置相乘即可得到融合后的输出特征。

例如，MARB模块包含三个注意力分支，每个注意力头h_i,i∈{1,2,...,h}包含一个卷积层和一个反卷积层，卷积核大小k_i＝(i-1)×2+1，以i＝2为例，k_i＝3。卷积核大小不同，网络的感受野也不同，卷积核越大，感受野越大。多头注意力模块可以结合不同尺度的特征信息，既包含局部注意力，也包含全局注意力，保证重建结果的精确性和流动结构的完整性。值得注意的是，每个注意力头卷积核大小不同，对应的空间注意力的降维比也不同。对于每个注意力头h_i设定卷积核个数为c/r，c为输入特征通道数，r为通道注意力降维比率。使用反卷积层对空间-通道注意力进行升维，反卷积层卷积核个数为c，大小为k_i。卷积层和反卷积层填充大小(padding)为0，步长为1。每个注意力头计算过程可以表述为：

H_i＝h_i(F_k-1,θ_conv,θ_deconv)＝Deconv(Relu(Conv(F_k-1,θ_conv)),θ_deconv)

Deconv()表示反卷积，Relu()表示激活函数，Conv()表示卷积，F_k-1表示输入特征张量，θ_conv表示卷积层训练参数，θ_deconv表示反卷积层训练参数。空间-通道注意力W_k计算方式如下:

Sigmoid()表示激活函数，w_i表示各个注意力头的输出结果。注意力W_k与特征张量F_k'_-1按位置相乘即可得到输出特征F_k：

特征融合后送入到反投影模块用于建立低空间分辨率特征与高分辨率特征之间的映射关系。如图6所示，反投影模块包含上下投影单元，上投影单元将输入的融合后的输出特征映射到高分辨率特征空间，而下投影单元将高分辨率特征映射到低空间分辨率特征空间，通过迭代地上下投影机制来建立低空间分辨率特征与高分辨率特征之间的映射关系。最后，重建模块使用反投影模块所有上投影单元输出的高分辨率特征来重建最终的高分辨率粒子图像残差，将粒子图像残差与低空间分辨率图像的插值结果相加即可得到高分辨率粒子图像重建结果

反投影模块包含上下投影单元，用于建立低空间分辨率特征与高分辨率特征之间的映射关系。对于上投影单元来说，如图8的右图所示，其工作过程为：首先对输入低空间分辨率特征L_t-1进行反卷积得到上采样后的特征

特征/>

在宽和高两个维度的分辨率是特征L_t-1的4倍或者8倍(依据超分辨率重建倍数而定)，使用卷积层对/>

进行下采样得到

而输入特征L_t-1与特征/>

之间存在差异，通过按位置相减得到残差/>

将残差/>

通过反卷积进行上采样后与特征/>

相加得到最终高分辨率特征输出H_t。其传播过程可以表示为：

对于下投影单元来说，其工作过程为：首先对输入高分辨率特征H_t进行卷积得到下采样后的特征

特征H_t在宽和高两个维度的分辨率是特征/>

的4倍或者8倍(依据超分辨率重建倍数而定)，使用反卷积层对/>

进行上采样得到/>

而输入特征H_t与特征/>

之间存在差异，通过按位置相减得到残差/>

将残差/>

通过卷积进行下采样后与特征/>

相加得到最终低空间分辨率特征输出L_t。其传播过程可以表示为：

下投影单元的结构与上投影单元类似，区别在于下投影单元的目的是将高分辨率特征H_t投影到低空间分辨率特征空间得到L_t，与上投影单元互为逆过程。上投影单元和下投影单元采用大卷积核进行上下采样，4倍超分辨率重建时，卷积核大小为8×8×8。使用大卷积核通常会减慢网络收敛速度，导致网络陷入次优解，但对于上下投影单元来说，大卷积核有助于建立高分辨率特征与低空间分辨率特征之间的映射关系。

在反投影模块之后，如图6所示，将所有上投影单元输出的高分辨率特征沿通道方向进行拼接输出到construct模块进行超分辨率重建，最终输出高分辨率粒子图像。

图6中，Conv1卷积核大小为3×3×3，步长为1，填充大小为1，输出特征通道数为256。Conv2卷积核大小为1×1×1，步长为1，填充大小为0，输出特征通道数为64。MARB模块及上下投影模块输入输出通道数为64，多头注意力分支包含三个注意力头，三个注意力头的卷积核大小分别为1×1、3×3、5×5，步长为1，填充大小为0。s＝4时，上下投影模块卷积核大小为8×8×8，步长为4，填充大小为2；s＝8时，卷积核大小为12，步长为8，填充大小为2。网络训练阶段，将多帧低空间分辨率粒子图像作为输入，并分别归一化到[-1,1]范围内。初始学习率设置为1×10^-4。网络损失函数为：

其中，I_SR和I_HR分别表示重建结果和高分辨率粒子图像；

和/>

分别表示重建结果和高分辨率粒子图像的梯度值；α表示梯度损失权重。与自然图像不同，粒子图像中仅包含背景部分及粒子前景部分，而粒子灰度分布接近高斯分布，粒子形状接近圆形，因此以粒子图像梯度作为约束项约束重建结果。

本实施例所提出的重建方法，首先，采用由粗到精的策略进行光流场计算，计算精度和效率高；其次，特征融合模块采用注意力机制，能够对提取的对重建结果影响最大的特征进行突出；另外，建立由低空间分辨率到高分辨率的映射，在高重建倍数下重建效果好。

实施例二

一种用于粒子图像测速的图像成像装置，用于执行如实施例一所述的一种用于粒子图像测速的图像成像方法，包括：多分幅相机和图像重建模块；所述多分幅相机用于低空间分辨率粒子图像的采集；所述图像重建模块用于执行超分辨率重建。

相关技术方案同实施例一，在此不再赘述。

实施例三

一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如实施例一所述的一种用于粒子图像测速的图像成像方法。

相关技术方案同实施例一，在此不再赘述。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于粒子图像测速的图像成像方法，其特征在于，包括：

基于预先设置的多分幅相机内n个图像传感器的曝光时序，控制各图像传感器对流场目标位置进行单次图像采集，得到n帧低空间分辨率粒子图像；其中，所述多分幅相机中设置有分光成像模块以实现均匀n分光；通过不同图像传感器分时曝光，控制所采集低空间分辨率粒子图像之间的帧间间隔，实现高时间分辨率的图像采集；

对多帧低空间分辨率粒子图像进行超分辨率重建，得到具有高时间分辨率的多帧高空间分辨率粒子图像，其中，每帧低空间分辨率粒子图像的重建是采用包括该帧低空间分辨率粒子图像的多帧低空间分辨率粒子图像进行实现。

2.根据权利要求1所述的图像成像方法，其特征在于，所述n取值为四，所述多分幅相机还设置有紧贴镜头后端的像增强器，用于提高传感器入射光强。

3.根据权利要求2所述的图像成像方法，其特征在于，所述分光成像模块包括设置于所述像增强器后端且依次连接的光学延长单元和分光成像单元；

所述光学延长单元用于延长相机镜头后截距，保证镜头所成像位于各图像传感器平面；所述分光成像单元由分光棱镜和n个图像传感器组成，以实现均匀四分光以及图像采集。

4.根据权利要求1所述的图像成像方法，其特征在于，所述重建的方式为：

将待重建低空间分辨率粒子图像与其它各低空间分辨率粒子图像组成图像对；

采用由粗到精的方式计算每组图像对之间的位移场；根据该位移场，将该组图像对中待重建低空间分辨率粒子图像以外的图像与待重建低空间分辨率粒子图像对齐；将对齐后的多张低空间分辨率粒子图像沿通道维度进行拼接；

对拼接后的图像进行特征提取，将提取的浅层特征输入到特征融合模块，得到低分辨率融合特征；将所述低分辨率融合特征映射到高分辨率特征空间，得到高分辨率特征；采用所述高分辨率特征，重建出待重建低空间分辨率粒子图像的插值图像与高空间分辨率粒子图像之间的残差图像，基于所述残差图像及所述插值图像，得到待重建低空间分辨率粒子图像的高空间分辨率粒子图像。

5.根据权利要求4所述的图像获取方法，其特征在于，所述特征融合模块由多头注意力残差模块级联组成；其中，

每个多头注意力残差模块以前一层输出特征L_t-1作为输入，将L_t-1分别送入到每个注意力头中计算多尺度空间-通道注意力，每个注意力头使用不同大小的卷积核，每个注意力头具有不同的感受野；

将每个注意力头的输出按照位置相加并使用sigmoid函数进行激活得到最终的空间-通道注意力W；所述输入特征L_t-1还经两个卷积层进行进一步特征映射，并结合残差连接，得到特征L'_t，表示为：

L'_t＝prelu(conv(prelu(conv(L_t-1))))+L_t-1；

其中，conv()表示卷积操作，prelu()表示激活函数；

将特征L'_t与注意力W按位置相乘得到输出特征L_t。

6.根据权利要求1所述的图像获取方法，其特征在于，每帧低空间分辨率粒子图像的重建是采用包括该帧低空间分辨率粒子图像的相邻多帧低空间分辨率粒子图像实现。

7.根据权利要求1至6任一项所述的图像获取方法，其特征在于，所述n个图像传感器在垂直于入射光线的平面内存在安装机械偏差；

则所述曝光时序能够使得部分图像传感器同时曝光，当同时曝光的图像传感器有多组时，不同组之间分时曝光；

在超分辨率重建时，基于每组采集的多帧低空间分辨率粒子图像，对该组得到的某一帧低空间分辨率粒子图像进行超分辨率重建，得到该组对应的一帧高空间分辨率粒子图像。

8.根据权利要求1至6任一项所述的图像获取方法，其特征在于，所述曝光时序为：n个图像传感器按序依次曝光，且帧间间隔根据所需时间分辨率确定。

9.一种用于粒子图像测速的图像成像装置，其特征在于，用于执行如权利要求1至8任一项所述的一种用于粒子图像测速的图像成像方法，包括：多分幅相机和图像重建模块；

所述多分幅相机用于低空间分辨率粒子图像的采集；所述图像重建模块用于执行超分辨率重建。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如权利要求1至8任一项所述的一种用于粒子图像测速的图像成像方法。

Images