CN115695977B - 一种曝光时间不受限的压缩超快成像系统及方法 - Google Patents
一种曝光时间不受限的压缩超快成像系统及方法 Download PDFInfo
- Publication number
- CN115695977B CN115695977B CN202211333864.6A CN202211333864A CN115695977B CN 115695977 B CN115695977 B CN 115695977B CN 202211333864 A CN202211333864 A CN 202211333864A CN 115695977 B CN115695977 B CN 115695977B
- Authority
- CN
- China
- Prior art keywords
- camera
- stripe
- integral
- light path
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000006835 compression Effects 0.000 title claims abstract description 25
- 238000007906 compression Methods 0.000 title claims abstract description 25
- 238000003384 imaging method Methods 0.000 title claims abstract description 20
- 238000005070 sampling Methods 0.000 claims abstract description 49
- 230000008569 process Effects 0.000 claims abstract description 17
- 230000003287 optical effect Effects 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000010354 integration Effects 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000007774 longterm Effects 0.000 claims description 2
- 230000000295 complement effect Effects 0.000 abstract description 5
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000001052 transient effect Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000005374 Kerr effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Studio Devices (AREA)
Abstract
本发明涉及一种曝光时间不受限的压缩超快成像系统及方法,属于计算成像领域。通过互补式轮流采样方式,将长时间曝光的采集过程,按时间交替分配到两个或多个条纹相机和积分相机的组合上,同时利用一个额外的积分相机来记录轮次切换中可能遗漏的信息,这样每个条纹相机上得到采样帧数就可以控制在较低水平。而目前的主流重构算法,即使在具有SI辅助的条件下,当压缩帧率大于50帧时,重构图像的PSNR也难以超过30dB。这种成像方式不受采样帧率的影响,并且切换过程也不会丢失信息,还可以进行长时间曝光,当每组帧数控制在10帧以内时,重构图像的PSNR可以优于30dB,这样的图像质量从视觉上已经难以察觉其与原始图像的差别。
Description
技术领域
本发明属于计算成像领域,涉及一种曝光时间不受限的压缩超快成像系统及方法。
背景技术
压缩超快成像(Compressed Ultrafast Photography,CUP)是2014年华盛顿大学提出的将压缩感知技术与条纹相机超快成像能力结合形成的一种超快二维成像技术,实现了多帧超快二维图像的记录和重构。
现有技术发展从外部来看,主要在两个方面,一是融合更多的手段,将CUP系统测量的维度提高,除了原来的3D(x,y,t)信息到后面的4D(x,y,t,λ)至到目前最高的5D(x,y,z,t,λ)信息。这些方法极大的拓展CUP系统的信息获取能力和应用范围。另一方面,重构算法从早期常用的两步阈值迭代方法,到后期的权重化核范数最小化(Weighted NuclearNorm Minimization,WNNM)的重构质量也有不小的提升。
从CUP系统本身结构内部来看,为了获得更好重建效果,主要的方式有两个方面,一是以提高采样率的辅助性结构,二是以降低噪声为目的的改进结构。
方案一:以提高采样率的辅助性结构,其代表是2016年华盛顿大学改进了原有CUP系统,形成的T-CUP系统,率先提出了(Side Information,SI)结构。该结构利用一个额外的积分相机作旁路信息采集,为条纹相机获得的2D信息做补充,极大地提高了重构图像质量。这种方式的实质也是提高采样率,其结构特性使得对于没有SI结构的采样率而言,可以提高一倍,即若采样2N帧,那么结合合理的算法修正,对于改进的复原算法,压缩帧率实际上接近N帧,这样可以在很大程度上提升重建图像的质量。
方案二:以降低噪声为目的的改进结构,具有代表性的是采用两个条纹相机组成的双光路差分测量方案,但是这类方案的工作方式是同步工作,目的是利用编码器的正负特性,实现差分信号的获取,从而减小噪声的影响,在一定程度上可以达到提高成像质量的目的。
对于方案一:对于SI结构的方案,尽管SI信息和不断改进的算法在很大程度上改善了重构图像的质量,但是这通常在采样率不是太低的情况下效果比较明显。而对于采样率很低,例如超过2M帧时,采样率小于1/M,即便SI结构可以将其提高近似M帧的采样,但所能起到的作用也十分有限,只能提高不到1dB。在不考虑噪声的情况下,这种T-CUP系统重建图像的平均PSNR也仅仅在20dB左右。如果考虑光学实验中的噪声问题、设备的不完美性引入的误差等因素,平均PSNR一般会远小于20dB。因此,即便是T-CUP这样的测量系统,仍然不能进行高帧数的采样,从而不能增加曝光时间。因此,也不能对瞬态过程进行较长时间的跟踪观测。除此之外,进行高帧数的采样时,较长的曝光时间也会使得相机的固定模式噪声积分时间增加,最终使得采样到的信号信噪比降低,也会使得重建图像质量下降。
对于方案二:对于双光路差分测量方案,虽然将噪声有较好的抑制,但是本质上压缩帧率仍然较高,这种情况下,图像重建质量的提升效果相当有限。即使是在最理想情况下,对于例如2M=100帧的低采样率信号而言,重建图像的平均PSNR通常不会高于10dB。与方案一类似,这种方案不能抑制采样率低产生的影响,图像质量的提高效果受限。
发明内容
有鉴于此,本发明的目的在于提供一种曝光时间不受限的压缩超快成像系统及方法。观测连续长时间瞬态过程,存在处于长时间的曝光下采集帧数超过N=100帧,由于采样率较低同时条纹相机固定模式噪声的累积减小了采样信号的信噪比,从而导致无法取得较好的图像重建效果的问题,主流的最优化算法的重构效果并不能达到图像重构指标,即信息淹没在噪声之中。当采样帧数高于N=10帧时,其平均PSNR一般不会高于10dB。
为达到上述目的,本发明提供如下技术方案:
一种曝光时间不受限的压缩超快成像系统,该系统包括分束器、编码器、第一光路切换器、第二光路切换器、第一积分相机、第二积分相机、第三积分相机、第一条纹相机和第二条纹相机;
光源经过分束器分为三束光,分光比设为第一光路:第二光路:第三光路=1:1:n,n≥1;第一光路和第二光路由第三积分相机和第二光路切换器接收,第三光路经过编码器之后,由第一光路切换器进行切换;经第一光路切换器切换后的光路,在时间上交替由第一条纹相机和第二条纹相机进行接收;两个条纹相机与切换后的光路相互匹配,交替工作;
第一光路切换器和第二光路切换器的切换在转移第一条纹相机与第二条纹相机相距位移d的时间,不大于第一条纹相机和第二条纹相机扫描一个像素的时间;
在光路转换到第二条纹相机的同时,第一条纹相机关闭曝光,同时进行数据读出;此时第二条纹相机进行积分工作,待光路切换到第一条纹相机时,第二条纹相机停止曝光,输出采集的信号;第一条纹相机开始工作,两个条纹相机工作状态与光路切换,按照此规律交替工作;
第一积分相机、第二积分相机是与第一条纹相机、第二条纹相机同步工作的,即第一条纹相机开始曝光时,第一积分相机同步工作,条纹相机这一侧光路切换时,积分相机同步光路切换;待光路切换到第二条纹相机时,第一条纹相机停止曝光,第一积分相机亦停止工作,两者同时进行数据读出,第二条纹相机与第二积分相机开始工作;至光路切换到第一条纹相机时,第二条纹相机与第二积分相机停止曝光,并输出采集的数据,这时第一条纹相机与第一积分相机开始曝光,两个条纹相机和积分相机工作状态与光路切换,根据此规律交替工作;
第一条纹相机、第二条纹相机与第一积分相机、第二积分相机上每次输出的采样帧数,由激光脉冲进行控制;采样率不高于10帧,满足低采样率复原质量高的要求;
一个工作周期为第一条纹相机和第二条纹相机都只工作一次;
探测的目标是2D图像信息,第一条纹相机和第二条纹相机是打开前端的约束孔径,从而接收到2D图像信息是经过编码器编码后的2D信息;第一条纹相机和第二条纹相机通过扫描,将不同时间经过编码的2D图像通过光路切换器进行分批次叠加,从而输出2D的混叠信号;最后通过最优化算法复原为一系列按时间序列整合的2D图像帧。
在所述一个工作周期内,第一条纹相机工作采集K帧图像成后,光路切换到第二光路,第二条纹相机工作采集K帧完成,即一次工作周期采集2K帧;经过3个这样的工作周期,采集6K帧图像信息,每次重构时压缩比为K:1;分批次的重构,进行cK帧的高压缩比,进行长时间观测,其中c代表两个条纹相机采集数据的总次数。
激光脉冲处于低电平时,光路切换在第一条纹相机所在的光路上,在第一条纹相机上积分,积分时间使得其采样帧率不大于10帧,或者根据实际需要调节脉冲低电平时间;若完成设定时间的采集,此时激光脉冲切换到高电平,光路被切换到第二条纹相机所在的光路上,测试光源被第二条纹相机所采样;采样时间由激光脉冲的高电平决定,让第二条纹相机所采样的帧数不大于10帧。
基于所述系统的曝光时间不受限的压缩超快成像方法,其整体的框架如图2所示,该方法包括以下步骤:
S1:在所述一个周期内,光源通过分束器,再经过编码器进行编码,按照激光脉冲的高低电平,由第一条纹相机和第二条纹相机轮流进行采集,根据时间顺序进行分组,得到压缩数据Y=Ax;其中Y是经过偏移压缩后记录于条纹相机上的二维图像,A是编码器的编码矩阵,x是待测的二维图像帧;压缩数据Y=Ax由第一条纹相机采集的数据Y1=A1x1、第二条纹相机采集的数据Y2=A2x2构成;
S2:第一积分相机与第二积分相机轮流采集的辅助信息与条纹相机处理类似,按时间顺序进行分组,得到辅助信息Y'=Ix;其中Y’是直接记录于积分相机上的二维图像,I是积分相机相对于条纹相机动态扫描形成的偏移操作,x是待测的二维图像帧;而辅助信息Y'=Ix由第一积分相机采集的数据Y1’=I1x1、第二积分相机采集的数据Y’2=I2x2构成;
S3:为反解出上述Y=Ax与Y'=Ix这两个等式中的x,转化为下述拉格朗日函数的最小值求解:
其中,λ1、λ2是拉格朗日因子,θ是中间因子;
S4:按照时间顺序分组,依次通过迭代计算求解上述S3中的方程,得到待测的二维图像帧,然后进行整合;
S5:切换过程中,采用前向网络和后向网络相结合的方式,再通过第三积分相机采集的整个辅助信息,对丢失的信息进行补全。
所述S4中,首先第一条纹相机采集的数据Y1=A1x1与第一积分相机读取的数据Y1’=I1x1分为第一组,通过迭代计算求解S3中的方程,获得第一组待测的二维图像帧解然后第二条纹相机采集的数据Y2=A2x2与第二积分相机读取的数据Y’2=I2x2分为第二组,通过迭代计算求解S3中的方程,获得第二组待测的二维图像帧解/>将两组的解/>与/>整合求得整个的二维图像帧x*;
若有多个周期,则循环分组求解步骤,其核心的算法是将第一条纹相机采集的数据Yi=Aixi与第一积分相机读取的数据Yi′=Iixi分为一组,通过迭代计算求解S3中的方程,获得一组待测的二维图像帧解然后第二条纹相机采集的数据Yi+1=Ai+1xi+1与第二积分相机读取的数据Y′i+1=Ii+1xi+1分为另一组,通过迭代计算求解S3中的方程,获得另一组待测的二维图像帧解/>将两组的解/>与/>整合,求得第i个周期的二维图像帧,再通过整合i个周期的二维图像帧可求得整个的x*。其核心的算法框图如图3所示,n代表第一条纹相机和第二条纹相机工作次数的总和。最后通过S5所用的前向网络和后向网络的方式,结合第三积分采集的整个辅助信息,求得最优解,其部分的神经网络修复层如图4所示。
本发明的有益效果在于:通过交替采样方式将重构算法的输入采样帧数控制在较低水平,比如K=10帧,从而可以获得较高的图像重构质量。同时,利用SI信息和采样得到的数据,关联性修复交替时丢失的帧数据,从而实现在较长时间内的近似连续采样过程。在切换时间、积分相机和条纹相机数据读出时间精确匹配的情况下,可以实现无曝光时长限制的采样,并且重构质量不会因时长而降低。因而,可以为超快瞬态采样过程提供更长时间的观测。
本发明通过互补式轮流采样方式,将长时间曝光的采集过程,按时间交替分配到两个或多个条纹相机上,这样每个条纹相机上得到采样帧数就可以控制在较低水平,比如10帧以内。通过常见的最优化算法,就可以实现较高的图像重构质量,通常其每帧PSNR可以大于30dB,部分优秀的算法甚至可以高于40dB。而目前的主流重构算法,在具有SI辅助的条件下,在压缩帧率大于50帧,其复原效果平均PSRN一般不会高于10dB。
另一方面,根据帧间信息是相关的,即时序相关性,以及积分相机提供的SI信息,可以融合起来重构切换过程中的丢失帧。重要的是,由于提供了SI信息,这样补充出的帧信息,不仅仅是纯预测性,这和纯粹的前后向反馈的神经网络有所不同,它是有物理过程信息保证的。
最终,可以实现近似完整连续曝光时间下的数据采集。理想情况下,切换时间、积分相机和条纹相机数据读出时间精确匹配,同时切换时丢帧不多,可以通过算法完美修复。那么这种方式理论上没有曝光时间的上限,可以一直进行采样,而不会因为采样率原因而降低重构质量。因此,对于需要观测的瞬态过程,具有较长的演化规律的情况,本发明提供了一种不受曝光时间限制的数据采样方式。即不受采样帧率的影响,每帧重构图像的质量只与每组压缩的帧数有关,当每组帧数控制在10帧以内时,PSNR可以优于30dB,这样的质量从视觉上看已经不容易发现明显的差异了。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作优选的详细描述,其中:
图1为本发明总体结构原理框图;
图2为本发明总体重构算法框图;
图3为循环分组核心算法框图
图4为部分修正算法神经网路层;
图5为激光与气体N2相互作用。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
其中,附图仅用于示例性说明,表示的仅是示意图,而非实物图,不能理解为对本发明的限制;为了更好地说明本发明的实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本发明的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
本发明涉及的系统构成如图1所示,主要包括分束器、编码器、第一光路切换器、第二光路切换器、第一积分相机、第二积分相机、第三积分相机、第一条纹相机以及第二条纹相机。
探测的目标是2D图像信息,因此条纹相机的使用必须是打开前端的约束孔径,从而接收到2D图像信息是经过编码器编码后的2D信息。条纹相机通过扫描,将不同时间的,经过编码的2D图像通过光路切换进行分批次叠加,从而输出2D的混叠信号。最后通过最优化算法复原为一系列按时间序列整合的2D图像帧。例如,在一个工作周期内,第一条纹相机工作采集K帧图像成后,光路切换到第二光路,第二条纹相机工作采集K帧完成,即一次工作周期采集了2K帧;经过3个这样的工作周期,就可以采集6K帧图像信息,而每次重构时压缩比仅仅为K:1。这样分批次的重构,既可以获得每帧都高质量的图像,也可以进行cK帧的高压缩比,即进行长时间观测。c代表两个条纹相机采集数据的总次数。
光源经过分束器分为三束光,分光比设为1:1:n(其中n≥1),少的两束光由第三积分相机和第二光路切换器接收,多的那部分光经过编码器之后,由第一光路切换器进行切换。这样设置的目的一是为了让积分相机可以有更长的积分时间,否则很容易达到饱和;二是为了与条纹相机同步匹配。经第一光路切换器切换后的光路,在时间上交替由第一条纹相机和第二条纹相机进行接收。两个条纹相机与切换后的光路相互匹配,交替工作。比如,激光脉冲处于低电平时,光路切换在第一条纹相机所在的光路上,在第一条纹相机上积分,积分时间使得其采样帧率不大于10帧,或根据实际需要调节脉冲低电平时间。若完成设定时间的采集,此时激光脉冲切换到高电平,光路被切换到第二条纹相机所在的光路上,测试光源被第二条纹相机所采样。采样时间由激光脉冲的高电平决定,要求同样是让第二条纹相机所采样的帧数不大于10帧。
当然,在这样的切换过程中,相比于条纹相机的扫描速度,2D图像的转移需要较长的时间,因此要求切换器的速度足够高,如果要达到完美衔接,光路的切换在图1中转移d位移的时间,不得大于条纹相机扫描其一个像素的时间。
在光路转换到第二条纹相机的同时,第一条纹相机即刻关闭曝光,同时进行数据读出。此时第二条纹相机进行积分工作,待光路切换到第一条纹相机时,第二条纹相机停止曝光,随即输出采集的信号。这时第一条纹相机开始工作,两个条纹相机工作状态与光路切换,按照此规律交替工作下去。另外第一积分相机、第二积分相机是与第一条纹相机、第二条纹相机同步工作的,即第一条纹相机开始曝光时,第一积分相机同步工作,条纹相机这一侧光路切换时,积分相机同步光路切换;待光路切换到第二条纹相机时,第一条纹相机停止曝光,第一积分相机亦停止工作,两者同时进行数据读出,此时第二条纹相机与第二积分相机开始工作;至光路切换到第一条纹相机时,第二条纹相机与第二积分相机停止曝光,并输出采集的数据,这时第一条纹相机与第一积分相机开始曝光,两个条纹相机和积分相机工作状态与光路切换,根据此规律交替工作下去。光信号作用在每个条纹相机和第一积分相机、第二积分相机上,每次输出的采样帧数,完全可以通过激光脉冲来控制。如此只要采样率不高于10帧,其重构图像的PSNR是可以远高于30dB的,就能满足低采样率复原质量高的要求。而之所以不能加快光路切换的频率,达到每个条纹相机都只采集1帧图像,是因为条纹相机的数据读出不能匹配这样高的读出速度,当然这种情况也就不需要编码器,即整个CUP系统的原理基础也就不存在了。
由于切换过程可能存在缺陷,或者切换速度和图像行数也不能恰好匹配,因此需要有一定的修正方法。以一个周期为例,即第一条纹相机和第二条纹相机都只工作一次。通过第一条纹相机重构的图像帧,和通过第二条纹相机重构的图像帧,以及切换过程中丢失的帧是有时间关联性的。本发明通过结合前向网络和反向网络结合的方式来对丢失信息进行补全,更为重要的是,本发明中的第三积分相机一直在记录信息,即便在光路切换过程中,第三积分相机也原始的记录了信息,第三积分相机收集的信息也会作为输入,如图4所示,这个信息对补全信息至关重要。因为在有的物理测量中,瞬态过程可能是未知的,即无法用前后的信息进行精确预测的,因此只采用前后向信息的补全数据在物理上具有缺陷。而同时结合积分相机的补全,则使其有了严格的物理依据。因此,这也是和一般的神经网络预测最大的不同。
另外,由于积分相机也有积分时间的上限,从而不能提供辅助信息用于重构图像。因此,第三积分相机的数据读取也需要和整个系统的工作周期匹配。具体而言,第三积分相机的读出时间需要避开光路切换的时刻,以便提供对光路切换产生丢失帧的信息。而可以选择则第一条纹相机或第二条纹相机工作的开始或中间时段,当然需要预估这些时刻的图像复原质量要求需要降低。但是尽管如此,条纹相机上信息复原后的图像并不会丢失真实物理信息,只是降低了PSNR。特别地,本发明在分光器上的设置比例,要求积分相机得到光强比例较低,目的就是为了增加积分相机的单次积分时间,从而保证尽可能长的时间里都有较好的辅助信息用于重建,以提高重构质量。并且第一积分相机、第二积分相机与条纹相机工作是匹配的,即第一积分相机、第二积分相机读取的辅助信息与第一条纹相机、第二条纹相机获取的数据是对应的。如果积分相机,读出时机合适,读出时间段短于条纹相机的读出时间段。那么这种采样方式可以一直循环下去,获得超长的采样帧数,和不受限制的曝光时间。
本发明中,曝光时间不受限的压缩超快成像算法如下,以一个周期为例,即第一条纹相机、第二条纹相机与第一积分相机、第二积分相机、积分相机三都只工作一次:
①光源通过分束器,再经过编码器进行编码,按照激光脉冲的高低电平,由第一条纹相机和第二条纹相机轮流进行采集,根据时间顺序进行分组,得到压缩数据Y=Ax。其中Y是经过偏移压缩后记录于条纹相机上的二维图像,A是编码器的编码矩阵,x是待测的二维图像帧。而压缩数据Y=Ax由第一条纹相机采集的数据Y1=A1x1、第二条纹相机采集的数据Y2=A2x2构成。
②第一积分相机与第二积分相机轮流采集的辅助信息与条纹相机处理类似,亦按时间顺序进行分组,得到辅助信息Y'=Ix。其中Y’是直接记录于积分相机上的二维图像,I是积分相机相对于条纹相机动态扫描形成的偏移操作,x是待测的二维图像帧。而辅助信息Y'=Ix由第一积分相机采集的数据Y1’=I1x1、第二积分相机采集的数据Y’2=I2x2构成。
③为了反解出上述Y=Ax与Y'=Ix这两个等式中的x,通常转化为下述拉格朗日函数的最小值求解:
其中,λ1、λ2是拉格朗日因子,θ是中间因子。
④按照时间顺序分组,依次通过迭代计算求解上述③中函数,得到待测的二维图像帧,然后进行整合。如本例,首先第一条纹相机采集的数据Y1=A1x1与第一积分相机读取的数据Y1’=I1x1分为第一组,通过迭代计算求解上述③中函数,获得第一组待测的二维图像帧解然后第二条纹相机采集的数据Y2=A2x2与第二积分相机读取的数据Y’2=I2x2分为第二组,通过迭代计算求解上述③中函数,获得第二组待测的二维图像帧解/>将两组的解/>与/>整合可求得整个的二维图像帧x*。若多个周期,则循环分组求解步骤即可,其核心的算法框图如图3所示,n代表第一条纹相机和第二条纹相机工作次数的总和,然后进行整合。
⑤切换过程中,由于切换过程可能存在缺陷,导致存在丢失的帧,可采用前向网络和后向网络相结合的方式,再通过第三积分相机采集的整个辅助信息,可对丢失的信息进行补全。
图1中的装置主要包括分束器,编码器,第一光路切换器,第二光路切换器,第一积分相机,第二积分相机,第三积分相机,第一条纹相机,以及第二条纹相机。光源按照分光比经过分束器分为两束光,分别由编码器与第三积分相机接收,经过编码器的这束光由激光脉冲的高低电平决定第一条纹相机和2的工作状态。当激光脉冲处于低电平时,第一条纹相机工作;当激光脉冲变换至高电平时,第一条纹相机读出数据,第二条纹相机开始工作。第一积分相机和2与第一条纹相机和2同步进行。第三积分相机工作与条纹相机开始工作时间同步,直至条纹相机都停止时停止,并读出数据。
图2中的Y=Ax与Y'=Ix分别是由条纹相机与积分相机捕获的数据,通过求解拉格朗日函数,求解每组的二维图像帧根据时间序列得到整合过后的x*与第三积分相机收集整个SI,结合前向网络和后向网络的方式,得到最优解h*。
图3中的核心思想是分组求解,首先是将Yi与Yi'归为一组,然后通过拉格朗日函数L(xi,λ1,λ2),依次求解出相应的最后根据时间序列进行整合/>
图4中的第一层是Embedding层,该层将输入转化为向量,即将输入进行分布式的表示,然后向量被输入到LSTM(Long Short-term Memory)层,通过处理多个变量,其中包括整个的积分相机信息,结合前向预测和后向预测的方式,对因切换过程中丢失的信息进行补全。
实施例
光路切换器主要是通过分子偏转器对经过编码器的光束作用,由不同的条纹相机按时间序列进行接收,分子偏转器的激发气体是由N2所构成,激光与分子气体相互作用如图5所示。用电场强度为的线偏振激光脉冲激发线性分子N2,其主轴与/>的方向成θ角。由于感生克尔效应,感生偶极矩产生旋转力矩,使分子的主轴按/>的方向旋转,从而使分子对齐。根据光束通过介质偏转的偏转原理,激发激光束应为矩形,强度呈横向均匀分布。激光脉冲处于低电平时未时激发气体偏转,第一条纹相机与第一积分相机工作;激光脉冲处于高电平时激发气体偏转,第二条纹相机与第二积分相机工作。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (5)
1.一种曝光时间不受限的压缩超快成像系统,其特征在于:该系统包括分束器、编码器、第一光路切换器、第二光路切换器、第一积分相机、第二积分相机、第三积分相机、第一条纹相机和第二条纹相机;
光源经过分束器分为三束光,分光比设为第一光路:第二光路:第三光路=1:1:n,n≥1;
第一光路由第三积分相机接收;
第二光路由第二光路切换器接收;第二光路经第二光路切换器切换后,在时间上交替由第一积分相机和第二积分相机进行接收;两个积分相机与切换后的光路相互匹配,交替工作;
第三光路经过编码器之后,由第一光路切换器进行切换;经第一光路切换器切换后的光路,在时间上交替由第一条纹相机和第二条纹相机进行接收;两个条纹相机与切换后的光路相互匹配,交替工作;
第一光路切换器和第二光路切换器的切换在转移第一条纹相机与第二条纹相机相距位移d的时间,不大于第一条纹相机和第二条纹相机扫描一个像素的时间;
在光路转换到第二条纹相机的同时,第一条纹相机关闭曝光,同时进行数据读出;此时第二条纹相机进行积分工作,待光路切换到第一条纹相机时,第二条纹相机停止曝光,输出采集的信号;第一条纹相机开始工作,两个条纹相机工作状态与光路切换,按照此规律交替工作;
第一积分相机、第二积分相机是与第一条纹相机、第二条纹相机同步工作的,即第一条纹相机开始曝光时,第一积分相机同步工作,条纹相机这一侧光路切换时,积分相机同步光路切换;待光路切换到第二条纹相机时,第一条纹相机停止曝光,第一积分相机亦停止工作,两者同时进行数据读出,第二条纹相机与第二积分相机开始工作;至光路切换到第一条纹相机时,第二条纹相机与第二积分相机停止曝光,并输出采集的数据,这时第一条纹相机与第一积分相机开始曝光,两个条纹相机和积分相机工作状态与光路切换,根据此规律交替工作;
第一条纹相机、第二条纹相机与第一积分相机、第二积分相机上每次输出的采样帧数,由激光脉冲进行控制;采样率不高于10帧,满足低采样率复原质量高的要求;
一个工作周期为第一条纹相机和第二条纹相机都只工作一次;
探测的目标是2D图像信息,第一条纹相机和第二条纹相机是打开前端的约束孔径,从而接收到2D图像信息是经过编码器编码后的2D信息;第一条纹相机和第二条纹相机通过扫描,将不同时间经过编码的2D图像通过光路切换器进行分批次叠加,从而输出2D的混叠信号;最后通过最优化算法复原为一系列按时间序列整合的2D图像帧。
2.根据权利要求1所述的一种曝光时间不受限的压缩超快成像系统,其特征在于:在所述一个工作周期内,第一条纹相机工作采集K帧图像成后,光路切换到第二光路,第二条纹相机工作采集K帧完成,即一次工作周期采集2K帧;经过3个这样的工作周期,采集6K帧图像信息,每次重构时压缩比为K:1;分批次的重构,进行cK帧的高压缩比,进行长时间观测,其中c代表两个条纹相机采集数据的总次数。
3.根据权利要求1所述的一种曝光时间不受限的压缩超快成像系统,其特征在于:激光脉冲处于低电平时,光路切换在第一条纹相机所在的光路上,在第一条纹相机上积分,积分时间使得其采样帧率不大于10帧,或者根据实际需要调节脉冲低电平时间;若完成设定时间的采集,此时激光脉冲切换到高电平,光路被切换到第二条纹相机所在的光路上,测试光源被第二条纹相机所采样;采样时间由激光脉冲的高电平决定,让第二条纹相机所采样的帧数不大于10帧。
4.基于权利要求1~3中任一项所述系统的曝光时间不受限的压缩超快成像方法,该方法包括以下步骤:
S1:在所述一个周期内,光源通过分束器,再经过编码器进行编码,按照激光脉冲的高低电平,由第一条纹相机和第二条纹相机轮流进行采集,根据时间顺序进行分组,得到压缩数据Y=Ax;其中Y是经过偏移压缩后记录于条纹相机上的二维图像,A是编码器的编码矩阵,x是待测的二维图像帧;压缩数据Y=Ax由第一条纹相机采集的数据Y1=A1x1、第二条纹相机采集的数据Y2=A2x2构成;
S2:第一积分相机与第二积分相机轮流采集的辅助信息与条纹相机处理类似,按时间顺序进行分组,得到辅助信息Y'=Ix;其中Y’是直接记录于积分相机上的二维图像,I是积分相机相对于条纹相机动态扫描形成的偏移操作,x是待测的二维图像帧;而辅助信息Y'=Ix由第一积分相机采集的数据Y1’=I1x1、第二积分相机采集的数据构成;
S3:为反解出上述Y=Ax与Y'=Ix这两个等式中的x,转化为下述拉格朗日函数的最小值求解:
其中,λ1、λ2是拉格朗日因子,θ是中间因子;
S4:按照时间顺序分组,依次通过迭代计算求解上述S3中的方程,得到待测的二维图像帧,然后进行整合;
S5:切换过程中,采用前向网络和后向网络相结合的方式,再通过第三积分相机采集的整个辅助信息,对丢失的信息进行补全。
5.根据权利要求4所述的曝光时间不受限的压缩超快成像方法,其特征在于:所述S4中,首先第一条纹相机采集的数据Y1=A1x1与第一积分相机读取的数据Y1’=I1x1分为第一组,通过迭代计算求解S3中的方程,获得第一组待测的二维图像帧解然后第二条纹相机采集的数据Y2=A2x2与第二积分相机读取的数据/>分为第二组,通过迭代计算求解S3中的方程,获得第二组待测的二维图像帧解/>将两组的解/>与/>整合求得整个的二维图像帧x*;
若有多个工作周期,则循环分组求解步骤,其核心的算法是将第一条纹相机采集的数据Yi=Aixi与第一积分相机读取的数据Y′i=Iixi分为一组,通过迭代计算求解S3中的方程,获得一组待测的二维图像帧解然后第二条纹相机采集的数据Yi+1=Ai+1xi+1与第二积分相机读取的数据Y′i+1=Ii+1xi+1分为另一组,通过迭代计算求解S3中的方程,获得另一组待测的二维图像帧解/>将两组的解/>与/>整合,求得第i个周期的二维图像帧,再通过整合i个周期的二维图像帧可求得整个的x*;最后通过S5所用的前向网络和后向网络的方式,结合第三积分采集的整个辅助信息,求得最优解h*。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211333864.6A CN115695977B (zh) | 2022-10-28 | 2022-10-28 | 一种曝光时间不受限的压缩超快成像系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211333864.6A CN115695977B (zh) | 2022-10-28 | 2022-10-28 | 一种曝光时间不受限的压缩超快成像系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115695977A CN115695977A (zh) | 2023-02-03 |
CN115695977B true CN115695977B (zh) | 2024-04-19 |
Family
ID=85046931
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211333864.6A Active CN115695977B (zh) | 2022-10-28 | 2022-10-28 | 一种曝光时间不受限的压缩超快成像系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115695977B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107205103A (zh) * | 2017-04-14 | 2017-09-26 | 华东师范大学 | 基于压缩感知和条纹相机原理的超高速压缩摄影装置 |
CN111476897A (zh) * | 2020-03-24 | 2020-07-31 | 清华大学 | 基于同步扫描条纹相机的非视域动态成像方法及装置 |
CN111536868A (zh) * | 2020-04-07 | 2020-08-14 | 华东师范大学 | 一种压缩超快的成像型任意反射面速度干涉仪 |
CN113296346A (zh) * | 2021-04-14 | 2021-08-24 | 华东师范大学 | 一种时空频五维压缩超快摄影装置 |
CN114979590A (zh) * | 2022-03-30 | 2022-08-30 | 华东师范大学 | 一种线积分压缩的超快成像装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9081262B2 (en) * | 2011-10-07 | 2015-07-14 | Massachusetts Institute Of Technology | Methods and apparatus for ultra-fast camera |
US10473916B2 (en) * | 2014-09-30 | 2019-11-12 | Washington University | Multiple-view compressed-sensing ultrafast photography (MV-CUP) |
US10992924B2 (en) * | 2019-03-05 | 2021-04-27 | California Institute Of Technology | Stereo-polarimetric compressed ultrafast photography (SP-CUP) systems and methods |
-
2022
- 2022-10-28 CN CN202211333864.6A patent/CN115695977B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107205103A (zh) * | 2017-04-14 | 2017-09-26 | 华东师范大学 | 基于压缩感知和条纹相机原理的超高速压缩摄影装置 |
CN111476897A (zh) * | 2020-03-24 | 2020-07-31 | 清华大学 | 基于同步扫描条纹相机的非视域动态成像方法及装置 |
CN111536868A (zh) * | 2020-04-07 | 2020-08-14 | 华东师范大学 | 一种压缩超快的成像型任意反射面速度干涉仪 |
CN113296346A (zh) * | 2021-04-14 | 2021-08-24 | 华东师范大学 | 一种时空频五维压缩超快摄影装置 |
CN114979590A (zh) * | 2022-03-30 | 2022-08-30 | 华东师范大学 | 一种线积分压缩的超快成像装置 |
Non-Patent Citations (2)
Title |
---|
X射线晶体衍射谱仪理论及应用;黎淼等;《光学学报》;20220719;全文 * |
压缩超快成像的关键技术与应用;杨承帅;《华东师范大学博士论文》;20200815;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115695977A (zh) | 2023-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103323396B (zh) | 一种基于符合测量的二维压缩鬼成像系统及方法 | |
CN102119527A (zh) | 图像处理设备和图像处理方法 | |
US9413992B2 (en) | High dynamic range image sensor with full resolution recovery | |
US20160125630A1 (en) | System and Method to Align and Merge Differently Exposed Digital Images to Create a HDR (High Dynamic Range) Image | |
TW453110B (en) | Pixel defect detector for solid-state imaging device | |
CN111366557B (zh) | 一种基于薄散射介质的相位成像方法 | |
EP2354840A1 (en) | An apparatus and a method for performing a difference measurement of an object image | |
CN102769460B (zh) | 一种互补测量的时间分辨单光子计数成像系统及方法 | |
US20090073292A1 (en) | Method for acquiring a digital image with a large dynamic range with a sensor of lesser dynamic range | |
US20150042764A1 (en) | Three-dimensional hyperspectral imaging system | |
CN110880163B (zh) | 一种基于深度学习的弱光彩色成像方法 | |
CN107205103B (zh) | 基于压缩感知和条纹相机原理的超高速压缩摄影装置 | |
JP2013235054A (ja) | 焦点検出装置及び撮像装置 | |
CN110895320A (zh) | 基于深度学习的无变形单次激发平面回波成像方法及装置 | |
CN112882057A (zh) | 一种基于插值的光子计数非视域三维成像超分辨方法 | |
CN115695977B (zh) | 一种曝光时间不受限的压缩超快成像系统及方法 | |
CN115077706A (zh) | 一种焦平面偏振成像阵列结构及其偏振参量图像重构方法 | |
CN104486562A (zh) | 基于固定积分时间的嵌入式红外图像超帧处理方法 | |
WO2002019723A1 (en) | Color image pickup device with active ranging | |
CN114323310A (zh) | 一种高分辨率哈特曼波前传感器 | |
CN108616686B (zh) | 一种全哈达玛矩阵编码成像方法 | |
CN105120141A (zh) | 一种压缩感知光电成像方法及装置 | |
CN116739932A (zh) | 一种基于盲点自监督的图像去噪深度学习算法 | |
CN112113661A (zh) | 一种深度学习型快照式光谱成像装置及其探测方法 | |
CN114979590B (zh) | 一种线积分压缩的超快成像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |