CN109343238B - 一种基于电光晶体偏转的压缩超高速摄影装置 - Google Patents

一种基于电光晶体偏转的压缩超高速摄影装置 Download PDF

Info

Publication number
CN109343238B
CN109343238B CN201811100018.3A CN201811100018A CN109343238B CN 109343238 B CN109343238 B CN 109343238B CN 201811100018 A CN201811100018 A CN 201811100018A CN 109343238 B CN109343238 B CN 109343238B
Authority
CN
China
Prior art keywords
electro
convex lens
ccd camera
digital micromirror
optical crystal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811100018.3A
Other languages
English (en)
Other versions
CN109343238A (zh
Inventor
杨承帅
曹烽燕
齐大龙
何一林
杨岩
张诗按
孙真荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN201811100018.3A priority Critical patent/CN109343238B/zh
Publication of CN109343238A publication Critical patent/CN109343238A/zh
Application granted granted Critical
Publication of CN109343238B publication Critical patent/CN109343238B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/03—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on ceramics or electro-optical crystals, e.g. exhibiting Pockels effect or Kerr effect
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B39/00—High-speed photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Nonlinear Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Chemical & Material Sciences (AREA)
  • Ceramic Engineering (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Operations Research (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明公开了一种基于电光晶体偏转的压缩超高速摄影装置，该装置首先通过数字微镜器件对动态场景图像进行编码，然后利用电光晶体的普克尔效应，将不同时刻到达电光晶体的信息偏转到不同的位置，叠加后在CCD相机中成像，最终利用增广拉格朗日算法进行图像重构，属于计算成像领域的成像装置。本发明中，在动态场景位置之后依次放置格兰棱镜，第一凸透镜，数字微镜器件，在由数字微镜器件反射的光路中依次放置电光晶体，第二凸透镜，第三凸透镜以及CCD相机。最终将相机的采集结果输出到计算机端。本装置可以实现单次拍摄不重复事件重构出一个超快的动态过程。

Description

一种基于电光晶体偏转的压缩超高速摄影装置
技术领域
本发明属于超快成像技术领域，可用于超快物理、化学、生物等过程的三维x-y-t重建，其中x-y为空间坐标，t为时间坐标，也可用于微纳加工以及一些三维物体的动态观测。
背景技术
高速成像技术在解决无数科学谜团、推进医学发展、创造艺术效果、揭示细胞甚至机器等事物的内部运作等方面发挥着不可或缺的作用。人们对高速摄影的追求最早的记录可以追溯到1878年记录的奔跑中的马以及1887年对于超声速子弹的摄影。然而，直到二十世纪末，成像速度还始终在每秒10^5帧。后来，基于电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)的电子成像传感器的出现彻底改变了人们对高速成像的认识，使得成像速度可以达到每秒10^7帧。尽管这种传感器得到了非常广泛的应用，但是成像速度受限于CCD和CMOS的芯片存储和电子的读出速度，在很多超快领域无法进行直接探测。
电光晶体的普克尔效应可以根据信号电压实现光路的小角度偏转，并且固有响应时间在飞秒量级。主要应用有光学囚禁、Q开关激光器、光束偏转、晶体条纹相机。普克尔效应决定了电光晶体在不同的电压下有不同的折射率，类似于光学条纹相机，通过将不同时刻的光信息进行偏转实现将其时间信息转化为空间信息。在成像领域，两幅图像之间的时间间隔决定了是否能很好地区分两帧图像，也即决定了时间分辨能力。在偏转压缩成像领域，时间信息被转换为空间信息，通过对两幅图像之间进行合适的偏转可以实现两帧图像的区分。通常所采集的图像具有一定的空间尺寸，在不偏转的情况下，即使空间二维尺寸非常狭长也会占据很多像素。为了区分相邻帧图像，在不编码的情况下，必须依照每一张图像的本身尺寸作为区分两帧图像的界限；而在编码的情况下，就可以依据面积远小于图像本身尺寸的单像素界限来区分两帧图像，这样可以提高整个系统的时间分辨率。
发明内容
本发明的目的在于提供一种基于电光晶体偏转的压缩超高速摄影装置，该装置基于压缩感知原理和电光晶体的普克尔效应能够克服现有技术中的电光晶体一维成像的限制，对一些超快物理、化学、生物等的动态过程进行成像。
实现本发明目的的具体技术方案是：
一种基于电光晶体偏转的压缩超高速摄影装置，特点是：该装置包括格兰棱镜、第一凸透镜、数字微镜器件、电光晶体、第二凸透镜、第三凸透镜、CCD相机、计算机及数字延时发生器，所述格兰棱镜、第一凸透镜及数字微镜器件依次光路连接，数字微镜器件、电光晶体、第二凸透镜、第三凸透镜、CCD相机依次光路连接，CCD相机与计算机电路连接，数字延时发生器与CCD相机电路连接；其中，所述格兰棱镜用于产生偏振光。
所述电光晶体所匹配的高压电源为100kHz Q-switch Driver，电压范围为0-2000v,电压上升沿时间为12ns。
所述计算机采用增广拉格朗日(A-L)算法对CCD相机中压缩后的采集结果进行重构，得到高速动态过程的三维数据。
所述增广拉格朗日(A-L)算法，具体包括：
设：被摄对象即动态场景记为X，在CCD相机中得到结果记为Y，数据采集过程为Y＝LX，L＝ISE，其中E为空间编码算符，S为时间剪切算符，I为时空积分算符；解决如下最优解问题：
Figure GDA0002375203590000021
其中λ为算法乘子，β为正则化参数，Φ(X)为全变分函数；
第一步：引入一个新的变量W，其中W＝DX，D为梯度算符，令Φ(X)＝||DX||2，对其进行约束再变形后，上述方程(a)就变为：
Figure GDA0002375203590000022
其中ν是Φ(X)的拉格朗日乘子，μ为对应的正则化参数；
第二步：在每次迭代的过程中，将(1)所描述的问题分解为关于变量W和X的两个子问题
W-子问题：
Figure GDA0002375203590000023
对应的解为：
Figure GDA0002375203590000024
X-子问题：
Figure GDA0002375203590000025
对应的解为：
Xj＝Xj-1-αd(Xj-1) (5)
其中d(X)＝(μDT(DX-W)-DTν)+βLT(LX-Y)-LTλ为X的导数，α为迭代优化参数，T为转置矩阵符号；
第三步：将(3)和(5)代入(1)重复第一步、第二步，寻求最优解X。
所述CCD相机(8)的起始工作时间使用数字延时发生器DG645(10)进行同步，其工作时间涵盖动态场景的有效持续时间。
本发明的优点是：
1)首次将电光晶体用于三维(x-y-t)成像，时间分辨率为500ps，空间分辨率在微米量级；
2)单次拍照再现过程，可以拍摄不重复或者不可逆事件的发生；
3)可接收式成像，在自发光场景的探测中不需要进行主动探测光照明；
附图说明
图1为本发明结构示意图；
图2为本发明使用状态示意图；
图3为本发明的实验原理图；
图4中的A、图4中的B、图4中的C为本发明拍摄的罗丹明B溶液的荧光衰减过程示意图。
具体实施方式
以下结合附图和实施例进一步详细阐述本发明。
参阅图1，本发明包括格兰棱镜2、第一凸透镜3、数字微镜器件4、电光晶体5、第二凸透镜6、第三凸透镜7、CCD相机8、计算机9、数字延时发生器10，所述格兰棱镜2、第一凸透镜3及数字微镜器件4依次光路连接，数字微镜器件4、电光晶体5、第二凸透镜6、第三凸透镜7、CCD相机8依次光路连接，CCD相机8与计算机9电路连接，数字延时发生器10与CCD相机8电路连接。
参阅图2，本发明使用时，动态场景1为包含时间信息的x-y-t三维矩阵的数据立方，光信息进入格兰棱镜2产生偏振的光信息，然后进入第一凸透镜3将不同时刻的图像信息进行缩小，使得像的尺寸小于数字微镜器件4的有效面积，然后数字微镜器件4对到达其上的光信息进行0-1伪随机二元化编码，将反射回的光信息进一步传送至电光晶体5中。电光晶体5在高压电源的控制下，不同时刻具有不同的电压值，由于电光晶体5的普克尔效应，不同时刻就会具有不同的折射率，折射角不同，不同时刻进入电光晶体5的光信息的传播方向就会进行发散，不同时刻的折射光在电光晶体5之后进入第二凸透镜6、第三凸透镜7中进行像的放大，然后进入CCD相机8中。CCD相机8的起始工作时间使用数字延时发生器DG64510进行同步，其工作时间涵盖动态场景的有效持续时间。CCD相机8的曝光时间内就会产生一个时间偏转的光信息的积分效应。
本发明包括正演过程和反演过程。参阅图3，正演过程是高速动态场景X由数字微镜器件4进行编码，然后反射进入电光晶体5进行偏转，偏转之后的图像叠加显示在CCD相机8中得到拍摄结果Y。整个过程可概括为Y＝LX，L＝ISE，其中E为空间编码算符，S为时间剪切算符，I为时空积分算符。反演过程基于压缩感知算法，采用增广拉格朗日方法解决如下欠定最优解问题：
Figure GDA0002375203590000041
其中λ为算法乘子，β为正则化参数，Φ(X)为全变分函数。计算机对CCD相机中采集到的数据进行处理后可得到高速动态过程的三维数据。
在具体实现中，基于可分离变量的原理，利用TV项(Φ(X))引入一个新的变量W，其中W＝DX，D为梯度算符，令Φ(X)＝||DX||2，对其进行约束再变形后，上述方程就变为：
Figure GDA0002375203590000042
其中ν是TV项的拉格朗日乘子，μ为对应的正则化参数。
在每次迭代的过程中，式(1)所描述的问题可分解为关于变量W和X的两个子问题。
W-子问题：
Figure GDA0002375203590000043
对应的解为：
Figure GDA0002375203590000044
X-子问题：
Figure GDA0002375203590000045
对应的解为：
Xj＝Xj-1-αd(Xj-1) (5)
其中d(X)＝(μDT(DX-W)-DTν)+βLT(LX-Y)-LTλ为X的导数，α为迭代优化参数，T为转置矩阵符号；
每次迭代的过程就是将(3)和(5)代入(1)反复寻求最优解X的过程。
实施例
本实施例各部件参阅图2设置，包括动态场景1、格兰棱镜2、第一凸透镜3、数字微镜器件4、电光晶体5、第二凸透镜6、第三凸透镜7、CCD相机8及计算机9。动态场景1发出的散射光依次进入格兰棱镜2、第一凸透镜3、数字微镜器件4，然后经过数字微镜器件4编码后进入电光晶体5、第二凸透镜6、第三凸透镜7和CCD相机8。CCD相机8接收到数字延时发生器10的信号后开始工作。计算机9对CCD相机中采集到的数据利用增广拉格朗日算法进行重构。
在本实施例中，如图4A所示，使用50fs的激光脉冲打在罗丹明B溶液中，产生其荧光衰减的动态过程，然后用本发明重现整个动态过程。图4B为使用增广拉格朗日算法重构出来的荧光光斑演化图像，图4C为图4B中对应的不同时刻的光强总和拟合出的荧光强度变化曲线，发现其可以和e指数衰减函数相吻合(图中小方框为实验数据，线条为拟合结果)。本发明对荧光捕捉的是二维信号，是一个二维信号演化的过程，并且拟合出其寿命为2.84ns，和已报道的荧光寿命相近。
于此，本实施例完成了三维动态场景的拍摄。

Claims (5)

1.一种基于电光晶体偏转的压缩超高速摄影装置，其特征在于，该装置包括格兰棱镜(2)、第一凸透镜(3)、数字微镜器件(4)、电光晶体(5)、第二凸透镜(6)、第三凸透镜(7)、CCD相机(8)、计算机(9)及数字延时发生器(10)，所述格兰棱镜(2)、第一凸透镜(3)及数字微镜器件(4)依次光路连接，数字微镜器件(4)、电光晶体(5)、第二凸透镜(6)、第三凸透镜(7)、CCD相机(8)依次光路连接，CCD相机(8)与计算机(9)电路连接，数字延时发生器(10)与CCD相机(8)电路连接；其中，所述格兰棱镜(2)用于产生偏振光。
2.根据权利要求1所述的压缩超高速摄影装置，其特征在于，所述电光晶体(5)所匹配的高压电源为100kHz Q-switch Driver，电压范围为0-2000v,电压上升沿时间为12ns。
3.根据权利要求1所述的压缩超高速摄影装置，其特征在于，所述计算机(9)采用增广拉格朗日算法对CCD相机(8)中压缩后的采集结果进行重构，得到高速动态过程的三维数据。
4.根据权利要求3所述的压缩超高速摄影装置，其特征在于，所述增广拉格朗日算法，具体包括：
设：被摄对象即动态场景记为X，在CCD相机(8)中得到结果记为Y，数据采集过程为Y＝LX，L＝ISE，其中E为空间编码算符，S为时间剪切算符，I为时空积分算符；解决如下最优解问题：
Figure FDA0002325732750000011
其中λ为算法乘子，β为正则化参数，Φ(X)为全变分函数；
第一步：引入一个新的变量W，其中W＝DX，D为梯度算符，令Φ(X)＝||DX||2，对其进行约束再变形后，上述方程(a)就变为：
Figure FDA0002325732750000012
其中ν是Φ(X)的拉格朗日乘子，μ为对应的正则化参数；
第二步：在每次迭代的过程中，将(1)所描述的问题分解为关于变量W和X的两个子问题
W-子问题：
Figure FDA0002325732750000013
对应的解为：
Figure FDA0002325732750000021
X-子问题：
Figure FDA0002325732750000022
对应的解为：
Xj＝Xj-1-αd(Xj-1) (5)
其中d(X)＝(μDT(DX-W)-DTν)+βLT(LX-Y)-LTλ为X的导数，α为迭代优化参数，T为转置矩阵符号；
第三步：将(3)和(5)代入(1)重复第一步、第二步，寻求最优解X。
5.根据权利要求1所述的压缩超高速摄影装置，其特征在于，所述CCD相机(8)的起始工作时间使用数字延时发生器DG645(10)进行同步，其工作时间涵盖动态场景的有效持续时间。
CN201811100018.3A 2018-09-20 2018-09-20 一种基于电光晶体偏转的压缩超高速摄影装置 Active CN109343238B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811100018.3A CN109343238B (zh) 2018-09-20 2018-09-20 一种基于电光晶体偏转的压缩超高速摄影装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811100018.3A CN109343238B (zh) 2018-09-20 2018-09-20 一种基于电光晶体偏转的压缩超高速摄影装置

Publications (2)

Publication Number Publication Date
CN109343238A CN109343238A (zh) 2019-02-15
CN109343238B true CN109343238B (zh) 2020-05-12

Family

ID=65305848

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811100018.3A Active CN109343238B (zh) 2018-09-20 2018-09-20 一种基于电光晶体偏转的压缩超高速摄影装置

Country Status (1)

Country Link
CN (1) CN109343238B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110809102B (zh) * 2019-10-11 2020-10-30 北京理工大学 基于二值调制的成像加速方法及装置
CN110779625B (zh) * 2019-10-21 2022-04-05 华东师范大学 一种四维超快摄影装置
CN113296346B (zh) * 2021-04-14 2022-01-11 华东师范大学 一种时空频五维压缩超快摄影装置
CN113340570B (zh) * 2021-05-17 2023-03-14 中国科学院上海光学精密机械研究所 高功率脉冲激光动态光场及动态焦斑的测量装置和测量方法
CN117950262B (zh) * 2024-03-18 2024-06-18 临沂大学 基于单光子探测器的单像素成像方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103080831A (zh) * 2010-09-07 2013-05-01 大日本印刷株式会社 投射型影像显示装置
WO2016085571A2 (en) * 2014-09-30 2016-06-02 Washington University Compressed-sensing ultrafast photography (cup)

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103080831A (zh) * 2010-09-07 2013-05-01 大日本印刷株式会社 投射型影像显示装置
WO2016085571A2 (en) * 2014-09-30 2016-06-02 Washington University Compressed-sensing ultrafast photography (cup)

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Arbitrary photo-patterning in liquid crystal alignments using DMD based lithography system;Hao Wu等;《OPTICS EXPRESS》;20120716;第20卷(第15期);全文 *
Encrypted Three-dimensional Dynamic Imaging using Snapshot Time-of-flight Compressed Ultrafast Photography;Jinyang Liang等;《Scientific RepoRts》;20151027;第5卷(第15504期);全文 *
Optical-deflection accelerating techniques in streak camera;Ai Yuexia等;《深圳大学学报理工版》;20160331;第33卷(第2期);全文 *
Optimizing codes for compressed ultrafast photography by the genetic algorithm;CHENGSHUAI YANG等;《Optica》;20180201;第5卷(第2期);全文 *
Rapid bespoke laser ablation of variable period grating structures using a digital micromirror device for multi-colored surface images;DANIEL J.HEATH等;《Applied Optics》;20150601;第54卷(第16期);全文 *
超快电子衍射技术及其应用;裴敏洁等;《物理学报》;20150304;第64卷(第3期);全文 *

Also Published As

Publication number Publication date
CN109343238A (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
CN109343238B (zh) 一种基于电光晶体偏转的压缩超高速摄影装置
Ma et al. Quanta burst photography
Kappeler et al. Ptychnet: CNN based Fourier ptychography
Shin et al. Photon-efficient imaging with a single-photon camera
Zhang Image processing
D’Angelo et al. Correlation plenoptic imaging
Liu et al. Efficient space-time sampling with pixel-wise coded exposure for high-speed imaging
Wang et al. Compressive holographic video
Ingle et al. Passive inter-photon imaging
Chandramouli et al. A bit too much? High speed imaging from sparse photon counts
CN113296346A (zh) 一种时空频五维压缩超快摄影装置
Poisson et al. Luminance-depth reconstruction from compressed time-of-flight histograms
Gutierrez-Barragan et al. Compressive single-photon 3D cameras
Zhou et al. Unmodnet: Learning to unwrap a modulo image for high dynamic range imaging
Liu et al. Single-photon camera guided extreme dynamic range imaging
Yao et al. Total variation and block-matching 3D filtering-based image reconstruction for single-shot compressed ultrafast photography
Hajisharif et al. Single sensor compressive light field video camera
CN103595922A (zh) 一种基于电子快门曝光编码的成像方法
Wahab et al. High dynamic range imaging using a plenoptic camera
WO2021099761A1 (en) Imaging apparatus
Le Pendu et al. High dynamic range light fields via weighted low rank approximation
CN114979590B (zh) 一种线积分压缩的超快成像装置
CN115580762B (zh) 一种多通道耦合压缩超快成像装置
Conde et al. Low-light image enhancement for multiaperture and multitap systems
Zhang et al. Unveiling the potential of spike streams for foreground occlusion removal from densely continuous views

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant