CN115812178A - 高速成像设备和成像方法 - Google Patents

高速成像设备和成像方法 Download PDF

Info

Publication number
CN115812178A
CN115812178A CN202180039883.5A CN202180039883A CN115812178A CN 115812178 A CN115812178 A CN 115812178A CN 202180039883 A CN202180039883 A CN 202180039883A CN 115812178 A CN115812178 A CN 115812178A
Authority
CN
China
Prior art keywords
image
encoded
imaging device
image sensor
rotating mirror
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180039883.5A
Other languages
English (en)
Inventor
王旭
A·麦丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heriot Watt University
Original Assignee
Heriot Watt University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heriot Watt University filed Critical Heriot Watt University
Publication of CN115812178A publication Critical patent/CN115812178A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B39/00—High-speed photography
    • G03B39/02—High-speed photography using stationary plate or film
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B41/00—Special techniques not covered by groups G03B31/00 - G03B39/00; Apparatus therefor
    • G03B41/02—Special techniques not covered by groups G03B31/00 - G03B39/00; Apparatus therefor using non-intermittently running film
    • G03B41/04—Special techniques not covered by groups G03B31/00 - G03B39/00; Apparatus therefor using non-intermittently running film with optical compensator
    • G03B41/06—Special techniques not covered by groups G03B31/00 - G03B39/00; Apparatus therefor using non-intermittently running film with optical compensator with rotating reflecting member
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

一种成像设备(100、300)包括：光学编码器(150、350)，其被配置成用至少一个掩模图案提供对象(110)的编码图像；旋转镜(170)，其被配置成接收且投影所述编码图像；以及图像传感器(180)，其被配置成接收所述编码；其中所述旋转镜(170)可用于使得由所述旋转镜(170)单独投影的由于所述旋转镜(170)的旋转而在空间上移位的多个编码图像扫过所述图像传感器(180)。

Description

高速成像设备和成像方法
技术领域
本发明涉及用于超快瞬态现象的高速成像的成像设备和成像方法。
背景技术
高速成像已经展示出在各种应用中捕获超快瞬态现象的非凡潜力，例如筛选生物组织中的生理过程、高通量血细胞筛选、荧光共聚焦和寿命显微法，这需要具有每秒千帧(Kfps)到每秒百万帧(Mfps)捕获速率的相机。例如，在生物医学研究和临床应用领域，高速成像允许单独地或作为群组以高灵敏度和高精度检测和跟踪样本中的细胞、血浆和其它感兴趣分子。旋转镜相机是首批可实现高达25Mfps帧速率的商用成像仪器之一。旋转镜相机技术的原理依赖于将入射光(帧)朝向胶片带引导的单个镜的旋转(例如，US3122052中公开的旋转镜相机)，在后期开发阶段，其被电荷耦合装置(CCD)阵列所取代(例如，在Gelderblom EC等人，2012，科学仪器评论(Rev.Sci.Instrum.)，83，103706的作品中描述的Brandaris 128)。
目前版本的Brandaris 128成像系统仍然是最快的商用高速相机之一，它可以提供25Mfps的最大帧速率，并记录超过100个连续帧。然而，使用128个高灵敏度、非增强型CCD图像传感器和定制高速CCD控制电子器件进行高速图像采集以及使用氦驱动涡轮进行高速镜旋转的要求导致了若干缺点，例如物理尺寸大、建造和维护成本高、缺乏灵活性和对高存储容量的要求。
前述缺点中的一些对于许多其它常规高速成像系统来说是常见的，因此极大地阻碍了它们在许多技术环境中的应用，尤其是在那些资源有限的领域中的应用。例如，在微流体研究和芯片上实验室应用中，缺乏便宜和紧凑的成像系统已经造成对许多动态事件研究的可视化方面的约束，例如借助于声、电场和磁场、微过滤技术以及BPS芯片研究用于细胞和DNA分析的血浆分离(BPS)方法。那些BPS芯片的馈送通道的典型尺寸可以在亚微米(pm)与毫米(mm)之间的任何地方变化。因此，需要具有便宜、灵活和紧凑(优选地，便携式)高速成像设备，其允许简单快速地适应对象尺寸的变化。本发明旨在提供此类解决方案。
发明内容
根据本发明的第一方面，提供一种成像设备，其包括：光学编码器，其被配置成通过用至少一个掩模图案对对象的图像进行编码来提供编码图像；旋转镜，其被配置成旋转并且接收且随后投影编码图像；以及图像传感器，其被配置成接收由旋转镜投影的编码图像；其中旋转镜可用于单方向旋转某一旋转角度，使得在任何旋转时刻由旋转镜单独投影并且由于旋转镜的旋转而在空间上移位的多个编码图像扫过图像传感器以进行单个图像采集。
以此方式，提供紧凑、低成本和高速的成像设备。成像设备能够持续更长的捕获持续时间以超高帧速率对不可重复的动态事件成像。此外，成像设备能够实现实时数据加密，从而消除捕获的图像数据的潜在曝光。
优选地，多个投影编码图像被图像传感器检测为多个检测到的编码图像，并且其中多个检测到的编码图像在空间上移位图像传感器的单个像素大小。并且更优选地，多个投影编码图像覆盖图像传感器的整个感测区域。
以此方式，可以最大化由图像传感器以单个图像采集同时捕获的总图像帧的数量。
优选地，多个投影编码图像中的每一个包括基本上所述图像传感器的像素大小的像素大小。
优选地，光学编码器包括具有至少一个固定掩模图案的物理掩模。
优选地，光学编码器包括透射空间光调制器(SLM)或反射SLM。
优选地，光学编码器包括至少一个可变掩模图案，并且另外，其中至少一个可变掩模图案被布置成在成像设备的操作期间是可调节的。
优选地，至少一个掩模图案包括一个或多个二元图案。
优选地，成像设备还包括第一光学元件，所述第一光学元件被配置成将编码图像传送到旋转镜上。
优选地，第一光学元件被配置成将编码图像聚焦到旋转镜上，并且优选地包括光学透镜或曲面镜。
优选地，成像设备还包括第二光学元件，所述第二光学元件被配置成在光学编码器上形成对象的图像。
优选地，第二光学元件包括选自以下范围中的任一者：光学透镜、曲面镜、光学组件。
优选地，对象的图像是用自然光形成的。
优选地，对象的图像是在用外部光源照射对象之后形成的。
优选地，对象的图像是用从由外部光源激发的对象发射的荧光形成的。
优选地，成像设备还包括可用于执行一个或多个操作任务的控制单元。
优选地，控制单元可用于将至少一个掩模图案施加到光学编码器。
优选地，控制单元可用于用至少一个掩模图案校准成像设备。
优选地，控制单元可用于执行一个或多个图像采集，以捕获多个检测到的编码图像。
优选地，控制单元可用于命令旋转镜单向旋转所述旋转角度。
优选地，控制单元可用于执行数据重构，以将多个检测到的编码图像重构为对象的原始图像。
优选地，控制单元可用于运行数据重构算法，所述数据重构算法基于交替方向乘子法与全变差正则化矩阵(ADMM-TV)法。
根据本发明的第二方面，提供一种高速成像方法，其包括：通过用至少一个掩模图案对对象的图像进行编码来生成编码图像；通过被配置成旋转的旋转镜接收且随后投影编码图像；以及通过图像传感器接收从旋转镜投影的编码图像；其中通过使旋转镜单方向旋转某一旋转角度，将在任何旋转时刻由旋转镜单独投影并且由于旋转镜的旋转而在空间上移位的多个编码图像扫过图像传感器以进行单个图像采集。
优选地，高速成像方法还包括通过检测多个投影编码图像来获得多个检测到的编码图像，其中所述多个检测到的编码图像在空间上移位所述图像传感器的单个像素大小。
优选地，高速成像方法还包括：使用一个或多个校准块来生成一个或多个校准迹线；通过使用一个或多个校准迹线来校正图像传感器上的编码图像的位置误差。
优选地，高速成像方法还包括：重构单个图像采集的多个检测到的编码图像。
优选地，多个检测到的编码图像的重构是通过数据重构算法进行的，所述数据重构算法基于交替方向乘子法与全变差正则化矩阵(ADMM-TV)法。
优选地，高速成像方法还包括：将多个检测到的编码图像分成分别对应于图像传感器的红色、绿色和蓝色通道的三组单色图像数据，通过使用数据重构算法将三组单色图像数据中的每一组重构成一组单色原始图像，从而获得三组单色原始图像；以及通过合并三组单色原始图像的对应图像来生成一组彩色原始图像。
附图说明
现在将仅借助于示例参考附图来描述本发明的实施例，在附图中：
图1示意性地示出根据实施例的高速成像设备的第一配置：(a)光学设置；(b)通过单个图像采集在图像传感器上捕获的二维(2D)编码图像帧；
图2示意性地示出不透明像素的数量与透明像素的数量之间的比率为1∶1的示例2D二元掩模图案，黑色正方形表示不透明像素且白色正方形表示透明像素；
图3示意性地示出根据实施例的高速成像设备的第二配置：(a)光学设置；(b)通过单个图像采集在图像传感器上捕获的2D编码图像帧；
图4示意性地示出聚焦的2D原始图像投影到图3的实施例中使用的反射光学编码器的顶表面上；
图5示出根据实施例的高速成像设备的操作流程图；
图6将(a)示例设计掩模图案与(a)图像上的对应检测到的图案进行比较；以及
图7示出对静态场景进行单个图像采集或扫描后的示例压缩和编码图像，所述静态场景包含作为镜扫掠结果生成的校准块的迹线。
基本操作原理
本节将描述本文公开的所有实施例所遵循的基本操作原理。在成像阶段，将表示为x∈RMNFx1的三维(3D)时空场景(例如，图1中的X、Z、T)的强度分布聚焦在光学编码器上，所述光学编码器被配置成提供表示为A∈RMNF×MNF的至少一个掩模图案，其中M、N和F分别表示帧的行数、列数和总数。在不同时刻形成的单独的二维(2D)图像帧由相同的掩模图案编码，并且随后被引导到旋转镜，所述旋转镜被配置成在至少图像的传播平面逐步旋转。旋转镜的旋转在图像传感器的感测区域上扫掠多个编码的2D图像帧，并且在用于单个图像采集的单个曝光期间部分地重叠这些图像帧。由于旋转镜的旋转，图像传感器上的任何两个相邻的编码的2D图像帧将具有相对的空间移位。图像传感器上的移位和重叠功能可以表示为T∈RMN+(F-1)M×MNF。旋转镜的旋转也会导致机械误差，从而导致每个部分重叠的2D图像帧的二次竖直移位，表示为C∈RMNF×MNF。当执行图像数据(或视频)重构时，考虑此类二次竖直移位。
在数据重构阶段，可以使用交替方向乘子法与全变差正则化矩阵(ADMM-TV)作为优化算法。在时域中提高了数据的稀疏性，并且通过采用TV先验，可以极大地保留重构帧中的边缘特征，这可能是高通量细胞成像和特征分类等应用中的基本要求。压缩感测被证明是关键和基本的数据采集框架之一，在例如用于运动检测和补偿的视频压缩感测、多尺度摄影和生物成像之类的各种类型的应用中实施。
使用ADMM-TV方法，可以通过最小化成本函数来实现捕获的时空场景的视频重构，所述成本函数表示为：
Figure BDA0003977548360000051
其中
Figure BDA0003977548360000052
表示l2范数，y∈RMN+(F-1)M×1是图像传感器上的压缩和编码的时空场景，D是在动态场景的时域中促进稀疏性的正则化函数，并且ρk是基于在对应迭代处获得的结果周期性更新的正则化参数。
来自旋转镜成像设备的所实现的帧速率公式化为：
Figure BDA0003977548360000053
根据p＜＜L， [2]
其中R是旋转镜的旋转速度(每秒转数)，L是镜与检测器表面之间的正交距离，并且p是检测器中每个像素的宽度(相邻帧之间的距离)。如以上方程[2]所示，为了为给定成像设备捕获尽可能多的图像帧，优选地，将帧分离长度p设置为图像传感器的单个像素大小/宽度，从而实现相邻帧之间的单个像素移位。此外，为了实现高帧速率，优选地最小化帧分离长度p，同时最大化旋转速度R和镜-检测器距离L。根据应用，成像设备的帧速率可以介于每秒1帧(fps)到数十亿fps的范围内。
具体实施方式
在本节中，将详细描述成像设备的不同实施例。尽管这些实施例可以具有不同的配置和/或部件，但它们都基于基本上相同的操作原理。所提出的成像设备的操作原理描述如下：
图1到7涉及成像设备的实施例，所述成像设备包括：光学编码器，其被配置成通过用至少一个掩模图案对对象的图像进行编码来提供编码图像；旋转镜，其被配置成旋转并且接收且随后投影编码图像；以及图像传感器，其被配置成接收由旋转镜投影的编码图像；其中旋转镜可用于单方向旋转某一旋转角度，使得在任何旋转时刻由旋转镜单独投影并且由于旋转镜的旋转而在空间上移位的多个编码图像扫过图像传感器以进行单个图像采集。
图1(a)是描绘根据实施例的所提出的成像设备的第一配置的示意图。如图1(a)所示，物镜130可用于收集来自物平面120中的视场(FOV)内的动态场景或对象110的光。在一些实施例中，物镜130可以是透镜组件，例如无限远校正的显微物镜。在其它实施例中，物镜130可以是单透镜。FOV及其到物镜130的距离由物镜130的例如数值孔径(NA)和焦距(FL)之类的参数确定。在此实施例中，物平面OP可以与物镜130的焦平面重合。换句话说，物平面120与物镜130之间的距离可以等于物镜130的焦距。
在一些实施例中，可以采用对象支撑件来固持待成像的对象110。在一些其它实施例中，对象支撑件可以借助于一个或多个致动器移动，并且这些致动器的精确定位可以由成像设备的控制单元(未示出)控制。以此方式，可以实现对象110的3D空间扫描。由物镜130收集的图像形成光随后可以借助于第一管透镜140聚焦到光学编码器上。因此，可在光学编码器上形成中间2D原始图像。在一些实施例中，例如图1的实施例100，光学编码器可以按输入原始图像和输出编码图像沿着同一方向传播的透射配置操作。物镜130和第一管透镜140可以被配置成形成第一远心透镜系统。
随后，可以用掩模图案对透射光学编码器150上的此中间2D原始图像进行编码。透射光学编码器150可以是例如透射空间光调制器(SLM)，例如基于液晶的SLM或物理掩模。物理掩模可以包括固定掩模图案。或者其可以包括可以在物理掩模上空间分布的多个不同图案。具有多个不同图案的此类物理掩模可以相对于入射原始图像平移，使得当需要时可以将不同的掩模图案应用于入射原始图像。物理掩模的平移可以由一个或多个致动器实现，所述致动器可以由成像设备的控制单元控制。在一些不同的实施例中，光学编码器可以按反射配置操作，其中在输入原始图像的传播方向与输出编码图像的传播方向之间形成角度。输入传播方向与输出传播方向之间的角度可以由反射光学编码器的特性决定，所述反射光学编码器可以是反射SLM，例如数字微镜装置(DMD)。反射配置的细节如图3所示，将在本公开的后面部分进行描述。
当SLM(例如，基于液晶的SLM或DMD)用作光学编码器时，掩模图案在成像期间是可变的。例如，在一些实施例中，可以针对每个新的图像采集和/或在每个新的对象位置处应用不同的掩模图案(例如，如果使用可移动对象支撑件来改变对象位置)。在其它实施例中，即使在图像采集期间，也可以动态地形成各种不同的掩模图案。在典型实施例中，可以使用2D二元掩模图案。2D二元掩模图案可以由多个不透明和透明像素形成。在一些实施例中，2D二元掩模图案可以在不透明像素的数量与透明像素的数量之间具有1:1的比率。在其它实施例中，可以使用其它不同的比率，例如1:2、1:3、1:4、1:5、2:1、3:1、4:1或5:1。在不同的实施例中可以使用不同类型的掩模图案，例如三元或四元图案。掩模图案的像素大小可以是设计特定的，并且可以取决于成像设备中使用的图像传感器180的像素大小以及编码器150和图像传感器180之间使用的透镜系统的放大率。在一些优选实施例中，由图像传感器180看到的成像图案像素的大小可以与传感器像素的大小基本上相同。
在图1的实施例100中，具有固定2D二元掩模图案的物理掩模可以用作透射光学编码器150。二元图案可以在不透明像素的数量与透明像素的数量之间具有1:1的比率。物理掩模可以包括比由第一管透镜140聚焦的中间原始图像大得多的图案化区域。图2示意性地示出不透明像素的数量与透明像素的数量之间的比率为1:1的示例2D二元掩模图案。在离开物理掩模之后，编码图像可以由第二管透镜160重新成像到旋转镜170上，所述旋转镜随后可以将编码图像偏转到图像传感器180上。在此实施例中，第一管透镜140和第二管透镜160可以被配置成形成第二远心透镜系统。远心透镜系统可产生将编码器150的掩模图案的像素大小与图像传感器180的像素大小联系起来的放大因子。具体地，在图像传感器180上接收的2D编码图像的像素大小可与图像传感器180的像素大小基本上相同。
在默认位置，旋转镜170可以使图像形成光偏转90°的角度。这意味着当旋转镜170处于其默认位置时，在旋转镜170上反射之前和之后的图像形成光的传播方向彼此垂直。旋转镜170可以安装在可移动镜座上，所述镜座允许在图像形成光的传播平面或如图1(a)所示的X-Y平面中的旋转移动。
可移动镜座的移动可以由例如电动机的一个或多个致动器实现，所述一个或多个致动器可由成像设备的控制单元控制。致动器可以允许旋转镜170在限定的平面(例如X-Y平面)中旋转。在镜旋转的任何时刻，编码的2D图像帧将被旋转镜170反射或投影到图像传感器180上。因此，旋转镜170的旋转可以在图像传感器180的感测区域的整个宽度(例如，沿着X轴)上扫掠多个编码的2D图像帧。多个编码的2D图像帧中的每一个，例如图1(a)中的图像帧181、182，可以包含特定时刻的动态场景(或图1(b)中的对象110)的空间信息。然而，由于图像传感器180的像素化性质，图像传感器180将那些间隔小于图像传感器180像素大小的投影编码图像帧视为或检测为一个图像帧。例如，在图像传感器180上从左到右扫掠多个编码的2D图像帧的情境中，最左边的图像帧被视为第一图像帧。在距第一图像帧一个像素大小距离内的所有后续图像帧将由图像传感器180集成到第一图像帧中。对图像传感器180的其它列进行相同的集成过程。因此，获得多个检测到的编码的2D图像帧。
图1(b)是示出多个检测到的2D图像帧(例如，F1、F2、...F(n-1)、Fn)在图像传感器的感测区域的整个宽度上的分布的示意图。如图1(b)所示，在单个扫描周期之后，图像传感器180可以检测到多个编码的2D图像帧(例如，F1、F2、...F(n-1)、Fn)。多个检测到的编码的2D图像帧可以彼此部分地重叠，并且任何两个相邻的检测到的2D图像帧，例如图1(b)中的F1和F2、F(n-1)和Fn，可以在空间上移位例如等同于图像传感器180的单个像素宽度的帧分离长度p。
为了将多个单独的2D图像帧顺序地投影到图像传感器180上，旋转镜170可以借助于例如步进电机或压电电机逐步旋转。在镜旋转的任何时刻，编码的2D图像帧可以在特定位置处投影到图像传感器180上。因此，即使当旋转镜从当前旋转步骤移动到下一旋转步骤时，仍可以将多个编码图像帧投影到图像传感器180上。旋转镜170可被配置成扫掠旋转角度范围，并且可以从默认位置的一侧旋转到相对侧。以此方式，图像传感器180上的第一投影的2D图像帧的位置可以对应于旋转角度范围的一个极端，并且最后一个投影的2D图像帧的位置可以对应于相同旋转角度范围的另一个极端。
任何两个相邻的检测到的2D图像帧之间的时间延迟可以是固定的，并且可以取决于旋转镜170的(固定的)旋转速度、旋转镜170与图像传感器180之间的正交距离，并且p是检测器中每个像素的宽度(相邻帧之间的距离)，这些由方程[2]相关。因此，对应于单个图像采集的总曝光时间的单个扫描周期可以是两个相邻像素之间的时间延迟与图像传感器180的总像素数的乘积。因此，在通过单个图像采集获得更高数量的图像帧的情况下，可以优选使用具有更高数量像素的图像传感器180。在一些实施例中，图像传感器180可以是CMOS传感器。然而，在其它实施例中，图像传感器180可以是CCD传感器。在一些不同的实施例中，旋转镜170的旋转速度可以不是恒定的，因此任何两个相邻2D图像帧之间的时间延迟可以是可变的。在每个图像采集之后，由图像传感器180检测到的多个单独编码的、时间上分离的和空间上部分重叠的2D图像帧可以被发送到控制单元进行数据重构。
图3(a)是描绘根据实施例的所提出的成像设备的第二配置的示意图。图3(b)是示出多个检测到的2D图像帧(例如，F1、F2、...F(n-1)、Fn)在图像传感器的感测区域的整个宽度上的分布的示意图。与图1的实施例100相比，此第二配置中的主要区别可为使用反射光学编码器350，而不是第一配置中的透射光学编码器。因此，在图3的实施例300中保留实施例100中使用的大部分附图标记。与实施例100类似，来自视场中的动态场景或对象110的成像形成光可通过物镜130收集，随后由第一管透镜140聚焦到反射光学编码器350上。聚焦的图像形成光可以在反射光学编码器350的顶表面上形成中间2D原始图像。在一些实施例中，反射光学编码器350的掩模图案可以是2D二元图案，其可以包括多个“ON”像素和多个“OFF”像素。“ON”像素可以对应于透射光学编码器的透明像素，而“OFF”像素可以对应于透射编码器的不透明像素。这些“ON”像素可以将2D原始图像的一些部分朝向图像传感器180反射。相反，“OFF”像素可以吸收或偏转2D原始图像中的其它部分，例如，朝向射束块。因此，从反射光学编码器350反射出来的2D图像可以用掩模图案编码。掩模图案的面积可以足够大于投影在反射光学编码器350的表面上的2D原始图像的面积。反射光学编码器350可以是具有固定掩模图案的简单镜型反射掩模或允许可变掩模图案的DMD。
图4(a)示意性地示出聚焦的2D原始图像投影到反射光学编码器的表面上。由于例如以α的入射角的成角度投影，反射光学编码器350上的投影的2D图像420可以沿着第一轴线拉长，而沿着第二轴线不受影响。如图4(b)所示，投影的2D图像420的拉长大小412'和入射原始图像410的原始大小412可以相关为412′＝412/Sin(a)。在从反射光学编码器350反射出来之后，编码图像430可以具有与原始图像410基本上相同的纵横比。应注意，在图4中，假设图像410、420和430所在区中的图像形成光的波前保持基本上平坦。
与第一配置的实施例类似，从反射光学编码器350反射出来的编码的2D图像可以由第二管透镜160重新成像到旋转镜RM上，所述旋转镜随后将编码的2D图像反射到图像传感器180。旋转镜170的工作原理与图1的实施例中描述的相同。旋转镜170的扫掠运动可以在图像传感器180的感测区域的整个宽度(例如，沿着Y轴)上顺序地引导或投影多个2D编码图像帧。由图像传感器180检测到的任何两个相邻的2D编码图像帧可以移位单个像素宽度。同样，类似于图1的实施例100，在图像传感器SEN上接收到的编码的2D图像可以具有与图像传感器SEN的像素大小基本上相同的像素大小。然而，与其中透射光学编码器(150)的掩模图案的像素大小可由图像传感器180的像素大小连同置于其间的光学透镜系统的放大系数确定的透射配置相比，在反射配置中使用的反射光学编码器350的掩模图案的像素大小的确定可以另外考虑原始图像的倾斜入射。
应注意，前述实施例配置不是限制性的。成像设备的许多其它配置同样适用。在一些实施例中，物镜120可以用望远镜组件代替，所述望远镜组件允许对大的和远的对象或动态场景进行成像，而不是像实施例100、300中那样对近的和微观的对象110进行成像。在不同的实施例中，可能不需要第一管透镜L2将对象的原始图像聚焦到光学编码器150、350上。换句话说，光学编码器150、350可以足够大以覆盖未聚焦的原始图像。在其它实施例中，管透镜140、160中的一个或两个可以用一个或多个曲面镜(例如，凹面球面镜)代替，使得成像设备的尺寸可以进一步减小，且因此成像设备可以更紧凑。在典型实施例中，旋转镜170可以是平面镜或平坦镜。在一些不同的实施例中，旋转镜170可以是曲面镜，例如球面凹面镜。
在一些其它实施例中，不同于在前述实施例的情况下依赖于使用自然光来照射对象或动态场景110，可以使用外部光源来照射对象或动态场景110。在照射之后，可以收集通过对象或动态场景110透射和/或从所述对象或动态场景反射出来的光以形成原始图像，所述原始图像随后将由光学编码器150、350编码并由旋转镜170投影到图像传感器180上。替代地或另外，可以收集从对象或动态景场110发射的荧光以形成原始图像。以此方式，可以获得能够对快速移动的对象成像并随后展示对象的结构和组成信息的多模态高速成像设备。
图5示出根据实施例的成像设备的操作的流程图。在此实施例中，成像设备的操作可以包括例如以下四个主要步骤：
在步骤510，可以选择掩模图案。在物理掩模被用作光学编码器150、350的情况下，具有一个或多个合适掩模图案的物理掩模可以置于成像设备中。替代地，在光学编码器150、350使用SLM或DMD的情况下，可以(数字)生成一个或多个掩模图案，并以顺序方式将其应用于光学编码器150、350。在一些实施例中，合适的掩模图案的选择和随后应用可以由控制单元完全自动地执行。
在步骤520，可以校准具有所选择的一个或多个掩模图案的成像设备。在一些实施例中，在对动态场景成像之前，可以在系统上应用校准过程。
第一步骤可以是捕获在图像传感器180上成像/检测到的掩模图案的单个图像帧。应注意，在此第一步骤中，旋转镜170是静止的且因此不旋转。在重构算法中使用来自图像传感器180的检测到的掩模图案而不是设计的掩模图案是有利的，因为已经发现，设计的掩模图案(略微)不同于在图像传感器180上检测到的图案。这种小的差异可能是由于对象分辨率(掩模分辨率)充分接近成像设备的最低分辨率的事实，这导致轻微的光衍射以及因此像素之间的干扰。此外，在使用具有印刷掩模图案的物理掩模的情况下，由于掩模制造过程中的印刷精度不足，单独的图案像素可能具有圆形形状而不是方形块。这导致被称为“像素溢出”的制造术语，即通过达到打印机的分辨率，每个像素的边缘将与相邻像素的边缘混合，且因此入射到像素上的一部分光也可能进入相邻像素。
图6将(a)示例设计的掩模图案与(a)图像上对应检测到的图案进行比较。如图6所示，光失真和像素溢出的影响导致图像传感器上的灰度(或模糊)掩模图案。因此，期望在重构算法中以及对于以上成本函数(即，方程[1])和以下正向模型(即，方程[3])中的A∈RMNF ×MNF使用检测到的或成像的掩模图案。
校准的第二步骤可以是提取旋转镜170的运动轮廓。由例如电动机使旋转镜170旋转可能与各种类型的不准确度相关联，例如齿隙误差、高速振动、缺步、光学对准不良以及安装在电动机上的镜座中的设计缺陷。可以在掩模图案的外围区域中提供一个或多个校准块。校准块可以包括一个或多个像素，这些像素可以朝向图像传感器180透射或反射图像形成光的一部分。当编码的2D图像帧扫过图像传感器180时，校准块生成其运动的迹线，所述迹线可用于评估和校准旋转镜170的旋转性能。然后从捕获的图像数据中提取此类迹线，并用于定义压缩图像包中每个检测到的2D图像帧的确切位置。
如图6中的示例图像所示，2×2(两个像素乘两个像素)校准块用作主要校准块。然而，对于在图像传感器180上产生具有较低强度的图像的场景，检测所有像素存在于线中的全校准线可能是具有挑战性的任务。因此，使用具有更高光通量的更大的块，例如图6中的4×4(四个像素乘四个像素)校准块，用于帮助主要块定义帧的位置。然而，应注意，所有像素存在于线中的单个校准线对于图像校准和随后的图像重构目的是足够的。图7示出对包含由于镜扫掠而生成的校准块的迹线的静态场景进行单个图像采集或扫描后的示例压缩和编码图像。在此示例中，在掩模图案的外围区域中提供单个校准块。这里，可以使用坎尼边缘检测算法来识别扫描数据的选定段中的边界，并检测每个帧相对于图像传感器上的第一(参考)帧的竖直移动。所提取的运动轮廓在视频重构算法的前向模型中被标记为矩阵C，这将在下面描述。
在步骤530，可以在单个图像采集(或单个曝光)期间捕获在图像传感器180的感测区域的整个宽度上均匀分布的多个单独编码的、时间上分离的和空间上部分重叠的2D图像帧。任何两个相邻的检测到的图像帧可以空间上移位单个像素宽度。应注意，在单个曝光中动态场景的时间扫描成功地消除了传统高速成像系统(例如Brandaris 128)对图像传感器的数字化和读出时间的限制。
在步骤540，可以随后将多个压缩和编码的2D图像帧重构为包括动态场景的多个解码或原始图像的视频。从单独编码的和空间上部分重叠的图像重构捕获场景的图像帧是不适定的问题，因为没有唯一的解决方案。为了解决这个问题，可以通过考虑系统中部件的性质来建立数据采集模型。正向模型的数学表示可以公式化为：
y＝TCAx+n， [3]
其中y∈RMN+(F-1)M×1是由图像传感器捕获的编码图像帧的包，T∈RMN+(F-1)M×MNF是移位和重叠的线性算子，C∈RMNF×MNF是从校准步骤520以对角矩阵的形式获得的镜运动轮廓，A∈RMNF×MNF表示将编码图像帧表示为对角矩阵，x∈RMNF×1是原始图像帧，并且n是加性零均值高斯噪声。如上文所描述，y表示在图像传感器SEN上捕获的空间压缩的图像数据，所述图像数据包含单独编码和时间分离的帧的聚合，其中每个帧相对于其相邻帧沿着扫掠方向以单个像素移位定位，M和N分别是每个帧中相关联的行和列的数量。移位和重叠操作由线性算子T处理，并基于维数为I∈RMN×MN的F个单位矩阵建构。
从方程[3]中的y估计x被称为不适定线性逆问题(LIP)，即此问题有不止一个可行的解决方案。方程[3]中称为TCA的公式化感测矩阵能够对观测到的时间分离和空间部分重叠的数据实现极高的压缩。然而，应注意，这种类型的压缩不满足一般压缩感测框架中使用的约束等距性(RIP)。因此，数据重构可能遭受被称为有损恢复的不可避免的假象。许多重构方法，例如基于字典学习、贝叶斯、高斯混合模型和最大似然，已经证明了它们在求解此类等式方面的能力。其中，这里采用了交替方向乘子法(ADMM)方法。ADMM方法将变量分裂应用于成本函数，例如方程[1]，并相应地求解成形的拉格朗日方程。此方法将方程[3]转换为最小化问题，并通过经由重复计算信号中的全变差(TV)而最小化能量函数来求解方程。
与其它正则化相比，使用TV的优点之一是边缘保持性质，其防止边缘特征的硬平滑。这一关键特性避免了空间信息与背景特征的合并，从而防止了关键信息的丢失，例如每像素的边界和强度幅度，这些信息对于高通量细胞筛选等应用至关重要，其中细胞计数和单个细胞的确切形状是分析中的定义因素。
此外，尽管并非所有高速成像应用都需要对数据进行加密，但仍有一些领域，例如医疗和军事应用，需要高效快速的数据加密方法。传统的数据编码技术要求在经过加密阶段之前将所有原始数据存储在可访问存储单元中。这一过程缺陷使机密数据暴露于可能的威胁。在上述实施例中采用的编码和压缩功能的联合操作实现了实时数据加密并消除了数据的潜在暴露。这一关键特征有助于对高度敏感数据进行成像，例如对患者的医学测试样本进行筛选或对军用新开发的部件进行测试。因此，任何其它工作人员都可以安全地进行图像扫描，并且所获得的压缩和编码图像数据将交还给授权的附属机构进行进一步处理，例如进行数据重构、数据分析和诊断。
应注意，基于ADMM-TV的重构算法可以进一步扩展到色域，其中分离图像传感器的红色、绿色和蓝色(RGB)通道，并且将重构算法单独地应用于每个颜色通道。在数据重构之后，然后将三个颜色通道中的对应图像合并在一起以形成单个图像。以这种方式，可以实现图像帧的彩色重构。重构各个通道的过程彼此解耦，因此可以以并行方式确定它们。因此，在一些实施例中，在步骤540，彩色重构算法可用于将在执行步骤530之后获得的图像数据重构为多个彩色图像。
应注意，上述操作步骤，即图5中的510至540，只是示例。操作成像设备的其它不同方式同样适用，只要它们遵循成像设备的基本操作原理即可。成像设备操作的一个或多个步骤可以由控制单元自动执行。在一些实施例中，控制单元可以是计算机设备，使得操作步骤可以体现于用于在合适计算机设备上运行的计算机可读指令的形式，或者体现于计算机系统的形式，所述计算机系统至少包括用于存储体现本文描述的操作概念的指令的存储装置和用于执行指令的处理单元。例如，前述视频重构算法可以体现为存储在计算机存储装置中的计算机程序，所述计算机存储装置可以是计算机存储器和/或磁盘驱动器、光盘驱动器或类似装置。当接收到执行视频重构的命令时，处理单元可以遵循存储在计算机存储器中的相应指令并以自动方式执行所指示的任务。计算机系统还可以包括显示单元和一个或多个输入/输出装置。
应注意，以上描述仅用于说明，并且在不脱离本发明的范围的情况下，可以设想其它实施例和变型。

Claims (28)

1.一种成像设备100、300，其包括：
光学编码器150、350，其被配置成通过用至少一个掩模图案对对象110的图像进行编码来提供编码图像；
旋转镜170，其被配置成旋转并且接收且随后投影所述编码图像；以及
图像传感器180，其被配置成接收由所述旋转镜170投影的所述编码图像；
其中所述旋转镜170可用于单方向旋转某一旋转角度，使得在任何旋转时刻由所述旋转镜170单独投影并且由于所述旋转镜170的旋转而在空间上移位的多个所述编码图像扫过所述图像传感器180以进行单个图像采集。
2.根据权利要求1所述的成像设备，其中所述多个所述投影编码图像被所述图像传感器检测为多个检测到的编码图像，并且另外，其中所述多个检测到的编码图像在空间上移位所述图像传感器的单个像素大小。
3.根据权利要求2所述的成像设备，其中所述多个所述投影编码图像覆盖所述图像传感器的整个感测区域。
4.根据任一前述权利要求所述的成像设备，其中所述多个所述投影编码图像中的每一个包括基本上所述图像传感器的像素大小的像素大小。
5.根据任一前述权利要求所述的成像设备，其中所述光学编码器包括具有至少一个固定掩模图案的物理掩模。
6.根据权利要求1至4中任一项所述的成像设备，其中所述光学编码器包括透射空间光调制器(SLM)或反射SLM。
7.根据权利要求6所述的成像设备，其中所述光学编码器包括至少一个可变掩模图案，并且另外，其中所述至少一个可变掩模图案被布置成在所述成像设备的操作期间是可调节的。
8.根据任一前述权利要求所述的成像设备，其中所述至少一个掩模图案包括一个或多个二元图案。
9.根据任一前述权利要求所述的成像设备，还包括第一光学元件160，所述第一光学元件被配置成将所述编码图像传送到所述旋转镜上。
10.根据权利要求9所述的成像设备，其中所述第一光学元件被配置成将所述编码图像聚焦到所述旋转镜上，并且优选地包括光学透镜或曲面镜。
11.根据任一前述权利要求所述的成像设备，还包括第二光学元件140，所述第二光学元件被配置成在所述光学编码器上形成所述对象的所述图像。
12.根据权利要求11所述的成像设备，其中所述第二光学元件包括选自以下范围中的任一者：光学透镜、曲面镜、光学组件。
13.根据任一前述权利要求所述的成像设备，其中所述对象的所述图像是用自然光形成的。
14.根据权利要求1至12中任一项所述的成像设备，其中所述对象的所述图像是在用外部光源照射所述对象之后形成的。
15.根据权利要求14所述的成像设备，其中所述对象的所述图像是用从由所述外部光源激发的所述对象发射的荧光形成的。
16.根据任一前述权利要求所述的成像设备，所述成像设备还包括可用于执行一个或多个操作任务的控制单元。
17.根据权利要求16所述的成像设备，其中所述控制单元可用于将至少一个掩模图案施加到所述光学编码器。
18.根据权利要求16或17中任一项所述的成像设备，其中所述控制单元可用于用所述至少一个掩模图案校准所述成像设备。
19.根据权利要求16至18中任一项所述的成像设备，其中所述控制单元可用于执行一个或多个图像采集，以捕获所述多个所述检测到的编码图像。
20.根据权利要求19所述的成像设备，其中所述控制单元可用于命令所述旋转镜单向旋转所述旋转角度。
21.根据权利要求16至20中任一项所述的成像设备，其中所述控制单元可用于执行数据重构，以将所述多个检测到的编码图像重构为所述对象的原始图像。
22.根据权利要求21所述的成像设备，其中所述控制单元可用于运行数据重构算法，所述数据重构算法基于交替方向乘子法与全变差正则化矩阵(ADMM-TV)法。
23.一种高速成像方法，其包括：
通过用至少一个掩模图案对对象110的图像进行编码来生成编码图像；
通过被配置成旋转的旋转镜170接收且随后投影所述编码图像；以及
通过图像传感器180接收从所述旋转镜投影的所述编码图像；
其中通过使所述旋转镜170单方向旋转某一旋转角度，将在任何旋转时刻由所述旋转镜170单独投影并且由于所述旋转镜170的旋转而在空间上移位的多个所述编码图像扫过所述图像传感器180以进行单个图像采集。
24.根据权利要求23所述的高速成像方法，还包括通过检测所述多个所述投影编码图像来获得多个检测到的编码图像，其中所述多个检测到的编码图像在空间上移位所述图像传感器的单个像素大小。
25.根据权利要求23或24中任一项所述的高速成像方法，还包括：
通过使用一个或多个校准块来生成一个或多个校准迹线；
通过使用所述一个或多个校准迹线来校正所述图像传感器上的所述编码图像的位置误差。
26.根据权利要求24或25中任一项所述的高速成像方法，还包括：
将用所述单个图像采集获得的所述多个检测到的编码图像重构为所述对象的原始图像。
27.根据权利要求26所述的高速成像方法，其中所述多个所述编码图像的所述重构是通过数据重构算法进行的，所述数据重构算法基于交替方向乘子法与全变差正则化矩阵(ADMM-TV)法。
28.根据权利要求27所述的高速成像方法，还包括：
将所述多个检测到的编码图像分成分别对应于所述图像传感器的红色、绿色和蓝色通道的三组单色图像数据，
通过使用所述数据重构算法将所述三组单色图像数据中的每一组重构成一组单色原始图像，从而获得三组单色原始图像；以及
通过合并所述三组单色原始图像的对应图像来生成一组彩色原始图像。
CN202180039883.5A 2020-06-05 2021-06-03 高速成像设备和成像方法 Pending CN115812178A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB2008485.1A GB2595852A (en) 2020-06-05 2020-06-05 High-speed imaging apparatus and imaging method
GB2008485.1 2020-06-05
PCT/GB2021/051368 WO2021245416A1 (en) 2020-06-05 2021-06-03 High-speed imaging apparatus and imaging method

Publications (1)

Publication Number Publication Date
CN115812178A true CN115812178A (zh) 2023-03-17

Family

ID=71615998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180039883.5A Pending CN115812178A (zh) 2020-06-05 2021-06-03 高速成像设备和成像方法

Country Status (4)

Country Link
US (1) US20230232124A1 (zh)
CN (1) CN115812178A (zh)
GB (1) GB2595852A (zh)
WO (1) WO2021245416A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2822721A (en) * 1954-02-02 1958-02-11 Theodore C Parker Shutter attachment for high speed cameras
US2853918A (en) * 1956-02-16 1958-09-30 Gen Electric High speed photographic device
US3122052A (en) 1960-08-22 1964-02-25 Beckman & Whitley Inc Rotating mirror camera

Also Published As

Publication number Publication date
GB202008485D0 (en) 2020-07-22
GB2595852A (en) 2021-12-15
US20230232124A1 (en) 2023-07-20
WO2021245416A1 (en) 2021-12-09

Similar Documents

Publication Publication Date Title
JP4806630B2 (ja) 多軸統合を用いて三次元対象物の光学的画像データを取得する方法
US20090295963A1 (en) Method and apparatus and computer program product for collecting digital image data from microscope media-based specimens
US7456377B2 (en) System and method for creating magnified images of a microscope slide
US10353191B2 (en) Circular scanning technique for large area inspection
CN102687056B (zh) 用于显微镜检查的传感器
US10623627B2 (en) System for generating a synthetic 2D image with an enhanced depth of field of a biological sample
US20100314533A1 (en) Scanning microscope and method of imaging a sample
US20110134254A1 (en) Measuring and correcting lens distortion in a multispot scanning device
JP2012138891A (ja) 撮像装置
US6393141B1 (en) Apparatus for surface image sensing and surface inspection of three-dimensional structures
KR960008330A (ko) 화질 검사 장치 및 그 화상 합성 방법
US20210149170A1 (en) Method and apparatus for z-stack acquisition for microscopic slide scanner
CN111527438B (zh) 冲击重新扫描系统
JP5508214B2 (ja) 顕微鏡スライドの拡大イメージを作成するシステム及び方法
JP4714674B2 (ja) 光補正要素を有した顕微鏡画像処理システム
US20230232124A1 (en) High-speed imaging apparatus and imaging method
CN111279242B (zh) 双处理器图像处理
US20240007761A1 (en) Light field microscope-based image acquisition method and apparatus
CN115052077B (zh) 一种扫描装置及方法
CN113933984B (zh) 用于生成由多个显微子图像合成的图像的方法和显微镜
US20220373777A1 (en) Subpixel line scanning
Wetzel et al. Design of a high-speed slide imaging system for pathology
JPS6276372A (ja) 画像入力装置
JPH01278182A (ja) イメージセンサカメラ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination