CN103179331B - 一种快速成像的扫描采样和图像处理方法 - Google Patents

Abstract

本发明公开了一种快速成像的扫描采样和图像处理方法。它采用sCMOS相机作为成像工具，使sCMOS相机工作于subarray（或ROI）模式，包括以下步骤：利用移动平台使成像物体在垂直于sCMOS相机采样方向上以设定的速度连续平移，使用sCMOS相机对物体进行扫描成像，并输出采样帧，最后将所得到的每帧图像进行移位叠加处理，得到成像图。本发明利用了subarray（或ROI）模式下sCMOS相机的高速采样特点，并对sCMOS相机的采样帧进行移位叠加处理，生成的图像具有高分辨率、高信噪比以及低畸变的优点，特别的适用于对大尺寸物体进行快速成像。

Description

一种快速成像的扫描采样和图像处理方法

技术领域

本发明涉及光扫描技术领域，具体涉及使用科研级CMOS、即sCMOS进行快速成像的扫描采样和图像处理方法。

背景技术

随着现代工业和科技的发展，对于快速成像的需求愈加强烈，尤其是对于大体积或者大面积的物体成像。例如在生物学研究中，了解生物组织器官的结构对于掌握其功能有着很大的促进作用，并对于各种功能疾病的诊断提供强有力的科学根据。但是由于组织器官（例如大脑）尺寸较大，成像范围有限，需要多次区域成像才能获取到完整的一个平面的组织结构数据；同时因为生物体具有特异性，需要对大量样本进行成像研究来得到统计性的结果，所以在对生物大样本进行结构成像时，需要提高数据获取通量，缩短成像时间。

传统点扫描成像技术是通过控制扫描器件偏转，在物体上进行逐点扫描，串行的获取数据，成像速度较慢；传统线扫描成像是控制扫描器件在样本表面进行线扫描，在对大样本进行成像时，扫描完一个小区域后移动样本或者移动扫描探测装置对下一个区域扫描，图像处理时对多个小区域的成像拼接成整个样本的图，对图像配准要求较高。而控制物体连续移动，使用线探测器对物体进行成像，可一次性的获取一个条带的物体信息，只需要次数不多的图像配准拼接就可以得到完整的物体图像，成像速度较快。

但在提高成像速度，缩短成像时间的基础上，如何得到较好的图像质量是一个关键问题。尤其很多情况下，需要利用荧光标记技术对感兴趣的功能结构进行特异性的标记，以便将观察研究的目标与其他结构区别开来。而荧光成像属于弱光成像，想要得到较为好的图像对比度和信噪比，首先在探测器的选择方面是需要有所考虑的，高灵敏度、高量子效率和低读出噪声的探测器是首要选择。科研级CMOS（sCMOS）是近两年来基于传统CMOS成像器件上发展出来的新一代的探测成像器件。其继承了传统CMOS高速、低功耗等优点，并同时克服了芯片高暗电流、高读出噪声、低填充因数和一致性差等缺点，具有高分辨率、高量子效率、高速全帧幅以及低噪声、动态范围大等特点，尤其适合微弱信号探测。目前所有的主流成像器件（CCD、CMOS、EMCCD等）由于芯片技术的限制，都不能同时满足上述sCMOS的技术特点，所以在弱光成像技术领域中，采用sCMOS代替其他探测器件将会成为技术发展的一种趋势。

尤其是当sCMOS相机工作在subarray（或感兴趣区域采样ROI）模式时，sCMOS相机只是启用sCMOS阵列中的某几行进行曝光成像，这种模式下，sCMOS相机的读出速度快，即扫描速度快。因此，这种模式适合于大样本快速运动扫描采样成像。在这种应用情形下，采用subarray（或ROI）模式，对同步移动样品进行N行一帧的扫描，然后将若干幅sCMOS阵列扫描采样帧直接按照扫描时间顺序逐一拼接后，生成整个样品图像。但是，由于扫描成像速度快，曝光时间短，在相同的光功率下，仅仅采用sCMOS相机的subarray（或ROI）工作模式进行采样成像，得到的整个样品图像信号强度弱、对比度低。同时采样帧包括的像素行数N值越大，采样分辨率越低，导致图像细节畸变越严重。

因此，需要探索新的成像和处理方法，实现对于物体诸如微弱荧光大样品的快速成像，以便同时获得高分辨率和高信噪比的图像。

发明内容

本发明所要解决的技术问题是提供一种快速成像的扫描采样和图像处理方法，以获得高分辨率和高信噪比的图像。

为解决上述技术问题，本发明提供了一种快速成像的扫描采样和图像处理方法，涉及图像处理装置，其特征在于，采用sCMOS相机作为成像工具，使sCMOS相机工作于subarray或ROI模式，包括以下步骤：

步骤一、开启所述sCMOS相机；

步骤二、控制成像物体在垂直于sCMOS相机采样方向上连续平移，样品的平移速度为每个采样周期平移n行像素对应的宽度，n为整数，且1≤n＜N，N为subarray或ROI模式下sCMOS相机的单个采样帧的像素行数；

步骤三、所述sCMOS相机向所述图像处理装置输出采样帧，所述图像处理装置顺序存储每个采样帧；

步骤四、完成成像物体目标区域扫描后，将所有采样帧按采样顺序，以所述n行像素的宽度值为步进值，逐一移位叠加处理，即得到高分辨率、高信噪比图像。

最优选的，所述n等于1。此种情形下，相当于sCMOS相机的下一采样帧相对上一采样帧的位移为一行像素的宽度距离。

本发明的有益效果：使用最新推出的高灵敏度、高量子效率、读出噪声小、读出速度快的适用于弱光探测的sCMOS成像器件，使其工作在subarray（或ROI）模式，发挥sCMOS高速采样的特点。同时，控制成像物体相对sCMOS的移动速度，对得到的采样帧进行图像拼接和移位叠加处理，快速生成的图像同时具有高分辨率、高信噪比以及低畸变的优点。

附图说明

下面结合附图和具体实施方式对本发明的技术方案作进一步具体说明。

图1为本发明利用sCMOS对基于移动平台的物体快速扫描采样成像的系统示意图。

图2为利用典型的sCMOS成像方法进行连续运动扫描采样时的各连续帧示意图。

图3为典型的sCMOS连续运动扫描采样方法中sCMOS一个行像素在前后两个曝光时间的采样演示示意图。

图4为本发明的快速成像的扫描采样和图像处理方法的演示示意图。

图5为本发明的sCMOS连续运动扫描采样方法中sCMOS一个行像素在前后连续八个曝光时间的采样演示示意图。

图6为本发明将所有的帧，以n=1行像素的宽度为步进值，顺序进行移位叠加处理的演示图。

图7A为对样本为200nm荧光小球使用典型的sCMOS成像方法进行快速扫描成像的结果图。图7B为图7A的分析曲线图。

图8A为对样本为200nm荧光小球使用本发明方法进行快速扫描成像的结果图。图8B为图8A的分析曲线图。

具体实施方式

在本具体实施方式中，针对新探测器件sCMOS Flash2.8的高速成像工作模式，最先提出基于图像移位叠加的扫描采样和图像处理方法，用于解决基于平台移动的成像物体快速连续扫描采样成像中信号强度弱和分辨率低的问题。

如图1所示的扫描采样系统示意图，成像物体放置在平移台上。扫描采样过程中，照明光束和探测器sCMOS不移动，平移台移动，其中移动的速度与探测器帧率和采样方式相关。图中1为sCMOS相机，2为透镜，4为半反半透镜，5为物镜，6为样本所放置的平台，7为光源。将成像物体放置在移动平台上，然后使平台在垂直于sCMOS相机的方向上进行运动，sCMOS相机对照明区域内物体进行快速扫描成像。在图1中加入3（1）、3（2）滤光片组后可以对荧光物体进行成像。

图2以sCMOS Flash2.8为例，描述了典型的利用sCMOS相机在subarray（或ROI）模式下、N=8时进行扫描采样的各连续帧示意图，N为subarray或ROI模式下sCMOS相机的单个采样帧的像素行数。日本滨松公司的在本具体实施例中的sCMOS Flash2.8像素尺寸为3.63um×3.63um，工作在subarray（或ROI）模式下时，单个采样帧包括N=8行1920列像素，帧率为1270帧/秒，即曝光时间只有1/帧率≈787us，在这种曝光时间下对荧光物体成像收集到的信号较小，图像对比度较差。且在对物体进行空间采样时，下一帧相对上一帧移动了8行像素宽度的位移。图2中9为sCMOS芯片中进行工作的8行像素，斜着放置的H字母代表被成像样品，样品从下到上进行移动，方向如箭头8所示。10、11、12分别反应了物体连续运动的在三个不同位置的采样帧区域，使用8行像素对物体进行采样。

如图3所示，由于每一行像素在曝光时间内是对物体空间位置中8行像素大小对应的区域进行信号的获取，所以对每帧顺序拼接成整幅图像时，在运动方向上分辨率较低，无法对尺寸小于8行像素大小所对应的物体细节或者细小的物体进行不畸变的成像。在图3中9表示sCMOS工作的8行像素，在一次曝光时间内，如14、15所示物体运动了8行像素对应的空间距离，以第一行像素13为例是对8行像素对应的物体空间信息进行了采集，物体上用白色虚线框表示的8行像素大小对应的区域。所以得到的图像有模糊现象，且由于曝光时间较短，信号较弱，对比度不高。

如图4所示，同样采用上述sCMOS，使sCMOS工作在subarray或ROI模式。采用本发明的方法，结合图4、图5、图6所示，包括以下步骤：

步骤一、开启sCMOS对样品进行扫描采样，并输出采样帧到图像处理装置（图1中未示出）。如图4所示，9表示sCMOS工作的8行像素区域，样品斜H向上进行运动，16、17、18分别反应了物体运动若干个空间位置时的采样帧区域；

步骤二、控制样品在垂直于sCMOS相机采样方向上平移，物体的平移速度为每个采样周期平移n=1行像素的宽度，即，使sCMOS相机的下一采样帧相对上一采样帧对应样品的空间位置移动1行像素宽度的位移。如图4中，17相对16在物体空间移动了1行像素所对应的距离。在图5中，9表示sCMOS工作的8行像素。以第一行像素为例，在一个曝光时间内采集了用白色虚线框表示的样品上1行像素大小对应的区域。图5中19、20、21分别对应物体的运动位置，20相对19运动了一个像素对应的距离，21相对19运动了8行像素对应的距离，如图中物体上白色虚线框从19运动到21过程中，被曝光了8次，样品的每一个部位都被曝光8次。

步骤三、保持物体匀速平移，同时保持sCMOS相机的连续扫描采样状态，直到扫描完整个物体目标区域。

步骤四、将所有的采样帧按扫描时间先后顺序，以1行像素宽度作为步进位移，利用图像处理装置，进行逐一移位叠加处理。具体操作是，按顺序将得到的每一帧幅图像对于前一帧幅图像向后移动一像素行，即第二帧幅图像的第一像素行对准第一帧幅图像的第二像素行，第三帧幅图像的第一像素行对准第二帧幅图像的第二像素行……，以这种方式将所有的图叠加在一起，即得到最终物体的图像。

如图6所示，每帧包括同时曝光的8行像素，而每次曝光区域仅仅平移了1行像素的距离，因此，移位1行像素叠加处理的效果相当于，除了首、尾采样帧对应的物体部位外，其余部位都被进行了8次的曝光，通过叠加大大增强了信号的强度；且采用1行像素的位移采样方式保证了图像的高分辨率。最终图像具有高分辨率、高信噪比以及低畸变的优点。虽然图6中每次曝光得到的图像信号是比较微弱的，如斜H的上边尖角，但是通过移位叠加处理后，图像信号得到加强。图6中22为对斜H进行扫描采样的每一帧图像，黑色方框表示8行成像区域；将22中每一幅图进行移位叠加，如23所示，物体的每一个空间位置都被曝光了8次，所以将曝光的相同位置叠加起来得到的图像信号被加强，如24所示。

图7和图8的实验结果也证实了这种方法的正确性和可行性。对于物体为200nm直径大小的荧光小球进行快速扫描成像，图7A是典型的sCMOS采集方法，没有使用本发明所述的扫描采集和成像方法而得到的结果图，图8A是采用本发明方法进行扫描成像得到的结果图。将A图中位置相同的小球放大对比可以看出采用本发明得到的小球成像图信号强度大，且小球均匀没有畸变。图7B、图8B分别是图7A、图8A中放大后小球在实线和虚线上的强度分布曲线。虚线方向为小球的运动方向，在运动方向上由图7B图可以看出，没有使用本发明得到的图像小球产生了畸变，而本发明得到的小球均匀没有畸变，图8B所示。对15个小球进行统计计算小球的半高全宽大小得到图7A中小球为0.79um（±0.064um）×0.47um（±0.032um），图8A中小球为0.50um（±0.047um）×0.48um（±0.044um）。图7A中小球在运动方向相对于静止方向拉伸了68%，畸变较为严重。通过对200nm小球成像的结果对比可以看出本发明得到的图像分辨率高。信号强度大，所以在对物体进行快速扫描成像时，将会得到信号强，且分辨率高的图像。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种快速成像的扫描采样和图像处理方法，其特征在于，采用sCMOS相机作为成像工具，使sCMOS相机工作于subarray或ROI模式，包括以下步骤：

步骤一、开启所述sCMOS相机；

步骤二、控制成像物体在垂直于sCMOS相机采样方向上连续平移，物体的平移速度为平移n行像素的宽度大小除以采样周期，n为整数，且1≤n＜N，N为subarray或ROI模式下sCMOS相机的单个采样帧的像素行数；

步骤三、所述sCMOS相机向图像处理装置输出采样帧，所述图像处理装置顺序存储每个采样帧；

步骤四、完成成像物体目标区域扫描后，将所有采样帧按采样顺序，以所述n等于1行像素的宽度值为步进值，逐一移位叠加处理，即得到高分辨率、高信噪比图像。