CN113031242B - 短曝光高速面扫刚性拼接显微成像系统和方法 - Google Patents

Abstract

本发明提供了一种短曝光高速面扫刚性拼接显微成像系统和方法，包括联合消畸变成像系统、同步控制推扫系统以及图像刚性拼接算法；所述联合消畸变成像系统包括物镜、成像管镜和图像处理算法模块，采用物镜和成像管镜联合消畸变光学设计，以及图像处理算法模块，实现显微图像边缘畸变小于预设像素值；所述同步控制推扫系统包括载物台、对焦模块、全局快门面阵相机、LED模块以及同步触发控制电路；所述图像刚性拼接算法在高速推扫过程中执行在线拼接操作。本发明实现了不同倍率下高速无畸变扫描拼接，可广泛应用于生物、医学等显微扫描领域。

Description

短曝光高速面扫刚性拼接显微成像系统和方法

技术领域

本发明涉及显微扫描、图像拼接和精密控制技术领域，具体地，涉及一种短曝光高速面扫刚性拼接显微成像系统和方法。

背景技术

光学显微镜是生物学家从事研究工作、探寻生命奥秘必不可少的利器。人们已经借助光学显微镜的目镜对玻片上细胞内部错综复杂的结构和形态进行了解和分析。近年来，数字扫描显微镜可对整张载玻片全信息快速扫描成像，使传统实物玻片变成全新一代数字化虚拟切片，可实现玻片科学研究、荧光保存、数字存储、临床教学、远程交流、集体阅片等功能用途。

显微成像光路系统包括物镜和成像管镜，物镜和成像管镜分属不同厂家，即使是同一个厂家，很难考虑到物镜和成像管镜的相互配合，消除光学成像的畸变影响；且显微镜拍摄得到的图像往往在图像边缘有较大畸变，影响拼接后的成像质量。

现有的数字扫描显微镜采用顿进式扫描的方式，载物台移动到某个位置后静止，然后进行拍摄，载物台再移动到下个视野位置静止后，再拍摄，依次进行，完成扫描操作。特别的，高倍物镜下单个视野范围小，同样的扫描区域，高倍物镜下的扫描次数呈几何倍数增加，这种方式耗时较长，不利于快速扫描和后续分析。同时，为了保证连续扫描，需要采用高功率LED，使得相机曝光时间够短(微秒级)才不至于产生拖影，另一方面，高功率LED照明，特别是高倍物镜下，长时间照射样品表面，容易给样品带来不可逆的破坏。

传统的图像全景拼接是将全部图像导入到计算机内存上，相邻的图像两两进行匹配，再根据匹配结果进行拼接。计算机内存消耗随着图像个数的增加而增加，图像两两匹配消耗大量计算机算力。

专利文献CN109489816B(申请号：CN201811236368.2)公开了一种显微高光谱成像平台及大区域数据立方体采集的方法，本发明采用光学显微镜、三轴电动载物台、分光器、声光可调谐滤波器、灰度相机及工业控制计算机构成成像平台，并应用成像平台依次完成生成任务采集序列、显微高光谱图像的采集、对显微高光谱图像进行拼接及生成大区域数据立方体的步骤，本发明利用高光谱图像具有较大空间冗余度的特点，通过对显微高光谱图像各子区域图像的有效拼合，形成大视场、大区域的显微高光谱图像。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种短曝光高速面扫刚性拼接显微成像系统和方法。

根据本发明提供的短曝光高速面扫刚性拼接显微成像系统，包括联合消畸变成像系统、同步控制推扫系统以及图像刚性拼接算法；

所述联合消畸变成像系统包括物镜、成像管镜和图像处理算法模块，采用物镜和成像管镜联合消畸变光学设计，以及图像处理算法模块，实现显微图像边缘畸变小于预设像素值；

所述同步控制推扫系统包括载物台、对焦模块、全局快门面阵相机、LED模块以及同步触发控制电路；

载物台上样品移动到起始位置时，同步触发控制电路先触发LED模块维持高亮，触发全局快门面阵相机曝光，对焦模块对样品进行对焦，LED模块发出的光经过样品、物镜以及成像管镜，进入相机靶面中，形成当前位置的样品图像；

所述图像刚性拼接算法在高速推扫过程中执行在线拼接操作。

优选的，所述载物台采用全闭环位置控制系统，精度δ满足如下要求：

δ<P_l/n

其中，P_l为相机像元尺寸，n为光学放大倍数。

优选的，所述全局快门面阵相机在高速推扫时，图像采集曝光时间t_s满足如下要求：

其中，P_l为相机像元尺寸，n为光学放大倍数，v为载物台推扫速度。

优选的，所述LED模块阶跃响应达到稳态的时间Δt满足如下要求：

其中，D为相机靶面尺寸，n为光学放大倍数，v为载物台推扫速度。

优选的，所述同步触发控制电路，通过光栅尺信号接入实现载物台闭环位置实时采集，并通过脉冲或通信控制实现对焦模块、全局快门面阵相机、LED模块的触发同步控制，其中，位置实时采集刷新时间t_c，触发同步控制误差t_p满足如下要求：

其中，δ为精度，v为载物台推扫速度。

优选的，在高速推扫过程中，LED模块在同步触发电路控制下实现间歇性通断发光，间歇性发光时间t_o满足如下要求：

其中，D为相机靶面尺寸，n为光学放大倍数，v为载物台推扫速度。

优选的，所述图像刚性拼接算法包括循环存储机制和刚性拼接累积误差消除机制，分别用于循环利用存储空间和消除误差；

所述图像刚性拼接算法利用行方向相邻图像横向重叠ΔRO_c和纵向错位ΔRO_r和列方向相邻图像横向重叠ΔCO_c和纵向错位ΔCO_r进行全景拼接，且满足如下要求：

其中，D_c为相机行方向靶面尺寸，D_r为相机列方向靶面尺寸，D_ic为行方向相邻图像采集位置间隔，D_ir为列方向相邻图像采集位置间隔，单位为像素；n为光学放大倍数；f1～f4分别为对应相机方向的景深。

优选的，所述循环存储机制循环利用和释放图像存储空间，循环存储内存M_i满足如下要求：

M_i>(3+x)*N_c*S

其中，N_c表示行扫描的图像个数，S表示单个图像的内存大小，x是非负系数，取决于图像工作站的计算和存储能力。

优选的，所述刚性拼接累积误差消除机制是指每采集k张图像，利用图像拼接算法，进行一次拼接操作，消除由于视野宽度像素取整、以及载物台精度非线性因素在多个视野连续累计导致的超过像素尺寸的误差，其中，k>5。

根据本发明提供的短曝光高速面扫刚性拼接显微成像方法，包括如下步骤：

步骤1：确定扫描区域，规划当前区域需要的扫描行数和每行需要采集的图像个数；

步骤2：载物台上样品移动到每行起始位置时，同步触发控制电路先触发LED模块使其维持高亮，触发相机曝光，LED模块发出的光依次经过高数值孔径聚光镜、样品、物镜以及成像管镜，进入相机靶面中，形成一张当前位置的玻片样品图像，图像数据传输到图像工作站上，控制器关闭LED；

步骤3：载物台沿着扫描方向移动时，同步触发控制电路实时获取位置信息，当载物台移动到下一个相机采集位置时，触发高功率LED模块，触发相机曝光，相机得到图像并将图像传输到图像工作站中，关闭LED；同步触发控制电路依次触发，得到该行间隔位置相同的所有图像，然后再移动至下一行，直至完成整个区域的扫描和图像采集；

步骤4：图像工作站在扫描过程中，对接收到的图进行图像边缘畸变矫正，当进行到第预设行数扫描时，图像工作站按照行方向相邻图像横向重叠和纵向重叠和列方向相邻图像横向重叠和纵向重叠进行刚性拼接，并将拼接好的图像按照预设大小保存至硬盘中；

步骤5：在刚性拼接过程中，每拼接完预设张数的图像，利用图像拼接算法，进行算法拼接操作，消除由于载物台本身硬件带来的刚性拼接累计误差，直至完成全部区域的扫描和拼接。

与现有技术相比，本发明具有如下的有益效果：

(1)本发明联合消畸变成像系统，包括物镜、成像管镜和图像处理算法模块，采用物镜和成像管镜联合消畸变光学设计，以及图像边缘畸变矫正算法，实现了显微图像畸变消除；

(2)本发明通过同步控制推扫系统，包括高精度载物台、高精度对焦模块、高灵敏度全局快门面阵相机、高频可控LED模块以及同步触发控制电路，实现了高速高精度低破坏性扫描；

(3)本发明通过图像刚性拼接算法，包括循环存储机制和拼接累积误差定时消除机制，在高速推扫过程中在线执行拼接存储操作，实现了不同倍率下高速无畸变扫描拼接，可广泛应用于生物、医学等显微扫描领域。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为短曝光高速面扫刚性拼接显微成像装置示意图；

图2为扫描控制和图像拼接流程图；

图3为装置中同步触发控制电路信号处理原理图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

实施例1：

根据本发明提供的短曝光高速面扫刚性拼接显微成像系统，包括联合消畸变成像系统、同步控制推扫系统以及图像刚性拼接算法；

所述联合消畸变成像系统包括物镜、成像管镜和图像处理算法模块，采用物镜和成像管镜联合消畸变光学设计，以及图像处理算法模块，实现显微图像边缘畸变小于预设像素值；

所述同步控制推扫系统包括载物台、对焦模块、全局快门面阵相机、LED模块以及同步触发控制电路；

载物台上样品移动到起始位置时，同步触发控制电路先触发LED模块维持高亮，触发全局快门面阵相机曝光，对焦模块对样品进行对焦，LED模块发出的光经过样品、物镜以及成像管镜，进入相机靶面中，形成当前位置的样品图像；

所述图像刚性拼接算法在高速推扫过程中执行在线拼接操作。

所述载物台采用全闭环位置控制系统，精度δ满足如下要求：

δ<P_l/n

其中，P_l为相机像元尺寸，n为光学放大倍数。

所述全局快门面阵相机在高速推扫时，图像采集曝光时间t_s满足如下要求：

其中，P_l为相机像元尺寸，n为光学放大倍数，v为载物台推扫速度。

所述LED模块阶跃响应达到稳态的时间Δt满足如下要求：

其中，D为相机靶面尺寸，n为光学放大倍数，v为载物台推扫速度。

所述同步触发控制电路，通过光栅尺信号接入实现载物台闭环位置实时采集，并通过脉冲或通信控制实现对焦模块、全局快门面阵相机、LED模块的触发同步控制，其中，位置实时采集刷新时间t_c，触发同步控制误差t_p满足如下要求：

其中，δ为精度，v为载物台推扫速度。

在高速推扫过程中，LED模块在同步触发电路控制下实现间歇性通断发光，间歇性发光时间t_o满足如下要求：

其中，D为相机靶面尺寸，n为光学放大倍数，v为载物台推扫速度。

所述图像刚性拼接算法包括循环存储机制和刚性拼接累积误差消除机制，分别用于循环利用存储空间和消除误差；

所述图像刚性拼接算法利用行方向相邻图像横向重叠ΔRO_c和纵向错位ΔRO_r和列方向相邻图像横向重叠ΔCO_c和纵向错位ΔCO_r进行全景拼接，且满足如下要求：

其中，D_c为相机行方向靶面尺寸，D_r为相机列方向靶面尺寸，D_ic为行方向相邻图像采集位置间隔，D_ir为列方向相邻图像采集位置间隔，单位为像素；n为光学放大倍数；f1～f4分别为对应相机方向的景深。

所述循环存储机制循环利用和释放图像存储空间，循环存储内存M_i满足如下要求：

M_i>(3+x)*N_c*S

其中，N_c表示行扫描的图像个数，S表示单个图像的内存大小，x是非负系数，取决于图像工作站的计算和存储能力。

所述刚性拼接累积误差消除机制是指每采集k张图像，利用图像拼接算法，进行一次拼接操作，消除由于视野宽度像素取整、以及载物台精度非线性因素在多个视野连续累计导致的超过像素尺寸的误差，其中，k>5。

根据本发明提供的短曝光高速面扫刚性拼接显微成像方法，包括如下步骤：

步骤1：确定扫描区域，规划当前区域需要的扫描行数和每行需要采集的图像个数；

步骤2：载物台上样品移动到每行起始位置时，同步触发控制电路先触发LED模块使其维持高亮，触发相机曝光，LED模块发出的光依次经过高数值孔径聚光镜、样品、物镜以及成像管镜，进入相机靶面中，形成一张当前位置的玻片样品图像，图像数据传输到图像工作站上，控制器关闭LED；

步骤3：载物台沿着扫描方向移动时，同步触发控制电路实时获取位置信息，当载物台移动到下一个相机采集位置时，触发高功率LED模块，触发相机曝光，相机得到图像并将图像传输到图像工作站中，关闭LED；同步触发控制电路依次触发，得到该行间隔位置相同的所有图像，然后再移动至下一行，直至完成整个区域的扫描和图像采集；

步骤4：图像工作站在扫描过程中，对接收到的图进行图像边缘畸变矫正，当进行到第预设行数扫描时，图像工作站按照行方向相邻图像横向重叠和纵向重叠和列方向相邻图像横向重叠和纵向重叠进行刚性拼接，并将拼接好的图像按照预设大小保存至硬盘中；

步骤5：在刚性拼接过程中，每拼接完预设张数的图像，利用图像拼接算法，进行算法拼接操作，消除由于载物台本身硬件带来的刚性拼接累计误差，直至完成全部区域的扫描和拼接。

实施例2：

实施例2为实施例1的优选例，本实施例提供一种短曝光高速面扫刚性拼接显微成像装置。

如图1所示，本发明的装置包括联合消畸变成像系统、同步控制推扫系统以及图像刚性拼接算法，其中，联合消畸变成像系统，包括物镜、成像管镜和图像处理算法模块，具体的，物镜为40X，数值孔径N.A＝0.95，成像管镜焦距153mm，图像边缘畸变处理算法为二维分段线性拟合。同步控制推扫系统，包括高精度载物台、高精度对焦模块、高灵敏度全局快门面阵相机、高频可控LED模块以及同步触发控制电路，具体的，载物台最小分辨率R_xy<P_l/2n，对焦模块最小分辨率R_xy<D_f/2(D_f为当前物镜下的景深)，面阵相机曝光时间

像元大小为P_l，行方向靶面尺寸为D_c，列方向靶面尺寸为D_r，高频可控LED模块功率为9W，同步触发控制电路采样频率为128MHz，图像刚性拼接算法在图像工作站中实施，包括循环存储机制和拼接累积误差定时消除机制，其中图像工作站内存为32GB。

确定扫描区域后，图像工作站规划当前区域需要的扫描行数和每行需要采集的图像个数。假设在扫描行方向上，相机视野大小是

在扫描一行上图像抓取的间隔是D_ic，则行方向叠加大小为

在列方向上，相机视野大小是

在两行扫描之间的间隔是D_ir，扫描行与行之间的叠加大小是

所图2所示。

电动载物台上玻片样品移动到每行起始位置时，同步触发控制电路先触发高频可控LED，使其维持高亮t_o时间。在t_o时间内中第t¹时间时，触发相机曝光，LED发出的光依次经过高数值孔径聚光镜，玻片样品，物镜以及成像管镜，进入相机靶面中，形成一张当前位置的玻片样品图像，此时经过了t²时间；t³时间后，图像数据传输到图像工作站上，控制器关闭LED，如图3所示。

载物台沿着扫描方向移动时，同步触发控制电路实时获取位置信息，当载物台移动到下一个相机采集位置前t¹时间，触发高功率LED，t¹时间后，触发相机曝光，t²时间后，相机得到图像并将图像传输到图像工作站中，t³时间后，关闭LED；同步触发控制电路依次触发，得到该行间隔位置相同的所有图像，然后再移动至下一行，直至完成整个区域的扫描和图像采集，如图2所示。

图像工作站在扫描过程中，对接收到的图进行图像边缘畸变矫正，当进行到第3行扫描时，图像工作站按照行方向相邻图像横向重叠ΔRO_c和纵向重叠ΔRO_r和列方向相邻图像横向重叠ΔCO_c和纵向重叠ΔCO_r进行刚性拼接，并将拼接好的图像按照一定的大小保存至硬盘中，确保扫描进行到(3+x)行前完成前两行的拼接和存储。(3+x+1)行的图像存储到第1行的计算内存中，实现图像内存循环存储，降低计算机内存消耗。另一方面，在刚性拼接过程中，每拼接完k张图像，利用图像拼接算法，进行一次算法拼接操作，消除由于高精度载物台本身硬件带来的刚性拼接累计误差。依次类推，直至完成全部区域的扫描和拼接，如图2所示。

在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种短曝光高速面扫刚性拼接显微成像系统，其特征在于，包括联合消畸变成像系统、同步控制推扫系统以及图像刚性拼接算法；

所述联合消畸变成像系统包括物镜、成像管镜和图像处理算法模块，采用物镜和成像管镜联合消畸变光学设计，以及图像处理算法模块，实现显微图像边缘畸变小于预设像素值；

所述同步控制推扫系统包括载物台、对焦模块、全局快门面阵相机、LED模块以及同步触发控制电路；

载物台上样品移动到起始位置时，同步触发控制电路先触发LED模块维持高亮，触发全局快门面阵相机曝光，对焦模块对样品进行对焦，LED模块发出的光经过样品、物镜以及成像管镜，进入相机靶面中，形成当前位置的样品图像；

所述图像刚性拼接算法在高速推扫过程中执行在线拼接操作；

所述载物台采用全闭环位置控制系统，精度δ满足如下要求：

δ＜P_l/n

其中，P_l为相机像元尺寸，n为光学放大倍数；

所述同步触发控制电路，通过光栅尺信号接入实现载物台闭环位置实时采集，并通过脉冲或通信控制实现对焦模块、全局快门面阵相机、LED模块的触发同步控制，其中，位置实时采集刷新时间t_c，触发同步控制误差t_p满足如下要求：

其中，δ为精度，v为载物台推扫速度；

所述图像刚性拼接算法包括循环存储机制和刚性拼接累积误差消除机制，分别用于循环利用存储空间和消除误差；

所述图像刚性拼接算法利用行方向相邻图像横向重叠ΔRO_c和纵向错位ΔRO_r和列方向相邻图像横向重叠ΔCO_c和纵向错位ΔCO_r进行全景拼接，且满足如下要求：

其中，D_c为相机行方向靶面尺寸，D_r为相机列方向靶面尺寸，D_ic为行方向相邻图像采集位置间隔，D_ir为列方向相邻图像采集位置间隔，单位为像素；n为光学放大倍数；f1～f4分别为对应相机方向的景深。

2.根据权利要求1所述的短曝光高速面扫刚性拼接显微成像系统，其特征在于，所述全局快门面阵相机在高速推扫时，图像采集曝光时间t_s满足如下要求：

其中，P_l为相机像元尺寸，n为光学放大倍数，v为载物台推扫速度。

3.根据权利要求1所述的短曝光高速面扫刚性拼接显微成像系统，其特征在于，所述LED模块阶跃响应达到稳态的时间Δt满足如下要求：

其中，D为相机靶面尺寸，n为光学放大倍数，v为载物台推扫速度。

4.根据权利要求1所述的短曝光高速面扫刚性拼接显微成像系统，其特征在于，在高速推扫过程中，LED模块在同步触发电路控制下实现间歇性通断发光，间歇性发光时间t_o满足如下要求：

其中，D为相机靶面尺寸，n为光学放大倍数，v为载物台推扫速度。

5.根据权利要求1所述的短曝光高速面扫刚性拼接显微成像系统，其特征在于，所述循环存储机制循环利用和释放图像存储空间，循环存储内存M_i满足如下要求：

M_i＞(3+x)*N_c*S

其中，N_c表示行扫描的图像个数，S表示单个图像的内存大小，x是非负系数，取决于图像工作站的计算和存储能力。

6.根据权利要求1所述的短曝光高速面扫刚性拼接显微成像系统，其特征在于，所述刚性拼接累积误差消除机制是指每采集k张图像，利用图像拼接算法，进行一次拼接操作，消除由于视野宽度像素取整、以及载物台精度非线性因素在多个视野连续累计导致的超过像素尺寸的误差，其中，k＞5。

7.一种短曝光高速面扫刚性拼接显微成像方法，其特征在于，采用权利要求1-6中任一项所述的短曝光高速面扫刚性拼接显微成像系统，包括如下步骤：

步骤1：确定扫描区域，规划当前区域需要的扫描行数和每行需要采集的图像个数；

步骤2：载物台上样品移动到每行起始位置时，同步触发控制电路先触发LED模块使其维持高亮，触发相机曝光，LED模块发出的光依次经过高数值孔径聚光镜、样品、物镜以及成像管镜，进入相机靶面中，形成一张当前位置的玻片样品图像，图像数据传输到图像工作站上，控制器关闭LED；

步骤3：载物台沿着扫描方向移动时，同步触发控制电路实时获取位置信息，当载物台移动到下一个相机采集位置时，触发高功率LED模块，触发相机曝光，相机得到图像并将图像传输到图像工作站中，关闭LED；同步触发控制电路依次触发，得到该行间隔位置相同的所有图像，然后再移动至下一行，直至完成整个区域的扫描和图像采集；

步骤4：图像工作站在扫描过程中，对接收到的图进行图像边缘畸变矫正，当进行到第预设行数扫描时，图像工作站按照行方向相邻图像横向重叠和纵向重叠和列方向相邻图像横向重叠和纵向重叠进行刚性拼接，并将拼接好的图像按照预设大小保存至硬盘中；

步骤5：在刚性拼接过程中，每拼接完预设张数的图像，利用图像拼接算法，进行算法拼接操作，消除由于载物台本身硬件带来的刚性拼接累计误差，直至完成全部区域的扫描和拼接。

Images