CN108845406A - 多倍率全自动显微成像方法及装置 - Google Patents

Abstract

本发明涉及一种多倍率全自动显微成像方法及装置，属于光学成像技术领域，其中装置包括用于承载被测物样本的三维运动平台，至少两个具有不同放大倍率的显微物镜，与显微物镜对应的照明单元，位于显微物镜上方的管镜，位于显微物镜与管镜之间或者位于管镜与成像单元之间的光束整合组件，用于对被测物样本成像的成像单元，以及分别与三维运动平台和成像单元连接的全自动控制单元，全自动控制单元控制三维运动平台进行三维移动和照明单元的亮度，获得包含目标被测物的清晰图像。本发明避免了对不同放大倍率需求成像时需要进行物镜或管镜切换运动，从而避免了运动结构造成的运动误差，提高了显微成像质量和检测效率。

Description

多倍率全自动显微成像方法及装置

技术领域

本发明涉及光学成像技术领域，特别是涉及一种多倍率全自动显微成像方法及装置。

背景技术

在光学显微镜的不断发展过程中，其功能越来越强大，在显微成像装置中，为满足被测物的形态学显微成像检测需求，显微成像装置需要配备不同放大倍率的显微物镜。在实际使用显微镜时多以手动操作为主，即需要手动完成将被测物放置在载物台上，旋转更换需要使用的物镜，手动对焦、调节亮度、查找被测物、形态学分析判断及分类计数等操作步骤，操作人员不仅工作量大，耗时长，工作效率低，甚至可能会由于疲劳而引起误判，特别是在临床形态学检验领域中，由于临床形态学检验对于病患的疾病诊断及治疗具有重要作用，因此临床形态学检验对检验结果的准确性要求较高，而现有的用于临床形态学检验的显微装置自动化程度不高，需要检验人员进行手动操作，最终导致检验结果的准确度不高，同时存在检验人员工作量大以及检验效率低下的问题。

发明内容

基于此，有必要针对目前应用于临床形态学检验的显微装置自动化程度不高，导致检验结果的准确度不高以及检验人员工作量大、检验效率低下的问题，提供一种多倍率全自动显微成像方法及装置。

为解决上述问题，本发明采取如下的技术方案：

一种多倍率全自动显微成像装置，该装置包括：

用于承载被测物样本的三维运动平台；

位于所述三维运动平台上方的至少两个显微物镜；

位于所述三维运动平台下方且与所述显微物镜对应的照明单元；

位于所述显微物镜上方的管镜；

位于所述显微物镜与所述管镜之间或者位于所述管镜与成像单元之间的光束整合组件，当所述光束整合组件位于所述管镜的上方时，每一所述显微物镜的上方均设有一个所述管镜；

用于对所述被测物样本成像的所述成像单元，当所述光束整合组件位于所述显微物镜与所述管镜之间时，所述成像单元位于所述管镜的上方；

分别与所述三维运动平台、所述照明单元和所述成像单元连接的全自动控制单元，所述全自动控制单元控制所述三维运动平台进行三维移动和所述照明单元的亮度，以通过所述显微物镜、所述光束整合组件、所述管镜和所述成像单元获得包含目标被测物的清晰图像。

相应地，本发明还提出一种基于上述多倍率全自动显微成像装置的成像方法，该方法包括以下步骤：

所述全自动控制单元控制所述三维运动平台将所述被测物样本置于低倍率显微物镜下方，并点亮低倍率显微物镜对应的照明单元，得到低倍率清晰图像，识别所述低倍率清晰图像中的所述目标被测物，记录所述目标被测物相对于运动零点的相对位置信息；

所述全自动控制单元控制所述三维运动平台将所述被测物样本置于高倍率显微物镜下方，并点亮高倍率显微物镜对应的照明单元，根据所述相对位置信息将所述目标被测物置于所述高倍率显微物镜下方，得到包含所述目标被测物的高倍率清晰图像。

上述多倍率全自动显微成像方法及装置实现了全自动多倍率显微成像，通过光束整合组件改变装置光路中的光束传输方向，使光束都传输至同一成像元件内，达到像面统一的目的，避免了对不同放大倍率需求成像时需要进行的物镜或管镜切换运动，在保证成像质量的同时减少装置中运动部件数量，从而避免了运动结构造成的运动误差，提高了显微成像质量和装置可靠性，提高了检测效率，同时降低了形态学检验中所需的时间成本和检验人员需求，进一步降低了检测成本。

附图说明

图1为本发明多倍率全自动显微成像装置的结构示意图；

图2为本发明多倍率全自动显微成像装置的结构示意图；

图3为图1和图2所示的多倍率全自动显微成像装置中光束整合组件的棱镜式的结构示意图；

图4为具有一个分光面的光束整合组件的棱镜式的结构示意图；

图5为本发明多倍率全自动显微成像方法的流程示意图。

具体实施方式

下面将结合附图及较佳实施例对本发明的技术方案进行详细描述。

在其中一个实施例中，如图1-图3所示，多倍率全自动显微成像装置包括三维运动平台1、至少两个显微物镜、照明单元、管镜4、成像单元5、光束整合组件6和全自动控制单元。

具体地，三维运动平台1也可称为样本台，用于承载被测物样本，三维运动平台1在全自动控制单元的控制下可进行三维独立运动，平行于显微镜光轴方向(即Z方向)的运动精度最高，可达微米量级甚至更高。

显微镜均位于三维运动平台1的上方，各个显微物镜的放大倍率可以相同，也可以不同。

照明单元位于三维运动平台1下方，并且照明单元分别与显微物镜一一对应，照明单元为非单色光且光源亮度可调，各个照明单元可以为相同结构或者不同结构，全自动控制单元可以控制照明单元的单独打开和关闭。

管镜4位于显微物镜的上方。

光束整合组件6位于显微物镜与管镜4之间(如图1所示)，或者光束整合组件6位于管镜4与成像单元5之间(如图2所示)，光束整合组件6包括分光面和反光面，并且显微物镜的数量与光束整合组件6的分光面的数量之差为一，通过不同显微物镜的至少两束光束经光束整合组件6合为一束光束，经过管镜或者直接到达成像元件5，其中光束整合组件6可以为分光棱镜、平板分光镜和反射镜中的一种或多种组合；当光束整合组件6位于管镜4的上方时，每一显微物镜的上方均设有一个管镜4。在本实施例中，管镜的数量可以为一个或者至少两个，这里图1和图2仅以多倍率全自动显微成像装置包括三个显微物镜为例对本发明进行说明，图1所示的多倍率全自动显微成像装置包括一个管镜4，并且管镜4的光轴与显微物镜4-1的光轴重合，光束整合组件6位于显微物镜与管镜4之间；图2所示的多倍率全自动显微成像装置包括三个管镜，分别为管镜4-1、管镜4-2和管镜4-3，分别对应设置在显微物镜2-1、显微物镜2-2和显微物镜2-3上方，光束整合组件6位于管镜4的上方；光束整合组件6的分光面的数量与显微物镜的数量之差为一，即光束整合组件6具有2个分光面，如图3所示，光束整合组件6具有2个分光面，分别为BS-I和BS-II。管镜4-1、管镜4-2和管镜4-3可为同一结构，例如管镜4-1、管镜4-2和管镜4-3均由一片凸透镜和一片弯月透镜组成，将光束整合组件6折转后的光线成像在成像元件5上。

优选地，管镜4位于显微物镜和光束整合组件6的上方，此时光束经过显微物镜后，先经过光束整合组件，再到达管镜。当使用无限远显微物镜时，光束到达光束整合组件时为类平行光，可减少光束整合组件在装置中产生的像差，从而降低装置的光路设计难度，减少加工误差及安装误差对成像结果的影响，从而降低加工成本，提高装置工艺性能，便于批量生产。

成像单元5用于对被测物样本进行成像，当光束整合组件6位于显微物镜与管镜4之间时，成像单元5位于管镜4的上方。优选地，本实施例中的成像单元5可以为CCD感光元件或者CMOS感光元件。

全自动控制单元分别与三维运动平台1、照明单元和成像单元5连接，全自动控制单元控制三维运动平台1进行三维移动和照明单元的亮度，以通过显微物镜、光束整合组件6、管镜4和成像单元5获得包含目标被测物的清晰图像，例如全自动控制单元利用算法识别自动对焦方法进行自动对焦，从而控制成像单元5拍摄被测物样本的图像，得到包含目标被测物的清晰图像，或者，全自动控制单元控制三维运动平台1沿光轴方向运动，同时全自动控制单元控制成像单元5在被测物样本沿光轴方向运动的过程中连续拍照，算法识别多张图像并提取最清晰图像，进而得到包含目标被测物的清晰图像。下面以全自动控制单元利用算法识别自动对焦方法进行自动对焦为例，对获得包含目标被测物的清晰图像的过程进行详细说明：全自动控制单元先点亮低放大倍率显微物镜下对应的照明单元，关闭其他照明单元，控制三维运动平台1进行X/Y/Z方向运动，使被测物样本位于低放大倍率显微物镜下，根据算法识别自动对焦方法完成自动对焦，用成像元件5拍摄被测物样本的像，控制三维运动平台1沿被测物样本平面移动，即X/Y方向运动。通过算法识别查找目标被测物，标记目标被测物相对位置；然后，全自动控制单元点亮需求放大倍率显微物镜下对应的照明单元，关闭其他照明单元，控制三维运动平台1进行X/Y/Z方向运动，使被测物样本位于需求放大倍率对应的显微物镜下，找到所标记的目标被测物相对位置，根据算法识别自动对焦方法完成自动对焦，用成像元件5拍摄目标被测物的像，得到包含目标被测物的清晰图像。再由算法根据客户需求，完成对目标被测物的截图，计数，分类等功能的实现。本发明中的算法识别自动对焦方法可采用现有的自动对焦算法实现。

本发明的多倍率全自动显微成像装置，不同显微物镜对应不同装置放大倍率，不同装置放大倍率均可由下式进行计算：

式中，β：装置放大倍率，f'_管镜：管镜焦距，f'_物镜：显微物镜焦距。

在上述实施例中，多倍率全自动显微成像装置包括至少两个显微物镜，显微物镜可以为普通显微物镜或者为相差显微物镜，不同显微物镜的放大倍率不同，显微物镜可以是任意放大倍率，常规使用的显微物镜放大倍率有5×，10×，20×，40×，50×，60×，100×，100×(油)等。

作为一种具体的实施方式，显微物镜为普通显微物镜或者相差显微物镜；当显微物镜为相差显微物镜时，照明单元包括环形光阑。普通显微物镜包括有限远显微物镜和无穷远显微物镜，其中无穷远显微物镜可将被测物成像在无穷远处，光束经过无穷远显微物镜后呈类平行光，可以降低装置的光路设计难度，减少加工误差及安装误差对成像结果的影响，从而降低加工成本，提高装置工艺性能，便于批量生产。

作为一种具体的实施方式，光束整合组件6的分光面的分光比为50:50。如图3和图4所示均为光束整合组件6的棱镜式的结构示意图，其中图4所示的光束整合组件6具有1个分光面，对应于具有两个显微镜的多倍率全自动显微成像装置，分光面BS-1的分光比为50:50，BS-2为镀有反射膜的全反射面，其他表面镀有增透膜，如果忽略光束整合组件6自身对光束的损耗，光束1经光束整合组件后的能量为原能量的50％，光束2经光束整合组件后的能量为原能量的50％，光束能量传递比为1:1；图3所示的光束整合组件6具有2个分光面，对应于具有三个显微镜的多倍率全自动显微成像装置，分光面BS-I和BS-II的分光比均为50:50，BS-III为镀有反射膜的全反射面，其他表面镀有增透膜，如果忽略光束整合组件6自身对光束的损耗，光束1经光束整合组件后的能量为原能量的50％，光束2经光束整合组件后的能量为原能量的25％，光束3经光束整合组件后的能量为原能量的25％，光束能量传递比为2:1:1。在实际成像时，为保证不同放大倍率所拍摄的包含目标被测物的清晰图像的亮度保持一致，需在光源、照明镜组、显微成像装置的设计中保证显微物镜出光能量比值为光束整合组件光束能量传递比的反比。

作为一种具体的实施方式，本发明中的照明单元包括光源和照明镜组，且光源、照明镜组的光轴与对应的显微物镜的光轴重合，以保证显微物镜的成像质量。其中，照明镜组可以为科勒照明镜组，科勒照明镜组具体包括集光镜组和聚光镜组。

本发明所提出的多倍率全自动显微成像装置实现了全自动多倍率显微成像，通过光束整合组件改变装置光路中的光束传输方向，使光束都传输至同一成像元件内，达到像面统一的目的，避免了对不同放大倍率需求成像时需要进行的物镜或管镜切换运动，在保证成像质量的同时减少装置中运动部件数量，从而避免了运动结构造成的运动误差，提高了显微成像质量和装置可靠性，提高了检测效率，同时降低了形态学检验中所需的时间成本和检验人员需求，进一步降低了检测成本。

在另一个实施例中，本发明还提出了一种基于上述多倍率全自动显微成像装置的多倍率全自动显微成像方法，该方法具体包括以下步骤：

S100全自动控制单元控制三维运动平台1将被测物样本置于低倍率显微物镜下方，并点亮低倍率显微物镜对应的照明单元，得到低倍率清晰图像，识别低倍率清晰图像中的目标被测物，记录目标被测物相对于运动零点的相对位置信息；

S200全自动控制单元控制三维运动平台1将被测物样本置于高倍率显微物镜下方，并点亮高倍率显微物镜对应的照明单元，根据相对位置信息将目标被测物置于高倍率显微物镜下方，得到包含目标被测物的高倍率清晰图像。

下面对仅以多倍率全自动显微成像装置包括两个显微物镜为例，对本实施例所提出的多倍率全自动显微成像方法进行详细说明。三维运动平台1在全自动控制单元的控制下承载样本载玻片在样本平面做X/Y方向运动，将样本载玻片移动至低倍率显微物镜(例如10倍显微物镜)下，全自动控制单元点亮低倍率显微物镜下方对应照明单元，关闭其他照明单元，控制三维运动平台1承载样本载玻片沿Z方向运动，通过算法识别自动对焦方法进行自动对焦，完成对焦后，由三维运动平台1承载样本载玻片做X/Y方向运动，拍摄不同位置样本图片，通过算法识别方法自动识别图片中的目标被测物，例如算法识别方法根据低倍率显微物镜下拍摄的图像中被测物的轮廓信息、颜色信息等图形信息确认目标被测物，并记录目标被测物的相对位置信息，该相对位置信息是目标被测物相对于运动零点的相对位置信息，记录的是换算后的坐标信息；完成指定数量的目标被测物的查找和记录后，全自动控制单元控制三维运动平台1承载样本载玻片在样本平面做X/Y方向运动，将样本载玻片移动至高倍率显微物镜(例如40倍显微物镜)下，点亮高倍率显微物镜下方对应照明单元，关闭其他照明单元，全自动控制单元根据记录的相对位置信息将目标被测物置于高倍率显微物镜下方，控制三维运动平台1承载样本载玻片沿Z方向运动，利用算法识别自动对焦方法进行自动对焦，拍摄得到包含目标被测物的高倍率清晰图像。在本实施例中，全自动控制单元不仅可以利用算法识别自动对焦方法进行自动对焦，得到包含目标被测物的低倍率清晰图像和高倍率清晰图像，而且全自动控制单元还可以通过控制三维运动平台1承载样本载玻片沿Z方向运动，同时控制成像元件5进行连续拍照，再通过算法自动识别，得到包含目标被测物的低倍率清晰图像和高倍率清晰图像。

本实施例所提出的基于多倍率全自动显微成像装置的多倍率全自动显微成像方法实现了全自动多倍率显微成像，在保证成像质量的同时减少装置中运动部件数量，从而避免了运动结构造成的运动误差，提高了显微成像质量和检测效率，同时降低了形态学检验中所需的时间成本和检验人员需求，进一步降低了检测成本。

作为一种具体的实施方式，当多倍率全自动显微成像装置包括三个具有不同放大倍率的显微物镜时，在记录目标被测物相对于运动零点的相对位置信息步骤之后，全自动控制单元控制三维运动平台1将被测物样本置于高倍率显微物镜下方步骤之前，还包括以下步骤：

全自动控制单元控制三维运动平台1将被测物样本置于中倍率显微物镜下方，并点亮中倍率显微物镜对应的照明单元，根据相对位置信息将目标被测物置于中倍率显微物镜下方，得到包含目标被测物的中倍率图像。

具体地，在本实施方式中，多倍率全自动显微成像装置包括高倍率显微物镜、中倍率显微物镜和低倍率显微物镜，例如包括100倍显微物镜(油镜)2-1、40倍显微物镜2-2和10倍显微物镜2-3，三个显微物镜排成一列，优选的排列方式是油镜、高倍镜、低倍镜，定义显微物镜光轴方向为Z方向，显微物镜排列方向为Y方向，垂直于YZ平面的方向为X方向，如图1和图2所示；在三维运动平台1的下方，对应于每一显微物镜设有一个照明单元，分别为照明单元3-1、照明单元3-2和照明单元3-3。在本实施方式中，全自动控制单元不仅可以利用算法识别自动对焦方法进行自动对焦，得到包含目标被测物的低倍率清晰图像和高倍率清晰图像，而且全自动控制单元还可以通过控制三维运动平台1承载样本载玻片沿Z方向运动，同时控制成像元件5进行连续拍照，再通过算法自动识别，得到包含目标被测物的低倍率清晰图像和高倍率清晰图像，下面仅以全自动控制单元利用算法识别自动对焦方法进行自动对焦为例，对本实施方式进行详细说明。

全自动控制单元控制三维运动平台1在样本平面做X/Y方向运动，将样本载玻片移动至10倍显微物镜2-3下，点亮10倍显微物镜2-3下方对应照明单元3-3的光源，关闭其他照明单元，控制三维运动平台1承载样本载玻片沿Z方向运动，通过算法识别自动对焦方法进行自动对焦，完成对焦后，由三维运动平台1承载样本载玻片做X/Y方向运动，拍摄不同位置样本图片，通过算法识别方法自动识别图片中目标被测物1，例如算法识别方法根据低倍率显微物镜下拍摄的图像中被测物的轮廓信息、颜色信息等图形信息确认目标被测物，并记录其相对位置信息，该相对位置信息是目标被测物1相对于运动零点的相对位置信息，记录的是换算后的坐标信息，例如相对于运动零点XY方向各运动了5mm，10倍显微物镜2-3拍摄的照片中50×50像素处有一个目标被测物1，根据显微成像的物像关系换算后例如坐标为5.1mm×5.1mm处，这个目标被测物1的坐标即为此相对位置信息。

完成指定数量的目标被测物1的查找和记录后，全自动控制单元控制三维运动平台1承载样本载玻片在样本平面做X/Y方向运动，将样本载玻片移动至40倍显微物镜2-2下，点亮40倍显微物镜2-2下方对应照明单元3-2的光源，关闭其他照明单元，全自动控制单元根据记录的相对位置信息将目标被测物置于40倍显微物镜2-2下方，控制三维运动平台1承载样本载玻片沿Z方向运动，通过算法识别自动对焦方法进行自动对焦，完成对焦后，由三维运动平台1承载样本载玻片做X/Y方向运动，拍摄不同位置样本图片，通过算法识别方法自动识别图片中目标被测物2，并对其进行计数。

最后，全自动控制单元控制三维运动平台1承载样本载玻片在样本平面做X/Y方向运动，将样本载玻片移动至100倍显微物镜2-1下，点亮100倍显微物镜2-1下方对应照明单元3-1的光源，关闭其他光源，进行自动滴油，根据记录的目标被测物1的相对位置，分别找到指定数量的目标被测物1，并在每一个目标被测物1位置控制三维运动平台1承载样本载玻片沿Z方向运动，通过算法识别自动对焦方法进行自动对焦，拍摄目标被测物1的图片，最终获得包含目标被测物1的图像和包含目标被测物2的图像。在本实施方式中，目标被测物1和目标被测物2可以为被测物样本中不同种类的有形成分，比如对于血液样本而言，目标被测物1可以是白细胞，目标被测物2可以是红细胞；对于分泌物样本而言，目标被测物1可以是线索细胞，目标被测物2可以是滴虫等。

作为一种具体的实施方式，在得到包含目标被测物的高倍率清晰图像之后，还包括以下步骤：全自动控制单元对识别到的目标被测物进行分类和计数，全自动控制单元通过算法识别方法对目标被测物进行提取、截图、计数以及分类等，以便于对目标被测物的统计分析，提高检测效率。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种多倍率全自动显微成像装置，其特征在于，包括：

用于承载被测物样本的三维运动平台(1)；

位于所述三维运动平台(1)上方的至少两个显微物镜；

位于所述三维运动平台(1)下方且与所述显微物镜对应的照明单元；

位于所述显微物镜上方的管镜(4)；

位于所述显微物镜与所述管镜(4)之间或者位于所述管镜(4)与成像单元(5)之间的光束整合组件(6)，当所述光束整合组件(6)位于所述管镜(4)的上方时，每一所述显微物镜的上方均设有一个所述管镜(4)；

用于对所述被测物样本成像的所述成像单元(5)，当所述光束整合组件(6)位于所述显微物镜与所述管镜(4)之间时，所述成像单元(5)位于所述管镜(4)的上方；

分别与所述三维运动平台(1)、所述照明单元和所述成像单元(5)连接的全自动控制单元，所述全自动控制单元控制所述三维运动平台(1)进行三维移动和所述照明单元的亮度，以通过所述显微物镜、所述光束整合组件(6)、所述管镜(4)和所述成像单元(5)获得包含目标被测物的清晰图像。

2.根据权利要求1所述的多倍率全自动显微成像装置，其特征在于，所述光束整合组件(6)包括分光面和反光面，且所述显微物镜的数量与所述光束整合组件(6)的分光面数量之差为一。

3.根据权利要求1或2所述的多倍率全自动显微成像装置，其特征在于，所述光束整合组件(6)可以为分光棱镜、平板分光镜和反射镜中的一种或多种组合。

4.根据权利要求1或2所述的多倍率全自动显微成像装置，其特征在于，

所述显微物镜为普通显微物镜或者相差显微物镜；当所述显微物镜为相差显微物镜时，所述照明单元包括环形光阑。

5.根据权利要求1或2所述的多倍率全自动显微成像装置，其特征在于，

所述成像单元(5)为CCD感光元件或者CMOS感光元件。

6.根据权利要求1或2所述的多倍率全自动显微成像装置，其特征在于，

所述照明单元包括光源和照明镜组，且所述光源、所述照明镜组的光轴与对应的所述显微物镜的光轴重合。

7.一种基于如权利要求1至6任意一项所述的多倍率全自动显微成像装置的多倍率全自动显微成像方法，其特征在于，包括以下步骤：

所述全自动控制单元控制所述三维运动平台(1)将所述被测物样本置于低倍率显微物镜下方，并点亮低倍率显微物镜对应的照明单元，得到低倍率清晰图像，识别所述低倍率清晰图像中的所述目标被测物，记录所述目标被测物相对于运动零点的相对位置信息；

所述全自动控制单元控制所述三维运动平台(1)将所述被测物样本置于高倍率显微物镜下方，并点亮高倍率显微物镜对应的照明单元，根据所述相对位置信息将所述目标被测物置于所述高倍率显微物镜下方，得到包含所述目标被测物的高倍率清晰图像。

8.根据权利要求7所述的多倍率全自动显微成像方法，其特征在于，当所述多倍率全自动显微成像装置包括三个具有不同放大倍率的显微物镜时，在记录所述目标被测物相对于运动零点的相对位置信息步骤之后，所述全自动控制单元控制所述三维运动平台(1)将所述被测物样本置于高倍率显微物镜下方步骤之前，还包括以下步骤：

所述全自动控制单元控制所述三维运动平台(1)将所述被测物样本置于中倍率显微物镜下方，并点亮中倍率显微物镜对应的照明单元，根据所述相对位置信息将所述目标被测物置于所述中倍率显微物镜下方，得到包含所述目标被测物的中倍率图像。

9.根据权利要求7或8所述的多倍率全自动显微成像方法，其特征在于，在得到包含所述目标被测物的高倍率清晰图像之后，还包括以下步骤：

所述全自动控制单元对识别到的所述目标被测物进行分类和计数。