CN116859577A - 一种超越景深的显微拍摄方法 - Google Patents

Abstract

本发明提供一种超越景深的显微拍摄方法，通过设定待测样本的目标扫描面积，针对目标扫描面积进行显微拍摄，在目标扫描面积的样本厚度、z轴步长小于等于显微镜景深的设定下对样本进行显微扫描，扫描拼接后获得相应的z值完整图像，选择清晰度符合要求的z值完整图像的子图：在若干z值完整图像中，在图像的同位置滑动取图，选择清晰度符合要求的子图，对子图进行拼接即可，最终通过遍历z值获得上述对应病理切片的多个对应z值的等深平面信息，从而建立全玻片的伪3D扫描信息。医生可直接通过观察同一区域不同z值下拍摄情况判断疑似异常的具体情况。

Description

一种超越景深的显微拍摄方法

技术领域

本发明涉及医学显微技术领域，具体涉及一种超越景深的显微拍摄方法。

背景技术

技术应用场景为应用光学显微镜进行自动对焦拍摄，目标是在玻片上寻找目标视野(x, y)位置，然后通过调整对焦z值进行拍摄。但由于玻片中感兴趣物体的厚度往往大于聚焦景深，如对于病理切片的拍摄，其厚度达到20-50微米甚至达到100微米，是精准厚度下的大范围厚度，因此我们需要沿着切片表面进行遍历对焦拍摄以观察切片是否病变，由于其厚度大于景深，所以遍历表面过程中需不断调整z值以达到拍摄清晰的目的。

为达成上述目的，现有技术主要分为两种：

①点扫：即模仿人类拍摄过程，通过重复“移动，对焦，拍摄”过程，沿着切片表面不断进行拍摄。此方法优点在于拍摄效果清晰（每个视野都单独对焦），缺点在于步骤繁琐，拍摄效率慢、速度慢；

②线扫：即先在待扫描玻片区域划定n×m点的矩形区域，然后逐点对焦并记录对应n×m点各自的z值，根据这些对焦点进行插值得到对焦面，然后通过S扫（即从待扫描矩形区域左上角开始沿着x轴y轴方向进行连续S形遍历扫描），扫描时直接根据预建立的对焦面的z值附近进行对焦，从而降低了单视野对焦时间，提升了速度；

“线扫”包含两个步骤（n×m点对焦建立焦面，根据焦面进行S扫），这n×m点相对是稀疏的（一般是4×3点），而s扫是密集遍历（通常是45×15点），即线扫过程为先对4×3点进行z值遍历范围（如1~100），然后建立焦面，S扫在45×15点逐点对焦1~5次（根据对应焦面z值）。请注意，S扫每个点的z值是不一样的，这导致即使每个点只对焦1次，遍历点过程中依然需要在z轴方向不断移动，这会耗时，同时也导致x,y轴移动需要等待z轴对焦，启动停止时间也会耗时。

对于上述的“点扫”和“线扫”技术虽然都可以拍摄得到一系列的病理图像，但由于固定角度拍摄，对于病理切片中疑似异常区域无法确定异常区域的深度信息（即无法确定异常点是在玻片表面或切片表面附着的假异常，还是病理切片内部的真异常），其由于机械精度影响，拍摄每个视野位置，对焦z值均存在误差且无法回溯。因此现有技术仍无法最终确定病理切片是否发生病变，只能对于疑似病变区域进行人工显微镜下重新多角度观察以进行最终确定。

发明内容

为了克服现有技术中存在的不足，本发明提供一种超越景深的显微拍摄方法。

为实现上述目的，本发明提供一种超越景深的显微拍摄方法，其通过设定待测样本的目标扫描面积，针对目标扫描面积进行显微拍摄，具体包括以下步骤，

设定z值范围、z轴步长：设定的z值范围、z轴步长，所述待测样本包括生物样本分析玻片；

固定z值获得z值完整图像：在z值范围内选择第一z值，固定第一z值对所述目标扫描面积遍历扫描，得到若干第一z值图像，拼接得到第一z值完整图像；按照z轴步长调整z值为第二z值，固定第二z值对所述目标扫描面积遍历扫描，得到若干第二z值图像，拼接得到第二z值完整图像；重复上述过程至将z值范围内所有符合z值步长的z值均被固定，扫描拼接后获得相应的z值完整图像；

选择清晰度符合要求的z值完整图像的子图：在若干z值完整图像中，在图像的同位置滑动取图，选择清晰度符合要求的子图，对子图进行拼接即可。

优选的，z值范围小于等于目标扫描面积的样本厚度，z轴步长小于等于显微镜景深。

优选的，选择清晰度符合要求的z值完整图像的子图之前，需要对若干z值完整图像对齐，具体为通过提取特征点，根据特征点进行图像对齐。

优选的，对于最小相邻对特征点A和特征点B，在若干z值完整图像上的距离AB可能均不同，则取最大距离作为最终距离。

优选的，所述目标扫描面积，根据待测样本设定其(x ,y)扫描范围，并设定(x ,y)扫描范围的x轴步长和y轴步长，依次对所述目标扫描面积进行遍历扫描，所述遍历扫描包括先遍历行或先遍历列。

优选的，所述n个显微拍摄图像，其中相邻显微拍摄图像之间具有拍摄视野交叉区域。

优选的，所述拍摄视野交叉区域的面积大于等于0.25倍的显微镜视野面积。

优选的，如无法提取有效特征点，则采用直接图像拼接方式进行。

优选的，所述生物样本分析玻片包括染色体样本玻片、组织切片玻片。

优选的，进行显微扫描时，记录图像的拍摄顺序，以保证图像之间的位置关系。

本发明优点和有益效果主要针对上述现有技术缺点，具体如下：

针对缺点一：“点扫”速度慢，“线扫”无法保证每个视野拍摄清晰问题：

①.本发明采用移动时固定z值方式进行扫描，通过控制z值遍历范围（如1~100）（及其与景深的关系），这意味着S扫过程中z轴不需要移动，xy轴移动也不需要等待，只需要按照匀速运动即可，使得单次S扫时间大大减少，从而保证覆盖玻片中所有视野景深，达到保证每个视野拍摄清晰的目的；

②.本发明在移动时固定z值，即S扫过程不对焦连续拍摄，从而移动不用停，节省了大量机械运动（x,y平面及z轴）的启动、停止时间，实际扫描总时间小于“线扫”法。

针对缺点二：“点扫”和“线扫”拍摄均无法确定疑似异常是否为附着物，需再次人工显微镜下重新多角度观察以确定，费时费力：

本发明通过固定z值连续移动拍摄多视野图像，然后通过图像对齐拼接算法获得了全玻片同一z值的扫描图像，以获得了对应病理切片在该z值下的近似深度等深平面信息，并最终通过遍历z值获得上述对应病理切片的多个对应z值的等深平面信息，从而建立全玻片的伪3D扫描信息。医生可直接通过观察同一区域不同z值下拍摄情况判断疑似异常的具体情况。

附图说明

图1为实施例中m张不同固定Z值拍摄的玻片整体图像取子图示意图；

图2为实施例中通过子图获得1张最清晰的玻片整体图像的结果示意图；

图3为本发明中用于染色体核型图像的染色体核型显微拍摄诊断器械。

具体实施方式

为更好的说明本发明的目的、技术方案和优点，下面将结合具体实施例对本申请作进一步说明。

实施例1

本发明中用于染色体核型图像的染色体核型显微拍摄诊断器械，是一种扫描显微镜。如图3所示，该装置包括均电性连接于分析控制中心100的显微镜200和电机300，分析控制中心100用于显微拍摄诊断器械的图像接收、清晰度分析和电机300竖向坐标的数据接收、处理，如MetaSight(®)全自动细胞显微图像扫描系统，显微镜200设置载物台201和物镜202，待分析玻片设置在载物台201上，物镜202上设置摄像头或相机从而对待分析玻片拍摄，电机300与载物台201连接且电机300与待分析玻片之间无竖直方向上的相对位移，电机300控制载物台201的竖向移动实现调节物镜202与待分析玻片之间的相对位移，即通过调整z值范围、z轴步长等调节待分析玻片之间的对焦状态以获得多个显微拍摄图像，优选的，电机300选择步进电机，待分析玻片的规格为75mm×25mm×1.1mm。电机300还与推拉件连接，并通过推拉件实现对待分析玻片的水平方向移动控制，推拉件的设置参见CN112859316 A。

本实施例一种超越景深的显微拍摄方法，其通过设定待测样本的目标扫描面积，针对目标扫描面积进行显微拍摄，具体包括以下步骤，

设定z值范围、z轴步长：设定的z值范围、z轴步长，z值范围应覆盖玻片样本厚度，从而保证遍历z值范围理论上可以拍清玻片样本所有内容，此步通过校准玻片进行人工校正确定范围；待测样本包括生物样本分析玻片；目标扫描面积，根据待测样本设定其(x ,y)扫描范围，并设定(x ,y)扫描范围的x轴步长和y轴步长，依次对目标扫描面积进行遍历扫描，遍历扫描包括先遍历行或先遍历列。n个显微拍摄图像，其中相邻显微拍摄图像之间具有拍摄视野交叉区域，拍摄视野交叉区域的面积大于等于0.25倍的显微镜视野面积。较好的，z值范围小于等于目标扫描面积的样本厚度，z值步长大于等于z轴运动最小机械精度，小于景深，以保证遍历z值范围过程中，至少一次处于景深内，从而拍摄得到至少1张清晰图像。z值步长在上述范围内具体设置多少可以人工设定，设定值主要用于权衡扫描效率（时间）和扫描精度（清晰度）。

固定z值获得z值完整图像：在z值范围内选择第一z值，固定第一z值对目标扫描面积遍历扫描，得到若干第一z值图像，拼接得到第一z值完整图像；按照z轴步长调整z值为第二z值，固定第二z值对目标扫描面积遍历扫描，得到若干第二z值图像，拼接得到第二z值完整图像；重复上述过程至将z值范围内所有符合z值步长的z值均被固定，扫描拼接后获得相应的z值完整图像。图像拼接时，对于邻接图像通过SIFT等特征点提取，然后根据特征点进行图像对齐拼接，对于最小相邻对特征点A和特征点B，在若干z值完整图像上的距离AB可能均不同，则取最大距离作为最终距离，如无法提取有效特征点，则采用直接图像拼接方式进行。进行显微扫描时，记录图像的拍摄顺序，以保证图像之间的位置关系。

选择清晰度符合要求的z值完整图像的子图：在若干z值完整图像中，在图像的同位置滑动取图，选择清晰度符合要求的子图，对子图进行拼接即可。选择清晰度符合要求的z值完整图像的子图之前，需要对若干z值完整图像对齐，具体为通过提取特征点，根据特征点进行图像对齐。

本申请中，待测样本针对生物样本分析玻片，主要包括染色体样本玻片、组织切片玻片。上述操作方法的具体执行，可参考如下步骤：

1.设定“z值范围”与“z轴步长”：如设定“z值范围”为40~60，“z轴步长”为5，则依次固定z值为40,45,50,55,60进行扫描。

2.设定玻片“(x ,y)扫描范围”、“扫描路径”和“x轴y轴移动步长”，确保相邻拍摄视野交集区域面积>0.25×视野面积；

①“Z值范围”可通过校准玻片进行人工校正确定范围；

②“Z轴步长”可设定，如最小可设为1，则扫描的到的结果最清晰精准，但速度较慢；

③“(x, y)扫描范围”可通过全景相机拍摄玻片根据玻片内容划定范围，或简单覆盖玻片所有范围；

④“扫描路径”根据③中设定的“(x, y)扫描范围”设定S扫描移动路径（先遍历行or先遍历列）；

⑤“x轴y轴移动步长”需根据拍摄视野长宽确定，确保两次相邻拍摄视野交集区域面积>0.25×视野面积，便于后续图像对齐融合。

3.固定z值，按2中设定扫描方式完整扫描拍摄玻片，得到n张图像，并记录n张图像的顺序；

4.按照步骤3中拍摄顺序，对于邻接图像通过SIFT等特征点提取，然后根据特征点进行图像对齐拼接，其中存在某些区域由于固定z值拍摄前景不在景深内造成图像模糊，从而提取不到有效特征点进行拼接，则采用直接图像拼接（步骤6）方式，最终得到完整的玻片整体图像；

5.按照“z轴步长”调整z值，重复步骤3步骤4共m次，直到遍历完“z值范围”得到：

①不同对应z值拼接后的玻片整体图像共有m张，这些图像大小可能并不一致；

②n×m张不同视野下拍摄的图像；

6.将m张图像通过SIFT等提取特征点，根据特征点进行图像对齐，其中对于最小相邻对特征点A和特征点B，在m张玻片整体图像上的距离AB可能均不同，则取最大距离作为最终距离，其他玻片整体图像采用固定值方式进行填充对齐，得到m张对齐后同样大小的玻片整体图像，分别代表了m个z值设定下扫描拍摄玻片的整体情况，同时记录相应的z值。

本步骤中，对于m张图像共有的特征点A和特征点B，A与B之间的距离在这m张不同图像上可能不一样。比如m_0中AB距离为3，m_1中距离为4，m_2中距离为5，…，m_m中距离为3.5等，取这些距离中最大值为最终距离，如最大值为5，则m_0中AB之间应填充固定值使得AB之间距离为5，其他同理，从而实现m张图像的特征点均对齐。其中A,B为举例说明，比如实际中待对齐图像有10个特征点，则这10个特征点中每一相邻对即由特征点A和特征点B组成。

7.根据步骤6得到m张对齐后的同样大小的玻片整体图像，以设定大小a×b视野框，x轴步长a，y轴步长b，在m张“玻片整体图像”中同位置滑动取图得到m张对应区域视野的子图，通过清晰度评测算法选取m张区域视野子图最清晰图像。重复此过程得到滑动l次后的l张最清晰子图，直接按照坐标拼接这l张最清晰子图，得到1张最清晰的玻片整体图像。作为优选，所得的1张最清晰的玻片整体图像保留了各个特征点和相应z值的情况。

在申请所在的技术领域中，清晰度评测算法可概括为如下过程：通过对待评测图像进行一次高斯模糊处理，得到该图像的退化图像，然后再比较原图像和退化图像相邻像素值的变化情况，根据变化的大小确定清晰度值的高低，计算结果越小表明图像越清晰，反之越模糊。

8.医生实际使用过程，可通过最终获得的1张最清晰的玻片整体图像判断该病理切片玻片下整体情况，确定疑似异常位置及其深度信息，根据疑似异常位置，必要的话可在m张对齐后同样大小的玻片整体图像观察该位置不同z值下的情况，从而最终确定是否异常。

最后所应当说明的是，以上实施例仅用以说明本发明的技术方案而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (10)

1.一种超越景深的显微拍摄方法，其特征在于：使用染色体核型显微拍摄诊断器械，通过设定待测样本的目标扫描面积，针对目标扫描面积进行显微拍摄，具体包括以下步骤，

设定z值范围、z轴步长：设定的z值范围、z轴步长，所述待测样本包括生物样本分析玻片；

固定z值获得若干的z值完整图像：在z值范围内选择第一z值，固定第一z值对所述目标扫描面积遍历扫描，得到若干第一z值图像，拼接得到第一z值完整图像；按照z轴步长调整z值为第二z值，固定第二z值对所述目标扫描面积遍历扫描，得到若干第二z值图像，拼接得到第二z值完整图像；重复上述过程至将z值范围内所有符合z值步长的z值均被固定，扫描拼接后获得相应的z值完整图像；

选择清晰度符合要求的z值完整图像的子图：在若干z值完整图像中，在图像的同位置滑动取图，选择清晰度符合要求的子图，对子图进行拼接即可。

2.根据权利要求1所述的超越景深的显微拍摄方法，其特征在于：选择清晰度符合要求的z值完整图像的子图之前，需要对若干z值完整图像对齐，具体为通过提取特征点，根据特征点进行图像对齐。

3.根据权利要求1所述的超越景深的显微拍摄方法，其特征在于：z值范围小于等于目标扫描面积的样本厚度，z轴步长小于等于显微镜景深。

4.根据权利要求2所述的超越景深的显微拍摄方法，其特征在于：对于最小相邻对特征点A和特征点B，在若干z值完整图像上的距离AB可能均不同，则取最大距离作为最终距离。

5.根据权利要求1-4任一项所述的超越景深的显微拍摄方法，其特征在于：所述目标扫描面积，根据待测样本设定其(x ,y)扫描范围，并设定(x ,y)扫描范围的x轴步长和y轴步长，依次对所述目标扫描面积进行遍历扫描，所述遍历扫描包括先遍历行或先遍历列。

6.根据权利要求5所述的超越景深的显微拍摄方法，其特征在于：所述n个显微拍摄图像，其中相邻显微拍摄图像之间具有拍摄视野交叉区域。

7.根据权利要求6所述的超越景深的显微拍摄方法，其特征在于：所述拍摄视野交叉区域的面积大于等于0.25倍的显微镜视野面积。

8.根据权利要求2所述的超越景深的显微拍摄方法，其特征在于：如无法提取有效特征点，则采用直接图像拼接方式进行。

9.根据权利要求1所述的超越景深的显微拍摄方法，其特征在于：所述生物样本分析玻片包括染色体样本玻片、组织切片玻片。

10.根据权利要求1所述的超越景深的显微拍摄方法，其特征在于：进行显微扫描时，记录图像的拍摄顺序，以保证图像之间的位置关系。