CN106324820A - 一种双通道荧光光学显微成像中基于图像处理的自动对焦方法 - Google Patents

Abstract

本发明公开了一种双通道荧光光学显微成像中基于图像处理的自动对焦方法，包括S1获得生物组织样本当前冠状面轮廓，并获得三个对焦窗口位置；S2对三个对焦窗口进行扫描，并采集第i层生物组织样本细胞构筑通道的图像；S3判断当前层三个对焦窗口的图像采集是否完成，若是，则i＝i+1，并进入S4，若否，则返回S2；S4判断采集层数i是否大于预设的阈值，若是，则进入S5，若否，则返回S2；S5对采集的生物组织样本细胞构筑通道的图像进行处理，获得每一帧图像的对焦评价值；S6获得三个最大的对焦评价值所在的层数；S7判断三个最大的对焦评价值所在的层数是否相同，若是，则进入S8，若否，则结束；S8获得焦面需要调节的大小；并根据得焦面需要调节的大小进行调焦。

Description

一种双通道荧光光学显微成像中基于图像处理的自动对焦 方法

技术领域

本发明属于生物成像技术领域，更具体地，涉及一种双通道荧光光学显微成像中基于图像处理的自动对焦方法。

背景技术

在荧光光学显微成像中，为了能够获取生物组织样本完整的形态数据，通常都是对整个生物组织样本进行切片成像，该过程需要经历数天的时间。生物荧光信号基本都是特别微弱与纤细，特别是神经信号，其大小属于百纳米级。在荧光光学显微成像中，物镜与生物组织样本表面之间有一定的介质，即空气，缓冲水溶液等，若介质在成像过程中发生变化，比如缓冲水溶液的温度以及浓度都会影响光在水中的折射率，从而改变物镜焦面的位置。故在荧光显微成像过程中需要保证成像系统的焦面在生物组织样本的表面，即使成像系统的焦面与生物组织样本的表面相差有1μm，整个荧光信号也完全是模糊的，所以荧光光学显微成像系统在长时间成像过程中一定需要进行焦面调节。针对该焦面问题，可以采取人员值班的方式，定时进行查看成像系统焦面并调节，但是这种方法人力成本太大，技术门槛高，故需要一种成像系统能够自动调焦的方法。

自动对焦技术在数码相机与监控系统等方面已经是一项比较成熟的技术，但是在显微镜领域的应用却很少。在荧光光学显微成像领域中，国外的几家光学公司即Olympus，Nikon和Zeiss，都有一些荧光显微成像系统具有自动对焦功能，但是这些具有自动对焦功能的荧光显微成像的售价十分昂贵，并且其自动对焦方法基本都是基于硬件进行对焦；有些荧光显微成像系统的自动对焦方法应用于玻片成像，即通过玻片表面的反射光进行焦面判断。所以，这种对焦方法并没有实现对生物组织本身进行对焦，而只是确定了荧光光学显微成像系统理想状态下的对焦。若物镜与样品之间有缓冲溶液作为介质，则温度或者缓冲溶液的浓度都会影响光的折射率，从而基于该方法的自动对焦毫无效果，故需要一种基于生物组织图像的自动调焦方法。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种双通道荧光光学显微成像中基于图像处理的自动对焦方法，旨在解决使用荧光光学显微成像系统对生物组织样本成像过程中，成像的焦面会随着环境温度以及介于物镜与生物组织样本表面间的溶液浓度的变化而变化的问题。

本发明提供了一种双通道荧光光学显微成像中基于图像处理的自动对焦方法，包括下述步骤：

S1：获得生物组织样本当前冠状面轮廓，并通过当前冠状面轮廓获得三个对焦窗口位置；

S2：通过控制三维精密移动控制平台移动到所述对焦窗口位置来实现对三个对焦窗口进行扫描，并采集第i层生物组织样本细胞构筑通道的图像；i的初值为1；细胞构筑通道是指成像系统中能够获取生物组织样本细胞构筑信息的通道；

S3：判断当前层三个对焦窗口的图像采集是否完成，若是，则i＝i+1，并进入步骤S4，若否，则返回至步骤S2；

S4：判断采集层数i是否大于预设的阈值，若是，则进入步骤S5，若否，则返回至步骤S2；

S5：使用能量梯度算法对采集的生物组织样本细胞构筑通道的图像进行处理，获得每一帧图像的对焦评价值；

S6：将三个对焦窗口不同层数的对焦评价值分别按照从大到小进行排序，获得三个最大的对焦评价值所在的层数；

S7：判断三个最大的对焦评价值所在的层数是否相同，若是，则进入步骤S8，若否，则结束自动对焦过程；

S8：根据最大的对焦评价值所在的层数、当前冠状面层数和Z轴扫描步进值，获得焦面需要调节的大小；并根据得焦面需要调节的大小进行调焦。

更进一步地，步骤S1中获得生物组织样本当前冠状面轮廓的步骤具体为：

S11：获取当前生物组织样本细胞构筑通道图像；

S12：对所述生物组织样本细胞构筑通道图像进行均值滤波处理多次后，获得滤波图像；

S13：将所述滤波图像中每个像素点的灰度值按从小到大的顺序进行排序，将前一半的灰度值取平均得到均值M，将均值M乘以倍数N得到冠状面图像的阈值T；倍数N为0.5～3；

S14：采用阈值T对所述滤波图像进行二值化处理，获得二值化图像；

S15：对所述二值化图像进行腐蚀处理获得生物组织样本当前冠状面轮廓。

更进一步地，在步骤S12中，采用3*3的模版进行均值滤波处理，且均值滤波处理的次数为20；在步骤S15中，腐蚀处理具体为：以5*5的矩形模版进行10次腐蚀操作。

更进一步地，三个对焦窗口中第一个对焦窗口的位置为：(x2，y2)，第二个对焦窗口的位置为：(x2-0.3，y2)，第三个对焦窗口的位置为：(x2-0.6，y2)；其中，x2是第一个对焦窗口的位置的横坐标，y2是第一个对焦窗口的位置的纵坐标。

更进一步地，步骤S4中，Z轴步进值J的取值范围是0.0001mm～0.001mm，预设的阈值K的范围为5～15。

更进一步地，步骤S5中，所述对焦评价值为：其中，E为对焦评价值，x，y分别对应图像中像素点的坐标，f(x,y)表示在图像中(x,y)像素点的灰度值。

更进一步地，步骤S8中，焦面需要调节的大小等于当前冠状面层数与最大的对焦评价值所在的层数之差乘以Z轴扫描步进值。

通过本发明所构思的以上技术方案，与现有技术相比，由于本发明使用生物组织样本细胞构筑通道的图像作为自动对焦的判断基准，确保了自动对焦过程获取的图像具有大量的细胞轮廓信息，所以能够有效的判断自动对焦图像的清晰度，从而增加了自动对焦过程的稳定性与准确性。

附图说明

图1为本发明实施例提供的自动对焦中三维精密移动控制平台的结构示意图；

图2为本发明实施例提供的对焦窗口选取示意图；

图3为本发明实施例提供的双通道荧光光学显微成像中基于图像处理的自动对焦方法的实现流程图；

图4为本发明实施例提供的双通道荧光光学显微成像中基于图像处理的自动对焦方法中生物组织样本轮廓范围提取的方法实现流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供的双通道荧光显微成像系统中的基于图像处理的自动对焦方法适用于支持双通道荧光光学显微成像的系统；具有较高的对焦质量与对焦稳定性。在生物组织样本进行双通道荧光成像中，一个通道对生物标记信号进行荧光成像，另一个通道对生物组织样本的细胞构筑进行成像。生物组织样本的细胞构筑通道能够观察到被染色后的细胞荧光图像，有组织的地方就有细胞，所以可在任何时候使用这些细胞信号图像作为焦面的判断依据。在荧光光学显微成像中，由于生物标记信号通道的信号十分稀少，若是稀疏标记的样本，在生物组织样本一个冠状面中，该冠状面大小20000*40000像素，每个像素0.0002mm，所有信号所占像素的数量也只有数百个像素点而已，可见要想在生物标记信号通道自动找到信号并实现自动对焦是十分困难的。则使用生物组织样本的细胞构筑通道可以较为轻松的找到细胞图像，并进行自动对焦，所以可以克服原本生物标记信号通道中的信号的不确定性，提高了自动对焦的对焦质量与稳定性。

通过本发明所构思的以上技术方案，与现有的基于测量生物组织样本与物镜间的距离的方法相比，由于其完全基于图像处理的方式进行自动对焦，能够完全不受环境因素干扰，更加稳定的，精确的对生物组织样本进行对焦。

下面结合附图来进一步说明本发明的技术方案，此处所描述的具体实施方式仅仅用于解释本发明，并非对本发明进行限定。另外还需要说明的是，为了便于描述，附图中仅仅出现了与本发明相关的核心内容并非全部。

图1为本发明的双通道荧光光学显微成像系统的结构示意图，其中三维精密移动控制平台1上安装加工槽2，加工槽可以紧密固定于三维精密移动控制平台上，生物组织样本3固定于加工槽中。刀具4可实现对生物组织样本进行切削，每切削完成一个冠状面，三维精密移动控制平台携带生物组织样本移动至物镜5下方进行扫描成像。生物组织样本被激发的荧光图像通过物镜再经过探测光路6，使用滤光片将混合的荧光图像分离成两个通道不同的信号分别被TDICCD7和TDICCD8采集。两个通道的TDICCD采集的图像通过线缆9，10传送至计算机系统11。计算机系统通过线缆12控制三维精密移动控制平台的控制箱11，同时控制箱通过线缆13控制三维精密移动控制平台的运动。整个系统的坐标轴如图中所示，三维精密移动控制平台的坐标轴与图中坐标轴相同，当三维精密移动控制平台沿X轴正向移动时进行生物组织样品的切削或者成像过程，同时三维精密移动控制平台需要沿Y轴正方向步进，完成生物组织样品整个冠状面的切削或者成像。生物组织样品固定于加工槽中，同时加工槽固定于三维精密移动控制平台上，则生物组织样品与三维精密移动控制平台的X轴，Y轴与Z轴正方向相同。

图2为本发明的对焦窗口选取位置示意图，其中A矩形框代表整个荧光显微成像系统中的成像范围，B矩形框代表实际的生物组织样本的最大包围矩形框的范围，其左上角和右下角的坐标分别是(x0，y0)，(x1，y1)，可通过图4中流程计算得出B矩形框的范围。在自动对焦过程中，需要对有生物组织的地方进行采样，所以首先需要计算出当前冠状面轮廓的范围，这样才能更精确的选取对焦窗口。a，b，c矩形框分别代表对焦窗口位置，即是在生物组织样本表面中选取的三个对焦窗口，a，b，c相邻且位于生物组织样本Y方向不同的位置，在X方向三个对焦窗口处于正中心，本实例中荧光显微成像系统正常成像过程中获取生物组织样本的一帧图像大小是0.42*0.3mm，故该实例中选取a，b，c的长度是5帧图像的长度即2.1mm，宽度是0.3mm。a点的起始点的位置坐标是(x2，y2)，则x2＝(x1-x0)/2-0.42*5/2，y2＝(y1-y0)/2-0.3，则b点和c点的起始点在x方向与a点相同，y方向依次递减0.3mm。在荧光成像中，有组织的地方就会有荧光，在没有组织的地方几乎是看不到光亮的，所以使用生物组织样本的细胞构筑通道作为自动对焦的基础，基本上都有细胞图像从而在克服了选取对焦窗口没有图像的问题。至于为什么选取三个对焦窗口，是由于B矩形框范围比较大，对整个B矩形框范围成像需要花费成倍的时间，同时使用B矩形框范围的图像进行计算，需要大量的时间，减小了自动对焦的效率，综合考虑，三个对焦窗口既可以减少系统误差也不会影响自动对焦的速度，所以选取三个对焦窗口是合适的。

图3为本发明的自动对焦方法的实现流程，具体包括：

步骤S1：计算生物组织样本当前冠状面轮廓，并通过当前冠状面轮廓计算三个对焦窗口位置，具体计算方法详见图2所示。

步骤S2：移动三维精密移动控制平台，准备对三个对焦窗口进行扫描采图。该步骤是根据步骤S1中计算出的对焦窗口位置，将三维精密移动控制平台移动到对焦窗口位置，准备进行扫描采图。

步骤S3：扫描采图，并判断当前层三个对焦窗口图像采集是否完成。若是，则进入步骤S4，若否，则继续进行扫描采图。同时该步骤中所采集的图像都是生物组织样本细胞构筑通道的图像。

步骤S4：以一定步进值J移动Z轴，并判断采集层数是否大于K，若是，则进行步骤S5，若否，则回到步骤S3继续扫描采图，其中步进值J的范围是0.0001mm～0.001mm，K的范围是5～15。该过程需要控制三维精密移动控制平台Z轴以一定的步进移动，对三个对焦窗口进行扫描采图，实现对当前生物组织冠状面Z轴扫描的目的。该实例中，Z轴的步进优选的使用0.0002mm，扫描层数优选的是11层。该步骤中判断采集层数用到的11是根据实际情况，综合实验过后得到的一个最好的参数，既可以有效的采集到自动对焦需要的图像，还可以使整个自动对焦过程时间不至于太长。

步骤S5：使用能量梯度算法对图像进行处理，得到每一帧图像的对焦评价值。灰度梯度算法公式如下：

$E=\underset{x}{\Σ}\underset{y}{\Σ}\{{\[f(x+1,y)-f(x,y)\]}^2+{\[f(x,y+1)-f(x,y)\]}^2\}$

该公式中，E表示图像经过该梯度函数计算后得到的值，即对焦评价值；x，y分别对应图像中像素点的坐标，f(x,y)表示在图像中(x,y)像素点的灰度值。

步骤S6：分别比较三个对焦窗口不同层数的对焦评价值，得到最大的对焦评价值所在的层数。

步骤S7：对比三个对焦窗口得到的对焦评价值最大的层数，判断是否一致。若是，则进行步骤S8，若否，则结束自动对焦过程。

步骤S8：根据步骤S7中的层数和Z轴扫描采图的步进，可以计算得出焦面需要调节的大小。若该实例中步骤S7中层数是3，当前冠状面层数是5，Z轴扫描采图的步进是0.0002mm，则焦面调节大小是(5-3)*0.0002mm。

图4为本发明的生物组织样本轮廓范围提取的方法流程图，具体包括：

步骤S11：获取当前冠状面图像，该冠状面图像是生物组织样本细胞构筑通道图像。

步骤S12：用3*3模版对图像做均值滤波处理20次，得到滤波图像。

步骤S13：将滤波图像中每个像素点的灰度值按从小到大的顺序排序，将前一半的灰度值取平均得到均值M，将均值M乘以倍数N得到冠状面图像的阈值T，倍数N为0.5～3，本实例中优选的选择N＝1.5；

步骤S14：采用阈值T对所述滤波图像进行二值化处理，获得二值化图像。

步骤S15：对所述二值化图像进行腐蚀处理获得腐蚀后的腐蚀图像；具体可以以5*5的矩形模版进行10次腐蚀操作。

由于对应的生物组织样本是用树脂进行包埋成像，所以每一个冠状面都能看到树脂的边缘以及树脂中的一些杂质，这些都会影响后面的轮廓检测，故需要进行腐蚀操作来将这些杂质以及树脂边缘剔除。

步骤S16：对腐蚀后的腐蚀图像进行取轮廓处理获得第一矩形框。

由于本发明的自动对焦方法是完全基于图像处理的方式，所以在选取对焦窗口时，一定要要保证所选取的对焦窗口是有生物组织的地方，所以需要首先计算出当前冠状面生物组织样本的轮廓范围，然后在该轮廓范围中选取对焦窗口，确保了选取的对焦窗口是有组织图像的。

综上所述，本发明中的自动对焦方法可以很好的解决荧光光学显微成像中焦面随着环境变化而变化的问题。同时，该自动对焦方法是在双通道荧光光学显微成像中使用了生物组织样本细胞构筑通道作为自动对焦的条件，更加直接的对生物样本本身进行对焦，具有较高的准确性和稳定性。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种双通道荧光光学显微成像中基于图像处理的自动对焦方法，其特征在于，包括下述步骤：

S1：获得生物组织样本当前冠状面轮廓，并通过当前冠状面轮廓获得三个对焦窗口位置；

S2：通过控制三维精密移动控制平台移动到所述对焦窗口位置来实现对三个对焦窗口进行扫描，并采集第i层生物组织样本细胞构筑通道的图像；i的初值为1；

S3：判断当前层三个对焦窗口的图像采集是否完成，若是，则i＝i+1，并进入步骤S4，若否，则返回至步骤S2；

S4：判断采集层数i是否大于预设的阈值，若是，则进入步骤S5，若否，则返回至步骤S2；

S5：使用能量梯度算法对采集的生物组织样本细胞构筑通道的图像进行处理，获得每一帧图像的对焦评价值；

S6：将三个对焦窗口不同层数的对焦评价值分别按照从大到小进行排序，获得三个最大的对焦评价值所在的层数；

S7：判断三个最大的对焦评价值所在的层数是否相同，若是，则进入步骤S8，若否，则结束自动对焦过程；

S8：根据最大的对焦评价值所在的层数、当前冠状面层数和Z轴扫描步进值，获得焦面需要调节的大小；并根据得焦面需要调节的大小进行调焦。

2.如权利要求1所述的自动对焦方法，其特征在于，步骤S1中获得生物组织样本当前冠状面轮廓的步骤具体为：

S11：获取当前生物组织样本细胞构筑通道图像；

S12：对所述生物组织样本细胞构筑通道图像进行均值滤波处理多次后，获得滤波图像；

S13：将所述滤波图像中每个像素点的灰度值按从小到大的顺序进行排序，将前一半的灰度值取平均得到均值M，将均值M乘以倍数N得到冠状面图像的阈值T；倍数N为0.5～3；

S14：采用阈值T对所述滤波图像进行二值化处理，获得二值化图像；

S15：对所述二值化图像进行腐蚀处理获得生物组织样本当前冠状面轮廓。

3.如权利要求2所述的自动对焦方法，其特征在于，在步骤S12中，采用3*3的模版进行均值滤波处理，且均值滤波处理的次数为20；在步骤S15中，腐蚀处理具体为：以5*5的矩形模版进行10次腐蚀操作。

4.如权利要求1-3任一项所述的自动对焦方法，其特征在于，三个对焦窗口中第一个对焦窗口的位置为：(x2，y2)，第二个对焦窗口的位置为：(x2-0.3，y2)，第三个对焦窗口的位置为：(x2-0.6，y2)；其中，x2是第一个对焦窗口的位置的横坐标，y2是第一个对焦窗口的位置的纵坐标。

5.如权利要求1-4任一项所述的自动对焦方法，其特征在于，步骤S4中，Z轴步进值的范围是0.0001mm～0.001mm，预设的阈值K范围是5～15。

6.如权利要求1-5任一项所述的自动对焦方法，其特征在于，步骤S5中，所述对焦评价值为其中，E为对焦评价值，x，y分别对应图像中像素点的坐标，f(x,y)表示在图像中(x,y)像素点的灰度值。

7.如权利要求1-5任一项所述的自动对焦方法，其特征在于，步骤S8中，焦面需要调节的大小等于当前冠状面层数与最大的对焦评价值所在的层数之差乘以Z轴扫描步进值。