CN115542527B - 一种微纳机器人定位追踪方法及装置 - Google Patents

Abstract

本发明提供了一种微纳机器人定位追踪方法及装置，通过获取微纳机器人承载荧光激发光源激发出的光信号对应的光场数字图像，将所述光场数字图像拆分为多个光场子孔径图像，计算各个光场子孔径图像处于不同深度下的重聚焦图像，根据重聚焦图像得到所述微纳机器人当前所在的三维空间位置信息，重复上述获取光场数字图像至得到微纳机器人的三维空间位置信息的步骤，得到微纳机器人的运动轨迹。本发明将荧光显微成像技术与光场成像技术相结合，以数字图像处理方法进行解码并获取微纳机器人的位置信息，在保留了荧光显微成像高精度优势的同时扩展了纵向的成像范围，满足了成像分辨率和成像范围同步提高的需求。

Description

一种微纳机器人定位追踪方法及装置

技术领域

本发明涉及微纳机器人技术领域，尤其涉及的是一种微纳机器人定位追踪方法及装置。

背景技术

近年来，微纳机器人相关技术取得了很大的进展，并被广泛地研究和应用到如血管疏通、药物递送等领域。微纳机器人需要在其工作环境中通过运动来发挥作用，因此，对于微纳机器人运动的定位追踪技术对整个微纳机器人领域的研究至关重要。

在微纳机器人定位追踪方面，以磁共振成像、CT、超声成像等为代表的现有医学成像技术应用较为广泛。上述技术可以提供在较大成像范围，包括横向成像视场和纵向成像深度下的微纳机器人定位追踪，然而，上述技术无法提供较高的成像分辨率，在应对体型较小的机器人个体和复杂的机器人运动时无法实现足够的精度，因此，微纳机器人定位追踪中成像范围和成像分辨率之间的平衡是亟待解决的问题。

因此，现有技术还有待改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种微纳机器人定位追踪方法及装置，旨在解决现有技术中对微纳机器人定位追踪时成像范围提高的同时无法实现较高成像分辨率的问题。

本发明解决问题所采用的技术方案如下：

第一方面，本实施例公开了一种微纳机器人定位追踪方法，其中，包括：

获取微纳机器人承载荧光激发光源激发出的光信号对应的光场数字图像；

将所述光场数字图像拆分为多个光场子孔径图像；

计算各个光场子孔径图像处于不同深度下的重聚焦图像；

根据所述重聚焦图像得到所述微纳机器人当前所在的三维空间位置信息；

重复上述获取所述光场数字图像至所述根据各个重聚焦图像得到微纳机器人的三维空间位置信息的步骤，得到所述微纳机器人的运动轨迹。

可选的，所述将所述光场数字图像拆分为多个光场子孔径图像的步骤包括：

获取单个透镜单元下面阵探测器像素的行数m和列数n；其中，m和n为大于0的整数；

将所述光场数字图像拆分为m×n幅光场子孔径图像。

可选的，所述计算各个光场子孔径图像处于不同深度下的重聚焦图像的步骤包括：

按照预设重聚焦深度值和预设深度值递增步长对各个光场子孔径图像进行像素平移，得到各个光场子孔径图像对应的平移孔径图像；

对像素平移后得到各个平移孔径图像进行叠加，得到所述预设重聚焦深度值下所述光场子孔径图像对应的所述重聚焦图像。

可选的，所述根据所述重聚焦图像得到所述微纳机器人当前所在的三维空间位置信息的步骤包括：

根据所述重聚焦图像对应的清晰度确定出所述微纳机器人的纵向位置信息；

对清晰度为最大值的重聚焦图像做边缘提取并计算连通域质心位置，得到所述微纳机器人的横向位置信息；

根据所述纵向位置信息和所述横向位置信息得到所述微纳机器人的三维空间位置信息。

可选的，所述根据所述重聚焦图像对应的清晰度确定出所述微纳机器人的纵向位置信息的步骤包括：

计算各个所述重聚焦图像的清晰度，获取各个所述重聚焦图像对应的深度清晰度曲线，以清晰度最高值对应的重聚焦深度值作为所述微纳机器人的纵向位置信息。

第二方面，本实施还公开了一种微纳机器人运动追踪装置，其中，包括：

荧光激发光源、荧光滤光片套件、微纳机器人、显微物镜、微型透镜阵列、面阵探测器和计算机处理系统；

所述荧光激发光源，用于发出荧光激发照明光束；

所述荧光滤光片套件，用于接收所述荧光激发照明光束，并将所示荧光激发照明光束过滤成荧光激发光束传给所述显微物镜，以及过滤所述显微物镜传回的荧光形成荧光发射光束；

所述显微物镜，用于对传入的荧光发射光束进行会聚，将会聚后的光束聚焦到所述微纳机器人上，并接收所述微纳机器人在聚焦光束的照射下激发出的荧光传回给所述荧光滤光片套件；

所述微型透镜阵列，用于对荧光发射光束进行编码，并将编码后的荧光发出；

所述面阵探测器，用于接收编码后的荧光信号，并输出光场数字图像到计算机处理系统；

所述计算机处理系统，用于接收所述光场数字图像，并利用所述微纳机器人定位追踪方法对所述微纳机器人进行定位追踪，得到所述微纳机器人的运动轨迹。

可选的，所述荧光激发光源包括：白光光源，会聚透镜组和场透镜；

所述白光光源，用于发出宽光谱白光；

所述会聚透镜组，用于将所述光源发出的宽光谱白光会聚成光束；

所述场透镜，用于将宽光谱白光会聚成的光束发散成平行白光光束。

可选的，所述荧光滤光片套件包括：荧光激发滤光片，二向色分光板，荧光发射滤光片；

所述荧光激发滤光片，用于接收所述荧光激发照明光束并过滤成荧光激发光束；

所述二向色分光板，用于将所述反射荧光激发光束给所述显微物镜，并将所述显微物镜传回的荧光透射到所述荧光发射滤光片；

所述荧光发射滤光片，用于过滤所述二向色分光板透射的荧光并过滤成荧光发射光束。

可选的，所述荧光滤光片套件和微型透镜阵列之间设置有：镜筒透镜；

所述镜筒透镜，用于将荧光发射光束聚焦到所述微型透镜阵列上，且所述微型透镜阵列放置在镜筒透镜的后焦面上。

可选的，所述微型透镜阵列与所述面阵探测器之间设置有：中继成像透镜组；

所述中继成像透镜组，用于对微型透镜阵列的后焦面成像，并将成像按照预设放大率成像到所述面阵探测器上。

可选的，所述微型透镜阵列各透镜单元中心标定在所述光场数字图像中。

本发明的有益效果：本发明提供了一种微纳机器人定位追踪方法及装置，通过获取微纳机器人承载荧光激发光源激发出的光信号对应的光场数字图像，将所述光场数字图像拆分为多个光场子孔径图像，计算各个光场子孔径图像处于不同深度下的重聚焦图像，根据所述重聚焦图像得到所述微纳机器人当前所在的三维空间位置信息；重复上述获取所述光场数字图像至所述根据各个重聚焦图像得到微纳机器人的三维空间位置信息的步骤，得到所述微纳机器人的运动轨迹。本发明将荧光显微成像技术与光场成像技术相结合，以数字图像处理方法进行解码并获取微纳机器人的位置信息，在保留了荧光显微成像高精度优势的同时扩展了纵向的成像范围，满足了成像分辨率和成像范围同步提高的需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的微纳机器人定位追踪方法的流程示意图；

图2是本发明实施例提供的微纳机器人定位追踪方法具体应用实施例的步骤流程图；

图3是本发明实施例提供的面阵探测器输出给计算机处理系统的光场数字图像的原图及局部放大图；

图4是本发明实施例提供的根据光场数字图像拆分的光场子孔径图像；

图5是本发明实施例中的计算得到的重聚焦图像的原图及放大图；

图6是本发明实施例中微纳机器人的运动轨迹；

图7是本发明实施例提供的微纳机器人定位追踪装置的光路图；

图7中，1-白光光源、2-会聚透镜组、3-场透镜、4-荧光激发滤光片、5-微纳机器人、6-显微物镜、7-二向色分光板、8-荧光发射滤光片、9-镜筒透镜、10-微型透镜阵列、11-中继成像透镜组、12-面阵探测器、13-计算机处理系统。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

目前微纳机器人相关技术已经取得了很大的进展，并被广泛地现代医学领域，例如：血管疏通、药物递送等领域。由于微纳机器人需要在其工作环境中通过运动来发挥作用，因此，对于微纳机器人运动的定位追踪技术对整个微纳机器人领域的研究至关重要。但是现有技术无法提供较高的成像分辨率，在应对体型较小的机器人个体和复杂的机器人运动时无法实现足够的精度。

利用显微成像技术对微纳机器人进行定位追踪是微纳机器人追踪的主流方法之一，它具备高分辨率、高灵敏度的特征。但由于显微成像技术本身的限制，成像范围只局限在一个清晰的横向焦平面上，不具备纵向的定位追踪能力。离焦扫描成像或是双目显微镜等方法可以扩展其纵向成像深度，但前者需要采集多幅图像运算无法实现实时追踪，而后者的系统过于复杂且系统标定困难。因此，微纳机器人定位追踪中，成像范围和成像分辨率之间的平衡仍是亟待解决的问题。

为了解决现有技术的问题，本实施例提供了一种微纳机器人定位追踪方法及装置，将荧光显微成像技术和光场成像技术相结合对微纳机器人进行定位追踪，其中利用微型透镜阵列对成像内容进行编码，以数字图像处理方法计算获取到微纳机器人的位置信息。

具体的，本实施例方法及装置利用荧光显微成像技术采集到微纳机器人承载光源对应的光场数字图像，再将采集到的光场数字图像传输至计算机处理系统，计算机处理系统获取到光场数字图像后，将所述光场数字图像拆分为多个光场子孔径图像，计算各个光场子孔径图像处于不同深度下的重聚焦图像，根据所述重聚焦图像得到所述微纳机器人当前所在的三维空间位置信息；重复多次上述获取所述光场数字图像至所述根据各个重聚焦图像得到微纳机器人的三维空间位置信息的步骤，直至得到微纳机器人的运动轨迹。

下面结合附图对本实施例方法及装置做进一步详细的说明。

示例性方法

如图1所示，本实施例提供了一种微纳机器人定位追踪方法，包括：

步骤S100、获取微纳机器人承载荧光激发光源激发出的光信号对应的光场数字图像。

本步骤中利用荧光显微成像技术获取到该微纳机器人对应的光场数字图像，具体的，结合图7所示荧光显微成像技术中使用的微纳机器人定位追踪装置，包括：白光光源1、会聚透镜组2、场透镜3、荧光激发滤光片4、微纳机器人5、显微物镜6、二向色分光板7、荧光发射滤光片8、镜筒透镜9、微型透镜阵列10、中继成像透镜组11、面阵探测器12和计算机处理系统13。

白光光源1出射宽光谱白光，宽光谱白光通过会聚透镜组2形成会聚光束，再通过场透镜3形成平行白光光束，会聚透镜组2的后焦面与场透镜的前焦面重合。平行白光光束通过荧光激发滤光片约束通过的波长范围，形成荧光激发光束。

荧光激发光束到达二向色分光板7，经过它的反射后通过显微物镜6，被显微物镜6聚焦到微纳机器人5上。显微物镜6将荧光激发光聚焦到微纳机器人5上，微纳机器人5在显微物镜6聚焦光束照射下，激发出荧光，荧光经过荧光发射滤光片8，经其限制通过波长范围，形成荧光发射光束。

荧光发射光束通过镜筒透镜9，会聚到微型透镜阵列10上，微型透镜阵列10对入射光进行编码后出射，出射的光束通过中继成像透镜组11，照射到面阵探测器12上。面阵探测器12采集照射到其上的光信号，并输出光场数字图像给计算机处理系统13进行运算。

步骤S200、将所述光场数字图像拆分为多个光场子孔径图像。

对上述步骤S100中获取到的光场数字图像进行拆分处理，将光场数字图像拆分成多个光场子孔径图像。进一步的，所述将所述光场数字图像拆分为多个光场子孔径图像的步骤包括：

获取单个透镜单元下面阵探测器像素的行数m和列数n；其中，m和n为大于1的自然数；将所述光场数字图像拆分为m×n幅光场子孔径图像。

首先，定义微型透镜阵列透镜单元的边长为s，面阵探测器像元尺寸为p，则有：

m＝n＝[s/p] (1)

其中，m和n分别为单个透镜单元下覆盖的面阵探测器像素的行数和列数，二者均为整数。

再次，定义光场子孔径图像I_(u，v)(x，y)，其中的单个像素索引表示在微型透镜阵列第x行第y列的透镜单元覆盖下的第u行第v列的面阵探测器像素，一幅光场数字图像I(u，v，x，y)可以拆分为m×n幅光场子孔径图像I_(u，v)(x，y)。

步骤S300、计算各个光场子孔径图像处于不同深度下的重聚焦图像。

设定深度值，基于不用深度值计算各个光场子孔径图像下的对应的重聚焦图像。由于本步骤为是给定一个预设重聚焦深度值，把所有的光场子孔径图像根据这个预设重聚焦深度值按照公式(3)、公式(4)和公式(5)进行像素平移，而后使用公式(2)进行叠加，形成该深度下的重聚焦图像，因此在固定的一个重聚焦深度值下一个光场数字图像对应一个重聚焦图像。

具体的，所述计算各个光场子孔径图像处于不同深度下的重聚焦图像的步骤包括：

按照预设重聚焦深度值和预设深度值递增步长对各个光场子孔径图像进行像素平移，得到各个光场子孔径图像对应的平移孔径图像；

对像素平移后得到各个平移孔径图像进行叠加，得到所述预设重聚焦深度值下所述光场子孔径图像对应的所述重聚焦图像。

在一种实施方式中，定义深度值Δz，在该深度值下重聚焦图像按以下公式计算：

E_Δz(x',y')＝∫∫L_(u,v)(x+Δx_u,y+Δy_v)dudv (2)

Δx_u＝Δz·tan(θ_u),Δy_v＝Δz·tan(θ_v) (3)

θ_u＝M·arctan(θ'_u),θ_v＝M·arctan(θ'_v) (4)

θ'_u＝Δu·p/f_MLA,θ'_v＝Δv·p/f_MLA (5)

其中，M为显微物镜的放大率，f_MLA为微型透镜阵列焦距，p为面阵探测器像元尺寸，Δu和Δv分别为当前的u，v索引下的像素与透镜单元中心位置的像素间距，Δx_u和Δy_v分别是当前的u，v索引下的光场子孔径图像I_(u，v)(x，y)在x，y坐标上平移的距离，也即是预设深度值递增步长，θ_u和θ_v分别为物方空间中上述平移距离与重聚焦深度Δz之间的夹角，θ′_u和θ′_v分别是上述夹角在像方空间的共轭角度。根据微纳机器人定位追踪装置的设计量程和纵向分辨率，顺序设置不同的重聚焦深度Δz，可获得一系列的重聚焦图像E_Δz(x′，y′)。

步骤S400、根据所述重聚焦图像得到所述微纳机器人当前所在的三维空间位置信息。

微纳机器人的三维空间位置信息包括：纵向位置信息和横向位置信息。在具体实施方式中，根据所述重聚焦图像对应的清晰度确定出所述微纳机器人的纵向位置信息；对清晰度为最大值的重聚焦图像做边缘提取并计算提取的重聚焦图像的连通域质心位置，得到所述微纳机器人的横向位置信息。

具体的，计算各个所述重聚焦图像的清晰度，获取各个所述重聚焦图像对应的深度清晰度曲线，以清晰度最高值对应的重聚焦深度值作为所述微纳机器人的纵向位置信息。其中，深度清晰度曲线的峰值对应的时重聚焦深度值的最高值，以该最高值作为微纳机器人的纵向位置信息。

步骤S500、重复上述获取所述光场数字图像至所述根据各个重聚焦图像得到微纳机器人的三维空间位置信息的步骤，得到所述微纳机器人的运动轨迹。

上述步骤S100至步骤S400对微纳机器人进行一次定位，则通过重复上述各个步骤，分别获取到一系列时序下对微纳机器人的多次定位，从而获取到其在该时序下的运动轨迹，实现对其运动进行追踪。

下面结合图2至图6所示，对本发明方法的具体应用实施例进一步的说明。

如图2所示，首先步骤一，获取光场数字图像I(u，v，x，y)，光场数字图像如图3所示，然后采用均值滤波方式对光场数字图像进行滤波降噪。

根据步骤二，标定微型透镜阵列各透镜单元中心在光场数字图像中的位置，以实现获取到更为清晰的光场数字图像和获取到更为准确的微纳机器人的纵向位置信息和横向位置信息。

根据步骤三，将光场数字图像I(u，v，x，y)拆分为多个光场子孔径图像I_(u，v)(x，y)，根据所述装置设定的参数，单个透镜单元下覆盖的面阵探测器像素的行数和列数m＝n＝16，共包含16×16幅光场子孔径图像，按照顺序排布如附图4所示。

根据步骤四，指定重聚焦深度Δz，计算重聚焦图像E_Δz(x′，y′)。其中，实施例所述装置的量程为±200μm，纵向分辨率为1μm，指定重聚焦深度Δz为-200μm按1μm步长递增至200μm，共计401组重聚焦深度及数字重聚焦图像。如图5所示为Δz＝0μm时的重聚焦图像E₀(x′，y′)。

根据步骤五，计算上述401幅重聚焦图像E_Δz(x′，y′)，获取附图5所示的清晰度随深度变化曲线，其峰值位置为清晰度最佳位置，输出微纳机器人纵向位置信息z_p＝0μm。

根据步骤六，选取最佳清晰度的重聚焦图像E₀(x′，y′)，进行重聚焦图像的边缘提取并计算连通域质心位置，输出微纳机器人横向位置信息。例如：若获取到的连通域质心位置为x_p＝0μm，y_p＝0μm，则输出微纳机器人当前的空间位置信息为(x_p＝0μm,y_p＝0μm,z_p＝0μm)，完成微纳机器人当前所在位置定位。

根据步骤七，控制微纳机器人运动，并连续采集光场数字图像形成一段时间内的图像序列，例如：在该时间段内采集到的图像系列包含光场数字图像总数为61幅。对该图像序列中的各个光场数字图像重复步骤一至六，完成微纳机器人追踪。附图6为上述过程中的微纳机器人运动轨迹。

本实施例中对微纳机器人的定位基于单帧图像完成，追踪效率只取决于单帧图像的采集效率，因此具备实时追踪的潜力。

本实施例的目的是为了解决机器人运动定位追踪过程中成像范围和成像分辨率之间的平衡性问题，在保证成像分辨率的基础上提高成像范围。本发明提出了一种基于荧光光场成像的微纳机器人定位追踪装置，以及定位追踪方法，通过将荧光显微成像技术与光场成像技术相结合，应用到微纳机器人定位追踪领域，以微型透镜阵列对成像内容进行编码，以数字图像处理方法进行解码并获取微纳机器人的位置信息，在保留了荧光显微成像高精度优势的同时扩展了纵向的成像范围。

示例性设备

本发明实施例提供一种微纳机器人运动追踪装置，如图7所示，包括：

荧光激发光源、荧光滤光片套件、微纳机器人5、显微物镜6、微型透镜阵列10、面阵探测器12和计算机处理系统13；

所述荧光激发光源，用于发出荧光激发照明光束；其包括：白光光源1，会聚透镜组2，场透镜3和荧光激发滤光片4。

所述白光光源1，用于发出宽光谱白光；

所述会聚透镜组2，用于将所述光源发出的宽光谱白光会聚成光束；

所述场透镜3，用于将宽光谱白光会聚成的光束发散成平行白光光束；

所述荧光滤光片套件，用于接收所述荧光激发照明光束并过滤成荧光激发光束传给所述显微物镜，以及过滤所述显微物镜传回的荧光形成荧光发射光束；其包括:荧光激发滤光片4，二向色分光板7，荧光发射滤光片8；

所述荧光激发滤光片4，用于接收所述荧光激发照明光束，并将所述荧光激发照明光束过滤成荧光激发光束；

所述二向色分光板7，用于将所述反射荧光激发光束给所述显微物镜，并将所述显微物镜传回的荧光透射到所述荧光发射滤光片；

所述荧光发射滤光片8，用于过滤所述二向色分光板透射的荧光并过滤成荧光发射光束。

所述显微物镜6，用于对传入的荧光发射光束进行会聚，并将会聚后的光束聚焦到所述微纳机器人上，微纳机器人在聚焦光束的照射下激发出的荧光传回给所述荧光滤光片套件；

所述微型透镜阵列10，对荧光发射光束进行编码，并将编码后的荧光发出；

所述面阵探测器12，用于接收编码后的荧光信号，并输出光场数字图像到计算机处理系统13；

所述计算机处理系统13，用于接收到的所述光场数字图像，并利用所述的微纳机器人5定位追踪方法对所述微纳机器人5进行定位追踪，得到所述微纳机器人5的定位及运动轨迹。

具体的，所述荧光滤光片套件和微型透镜阵列之间还依次设置有：镜筒透镜；

所述镜筒透镜9，用于将荧光发射光束聚焦到所述微型透镜阵列10上，且所述微型透镜阵列10放置在镜筒透镜9的后焦面上。

在一种实施方式中，微纳机器人为一个经双光子聚合工艺制造的螺旋结构微纳机器人，体长和螺旋直径分别为150μm和50μm，采用罗丹明B荧光染料染色。定义装置的光轴与显微物镜的物方焦平面的交点为原点，物方焦平面的横向和纵向坐标为(x,y)，光轴方向为z。

进一步的，所述微型透镜阵列与所述面阵探测器之间还设置有：中继成像透镜组11；

所述中继成像透镜组11，用于对微型透镜阵列10的后焦面成像，并将成像按照预设放大率成像到所述面阵探测器12上。

所述的荧光激发滤光片、二向色分光板、荧光发射滤光片需根据微纳机器人样本的荧光特征选取。

所述的微型透镜阵列中各透镜单元之间应紧密排布以保证对入射光的完全编码，微型透镜阵列放置在镜筒透镜的后焦面上。

所述的中继成像透镜组为放大率为1:1的透镜组，中继成像透镜组对微型透镜阵列的后焦面成像，按照放大率1:1成像到面阵探测器上。

定义显微物镜的放大率为M，显微物镜数值孔径为NA，微型透镜阵列的F数为F_MLA，上述参数应满足不等式：

F_MLA≤M/2NA (6)

当入射光经过微型透镜阵列被编码时，每个微透镜口径下的编码后形成的光斑相互独立，没有混叠。当上述不等式取等号时，微型透镜阵列的编码效果最好。

本实施例的白光光源为可见光波段的宽带白光光源，可采用卤素灯作为白光光源；荧光激发滤光片、二向色分光板和荧光发射滤光片的通过波长根据罗丹明B染料特性选择，配套使用；荧光激发滤光片透过波长540-580nm，荧光发射滤光片透过波长595-665nm，二向色分光板透过波长585nm以上，反射波波长585nm以下；显微物镜的放大率M＝10，数值孔径NA＝0.3；微型透镜阵列透镜单元边长s＝100μm，焦距f_MLA＝1.5mm，F数F_MLA＝15，满足不等式(6)；中继成像透镜组放大率为1；面阵探测器像元尺寸p＝6.5μm，分辨率2560×2160。定义定位追踪装置的光轴与显微物镜的物方焦平面的交点为原点，物方焦平面的横向和纵向坐标为(x，y)，光轴方向为z。

为了取得更精确的光信号，所述微型透镜阵列10各透镜单元中心标定在所述光场数字图像中的位置。

本发明所述方法将荧光显微成像技术与光场成像技术相结合，应用到微纳机器人定位追踪领域，以微型透镜阵列对成像内容进行编码，以数字图像处理方法进行解码并获取微纳机器人的位置信息，在保留了荧光显微成像高精度优势的同时扩展了纵向的成像范围。本发明对于微纳机器人的定位追踪基于单帧图像完成，追踪效率只取决于单帧图像的采集效率，因此可以取得实时追踪定位的效果。

本发明的有益效果：本发明提供了一种微纳机器人定位追踪方法及装置，通过获取微纳机器人承载荧光激发光源激发出的光信号对应的光场数字图像，将所述光场数字图像拆分为多个光场子孔径图像，计算各个光场子孔径图像处于不同深度下的重聚焦图像，根据所述重聚焦图像得到所述微纳机器人当前所在的三维空间位置信息；重复上述获取所述光场数字图像至所述根据各个重聚焦图像得到微纳机器人的三维空间位置信息的步骤，得到所述微纳机器人的运动轨迹。本实施例将荧光显微成像技术与光场成像技术相结合，以数字图像处理方法进行解码并获取微纳机器人的位置信息，在保留了荧光显微成像高精度优势的同时扩展了纵向的成像范围，满足了成像分辨率和成像范围同步提高的需求。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种微纳机器人定位追踪方法，其特征在于，包括：

获取微纳机器人承载荧光激发光源激发出的光信号对应的光场数字图像；

将所述光场数字图像拆分为多个光场子孔径图像；

计算各个光场子孔径图像处于不同深度下的重聚焦图像；

根据所述重聚焦图像得到所述微纳机器人当前所在的三维空间位置信息；

重复上述获取所述光场数字图像至所述根据各个重聚焦图像得到微纳机器人的三维空间位置信息的步骤，得到所述微纳机器人的运动轨迹；

所述计算各个光场子孔径图像处于不同深度下的重聚焦图像的步骤包括：

按照预设重聚焦深度值和预设深度值递增步长对各个光场子孔径图像进行像素平移，得到各个光场子孔径图像对应的平移孔径图像；

对像素平移后得到各个平移孔径图像进行叠加，得到所述预设重聚焦深度值下所述光场子孔径图像对应的所述重聚焦图像；

所述根据所述重聚焦图像得到所述微纳机器人当前所在的三维空间位置信息的步骤包括：

根据所述重聚焦图像对应的清晰度确定出所述微纳机器人的纵向位置信息；

对清晰度为最大值的重聚焦图像做边缘提取，并计算连通域质心位置，得到所述微纳机器人的横向位置信息；

根据所述纵向位置信息和所述横向位置信息得到所述微纳机器人的三维空间位置信息。

2.根据权利要求1所述的微纳机器人定位追踪方法，其特征在于，所述将所述光场数字图像拆分为多个光场子孔径图像的步骤包括：

获取单个透镜单元下面阵探测器像素的行数m和列数n；其中，m和n为大于0的整数；

将所述光场数字图像拆分为m×n幅光场子孔径图像。

3.根据权利要求1所述的微纳机器人定位追踪方法，其特征在于，所述根据所述重聚焦图像对应的清晰度确定出所述微纳机器人的纵向位置信息的步骤包括：

计算各个所述重聚焦图像的清晰度，获取各个所述重聚焦图像对应的深度清晰度曲线，以清晰度最高值对应的重聚焦深度值作为所述微纳机器人的纵向位置信息。

4.一种微纳机器人定位追踪装置，其特征在于，包括：

荧光激发光源、荧光滤光片套件、微纳机器人、显微物镜、微型透镜阵列、面阵探测器和计算机处理系统；

所述荧光激发光源，用于发出荧光激发照明光束；

所述荧光滤光片套件，用于接收所述荧光激发照明光束，并将所述荧光激发照明光束过滤成荧光激发光束传给所述显微物镜，以及过滤所述显微物镜传回的荧光形成荧光发射光束；

所述显微物镜，用于对传入的荧光发射光束进行会聚，并将会聚后的光束聚焦到所述微纳机器人上，并接收所述微纳机器人在聚焦光束的照射下激发出的荧光传回给所述荧光滤光片套件；

所述微型透镜阵列，用于对荧光发射光束进行编码，并将编码后的荧光发出；

所述面阵探测器，用于接收编码后的荧光信号，并输出光场数字图像到计算机处理系统；

所述计算机处理系统，用于接收所述光场数字图像，并利用如权利要求1-3任一项所述的微纳机器人定位追踪方法对所述微纳机器人进行定位追踪，得到所述微纳机器人的运动轨迹。

5.根据权利要求4所述的微纳机器人定位追踪装置，其特征在于，所述荧光激发光源包括：白光光源，会聚透镜组和场透镜；

所述白光光源，用于发出宽光谱白光；

所述会聚透镜组，用于将所述光源发出的宽光谱白光会聚成光束；

所述场透镜，用于将宽光谱白光会聚成的光束发散成平行白光光束。

6.根据权利要求5所述的微纳机器人定位追踪装置，其特征在于，所述荧光滤光片套件和微型透镜阵列之间设置有：镜筒透镜；

所述镜筒透镜，用于将荧光发射光束聚焦到所述微型透镜阵列上，且所述微型透镜阵列放置在镜筒透镜的后焦面上。

7.根据权利要求6所述的微纳机器人定位追踪装置，其特征在于，所述微型透镜阵列与所述面阵探测器之间设置有：中继成像透镜组；

所述中继成像透镜组，用于对微型透镜阵列的后焦面成像，并将成像按照预设放大率成像到所述面阵探测器上。

8.根据权利要求4-7任一项所述的微纳机器人定位追踪装置，其特征在于，所述微型透镜阵列各透镜单元中心标定在所述光场数字图像中。

Images