CN103941752B - 一种线虫实时自动追踪成像系统 - Google Patents

Abstract

本发明提供一种线虫实时自动追踪成像系统，包括光源装置、四轴载物运动装置、图像采集装置和主控装置，光源装置为线虫提供明场照明；四轴载物运动装置包括二轴平移台和旋转台，根据主控装置的控制指令调节线虫垂轴面内位置，使线虫上感兴趣区域始终位于图像采集装置的采集区域中心；图像采集装置用于实时采集运动线虫的原始图像；主控装置用于根据图像采集装置采集到的线虫的原始图像进行计算，确定线虫中心线上的离散点列，根据中心线点列拟合出线虫的中心曲线，根据中心曲线坐标确定线虫感兴趣区域中心点的当前帧位置，结合感兴趣区域中心点的上一帧预测位置和当前帧测量位置预测感兴趣区域中心点的下一帧位置，并向四轴载物运动装置发送控制指令。本发明能精确地对无约束自由爬行的活体线虫开展感兴趣区域的实时追踪成像。

Description

一种线虫实时自动追踪成像系统

技术领域

本发明涉及一种成像装置，特别是涉及一种线虫实时自动追踪成像系统。

背景技术

目前，国内外针对线虫感知行为学的研究主要采取下述三种手段开展：一是研究线虫突变体；二是固定线虫进行电生理记录或荧光成像；三是利用激光切除或光遗传学技术干扰特定神经元，由此探明特定神经元的功能。其中，基于线虫突变体的行为学研究结果尚无法确切刻画目标神经元的复合功能，基于固定线虫的电生理研究和成像研究又不适用于趋避性行为，基于激光切除或光遗传学技术的行为学研究又极其依赖于转录试剂和光照剂量。

发明内容

本发明的目的是提供一种线虫实时自动追踪成像系统，其能精确地对无约束自由爬行的活体线虫开展感兴趣区域的追踪成像。

为实现上述目的，本发明提供一种线虫实时自动追踪成像系统，包括光源装置、四轴载物运动装置、图像采集装置和主控装置，其中：所述光源装置，用于为线虫提供明场照明；所述四轴载物运动装置，用于放置线虫，包括二轴平移台和旋转台，根据所述主控装置的控制指令调节所述线虫垂轴面内位置，使所述线虫感兴趣区域始终位于所述图像采集装置的采集区域中心；所述图像采集装置，用于实时采集运动线虫的原始图像；所述主控装置，用于根据所述图像采集装置采集到的线虫的原始图像进行计算，确定线虫中心线上的离散点列，根据所述中心线点列拟合出线虫的中心曲线，根据所述中心曲线坐标确定所述线虫感兴趣区域中心点的当前帧位置，结合所述感兴趣区域中心点的上一帧预测位置和当前帧测量位置预测所述感兴趣区域中心点的下一帧位置，并向所述四轴载物运动装置发送控制指令。

进一步地，所述主控装置包括图像处理模块，所述图像处理模块包括图像预处理子模块和线虫实时定位子模块，其中：所述图像预处理子模块用于对所述线虫原始图像进行去躁和二值化区域分割，之后还需进行目标线虫区域的识别，输出给所述线虫实时定位子模块；所述线虫实时定位子模块用于计算已识别出的所述线虫区域内的所有离散点到所述线虫区域外部的最短距离值，并对该距离矩阵作用拉普拉斯算子取极大值点的集合得到所述中心线点列，由此拟合中心曲线确定所述感兴趣区域中心点的当前帧位置。

进一步地，所述线虫实时定位子模块还用于通过下述方式对距离极大的点进行修正：根据预设的线虫正常体宽对异常距离极大值进行修正，排除由于线虫肢体粘连带来的异常的极大距离。

进一步地，所述线虫实时定位子模块还用于通过下述方式对中心线进行修正：将修正后的距离极大值点连接形成骨架图，根据预设的中心曲线弧长对骨架图中的所有路线进行筛选，得到修正后的所述中心线点列。

进一步地，所述线虫实时定位子模块还用于：确定所述中心线的首尾。

进一步地，确定所述中心线点列的首尾为：假定第一端为首，另一端为尾，计算每一时刻的首与上一时刻的首的差的平方、以及每一时刻的尾与上一时刻的尾的差的平方，并对平方求和；假定第一端为尾，另一端为首，计算每一时刻的首与上一时刻的首的差的平方、以及每一时刻的尾与上一时刻的尾的差的平方，并对平方求和；比较两次求和的结果，根据较小值确定所述中心线点列的首尾。

进一步地，所述线虫实时定位子模块还用于：根据所述线虫的荧光标记点位置确定所述线虫中心线点列的首尾。

进一步地，所述图像处理模块还包括线虫运动预测子模块，其中：所述线虫运动预测子模块接收所述线虫实时定位子模块输出的所述线虫感兴趣区域中心点的当前帧位置，结合所述感兴趣区域中心点的上一帧预测位置和当前帧测量位置预测所述感兴趣区域中心点的下一帧位置，由此获得所述四轴载物运动装置中所述二轴平移台的位移控制量和所述旋转台的旋转角度控制量。

进一步地，所述线虫运动预测子模块根据下列公式估计k+1时刻所述线虫感兴趣区域中心点的位置预测值：其中，为所述线虫实时定位子模块输出的k时刻所述线虫感兴趣区域中心点的位置测量值；为k-1时刻对k时刻所述线虫感兴趣区域中心点的位置预测值；为k时刻对k+1时刻所述线虫感兴趣区域中心点的位置预测值；算子HP(·)用于获取k时刻所述线虫运动的高阶变化分量；α_k为对所述线虫运动中高阶变化分量的调节因子，且α_k≥0；A_k为从k时刻到k+1时刻所述线虫的低阶运动模式；B_k为从k时刻到k+1时刻所述四轴载物运动装置的垂轴面运动对所述线虫感兴趣区域中心点位置的影响；u_k＝(Δx_k,Δy_k,Δθ_k)为从k时刻到k+1时刻对所述四轴载物运动装置的运动控制量。

进一步地，所述系统还包括光栅尺编码器，所述主控装置还包括追踪控制模块，所述追踪控制模块包括反馈控制子模块、时序分配子模块和二轴平移台控制子模块，其中：所述反馈控制子模块，其输入量为所述u_k＝(Δx_k,Δy_k,Δθ_k)，输出量包括2个输送给所述二轴平移台控制子模块的平移控制信号；所述光栅尺编码器获取所述二轴平移台的当前位置，并与期望位置相减后反馈给所述反馈控制子模块；所述时序分配子模块向所述反馈控制子模块分配所述二轴平移台的运动时序以及所述光栅尺编码器测量值的反馈时序；所述二轴平移台控制子模块用于接收所述反馈控制子模块的2个平移控制信号，该平移控制信号转化成输送给所述二轴平移台的电压信号。

进一步地，所述追踪控制模块还包括旋转台控制子模块，其中：所述反馈控制子模块的输出量还包括1个输送给所述旋转台控制子模块的旋转控制信号；所述旋转台控制子模块接收所述反馈控制子模块的旋转控制信号，该旋转控制信号转化成输出给所述旋转台的脉冲信号；所述时序分配子模块向所述反馈控制子模块分配所述旋转台的运动时序。

基于上述技术方案，本发明的优点是：

由于本发明设置了为线虫提供明场照明的光源装置、实时采集运动线虫的原始图像的图像采集装置、放置线虫并使线虫始终位于图像采集装置的采集区域中心的四轴载物运动装置以及根据线虫原始图像提取线虫的中心线并控制四轴载物运动装置的主控装置，因此通过本发明所提供的线虫实时自动追踪成像系统，无论线虫的位置及姿态如何变化，所述感兴趣区域始终以相对静止的状态呈现在本发明的视场中心，精确地对无约束自由爬行的活体线虫开展感兴趣区域的追踪成像，从而可以针对无约束自由爬行的活体线虫开展特定神经元及其区域的追踪荧光成像的研究需要。

附图说明

图1为线虫图像中示出的中心曲线、弧长等分点和感兴趣区域；

图2a为线虫图像中示出的中心线上离散点列、拟合曲线和弧长等分点；

图2b为图2a中方框区域的放大图；

图3为本发明所提供的线虫实时自动追踪成像系统一实施例的结构原理图；

图4为图3的主控装置中图像处理模块一实施例的结构原理图；

图5为图4中图像预处理子模块和线虫实时定位子模块的工作流程图；

图6为图5中中心线提取步骤的工作流程图；

图7为图4中线虫运动预测子模块的工作流程图；

图8为图3的主控装置中追踪控制模块一实施例的结构原理图；

图9为图3的主控装置中追踪控制模块对二轴平移台的控制示意图；

图10为本发明所提供的线虫实时自动追踪成像系统另一实施例的结构原理图；

图11为本发明中主控装置的结构原理图；

图12为本发明所提供的线虫实时自动追踪成像系统又一实施例的结构原理图。

具体实施方式

为使本发明实施的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本发明一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。下面结合附图对本发明的实施例进行详细说明。

本发明所提供的线虫实时自动追踪成像系统提供明场照明,获取无约束自由爬行的活体线虫上感兴趣区域的视频,并将所述感兴趣区域始终锁定在本发明的视场中心。如图1所示，图中示出了线虫行为活动视频的某一帧图像，图中被方框框入的部分为本发明所述的感兴趣区域，该感兴趣区域实质上包括线虫的位置和形态数据，其中心点A即为下文中所提及的感兴趣区域中心点。需要说明的是,感兴趣区域可以是线虫的一个特征点或某一特征区域,也可以是完整的线虫。

如图3所示，本发明所提供的线虫实时自动追踪成像系统包括光源装置1、四轴载物运动装置(也可以称为“样本台”)2、图像采集装置3和主控装置4，其中：光源装置1用于为线虫提供明场照明。四轴载物运动装置2用于放置装有线虫的培养皿，包括二轴平移台和旋转台，根据主控装置4的控制指令调节所述线虫垂轴面内位置，从而使线虫感兴趣区域始终位于图像采集装置3的采集区域中心。图像采集装置3用于实时采集运动线虫的原始图像。主控装置4用于根据图像采集装置3采集到的线虫的原始图像进行计算，确定线虫中心线上的离散点列，根据所述中心线点列拟合出线虫的中心曲线，如图2a和图2b所示，根据所述中心曲线坐标确定所述线虫感兴趣区域中心点的当前帧位置，结合所述感兴趣区域中心点的上一帧预测位置和当前帧测量位置预测所述感兴趣区域中心点的下一帧位置，并向四轴载物运动装置2发送控制指令。

由此，通过本发明所提供的线虫实时自动追踪成像系统，无论线虫的位置及姿态如何变化，所述感兴趣区域始终以相对静止的状态呈现在本发明的视场中心。图1是利用本发明所提供的线虫实时自动追踪成像系统拍摄的视频某一帧图像：M圈为头，N圈为尾，方框为感兴趣区域，方框中心点A设在中心线上某处，图中是0.3(设全弧长为1)，是根据归一化曲线坐标给出的，追踪目标是将方框中心点A锁定在成像视场中心。

如图3所示，主控装置4可以采用FPGA(Field－Programmable GateArray)，即现场可编程门阵列，其能加速信号的传输、数据的处理以及确保时序的同步，其用于接收图像采集装置3实时拍摄到的线虫的原始图像，生成四轴载物运动装置2的控制量。

如图4所示，主控装置4包括图像处理模块41，用于接收图像采集装置3实时拍摄到的线虫的原始图像，从中提取线虫上感兴趣区域中心点的当前帧位置，获取线虫上感兴趣区域中心点的下一帧预测位置，由此生成四轴载物运动装置2的控制量。

具体地，如图5所示，图像处理模块41包括图像预处理子模块411和线虫实时定位子模块412，其中：图像预处理子模块411用于对所述线虫原始图像进行去躁和二值化区域分割，之后还需进行目标线虫区域的识别，输出给线虫实时定位子模块412。线虫实时定位子模块412用于计算已识别出的所述线虫区域内的所有离散点到所述线虫区域外部的最短距离值，并对该距离矩阵作用拉普拉斯算子取极大值点的集合得到所述中心线点列，由此拟合中心曲线确定所述感兴趣区域中心点的当前帧位置。下面是线虫实时定位子模块412中确定中心线离散点列的两种具体实施方式。

实施方式一：目标函数最优化方法

当得到识别出的二值化线虫图像后，选取目标函数形式如下，

$E={\∫}_0^1\{E_{\mathrm{int}}\left(v\right(s\left)\right)+E_{dist}\left(v\right(s\left)\right)\}ds$

其中，v(s)，s∈[0,1]表示线虫中心曲线的参数方程。上式中E_int刻画参数曲线的连续平滑程度；E_dist的最小值在线虫中心线处取得，刻画曲线与线虫中心线的拟合程度。一种常见取法如下，α、β分别取为1，C表示图像预处理子模块411输出的线虫所在图像区域，E_int和E_dist形式分别为：

$E_{\mathrm{int}}\left(V\right(s\left)\right)=\mathrm{\α}{\left|\frac{dv}{ds}\right|}^2+\mathrm{\β}{\left|\frac{d^{2}v}{{\mathrm{ds}}^2}\right|}^2;$

$E_{dist}\left(V\right(s\left)\right)=\underset{u\∈c}{min}{||v\left(s\right)-u||}^2-\underset{u\∉c}{min}{||v\left(s\right)-u||}^2$

基于上述目标函数形式，可运用最优化方法迭代求解v(s)的估计值，即获得线虫中心线上的离散点列。

实施方式二：最短距离分布极值搜索方法

当得到识别出的二值化线虫图像后，首先在该图像中计算所有线虫内部点到其外部的最短距离值，获得最短距离矩阵。由分析可知，中心线上点的最短距离值在宽度方向上达到极大值，该特征可以通过对前述中心线上点的最短距离矩阵作用拉普拉斯算子进行提取，具体表现为：作用拉普拉斯算子之后，中心线上点处的值基本小于-0.25，而其余点处的值都在0附近。该方法配合其它手段，例如去除边缘点、加上当前点的中值滤波值等，可以很好地提取出线虫中心线上的离散点列。

上述实施例中，如图6所示，为使上述算法能够处理线虫肢体发生运动粘连的情况，线虫实时定位子模块412还用于通过下述方式对所述最短距离的极大值点进行修正：根据预设的线虫正常体宽对异常最短距离极大值进行修正，排除由于线虫肢体粘连带来的异常极大值，即解决粘连带来的最短距离值异常问题。该修正方法如下，其中d₀为处理前所述最短距离极大值、d₁表示处理后所述最短距离极大值、α为修正系数(通常取1.5)、ω表示线虫的正常体宽：

d₁＝min{d₀,α·(ω-d₀)}。

加入该修正处理环节后，对于线虫发生运动粘连的情况，也能够得到线虫中心线上的离散点列，但会附加引入少数杂点。如图6所示，为筛去杂点、正确提取中心线，需要对结果进行额外处理。线虫实时定位子模块412还用于通过下述方式对中心线进行修正：将修正后的最短距离极大值点连接形成便于处理的骨架图，转换为骨架图之后，根据预设的中心曲线弧长对骨架图中的所有路线进行筛选，得到修正后的所述中心线。实验表明，骨架化方法能够有效排除杂点的干扰，给出正确的中心线上离散点列。

综上所述，本发明所提供的线虫实时自动追踪成像系统的线虫实时定位子模块412也能够处理发生粘连的线虫图像。

上述各实施例中，鉴于后续预测追踪的需求，输出应当是线虫中心线从头至尾的有序坐标数据。因此，线虫实时定位子模块412还用于确定所述中心线的首尾，从计算所得的中心线序列以及其反向序列中选择正确的序列输出。下面介绍两种实现确定所述中心线上的离散点列的首尾的方法。

第一种方法：假定第一端为首，另一端为尾，计算每一时刻的首与上一时刻的首的差的平方、以及每一时刻的尾与上一时刻的尾的差的平方，并对平方求和；假定第一端为尾，另一端为首，计算每一时刻的首与上一时刻的首的差的平方、以及每一时刻的尾与上一时刻的尾的差的平方，并对平方求和；比较两次求和的结果，根据较小值确定所述中心线点列的首尾。具体是：利用上一时刻的结果数据进行判断，判断使用的参数形式为：

$E={||P_{head}-\widetilde{P_{head}}||}^2+{||P_{tail}-\widetilde{Ptail}||}^2.$

其中P_head，P_tail分别表示当前时刻待判断中心线序列的首尾点， 分别表示上一时刻中心线序列的首尾点，取两个序列中E较小的一个作为输出。

第二种方法：根据所述线虫的荧光标记点位置确定所述线虫中心线上的离散点列的首尾，即引入生物学信息，使用荧光标记头部或尾部的一个或几个特征神经元，则可通过考察荧光神经元在中心线序列中的相对位置来辨识首尾方向。这种方案只需进行简单的少数几个神经元标记，而辨识效率与准确率都很出色，也可作为其它辨识的辅助方案。

如图5所示，在线虫实时定位子模块412获得所述线虫中心线上离散点列的从首至尾正确排序后，还需进行中心曲线拟合，建立归一化弧长坐标，才能最终确定所述线虫感兴趣区域的中心点位置，如图2a和图2b所示。

如图4和图7所示，上述各实施例中，图像处理模块41还包括线虫运动预测子模块413，线虫运动预测子模块413接收线虫实时定位子模块412输出的所述线虫感兴趣区域中心点的当前帧位置，结合所述感兴趣区域中心点的上一帧预测位置和当前帧测量位置预测所述感兴趣区域中心点的下一帧位置，由此获得四轴载物运动装置2中所述二轴平移台的位移控制量和所述旋转台的旋转角度控制量。下面是线虫运动预测子模块413的工作流程。

第一步：修正后验

在实际追踪成像时，当获得k时刻所述线虫感兴趣区域中心点的位置测量值(前文提到的“线虫感兴趣区域中心点的当前帧位置”)后，结合在k-1时刻对k时刻所述线虫感兴趣区域中心点的位置预测值(前文提到的“线虫感兴趣区域中心点的上一帧预测位置”)，计算k时刻的后验值

$x_k^{+}=x_k^{-}+{\mathrm{\α}}_{k}HP({\tilde{x}}_k-x_k^{-})$

其中，算子HP(·)作用于此类算子功能上类似高通滤波器，用于获取k时刻线虫运动状态的高阶变化(随机)分量；α_k表示对高阶变化分量的置信调节因子且有α_k≥0，对于α_k的选取，需满足下述要求：的协方差矩阵的迹最小。

第二步：估计先验

当获得k时刻的后验值后，可估计k+1时刻所述线虫感兴趣区域中心点的位置预测值

$x_{k+1}^{-}=A_k{x}_k^{+}+B_k{u}_k;$

其中，为k时刻对k+1时刻所述线虫感兴趣区域中心点的位置预测值，即所述感兴趣区域中心点的下一帧预测位置；矩阵A_k表示从k时刻到k+1时刻线虫的低阶运动模式；u_k表示从k时刻到k+1时刻对四轴载物运动装置2的运动控制量，即有u_k＝(Δx_k,Δy_k,Δθ_k)，(Δx_k,Δy_k)为四轴载物运动装置2中所述二轴平移台的位移控制量，Δθ_k为四轴载物运动装置2中所述旋转台的旋转角度控制量；B_k表示从k时刻到k+1时刻四轴载物运动装置2运动对线虫感兴趣区域运动的影响。

综合上述两公式，有

需要说明的是，预测时使用低阶运动模式A_k来估计线虫从k时刻到k+1时刻的平滑运动；使用HP算子抽取并保留线虫在k时刻运动中的随机变化分量；使用B_k来估计四轴载物运动装置2运动造成的线虫相对运动。

如图8、图9所示，所提供的线虫实时自动追踪成像系统还包括光栅尺编码器5，主控装置4还包括追踪控制模块42，追踪控制模块42包括反馈控制子模块421、时序分配子模块424和二轴平移台控制子模块422，其中：反馈控制子模块421，其输入量为所述u_k＝(Δx_k,Δy_k,Δθ_k)，输出量包括2个平移控制信号，输送给二轴平移台控制子模块422。光栅尺编码器5可以精确地获取每帧图像曝光时刻的二轴平移台21位置，并将二轴平移台21的当前位置与期望位置相减后反馈给反馈控制子模块421。时序分配子模块424向反馈控制子模块421分配二轴平移台21的运动时序以及光栅尺编码器5测量值的反馈时序。二轴平移台控制子模块422用于接收反馈控制子模块421的2个平移控制信号，该平移控制信号转化成电压信号，输送给二轴平移台21上的压电陶瓷电机211，从而可以驱动二轴平移台21做精确位移值的平移运动。进一步，通过优化控制策略可以尽可能减小单个曝光时刻内线虫的运动速度和幅度,确保不对感兴趣区域的同步显微成像造成运动模糊影响。

上述实施例中，追踪控制模块42还包括旋转台控制子模块423，其中：反馈控制子模块421的输出量还包括1个旋转控制信号，输送给旋转台控制子模块423。旋转台控制子模块423接收反馈控制子模块421的旋转控制信号后，将该旋转控制信号转化成脉冲信号，输出给旋转台22，从而可以驱动旋转台22做精确角度值的旋转运动。另外，时序分配子模块424还向反馈控制子模块421分配旋转台22的运动时序。

本发明通过追踪控制模块可以确保每个曝光时刻内线虫的运动状态(例如中心曲线或某部分感兴趣区域)都与理想追踪状态尽可能趋近，且运动幅度较小，速率平缓，可以更加精细地对无约束自由爬行的活体线虫上感兴趣区域进行追踪成像。

综上所述，本发明所提供的线虫实时自动追踪成像系统结合了线虫实时定位子模块对线虫感兴趣区域实施定位以及线虫运动预测子模块的运动预测功能，使该系统能够开展线虫特定神经元及其环路的功能机制研究。

如图10所示，本发明所提供的线虫实时自动追踪成像系统还包括工作站6、实时图像显示设备7和用户界面8，其中：工作站6可以通过PCIe总线与主控装置4信息交互。在图像帧频低于10Hz时，工作站6可以通过用户界面8完成实时图像显示。

如图11所示，主控装置4还包括图像存储模块43和用户界面模块44，其中：

图像存储模块43主要用于存储成像系统实时拍摄的图像序列(视频)以及基于后处理获得的图像序列(视频)。图像存储模块43包括相机图像存储子模块431、定位图像存储子模块432、非追踪图像存储子模块433和多窗口图像存储子模块434，相机图像存储子模块431用于对图像采集装置3中传出的图像进行实时存储。定位图像存储子模块432用于存储经定位线虫首尾点、中心线、弧长等分点、感兴趣区域等信息后的图像序列(视频)。非追踪图像存储子模块433用于恢复出未经运动追踪下的图像序列(视频)，即背景静止仅虫运动的视频。多窗口图像存储子模块434用于存储将多幅同时刻的图像按上、下、左、右区域排布合成一张图像后的图像序列(视频)。

如图10和图11所示，实质上，对于非实时性要求的模块均可以设置在工作站6中，比如：图像存储模块43中的定位图像存储子模块432、非追踪图像存储子模块433和多窗口图像存储子模块434，以及用户界面模块44中的参数设置子模块441、图像采集装置初始化子模块442、四轴载物运动装置初始化子模块443、追踪模式选择子模块444和非追踪图像生成子模块446。实时图像显示设备7用于对主控装置4获取的感兴趣区域图像进行同步显示。

用户界面模块44主要用于实现用户和系统的各项指令交互，当图像帧频高于10Hz时，由于工作站6的传输显示性能无法达到要求，此种情况下必须使用主控装置4中的用户界面模块44传输显示数据，并通过HDMI线由实时图像显示设备7进行显示。

用户界面模块44包括参数设置子模块441、相机初始化子模块442、样本台初始化子模块443、追踪模式选择子模块444、实时显示子模块445和非追踪图像生成子模块446，其中：参数设置子模块441主要用于追踪前预设算法中图像处理涉及的参数，例如二值化分割阈值，距离极值修正系数α等等。相机初始化子模块442主要用于初始化图像采集装置(相机)的参数和镜头组的参数，包括曝光时间，帧频，图像阵列尺寸，镜头组轴向位置调整(实现自动对焦)等。样本台初始化子模块443主要用于初始化四轴载物运动装置2上各个电移台的当前位置、移动速度和闭环精度等。追踪模式选择子模块444用于设定追踪模式，比如进行线虫全区域追踪，或是进行线虫感兴趣区域追踪，或是进行线虫某特征点追踪等。实时显示子模块445控制实时图像显示设备7对线虫上感兴趣区域的图像信息进行实时显示，以便进行监控。非追踪图像生成子模块446主要用于后处理计算每幅图像之间的背景位移量，通过图像平移获得非追踪模式下的原始图像序列。

如图12所示，光源装置1为四轴载物运动装置2上的成像培养皿9内的活体线虫提供明场照明，其照明光斑半径可调。本实施例中的光源装置1包括输出功率可调的卤素灯11、窄带滤光片12、聚光系统13和液态光波导传输线14，其中的液态光波导传输线14可以进一步整合光束分布提高传输效率。

四轴载物运动装置2除了包括二轴平移台21和旋转台22之外，还包括侧升降台23。其中，侧升降台23是为了完成对线虫成像的初始化精确对焦，所述侧升降台23通常由工作台6进行控制(如图10所示)。二轴平移台21和旋转台22是为了在成像线虫的同时完成实时运动追踪。需要说明的是：为确保二轴平移台21能够实现对线虫的实时精确追踪，首先二轴平移台21需要采用压电陶瓷电机211驱动位移，其次二轴平移台21的两个轴都需要配备光栅尺编码器作闭环控制，实现1微米的定位精度。此外，旋转台22采用的是步进电机旋转台，其必须位于二轴平移台21的载台面上方，从而避免二轴平移台21的控制线发生缠绕等可能。

上述各实施例中，图像采集装置3包括变焦镜组31、工业级相机32和图像采集卡33。其中：变焦镜组31采用的是放大倍率范围为1.5×-9×，其可以根据线虫的几何尺寸和成像视场需求，设置适合的成像放大倍率。工业级相机32能够完成针对成像目标的精确自动对焦，至少需要满足1M像元数目、最短曝光时间1毫秒、最高100Hz帧频的成像性能要求。工业级相机32实时传输每次曝光的图像数据给主控装置4和图像采集卡33，图像采集卡用于将实时图像数据存储在工作站的固态硬盘。

最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，而应涵盖在本发明请求保护的技术方案范围当中。

Claims (10)

1.一种线虫实时自动追踪成像系统，包括光源装置、四轴载物运动装置、图像采集装置和主控装置，其中：

所述光源装置，用于为线虫提供明场照明；

所述四轴载物运动装置，用于放置线虫，包括二轴平移台和旋转台，根据所述主控装置的控制指令调节所述线虫垂轴面内位置，使所述线虫感兴趣区域始终位于所述图像采集装置的采集区域中心；

所述图像采集装置，用于实时采集运动线虫的原始图像；

所述主控装置，用于根据所述图像采集装置采集到的线虫的原始图像进行计算，确定线虫中心线上的离散点列，根据所述中心线点列拟合出线虫的中心曲线，根据所述中心曲线坐标确定所述线虫感兴趣区域中心点的当前帧位置，结合所述感兴趣区域中心点的上一帧预测位置和当前帧测量位置预测所述感兴趣区域中心点的下一帧位置，并向所述四轴载物运动装置发送控制指令；

所述主控装置包括图像处理模块，所述图像处理模块包括图像预处理子模块和线虫实时定位子模块，其中：

所述图像预处理子模块用于对所述线虫原始图像进行去躁和二值化区域分割，之后还需进行目标线虫区域的识别，输出给所述线虫实时定位子模块；

所述线虫实时定位子模块用于计算已识别出的所述线虫区域内的所有离散点到所述线虫区域外部的最短距离值，获得最短距离矩阵，并对该距离矩阵作用拉普拉斯算子取极大值点的集合得到所述中心线点列，由此拟合中心曲线确定所述感兴趣区域中心点的当前帧位置。

2.根据权利要求1所述的系统，其特征在于，所述线虫实时定位子模块还用于通过下述方式对距离极大的点进行修正：

根据预设的线虫正常体宽对异常距离极大值进行修正，排除由于线虫肢体粘连带来的异常的极大距离。

3.根据权利要求2所述的系统，其特征在于，所述线虫实时定位子模块还用于通过下述方式对中心线进行修正：

将修正后的距离极大值点连接形成骨架图，根据预设的中心曲线弧长对骨架图中的所有路线进行筛选，得到修正后的所述中心线点列。

4.根据权利要求3所述的系统，其特征在于，所述线虫实时定位子模块还用于：确定所述中心线的首尾。

5.根据权利要求4所述的系统，其特征在于，确定所述中心线点列的首尾为：

假定第一端为首，另一端为尾，计算每一时刻的首与上一时刻的首的差的平方、以及每一时刻的尾与上一时刻的尾的差的平方，并对平方求和；

假定第一端为尾，另一端为首，计算每一时刻的首与上一时刻的首的差的平方、以及每一时刻的尾与上一时刻的尾的差的平方，并对平方求和；

比较两次求和的结果，根据较小值确定所述中心线点列的首尾。

6.根据权利要求4所述的系统，其特征在于，所述线虫实时定位子模块还用于：

根据所述线虫的荧光标记点位置确定所述线虫中心线点列的首尾。

7.根据权利要求1所述的系统，其特征在于，所述图像处理模块还包括线虫运动预测子模块，其中：

所述线虫运动预测子模块接收所述线虫实时定位子模块输出的所述线虫感兴趣区域中心点的当前帧位置，结合所述感兴趣区域中心点的上一帧预测位置和当前帧测量位置预测所述感兴趣区域中心点的下一帧位置，由此获得所述四轴载物运动装置中所述二轴平移台的位移控制量和所述旋转台的旋转角度控制量。

8.根据权利要求7所述的系统，其特征在于，所述线虫运动预测子模块根据下列公式估计k+1时刻所述线虫感兴趣区域中心点的位置预测值：

$x_{k+1}^{-}=A_k{x}_k^{-}+{\mathrm{\α}}_k{A}_{k}HP({\tilde{x}}_k-x_k^{-})+B_k{u}_k;$

其中，为所述线虫实时定位子模块输出的k时刻所述线虫感兴趣区域中心点的位置测量值；

为k-1时刻对k时刻所述线虫感兴趣区域中心点的位置预测值；

为k时刻对k+1时刻所述线虫感兴趣区域中心点的位置预测值；

算子HP(·)用于获取k时刻所述线虫运动的高阶变化分量；

α_k为对所述线虫运动中高阶变化分量的调节因子，且α_k≥0；

A_k为从k时刻到k+1时刻所述线虫的低阶运动模式；

B_k为从k时刻到k+1时刻所述四轴载物运动装置的垂轴面运动对所述线虫感兴趣区域中心点位置的影响；

u_k＝(Δx_k,Δy_k,Δθ_k)为从k时刻到k+1时刻对所述四轴载物运动装置的运动控制量。

9.根据权利要求8所述的系统，其特征在于，所述系统还包括光栅尺编码器，所述主控装置还包括追踪控制模块，所述追踪控制模块包括反馈控制子模块、时序分配子模块和二轴平移台控制子模块，其中：

所述反馈控制子模块，其输入量为所述u_k＝(Δx_k,Δy_k,Δθ_k)，输出量包括2个输送给所述二轴平移台控制子模块的平移控制信号；

所述光栅尺编码器获取所述二轴平移台的当前位置，并与期望位置相减后反馈给所述反馈控制子模块；

所述时序分配子模块向所述反馈控制子模块分配所述二轴平移台的运动时序以及所述光栅尺编码器测量值的反馈时序；

所述二轴平移台控制子模块用于接收所述反馈控制子模块的2个平移控制信号，该平移控制信号转化成输送给所述二轴平移台的电压信号。

10.根据权利要求9所述的系统，其特征在于，所述追踪控制模块还包括旋转台控制子模块，其中：

所述反馈控制子模块的输出量还包括1个输送给所述旋转台控制子模块的旋转控制信号；

所述旋转台控制子模块接收所述反馈控制子模块的旋转控制信号，该旋转控制信号转化成输出给所述旋转台的脉冲信号；

所述时序分配子模块向所述反馈控制子模块分配所述旋转台的运动时序。