CN111179308B - 一种基于视觉伺服的果蝇跟踪方法及系统 - Google Patents

一种基于视觉伺服的果蝇跟踪方法及系统 Download PDF

Info

Publication number
CN111179308B
CN111179308B CN201911305779.7A CN201911305779A CN111179308B CN 111179308 B CN111179308 B CN 111179308B CN 201911305779 A CN201911305779 A CN 201911305779A CN 111179308 B CN111179308 B CN 111179308B
Authority
CN
China
Prior art keywords
fruit fly
camera
displacement platform
plane displacement
moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911305779.7A
Other languages
English (en)
Other versions
CN111179308A (zh
Inventor
徐静
陈声健
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201911305779.7A priority Critical patent/CN111179308B/zh
Publication of CN111179308A publication Critical patent/CN111179308A/zh
Application granted granted Critical
Publication of CN111179308B publication Critical patent/CN111179308B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/34—Microscope slides, e.g. mounting specimens on microscope slides
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于视觉伺服的果蝇跟踪方法及系统，属于视觉伺服控制领域。本发明首先搭建果蝇跟踪系统，通过对视觉伺服系统参数标定，实时提取图像特征检测果蝇位置，并估计果蝇在下一时刻的位置，设计视觉伺服控制律，控制位移平台执行运动指令，实现当前时刻对果蝇的跟踪。本发明使用在果蝇眼部表达的红色荧光蛋白作为标记，辅以适当的光路设计，使用简单高速的图像处理算法获得了较高的跟踪精度，满足了生物研究中对果蝇这类运动能力较强的目标进行跟踪观察的需求。

Description

一种基于视觉伺服的果蝇跟踪方法及系统
技术领域
本发明属于视觉伺服控制领域，尤其涉及一种基于视觉伺服的果蝇跟踪方法及系统。
背景技术
因其基因的可跟踪性、复杂的行为能力和其大脑功能与脊椎动物的相似性，果蝇一直是生物遗传学中的重要研究对象。若要在显微镜下对果蝇这类具有运动能力的目标在一段连续时间内进行跟踪观察，目前仍依赖人工手动调整或者扩大视野范围等简单的方法进行。这些方法操作复杂，而且对于运动能力较强的目标往往无能为力。因此，使用显微视觉伺服控制方法对研究目标进行追踪，可以大大简化操作流程，提高研究的效率。
Lin Cong等人使用视觉伺服方法实现了对幼年斑马鱼的追踪，该方法使用图像处理算法对幼年斑马鱼进行位置估计，误差信号通过PID控制器驱动运动平台进行补偿。然而，与果蝇相比，幼年斑马鱼通体透明，通过相对简单的图像处理就能定位，而且幼年斑马鱼运动能力弱，运动姿态简单，对控制系统的响应频率要求不高。因此，该方法难以直接应用到果蝇的追踪问题上。
Dhruv Grover等人提出了Flyception果蝇自动跟踪系统，该系统的工作原理是：将果蝇放置在一个下凹圆盘中，使用一个二维检流计镜基于视觉反馈调整光路方向,将果蝇保持在相机视野范围内。检流计镜的高速响应使得系统实现了1000Hz以上的高精追踪。然而这套系统具有比较复杂的光路，成本较高，难以集成到现有的显微成像系统中。因此，开发一种适用范围广，使用方便，操作灵活的显微伺服跟踪方法及系统，对于生物研究具有重要意义。
发明内容
本发明的目的是为克服已有技术的不足之处，提出一种基于视觉伺服的果蝇跟踪方法及系统。本发明通过设计果蝇跟踪系统，并结合图像处理算法和卡尔曼滤波算法对目标位置进行估计和预测，开发视觉伺服控制算法对目标进行跟踪，从而实现了对自由运动果蝇的高精度追踪。
本发明提出一种基于视觉伺服的果蝇跟踪方法，其特征在于，包括以下步骤：
1)搭建果蝇跟踪系统；所述系统包括：XY平面位移平台，果蝇容器，玻片夹，带有绿色滤光片的汞灯，相机，红色滤光片，显微物镜，反射镜，光学平台和计算机；其中，果蝇容器使用三块边长均为3厘米的石英玻璃片堆叠而成，其中上下两块玻璃片厚度为1毫米，中间一块玻璃片厚度为2.3毫米，中间一块玻璃片中心有一个直径为1厘米的圆孔，该圆孔为果蝇的运动区域；所述XY平面位移平台固定在光学平台上，玻片夹固定在XY平面位移平台上，果蝇容器通过玻片夹固定在XY平面位移平台1上，带有绿色滤光片的汞灯放置在光学平台上，该汞灯从上往下照射果蝇容器，相机固定在光学平台上，相机前端安装显微物镜，显微物镜前端安装红色滤光片，反射镜通过支架固定在光学平台上，反射镜位于果蝇容器正下方，使得从汞灯发出的光线穿过果蝇容器后经反射镜反射垂直进入相机；所述XY平面位移平台与相机分别连接计算机；
2)调节光路共轴，调节汞灯的光线沿竖直方向，反射镜的反射面与汞灯的光线成45°，调节相机光轴沿水平方向且与汞灯光线通过反射镜形成的反射光线平行，使得汞灯的光线垂直进入相机，沿水平方向调节相机位置直至相机获取的图像清晰；
在果蝇容器壁上涂抹防止果蝇爬壁的试剂，通过基因编辑技术将红色荧光蛋白基因植入果蝇体内，将处理完毕的果蝇转移入果蝇容器的圆孔中；
相机与XY平面位移平台分别初始化，其中，相机分辨率设置为256*320，帧率设置为300Hz；
3)使用微型圆形标定板和OpenCV的相机标定函数标定相机成像模型的内参矩阵Mc；
标定XY平面位移平台坐标系Fm与相机坐标系Fc之间的变换矩阵Te；具体方法如下：
将所述微型圆形标定板正面朝下放置在XY平面位移平台上，调整微型圆形标定板的位置使得相机图像视野中出现1个以上圆形，然后将微型圆形标定板固定，调整相机水平位置完成对焦；启动XY平面位移平台，令平台搭载其上部件连续运动30个随机运动量，将每次随机运动量分别在X，Y方向上的运动量组成矩阵XM，该矩阵维度为2*30，同时在每次随机运动之前通过计算机从相机提取含有圆形的图像，使用霍夫变换检测标定板上圆形圆心在每张图像中位置，计算连续两张图像的圆心因平台的运动而在像素坐标系中X，Y方向上产生的位移量组成矩阵XI，该矩阵维度为2*30，表示30次运动圆心分别在图像中X，Y方向上的运动量；
假设矩阵XM和XI存在线性关系，用矩阵T表示：
TXI＝XM
对矩阵T的估计为：
Figure BDA0002321544410000021
其中
Figure BDA0002321544410000022
表示XI的伪逆；
矩阵T即为XY平面位移平台坐标系Fm与相机坐标系Fc之间的变换矩阵Te；
4)将微型圆形标定板从XY平面位移平台上取下，将装有果蝇的容器通过玻片夹固定在XY平面位移平台上，再次调整相机水平位置完成对焦；启动XY平面位移平台，相机以300Hz连续采集图像；记当前时刻k＝1；
5)提取当前时刻的图像，记为Pk；使用中值滤波算法对图像Pk进行降噪滤波；对滤波后的图像进行二值图像阈值处理得到Pk对应的二值图像，提取出Pk中果蝇眼部初步轮廓；
6)对步骤5)得到的二值图像进行判定：
若该二值图像中白色区域的像素数量小于5000,则果蝇在视野之外，然后重新返回步骤5)直至二值图像中白色区域的像素数量大于等于5000；
若该二值图像中白色区域的像素数量大于等于5000，则果蝇在视野当中，首先使用形态学操作去除该二值图像中小于面积阈值的白色区域，然后使用轮廓提取算法提取出形态学操作完毕后的二值图像中果蝇眼睛的轮廓；若提取出的轮廓数量等于2，则该2个轮廓即为果蝇两眼的轮廓，分别计算2个轮廓的质心位置，然后对2个质心坐标取平均值即为对果蝇头部中心位置在Pk中的位置的观测值
Figure BDA0002321544410000031
其中，
Figure BDA0002321544410000032
为果蝇头部中心位置在Pk中X方向上的观测值，
Figure BDA0002321544410000033
为果蝇头部中心位置在Pk中Y方向上的观测值；
若提取出的轮廓数量大于2，则使用K均值聚类算法将形态学操作完毕后的二值图像中所有轮廓聚成两类，分别计算出两类轮廓的质心位置，然后对两类轮廓的质心坐标取平均值作为果蝇头部中心位置在Pk中的位置的观测值
Figure BDA0002321544410000034
7)根据步骤6)中得到的
Figure BDA0002321544410000035
在相机坐标系下，使用卡尔曼滤波算法对果蝇头部中心位置在图像Pk+1中的估计值
Figure BDA0002321544410000036
分别对果蝇在XY两个方向上的运动建立模型；
在X方向上：
Figure BDA0002321544410000037
Figure BDA0002321544410000038
其中，过程矩阵
Figure BDA0002321544410000039
控制矩阵
Figure BDA00023215444100000310
观测矩阵H＝[1 0]，Wk-1为k-1时刻的过程噪声，Vk-1为观测噪声为k-1时刻的观测噪声，果蝇在k时刻的X方向的状态
Figure BDA00023215444100000311
包括果蝇头部中心位置在图像Pk中X方向上的值xk以及果蝇k时刻的自身的X方向的运动速度
Figure BDA0002321544410000041
Figure BDA0002321544410000042
为果蝇在k-1时刻的X方向的状态，k-1时刻X方向的控制量
Figure BDA0002321544410000043
包括XY平面位移平台在k-1和k两个时刻之间在X方向上的运动量xm,k-1以及k-1时刻果蝇自身运动的X方向的加速度
Figure BDA0002321544410000044
下标m代表XY平面位移平台；k时刻X方向的观测量为步骤6)得到的
Figure BDA0002321544410000045
在k＝0时刻，，x0设为160，设置
Figure BDA0002321544410000046
xm,0，
Figure BDA0002321544410000047
均为0；
卡尔曼滤波器根据
Figure BDA0002321544410000048
进行状态估计为
Figure BDA0002321544410000049
其中，Kk为k时刻的卡尔曼增益矩阵，为
Figure BDA00023215444100000410
果蝇头部中心位置在图像Pk中X方向的的估计值，
Figure BDA00023215444100000411
为k时刻果蝇自身运动X方向速度的估计值；对果蝇头部中心位置下一时刻在X方向上进行估计为
Figure BDA00023215444100000412
对
Figure BDA00023215444100000413
进行低通滤波处理，得到更新后的果蝇头部中心位置在图像Pk+1中X方向的估计值：
Figure BDA00023215444100000414
其中f为常数；
在Y方向上:
Figure BDA00023215444100000415
Figure BDA00023215444100000416
其中，果蝇在k时刻的Y方向的状态
Figure BDA00023215444100000417
包括果蝇头部中心在图像Pk中Y方向上的值yk以及果蝇k时刻的自身的Y方向的运动速度
Figure BDA00023215444100000418
Figure BDA00023215444100000419
为果蝇在k-1时刻的Y方向的状态，k-1时刻Y方向的控制量
Figure BDA00023215444100000420
包括XY平面位移平台在k-1和k两个时刻之间在Y方向上的运动量ym,k-1以及k-1时刻果蝇自身运动Y方向的加速度
Figure BDA00023215444100000421
观测量为步骤6)得到的
Figure BDA00023215444100000422
在k＝0时刻，y0设为128，设置
Figure BDA00023215444100000423
ym,0，
Figure BDA00023215444100000424
均为0；
卡尔曼滤波器根据
Figure BDA00023215444100000425
进行状态估计为
Figure BDA00023215444100000426
其中
Figure BDA00023215444100000427
为果蝇头部中心位置在图像Pk中Y方向的估计值，
Figure BDA00023215444100000428
为k时刻果蝇自身运动Y方向速度的估计值；对果蝇头部中心位置下一时刻在Y方向上进行估计为
Figure BDA00023215444100000429
对
Figure BDA00023215444100000430
进行低通滤波处理，得到更新后的果蝇头部中心位置在图像Pk+1中Y方向的估计值：
Figure BDA00023215444100000431
最终得到果蝇头部中心位置在图像Pk+1中的估计值记为
Figure BDA00023215444100000432
8)在相机坐标系下，计算果蝇k+1时刻预测位置
Figure BDA0002321544410000051
与目标位置z*＝(x*,y*)的误差：
Figure BDA0002321544410000052
根据视觉伺服控制律：
Figure BDA0002321544410000053
其中vk为XY平面位移平台在k时刻的运动速度，λ是增益系数，
Figure BDA0002321544410000054
是交互矩阵的伪逆的近似估计量，
Figure BDA0002321544410000055
等于变换矩阵Te；在XY平面位移平台坐标系下，
Figure BDA0002321544410000056
以PID控制器为基础设计视觉伺服控制律，输入em,k然后输出XY平面位移平台在k时刻的运动速度：
Figure BDA0002321544410000057
其中，vk为XY位移平台在k时刻至k+1时刻之间的运动速度，为一个二维向量，分别包括XY位移平台在k时刻至k+1时刻之间在X方向和Y方向上的运动速度；Kp，KI，KD分别为比例系数，积分系数和微分系数；系数α的取值为：
Figure BDA0002321544410000058
ε为设定的积分系数阈值；系数η为系统延迟的补偿系数；
9)根据步骤8)得到的vk，计算XY平面位移平台在当前运动周期内的运动量zm,k＝vkΔt，Δt为一个控制周期的持续时间；
XY平面位移平台按照zm,k进行运动直至k+1时刻，实现当前时刻对果蝇的跟踪；当k+1时刻到来时，令k＝k+1,然后重新返回步骤5)。
本发明的特点及有益效果在于：
本发明使用在果蝇眼部表达的红色荧光蛋白作为标记，辅以适当的光路设计，使得相机图像中仅出现果蝇眼部，而滤去了果蝇身体的其他部位和环境的干扰，图像内容的简化使得图像处理算法大大简化，提高了程序运行速度和定位精度，实现了对自由运动果蝇的高精度追踪。而且本发明所提出的果蝇跟踪系统结构简单，易于集成到现有的显微成像系统中，为生物遗传学研究人员对果蝇进行追踪观察带来了便利。
附图说明
图1为本发明方法的整体流程图。
图2为本发明中果蝇跟踪系统结构图,其中上图为侧视图，下图为俯视图。
图3为本发明所设计的光路图。
图4为本发明中图像处理算法的结果示意图。
图中：1-XY平面位移平台；2-玻片夹；3-果蝇；4-光源；5-装果蝇的容器；6-红色滤光片；7-显微物镜；8-相机；9-反射镜，10-光学平台。
具体实施方式
本发明提出一种基于视觉伺服的果蝇跟踪方法及系统，下面结合附图和具体实例对本发明做进一步详细说明如下。以下实施实例用于说明本发明，但不限于本发明的范围。
本发明提出了一种基于视觉伺服的果蝇跟踪方法，整体流程如图1所示，包括以下步骤：
1)搭建果蝇跟踪系统；本发明系统整体结构如图2所示，其中上图为正视图，下图为俯视图；所述系统包括：XY平面位移平台1，果蝇容器5，玻片夹2，带有绿色滤光片的汞灯4(以下简称汞灯)，相机8，红色滤光片6，显微物镜7，反射镜9，光学平台10和计算机。所述XY平面位移平台1可采用常规型号，本实施例型号为PI U-723，该XY平面位移平台包括执行部分和控制器，通过螺纹连接固定在光学平台10上。果蝇容器5使用三块边长均为3厘米的石英玻璃片堆叠而成，其中上下两块玻璃片厚度为1毫米，中间一块玻璃片厚度为2.3毫米，中间一块玻璃片中心有一个直径为1厘米的圆孔，为果蝇的运动区域。玻片夹2通过螺纹连接固定在XY平面位移平台1上。所述果蝇容器5通过玻片夹2固定在XY平面位移平台1上。汞灯4放置在光学平台10上，从上往下照射果蝇容器5，汞灯发出白光，经过绿色滤光片获得单色性较好的绿色光源。相机8使用可调节支架固定在光学平台10上，可使用常规型号，本实施例采用JAI GO-5000M-USB，相机前端安装显微物镜7，放大倍数为2，显微物镜前端安装红色滤光片6。反射镜9通过支架固定在光学平台10上，所述反射镜9位于在果蝇容器5正下方，使得从汞灯4发出的光线可以穿过果蝇容器5，经反射镜9反射可以垂直进入相机8。XY平面位移平台1通过TCP接口与计算机连接，相机8通过USB与计算机连接，计算机用于对相机8采集的图片进行图像处理和计算XY平面位移平台1的运动控制指令，计算机可采用常规型号，本实施例所使用的计算机为MSI GL75。
本发明系统中各部件均可采用常规型号。
2)完成显微物镜调焦及其他准备工作：调节光路共轴，调节汞灯4的光线沿竖直方向，反射镜9的反射面与汞灯的光线成45°，调节相机光轴沿水平方向且与汞灯光线通过反射镜形成的反射光线平行，使得汞灯的光线可以垂直进入相机，光路图如图3所示。进而沿水平方向调节相机位置直至相机获取的图像清晰为止。
在果蝇容器5壁上涂抹防止果蝇爬壁的试剂，本实施例是在圆孔壁上涂抹byFormica PTFE Plus试剂以防止果蝇爬壁。通过基因编辑技术将红色荧光蛋白基因植入果蝇3体内，该种基因将会在果蝇眼部表达。将处理完毕的果蝇3转移入果蝇容器5的圆孔中，放在一旁待用。
相机8与XY平面位移平台1分别初始化，相机8分辨率设置为256*320，帧率设置为300Hz，XY平面位移平台1控制器的PID参数根据平台的阶跃响应进行调节。
3)视觉伺服系统参数标定；
使用微型圆形标定板(Gom CC-008-G-0.65)和OpenCV的相机标定函数标定相机成像模型的内参矩阵Mc，此标定方法为常规方法。
标定XY平面位移平台坐标系Fm与相机坐标系Fc之间的变换矩阵Te；具体方法如下：
将所述微型圆形标定板正面朝下放置在XY平面位移平台上，调整微型圆形标定板的位置使得相机图像视野中出现1个以上圆形，然后将微型圆形标定板固定，调整相机水平位置完成对焦。启动XY平面位移平台，令平台搭载其上部件连续运动30个随机运动量，将每次随机运动量分别在X，Y方向上的运动量组成矩阵XM，该矩阵维度为2*30；在每次随机运动之前通过相机获取含有圆形的图像并发送给计算机，使用霍夫变换检测标定板上圆形圆心在每张图像中位置，计算连续两张图像的圆心因平台的运动而在像素坐标系中X，Y方向上产生的位移量组成矩阵XI，该矩阵维度仍为2*30。
假设矩阵XM和XI存在线性关系，用矩阵T表示：
TXI＝XM
在测得XM和XI后，对矩阵T的估计为：
Figure BDA0002321544410000071
其中
Figure BDA0002321544410000072
表示XI的伪逆。矩阵T即为XY平面位移平台坐标系Fm与相机坐标系Fc之间的变换矩阵Te。
4)启动视觉伺服系统：
将微型圆形标定板从XY平面位移平台上取下，将装有果蝇的容器通过玻片夹固定在位移平台上，再次调整相机水平位置完成对焦。将XY平面位移平台启动并等待计算机的控制指令，相机以300Hz连续采集图像并发送给计算机，计算机将图片存入图片缓存区中。记当前时刻k＝1。
5)提取图像特征检测果蝇位置；
从图片缓存区中提取当前时刻的图像，记为Pk，并清空缓存区。由于红色滤光片的作用，该图像中只包含果蝇的眼部，由于荧光亮度不高，该图像中含有较多的噪声，使用中值滤波算法对图像Pk进行降噪滤波。对滤波后的图像进行二值图像阈值处理得到Pk对应的二值图像(二值图像阈值在30至40之间，具体数值与实际光照环境有关)，大致提取出Pk中果蝇眼部轮廓，二值图像中果蝇眼部为白色，其余部分为黑色。
6)对步骤5)得到的二值图像进行判定：
若该二值图像中白色区域的像素数量小于5000,则认为果蝇在视野之外，无需采取任何动作，重新返回步骤5)，直至二值图像中白色区域的像素数量大于等于5000。
若该二值图像中白色区域的像素数量大于等于5000，则认为果蝇在视野当中，首先使用形态学操作去除二值图像中较小的白色区域(卷积核大小为5)，同时使果蝇眼部轮廓更加平滑。然后使用轮廓提取算法提取出形态学操作完毕后的二值图像中果蝇眼睛的轮廓。若提取出的轮廓数量等于2，则该2个轮廓即为果蝇两眼的轮廓，分别计算2个轮廓的质心位置，然后对2个质心坐标取平均值即为对果蝇头部中心位置在当前时刻的图像Pk中的位置的观测值
Figure BDA0002321544410000081
其中，
Figure BDA0002321544410000082
为果蝇头部中心位置在Pk中X方向上的观测值，
Figure BDA0002321544410000083
为果蝇头部中心位置在Pk中Y方向上的观测值。
若提取出的轮廓数量大于2，则使用K均值聚类算法将形态学操作完毕后的二值图像中所有轮廓聚成两类，分别计算出两类轮廓的质心位置，然后对两类轮廓的质心坐标取平均值作为果蝇头部中心位置在当前时刻的图像Pk中的位置的观测值
Figure BDA0002321544410000084
本实施例中图像处理效果如图4所示，图4(a)为形态学操作完毕后的二值图像中检测到两个眼部轮廓的情况，图4(b)为形态学操作完毕后的二值图像中检测到多个轮廓的情况，图中实心点为各轮廓质心所在位置，空心点为果蝇头部中心所在位置。
7)预测果蝇位置；
根据步骤6)中得到的果蝇头部中心位置在当前时刻的图像Pk中的位置的观测值
Figure BDA0002321544410000085
在相机坐标系下，使用卡尔曼滤波算法对果蝇头部中心在下一时刻k+1(即图像Pk+1)的位置(xk+1,yk+1)进行估计,此估计值记为
Figure BDA0002321544410000086
将果蝇在XY平面两个方向上的运动视为独立，因此果蝇在两个方向上的运动可以分开独立建模。在X方向上：
Figure BDA0002321544410000087
Figure BDA0002321544410000088
其中，过程矩阵
Figure BDA0002321544410000089
控制矩阵
Figure BDA00023215444100000810
观测矩阵H＝[1 0]，Wk-1为k-1时刻的过程噪声，Vk-1为观测噪声为k-1时刻的观测噪声，果蝇在k时刻的X方向的状态
Figure BDA00023215444100000811
包括果蝇头部中心位置在图像Pk中X方向上的值xk以及果蝇k时刻的自身的X方向的运动速度
Figure BDA0002321544410000091
Figure BDA0002321544410000092
为果蝇在k-1时刻的X方向的状态，k-1时刻X方向的控制量
Figure BDA0002321544410000093
包括XY平面位移平台在k-1和k两个时刻之间在X方向上的运动量(下标m表示该运动量属于XY平面位移平台，以示与果蝇自身运动的区别)以及k-1时刻果蝇自身运动的X方向的加速度，k时刻X方向的观测量为步骤6)所检测到的果蝇头部中心位置在Pk中X方向上的观测值
Figure BDA0002321544410000094
由于图像分辨率为256*320，在X方向上有320个像素，在k＝0时刻，x0设为160，设置
Figure BDA0002321544410000095
xm,0，
Figure BDA0002321544410000096
均为0。
卡尔曼滤波器根据
Figure BDA0002321544410000097
进行状态估计为
Figure BDA0002321544410000098
其中，Kk为k时刻的卡尔曼增益矩阵，为
Figure BDA0002321544410000099
果蝇头部中心位置在图像Pk中X方向的的估计值，
Figure BDA00023215444100000910
为k时刻果蝇自身运动X方向速度的估计值；根据此估计结果对果蝇头部中心位置下一时刻在X方向上进行估计为
Figure BDA00023215444100000911
最后为避免在果蝇运动状态发生变化时，预测结果出现较大误差，对预测结果
Figure BDA00023215444100000912
进行低通滤波处理，得到更新后的果蝇头部中心位置在图像Pk+1中X方向的估计值：
Figure BDA00023215444100000913
其中f为常数，其值通常小于1,本实施例采用0.9。
相似地，在Y方向上:
Figure BDA00023215444100000914
Figure BDA00023215444100000915
其中，过程矩阵
Figure BDA00023215444100000916
控制矩阵
Figure BDA00023215444100000917
观测矩阵H＝[1 0]，Wk-1为k-1时刻的过程噪声，Vk-1为观测噪声为k-1时刻的观测噪声，果蝇在k时刻的Y方向的状态
Figure BDA00023215444100000918
包括果蝇头部中心位置在图像Pk中Y方向上的值yk以及果蝇k时刻的自身的Y方向的运动速度
Figure BDA00023215444100000919
Figure BDA00023215444100000920
为果蝇在k-1时刻的Y方向的状态，k-1时刻Y方向的控制量
Figure BDA00023215444100000921
包括XY平面位移平台在k-1和k两个时刻之间在Y方向上的运动量ym,k-1(下标m表示该运动量属于XY平面位移平台，以示与果蝇自身运动的区别)以及k-1时刻果蝇自身运动Y方向的加速度
Figure BDA00023215444100000922
观测量为步骤6)所检测到的果蝇头部中心位置在Pk中Y方向上的观测值
Figure BDA00023215444100000923
由于图像分辨率为256*320，在Y方向上有256个像素，在k＝0时刻，设为128，y0设为128，设置
Figure BDA00023215444100000924
ym,0，
Figure BDA00023215444100000925
均为0。
卡尔曼滤波器根据
Figure BDA0002321544410000101
进行状态估计为
Figure BDA0002321544410000102
其中
Figure BDA0002321544410000103
为果蝇头部中心位置在图像Pk中Y方向的估计值，
Figure BDA0002321544410000104
为k时刻果蝇自身运动Y方向速度的估计值。根据此估计结果对果蝇头部中心位置下一时刻在Y方向进行估计为
Figure BDA0002321544410000105
最后为避免在果蝇运动状态发生变化时，预测结果出现较大误差，对预测结果进行低通滤波处理，得到更新后的果蝇头部中心位置在图像Pk+1中Y方向的估计值：
Figure BDA0002321544410000106
Figure BDA0002321544410000107
其中f为常数，其值通常小于1，本实施例采用0.9。
最终得到果蝇头部中心位置在图像Pk+1中的估计值记为
Figure BDA0002321544410000108
8)设计视觉伺服控制律；
以步骤7)中的预测结果
Figure BDA0002321544410000109
为基础，在相机坐标系下，计算果蝇头部中心位置在图像Pk+1中的估计值
Figure BDA00023215444100001010
与目标位置z*＝(x*,y*)的的误差：
Figure BDA00023215444100001011
在本实施例中，z*＝(160，128)；根据视觉伺服控制律：
Figure BDA00023215444100001012
其中vk为XY平面位移平台在k时刻的运动速度，λ是增益系数，
Figure BDA00023215444100001013
是交互矩阵的伪逆的近似估计量，
Figure BDA00023215444100001014
等于变换矩阵Te；在XY平面位移平台坐标系下，上述误差为：
Figure BDA00023215444100001015
(下标m表示该误差在XY平面位移平台坐标系下，以示与相机坐标系的区别)。以PID控制器为基础设计视觉伺服控制律，输入误差信号em,k，然后输出XY平面位移平台在k时刻的运动速度：
Figure BDA00023215444100001016
其中，vk为XY位移平台在k时刻至k+1时刻之间的运动速度，为一个二维向量，分别包括XY位移平台在k时刻至k+1时刻之间X方向和Y方向上的运动速度，Kp，KI，KD分别为比例系数，积分系数和微分系数。系数α的取值为：
Figure BDA00023215444100001017
ε为设定的积分系数阈值；系数η为系统延迟的补偿系数；
9)XY位移平台执行运动指令；
由于本实施例中所采用的位移平台使用位置控制模式，根据步骤8)所计算得到运动速度vk，计算XY平面位移平台在当前运动周期内所需的运动量zm,k＝vkΔt，Δt为一个控制周期的持续时间(本实施例所实现的控制频率为100Hz，即Δt＝10ms。)。将运动指令zm,k传入平台的控制器，控制器控制执行部分执行所需的动作，实现当前时刻对果蝇的跟踪；执行完毕后，当下一个时刻到来时，令k＝k+1,然后重新返回步骤5)。
本发明还提出一种基于上述方法的果蝇跟踪系统，其特征在于，所述系统包括：XY平面位移平台，果蝇容器，玻片夹，带有绿色滤光片的汞灯，相机，红色滤光片，显微物镜，反射镜，光学平台和计算机；其中，果蝇容器使用三块边长均为3厘米的石英玻璃片堆叠而成，其中上下两块玻璃片厚度为1毫米，中间一块玻璃片厚度为2.3毫米，中间一块玻璃片中心有一个直径为1厘米的圆孔，该圆孔为果蝇的运动区域；所述XY平面位移平台固定在光学平台上，玻片夹固定在XY平面位移平台上，果蝇容器通过玻片夹固定在XY平面位移平台1上，带有绿色滤光片的汞灯放置在光学平台上，该汞灯从上往下照射果蝇容器，相机固定在光学平台上，相机前端安装显微物镜，显微物镜前端安装红色滤光片，反射镜通过支架固定在光学平台上，反射镜位于果蝇容器正下方，使得从汞灯发出的光线穿过果蝇容器后经反射镜反射垂直进入相机；所述XY平面位移平台与相机分别连接计算机。

Claims (2)

1.一种基于视觉伺服的果蝇跟踪方法，其特征在于，包括以下步骤：
1)搭建果蝇跟踪系统；所述系统包括：XY平面位移平台，果蝇容器，玻片夹，带有绿色滤光片的汞灯，相机，红色滤光片，显微物镜，反射镜，光学平台和计算机；其中，果蝇容器使用三块边长均为3厘米的石英玻璃片堆叠而成，其中上下两块玻璃片厚度为1毫米，中间一块玻璃片厚度为2.3毫米，中间一块玻璃片中心有一个直径为1厘米的圆孔，该圆孔为果蝇的运动区域；所述XY平面位移平台固定在光学平台上，玻片夹固定在XY平面位移平台上，果蝇容器通过玻片夹固定在XY平面位移平台1上，带有绿色滤光片的汞灯放置在光学平台上，该汞灯从上往下照射果蝇容器，相机固定在光学平台上，相机前端安装显微物镜，显微物镜前端安装红色滤光片，反射镜通过支架固定在光学平台上，反射镜位于果蝇容器正下方，使得从汞灯发出的光线穿过果蝇容器后经反射镜反射垂直进入相机；所述XY平面位移平台与相机分别连接计算机；
2)调节光路共轴，调节汞灯的光线沿竖直方向，反射镜的反射面与汞灯的光线成45°，调节相机光轴沿水平方向且与汞灯光线通过反射镜形成的反射光线平行，使得汞灯的光线垂直进入相机，沿水平方向调节相机位置直至相机获取的图像清晰；
在果蝇容器壁上涂抹防止果蝇爬壁的试剂，通过基因编辑技术将红色荧光蛋白基因植入果蝇体内，将处理完毕的果蝇转移入果蝇容器的圆孔中；
相机与XY平面位移平台分别初始化，其中，相机分辨率设置为256*320，帧率设置为300Hz；
3)使用微型圆形标定板和OpenCV的相机标定函数标定相机成像模型的内参矩阵Mc；
标定XY平面位移平台坐标系Fm与相机坐标系Fc之间的变换矩阵Te；具体方法如下：
将所述微型圆形标定板正面朝下放置在XY平面位移平台上，调整微型圆形标定板的位置使得相机图像视野中出现1个以上圆形，然后将微型圆形标定板固定，调整相机水平位置完成对焦；启动XY平面位移平台，令平台搭载其上部件连续运动30个随机运动量，将每次随机运动量分别在X，Y方向上的运动量组成矩阵XM，该矩阵维度为2*30，同时在每次随机运动之前通过计算机从相机提取含有圆形的图像，使用霍夫变换检测标定板上圆形圆心在每张图像中位置，计算连续两张图像的圆心因平台的运动而在像素坐标系中X，Y方向上产生的位移量组成矩阵XI，该矩阵维度为2*30，表示30次运动圆心分别在图像中X，Y方向上的运动量；
假设矩阵XM和XI存在线性关系，用矩阵T表示：
TXI＝XM
对矩阵T的估计为：
Figure FDA0002321544400000021
其中
Figure FDA0002321544400000022
表示XI的伪逆；
矩阵T即为XY平面位移平台坐标系Fm与相机坐标系Fc之间的变换矩阵Te；
4)将微型圆形标定板从XY平面位移平台上取下，将装有果蝇的容器通过玻片夹固定在XY平面位移平台上，再次调整相机水平位置完成对焦；启动XY平面位移平台，相机以300Hz连续采集图像；记当前时刻k＝1；
5)提取当前时刻的图像，记为Pk；使用中值滤波算法对图像Pk进行降噪滤波；对滤波后的图像进行二值图像阈值处理得到Pk对应的二值图像，提取出Pk中果蝇眼部初步轮廓；
6)对步骤5)得到的二值图像进行判定：
若该二值图像中白色区域的像素数量小于5000,则果蝇在视野之外，然后重新返回步骤5)直至二值图像中白色区域的像素数量大于等于5000；
若该二值图像中白色区域的像素数量大于等于5000，则果蝇在视野当中，首先使用形态学操作去除该二值图像中小于面积阈值的白色区域，然后使用轮廓提取算法提取出形态学操作完毕后的二值图像中果蝇眼睛的轮廓；若提取出的轮廓数量等于2，则该2个轮廓即为果蝇两眼的轮廓，分别计算2个轮廓的质心位置，然后对2个质心坐标取平均值即为对果蝇头部中心位置在Pk中的位置的观测值
Figure FDA0002321544400000023
其中，
Figure FDA0002321544400000024
为果蝇头部中心位置在Pk中X方向上的观测值，
Figure FDA0002321544400000025
为果蝇头部中心位置在Pk中Y方向上的观测值；
若提取出的轮廓数量大于2，则使用K均值聚类算法将形态学操作完毕后的二值图像中所有轮廓聚成两类，分别计算出两类轮廓的质心位置，然后对两类轮廓的质心坐标取平均值作为果蝇头部中心位置在Pk中的位置的观测值
Figure FDA0002321544400000026
7)根据步骤6)中得到的
Figure FDA0002321544400000027
在相机坐标系下，使用卡尔曼滤波算法对果蝇头部中心位置在图像Pk+1中的估计值
Figure FDA0002321544400000028
分别对果蝇在XY两个方向上的运动建立模型；
在X方向上：
Figure FDA0002321544400000029
Figure FDA00023215444000000210
其中，过程矩阵
Figure FDA00023215444000000211
控制矩阵
Figure FDA00023215444000000212
观测矩阵H＝[1 0]，Wk-1为k-1时刻的过程噪声，Vk-1为观测噪声为k-1时刻的观测噪声，果蝇在k时刻的X方向的状态
Figure FDA0002321544400000031
包括果蝇头部中心位置在图像Pk中X方向上的值xk以及果蝇k时刻的自身的X方向的运动速度
Figure FDA0002321544400000032
Figure FDA0002321544400000033
为果蝇在k-1时刻的X方向的状态，k-1时刻X方向的控制量
Figure FDA0002321544400000034
包括XY平面位移平台在k-1和k两个时刻之间在X方向上的运动量xm,k-1以及k-1时刻果蝇自身运动的X方向的加速度
Figure FDA0002321544400000035
下标m代表XY平面位移平台；k时刻X方向的观测量为步骤6)得到的
Figure FDA0002321544400000036
在k＝0时刻，x0设为160，设置
Figure FDA0002321544400000037
xm,0，
Figure FDA0002321544400000038
均为0；
卡尔曼滤波器根据
Figure FDA0002321544400000039
进行状态估计为
Figure FDA00023215444000000310
其中，Kk为k时刻的卡尔曼增益矩阵，为
Figure FDA00023215444000000311
果蝇头部中心位置在图像Pk中X方向的估计值，
Figure FDA00023215444000000312
为k时刻果蝇自身运动X方向速度的估计值；对果蝇头部中心位置下一时刻在X方向上进行估计为
Figure FDA00023215444000000313
对
Figure FDA00023215444000000314
进行低通滤波处理，得到更新后的果蝇头部中心位置在图像Pk+1中X方向的估计值：
Figure FDA00023215444000000315
其中f为常数；
在Y方向上:
Figure FDA00023215444000000316
Figure FDA00023215444000000317
其中，果蝇在k时刻的Y方向的状态
Figure FDA00023215444000000318
包括果蝇头部中心在图像Pk中Y方向上的值yk以及果蝇k时刻的自身的Y方向的运动速度
Figure FDA00023215444000000319
Figure FDA00023215444000000320
为果蝇在k-1时刻的Y方向的状态，k-1时刻Y方向的控制量
Figure FDA00023215444000000321
包括XY平面位移平台在k-1和k两个时刻之间在Y方向上的运动量ym,k-1以及k-1时刻果蝇自身运动Y方向的加速度
Figure FDA00023215444000000322
观测量为步骤6)得到的
Figure FDA00023215444000000323
在k＝0时刻，y0设为128，设置
Figure FDA00023215444000000324
ym,0，
Figure FDA00023215444000000325
均为0；
卡尔曼滤波器根据
Figure FDA00023215444000000326
进行状态估计为
Figure FDA00023215444000000327
其中
Figure FDA00023215444000000328
为果蝇头部中心位置在图像Pk中Y方向的估计值，
Figure FDA00023215444000000329
为k时刻果蝇自身运动Y方向速度的估计值；对果蝇头部中心位置下一时刻在Y方向上进行估计为
Figure FDA00023215444000000330
对
Figure FDA00023215444000000331
进行低通滤波处理，得到更新后的果蝇头部中心位置在图像Pk+1中Y方向的估计值：
Figure FDA00023215444000000332
最终得到果蝇头部中心位置在图像Pk+1中的估计值记为
Figure FDA0002321544400000041
8)在相机坐标系下，计算果蝇k+1时刻预测位置
Figure FDA0002321544400000042
与目标位置z*＝(x*,y*)的误差：
Figure FDA0002321544400000043
根据视觉伺服控制律：
Figure FDA0002321544400000044
其中vk为XY平面位移平台在k时刻的运动速度，λ是增益系数，
Figure FDA0002321544400000045
是交互矩阵的伪逆的近似估计量，
Figure FDA0002321544400000046
等于变换矩阵Te；在XY平面位移平台坐标系下，
Figure FDA0002321544400000047
以PID控制器为基础设计视觉伺服控制律，输入em,k然后输出XY平面位移平台在k时刻的运动速度：
Figure FDA0002321544400000048
其中，vk为XY位移平台在k时刻至k+1时刻之间的运动速度，为一个二维向量，分别包括XY位移平台在k时刻至k+1时刻之间在X方向和Y方向上的运动速度；Kp，KI，KD分别为比例系数，积分系数和微分系数；系数α的取值为：
Figure FDA0002321544400000049
ε为设定的积分系数阈值；系数η为系统延迟的补偿系数；
9)根据步骤8)得到的vk，计算XY平面位移平台在当前运动周期内的运动量zm,k＝vkΔt，Δt为一个控制周期的持续时间；
XY平面位移平台按照zm,k进行运动直至k+1时刻，实现当前时刻对果蝇的跟踪；当k+1时刻到来时，令k＝k+1,然后重新返回步骤5)。
2.一种基于如权利要求1所述方法的果蝇跟踪系统，其特征在于，所述系统包括：XY平面位移平台，果蝇容器，玻片夹，带有绿色滤光片的汞灯，相机，红色滤光片，显微物镜，反射镜，光学平台和计算机；其中，果蝇容器使用三块边长均为3厘米的石英玻璃片堆叠而成，其中上下两块玻璃片厚度为1毫米，中间一块玻璃片厚度为2.3毫米，中间一块玻璃片中心有一个直径为1厘米的圆孔，该圆孔为果蝇的运动区域；所述XY平面位移平台固定在光学平台上，玻片夹固定在XY平面位移平台上，果蝇容器通过玻片夹固定在XY平面位移平台1上，带有绿色滤光片的汞灯放置在光学平台上，该汞灯从上往下照射果蝇容器，相机固定在光学平台上，相机前端安装显微物镜，显微物镜前端安装红色滤光片，反射镜通过支架固定在光学平台上，反射镜位于果蝇容器正下方，使得从汞灯发出的光线穿过果蝇容器后经反射镜反射垂直进入相机；所述XY平面位移平台与相机分别连接计算机。
CN201911305779.7A 2019-12-17 2019-12-17 一种基于视觉伺服的果蝇跟踪方法及系统 Active CN111179308B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911305779.7A CN111179308B (zh) 2019-12-17 2019-12-17 一种基于视觉伺服的果蝇跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911305779.7A CN111179308B (zh) 2019-12-17 2019-12-17 一种基于视觉伺服的果蝇跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN111179308A CN111179308A (zh) 2020-05-19
CN111179308B true CN111179308B (zh) 2022-10-11

Family

ID=70656384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911305779.7A Active CN111179308B (zh) 2019-12-17 2019-12-17 一种基于视觉伺服的果蝇跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN111179308B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112237170B (zh) * 2020-10-28 2021-10-26 吉林大学 一种果蝇羽化监控系统
CN112577475A (zh) * 2021-01-14 2021-03-30 天津希格玛微电子技术有限公司 一种能够有效降低功耗的视频测距方法
CN113050428B (zh) * 2021-03-26 2021-12-07 清华大学 基于时变内模的位置主元轮廓跟踪算法
CN113744299B (zh) * 2021-09-02 2022-07-12 上海安维尔信息科技股份有限公司 一种相机控制方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102791214A (zh) * 2010-01-08 2012-11-21 皇家飞利浦电子股份有限公司 采用实时速度优化的不经校准的视觉伺服
CN103544714A (zh) * 2013-10-22 2014-01-29 中国科学院半导体研究所 一种基于高速图像传感器的视觉追踪系统及方法
CN104808590A (zh) * 2015-02-14 2015-07-29 浙江大学 一种基于关键帧策略的移动机器人视觉伺服控制方法
WO2019172503A1 (ko) * 2018-03-05 2019-09-12 고려대학교 산학협력단 안구추적을 통한 시야장애 평가 장치, 이를 이용한 시야장애 평가 방법 및 컴퓨터 판독 가능한 저장 매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102791214A (zh) * 2010-01-08 2012-11-21 皇家飞利浦电子股份有限公司 采用实时速度优化的不经校准的视觉伺服
CN103544714A (zh) * 2013-10-22 2014-01-29 中国科学院半导体研究所 一种基于高速图像传感器的视觉追踪系统及方法
CN104808590A (zh) * 2015-02-14 2015-07-29 浙江大学 一种基于关键帧策略的移动机器人视觉伺服控制方法
WO2019172503A1 (ko) * 2018-03-05 2019-09-12 고려대학교 산학협력단 안구추적을 통한 시야장애 평가 장치, 이를 이용한 시야장애 평가 방법 및 컴퓨터 판독 가능한 저장 매체

Also Published As

Publication number Publication date
CN111179308A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN111179308B (zh) 一种基于视觉伺服的果蝇跟踪方法及系统
US11754392B2 (en) Distance determination of a sample plane in a microscope system
CN103325106B (zh) 基于LabVIEW的运动工件分拣方法
Becattini et al. A fully automated system for adherent cells microinjection
US9964624B2 (en) Computer vision-based object tracking system
CN103249829B (zh) 用于自动化精子操作的系统和方法
US8846379B2 (en) Vision based method for micromanipulating biological samples
CN101033972A (zh) 一种空间非合作物体三维信息的获取方法
CN111968048B (zh) 电力巡检少样本图像数据增强方法及系统
CN109085113A (zh) 一种用于宫颈脱落细胞检测装置的自动对焦方法和装置
WO2018042786A1 (ja) 画像処理方法、画像処理装置、および撮像装置
JP2013101512A (ja) 細胞断面解析装置、細胞断面解析方法、及び細胞断面解析プログラム
CN113923358A (zh) 一种飞拍模式下的在线自动对焦方法和系统
CN108021926A (zh) 一种基于全景环视系统的车辆刮痕检测方法及系统
CN111496779B (zh) 一种基于机器视觉的智能显微操作系统
CN108398775A (zh) 荧光显微镜系统的对焦方法及装置
WO2017145839A1 (ja) 位相差顕微鏡および撮像方法
CN105975911B (zh) 基于滤波器的能量感知运动显著目标检测方法
CN113403198A (zh) 一种多目复合单细胞微操作系统及控制方法
Tsuruda et al. 3D body parts tracking of mouse based on RGB-D video from under an open field
CN111931832A (zh) 一种变电站巡检设备最优数据采集方法及系统
CN109318235B (zh) 一种机器人视觉伺服系统的快速聚焦方法
CN114965693A (zh) 基于虚实配准的超声c扫描自动对准系统
US11061214B2 (en) Cell observation apparatus and method
Fan et al. Posture adjustment and robust microinjection of zebrafish larval heart

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant