CN110681057B - 一种用于实验小鼠的实时追踪照射装置 - Google Patents

Abstract

本发明公开了一种实验小鼠的实时追踪照射方法，S1、使用摄像机获取待照射小鼠的图像，判断小鼠的当前姿态，确定小鼠的头部在图像中的区域；S2、获取小鼠位置移动后的小鼠图像，根据步骤1中确定的小鼠头部区域，使用目标跟踪算法确定新图像中的小鼠头部区域；S3、计算小鼠头部的像素坐标，根据小鼠的当前姿态修正小鼠头部的像素坐标，然后基于该像素坐标，根据实际装置中摄像机与光线照射方向的位置关系计算需要光线移动的位移矢量；S4、根据步骤S3的位移矢量，控制光线进行相应位移并照射小鼠头部；该发明根据小鼠姿态对位置进行修正，实时调整光线发射位置使光线跟随小鼠的移动而移动，解决了小鼠活动区域被限制的问题。

Description

一种用于实验小鼠的实时追踪照射装置

技术领域

本发明涉及机械、电子和自动化的交叉领域，尤其涉及一种基于图像定位的实时追踪照射装置及其方法。

背景技术

光遗传学是指，把光学与遗传学的手段结合起来，用以激活或者失活特定活组织及细胞的技术。其理论方法是把视蛋白基因结合进脑神经元，创造一种用光照控制神经元兴奋或抑制的工具。光遗传学实验中，通常将光纤连接并固定在小鼠的头部，使一定波长的光照射进小鼠脑的深处。但是，由于光纤对小鼠的行动有阻碍，在一些有关动物行为学的研究中，该实验方法不适用。

2017年，有研究者提出为小鼠头部植入光转换晶体并用光线照射小鼠头部的实验方法，取代光纤的作用。在该实验中，研究者将小鼠限制在小烧杯等狭小区域中，使其头部只能小范围活动，方便光线照射头部；使用单个固定摄像机获得小鼠图像，从图像中提取小鼠头部的空间坐标；使用旋转云台控制光线的照射方向来照射小鼠头部。

使用单个摄像机获得目标空间坐标的方法称为单目定位，单目定位的方法分为定位测量插值法、相似三角比例法两种。定位测量插值法要求摄像机固定不动，采用人工测量的方式将摄像机的像素与地面实际坐标相对应，然后使用插值的方法填补未经人工测量的地面实际坐标。该方法在测量固定位置下的空间坐标时精度较高，缺点是需要的人工成本较高、摄像机不可移动。相似三角比例法使用小孔成像的原理，即地面实际坐标中的点通过光轴成像在图像坐标的点是成比例的，计算目标位置。该方法仅需一次标定，人工成本较低，但要求摄像机镜头畸变小。

但是，单目定位方法的前提是目标高度为零或固定，否则会产生误差，这种误差来自于被定位目标高度的不确定。新的光遗传学实验方法使用定位方法提取小鼠空间坐标，但小鼠在运动时高度不断变化，将高度默认为固定值将使所测坐标产生几毫米的误差。

相比于传统的光遗传学实验方法，新的方法减少了光纤对小鼠行为的影响。但新的方法严重限制了小鼠的活动区域，阻碍了小鼠部分行为的表达；单个固定摄像机的拍摄视角下，所测坐标具有较大误差，旋转云台转动时的旋转角度精度较低，使得红外光照射远处晶体时的误差较大，降低了光线照射进小鼠脑的深处的频率。这些问题影响了实验效果，有待解决。

发明内容

本发明的目的在于提供一种实时的自动追踪照射方法和装置，能够利用可见光图像处理方法找到小鼠头部位置，并照射光线。该方法通过图像处理方法找到小鼠头部位置，根据小鼠姿态对该位置进行修正，计算小鼠头部的实际空间坐标，实时调整光线发射位置使光线跟随小鼠的移动而移动，解决了小鼠活动区域被限制的问题。该方法使小鼠的活动范围大幅增加，小鼠可以较大的区域内任意活动、表达行为。该方法还具有跟踪自动化，照射精度高的优点。

为了解决现有技术问题，本发明采用如下技术方案：

一种用于实验小鼠的实时追踪照射方法，包括如下步骤：

S1、使用摄像机获取待照射小鼠的图像，判断小鼠的当前姿态，确定小鼠的头部在图像中的区域；

S2、获取小鼠位置移动后的小鼠图像，根据步骤1中确定的小鼠头部区域，使用目标跟踪算法确定新图像中的小鼠头部区域；

S3、计算小鼠头部的像素坐标，根据小鼠的当前姿态修正小鼠头部的像素坐标，然后基于该像素坐标，根据实际装置中摄像机与光线照射方向的位置关系计算需要光线移动的位移矢量；

S4、根据步骤S3的位移矢量，控制光线进行相应位移并照射小鼠头部；

S5、重复步骤S2至步骤S4。

为了解决现有技术问题，本发明还可以采用如下技术方案：

一种用于实验小鼠的实时追踪照射装置，如图1所示，包括摄像机1、图像处理单元2、控制器模块3、工字导轨4、滑块5、固定架6、导轨支撑架7、可调节地脚8、光线发生器9、光线扩束器10：

摄像机1与图像处理单元2和固定架6相连，用于拍摄小鼠的图像信息并传输到图像处理单元2；

图像处理单元2与控制器模块3、摄像机1相连，用于使用图像处理方法计算小鼠头部的坐标，进而计算滑块5位移矢量，并将滑块5位移矢量传输给控制器模块3；

控制器模块3由微处理器、步进电机驱动器、步进电机组成，微处理器将接收到的位移矢量信号转化为脉冲的形式发送至步进电机驱动器，步进电机驱动器直接控制步进电机转动，步进电机用于驱动工字导轨4；控制器模块3与工字导轨4、图像处理单元2相连，用于根据接收到的位移矢量控制工字导轨4，以达到间接控制导轨上的滑块5移动的目的；

工字导轨4与导轨支撑架7、滑块5、控制器模块3相连，用于直接控制导轨上的滑块5移动；滑块5与固定架6、工字导轨4相连，用于使固定架6、摄像机1、光线扩束器10随滑块5移动；

固定架与摄像机1、光线扩束器10、滑块5相连，用于使摄像机1随滑块5移动且拍摄方向垂直于地面，使光线扩束器10随滑块5移动且光线照射方向垂直于地面；

光线扩束器10与光线发生器9、固定架6相连，用于通过光纤从光线发生器9中获取光线；导轨支撑架7和工字导轨4、可调节地脚8相连，用于支撑工字导轨4；

可调节地脚8与导轨支撑架7相连，用于调整装置的高度；

光线发生器9与光线扩束器10相连，用于产生光线；

光线扩束器10与光线发生器9、固定架6相连，用于将输入光线变粗并照射。

所述图像处理单元采用如下步骤实现对滑块进行移动：

3.1、测量摄像机拍摄图片的像素宽度与实际空间距离的比例K，调整光线扩束器使其照射光线的直径为R；

3.2、以工字导轨的导轨为x轴和y轴建立直角坐标系，如图2所示，测量摄像机镜头中心与扩束器镜头中心的在二维坐标系的位移差(a,b)；

3.3、在图像域中，以与工字导轨平行或垂直的两个方向作为x轴和y轴建立直角坐标系，以图像左下像素点为(0,0)，延坐标轴向右或向下则像素坐标增大，在第一帧图像中选取小鼠头部所在的矩形像素区域并绘制该区域的灰度直方图；

3.4、提取下一帧图像，识别小鼠当前姿态并设置修正值j，使用目标跟踪算法找到小鼠头部所在的矩形像素区域；

3.5、将小鼠头部所在的矩形像素区域的中心像素点作为小鼠头部的像素坐标(x1,x2)，将图像的中心像素点作为摄像机的像素坐标(y1,y2)，根据第S1步的K值得到两者实际位移差，然后根据第S2步的位移差(a,b)计算滑块需要移动的位移矢量(m,n)，如图3所示；

(m,n)＝((y1-x1)-j,(y2-x2)-j)×K+(a,b)

3.6、设定距离阈值h，当位移矢量的距离

小于h时不发送该位移矢量(m,n)，否则发送该位移矢量(m,n)，等待t秒；

3.7、重复步骤3.4到步骤3.6。

有益效果

本发明提出了一种基于图像定位的实时追踪照射方法和装置，利用可见光图像处理方法自动找到小鼠头部位置并照射光线，解决了小鼠活动区域被限制的问题，使小鼠的活动范围大幅增加，具有跟踪自动化，照射精度高的优点。

附图说明

图1是本发明的装置结构图

图2是本发明的坐标系示意图

图3是本发明的滑块位移矢量图

图4是本发明的小鼠体态图

具体实施方式

下面结合附图对本发明作出详细说明：

如图1所示，本发明提供一种用于实验小鼠的实时追踪照射装置，包括摄像机1、图像处理单元2、控制器模块3、工字导轨4、滑块5、固定架6、导轨支撑架7、可调节地脚8、光线发生器9、光线扩束器10，其中：

摄像机1与图像处理单元2和固定架6相连，用于拍摄小鼠的图像信息并传输到图像处理单元2；

图像处理单元2与控制器模块3、摄像机1相连，用于使用图像处理方法计算小鼠头部的坐标，进而计算滑块5位移矢量，并将滑块5位移矢量传输给控制器模块3；

控制器模块3由微处理器、步进电机驱动器、步进电机组成，微处理器将接收到的位移矢量信号转化为脉冲的形式发送至步进电机驱动器，步进电机驱动器直接控制步进电机转动，步进电机用于驱动工字导轨4；控制器模块3与工字导轨4、图像处理单元2相连，用于根据接收到的位移矢量控制工字导轨4，以达到间接控制导轨上的滑块5移动的目的；

工字导轨4与导轨支撑架7、滑块5、控制器模块3相连，用于直接控制导轨上的滑块5移动；滑块5与固定架6、工字导轨4相连，用于使固定架6、摄像机1、光线扩束器10随滑块5移动；

固定架与摄像机1、光线扩束器10、滑块5相连，用于使摄像机1随滑块5移动且拍摄方向垂直于地面，使光线扩束器10随滑块5移动且光线照射方向垂直于地面；

光线扩束器10与光线发生器9、固定架6相连，用于通过光纤从光线发生器9中获取光线；导轨支撑架7和工字导轨4、可调节地脚8相连，用于支撑工字导轨4；

可调节地脚8与导轨支撑架7相连，用于调整装置的高度；

光线发生器9与光线扩束器10相连，用于产生光线；

光线扩束器10与光线发生器9、固定架6相连，用于将输入光线变粗并照射。

实际中，本发明通过调整可调节地脚8使装置水平且高度适宜，摄像机1获取小鼠图像信息并发送至图像处理单元2，图像处理单元2使用图像处理方法计算滑块位移矢量并发送至控制器模块3，控制器模块3通过驱动工字导轨4使滑块5移动，滑块5带动固定架6、摄像机1、光线扩束器10一起移动相应位移矢量，光线发生器9持续产生光线使光线扩束器10照射小鼠。

如图2所示，L1、L2、L3是工字导轨的三条轨道，其中L1平行于L2，L3垂直于L1和L2。矩形cdef是摄像机的拍摄范围，安装摄像机时使ce平行于L1，ef平行于L3。在实际空间中，以地面为平面、工字导轨L1和L3为直角坐标系的两轴建立直角坐标系。

本发明具体实施过程：

在测量装置的相关参数前，调整可调节地脚(8)使装置水平；

采用720p摄像机进行拍摄，摄像机镜头与地面距离0.6米，调整摄像机使其拍摄半径超过 30cm；

调整光线扩束器使其照射光线的直径R为1.5cm；

如图4所示，将小鼠体态分为蹲卧、修饰、直立三种。其中识别体态为蹲卧时设置修正值j＝1，识别体态为修饰时设置修正值j＝2，识别体态为直立时设置修正值j＝3。

将距离阈值h设为0.5cm；

令t＝0.5,每隔0.05秒提取一张图像，防止工字导轨因停止、转向的频率过高而剧烈震动。计算过程已在方案中5～6步骤说明。

应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (2)

1.一种用于实验小鼠的实时追踪照射装置，包括摄像机、图像处理单元、控制器模块、工字导轨、滑块、固定架、导轨支撑架、可调节地脚、光线发生器、光线扩束器，其特征在于：

所述摄像机与图像处理单元和固定架相连，用于拍摄小鼠的图像信息并传输到图像处理单元；

所述图像处理单元分别与控制器模块、摄像机相连，用于使用图像处理方法计算小鼠头部的坐标，进而计算滑块位移矢量，并将滑块位移矢量传输给控制器模块；

所述控制器模块由微处理器、步进电机驱动器、步进电机组成，微处理器将接收到的位移矢量信号转化为脉冲的形式发送至步进电机驱动器，步进电机驱动器直接控制步进电机转动，步进电机用于驱动工字导轨；控制器模块与工字导轨、图像处理单元相连，用于根据接收到的位移矢量控制工字导轨，以达到间接控制导轨上的滑块移动的目的；

所述工字导轨与导轨支撑架、滑块、控制器模块相连，用于直接控制导轨上的滑块移动；

所述滑块与固定架、工字导轨相连，用于使固定架、摄像机、光线扩束器随滑块移动；

所述固定架与摄像机、光线扩束器、滑块相连，用于使摄像机随滑块移动且拍摄方向垂直于地面，使光线扩束器随滑块移动且光线照射方向垂直于地面；

导轨支撑架和工字导轨、可调节地脚相连，用于支撑工字导轨；

可调节地脚与导轨支撑架相连，用于调整装置的高度；

光线发生器与光线扩束器相连，用于产生光线；

光线扩束器与光线发生器、固定架相连，用于将输入光线变粗并照射,其中：包括如下步骤：

S1、使用摄像机获取待照射小鼠的图像，判断小鼠的当前姿态，确定小鼠的头部在图像中的区域；

S2、获取小鼠位置移动后的小鼠图像，根据步骤S1中确定的小鼠头部区域，使用目标跟踪算法确定新图像中的小鼠头部区域；

S3、计算小鼠头部的像素坐标，根据小鼠的当前姿态修正小鼠头部的像素坐标，然后基于该像素坐标，根据实际装置中摄像机与光线照射方向的位置关系计算需要光线移动的位移矢量；

S4、根据步骤S3的位移矢量，控制光线进行相应位移并照射小鼠头部；

S5、重复步骤S2至步骤S4。

2.根据权利要求1所述的一种用于实验小鼠的实时追踪照射装置，其特征在于：所述S3步骤中图像处理单元采用如下步骤实现对滑块进行移动：

3.1、测量摄像机拍摄图片的像素宽度与实际空间距离的比例K，调整光线扩束器使其照射光线的直径为R；

3.2、以工字导轨的导轨为x轴和y轴建立直角坐标系，测量摄像机镜头焦点与扩束器镜头焦点的在二维坐标系的位移差(a,b)；

3.3、在图像域中，以与工字导轨平行或垂直的两个方向作为x轴和y轴建立直角坐标系，以图像左下像素点为(0,0)，延坐标轴向右或向下则像素坐标增大，在第一帧图像中选取小鼠头部所在的矩形像素区域并绘制该区域的灰度直方图；

3.4、提取下一帧图像，识别小鼠当前姿态并设置修正值j，使用目标跟踪算法找到小鼠头部所在的矩形像素区域；

3.5、将小鼠头部所在的矩形像素区域的中心像素点作为小鼠头部的像素坐标(x1,x2)，将整个图像的中心像素点作为摄像机的像素坐标(y1,y2)，根据第1步的K值得到两者实际位移差，再根据第2步的位移差(a,b)计算滑块需要移动的位移矢量(m,n)；

(m,n)＝((y1-x1)-j,(y2-x2)-j)×K+(a,b)

3.6、设定距离阈值h，当位移矢量的距离

小于h时不发送该位移矢量(m,n)，否则送该位移矢量(m,n)，等待t秒；

3.7、重复步骤3.4到步骤3.6。

Images