CN109389623B - 一种鱼类活体的三维跟踪系统及其跟踪方法 - Google Patents

一种鱼类活体的三维跟踪系统及其跟踪方法 Download PDF

Info

Publication number
CN109389623B
CN109389623B CN201811549745.8A CN201811549745A CN109389623B CN 109389623 B CN109389623 B CN 109389623B CN 201811549745 A CN201811549745 A CN 201811549745A CN 109389623 B CN109389623 B CN 109389623B
Authority
CN
China
Prior art keywords
box body
fish
dimensional
living
upper box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811549745.8A
Other languages
English (en)
Other versions
CN109389623A (zh
Inventor
郑金存
刘永建
陈演桐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yulin Normal University
Original Assignee
Yulin Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yulin Normal University filed Critical Yulin Normal University
Priority to CN201811549745.8A priority Critical patent/CN109389623B/zh
Publication of CN109389623A publication Critical patent/CN109389623A/zh
Application granted granted Critical
Publication of CN109389623B publication Critical patent/CN109389623B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/514Depth or shape recovery from specularities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种鱼类活体的三维跟踪系统及其跟踪方法,包括:一承载箱体和一架设在承载箱体上方的体感摄像头;所述的承载箱体包括上箱体和下箱体,所述的上箱体下端口与下箱体上端口对应,且在上箱体和下箱体之间设置透明隔板隔开;所述的上箱体下端口与透明隔板水密性连接;所述的上箱体和下箱体四边侧壁为不透明材料。在上箱体内放置一条以上的鱼类活体及其存活的水体;获取平面二维坐标和深度坐标;整合得到所述鱼类活体的三维运动轨迹。优点在于,利用体感摄像头和特定结构的承载箱体配合,在压缩鱼类活动空间的情况下也能得到准确的三维坐标。成本低,而跟踪的精度高,后期的数据运算量也能得到有效减少。

Description

一种鱼类活体的三维跟踪系统及其跟踪方法
技术领域
本发明涉及一种生物体的监测系统及方法,尤其涉及一种用于鱼类活体的三维跟踪系统及其跟踪方法。
背景技术
科学家对于水生物的研究越来越细,而鱼类活动的轨迹是观察水体环境对鱼类影响的直接参数。其中对斑马鱼的观察更是深入,斑马鱼是一种常见的热带鱼,体型纤细,体长约3-4cm,斑马鱼和人类基因有着87%的高度同源性。近年来被广泛用于不同场景的模式生物。斑马鱼长期生活于水中,其器官经过长期进化,对水体的物理变化及化学变化能产生灵敏的应急响应,其最直观的输出结果就是鱼的运动行为会发生改变,对鱼的运动行为的分析可以有效地反映出水体的整体状况。利用这个特点,斑马鱼的运动行为常用于水体的水质预警,药物开发,安全药理学,行为遗传学和生理节律等相关领域的应用研究;还用于鱼类的社会行为,群聚行为的研究。
采用机器视觉的方法跟踪鱼类的运动行为是一种非接触、对动物无损的有效方法,是当前研究鱼的运动行为最常用的技术手段。然而当前研究鱼的运动行为多采用单台的摄像头,只能在二维的平面上刻画出鱼的运动轨迹,而难以真实地反映出实际在三维空间中游动的鱼的行为。为了更真实地反映出三维运动信息,一些研究团队在养殖容器的侧面再增加一台摄像头:一台从侧面拍摄,一台从顶部往下俯拍,然后用算法合成鱼的运动轨迹,获取三维运动信息。为了获取更好的三维效果,有的研究团队采用三台摄像头从不用的角度进行拍摄,然后将数据进行合成,获取三维轨迹。但是此类通过增加摄像头数目的方法会增加系统的复杂性,使图像处理的计算量大大增加,难以做到实时跟踪,并且从不同角度所获取的图像,很难实现各角度的图像配准。
另外箱体的结构对于视觉捕捉的效果也有很大影响,鱼类运动空间越大则检测系统成本越高,计算量越大。而捕捉的空间缩小则使得取景深度不够导致准确性降低。目前的检测设备并没有符合低成本高精度的鱼类承载箱体。
发明内容
为了解决上述现有技术存在的问题,本发明目的在于提供一种低成本高精度的鱼类活体的三维跟踪系统及其跟踪方法。
本发明所述的一种鱼类活体的三维跟踪系统,包括:一承载箱体和一架设在承载箱体上方的体感摄像头;所述的承载箱体包括上箱体和下箱体,所述的上箱体下端口与下箱体上端口对应,且在上箱体和下箱体之间设置透明隔板隔开;所述的上箱体下端口与透明隔板水密性连接;所述的上箱体和下箱体四边侧壁为不透明材料。
所述的一种鱼类活体的三维跟踪系统包括设置在承载箱体外侧的支架,所述的支架用于将体感摄像头架设于承载箱体上方。
所述的透明隔板下端面和下箱体上端口固定连接。
所述的下箱体高度为30cm-50cm。
所述的体感摄像头与上箱体上端口距离为40cm-60cm。
所述的透明隔板为亚克力板。
所述的透明隔板水平设置。
一种鱼类活体的三维跟踪方法,设置所述的三维跟踪系统;在上箱体内放置一条以上的鱼类活体及其存活的水体;利用二维成像方法连续获取任一鱼类活体平面二维坐标,利用光飞行时间方法连续获取所述鱼类活体的深度坐标;将所述的平面二维坐标和所述的深度坐标整合得到所述鱼类活体的三维运动轨迹。
在获取平面二维坐标时先将计算出鱼类活体的重心点,所述的平面二维坐标用于记录所述重心点的平面轨迹。
本发明所述的一种鱼类活体的三维跟踪系统及其跟踪方法,其优点在于,利用体感摄像头和特定结构的承载箱体配合,在压缩鱼类活动空间的情况下也能得到准确的三维坐标。系统的设置成本低,而跟踪的精度高,后期的数据运算量也能得到有效减少。而且本发明所述的三维跟踪系统可以做到小型化,尤其适合用于斑马鱼的跟踪研究。
附图说明
图1是本发明所述鱼类活体的三维跟踪系统的结构示意图;
图2是利用本发明所述三维跟踪方法得到的鱼类活体运动轨迹示意图。
附图说明:10-支架、11-体感摄像头;21-上箱体、22-下箱体、30-透明隔板。
具体实施方式
如图1所示,本发明所述的一种鱼类活体的三维跟踪系统包括:一承载箱体和一架设在承载箱体上方的体感摄像头11;所述的承载箱体包括上箱体21和下箱体22,所述的上箱体21下端口与下箱体22上端口对应,且在上箱体21和下箱体22之间设置透明隔板30隔开;所述的上箱体21下端口与透明隔板30水密性连接;所述的上箱体21和下箱体22四边侧壁为不透明材料。还包括设置在承载箱体外侧的支架10,所述的支架10用于将体感摄像头11架设于承载箱体上方。所述的透明隔板30下端面和下箱体22上端口固定连接,无需每次使用再使上箱体21和下箱体22重新对准,一体化后更容易操作。所述的下箱体22高度为30cm-50cm,其中40cm的反射效果最佳。所述的体感摄像头11与上箱体21上端口距离为40cm-60cm,其中50cm位置的成像效果最佳。所述的透明隔板30为亚克力板,也可以是其他透明的不透水的材料,如玻璃等。所述的透明隔板30水平设置,可以使体感摄像头11的成像保持最低失真度。
为了进一步体现本发明所述三维跟踪系统的可行性,提出至少一种体感摄像头11的具体型号,但本领域技术人员在具有相同或相似功能的其他型号体感摄像头的公知技术下,均可作无需创造性劳动的替换,因此下列所述型号不应当作为保护范围的限制。所述的体感摄像头11可以为微软公司的KINECT 2.0体感摄像头。
KINECT 2.0体感摄像头是微软公司开发的一款基于体感交互的人机交互设备,主要由三个部件组成:一是红外投影机,其主动投射近红外光谱,照射到粗糙物体,或是穿透毛玻璃后,光谱发生扭曲,会形成随机的反射斑点,进而能被红外摄像头读取。二是红外摄像头,用于深度信息的获取,分析红外光谱,创建可视范围内的人体,物体的深度图像。拍摄由红外光光源照射到物体后反射回来的红外光,并根据发射光源与接收光源的时间差(TOF,Time of Flight)判断出物体与摄像头的距离,产生深度信息。三是彩色摄像头,用于拍摄视角范围内的彩色视频图像,彩色摄像头与红外摄像头并行放置,两摄像头拍摄同一物体产生很接近的二维图像,但是深度图跟彩色图的像素不同,致使物体成像的位置有一定的偏移,需要校准。
本发明所述的一种鱼类活体的三维跟踪系统工作原理和跟踪方法具体如下,体感摄像头11被支架10固定在地面,通过相机俯拍杆,体感摄像头11被固定为往下拍摄。在体感摄像头11的下方0.5米处放置所述的承载箱体,承载箱体的侧面采用不透明的光滑塑料板设计,光不能透射,但能有效地反射;包括了上下对应的上箱体21和下箱体22两部分。上箱体21的底部采用高透明度的亚克力板设计,KINECT 2.0红外光能透射过透明隔板30照射到地面,部分光可反射回摄像头,透明隔板30与地面保持40cm左右的距离,并保持平行。
从上箱体21的顶部俯拍鱼缸,体感摄像头11与上箱体21水面的距离为50cm,考虑到水面高度的不确定性,可以将体感摄像头11设置在上箱体21上方40cm-60cm之间进行调整。当鱼在上箱体21里左右移动时,鱼在X,Y平面上的二维数据被红外摄像头及彩色摄像头同时记录得到平面二维坐标。当鱼在垂直于水面的Z方向移动时,红外光投射到鱼的表面,并反射回红外摄像头,KINECT 2.0内置的DSP芯片计算光的发射时间与反射时间差,计算出鱼到摄像头的实际距离,也就是Z方向的深度坐标。由鱼的X,Y,Z三个坐标数值,有效地将鱼的三维运动轨迹计算出来。
微软公司为KINECT 2.0提供的SDK 2.0开发平台,采用C#作为主界面,将采集到的彩色图及深度图在PC机的显示器上显示出来。包括彩色摄像头拍摄到的鱼的图片,二维图像上能够清晰地显现。用红外相机获取的深度图,离摄像头的距离越远,则用越浅的颜色表示,距离越近,颜色越深;因此在水面活动的鱼具有很深的颜色,而在水底游动的鱼会有较浅的颜色。为了更直观的表达,将鱼的深度用彩色的颜色表示,红色表示最近,黄色表示中间,绿色表示最远。在上箱体21中游动的鱼不但有了X,Y方向的信息,还具有了深度Z方向的信息。将鱼的重心点的X,Y,Z三个数值实时地绘制,就可获得鱼的三维运动轨迹。
为了绘制鱼的三维轨迹,首先将深度图的每条鱼的重心点的位置X,Y的值求出来,通过MATLAB程序将深度图像上X,Y点处的Z的值求出来,就获得了某一时刻鱼的三维轨迹坐标。KINECT 2.0的红外摄像头的最大帧率可达30帧每秒。能够达到对鱼的运动行为进行跟踪的要求。在一次实验中,用四条鱼做跟踪对象,得到如图2所示的运动三维轨迹。
对于本领域的技术人员来说,可根据以上描述的技术方案以及构思,做出其它各种相应的改变以及形变,而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (6)

1.一种鱼类活体的三维跟踪系统,其特征在于,包括:一承载箱体和一架设在承载箱体上方的体感摄像头(11);所述的承载箱体包括上箱体(21)和下箱体(22),所述的上箱体(21)下端口与下箱体(22)上端口对应,且在上箱体(21)和下箱体(22)之间设置透明隔板(30)隔开;所述的上箱体(21)下端口与透明隔板(30)水密性连接;所述的上箱体(21)和下箱体(22)四边侧壁为不透明材料;
所述体感摄像头(11)拍摄由红外光光源照射到物体后反射回来的红外光,并根据发射光源与接收光源的时间差判断出物体与摄像头的距离,产生深度信息;
所述下箱体(22)高度为30cm-50cm;
在上箱体(21)内放置一条以上的鱼类活体及其存活的水体;利用二维成像方法连续获取任一鱼类活体平面二维坐标,利用光飞行时间方法连续获取所述鱼类活体的深度坐标;将所述的平面二维坐标和所述的深度坐标整合得到所述鱼类活体的三维运动轨迹;
在获取平面二维坐标时先将计算出鱼类活体的重心点,所述的平面二维坐标用于记录所述重心点的平面轨迹。
2.根据权利要求1所述鱼类活体的三维跟踪系统,其特征在于,包括设置在承载箱体外侧的支架(10),所述的支架(10)用于将体感摄像头(11)架设于承载箱体上方。
3.根据权利要求1所述鱼类活体的三维跟踪系统,其特征在于,所述的透明隔板(30)下端面和下箱体(22)上端口固定连接。
4.根据权利要求1所述鱼类活体的三维跟踪系统,其特征在于,所述的体感摄像头(11)与上箱体(21)上端口距离为40cm-60cm。
5.根据权利要求1所述鱼类活体的三维跟踪系统,其特征在于,所述的透明隔板(30)为亚克力板。
6.根据权利要求1所述鱼类活体的三维跟踪系统,其特征在于,所述的透明隔板(30)水平设置。
CN201811549745.8A 2018-12-18 2018-12-18 一种鱼类活体的三维跟踪系统及其跟踪方法 Active CN109389623B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811549745.8A CN109389623B (zh) 2018-12-18 2018-12-18 一种鱼类活体的三维跟踪系统及其跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811549745.8A CN109389623B (zh) 2018-12-18 2018-12-18 一种鱼类活体的三维跟踪系统及其跟踪方法

Publications (2)

Publication Number Publication Date
CN109389623A CN109389623A (zh) 2019-02-26
CN109389623B true CN109389623B (zh) 2024-01-09

Family

ID=65430553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811549745.8A Active CN109389623B (zh) 2018-12-18 2018-12-18 一种鱼类活体的三维跟踪系统及其跟踪方法

Country Status (1)

Country Link
CN (1) CN109389623B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111436386A (zh) * 2020-04-07 2020-07-24 玉林师范学院 一种游泳型养殖鱼基于摄食强度测量的养殖方法及系统
CN112514831B (zh) * 2020-07-28 2022-06-10 上海市农业科学院 一种活体鳝鱼表型获取的装置与方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680556A (zh) * 2015-02-16 2015-06-03 燕山大学 基于视差的鱼类运动三维轨迹跟踪方法
CN206933032U (zh) * 2017-07-27 2018-01-30 成都市农林科学院 哲罗鱼活鱼运输箱
CN107907645A (zh) * 2017-12-04 2018-04-13 湖南理工学院 一种水生动物行为信息驱动的水质预警装置及方法
CN108008104A (zh) * 2017-12-04 2018-05-08 湖南理工学院 一种水质监测装置及方法
CN108056058A (zh) * 2017-12-12 2018-05-22 浙江海洋大学 一种提高斑马鱼受精率的装置及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680556A (zh) * 2015-02-16 2015-06-03 燕山大学 基于视差的鱼类运动三维轨迹跟踪方法
CN206933032U (zh) * 2017-07-27 2018-01-30 成都市农林科学院 哲罗鱼活鱼运输箱
CN107907645A (zh) * 2017-12-04 2018-04-13 湖南理工学院 一种水生动物行为信息驱动的水质预警装置及方法
CN108008104A (zh) * 2017-12-04 2018-05-08 湖南理工学院 一种水质监测装置及方法
CN108056058A (zh) * 2017-12-12 2018-05-22 浙江海洋大学 一种提高斑马鱼受精率的装置及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Automated multiple fish tracking in three-Dimension using a StructuredLight Sensor;M.M. Saberioon等;《Computers and Electronics in Agriculture》;论文第215-221页 *
基于Kinect的三维目标跟踪与重建;庄晓雯;《中国优秀硕士学位论文全文数据库信息科技辑》;论文第7-13页 *

Also Published As

Publication number Publication date
CN109389623A (zh) 2019-02-26

Similar Documents

Publication Publication Date Title
CN105942959B (zh) 胶囊内窥镜系统及其三维成像方法
KR102066890B1 (ko) 정보 처리 장치, 정보 처리 시스템, 정보 처리 방법 및 컴퓨터 프로그램
WO2019232247A1 (en) Biomass estimation in an aquaculture environment
EP2305358B1 (en) Portable type game device and method for controlling portable type game device
CN108370438A (zh) 范围选通的深度相机组件
CN205758500U (zh) 胶囊内窥镜系统
CN111837144A (zh) 使用机器学习的增强图像深度感测
KR20180101496A (ko) 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
CN108351654A (zh) 用于视觉目标跟踪的系统和方法
CN108629830A (zh) 一种三维环境信息显示方法及设备
CN107004279A (zh) 自然用户界面相机校准
CN110873555B (zh) 用于观测水下生物的系统及其方法
CN109389623B (zh) 一种鱼类活体的三维跟踪系统及其跟踪方法
US20190037133A1 (en) Tracking image collection for digital capture of environments, and associated systems and methods
WO2022023142A1 (en) Virtual window
EP3769036B1 (en) Method and system for extraction of statistical sample of moving fish
KR20170040704A (ko) 물고기 로봇에 의한 3d 홀로그램 수조 시스템 및 물고기 로봇 제어 방법
CN108830881B (zh) 一种运动生物的视频追踪方法和装置
Hua et al. Kinect‐Based Real‐Time Acquisition Algorithm of Crop Growth Depth Images
Janisch et al. Video recording and analysis of avian movements and behavior: insights from courtship case studies
CN104144329B (zh) 光学跟踪方法
Vagvolgyi et al. Wide-angle, monocular head tracking using passive markers
CN108564654A (zh) 三维大场景的画面进入方式
CN208954146U (zh) 一种鱼类活体的三维跟踪系统
CN116109974A (zh) 体积视频展示方法以及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant