CN111833375B - 一种动物群体轨迹追踪的方法及其系统 - Google Patents
一种动物群体轨迹追踪的方法及其系统 Download PDFInfo
- Publication number
- CN111833375B CN111833375B CN201910327869.XA CN201910327869A CN111833375B CN 111833375 B CN111833375 B CN 111833375B CN 201910327869 A CN201910327869 A CN 201910327869A CN 111833375 B CN111833375 B CN 111833375B
- Authority
- CN
- China
- Prior art keywords
- animal
- target
- video
- track
- entering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241001465754 Metazoa Species 0.000 title claims abstract description 193
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 238000001914 filtration Methods 0.000 claims abstract description 22
- 238000013135 deep learning Methods 0.000 claims abstract description 16
- 238000012544 monitoring process Methods 0.000 claims abstract description 15
- 230000006399 behavior Effects 0.000 claims abstract description 11
- 230000000694 effects Effects 0.000 claims abstract description 11
- 230000007613 environmental effect Effects 0.000 claims abstract description 11
- 230000004083 survival effect Effects 0.000 claims abstract description 7
- 230000003997 social interaction Effects 0.000 claims abstract description 6
- 238000005070 sampling Methods 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 26
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 4
- GRRMZXFOOGQMFA-UHFFFAOYSA-J YoYo-1 Chemical compound [I-].[I-].[I-].[I-].C12=CC=CC=C2C(C=C2N(C3=CC=CC=C3O2)C)=CC=[N+]1CCC[N+](C)(C)CCC[N+](C)(C)CCC[N+](C1=CC=CC=C11)=CC=C1C=C1N(C)C2=CC=CC=C2O1 GRRMZXFOOGQMFA-UHFFFAOYSA-J 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000013434 data augmentation Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000004091 panning Methods 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 claims 1
- 230000003993 interaction Effects 0.000 abstract description 5
- 238000002474 experimental method Methods 0.000 description 15
- 241000699670 Mus sp. Species 0.000 description 12
- 241000699666 Mus <mouse, genus> Species 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 7
- 238000005286 illumination Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000003542 behavioural effect Effects 0.000 description 5
- 241000288667 Tupaia glis Species 0.000 description 4
- 230000009194 climbing Effects 0.000 description 4
- 241000894007 species Species 0.000 description 4
- 230000003416 augmentation Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 241000252212 Danio rerio Species 0.000 description 2
- 241000255581 Drosophila <fruit fly, genus> Species 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000011273 social behavior Effects 0.000 description 2
- 238000004804 winding Methods 0.000 description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 206010003805 Autism Diseases 0.000 description 1
- 208000020706 Autistic disease Diseases 0.000 description 1
- 206010039966 Senile dementia Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000008288 physiological mechanism Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种动物群体轨迹追踪的方法及其系统，所述方法包括以下步骤：S1：将动物群体饲养在适合动物群体生存、活动和社交的环境平台；S2：通过摄像头采集动物群体社交互动行为的监测视频；S3：基于深度学习的目标检测模型，得到视频中所有目标动物信息；S4：通过轨迹追踪，得到动物群体中单个个体的轨迹；S5：对轨迹进行滑动平均滤波处理；S6：生成动物群体中单个个体的轨迹，生成标注有动物群体身份标识的追踪视频。该方法对环境噪声的鲁棒性强，可应用于多动物群体的追踪，抗干扰能力强，能解决动物群体中的个体相互触碰，运动路径相互交叉等复杂的互动模式。
Description
技术领域
本发明涉及动物行为学技术领域，具体涉及一种动物群体轨迹追踪的方法及其系统。
背景技术
在社交行为过程中，动物会做出很多大量而迅速的行为变化，表现出丰富的行为学模式，整合来自其自身的动机和情感，以及当前环境的各种信息。动物行为学、及其社交互动研究可用以搭建正常和疾病动物的认知和情感模型，在学习和记忆研究、疾病模型的生理机制研究、以及药物评估试验等研究中具有广泛的应用，如用以观察自闭症和老年痴呆症中的认识和社交缺陷。
开展多动物群体长期社交实验的一个关键挑战是获得可靠动物轨迹的能力，因此如何从动物群体社交互动行为监测视频中提取详尽的行为信息是动物行为学领域中的一个重要问题。由于动物的社交关系的形成和演化通常需要数天甚至更长时间，因此需要建立深入的、定量的、长期的动物群体行为监测。然而目前广泛应用的实验大多采用少量动物的短时间社交，会遗漏很多重要的动物社交行为模式，且现有的通过人为标注监测视频不现实，不仅单调乏味、花费代价大，而且主观性强，难以重复，在视频序列中保持多动物的自动追踪与身份识别非常困难。此外，动物群体中的个体相互触碰，运动路径相互交叉，会有非常复杂的互动模式，如蜷缩在一起、爬到另外一只动物的背上等，目前的社交实验中通常假设动物一直保持可视、不重叠、运动速度不很快。或是采用其他特征来标记动物身份，如不同的颜色、大小、受限的环境(如某只动物被限制在一个特定区域活动)等，但颜色标记在动物理毛时易被清理掉，不同的颜色模式标记还存在重复性不够高，使用不同动物实验需要重新训练模型等问题；其他如RFID类的标记通常是侵入式的，会影响甚至改变动物的行为；而受限的环境难以观察到全面的动物社交行为模式。
此外，在不同的实验设置中，动物的颜色、实验环境、光照均匀程度、摄像头成像质量等原因，都会影响动物群体自动轨迹追踪的可靠性，而传统的动物行为学计算机视觉系统对各种不同情况的自适应程度较低，用户友好型不强，往往有很多参数需要调整，有些关键参数需要根据经验，费时费力，使用不够方便可靠；且现有的追踪方法对环境噪声较为敏感，特别是对比度低、光照不均匀、光照动态变化、环境动态变化的实验设置，对动物群体中的个体相互触碰，运动路径相互交叉、互动(如蜷缩在一起，爬到另外一只动物的背上等)也较为敏感。
公布号为CN109377517A的中国发明专利《一种基于视频追踪技术的动物个体识别系统》，将深度学习中的Faster-RCNN多目标检测模型与传统追踪算法卡尔曼滤波器结合，可以解决多目标追踪应用中经常出现的遮挡，轨迹交叉，实时性差等难点问题，但是其目标检测模型无法根据视频分析难度、计算复杂度以及分析时间成本做出调整，其方案根据动物目标检测模型所检测出的各动物位置之间的欧式距离作为判定身份的评价标准，小于阈值的检测目标位置为有效位置，该方法在动物出现接触和交叉时，极容易出现动物个体的身份错误，且在同一目标动物被遮挡后又重新出现的情况下，该目标动物消失前后会被分配不同的身份。
由于现有方法和系统在轨迹追踪上仍难以获得满意的结果，因此有必要建立一种新的追踪动物群体轨迹的方法。
发明内容
本发明所要解决的第一个技术问题为针对现有技术的缺陷而提供一种高准确率、高鲁棒性、且稳定可靠的动物群体轨迹追踪的方法。
本发明所要解决的第二个技术问题为针对现有技术的现状而提供一种高准确率、高鲁棒性、且稳定可靠的动物群体轨迹追踪系统。
本发明解决第一个技术问题所采用的技术方案为提供一种动物群体轨迹追踪方法，包括以下步骤：
S1：将动物群体饲养在适合动物群体生存、活动和社交的环境平台；
S2：通过摄像头采集动物群体社交互动行为的监测视频；
S3：基于深度学习的目标检测模型，得到视频中所有目标动物信息；
S4：通过轨迹追踪，得到动物群体中单个个体的轨迹；
S5：对轨迹进行滑动平均滤波处理；
S6：生成动物群体中单个个体的轨迹，生成标注有动物群体身份标识的追踪视频。
进一步地，步骤S2中，所述摄像头的采样频率与动物的运动速度适配并能进行自适应调节，动物运动速度越快，所对应的摄像头采样频率越高，所述摄像头的采样频率为15～50帧/s。如树鼩的运动速度远高于小鼠，对小鼠进行视频录制的采样频率优选为15～20Hz，对树鼩进行视频录制时需要更高的采样频率，优选为45～60Hz，在保证采样图像成像质量和不出现运动模糊的前提下，尽量降低视频数据的大小，以便于保存和分析。
作为优选，步骤S3中，所述目标检测模型包括以Alexnet、VGG19、或Google-Net为基础的Faster-RCNN模型，以及RCNN、Fast-RCNN、SPP-Net、YOYO中的任意一种。考虑到视频分析的难易程度、计算的复杂程度、以及分析的时间成本，在分析对比度和信噪比高的单动物视频时，采用复杂度低的模型，如以Alexnet为基础的Faster-RCNN网络；在分析对比度和信噪比低的多动物视频时，采用复杂度高的模型，如以VGG19和Google-Net为基础的Faster-RCNN网络。
进一步地，步骤S3中，所述目标检测方法包括以下步骤：
S3.1：提取监测视频中感兴趣区域，并删除无关区域；
S3.2：对视频进行空间分辨率的变换；
S3.3：对视频进行时间采样频率的变换；
S3.4：基于深度目标学习的目标检测模型对视频中的每一帧图像进行目标检测，得到目标动物的包围框。
进一步地，步骤S3.4中，所述目标检测包括以下步骤：
S3.4.1：训练样本视频：对训练视频采样并对每一帧图像中的目标动物进行矩形框标注，并生成大量训练样本图像；
S3.4.2：对样本进行数据增广与整理；
S3.4.3：得到训练的基于深度学习的目标检测模型，并输出目标动物的包围框，包括包围框位置信息和包围框大小信息；
S3.4.4：对目标进行检测：输入目标检测视频；
S3.4.5：读取目标检测视频中的每一帧图像；
S3.4.6：加载步骤S3.4.3中训练后的基于深度学习的目标检测模型；
S3.4.7：得到目标动物的矩形包围框。
进一步地，步骤S3.4.1中，训练样本的图像的具体数量，需要根据实际情况确定，如针对背景与前景对比度大的情况，需要大约2000～3000张训练图像，对于背景与前景对比度小、识别难度大的情况，需要大约3000～4000张训练图像；步骤S3.4.2中，对样本的增广采用基于旋转和镜像的扩展8倍的增广方式、和/或图像平移及缩放，其中，所述扩展8倍的增广方式包括：旋转0度不镜像、旋转-90度不镜像、旋转-180度不镜像、旋转-270度不镜像、旋转0度且Y轴镜像、旋转-90度且X轴镜像、旋转-180度且Y轴镜像、旋转-270度且X轴镜像。
进一步地，步骤S4中，轨迹追踪包括以下步骤：
S4.1：对视频内动物群体中每个个体轨迹初始化处理，确认目标数量及位置；
S4.2：提取当前帧图像中所有检测得到的目标动物及其位置；
S4.3：提取下一帧图像中所有检测得到的目标动物及其位置；
S4.4：确认视频中目标动物的数量，并通过二分图最大匹配算法对当前帧图像中所有目标动物和下一帧图像中检测得到的目标动物进行匹配，以使当前帧和下一帧图像中的目标动物的位置的距离最小、重叠度最大；
S4.5：判断当前帧图像中所有的目标是否已得到匹配，如果否，则进入步骤S4.6，如果是，则进入步骤S4.7；
S4.6：通过Kalman滤波方法预测当前帧图像中未匹配目标动物在下一帧图像中的位置，并进入步骤S4.7；
S4.7：继续判断视频是否处理完成，如果未完成，则进入步骤S4.8，如果完成，则进入步骤S4.9；
S4.8：将下一帧图像作为当前帧图像，并进入步骤S4.2；
S4.9：输出动物群体中每个个体的轨迹。
通过目标动物距离和重叠度的联合指标以及二分图最大匹配算法，进行目标动物的身份分配，能最大程度的保证动物轨迹追踪的可靠性。
进一步地，步骤S5中，所述滑动平均滤波处理包括以下步骤：
S5.1：提取动物群体中单个个体的原始轨迹；
S5.2：根据目标动物的运动速度以及视频采样的频率来设置滑动平均滤波窗口长度N；
S5.3：判断滑动窗口内轨迹是否存在缺失点，如果否，进入步骤S5.4，如果是，则进入步骤S5.5；
S5.4：计算该滑动窗口内轨迹位置均值作为滤波结果，进入步骤S5.6；
S5.5：将轨迹缺失点处的数值记为零，并将轨迹长度记为滑动平均滤波窗口长度N减去缺失点的个数，然后进入步骤S5.4；
S5.6：判断轨迹滤波是否结束，如果没有结束，则进入步骤S5.7，如果结束，则进入步骤S5.8；
S5.7：移动滑动窗口，使步长增加1，然后进入步骤S5.3；
S5.8：输出动物群体中单个个体滤波后的追踪轨迹。
相对于目标动物在消失前后会被分配不同的身份，本优选方案中将目标动物被遮挡前后进行联系，确保同一动物只有一个身份，从而得到整个监控视频过程中动物的全部的完整的轨迹。
进一步地，步骤S5.2中，目标动物的运动速度快且视频采样频率低时，选择较小的滑动平均滤波窗口长度N；目标动物速度慢且视频采样频率高时，选择较大的滑动平均滤波窗口长度N。
本发明解决第二个技术问题所采用的技术方案为提供一种能执行上述动物群体轨迹追踪方法的系统，包括：
适合动物群体生存、活动和社交的环境平台；
设置于环境平台上用以监控并记录动物群体活动的摄像头；
存储器；
与所述摄像头和存储器相连接的处理器；
保存在所述处理器上的用以执行动物群体轨迹追踪方法的计算机程序。
与现有技术相比，本发明的优点在于：
(1)本发明提供的动物群体轨迹追踪方法和装置采用深度学习方法，通过训练基于深度学习的Faster-RCNN模型以自动检测并识别目标动物，对环境噪声的鲁棒性强，可应用于光照不均匀、光照动态变化、环境动态变化的实验条件；
(2)可应用于多动物群体的追踪，抗干扰能力强，能解决动物群体中的个体相互触碰，运动路径相互交叉，同时能分辨非常复杂的互动模式(如蜷缩在一起，爬到另外一只动物的背上等)；
(3)能适应于不同的物种，包括斑马鱼、果蝇、小鼠等，对不同物种的轨迹追踪鲁棒性强；
(4)系统用户友好性强，使用简单方便，没有需要根据经验设置的参数，使用方便可靠，并且通过后期的迁移训练，能够迅速针对用户个性化的需求训练得到稳定可靠的模型。
附图说明
图1是本发明优选实施例中动物群体轨迹追踪方法的流程示意图；
图2是图1中的步骤S3的流程示意图；
图3是图2中的步骤S3.4的流程示意图；
图4是图1中的步骤S4的流程示意图；
图5是图1中的步骤S5的流程示意图；
图6是本发明优选实施例中小鼠实验的示意图；
图7是本发明优选实施例中小鼠群体轨迹追踪的结果示意图。
具体实施方式
以下结合附图及实施例对本发明作进一步详细描述。
本优选实施例提供的方法结合了动物行为学实验方法、动物群体社交模式、视频和图像处理、深度学习算法、大数据挖掘方法等多项技术，以实现动物群体中每个个体的轨迹追踪。本优选实施例所涉及的深度学习模型，包括但不限于用过预先标注好的训练数据进行训练获得的模型。
实施例1
参阅图1所示，一种动物群体轨迹追踪方法，包括以下步骤：
S1：将动物群体饲养在适合动物群体生存、活动和社交的环境平台；
S2：通过摄像头采集动物群体社交互动行为的监测视频；
S3：基于深度学习的目标检测模型，得到视频中所有目标动物信息；
S4：通过轨迹追踪，得到动物群体中单个个体的轨迹；
S5：对轨迹进行滑动平均滤波处理；
S6：生成动物群体中单个个体的轨迹，生成标注有动物群体身份标识的追踪视频。
其中，步骤S2中，摄像头的采样频率与动物的运动速度适配并能进行自适应调节，动物运动速度越快，所对应的摄像头采样频率越高，摄像头的采样频率为15～50帧/s。如树鼩的运动速度远高于小鼠，对小鼠进行视频录制的采样频率优选为15～20Hz，对树鼩进行视频录制时需要更高的采样频率，优选为45～60Hz，在保证采样图像成像质量和不出现运动模糊的前提下，尽量降低视频数据的大小，以便于保存和分析。
其中，步骤S3中，目标检测模型包括以Alexnet、VGG19、或Google-Net为基础的快速基于区域的卷积神经网络(Faster Regions with Convolutional Neural NetworkFeatures，Faster-RCNN)模型，以及RCNN、Fast-RCNN、SPP-Net、YOYO中的任意一种。考虑到视频分析的难易程度、计算的复杂程度、以及分析的时间成本，在分析对比度和信噪比高的单动物视频时，采用复杂度低的模型，如以Alexnet为基础的Faster-RCNN网络；在分析对比度和信噪比低的多动物视频时，采用复杂度高的模型，如以VGG19和Google-Net为基础的Faster-RCNN网络。由于Faster-RCNN检测器受外部环境影响(比如，光照、摄像机运动等)较小，其检测精度较高。
进一步参阅图2所示，步骤S3中，目标检测方法包括以下步骤：
S3.1：提取监测视频中感兴趣区域，并删除无关区域；
S3.2：对视频进行空间分辨率的变换；
S3.3：对视频进行时间采样频率的变换；
S3.4：基于深度目标学习的目标检测模型对视频中的每一帧图像进行目标检测，得到目标动物的包围框。
进一步参阅图3所示，步骤S3.4中，目标检测包括以下步骤：
S3.4.1：训练样本视频：对训练视频采样并对每一帧图像中的目标动物进行矩形框标注，并生成大量训练样本图像；
S3.4.2：对样本进行数据增广与整理；
S3.4.3：得到训练的基于深度学习的目标检测模型，并输出目标动物的包围框，包括包围框位置信息和包围框大小信息；
S3.4.4：对目标进行检测：输入目标检测视频；
S3.4.5：读取目标检测视频中的每一帧图像；
S3.4.6：加载步骤S3.4.3中训练后的基于深度学习的目标检测模型；
S3.4.7：得到目标动物的矩形包围框。
在本优选实施例中，步骤S3.4.1中，对于训练样本的图像的具体数量，需要根据实际情况确定，如针对背景与前景对比度大的情况，需要大约2000～3000张训练图像，对于背景与前景对比度小、识别难度大的情况，需要大约3000～4000张图像；步骤S3.4.2中对样本的增广采用基于旋转和镜像的扩展8倍的增广方式、和/或图像平移及缩放，其中，所述扩展8倍的增广方式包括：旋转0度不镜像、旋转-90度不镜像、旋转-180度不镜像、旋转-270度不镜像、旋转0度且Y轴镜像、旋转-90度且X轴镜像、旋转-180度且Y轴镜像、旋转-270度且X轴镜像。
进一步参阅图4所示，步骤S4中，轨迹追踪包括以下步骤：
S4.1：对视频内动物群体中每个个体轨迹初始化处理，确认目标数量及位置；
S4.2：提取当前帧图像中所有检测得到的目标动物及其位置；
S4.3：提取下一帧图像中所有检测得到的目标动物及其位置；
S4.4：确认视频中目标动物的数量，并通过二分图最大匹配算法对当前帧图像中所有目标动物和下一帧图像中检测得到的目标动物进行匹配，以使当前帧和下一帧图像中的目标动物的位置的距离最小、重叠度最大；
S4.5：判断当前帧图像中所有的目标是否已得到匹配，如果否，则进入步骤S4.6，如果是，则进入步骤S4.7；
S4.6：通过Kalman滤波方法预测当前帧图像中未匹配目标动物在下一帧图像中的位置，并进入步骤S4.7；
S4.7：继续判断视频是否处理完成，如果未完成，则进入步骤S4.8，如果完成，则进入步骤S4.9；
S4.8：将下一帧图像作为当前帧图像，并进入步骤S4.2；
S4.9：输出动物群体中每个个体的轨迹。
其中，步骤S4.4中，匹配当前帧所有目标和下一帧检测得到的目标使用二分图最大匹配算法，匹配的过程中利用了视频中目标动物数量的信息。算法实现过程如下：将视频中目标动物数量记为N，将步骤S4.2得到的当前帧中所有目标动物及位置记为A＝(A1,A2,…,AN)；将步骤S4.3得到的下一帧所有检测得到的目标动物及位置记为B＝(B1,B2,…,BM)；计算An与Bm之间的距离和重叠度；An与Bm之间的距离越小，重叠度越大，代表上一帧中的An是下一帧中Bm的概率Pnm越高。
在理想的情况下：M＝N，且所有Bm代表A中不同的目标动物，即A与B中所有元素一一对应，现在需要找出An与Bm之间的对应关系；用二分图最大匹配算法完成An与Bm之间的配对，使所有配对的概率Pnm之和最大。
在非理想的情况下，可能存在Bm不代表A中的任何一个动物，即有一些检测到的对象是背景，不是目标动物。也可能存在An不代表B中的任何一个元素，即有的动物没检测到，可能原因是动物被遮挡等，此时会导致不能实现所有动物的匹配。
通过目标动物距离和重叠度的联合指标以及二分图最大匹配算法，进行目标动物的身份分配，能最大程度的保证动物轨迹追踪的可靠性。
在该系统的实际分析过程中，即使出现M与N不相等，M与N之间的差值也不会太大，如对于具有4只小鼠的群体，N＝4，M的取值一般在3～5之间，其中大部分情况是M＝4；如对于具有6只小鼠的群体，N＝6，M的取值一般在4～8之间，其中大部分情况是M＝6。
S4.6中，用kalman方法预测当前帧中未匹配目标的位置，解决目标动物未被检测到的问题。算法实现过程如下：当前帧中目标动物数量记为N；假设当前帧与下一帧中已实现匹配的动物数量为K(K<N)，因此在上一帧中有N-K个动物，不清楚下一帧中的位置；kalman方法根据这N-K个动物前几帧的运动状态，估计其在下一帧的位置；例如某一个动物在前几帧中一直处于静止状态，则我们预测其在下一帧依然静止在同一位置；或某一动物在前几帧中一直处于匀速运动状态，则我们根据其速度预测其在下一帧的位置。
进一步参阅图5所示，步骤S5中，所述滑动平均滤波处理包括以下步骤：
S5.1：提取动物群体中单个个体的原始轨迹；
S5.2：根据目标动物的运动速度以及视频采样的频率来设置滑动平均滤波窗口长度N；
S5.3：判断滑动窗口内轨迹是否存在缺失点，如果否，进入步骤S5.4，如果是，则进入步骤S5.5；
S5.4：计算该滑动窗口内轨迹位置均值作为滤波结果，进入步骤S5.6；
S5.5：将轨迹缺失点处的数值记为零，并将轨迹长度记为滑动平均滤波窗口长度N减去缺失点的个数，然后进入步骤S5.4；
S5.6：判断轨迹滤波是否结束，如果没有结束，则进入步骤S5.7，如果结束，则进入步骤S5.8；
S5.7：移动滑动窗口，使步长增加1，然后进入步骤S5.3；
S5.8：输出动物群体中单个个体滤波后的追踪轨迹。
相对于目标动物在消失前后会被分配不同的身份，本优选方案中将目标动物被遮挡前后进行联系，确保同一动物只有一个身份，从而得到整个监控视频过程中动物的全部的完整的轨迹。
以上，步骤S5.2中，目标动物的运动速度快且视频采样频率低时，选择较小的滑动平均滤波窗口长度N；目标动物速度慢且视频采样频率高时，选择较大的滑动平均滤波窗口长度N。
实施例二
本优选实施例提供一种能执行实施例一的动物群体轨迹追踪方法的系统，包括：
适合动物群体生存、活动和社交的环境平台；
设置于环境平台上用以监控并记录动物群体活动的摄像头；
存储器；
与所述摄像头和存储器相连接的处理器；
保存在所述处理器上的用以执行动物群体轨迹追踪方法的计算机程序。
实验过程及结果
小鼠旷场实验：如图6所示，将4只小鼠置于40cm*40cm(长*宽)的旷场内，用摄像头进行录像，采样频率为15Hz，录制时间为10分钟。
通过本实施例提供的追踪方法分析得到的视频，得到4只小鼠的轨迹图，4只小鼠群体混合轨迹三维图如图7上部分所示，4只小鼠的完整的单个个体轨迹如图7下部分所示。
通过开展具有多动物的小鼠群体旷场实验，与传统的单只动物旷场实验相比，优势在于：1)小鼠是群居动物，开始小鼠群体实验，更真实地模拟了小鼠实际的生活环境，能得到更加真实可靠的研究结果；2)小鼠群体实验，为研究动物的社交提供了强大的方法和工具；3)多小鼠同时开展实验，能够提高实验的效率，加快研究进展。
本发明提供的动物群体轨迹追踪方法和装置采用深度学习方法，通过训练基于深度学习的Faster-RCNN模型以自动检测并识别目标动物，对环境噪声的鲁棒性强，可应用于光照不均匀、光照动态变化、环境动态变化的实验条件；可应用于多动物群体的追踪，抗干扰能力强，能解决动物群体中的个体相互触碰，运动路径相互交叉，同时能分辨非常复杂的互动模式(如蜷缩在一起，爬到另外一只动物的背上等)；能适应于不同的物种，包括斑马鱼、果蝇、小鼠等，对不同物种的轨迹追踪鲁棒性强；系统用户友好性强，使用简单方便，没有需要根据经验设置的参数，使用方便可靠，并且通过后期的迁移训练，能够迅速针对用户个性化的需求训练得到稳定可靠的模型。
需要说明的是，本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神权利要求来限制。
Claims (6)
1.一种动物群体轨迹追踪方法，其特征在于包括以下步骤：
S1：将动物群体饲养在适合动物群体生存、活动和社交的环境平台；
S2：通过摄像头采集动物群体社交互动行为的监测视频；
S3：基于深度学习的目标检测模型，得到视频中所有目标动物信息；
所述步骤S3中，所述目标检测方法包括以下步骤：
S3.1：提取监测视频中感兴趣区域，并删除无关区域；
S3.2：对视频进行空间分辨率的变换；
S3.3：对视频进行时间采样频率的变换；
S3.4：基于深度目标学习的目标检测模型对视频中的每一帧图像进行目标检测，得到目标动物的包围框；
所述步骤S3.4中，所述目标检测包括以下步骤：
S3.4.1：训练样本视频：对训练视频采样并对每一帧图像中的目标动物进行矩形框标注，并生成大量训练样本图像；
S3.4.2：对样本进行数据增广与整理；
S3.4.3：得到训练的基于深度学习的目标检测模型，并输出目标动物的包围框，包括包围框位置信息和包围框大小信息；
S3.4.4：对目标进行检测：输入目标检测视频；
S3.4.5：读取目标检测视频中的每一帧图像；
S3.4.6：加载步骤S3.4.3中训练后的基于深度学习的目标检测模型；
S3.4.7：得到目标动物的矩形包围框；
S4：通过轨迹追踪，得到动物群体中单个个体的轨迹；
所述步骤S4中，轨迹追踪包括以下步骤：
S4.1：对视频内动物群体中每个个体轨迹初始化处理，确认目标数量及位置；
S4.2：提取当前帧图像中所有检测得到的目标动物及其位置；
S4.3：提取下一帧图像中所有检测得到的目标动物及其位置；
S4.4：确认视频中目标动物的数量，并通过二分图最大匹配算法对当前帧图像中所有目标动物和下一帧图像中检测得到的目标动物进行匹配，以使当前帧和下一帧图像中的目标动物的位置的距离最小、重叠度最大；
S4.5：判断当前帧图像中所有的目标是否已得到匹配，如果否，则进入步骤
S4.6，如果是，则进入步骤S4.7；
S4.6：通过Kalman滤波方法预测当前帧图像中未匹配目标动物在下一帧图像中的位置，并进入步骤S4.7；
S4.7：继续判断视频是否处理完成，如果未完成，则进入步骤S4.8，如果完成，则进入步骤S4.9；
S4.8：将下一帧图像作为当前帧图像，并进入步骤S4.2；
S4.9：输出动物群体中每个个体的轨迹；
S5：对轨迹进行滑动平均滤波处理；
所述步骤S5中，所述滑动平均滤波处理包括以下步骤：
S5.1：提取动物群体中单个个体的原始轨迹；
S5.2：根据目标动物的运动速度以及视频采样的频率来设置滑动平均滤波窗口长度N；
S5.3：判断滑动窗口内轨迹是否存在缺失点，如果否，进入步骤S5.4，如果是，则进入步骤S5.5；
S5.4：计算该滑动窗口内轨迹位置均值作为滤波结果，进入步骤S5.6；
S5.5：将轨迹缺失点处的数值记为零，并将轨迹长度记为滑动平均滤波窗口长度N减去缺失点的个数，然后进入步骤S5.4；
S5.6：判断轨迹滤波是否结束，如果没有结束，则进入步骤S5.7，如果结束，则进入步骤S5.8；
S5.7：移动滑动窗口，使步长增加1，然后进入步骤S5.3；
S5.8：输出动物群体中单个个体滤波后的追踪轨迹；
S6：生成动物群体中单个个体的轨迹，生成标注有动物群体身份标识的追踪视频。
2.根据权利要求1所述的动物群体轨迹追踪方法，其特征在于：
步骤S2中，所述摄像头的采样频率与动物的运动速度适配并能进行自适应调节，动物运动速度越快，所对应的摄像头采样频率越高，所述摄像头的采样频率为15～50帧/s。
3.根据权利要求1所述的动物群体轨迹追踪方法，其特征在于：
步骤S3中，所述目标检测模型包括以Alexnet、VGG19、或Google-Net为基础的Faster-RCNN模型，以及RCNN、Fast-RCNN、SPP-Net、YOYO中的任意一种。
4.根据权利要求1所述的动物群体轨迹追踪方法，其特征在于：
步骤S3.4.2中，对样本的增广采用基于旋转和镜像的扩展8倍的增广方式、和/或图像平移及缩放，其中，所述扩展8倍的增广方式包括：旋转0度不镜像、旋转-90度不镜像、旋转-180度不镜像、旋转-270度不镜像、旋转0度且Y轴镜像、旋转-90度且X轴镜像、旋转-180度且Y轴镜像、旋转-270度且X轴镜像。
5.根据权利要求1所述的动物群体轨迹追踪方法，其特征在于：
步骤S5.2中，目标动物的运动速度快且视频采样频率低时，选择较小的滑动平均滤波窗口长度N；目标动物速度慢且视频采样频率高时，选择较大的滑动平均滤波窗口长度N。
6.一种能执行如权利要求1～5任一项所述的动物群体轨迹追踪方法的系统，其特征在于包括：
适合动物群体生存、活动和社交的环境平台；
设置于环境平台上用以监控并记录动物群体活动的摄像头；
存储器；
与所述摄像头和存储器相连接的处理器；
保存在所述处理器上的用以执行动物群体轨迹追踪方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910327869.XA CN111833375B (zh) | 2019-04-23 | 2019-04-23 | 一种动物群体轨迹追踪的方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910327869.XA CN111833375B (zh) | 2019-04-23 | 2019-04-23 | 一种动物群体轨迹追踪的方法及其系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111833375A CN111833375A (zh) | 2020-10-27 |
| CN111833375B true CN111833375B (zh) | 2024-04-05 |
Family
ID=72911484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910327869.XA Active CN111833375B (zh) | 2019-04-23 | 2019-04-23 | 一种动物群体轨迹追踪的方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111833375B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112560621A (zh) * | 2020-12-08 | 2021-03-26 | 北京大学 | 基于动物图像的识别方法、装置、终端及介质 |
| CN113255549B (zh) * | 2021-06-03 | 2023-12-05 | 中山大学 | 一种狼群围猎行为状态智能识别方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016099941A (ja) * | 2014-11-26 | 2016-05-30 | 日本放送協会 | オブジェクト位置推定システム、及びそのプログラム |
| CN106127137A (zh) * | 2016-06-21 | 2016-11-16 | 长安大学 | 一种基于3d轨迹分析的目标检测识别算法 |
| WO2018095082A1 (zh) * | 2016-11-28 | 2018-05-31 | 江苏东大金智信息系统有限公司 | 一种视频监测中运动目标的快速检测方法 |
| CN109191497A (zh) * | 2018-08-15 | 2019-01-11 | 南京理工大学 | 一种基于多种信息融合的实时在线多目标跟踪方法 |
| CN109377517A (zh) * | 2018-10-18 | 2019-02-22 | 哈尔滨工程大学 | 一种基于视频追踪技术的动物个体识别系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10860863B2 (en) * | 2016-10-25 | 2020-12-08 | Deepnorth Inc. | Vision based target tracking using tracklets |
-
2019
- 2019-04-23 CN CN201910327869.XA patent/CN111833375B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016099941A (ja) * | 2014-11-26 | 2016-05-30 | 日本放送協会 | オブジェクト位置推定システム、及びそのプログラム |
| CN106127137A (zh) * | 2016-06-21 | 2016-11-16 | 长安大学 | 一种基于3d轨迹分析的目标检测识别算法 |
| WO2018095082A1 (zh) * | 2016-11-28 | 2018-05-31 | 江苏东大金智信息系统有限公司 | 一种视频监测中运动目标的快速检测方法 |
| CN109191497A (zh) * | 2018-08-15 | 2019-01-11 | 南京理工大学 | 一种基于多种信息融合的实时在线多目标跟踪方法 |
| CN109377517A (zh) * | 2018-10-18 | 2019-02-22 | 哈尔滨工程大学 | 一种基于视频追踪技术的动物个体识别系统 |
Non-Patent Citations (3)
| Title |
|---|
| 一种简单有效的鱼群轨迹追踪算法;张琪;韩战钢;;北京师范大学学报(自然科学版)(第04期);全文 * |
| 基于图像处理的鱼群运动监测方法研究;袁永明;施;;南方水产科学(第05期);全文 * |
| 基于目标跟踪的群聚行为识别;马一博;;科技与创新(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111833375A (zh) | 2020-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Machine vision for natural gas methane emissions detection using an infrared camera | |
| Bahl et al. | Neural circuits for evidence accumulation and decision making in larval zebrafish | |
| CN109146921B (zh) | 一种基于深度学习的行人目标跟踪方法 | |
| CN105354548B (zh) | 一种基于ImageNet检索的监控视频行人重识别方法 | |
| Raca et al. | Translating head motion into attention-towards processing of student’s body-language | |
| JP4208898B2 (ja) | 対象物追跡装置および対象物追跡方法 | |
| CN110378259A (zh) | 一种面向监控视频的多目标行为识别方法及系统 | |
| US9430701B2 (en) | Object detection system and method | |
| CN108154236A (zh) | 用于评估群组层面的认知状态的技术 | |
| Roussel et al. | A computational model for C. elegans locomotory behavior: application to multiworm tracking | |
| JP2015523753A (ja) | ガウスプロセスに基づく変分ベイズ期待値最大化を使用する異常なオブジェクトのトラック決定 | |
| CN111833375B (zh) | 一种动物群体轨迹追踪的方法及其系统 | |
| Zhang et al. | Fly visual system inspired artificial neural network for collision detection | |
| CN116502161A (zh) | 一种基于动态超图神经网络的异常检测方法 | |
| CN108875500A (zh) | 行人再识别方法、装置、系统及存储介质 | |
| Rusdi et al. | Student attendance using face recognition technology | |
| Brookes et al. | Evaluating cognitive enrichment for zoo-housed gorillas using facial recognition | |
| CN113393495A (zh) | 基于强化学习的高空抛物轨迹识别方法 | |
| JP5403575B2 (ja) | 環境負荷濃度変化判定装置 | |
| Yuan | Image target detection algorithm based on computer vision technology | |
| JP2021033359A (ja) | 感情推定装置、感情推定方法、プログラム、情報提示装置、情報提示方法及び感情推定システム | |
| CN114743262A (zh) | 行为检测方法、装置、电子设备及存储介质 | |
| US20230230277A1 (en) | Object position estimation device, object position estimation method, and recording medium | |
| CN113470073A (zh) | 一种基于深度学习的动物中心追踪方法 | |
| Zhengfeng | Accurate recognition method of continuous sports action based on deep learning algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |