CN112580552B - 一种鼠类行为分析方法及装置 - Google Patents
一种鼠类行为分析方法及装置 Download PDFInfo
- Publication number
- CN112580552B CN112580552B CN202011557323.2A CN202011557323A CN112580552B CN 112580552 B CN112580552 B CN 112580552B CN 202011557323 A CN202011557323 A CN 202011557323A CN 112580552 B CN112580552 B CN 112580552B
- Authority
- CN
- China
- Prior art keywords
- murine
- neural network
- video
- convolutional neural
- mice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241001529936 Murinae Species 0.000 title claims abstract description 141
- 238000004458 analytical method Methods 0.000 title claims description 37
- 241000699670 Mus sp. Species 0.000 claims abstract description 75
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 66
- 238000001514 detection method Methods 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 51
- 230000033001 locomotion Effects 0.000 claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000006073 displacement reaction Methods 0.000 claims abstract description 11
- 241000699666 Mus <mouse, genus> Species 0.000 claims description 57
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 239000012634 fragment Substances 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 238000005192 partition Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000002788 crimping Methods 0.000 claims description 3
- 230000006399 behavior Effects 0.000 abstract description 59
- 241001465754 Metazoa Species 0.000 abstract description 18
- 230000005540 biological transmission Effects 0.000 abstract description 8
- 238000010171 animal model Methods 0.000 abstract description 7
- 238000011160 research Methods 0.000 abstract description 6
- 238000013528 artificial neural network Methods 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 12
- 238000003062 neural network model Methods 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 101100113065 Mus musculus Cfi gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种鼠类行为分析方法和装置，其中方法包括：采集用于训练的训练视频片段；获取视频中活动区域的边界框，将边界框和鼠类的信息作为鼠类目标检测的神经网络的的监督信息，并对人工卷积神经网络进行训练；采用训练后的人工卷积神经网络对鼠类视频片段进行目标检测，得到预设大小的感兴趣区域；根据连续两帧中感兴趣区域中心坐标的位移和时间差，得到实时运动总里程，从而获得鼠类的运动状态。本申请所提供鼠类行为分析方法可以有效对小鼠的行为信息进行量化和分析，为动物行为研究提供可靠的研究信息，解决了采取佩戴时传感器的方式来对实验动物进行追踪的办法存在的鲁棒性低，无线传感器传输距离短，使用成本高的问题。
Description
技术领域
本申请涉及动物行为分析技术领域，尤其涉及一种鼠类行为分析方法及装置。
背景技术
动物行为学的主要研究内容是外界环境如何影响动物行为以及动物是如何用行为适应环境的。动物行为的研究主要分为以下四个步骤：1、仔细观察；2、提出假设；3、验证假设；4、对动物可能的行为进行预测。然而，到目前为止，动物行为学的研究大多建立在人为观察的基础上，只能够对动物的行为进行定性的假设，然后进行对比试验来验证假设。
以鼠类为例，为了能够对动物进行识别和追踪，现有技术通常采取用无线传感网络和RFID芯片来对实验动物进行识别和定位。但是，引入无线传感器的方法存在价格高，传感器存在脱落风险等缺陷。同时，采取佩戴时传感器的方式来对实验动物进行追踪的办法还存在鲁棒性低，无线传感器传输距离短，使用成本高等缺点。
因此，如何提出一种鼠类行为分析方法及装置，使其成本低、鲁棒性强、能实时监测、能源消耗低，从而帮助从事动物行为实验人员更好的理解实验动物行为的目的，是本领域技术人员亟待解决的技术问题。
发明内容
本申请实施例提供了一种鼠类行为分析方法及装置，解决采取佩戴时传感器的方式来对实验动物进行追踪的办法存在的鲁棒性低，无线传感器传输距离短，使用成本高的问题。
有鉴于此，本申请第一方面提供了一种鼠类行为分析方法，所述方法包括步骤：
S1，采集用于训练的训练视频片段；
S2，获取所述训练视频片段视频中鼠类的活动区域的边界框，并将所述边界框和鼠类的信息作为鼠类目标检测的第一人工卷积神经网络的第一监督信息，并对所述第一人工卷积神经网络进行训练；
S3，采集用于分析的鼠类视频片段；
S4，采用训练后的第一人工卷积神经网络对所述鼠类视频片段进行目标检测；
S5，在检测到鼠类的视频帧中标记出预设大小的边界框和所述鼠类的信息，并将所述边界框内的区域定义为感兴趣区域；
S6，获取所述鼠类视频片段的连续两帧中所述感兴趣区域的中心坐标的位移和时间差，得到鼠类的瞬时速度，对所述瞬时速度进行积分，得到鼠类的实时运动总里程；
S7，根据所述实时运动总里程获得鼠类的运动状态。
优选的，所述步骤S1之后，还包括：
获取视频中鼠类的头部、背部和尾巴根部三个关键点，得到关键点坐标和关键点类别，将所述关键点坐标和所述关键点类别作为鼠类关键点检测的第二人工卷积神经网络的第二监督信息，并对所述第二人工卷积神经网络进行训练；
所述步骤S4之后，还包括：
采用训练后的第二人工卷积神经网络对所述鼠类视频片段进行关键点检测；
根据所述关键点检测结果得到鼠类的骨骼链路；
根据所述鼠类视频片段的画面帧中所述骨骼链路的形态，获得鼠类的姿势状态。
优选的，采用训练后的第二人工卷积神经网络对所述鼠类视频片段进行关键点检测之前，还包括：
根据训练后的第一人工卷积神经网络的目标检测结果，将所述鼠类视频片段中未检测到鼠类的视频帧剔除。
优选的，所述采用训练后的第二人工卷积神经网络对所述鼠类视频片段进行关键点检测具体为：
采用训练后的第二人工卷积神经网络对所述鼠类视频片段的所述感兴趣区域进行关键点检测。
优选的，所述步骤S4之前，还包括：
采用限制对比度自适应直方图均衡化算法对所述鼠类视频片段进行图像增强。
本申请第二方面提供一种鼠类行为分析装置，包括：
图像获取装置，用于采集用于训练的训练视频片段和采集用于分析的鼠类视频片段；
样本采集装置，具体包括：
目标采集单元，用于获取所述训练视频片段视频中鼠类的活动区域的边界框，并将所述边界框和鼠类的信息作为鼠类目标检测的第一人工卷积神经网络的第一监督信息，并对所述第一人工卷积神经网络进行训练；
小鼠行为分析装置，具体包括：
目标检测单元，用于采用训练后的第一人工卷积神经网络对所述鼠类视频片段进行目标检测；
区域标记单元，用于在检测到鼠类的视频帧中标记出预设大小的边界框和所述鼠类的信息，并将所述边界框内的区域定义为感兴趣区域；
运动计算单元，用于获取所述鼠类视频片段的连续两帧中所述感兴趣区域的中心坐标的位移和时间差，得到鼠类的瞬时速度，对所述瞬时速度进行积分，得到鼠类的实时运动总里程；
行为获取单元，用于根据所述实时运动总里程获得鼠类的运动状态。
优选的，所述样本采集装置还包括：
关键点采集单元，用于获取视频中鼠类的头部、背部和尾巴根部三个关键点进行，得到关键点坐标和关键点类别，将所述关键点坐标和所述关键点类别作为鼠类关键点检测的第一人工卷积神经网络的第一监督信息，并对所述第一人工卷积神经网络进行训练；
所述小鼠行为分析装置还包括：
关键点检测单元，用于采用训练后的第二人工卷积神经网络对所述鼠类视频片段进行关键点检测；
骨骼获取单元，用于根据所述关键点检测结果得到鼠类的骨骼链路；
所述行为获取单元还用于，根据所述鼠类视频片段的画面帧中所述骨骼链路的形态，获得鼠类的姿势状态。
优选的，所述小鼠行为分析装置还包括：
无效帧剔除单元，用于将所述鼠类视频片段中未检测到鼠类的视频帧剔除。
优选的，还包括：
图像增强模块，用于采用限制对比度自适应直方图均衡化算法对所述鼠类视频片段进行图像增强。
优选的，还包括：活动箱；
所述活动箱包括采用可移动隔板分开的运动区和休息区；
所述图像获取装置设置于所述运动区前方。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例中，提供了一种鼠类行为分析方法和装置，其中方法包括：采集用于训练的训练视频片段；获取所述训练视频片段视频中鼠类的活动区域的边界框，并将所述边界框和鼠类的信息作为鼠类目标检测的第一人工卷积神经网络的第一监督信息，并对所述第一人工卷积神经网络进行训练；采集用于分析的鼠类视频片段；采用训练后的第一人工卷积神经网络对所述鼠类视频片段进行目标检测；在检测到鼠类的视频帧中标记出预设大小的边界框和所述鼠类的信息，并将所述边界框内的区域定义为感兴趣区域；获取所述鼠类视频片段的连续两帧中所述感兴趣区域的中心坐标的位移和时间差，得到鼠类的瞬时速度，对所述瞬时速度进行积分，得到鼠类的实时运动总里程；根据所述实时运动总里程获得鼠类的运动状态。本申请所提供鼠类行为分析方法通过对鼠类视频片段进行获取和分析，可以有效对小鼠的行为信息进行量化和分析，为动物行为研究提供可靠的研究信息，有利于增加动物实验的可靠性和信服力，解决了采取佩戴时传感器的方式来对实验动物进行追踪的办法存在的鲁棒性低，无线传感器传输距离短，使用成本高的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请第一实施例中鼠类行为分析方法的方法流程图；
图2为本申请第二实施例中鼠类行为分析方法的方法流程图；
图3为本申请第三实施例中鼠类行为分析装置的结构示意图；
图4为本申请应用例中鼠类行为分析装置的结构示意图；
图5为本申请应用例中鼠类行为分析装置的装配图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请设计了一种鼠类行为分析方法及装置，由于现有技术中引入无线传感器的方法存在价格高，传感器存在脱落风险等缺陷，因此本申请通过建立计算机模型来追踪动物姿态，从而为从事动物行为实验的人员提供可量化的实验数据，运用基于计算机视觉的动物识别和定位方法具有成本低，鲁棒性强，实时监测，能源消耗低等优势。
本申请第一方面提供了一种鼠类行为分析方法，请参阅图1，图1为本申请第一实施例中鼠类行为分析方法的方法流程图，包括：
步骤S1，采集用于训练的训练视频片段。
可以理解的是，由于本申请是基于计算机模型对视频片段中的鼠类行为进行分析和追踪，因此，首先需要对模型进行训练，而训练信息则通过采集用于训练的训练视频片段获取。
步骤S2，获取训练视频片段视频中鼠类的活动区域的边界框，并将边界框和鼠类的信息作为鼠类目标检测的第一人工卷积神经网络的第一监督信息，并对第一人工卷积神经网络进行训练。
需要说明的是，要对鼠类进行行为分析和追踪，那么首先需要对鼠类的位置进行检测，可以预先建立目标检测模型，即将视频中鼠类的活动区域进行标记。需要说明的是，由于此步骤目的是对目标检测模型进行训练，因此活动区域可以通过人工划定，计算机负责记录此边界框范围和边界框内鼠类的信息，另外，鼠类信息包括其品种和年龄等。
步骤S3，采集用于分析的鼠类视频片段。
可以理解的是，当模型训练好之后，则可以开始进行检测步骤，因此采集用于分析的鼠类视频片段，以便于将该片段放入模型中进行检测。
步骤S4，采用训练后的第一人工卷积神经网络对鼠类视频片段进行目标检测。
可以理解的是，在采集了鼠类视频片段之后，则采用训练后的第一人工卷积神经网络对鼠类视频片段进行目标检测。
步骤S5，在检测到鼠类的视频帧中标记出预设大小的边界框和鼠类的信息，并将边界框内的区域定义为感兴趣区域。
需要说明的是，在进行目标检测后，标记出预设大小的边界框，鼠类位于边界框内，以便于以边界框为基础，分析鼠类的运动行为。同时，在边界框附近标记处鼠类的信息，以便于对不同品种、年龄的鼠类进行区分。
步骤S6，获取鼠类视频片段的连续两帧中感兴趣区域的中心坐标的位移和时间差，得到鼠类的瞬时速度，对瞬时速度进行积分，得到鼠类的实时运动总里程。
可以理解的是，根据上述目标检测结果，感兴趣区域的中心坐标即为鼠类的位置，因此根据连续两帧中感兴趣区域的中心坐标的位移，再结合两帧之间的时间差，即可得到鼠类的瞬时速度。对瞬时速度进行积分，得到鼠类的实时运动总里程。步骤S7，根据实时运动总里程获得鼠类的运动状态。
可以理解的是，根据实时运动总里程可以获得鼠类的运动状态。运动状态包括但不限于：静止、跑动、慢步等。
本申请实施例所提供的鼠类行为分析方法，通过对鼠类视频片段进行获取和分析，可以有效对小鼠的行为信息进行量化和分析，为动物行为研究提供可靠的研究信息，有利于增加动物实验的可靠性和信服力，解决了采取佩戴时传感器的方式来对实验动物进行追踪的办法存在的鲁棒性低，无线传感器传输距离短，使用成本高的问题。
进一步的，在上述第一实施例的基础下，本申请第二实施例提供了一种鼠类行为分析方法，请参阅图2，图2为本申请第二实施例中鼠类行为分析方法的方法流程图，包括：
步骤201，采集用于训练的训练视频片段。
该步骤与上述第一实施例的步骤S1一致，此处不再进行赘述。
步骤202，获取训练视频片段视频中鼠类的活动区域的边界框，并将边界框和鼠类的信息作为鼠类目标检测的第一人工卷积神经网络的第一监督信息，并对第一人工卷积神经网络进行训练。
该步骤与上述第一实施例的步骤S2一致，此处不再进行赘述。
步骤203，获取视频中鼠类的头部、背部和尾巴根部三个关键点，得到关键点坐标和关键点类别，将关键点坐标和关键点类别作为鼠类关键点检测的第二人工卷积神经网络的第二监督信息，并对第二人工卷积神经网络进行训练。
需要说明的是，为了进一步的对鼠类的姿势状态进行分析，那么首先可以通过对鼠类的关键部位进行标记，通过关键部位的位移变化来实现鼠类在计算机中的建模。本实施例通过获取视频中鼠类的头部、背部和尾巴根部三个关键点，得到关键点坐标和关键点类别。需要说明的是，由于此步骤目的是对模型进行训练，因此关键点可以通过人工点击标记，计算机负责记录其坐标和类别。当记录了关键点坐标和关键点类别后，将关键点坐标和关键点类别作为鼠类关键点检测的第二人工卷积神经网络的第二监督信息，并对第二人工卷积神经网络进行训练。
步骤204，采集用于分析的鼠类视频片段。
该步骤与上述第一实施例的步骤S3一致，此处不再进行赘述。
步骤205，采用限制对比度自适应直方图均衡化算法对鼠类视频片段进行图像增强。
可以理解的是，通过引入限制对比度直方图均衡化算法来对鼠类视频片段逐帧进行图像增强，提升了较暗环境下鼠类定位的准确度。
步骤206，采用训练后的第一人工卷积神经网络对鼠类视频片段进行目标检测。
该步骤与上述第一实施例的步骤S4一致，此处不再进行赘述。
步骤207，根据训练后的第一人工卷积神经网络的目标检测结果，将鼠类视频片段中未检测到鼠类的视频帧剔除。
可以理解的是，经过训练后的第一人工卷积神经网络可以对视频中鼠类进行目标检测，那么若鼠类视频片段中的某一帧未检测到鼠类，则可以将此帧剔除，以便于提高后续其他检测的分析效率。
步骤208，在检测到鼠类的视频帧中标记出预设大小的边界框和鼠类的信息，并将边界框内的区域定义为感兴趣区域。
步骤209，获取鼠类视频片段的连续两帧中感兴趣区域的中心坐标的位移和时间差，得到鼠类的瞬时速度，对瞬时速度进行积分，得到鼠类的实时运动总里程。
步骤210，根据实时运动总里程获得鼠类的运动状态。
由于步骤208、步骤209和步骤210与上述第一实施例中的步骤S5、步骤S6和步骤S7一致，此处不再进行赘述。
步骤211，采用训练后的第二人工卷积神经网络对鼠类视频片段进行关键点检测。
可以理解的是，要进行姿态检测，那么在采集了鼠类视频片段之后，则可以采用训练后的第一人工卷积神经网络对鼠类视频片段进行关键点检测。
优选的，上述步骤208除已经进行描述过的有益效果以外，由于本实施例还增加了姿态状态的检测步骤，因此在划定感兴趣区域后，后续姿态检测可以只需要检测感兴趣区域内的内容，大大提升了检测效率，即，本步骤具体为可以为：采用训练后的第二人工卷积神经网络对鼠类视频片段的感兴趣区域进行关键点检测。
步骤212，根据关键点检测结果得到鼠类的骨骼链路。
需要说明的是，在检测到鼠类的关键点之后(即头部、背部和尾巴根部三个关键点)，则可以根据关键点建立鼠类的骨骼链路。
步骤213，根据鼠类视频片段的画面帧中骨骼链路的形态，获得鼠类的姿势状态。
可以理解的是，根据鼠类视频片段的画面帧中骨骼链路的形态，可以对鼠类的姿态进行建模，从而获得鼠类在该时间下的姿势状态。姿势状态包括但不限于：站立、趴伏、侧卧、蜷缩等。
本申请实施例在上述第一实施例的基础下，还建立了用于进行鼠类关键点检测的第二人工卷积神经网络模型，在进行运动状态分析的同时还可进行姿势状态的分析，有利于进行综合的鼠类行为分析。且目标检测结果还提高了后续关键点检测的准确性和效率。同时，本申请实施例还通过引入限制对比度直方图均衡化算法来对视频片段逐帧进行图像增强，提升了较暗环境下鼠类定位的准确度。
本申请第二方面提供了一种鼠类行为分析装置，请参阅图3，图3为本申请第三实施例中鼠类行为分析装置的结构示意图，包括：
图像获取装置301，用于采集用于训练的训练视频片段和采集用于分析的鼠类视频片段；
样本采集装置302，具体包括：
目标采集单元3021，用于用于获取训练视频片段视频中鼠类的活动区域的边界框，并将边界框和鼠类的信息作为鼠类目标检测的第一人工卷积神经网络的第一监督信息，并对第一人工卷积神经网络进行训练；
小鼠行为分析装置303，具体包括：
目标检测单元3032，用于用于在检测到鼠类的视频帧中标记出预设大小的边界框和鼠类的信息，并将边界框内的区域定义为感兴趣区域；
区域标记单元3033，用于在检测到鼠类的视频帧中标记出预设大小的边界框和鼠类的信息，并将边界框内的区域定义为感兴趣区域；
运动计算单元3034，用于获取鼠类视频片段的连续两帧中感兴趣区域的中心坐标的位移和时间差，得到鼠类的瞬时速度，对瞬时速度进行积分，得到鼠类的实时运动总里程；
行为获取单元3035，用于根据实时运动总里程获得鼠类的运动状态。
进一步地，样本采集装置302还包括：
关键点采集单元3022，用于获取视频中鼠类的头部、背部和尾巴根部三个关键点进行，得到关键点坐标和关键点类别，将关键点坐标和关键点类别作为鼠类关键点检测的第一人工卷积神经网络的第一监督信息，并对第一人工卷积神经网络进行训练；
小鼠行为分析装置303还包括：
关键点检测单元3036，用于采用训练后的第二人工卷积神经网络对鼠类视频片段进行关键点检测；
骨骼获取单元3037，用于根据关键点检测结果得到鼠类的骨骼链路；
进一步的，行为获取单元3035还用于，根据鼠类视频片段的画面帧中骨骼链路的形态，获得鼠类的姿势状态。
进一步的，小鼠行为分析装置303还包括：
无效帧剔除单元3031，用于将鼠类视频片段中未检测到鼠类的视频帧剔除。
进一步的，关键点检测单元3031具体用于采用训练后的第二人工卷积神经网络对鼠类视频片段的感兴趣区域进行关键点检测。
进一步的，还包括：
图像增强模块304，用于采用限制对比度自适应直方图均衡化算法对鼠类视频片段进行图像增强。
请参阅图4和图5。
本申请实施例做提供的鼠类行为分析装置还包括：活动箱；
活动箱包括采用可移动隔板分开的运动区和休息区；
图像获取装置设置于运动区前方。
基于上述实施例，本申请还提供了一种鼠类行为分析方法及装置的应用例，请参阅图4和图5，图4为本申请应用例中鼠类行为分析装置的结构示意图；图5为本申请应用例中鼠类行为分析装置的装配图，图4包括活动箱1；运动区10；休息区11；摄像头2；数据传输线21；摄像头支架3；分区隔板4；数据处理装置5。图5包括；运动箱左挡板a；运动箱运动区域与休息区域格挡板b；运动箱右挡板c；运动箱前挡板d；运动箱后挡板e；运动箱底座f；摄像头g。
包括供小鼠进行活动的活动箱1和摄像头2，以及用处理视频信息和数据信息的数据处理装置5；
其中摄像头2用于获取小鼠在活动箱1中的运动视频信息。
1.首先使用摄像头2采集活动箱内1的小鼠运动视频，并通过数据传输线21将视频数据传输至数据处理装置5，数据处理装置每隔一秒采集一帧图像，并将该帧图像储存进硬盘空间中，随后，人工对储存于硬盘空间中的样本进行标注，标注主要包括包含小鼠的边界框和小鼠类别；随后将人工标注的边框和类别信息和小鼠图像样本送进的小鼠目标检测的神经网络模型进行训练，最后得到能够特定地检测小鼠并输出小鼠坐标的神经网络模型；
2.首先使用摄像头2采集活动箱内1的小鼠运动视频，并通过数据传输线21将视频数据传输至数据处理装置5，数据处理装置每隔一秒采集一帧图像，并将该帧图像储存进硬盘空间中，随后，人工对储存于硬盘空间中的样本进行标注，标注主要包括小鼠头部、背部和尾部根部的坐标和类别；随后将人工标注的关键点坐标和类别信息以及小鼠图像样本送进的小鼠关键点检测的神经网络模型进行训练，最后得到能够特定地检测小鼠关键点并输出小鼠头部、背部和尾巴根部的坐标以及关键点类别信息的神经网络模型；
3.首先将的小鼠目标检测的神经网络模型和小鼠关键点检测的神经网络模型加载进数据处理装置5的图形处理单元，并通过摄像头2采集位于活动箱1内的小鼠视频信息，每间隔一秒将视频流中的一帧图像转成数据处理装置5的图形处理单元能够读取的格式后，送进的小鼠目标检测的神经网络模型，如果该模型检测出该帧图像存在小鼠，就输出小鼠周围的边界框，如果没有检测出小鼠，则丢弃该图像。
4.如果该帧图像通过的小鼠目标检测的神经网络模型后输出该小鼠的边界框和类别之后，将该边界框范围内的图像设置为感兴趣区域，随后将该感兴趣区域送进的小鼠关键点检测的神经网络模型中，鼠关键点检测的神经网络模型负责输出该感兴趣区域内小鼠的头部、背部和尾巴根部的坐标信息和类别，用户可根据上述三个关键点的相互关系判断出小鼠的姿态和动作。
5.通过的小鼠目标检测的神经网络模型输出的小鼠位置坐标和摄像头2的帧率信息，求出小鼠的实时运动速度和实时运动总里程。
本申请应用例将基于智能视频分析的小鼠追踪及行为识别技术应用在分析小鼠的活跃度和行为上，为广大进行小鼠实验或药物实验的人员提供了一种可以量化小鼠活跃度的方法和系统，增加了小鼠行为实验或药物实验的可靠性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-Only Memory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (8)
1.一种鼠类行为分析方法，其特征在于，包括步骤：
S1，采集用于训练的训练视频片段；
S2，获取所述训练视频片段视频中鼠类的活动区域的边界框，并将所述边界框和鼠类的信息作为鼠类目标检测的第一人工卷积神经网络的第一监督信息，并对所述第一人工卷积神经网络进行训练；
S3，采集用于分析的鼠类视频片段；
S4，采用训练后的第一人工卷积神经网络对所述鼠类视频片段进行目标检测；
S5，在检测到鼠类的视频帧中标记出预设大小的边界框和所述鼠类的信息，并将所述边界框内的区域定义为感兴趣区域；
S6，获取所述鼠类视频片段的连续两帧中所述感兴趣区域的中心坐标的位移和时间差，得到鼠类的瞬时速度，对所述瞬时速度进行积分，得到鼠类的实时运动总里程；
S7，根据所述实时运动总里程获得鼠类的运动状态；所述运动状态包括但不限于：静止、跑动、慢步；
所述步骤S1之后，还包括：
获取视频中鼠类的头部、背部和尾巴根部三个关键点，得到关键点坐标和关键点类别，将所述关键点坐标和所述关键点类别作为鼠类关键点检测的第一人工卷积神经网络的第一监督信息，并对所述第一人工卷积神经网络进行训练，以得到第二人工卷积神经网络；
所述步骤S4之后，还包括：
采用训练后的第二人工卷积神经网络对所述鼠类视频片段进行关键点检测；
根据所述关键点检测结果得到鼠类的骨骼链路；
根据所述鼠类视频片段的画面帧中所述骨骼链路的形态，获得鼠类的姿势状态；
所述姿势状态包括但不限于：站立、趴伏、侧卧、蜷缩。
2.根据权利要求1所述的鼠类行为分析方法，其特征在于，采用训练后的第二人工卷积神经网络对所述鼠类视频片段进行关键点检测之前，还包括：
根据训练后的第一人工卷积神经网络的目标检测结果，将所述鼠类视频片段中未检测到鼠类的视频帧剔除。
3.根据权利要求2所述的鼠类行为分析方法，其特征在于，所述采用训练后的第二人工卷积神经网络对所述鼠类视频片段进行关键点检测具体为：
采用训练后的第二人工卷积神经网络对所述鼠类视频片段的所述感兴趣区域进行关键点检测。
4.根据权利要求1至3任一项所述的鼠类行为分析方法，其特征在于，所述步骤S4之前，还包括：
采用限制对比度自适应直方图均衡化算法对所述鼠类视频片段进行图像增强。
5.一种鼠类行为分析装置，其特征在于，包括：
图像获取装置，用于采集用于训练的训练视频片段和采集用于分析的鼠类视频片段；
样本采集装置，具体包括：
目标采集单元，用于获取所述训练视频片段视频中鼠类的活动区域的边界框，并将所述边界框和鼠类的信息作为鼠类目标检测的第一人工卷积神经网络的第一监督信息，并对所述第一人工卷积神经网络进行训练；
小鼠行为分析装置，具体包括：
目标检测单元，用于采用训练后的第一人工卷积神经网络对所述鼠类视频片段进行目标检测；
区域标记单元，用于在检测到鼠类的视频帧中标记出预设大小的边界框和所述鼠类的信息，并将所述边界框内的区域定义为感兴趣区域；
运动计算单元，用于获取所述鼠类视频片段的连续两帧中所述感兴趣区域的中心坐标的位移和时间差，得到鼠类的瞬时速度，对所述瞬时速度进行积分，得到鼠类的实时运动总里程；
行为获取单元，用于根据所述实时运动总里程获得鼠类的运动状态；
所述样本采集装置还包括：
关键点采集单元，用于获取视频中鼠类的头部、背部和尾巴根部三个关键点进行，得到关键点坐标和关键点类别，将所述关键点坐标和所述关键点类别作为鼠类关键点检测的第一人工卷积神经网络的第一监督信息，并对所述第一人工卷积神经网络进行训练，以得到第二人工卷积神经网络；
所述小鼠行为分析装置还包括：
关键点检测单元，用于采用训练后的第二人工卷积神经网络对所述鼠类视频片段进行关键点检测；
骨骼获取单元，用于根据所述关键点检测结果得到鼠类的骨骼链路；
所述行为获取单元还用于，根据所述鼠类视频片段的画面帧中所述骨骼链路的形态，获得鼠类的姿势状态；
所述姿势状态包括但不限于：站立、趴伏、侧卧、蜷缩。
6.根据权利要求5所述的鼠类行为分析装置，其特征在于，所述小鼠行为分析装置还包括：
无效帧剔除单元，用于将所述鼠类视频片段中未检测到鼠类的视频帧剔除。
7.根据权利要求5至6任一项所述的鼠类行为分析装置，其特征在于，还包括：
图像增强模块，用于采用限制对比度自适应直方图均衡化算法对所述鼠类视频片段进行图像增强。
8.根据权利要求5所述的一种鼠类行为分析装置，其特征在于，还包括：活动箱；
所述活动箱包括采用可移动隔板分开的运动区和休息区；
所述图像获取装置设置于所述运动区前方。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011557323.2A CN112580552B (zh) | 2020-12-23 | 2020-12-23 | 一种鼠类行为分析方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011557323.2A CN112580552B (zh) | 2020-12-23 | 2020-12-23 | 一种鼠类行为分析方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112580552A CN112580552A (zh) | 2021-03-30 |
| CN112580552B true CN112580552B (zh) | 2023-12-12 |
Family
ID=75139749
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011557323.2A Active CN112580552B (zh) | 2020-12-23 | 2020-12-23 | 一种鼠类行为分析方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112580552B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114451395B (zh) * | 2021-06-30 | 2022-12-23 | 烟台卫达环境科技有限公司 | 一种鼠类防控方法 |
| CN113627255B (zh) * | 2021-07-07 | 2024-05-24 | 中国科学院自动化研究所 | 一种小鼠行为量化分析方法、装置、设备及可读存储介质 |
| CN113470077B (zh) * | 2021-07-15 | 2022-06-07 | 郑州布恩科技有限公司 | 一种基于关键点检测的小鼠旷场实验运动行为分析方法 |
| CN113576466A (zh) * | 2021-08-03 | 2021-11-02 | 安徽正华生物仪器设备有限公司 | 基于深度学习适用于啮齿动物的行为分析方法 |
| CN114549516B (zh) * | 2022-03-03 | 2023-01-17 | 石河子大学 | 一种应用于多种类高密度极小虫体行为学的智能分析系统 |
| CN115880340B (zh) * | 2023-02-03 | 2023-07-14 | 清华大学 | 小鼠行为分析方法、装置及电子设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101543400A (zh) * | 2009-04-23 | 2009-09-30 | 深圳先进技术研究院 | 动物行为学检测与自动分析系统和动物行为学分析方法 |
| CN109766867A (zh) * | 2019-01-22 | 2019-05-17 | 长沙智能驾驶研究院有限公司 | 车辆运行状态确定方法、装置、计算机设备和存储介质 |
| CN110008867A (zh) * | 2019-03-25 | 2019-07-12 | 五邑大学 | 一种基于人物异常行为的预警方法、装置及存储介质 |
| CN110472613A (zh) * | 2019-08-22 | 2019-11-19 | 海信集团有限公司 | 对象行为识别方法和装置 |
| CN110796230A (zh) * | 2018-08-02 | 2020-02-14 | 株式会社理光 | 卷积神经网络的训练及使用方法、设备及存储介质 |
| CN111445500A (zh) * | 2020-04-02 | 2020-07-24 | 中国科学院深圳先进技术研究院 | 实验活体行为的分析方法、装置、设备和存储介质 |
| CN111461209A (zh) * | 2020-03-30 | 2020-07-28 | 深圳市凯立德科技股份有限公司 | 一种模型训练装置和方法 |
| CN111507317A (zh) * | 2020-06-30 | 2020-08-07 | 之江实验室 | 一种基于视觉的旋转设备作业手套佩戴检测方法及系统 |
| CN111680562A (zh) * | 2020-05-09 | 2020-09-18 | 北京中广上洋科技股份有限公司 | 一种基于骨骼关键点的人体姿态识别方法、装置、存储介质及终端 |
-
2020
- 2020-12-23 CN CN202011557323.2A patent/CN112580552B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101543400A (zh) * | 2009-04-23 | 2009-09-30 | 深圳先进技术研究院 | 动物行为学检测与自动分析系统和动物行为学分析方法 |
| CN110796230A (zh) * | 2018-08-02 | 2020-02-14 | 株式会社理光 | 卷积神经网络的训练及使用方法、设备及存储介质 |
| CN109766867A (zh) * | 2019-01-22 | 2019-05-17 | 长沙智能驾驶研究院有限公司 | 车辆运行状态确定方法、装置、计算机设备和存储介质 |
| CN110008867A (zh) * | 2019-03-25 | 2019-07-12 | 五邑大学 | 一种基于人物异常行为的预警方法、装置及存储介质 |
| CN110472613A (zh) * | 2019-08-22 | 2019-11-19 | 海信集团有限公司 | 对象行为识别方法和装置 |
| CN111461209A (zh) * | 2020-03-30 | 2020-07-28 | 深圳市凯立德科技股份有限公司 | 一种模型训练装置和方法 |
| CN111445500A (zh) * | 2020-04-02 | 2020-07-24 | 中国科学院深圳先进技术研究院 | 实验活体行为的分析方法、装置、设备和存储介质 |
| CN111680562A (zh) * | 2020-05-09 | 2020-09-18 | 北京中广上洋科技股份有限公司 | 一种基于骨骼关键点的人体姿态识别方法、装置、存储介质及终端 |
| CN111507317A (zh) * | 2020-06-30 | 2020-08-07 | 之江实验室 | 一种基于视觉的旋转设备作业手套佩戴检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112580552A (zh) | 2021-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112580552B (zh) | 一种鼠类行为分析方法及装置 | |
| Fridman et al. | Cognitive load estimation in the wild | |
| Yin et al. | Using an EfficientNet-LSTM for the recognition of single Cow’s motion behaviours in a complicated environment | |
| Ahmedt-Aristizabal et al. | Deep facial analysis: A new phase I epilepsy evaluation using computer vision | |
| Clack et al. | Automated tracking of whiskers in videos of head fixed rodents | |
| Pediaditis et al. | Vision-based motion detection, analysis and recognition of epileptic seizures—a systematic review | |
| Pang et al. | Automatic detection and quantification of hand movements toward development of an objective assessment of tremor and bradykinesia in Parkinson's disease | |
| CN104008367A (zh) | 基于计算机视觉的育肥猪的自动行为分析系统及方法 | |
| Klug et al. | The BeMoBIL Pipeline for automated analyses of multimodal mobile brain and body imaging data | |
| Ahmedt-Aristizabal et al. | Aberrant epileptic seizure identification: A computer vision perspective | |
| CN110717461A (zh) | 一种疲劳状态识别方法、装置和设备 | |
| Moore et al. | Depth sensor-based in-home daily activity recognition and assessment system for stroke rehabilitation | |
| CN116012568A (zh) | 一种通过拍照心电图获取心电节律信息的系统 | |
| WO2023097780A1 (zh) | 机械通气过程中人机异步现象的分类方法和分类装置 | |
| Nunes et al. | Automatic classification and severity estimation of ataxia from finger tapping videos | |
| CN113197558B (zh) | 心率与呼吸率检测方法、系统及计算机存储介质 | |
| Zhang et al. | Early lameness detection in dairy cattle based on wearable gait analysis using semi-supervised LSTM-autoencoder | |
| US20230367398A1 (en) | Leveraging machine learning and fractal analysis for classifying motion | |
| Wang et al. | Automatic identification and analysis of multi-object cattle rumination based on computer vision | |
| CN115439920B (zh) | 基于情绪视听刺激和面部表情的意识状态检测系统、设备 | |
| Jothiaruna | SSDMNV2-FPN: A cardiac disorder classification from 12 lead ECG images using deep neural network | |
| CN111833375A (zh) | 一种动物群体轨迹追踪的方法及其系统 | |
| CN113627255B (zh) | 一种小鼠行为量化分析方法、装置、设备及可读存储介质 | |
| Rudas et al. | On activity identification pipelines for a low-accuracy EEG device | |
| Gao et al. | UD-YOLOv5s: Recognition of cattle regurgitation behavior based on upper and lower jaw skeleton feature extraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |