CN113627255A - 一种小鼠行为量化分析方法、装置、设备及可读存储介质 - Google Patents
一种小鼠行为量化分析方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN113627255A CN113627255A CN202110767576.0A CN202110767576A CN113627255A CN 113627255 A CN113627255 A CN 113627255A CN 202110767576 A CN202110767576 A CN 202110767576A CN 113627255 A CN113627255 A CN 113627255A
- Authority
- CN
- China
- Prior art keywords
- mouse
- video
- behavior
- network model
- quantitative analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004445 quantitative analysis Methods 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000006399 behavior Effects 0.000 claims abstract description 287
- 238000001514 detection method Methods 0.000 claims abstract description 77
- 238000013527 convolutional neural network Methods 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 21
- 230000000007 visual effect Effects 0.000 claims description 18
- 238000013135 deep learning Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 238000013526 transfer learning Methods 0.000 claims description 5
- 241001465754 Metazoa Species 0.000 abstract description 15
- 238000004458 analytical method Methods 0.000 abstract description 12
- 239000000284 extract Substances 0.000 abstract description 6
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 175
- 238000010586 diagram Methods 0.000 description 10
- 238000002372 labelling Methods 0.000 description 6
- 230000003542 behavioural effect Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 5
- 238000010171 animal model Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 241000699670 Mus sp. Species 0.000 description 2
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000005021 gait Effects 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 229920000742 Cotton Polymers 0.000 description 1
- 241000283984 Rodentia Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008506 pathogenesis Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Abstract
本发明提供一种小鼠行为量化分析方法、装置、设备及可读存储介质，涉及动物行为分析技术领域，该方法包括以下步骤：采集小鼠的待预测视频；将待预测视频输入至姿态估计网络模型中，得到姿态估计网络模型输出的小鼠对应的姿态估计结果；将待预测视频和姿态估计结果输入至行为检测网络模型中，得到行为检测模型输出的小鼠对应的行为检测结果；基于姿态估计结果与行为检测结果提取小鼠的行为模式特征，根据行为模式特征对小鼠的行为进行量化分析。本发明基于动物姿态估计与行为检测提取多种小鼠行为模式特征，有利于实现更加准确与可靠的小鼠行为量化分析。
Description
技术领域
本发明涉及动物行为分析技术领域，尤其涉及一种小鼠行为量化分析方法、装置、设备及可读存储介质。
背景技术
在临床研究中，实验动物模型是探索疾病发病机制和寻找有效治疗方法的重要手段，实验动物行为量化分析可以为疾病动物模型和临床药理学研究提供重要的技术支撑。在啮齿类实验动物中，小鼠是最重要和最常用的实验模型之一。目前，研究人员通常采用人工观察的方式研究小鼠的行为表现特征，但是采用该方式繁琐费时且主观性较强，很难实现小鼠行为量化分析。
现阶段，计算机视觉领域的最新进展已经使快速、精确和稳健的动物行为测量成为现实。同时，为测量动物行为而设计的计算工具已取得了初步成果，新的深度学习方法的开发与应用大力推动了动物姿态估计与行为检测领域的发展，可以预见的是，将自动化分析工具应用于生物医学领域的相关问题可以减轻动物行为学实验的成本，提高实验结果的可靠性和可重现性。随着大数据获取与分析方法的不断发展，目前常用的单视角视频数据分析方式已无法满足研究需求，将多视角动物行为视频信息进行融合，有助于实现更加准确与可靠的小鼠行为量化分析。因此，寻求一种集合多视角视频信息融合的、客观的小鼠行为分析方法，从而促进临床疾病治疗与药物研发，是目前动物行为分析领域的迫切需求。
发明内容
本发明提供一种小鼠行为量化分析方法、装置、设备及可读存储介质，用以解决现有技术中人工观察方式具有费时繁琐、主观性强及难以量化实现的缺陷，实现更加准确与可靠的小鼠行为量化分析。
本发明提供一种小鼠行为量化分析方法，包括以下步骤：
采集小鼠的待预测视频；
将所述待预测视频输入至姿态估计网络模型中，得到所述姿态估计网络模型输出的小鼠对应的姿态估计结果；其中，所述姿态估计网络模型是基于样本视频集得到的，所述待预测视频和所述样本视频集均为小鼠的多视角行为视频；
将所述待预测视频和所述姿态估计结果输入至行为检测网络模型中，得到所述行为检测模型输出的小鼠对应的行为检测结果；
基于所述姿态估计结果与所述行为检测结果提取小鼠的行为模式特征，根据所述行为模式特征对小鼠的行为进行量化分析。
根据本发明提供的小鼠行为量化分析方法，所述基于所述姿态估计结果与所述行为检测结果提取小鼠的行为模式特征，根据所述行为模式特征对小鼠的行为进行量化分析，具体包括以下步骤：
基于所述姿态估计结果与所述行为检测结果，以小鼠躯干质心为参考坐标追踪小鼠的运动情况，提取小鼠的行为模式特征，从所述多视角行为视频的多个视角分别提取所述行为模式特征；其中，所述视角包括俯视视角、侧视视角和仰视视角；
根据所述行为模式特征对小鼠的行为进行量化分析。
根据本发明提供的小鼠行为量化分析方法，所述姿态估计网络模型通过以下步骤训练得到：
将所述样本视频集作为训练使用的输入数据，基于卷积神经网络模型，采用深度学习方式进行训练，得到用于生成待识别视频的姿态估计结果的所述姿态估计网络模型。
根据本发明提供的小鼠行为量化分析方法，所述样本视频集通过以下步骤得到：
采集小鼠的样本视频，从所述样本视频中提取视频关键帧，并从所述视频关键帧确定包含所述小鼠的图像边框，得到关键视频；
利用深度学习与人工校正相结合的方式对所述关键视频进行标注，构建所述样本视频集。
根据本发明提供的小鼠行为量化分析方法，所述采集小鼠的样本视频，从所述样本视频中提取视频关键帧，并从所述视频关键帧确定包含所述小鼠的图像边框，得到关键视频，具体包括以下步骤：
采集小鼠的所述样本视频；其中，所述样本视频为多视角行为视频；
对所述样本视频进行均匀抽样，抽取若干所述视频初始帧，并将抽样后的所述视频初始帧转化为若干主成分分量；
将转换后的所述视频初始帧分为若干聚类簇，并从每个所述聚类簇中抽取若干所述视频关键帧；
对所述视频关键帧进行二值化处理以及形态学操作，检测所述小鼠的轮廓，确定包含所述小鼠的图像边框，得到所述关键视频。
根据本发明提供的小鼠行为量化分析方法，所述利用深度学习与人工校正相结合的方式对所述关键视频进行标注，构建样本视频集，具体包括以下步骤：
选取并标注部分所述关键视频；
将标注后的所述关键视频作为训练使用的输入数据，采用深度学习方式进行训练，得到用于生成待识别视频数据的姿态估计结果的所述卷积神经网络模型；
将未标注的所述关键视频输入至所述卷积神经网络模型中，得到所述卷积神经网络模型输出的姿态估计结果，并标注得到所述姿态估计结果的所述关键视频；
对所述姿态估计结果进行校正，并对所述卷积神经网络模型进行迁移学习；
直至所有的所述关键视频均被标注，得到所述样本视频集。
根据本发明提供的小鼠行为量化分析方法，所述将所述待预测视频和所述姿态估计结果输入至行为检测网络模型中，得到所述行为检测模型输出的小鼠对应的行为检测结果，具体包括以下步骤：
基于所述姿态估计结果，将多视角行为视频中的侧视视角视频输入至行为检测网络模型中，得到小鼠特定行为的发生次数与持续时间；
基于所述姿态估计结果，将多视角行为视频中的仰视视角和俯视视角视频输入至行为检测网络模型中，得到小鼠特定行为的起止时间；其中，所述发生次数、所述持续时间和所述起止时间构成了所述行为检测结果。
本发明还提供一种小鼠行为量化分析装置，包括：
视频采集模块，用于采集小鼠的待预测视频；
姿态估计模块，用于将所述待预测视频输入至姿态估计网络模型中，得到所述姿态估计网络模型输出的小鼠对应的姿态估计结果；其中，所述姿态估计网络模型是基于样本视频集得到的，所述待预测视频和所述样本视频集均为小鼠的多视角行为视频；
行为检测模块，用于将所述待预测视频和所述姿态估计结果输入至行为检测网络模型中，得到所述行为检测模型输出的小鼠对应的行为检测结果；
量化分析模块，用于基于所述姿态估计结果与所述行为检测结果提取小鼠的行为模式特征，根据所述行为模式特征对小鼠的行为进行量化分析。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述小鼠行为量化分析方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述小鼠行为量化分析方法的步骤。
本发明提供的小鼠行为量化分析方法、装置、设备及可读存储介质，相比于现阶段常用的单视角行为分析方法，通过采集小鼠的多视角行为视频，并对多视角行为视频进行相应的处理，可以充分利用更加丰富的动物行为信息，通过获取小鼠的姿态估计结果以及行为预测结果，利用多视角行为视频信息融合方法，基于动物姿态估计与行为检测提取多种小鼠行为模式特征，有利于实现更加准确与可靠的小鼠行为量化分析。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的小鼠行为量化分析方法的流程示意图；
图2是本发明提供的小鼠行为量化分析方法中使用的多视角行为视频采集装置的示意图；
图3是本发明提供的小鼠行为量化分析方法中步骤S400具体的流程示意图；
图4是本发明提供的小鼠行为量化分析方法中样本视频集构建的流程示意图；
图5是本发明提供的小鼠行为量化分析方法中步骤A100具体的流程示意图；
图6是本发明提供的小鼠行为量化分析方法中步骤A200具体的流程示意图；
图7是本发明提供的小鼠行为量化分析方法中卷积神经网络模型的构架图；
图8是本发明提供的小鼠行为量化分析方法中步骤S300具体的流程示意图；
图9是本发明提供的小鼠行为量化分析方法中行为检测网络模型的构架图；
图10是本发明提供的小鼠行为量化分析装置中各模块的结构示意图；
图11是本发明提供的小鼠行为量化分析装置中量化分析模块具体的结构示意图；
图12是本发明提供的小鼠行为量化分析装置中样本视频集构建的结构示意图；
图13是本发明提供的小鼠行为量化分析装置中样本采集模块具体的结构示意图；
图14是本发明提供的小鼠行为量化分析装置中样本构建模块具体的结构示意图；
图15是本发明提供的小鼠行为量化分析装置中行为预测模块具体的结构示意图；
图16是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1描述本发明的小鼠行为量化分析方法，该方法包括以下步骤：
S100、采集小鼠的待预测视频。
在步骤S100中，是通过配置与外界隔离、具有柔和可调光源且隔音的多视角小鼠行为视频拍摄装置进行待预测视频的采集。
更具体的，请参阅图2(1)所示，使用内嵌隔音棉的行为学观察箱实现隔音效果，行为学观察箱内部上方配置一个亮度可调接的LED灯圈，将白色透光板罩于LED灯圈上，为视频拍摄提供柔和、均匀的光源。行为学观察箱中间放置一个敞口的亚克力透明箱，并且在亚克力透明箱内设有支柱。分别从三个视角架设摄像头，摄像头视频分辨率为1920*1440像素，帧率为60FPS，视频存储格式为MP4。其中，摄像头1架设于透明箱正上方，自上而下对小鼠活动进行俯拍；摄像头2架设于透明箱左侧，自左向右对小鼠活动进行侧拍；摄像头3架设于透明箱正下方，自下而上对小鼠活动进行仰拍。俯视、侧视与仰视视角拍摄的小鼠视频请参阅图2(2)所示。
S200、将待预测视频输入至姿态估计网络模型中，得到姿态估计网络模型输出的小鼠对应的姿态估计结果；其中，姿态估计网络模型是基于样本视频集得到的，待预测视频和样本视频集均为小鼠的多视角行为视频。
S300、将待预测视频和姿态估计结果输入至行为检测网络模型中，得到行为检测模型输出的小鼠对应的行为检测结果。
S400、基于姿态估计结果与行为检测结果提取小鼠的行为模式特征，根据行为模式特征对小鼠的行为进行量化分析。
本发明的小鼠行为量化分析方法，相比于现阶段常用的单视角行为分析方法，通过采集小鼠的多视角行为视频，并对多视角行为视频进行相应的处理，可以充分利用更加丰富的动物行为信息，通过获取小鼠的姿态估计结果以及行为预测结果，利用多视角行为视频信息融合方法，基于动物姿态估计与行为检测提取多种小鼠行为模式特征，有利于实现更加准确与可靠的小鼠行为量化分析。
下面结合图3描述本发明的小鼠行为量化分析方法，步骤S400具体包括以下步骤：
S410、基于姿态估计结果与行为检测结果，以小鼠躯干质心为参考坐标追踪小鼠的运动情况，提取小鼠的行为模式特征，从多视角行为视频的多个视角分别提取行为模式特征；其中，视角包括俯视视角、侧视视角和仰视视角；
S420、根据行为模式特征对小鼠的行为进行量化分析。
在步骤S420中，采用高斯移动窗口对小鼠的质心和方向进行平滑滤波，得到瞬时运动速度。此外，训练一个隐马尔科夫模型测量小鼠运动过程中四足的步态模式，在此基础上追踪小鼠的运动情况。分别从俯视视角、侧视视角和仰视视角的视频中提取一系列特征指标即行为模式特征，如表1所示，在提取的多视角行为模式的行为模式特征基础上，最终实现小鼠行为量化分析。
表1小鼠多视角行为模式的行为模式特征
具体的，姿态估计网络模型通过以下步骤训练得到：
将样本视频集作为训练使用的输入数据，基于卷积神经网络模型，采用深度学习方式进行训练，得到用于生成待识别视频的姿态估计结果的姿态估计网络模型。
下面结合图4描述本发明的小鼠行为量化分析方法，样本视频集通过以下步骤得到：
A100、采集小鼠的样本视频，从样本视频中提取视频关键帧，并从视频关键帧确定包含小鼠的图像边框，得到关键视频。
A200、利用深度学习与人工校正相结合的方式对关键视频进行标注，构建样本视频集。
下面结合图5描述本发明的小鼠行为量化分析方法，步骤A100具体包括以下步骤：
A110、采集小鼠的样本视频；其中，样本视频为多视角行为视频。在本实施例中，样本视频通过步骤S100中使用的多视角小鼠行为视频拍摄装置采集。
A120、对样本视频进行均匀抽样，抽取若干视频初始帧，并将抽样后的视频初始帧转化为若干主成分分量。
A130、将转换后的视频初始帧分为若干聚类簇，并从每个聚类簇中抽取若干视频关键帧。
针对小鼠原始的样本视频中存在的信息冗余问题，首先通过步骤A120从时间上进行均匀抽样，例如选取1800个视频初始帧，使用主成分分析对每个视频初始帧进行降维，并转化成50个主成分分量，在此基础上，通过步骤A130，利用k-means聚类方法将所有的视频初始帧分为25个聚类簇，从每簇中再随机抽取16个视频帧，最终生成400个视频关键帧。
A140、对视频关键帧进行二值化处理以及形态学操作，检测小鼠的轮廓，确定包含小鼠的图像边框，得到关键视频。
在步骤A140中，对提取出的每个视频关键帧使用Sobel边缘检测算子计算x、y方向上的梯度，对视频关键帧进行二值化处理后再进行形态学操作从包含背景的整个图像中检测出小鼠所在位置，之后，在此基础上检测小鼠轮廓，最终确定包含小鼠的图像边框，得到关键视频。
下面结合图6描述本发明的小鼠行为量化分析方法，步骤A200具体包括以下步骤：
A210、选取并标注部分关键视频。例如，选取并标注10个关键视频以对小鼠身体部位进行人工标记。
A220、将标注后的关键视频作为训练使用的输入数据，采用深度学习方式进行训练，得到用于生成待识别视频数据的姿态估计结果的卷积神经网络模型；
A230、将未标注的关键视频输入至卷积神经网络模型中，得到卷积神经网络模型输出的姿态估计结果，并标注得到姿态估计结果的关键视频。
A240、对姿态估计结果进行校正，并对卷积神经网络模型进行迁移学习；
A250、重复上述的步骤A210、步骤A220、步骤A230和步骤A240，直至所有的关键视频均被标注，得到样本视频集。
请参阅图7，步骤A220得到的卷积神经网络模型也即姿态估计网络模型构建过程中使用的卷积神经网络模型。通过步骤A220和步骤A230，将得到的卷积神经网络模型应用于未标注过的关键视频并进行预测，之后通过步骤A240对训练模型在视频帧上的预测结果进行人工校正，同时，对已标注关键视频进行训练的卷积神经网络模型进行迁移学习，重复上述步骤，在步骤A250中直到完成所有关键视频的标注工作，得到样本视频集，使用标注好的该样本视频集，之后在步骤S200和步骤S300中先后采用姿态估计与行为检测方法对小鼠行为进行追踪。
在本实施例中，使用一个15层的轻量级卷积神经网络模型，卷积神经网络模型由卷积层、最大池化层和反卷积层堆叠而成。在网络训练期间学习卷积层的权值，使用均方误差(Mean Square Error，MSE)损失函数将网络估计的置信度图与人工标记生成的实际真值图进行比较，从而最小化损失函数。
下面结合图8描述本发明的小鼠行为量化分析方法，步骤S300具体包括以下步骤：
S310、基于姿态估计结果，将多视角行为视频中的侧视视角视频输入至行为检测网络模型中，对侧视视角视频中出现的特定行为(包括站立、理毛和舔脚等)进行检测，得到小鼠特定行为的发生次数与持续时间。
S320、基于姿态估计结果，将多视角行为视频中的仰视视角和俯视视角视频作为信息补充输入至行为检测网络模型中，得到小鼠特定行为的起止时间；其中，发生次数、持续时间和起止时间构成了行为检测结果。
请参阅图9，在该行为检测网络模型中包括视频分类与行为分类模块两个模块，其中，视频分类模块对每帧图像与整个视频分别进行分类，行为分类模块输出每一帧包含在某个动作片段中的概率值。在步骤S320中，将视频分类与行为分类两个模块的输出结果联合起来，根据设定的阈值生成行为检测结果，得到一段视频中小鼠特定行为的起止时间。
下面对本发明提供的小鼠行为量化分析装置进行描述，下文描述的小鼠行为量化分析装置与上文描述的小鼠行为量化分析方法可相互对应参照。
下面结合图10描述本发明的小鼠行为量化分析装置，该装置包括：
视频采集模块100，用于采集小鼠的待预测视频。
在视频采集模块100中，是通过配置与外界隔离、具有柔和可调光源且隔音的多视角小鼠行为视频拍摄装置进行待预测视频的采集。
姿态估计模块200，用于将待预测视频输入至姿态估计网络模型中，得到姿态估计网络模型输出的小鼠对应的姿态估计结果；其中，姿态估计网络模型是基于样本视频集得到的，待预测视频和样本视频集均为小鼠的多视角行为视频。
行为预测模块300，用于将待预测视频和姿态估计结果输入至行为检测网络模型中，得到行为检测模型输出的小鼠对应的行为检测结果。
量化分析模块400，用于基于姿态估计结果与行为检测结果提取小鼠的行为模式特征，根据行为模式特征对小鼠的行为进行量化分析。
本发明的小鼠行为量化分析装置，相比于现阶段常用的单视角行为分析装置，通过视频采集模块100采集小鼠的多视角行为视频，并对多视角行为视频进行相应的处理，可以充分利用更加丰富的动物行为信息，通过姿态估计模块200和行为预测模块300分别获取小鼠的姿态估计结果以及行为预测结果，利用多视角行为视频信息融合装置，基于动物姿态估计与行为检测提取多种小鼠行为模式特征，有利于实现更加准确与可靠的小鼠行为量化分析。
下面结合图11描述本发明的小鼠行为量化分析装置，量化分析模块400具体包括：
第一分析单元410，用于基于姿态估计结果与行为检测结果，以小鼠躯干质心为参考坐标追踪小鼠的运动情况，提取小鼠的行为模式特征，从多视角行为视频的多个视角分别提取行为模式特征；其中，视角包括俯视视角、侧视视角和仰视视角；
第二分析单元420，用于根据行为模式特征对小鼠的行为进行量化分析。
在第二分析单元420中，采用高斯移动窗口对小鼠的质心和方向进行平滑滤波，得到瞬时运动速度。此外，训练一个隐马尔科夫模型测量小鼠运动过程中四足的步态模式，在此基础上追踪小鼠的运动情况。分别从俯视视角、侧视视角和仰视视角的视频中提取一系列特征指标即行为模式特征，在提取的多视角行为模式的行为模式特征基础上，最终实现小鼠行为量化分析。
具体的，姿态估计网络模型通过以下步骤训练得到：
将样本视频集作为训练使用的输入数据，基于卷积神经网络模型，采用深度学习方式进行训练，得到用于生成待识别视频的姿态估计结果的姿态估计网络模型。
下面结合图12描述本发明的小鼠行为量化分析装置，样本视频集通过以下步骤得到：
样本采集模块500，用于采集小鼠的样本视频，从样本视频中提取视频关键帧，并从视频关键帧确定包含小鼠的图像边框，得到关键视频。
样本构建模块600，用于利用深度学习与人工校正相结合的方式对关键视频进行标注，构建样本视频集。
下面结合图13描述本发明的小鼠行为量化分析装置，样本采集模块500具体包括：
第一采集单元510，用于采集小鼠的样本视频；其中，样本视频为多视角行为视频。在本实施例中，样本视频通过视频采集模块100中使用的多视角小鼠行为视频拍摄装置采集。
第二采集单元520，用于对样本视频进行均匀抽样，抽取若干视频初始帧，并将抽样后的视频初始帧转化为若干主成分分量。
第三采集单元130，用于将转换后的视频初始帧分为若干聚类簇，并从每个聚类簇中抽取若干视频关键帧。
针对小鼠原始的样本视频中存在的信息冗余问题，首先通过步骤第二采集单元520从时间上进行均匀抽样，例如选取1800个视频初始帧，使用主成分分析对每个视频初始帧进行降维，并转化成50个主成分分量，在此基础上，通过第三采集单元530，利用k-means聚类装置将所有的视频初始帧分为25个聚类簇，从每簇中再随机抽取16个视频帧，最终生成400个视频关键帧。
第四采集单元540，用于对视频关键帧进行二值化处理以及形态学操作，检测小鼠的轮廓，确定包含小鼠的图像边框，得到关键视频。
在第四采集单元540中，对提取出的每个视频关键帧使用Sobel边缘检测算子计算x、y方向上的梯度，对视频关键帧进行二值化处理后再进行形态学操作从包含背景的整个图像中检测出小鼠所在位置，之后，在此基础上检测小鼠轮廓，最终确定包含小鼠的图像边框，得到关键视频。
下面结合图14描述本发明的小鼠行为量化分析装置，样本构建模块600具体包括：
第一构建单元610，用于选取并标注部分关键视频。例如，选取并标注10个关键视频以对小鼠身体部位进行人工标记。
第二构建单元620，用于将标注后的关键视频作为训练使用的输入数据，采用深度学习方式进行训练，得到用于生成待识别视频数据的姿态估计结果的卷积神经网络模型；
第三构建单元630，用于将未标注的关键视频输入至卷积神经网络模型中，得到卷积神经网络模型输出的姿态估计结果，并标注得到姿态估计结果的关键视频。
第四构建单元640，用于对姿态估计结果进行校正，并对卷积神经网络模型进行迁移学习；
第五构建单元650，用于直至所有的关键视频均被标注，得到样本视频集。
下面结合图15描述本发明的小鼠行为量化分析装置，行为预测模块300具体包括：
第一处理单元310，用于基于姿态估计结果，将多视角行为视频中的侧视视角视频输入至行为检测网络模型中，对侧视视角视频中出现的特定行为(包括站立、理毛和舔脚等)进行检测，得到小鼠特定行为的发生次数与持续时间。
第二处理单元320，用于基于姿态估计结果，将多视角行为视频中的仰视视角和俯视视角视频作为信息补充输入至行为检测网络模型中，得到小鼠特定行为的起止时间；其中，发生次数、持续时间和起止时间构成了行为检测结果。
在该行为检测网络模型中包括视频分类与行为分类模块两个模块，其中，视频分类模块对每帧图像与整个视频分别进行分类，行为分类模块输出每一帧包含在某个动作片段中的概率值。在第二处理单元320中，将视频分类与行为分类两个模块的输出结果联合起来，根据设定的阈值生成行为检测结果，得到一段视频中小鼠特定行为的起止时间。
图16示例了一种电子设备的实体结构示意图，如图16所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行小鼠行为量化分析方法，该方法包括以下步骤：
S100、采集小鼠的待预测视频；
S200、将所述待预测视频输入至姿态估计网络模型中，得到所述姿态估计网络模型输出的小鼠对应的姿态估计结果；其中，所述姿态估计网络模型是基于样本视频集得到的，所述待预测视频和所述样本视频集均为小鼠的多视角行为视频；
S300、将所述待预测视频和所述姿态估计结果输入至行为检测网络模型中，得到所述行为检测模型输出的小鼠对应的行为检测结果；
S400、基于所述姿态估计结果与所述行为检测结果提取小鼠的行为模式特征，根据所述行为模式特征对小鼠的行为进行量化分析。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的小鼠行为量化分析方法，该方法包括以下步骤：
S100、采集小鼠的待预测视频；
S200、将所述待预测视频输入至姿态估计网络模型中，得到所述姿态估计网络模型输出的小鼠对应的姿态估计结果；其中，所述姿态估计网络模型是基于样本视频集得到的，所述待预测视频和所述样本视频集均为小鼠的多视角行为视频；
S300、将所述待预测视频和所述姿态估计结果输入至行为检测网络模型中，得到所述行为检测模型输出的小鼠对应的行为检测结果；
S400、基于所述姿态估计结果与所述行为检测结果提取小鼠的行为模式特征，根据所述行为模式特征对小鼠的行为进行量化分析。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的小鼠行为量化分析方法，该方法包括以下步骤：
S100、采集小鼠的待预测视频；
S200、将所述待预测视频输入至姿态估计网络模型中，得到所述姿态估计网络模型输出的小鼠对应的姿态估计结果；其中，所述姿态估计网络模型是基于样本视频集得到的，所述待预测视频和所述样本视频集均为小鼠的多视角行为视频；
S300、将所述待预测视频和所述姿态估计结果输入至行为检测网络模型中，得到所述行为检测模型输出的小鼠对应的行为检测结果；
S400、基于所述姿态估计结果与所述行为检测结果提取小鼠的行为模式特征，根据所述行为模式特征对小鼠的行为进行量化分析。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种小鼠行为量化分析方法，其特征在于，包括以下步骤：
采集小鼠的待预测视频；
将所述待预测视频输入至姿态估计网络模型中，得到所述姿态估计网络模型输出的小鼠对应的姿态估计结果；其中，所述姿态估计网络模型是基于样本视频集得到的，所述待预测视频和所述样本视频集均为小鼠的多视角行为视频；
将所述待预测视频和所述姿态估计结果输入至行为检测网络模型中，得到所述行为检测模型输出的小鼠对应的行为检测结果；
基于所述姿态估计结果与所述行为检测结果提取小鼠的行为模式特征，根据所述行为模式特征对小鼠的行为进行量化分析。
2.根据权利要求1所述的小鼠行为量化分析方法，其特征在于，所述基于所述姿态估计结果与所述行为检测结果提取小鼠的行为模式特征，根据所述行为模式特征对小鼠的行为进行量化分析，具体包括以下步骤：
基于所述姿态估计结果与所述行为检测结果，以小鼠躯干质心为参考坐标追踪小鼠的运动情况，提取小鼠的行为模式特征，从所述多视角行为视频的多个视角分别提取所述行为模式特征；其中，所述视角包括俯视视角、侧视视角和仰视视角；
根据所述行为模式特征对小鼠的行为进行量化分析。
3.根据权利要求1所述的小鼠行为量化分析方法，其特征在于，所述姿态估计网络模型通过以下步骤训练得到：
将所述样本视频集作为训练使用的输入数据，基于卷积神经网络模型，采用深度学习方式进行训练，得到用于生成待识别视频的姿态估计结果的所述姿态估计网络模型。
4.根据权利要求3所述的小鼠行为量化分析方法，其特征在于，所述样本视频集通过以下步骤得到：
采集小鼠的样本视频，从所述样本视频中提取视频关键帧，并从所述视频关键帧确定包含所述小鼠的图像边框，得到关键视频；
利用深度学习与人工校正相结合的方式对所述关键视频进行标注，构建所述样本视频集。
5.根据权利要求4所述的小鼠行为量化分析方法，其特征在于，所述采集小鼠的样本视频，从所述样本视频中提取视频关键帧，并从所述视频关键帧确定包含所述小鼠的图像边框，得到关键视频，具体包括以下步骤：
采集小鼠的所述样本视频；其中，所述样本视频为多视角行为视频；
对所述样本视频进行均匀抽样，抽取若干所述视频初始帧，并将抽样后的所述视频初始帧转化为若干主成分分量；
将转换后的所述视频初始帧分为若干聚类簇，并从每个所述聚类簇中抽取若干所述视频关键帧；
对所述视频关键帧进行二值化处理以及形态学操作，检测所述小鼠的轮廓，确定包含所述小鼠的图像边框，得到所述关键视频。
6.根据权利要求4所述的小鼠行为量化分析方法，其特征在于，所述利用深度学习与人工校正相结合的方式对所述关键视频进行标注，构建样本视频集，具体包括以下步骤：
选取并标注部分所述关键视频；
将标注后的所述关键视频作为训练使用的输入数据，采用深度学习方式进行训练，得到用于生成待识别视频数据的姿态估计结果的所述卷积神经网络模型；
将未标注的所述关键视频输入至所述卷积神经网络模型中，得到所述卷积神经网络模型输出的姿态估计结果，并标注得到所述姿态估计结果的所述关键视频；
对所述姿态估计结果进行校正，并对所述卷积神经网络模型进行迁移学习；
直至所有的所述关键视频均被标注，得到所述样本视频集。
7.根据权利要求2所述的小鼠行为量化分析方法，其特征在于，所述将所述待预测视频和所述姿态估计结果输入至行为检测网络模型中，得到所述行为检测模型输出的小鼠对应的行为检测结果，具体包括以下步骤：
基于所述姿态估计结果，将多视角行为视频中的侧视视角视频输入至行为检测网络模型中，得到小鼠特定行为的发生次数与持续时间；
基于所述姿态估计结果，将多视角行为视频中的仰视视角和俯视视角视频输入至行为检测网络模型中，得到小鼠特定行为的起止时间；其中，所述发生次数、所述持续时间和所述起止时间构成了所述行为检测结果。
8.一种小鼠行为量化分析装置，其特征在于，包括：
视频采集模块(100)，用于采集小鼠的待预测视频；
姿态估计模块(200)，用于将所述待预测视频输入至姿态估计网络模型中，得到所述姿态估计网络模型输出的小鼠对应的姿态估计结果；其中，所述姿态估计网络模型是基于样本视频集得到的，所述待预测视频和所述样本视频集均为小鼠的多视角行为视频；
行为检测模块(300)，用于将所述待预测视频和所述姿态估计结果输入至行为检测网络模型中，得到所述行为检测模型输出的小鼠对应的行为检测结果；
量化分析模块(400)，用于基于所述姿态估计结果与所述行为检测结果提取小鼠的行为模式特征，根据所述行为模式特征对小鼠的行为进行量化分析。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述小鼠行为量化分析方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述小鼠行为量化分析方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110767576.0A CN113627255A (zh) | 2021-07-07 | 2021-07-07 | 一种小鼠行为量化分析方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110767576.0A CN113627255A (zh) | 2021-07-07 | 2021-07-07 | 一种小鼠行为量化分析方法、装置、设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113627255A true CN113627255A (zh) | 2021-11-09 |
Family
ID=78379243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110767576.0A Pending CN113627255A (zh) | 2021-07-07 | 2021-07-07 | 一种小鼠行为量化分析方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113627255A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115880340A (zh) * | 2023-02-03 | 2023-03-31 | 清华大学 | 小鼠行为分析方法、装置及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012029518A1 (ja) * | 2010-08-31 | 2012-03-08 | オムロン株式会社 | 挙動解析装置 |
| CN110457999A (zh) * | 2019-06-27 | 2019-11-15 | 广东工业大学 | 一种基于深度学习和svm的动物姿态行为估计与心情识别方法 |
| CN111105486A (zh) * | 2019-12-07 | 2020-05-05 | 东南大学 | 一种多视角小白鼠动态三维重建方法 |
| CN111476883A (zh) * | 2020-03-30 | 2020-07-31 | 清华大学 | 多视角无标记动物的三维姿态轨迹重建方法及装置 |
| CN112560757A (zh) * | 2020-12-24 | 2021-03-26 | 中国科学院大学 | 端到端多视角三维人体姿态估计方法、系统及存储介质 |
| CN112580552A (zh) * | 2020-12-23 | 2021-03-30 | 中山大学 | 一种鼠类行为分析方法及装置 |
-
2021
- 2021-07-07 CN CN202110767576.0A patent/CN113627255A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012029518A1 (ja) * | 2010-08-31 | 2012-03-08 | オムロン株式会社 | 挙動解析装置 |
| CN110457999A (zh) * | 2019-06-27 | 2019-11-15 | 广东工业大学 | 一种基于深度学习和svm的动物姿态行为估计与心情识别方法 |
| CN111105486A (zh) * | 2019-12-07 | 2020-05-05 | 东南大学 | 一种多视角小白鼠动态三维重建方法 |
| CN111476883A (zh) * | 2020-03-30 | 2020-07-31 | 清华大学 | 多视角无标记动物的三维姿态轨迹重建方法及装置 |
| CN112580552A (zh) * | 2020-12-23 | 2021-03-30 | 中山大学 | 一种鼠类行为分析方法及装置 |
| CN112560757A (zh) * | 2020-12-24 | 2021-03-26 | 中国科学院大学 | 端到端多视角三维人体姿态估计方法、系统及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| GHADI SALEM DEL: "Three-Dimensional Pose Estimation for Laboratory Mouse From Monocular Images", IEEE TRANSACTIONS ON IMAGE PROCESSING * |
| 廖旋: "基于深度卷积神经网络的图像目标分割研究", 中国优秀硕士学位论文全文数据库信息科技辑 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115880340A (zh) * | 2023-02-03 | 2023-03-31 | 清华大学 | 小鼠行为分析方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110751022B (zh) | 基于图像识别的城市宠物活动轨迹监测方法及相关设备 | |
| Lines et al. | An automatic image-based system for estimating the mass of free-swimming fish | |
| Moya et al. | APHIS: a new software for photo-matching in ecological studies | |
| CN108596046A (zh) | 一种基于深度学习的细胞检测计数方法及系统 | |
| CN111178197A (zh) | 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法 | |
| ZA202300610B (en) | System and method for crop monitoring | |
| CN106570491A (zh) | 一种机器人智能互动的方法及智能机器人 | |
| CN112270310A (zh) | 一种基于深度学习的跨摄像头行人多目标跟踪方法和装置 | |
| CN104615986A (zh) | 利用多检测器对场景变化的视频图像进行行人检测的方法 | |
| CN106203237A (zh) | 集装箱拖车编号的识别方法和装置 | |
| CN112580552A (zh) | 一种鼠类行为分析方法及装置 | |
| CN113435355A (zh) | 多目标奶牛身份识别方法及系统 | |
| CN114387499A (zh) | 一种海岛滨海湿地水鸟识别方法、分布查询系统及介质 | |
| CN110599463A (zh) | 一种基于轻量级联神经网络的舌像检测及定位算法 | |
| CN112101315A (zh) | 一种基于深度学习的运动评判指导方法和系统 | |
| CN113076860B (zh) | 一种野外场景下的鸟类检测系统 | |
| CN113627255A (zh) | 一种小鼠行为量化分析方法、装置、设备及可读存储介质 | |
| CN110322470A (zh) | 行动识别装置、行动识别方法以及记录介质 | |
| CN113177476A (zh) | 一种立定跳远脚后跟关键点的识别方法、系统及测试方法 | |
| CN109711232A (zh) | 基于多目标函数的深度学习行人重识别方法 | |
| Tsuruda et al. | 3D body parts tracking of mouse based on RGB-D video from under an open field | |
| CN114494355A (zh) | 基于人工智能的轨迹分析方法、装置、终端设备及介质 | |
| Zhang et al. | An approach of region of interest detection based on visual attention and gaze tracking | |
| CN113470073A (zh) | 一种基于深度学习的动物中心追踪方法 | |
| CN109359544A (zh) | 一种人像检索方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |