CN111667480A - 一种多参数融合的行为学定量分析系统及方法 - Google Patents
一种多参数融合的行为学定量分析系统及方法 Download PDFInfo
- Publication number
- CN111667480A CN111667480A CN202010530416.XA CN202010530416A CN111667480A CN 111667480 A CN111667480 A CN 111667480A CN 202010530416 A CN202010530416 A CN 202010530416A CN 111667480 A CN111667480 A CN 111667480A
- Authority
- CN
- China
- Prior art keywords
- behavioral
- quantitative analysis
- subtypes
- animal
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003542 behavioural effect Effects 0.000 title claims abstract description 169
- 238000004445 quantitative analysis Methods 0.000 title claims abstract description 66
- 230000004927 fusion Effects 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 39
- 241001465754 Metazoa Species 0.000 claims abstract description 49
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 238000011160 research Methods 0.000 claims abstract description 27
- 230000000694 effects Effects 0.000 claims abstract description 25
- 238000010171 animal model Methods 0.000 claims abstract description 24
- 230000033001 locomotion Effects 0.000 claims abstract description 22
- 238000005065 mining Methods 0.000 claims abstract description 18
- 230000006399 behavior Effects 0.000 claims description 44
- 208000019901 Anxiety disease Diseases 0.000 claims description 33
- 230000036506 anxiety Effects 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000007613 environmental effect Effects 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 12
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 10
- 201000010099 disease Diseases 0.000 claims description 9
- 238000005315 distribution function Methods 0.000 claims description 9
- 230000001186 cumulative effect Effects 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 4
- 239000000779 smoke Substances 0.000 claims description 4
- 208000024827 Alzheimer disease Diseases 0.000 claims description 3
- 208000006096 Attention Deficit Disorder with Hyperactivity Diseases 0.000 claims description 3
- 208000036864 Attention deficit/hyperactivity disease Diseases 0.000 claims description 3
- 206010003805 Autism Diseases 0.000 claims description 3
- 208000020706 Autistic disease Diseases 0.000 claims description 3
- 201000010374 Down Syndrome Diseases 0.000 claims description 3
- 208000018737 Parkinson disease Diseases 0.000 claims description 3
- 206010044688 Trisomy 21 Diseases 0.000 claims description 3
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 claims description 3
- 208000015802 attention deficit-hyperactivity disease Diseases 0.000 claims description 3
- 201000000980 schizophrenia Diseases 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims description 2
- 235000012054 meals Nutrition 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 abstract description 11
- 241000699666 Mus <mouse, genus> Species 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 241000699670 Mus sp. Species 0.000 description 10
- 238000013401 experimental design Methods 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 210000003027 ear inner Anatomy 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 241000269350 Anura Species 0.000 description 1
- 241000271566 Aves Species 0.000 description 1
- 241000283690 Bos taurus Species 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000700198 Cavia Species 0.000 description 1
- 241000938605 Crocodylia Species 0.000 description 1
- 241000252212 Danio rerio Species 0.000 description 1
- 241000255581 Drosophila <fruit fly, genus> Species 0.000 description 1
- 241000283086 Equidae Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000287828 Gallus gallus Species 0.000 description 1
- 238000012351 Integrated analysis Methods 0.000 description 1
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 241000282887 Suidae Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 235000013330 chicken meat Nutrition 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000007877 drug screening Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000000968 intestinal effect Effects 0.000 description 1
- 230000004770 neurodegeneration Effects 0.000 description 1
- 208000015122 neurodegenerative disease Diseases 0.000 description 1
- 230000000926 neurological effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 231100000041 toxicology testing Toxicity 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
Abstract
本发明公开一种多参数融合的行为学定量分析系统及方法。该系统包括：视频追踪模块，用于获取动物的视频信息，并根据视频信息追踪动物的活动轨迹；行为学特征提取模块，用于从动物的活动轨迹中提取一组行为学特征；以及行为学定量分析模块，用于挖掘基于多参数融合的行为学亚型以及分析行为学亚型与行为学特征、环境和生物医学指标之间的关联。基于本发明在无需人为界定阈值的情况下，利用多个行为学特征，建立行为学亚型，并可以分析行为学亚型与行为学特征、环境和生物医学指标之间的关联，为基于动物模型的行为学研究及其背后的生物医学机理关联研究提供准确且有效的依据。
Description
技术领域
本发明涉及动物行为分析领域，特别是涉及一种多参数融合的行为学定量分析系统及方法。
背景技术
基于动物模型行为学的定量分析，具有重要的生物医学价值和临床价值。例如动物行为学模型为研究基因、肠道菌群、环境等重要因素同疾病(如焦虑、抑郁等)的关联以及疾病的应对方案，提供了重要的依据。但是，动物行为学研究中会存在多种行为学指标，如静止时间、运动时间、运动速度、运动持续时间、运动时的姿态、活动区域等等，这些行为学指标将对行为学的整体评价均存在影响。因此，需要提供一种定量分析方法，科学地衡量综合行为学指标对行为学整体评价体系的影响。
当前，动物行为学定量分析的主要手段，是通过人为界定阈值的方式，采用控制变量法使用一个行为学指标或者集成多个不同的行为学指标，实现对行为学的整体评价(如分为高焦虑或者低焦虑)。该分析手段的缺点有以下几个方面：首先，阈值界定的主观性较强，严重影响了实验结果的科学性和可重复性；其次，多行为学指标在集成过程中缺乏系统性且行为学指标数量有一定的限制，在人为阈值界定和手动集成的过程中，各个行为学指标在行为学整体评价系统中的权重均由人为制定，致使行为学指标间的内在联系丢失，无法保障集成分析的效果和优势；另外，对于行为学亚型的分类，也是由人为界定，很多时候都是基于以往经验或主观看法，存在很强的主观性。
因此，亟需一种多参数融合的行为学定量分析系统及方法，可以科学地衡量单个行为学指标对行为学整体评价体系的影响，并且对行为学亚型进行科学分类。
发明内容
为了解决上述技术问题，本发明提供一种多参数融合的行为学定量分析系统和方法，采用多行为特征融合以及无监督挖掘的方法，在无需人为界定阈值的情况下，利用多个行为学特征，建立行为学亚型；本发明中的多参数融合的行为学定量分析系统和方法，突破传统行为学分析中行为指标数目受限、行为特征参数界定主观等局限，具有良好的通用性；此外，本系统得出的基于多参数融合的行为学定量刻画，为基于动物模型的行为学研究及其相关的生物医学机理关联研究，提供了准确且有效的依据。
作为本发明的一个方面，提供一种多参数融合的行为学定量分析系统及方法，包括视频追踪模块，用于获取动物的视频信息，并根据视频信息追踪动物的活动轨迹；行为学特征提取模块，用于从动物的活动轨迹中提取一组行为学特征；以及行为学定量分析模块，用于挖掘基于多参数融合的行为学亚型以及分析行为学亚型与行为学特征之间的关联；其中，挖掘基于多参数融合的行为学亚型时，采用一致性聚类方法，对行为学特征提取模块提取的一组行为学特征进行无监督融合，挖掘行为学亚型；在进行一致性聚类时，根据一致矩阵和/或一致性指数的累计分布函数判断行为学亚型的数量。通过此多参数融合的行为学定量分析系统，可以无监督融合相关的行为学特征，挖掘多特征融合的行为学亚型，此系统突破传统行为学分析中行为特征受限、行为特征参数界定主观、各行为学指标之间缺乏内在联系等缺点，实现无需人为界定阈值的情况下，利用一组多个行为学特征，挖掘行为学亚型，为基于动物模型的行为学研究及其背后的生物医学机理关联研究提供了准确且有效的依据。
优选地，视频追踪模块包括视频信息采集子模块和目标跟踪子模块；视频信息采集子模块包括一个或多个摄像头，用于获取动物的视频信息；目标跟踪子模块根据预定义或者预训练的目标检测跟踪模型的参数，根据视频信息采集子模块获取的视频的帧序，实现针对特定目标的追踪。
优选地，预定义或者预训练的目标检测跟踪模型，包括机器视觉方法和深度神经网络模型。
优选地，行为学特征提取模块包括活动轨迹刻画子模块和特征提取子模块；活动轨迹刻画子模块用于将视频追踪得到的活动轨迹量化，形成可定量分析的图谱；特征提取子模块用于提取一组行为学特征。
优选地，行为学定量分析模块还用于分析行为学亚型与环境及生物医学指标之间的关联。通过行为学定量分析模块，为基于动物模型的行为学研究及其背后的生物医学机理关联研究提供了准确有效的依据。
优选地，行为学定量分析模块包括无监督行为学亚型挖掘子模块和定量分析子模块；无监督行为学亚型挖掘子模块通过一致性聚类的方法，对行为学特征提取模块提取的一组行为学特征进行无监督融合，挖掘行为学亚型；定量分析子模块用于分析行为学亚型与行为学特征以及环境和生物医学指标之间的关联。
优选地，行为学特征提取模块提取的行为学特征，包括与具体行为定义相关的量化特征。
优选地，与具体行为定义相关的量化特征，包含以下任一种或者多种：静止时间的时间段，每个时间段的时间长度，活动总路程、运动总时间、运动的平均速度、运动的持续时间、进食时间、进食次数。
优选地，行为学定量分析模块在进行一致性聚类时，聚类数量的范围为2-9。
优选地，本发明中的多参数融合的行为学定量分析系统用于研究影响对象行为的疾病研究和环境研究，其中疾病包括帕金森病、阿兹海默病、肌萎缩侧索硬化症、注意力缺陷多动症、自闭症、唐氏综合征、精神分裂症、焦虑症、抑郁症；所述环境因素包括PM2.5、三手烟。
本发明的另一方面，还提供一种多参数融合的行为学定量分析方法，其特征在于，包含以下步骤：获取动物模型中的动物视频，并在视频中追踪动物的活动轨迹；提取一组动物行为学特征；通过一致性聚类，实现对一组动物学行为特征的无监督融合，挖掘基于多参数融合的行为学亚型；其中，挖掘基于多参数融合的行为学亚型时，采用一致性聚类方法，对行为学特征提取模块提取的一组行为学特征进行无监督融合，挖掘行为学亚型；在进行一致性聚类时，根据一致矩阵和/或一致性指数的累计分布函数判断行为学亚型的数量；对行为学亚型进行定量分析，分析行为学亚型与各行为学特征之间的关联以及与环境和生物医学指标之间的关联。
通过本发明中的多参数融合的行为学定量分析系统及方法，在无需人为界定阈值的情况下，利用多个行为学特征，建立行为学亚型，并可以分析行为学亚型与行为学特征、环境和生物医学指标之间的关联，为基于动物模型的行为学研究及其背后的生物医学机理关联研究提供准确且有效的依据。
附图说明
图1为本发明一种多参数融合的行为学定量分析系统的一种具体实施方式的结构框图。
图2为本发明一种多参数融合的行为学定量分析方法的流程图。
图3a-图3c为视频追踪示意图，图3a为视频监测子模块示意图；图3b和3c为目标检测跟踪子模块的输出结果示意图。
图4a和图4b为行为学特征提取模块的输出结果示意图，图4a为为活动轨迹刻画子模块的输出结果图；图4b为为特征提取子模块的输出结果。
图5a-图5d为行为学定量分析模块的输出结果图，图5a为一致性矩阵图；图5b表示一致性指数的累计分布函数(CDF)；图5c表示CDF曲线下面积的相对改变；图5d表示分类为低焦虑(LA)的小鼠和分类为高焦虑(HA)的小鼠在七个与焦虑相关的行为学指标之间的差异。
具体实施方式
以下配合图式及本发明的较佳实施例，进一步阐述本发明为达成预定发明目的所采取的技术手段。
请参照图1所示，图1给出本发明一种多参数融合的行为学定量分析系统的一种具体实施方式的结构框图。该系统包含三个模块，分别为视频追踪模块、行为学特征提取模块和行为学定量分析模块。
视频追踪模块，用于追踪动物的活动轨迹。视频追踪模块包括视频信息采集子模块和目标检测跟踪子模块。视频信息采集子模块包括一个或多个摄像头，用于通过摄像头获取动物的视频信息。目标检测跟踪子模块用于在视频采集子模块获取的视频中检测、识别和追踪目标，实现针对特定目标(或目标组)的追踪。对于选定的视频，按照预定义或者预训练的目标检测跟踪模型的参数，根据视频的帧序，实现针对特定目标的追踪，其输出结果为特定目标(或目标组)的活动轨迹。对于目标的检测和追踪的方法，可以采用传统的机器视觉方法(如基于水平集、分水岭等算法的目标分割方法)或深度神经网络模型(如基于Mask R-CNN、U-Net、SegNet等深度神经网络的目标分割)，在此不进行限制，只要其能达到目标检测和追踪的目的即可。
行为学特征提取模块用于从视频追踪模块输出的活动轨迹中提取行为学特征，行为学特征包括静止时间的时间段，每个时间段的时间长度，活动总路程、运动总时间、运动的平均速度、运动的持续时间、进食时间、进食次数等，这些行为学特征的提取根据需要具体的实验设计方案而定。根据实验设计方案，有的需要增加实验装置，如黑白盒、迷宫等，所提取的行为学特征也可以相应地与这些实验装置相关联，如在黑盒中的时间、在白盒中的时间、在黑白盒之间穿梭的次数、第一次进行黑白盒之间穿梭的时间、在迷宫中的运动距离、在迷宫中同一段往返的次数等。
行为学特征提取模块包括活动轨迹刻画子模块和特征提取子模块。活动轨迹刻画子模块用于将视频追踪得到的活动轨迹量化，形成可定量分析描述的图谱，如得到动物行为的时间图谱。上述动物行为的时间图谱根据实验设计需要进行设计，如得到动物身体在黑白盒中的时间图谱，动物位置的时间图谱等。特征提取模块用于在活动轨迹图谱中，定义和提取相关的行为学特征，如运动速度、滞留时间、活动区域、运动距离、进食时间、进食次数等，所提取的行为学特征根据实验设计需要进行设计。
行为学定量分析模块用于将得到的行为学特征进行融合分析，挖掘基于多特征融合的行为学亚型，并分析多种行为学特征与行为学亚型之间的定量关系。行为学定量分析模块包括无监督行为学亚型挖掘子模块和定量分析模块。
无监督行为学亚型挖掘模块根据一组具体的行为学特征，通过一致性聚类(consensus clustering)的方法，实现对该组行为学特征的无监督融合，以及行为学亚型的挖掘及建模。一致性聚类使用基于再取样的方法来评估集群数量的可信性，并评估将每个样本分配为集群之一的可信性。一致性聚类通过重复地应用分级聚类来实现该目的，其中分级聚类的样本为覆盖总样本80％的随机子集。对于每队样本，其中两个样本位于相同的集群的再取样复制比例为它们的“一致性指数”，全部的一致性指数共同构成一致性矩阵。在理想的一致性矩阵中，全部一致性指数会为1或者0，表明每对样本永远或者从不集群在一起。通过一致性矩阵，可以看出聚类的效果；将一致性矩阵可视化，通过目测各个集群数量之间的边界是否清晰，即可以判断出最佳的集群数量。除了目测一致性矩阵的边界外，还可以通过一致性指数的累计分布函数(CDF)进行辅助判断，如果随着集群数量的增加，一致性指数的累计分布函数CDF下方的面积也可观地增加，这表明样本被聚类良好地分开；但是在一定的点之后，增加集群的数量将不再可观地增加CDF下方的面积，这是由于某些新的集群具有非常少的成员或者某些新的集群的成员的性质不稳定，导致一致性指数介于0和1之间，样本不能很好地被分开。在本发明中，进行无监督行为学亚型挖掘时，采用一致性聚类方法，聚类的数量选取2-9分别进行聚类，通过一致性矩阵和一致性指数累计分布函数下方的面积进行判断，以选取最佳的集群数量。本发明中集群数量并不以2-9为限，系统实际聚类数量及优化选择，不受该集群数量限制。采用无监督行为亚型挖掘，无需人为界定阈值，也无需提前判断亚型的数量，更好地建立起行为学指标之间的内在联系，使其聚类更加科学合理。
定量分析模块用于对无监督行为亚型挖掘所得的行为学亚型进行定量分析，判断不同行为学指标同行为学亚型之间的联系，如判断高焦虑动物的运动距离是否比低焦虑动物长，高焦虑动物的运动速度是否比低焦虑动物快；也可以分析不同的环境和生物医学指标同行为学亚型之间的关联，如高焦虑的动物是否更喜欢在黑暗环境中生活等。通过定量分析模块建立起行为学亚型与行为学指标以及环境和生物医学指标之间的关联，为动物模型的行为学研究及其背后的生物医学机理关联研究提供了准确、有效的依据。
采用本发明中的多参数融合的行为学定量分析系统，可以无监督融合相关的行为学特征，挖掘多特征融合的行为学亚型，可以突破传统行为学分析中行为特征受限、行为特征参数界定主观、各行为学指标之间缺乏内在联系等缺点，实现无需人为界定阈值的情况下，利用一组多个行为学特征，挖掘行为学亚型。除此之外，本发明中的多参数融合的行为学定量分析系统，还能分析不同行为学指标以及环境和生物医学指标与行为学亚型之间的关联，为基于动物模型的行为学研究及其背后的生物医学机理关联研究提供准确、有效的依据。
本发明的另一方面，提供一种多参数融合的行为学定量分析系统，如图2所示，包括：
步骤S1，获取动物模型中的动物视频，并在视频中追踪动物的活动轨迹。在该步骤中，可以采用一个或者多个摄像头获取动物模型中的动物视频，并用预定义或者预训练的目标检测和跟踪模型，按照预定义或与训练的参数，根据视频的帧序，实现对特定目标(或者目标组)的追踪，获得动物的活动轨迹。预定义或预训练的目标检测和跟踪模型即可以为传统机器视觉方法(如基于水平集、分水岭等算法的目标分割方法)，也可以为深度神经网络模型(如基于Mask R-CNN、U-Net、SegNet等深度神经网络的目标分割)。
步骤S2，提取一组动物行为学特征。在该步骤中，根据实验设计需求，将视频追踪得到的活动轨迹量化，形成可定量分析描述的图谱，如动物行为的时间图谱；再根据实验设计需要，在所得到的动物行为的时间图谱中，提取与实验相关的行为学特征。所提取的行为学特征包括运动速度、滞留时间、活动区域、运动距离、进食时间、进食次数等与实验设计相关的行为学特征。
步骤S3，通过一致性聚类，实现对一组动物学行为特征的无监督融合，挖掘行为学亚型。在该步骤中，采用一致性聚类方法，聚类的数量选取2-9分别进行聚类，通过一致性矩阵和一致性指数累计分布函数下方的面积进行判断，选取最佳的集群数量，挖掘行为学亚型。采用无监督行为亚型挖掘，无需人为界定阈值，也无需提前判断亚型的数量，更好地建立起行为学指标之间的内在联系，使其聚类更加科学合理。
步骤S4，对行为学亚型进行定量分析。在该步骤中，判断不同行为学指标同行为学亚型之间的联系，如判断高焦虑动物的运动距离是否比低焦虑动物长，高焦虑动物的运动速度是否比低焦虑动物快；也可以分析不同的环境和生物医学指标同行为学亚型之间的关联，如高焦虑的动物是否更喜欢在黑暗环境中生活等。通过定量分析模块建立起行为学亚型与行为学指标以及环境和生物医学指标之间的关联，为动物模型的行为学研究及其背后的生物医学机理关联研究提供了准确、有效的依据。
采用本发明中的多参数融合的行为学定量分析方法，可以无监督融合相关的行为学特征，挖掘多特征融合的行为学亚型，可以突破传统行为学分析中行为特征受限、行为特征参数界定主观、各行为学指标之间缺乏内在联系等缺点，实现无需人为界定阈值的情况下，利用一组多个行为学特征，挖掘行为学亚型。除此之外，本发明中的多参数融合的行为学定量分析方法，还能分析不同行为学指标以及环境和生物医学指标与行为学亚型之间的关联，为基于动物模型的行为学研究及其背后的生物医学机理关联研究提供准确、有效的依据。
请参照图3a-图5d所示，为本发明应用的一个具体实施例，将本发明中的多参数融合的行为学定量分析系统及方法应用于小鼠的焦虑症研究。本实施例只是本发明中多参数融合行为学定量分析系统及方法的其中一个应用，其不仅可以用于小鼠的研究，还可以应用于各种各样的动物种类，例如动物模型中的动物、临床试验中的人类、需要对特定疾病或失调进行诊断和治疗的人。非限制性的，这些动物包括小鼠、狗、猫、牛、猪、羊、马、豚鼠、兔子、爬行动物、斑马鱼、鸟类、果蝇、蠕虫、两栖动物(如青蛙)、鸡、非人灵长类动物、人类等。此外，本发明不仅可以应用于焦虑症行为亚型的研究，还可以用于：药物筛选、药物分类、遗传分类、对疾病发作的早期检测的疾病研究、毒理学研究、副作用研究、学习和记忆过程研究、消费者行为分析等。本发明较佳的应用场景为会影响对象行为的疾病研究，这些疾病包括：神经退行性疾病，如帕金森病、阿兹海默病和肌萎缩侧索硬化症；神经发育性精神障碍，例如注意力缺陷多动症、自闭症、唐氏综合征、精神分裂症等。本发明也可以用于对环境因素的研究，所述环境因素包括二手烟、三手烟、PM2.5等。
图3a-图3c为视频追踪示意图，用于追踪小鼠在黑白盒中的行为轨迹。图3a为视频监测子模块示意图，其包括一个摄像头，设置于黑白盒的上方，用于拍摄小鼠在黑白盒中的视频信息。黑白盒为一个棱长40cm的正方体，其中间用隔板隔开，一半为白盒，一半为黑盒，隔板中间有一个7cm的正方形，可以供小鼠在白盒和黑盒之间穿梭，黑白盒的设置主要是根据实验设计需要，研究小鼠焦虑症与明暗环境是否有关。图3b和3c为目标检测跟踪子模块的输出结果示意图，图3b中，目标检测跟踪子模块根据其中预设定或者预训练的跟踪模型，对小鼠进行识别跟踪；图3c中，为一只小鼠在白盒中的轨迹图，其为目标检测跟踪子模块的输出结果，为小鼠的活动轨迹。
图4a-图4b为行为学特征提取模块的输出结果示意图。图4a为活动轨迹刻画子模块的输出结果图，即小鼠身体在黑白盒中的时间图，其中黑盒处于黑暗环境，白盒处于明亮环境。在300s的分析时间内，通过测量白盒中的相对身体区域来确定小鼠的状态，将小鼠分为三种状态，即在黑盒中，在白盒中，以及部分在白盒中；并由此可以得到小鼠在亮暗环境之间的完全穿梭和局部穿梭，并以此来分析小鼠在黑白盒中的典型行为特征。图4b中为特征提取子模块的输出结果，其根据实验设计，从活动轨迹刻画子模块的输出结果图中提取了7中行为学特征，即小鼠在白盒中的移动距离，在白盒中的总时间，运动速度，小鼠在亮暗环境之间完全穿梭的次数，小鼠在亮暗环境之间局部穿梭的次数，小鼠在白盒中的平均时间和小鼠第一次进行亮暗环境穿梭的开始时间。图4b中，条形图表示测量的平均值，误差线表示标准偏差。
图5a-图5d为行为学定量分析模块的输出结果图，其中，图5a-5c为无监督行为学亚型挖掘子模块输出结果图；图5d为定量分析模块输出结果图。图5a为一致性矩阵图，其中聚类的数量k＝2,3,4。通过不同聚类数量的设置，可以获取与焦虑相关的行为学亚型。从图5a中可以看出，当k＝2时，一致性矩阵边界清晰，没有出现模糊的情况，表示每一组样本均被聚类良好地分开，样本得到相对稳定的分配；当k＝3以及k＝4时，均出现边界模糊的情况，说明某些新集群的成员性质不稳定，导致一致性指数介于0和1之间，样本不能得到相对稳定的分配。根据图5a可知，根据图4b中与焦虑相关的行为学指标，可以将小鼠的焦虑症分为2种亚型，即高焦虑症和低焦虑症。图5b表示一致性指数的累计分布函数(CDF)，图5c表示CDF曲线下面积的相对改变，图5b和图5c可以对图5a的结果进行辅助判断。图5b和图5c将聚类的数量2-9均进行了聚类分析，从图5b和图5c看来，似乎k＝4是一个比较好的聚类数量，因为k＝4时，CDF的曲线相对比较平坦且当k>4后，CDF曲线下的面积相对改变较小。但是，根据图5a中的结果可以看出，当k＝4时，边界较为模糊，一些样本并不能得到稳定的聚类。综合图5a-5c可以看出，聚类数量为2时，样本得到相对稳定的区分。从以上聚类方法可知，不需要人为进行阈值的设定，即可以融合多个行为学指标，建立相应的行为学亚型。图5d表示分类为低焦虑(LA)的小鼠和分类为高焦虑(HA)的小鼠在七个与焦虑相关的行为学指标之间的差异。从图5d中我们可以看出，分类为低焦虑的小鼠在白盒中的移动距离更大，速度更快，在白盒中的总时间更长，且更喜欢在白盒和黑盒之间穿梭，第一次进行穿梭的时间也更短。经过图5d中的分析，我们可以得到不同的行为学指标与行为学亚型之间的关联，根据以上关联，我们可以得出对焦虑症影响较大的行为学指标，当然，我们也可以根据小鼠的分类，进而研究与焦虑症相关的基因，探索焦虑症背后的生物医学机理。通过本发明中的定量分析模块，为后续基于动物模型的行为学研究及其背后的生物医学机理关联研究，提供了准确且有效的依据。
以上所述仅是本发明的优选实施例而已，并非对本发明做任何形式上的限制，虽然本发明已以优选实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案的范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本实用发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (11)
1.一种多参数融合的行为学定量分析系统，其特征在于，包括
视频追踪模块，用于获取动物的视频信息，并根据视频信息追踪动物的活动轨迹；
行为学特征提取模块，用于从动物的活动轨迹中提取一组行为学特征；以及
行为学定量分析模块，用于挖掘基于多参数融合的行为学亚型以及分析所述行为学亚型与所述行为学特征之间的关联；其中，挖掘基于多参数融合的所述行为学亚型时，采用一致性聚类方法，对所述行为学特征提取模块提取的一组行为学特征进行无监督融合，挖掘所述行为学亚型；在进行一致性聚类时，根据一致矩阵和/或一致性指数的累计分布函数判断所述行为学亚型的数量。
2.根据权利要求1中的多参数融合的行为学定量分析系统，其特征在于，所述视频追踪模块包括视频信息采集子模块和目标跟踪子模块；所述视频信息采集子模块包括一个或多个摄像头，用于获取动物的视频信息；所述目标跟踪子模块根据预定义或者预训练的目标检测跟踪模型的参数，根据视频信息采集子模块获取的视频的帧序，实现针对特定目标的追踪。
3.根据权利要求2中的多参数融合的行为学定量分析系统，其特征在于，所述预定义或者预训练的目标检测跟踪模型，包括机器视觉方法和深度神经网络模型。
4.根据权利要求1中的多参数融合的行为学定量分析系统，其特征在于，所述行为学特征提取模块包括活动轨迹刻画子模块和特征提取子模块；所述活动轨迹刻画子模块用于将视频追踪得到的活动轨迹量化，形成可定量分析的图谱；所述特征提取子模块用于提取一组行为学特征。
5.根据权利要求1中的多参数融合的行为学定量分析系统，其特征在于，所述行为学定量分析模块还用于分析所述行为学亚型与环境及生物医学指标之间的关联。
6.根据权利要求5中的多参数融合的行为学定量分析系统，其特征在于，所述行为学定量分析模块包括无监督行为学亚型挖掘子模块和定量分析子模块；所述无监督行为学亚型挖掘子模块通过所述一致性聚类的方法，对所述行为学特征提取模块提取的一组行为学特征进行无监督融合，挖掘所述行为学亚型；所述定量分析子模块用于分析所述行为学亚型与行为学特征以及环境和生物医学指标之间的关联。
7.根据权利要求1中的多参数融合的行为学定量分析系统，其特征在于，所述行为学特征提取模块提取的行为学特征，包含与具体行为定义相关的量化特征。
8.根据权利要求7中的多参数融合的行为学定量分析系统，其特征在于，所述与具体行为定义相关的量化特征，包含以下任一种或者多种：静止时间的时间段，每个时间段的时间长度，活动总路程、运动总时间、运动的平均速度、运动的持续时间、进食时间、进食次数。
9.根据权利要求1中的多参数融合的行为学定量分析系统，其特征在于，所述行为学定量分析模块在进行一致性聚类时，聚类数量的范围为2-9。
10.根据权利要求1-9中的多参数融合的行为学定量分析系统，其特征在于，所述多参数融合的行为学定量分析系统用于研究影响对象行为的疾病研究和环境因素研究，所述疾病包括帕金森病、阿兹海默病、肌萎缩侧索硬化症、注意力缺陷多动症、自闭症、唐氏综合征、精神分裂症、焦虑症、抑郁症；所述环境因素包括PM2.5、三手烟。
11.一种用于权利要求1的多参数融合的行为学定量分析系统的分析方法，其特征在于，包含以下步骤：
获取动物模型中的动物视频，并在视频中追踪动物的活动轨迹；
提取一组动物行为学特征；
通过一致性聚类，实现对一组动物学行为特征的无监督融合，挖掘基于多参数融合的行为学亚型；其中，挖掘基于多参数融合的行为学亚型时，采用一致性聚类方法，对行为学特征提取模块提取的一组行为学特征进行无监督融合，挖掘行为学亚型；在进行一致性聚类时，根据一致矩阵和/或一致性指数的累计分布函数判断行为学亚型的数量；
对行为学亚型进行定量分析，分析行为学亚型与各行为学特征之间的关联以及与环境和生物医学指标之间的关联。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010530416.XA CN111667480A (zh) | 2020-06-11 | 2020-06-11 | 一种多参数融合的行为学定量分析系统及方法 |
| PCT/CN2021/090123 WO2021249050A1 (zh) | 2020-06-11 | 2021-04-27 | 一种多参数融合的行为学定量分析系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010530416.XA CN111667480A (zh) | 2020-06-11 | 2020-06-11 | 一种多参数融合的行为学定量分析系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111667480A true CN111667480A (zh) | 2020-09-15 |
Family
ID=72386551
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010530416.XA Pending CN111667480A (zh) | 2020-06-11 | 2020-06-11 | 一种多参数融合的行为学定量分析系统及方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111667480A (zh) |
| WO (1) | WO2021249050A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021249050A1 (zh) * | 2020-06-11 | 2021-12-16 | 伯克利南京医学研究有限责任公司 | 一种多参数融合的行为学定量分析系统及方法 |
| WO2023165299A1 (zh) * | 2022-03-03 | 2023-09-07 | 石河子大学 | 一种应用于多种类高密度极小虫体行为学的智能分析系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101869093A (zh) * | 2010-06-09 | 2010-10-27 | 中国科学院深圳先进技术研究院 | 果蝇行为学研究系统及研究方法 |
| CN104450602A (zh) * | 2013-09-17 | 2015-03-25 | 中国科学院遗传与发育生物学研究所 | 非人哺乳动物神经精神疾病动物模型及其制备方法和用途 |
| CN109830264A (zh) * | 2019-03-15 | 2019-05-31 | 杭州慕谷科技有限公司 | 肿瘤患者基于甲基化位点进行分类的方法 |
| CN109829382A (zh) * | 2018-12-30 | 2019-05-31 | 北京宇琪云联科技发展有限公司 | 基于行为特征智能分析的异常目标预警追踪系统及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111667480A (zh) * | 2020-06-11 | 2020-09-15 | 伯克利南京医学研究有限责任公司 | 一种多参数融合的行为学定量分析系统及方法 |
-
2020
- 2020-06-11 CN CN202010530416.XA patent/CN111667480A/zh active Pending
-
2021
- 2021-04-27 WO PCT/CN2021/090123 patent/WO2021249050A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101869093A (zh) * | 2010-06-09 | 2010-10-27 | 中国科学院深圳先进技术研究院 | 果蝇行为学研究系统及研究方法 |
| CN104450602A (zh) * | 2013-09-17 | 2015-03-25 | 中国科学院遗传与发育生物学研究所 | 非人哺乳动物神经精神疾病动物模型及其制备方法和用途 |
| CN109829382A (zh) * | 2018-12-30 | 2019-05-31 | 北京宇琪云联科技发展有限公司 | 基于行为特征智能分析的异常目标预警追踪系统及方法 |
| CN109830264A (zh) * | 2019-03-15 | 2019-05-31 | 杭州慕谷科技有限公司 | 肿瘤患者基于甲基化位点进行分类的方法 |
Non-Patent Citations (1)
| Title |
|---|
| HILARY D. WILSON 等: "The relationship between basal level of anxiety and the affective response to inflammation" * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021249050A1 (zh) * | 2020-06-11 | 2021-12-16 | 伯克利南京医学研究有限责任公司 | 一种多参数融合的行为学定量分析系统及方法 |
| WO2023165299A1 (zh) * | 2022-03-03 | 2023-09-07 | 石河子大学 | 一种应用于多种类高密度极小虫体行为学的智能分析系统 |
| US11967182B2 (en) | 2022-03-03 | 2024-04-23 | Shihezi University | Intelligent analysis system applied to ethology of various kinds of high-density minimal polypides |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021249050A1 (zh) | 2021-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Edelhoff et al. | Path segmentation for beginners: an overview of current methods for detecting changes in animal movement patterns | |
| Geng et al. | Automatic tracking, feature extraction and classification of C. elegans phenotypes | |
| Hallinen et al. | Decoding locomotion from population neural activity in moving C. elegans | |
| Barnard et al. | Quick, accurate, smart: 3D computer vision technology helps assessing confined animals’ behaviour | |
| Feng et al. | An imaging system for standardized quantitative analysis of C. elegans behavior | |
| Ojo et al. | Internet of Things and Machine Learning techniques in poultry health and welfare management: A systematic literature review | |
| Nasiri et al. | Pose estimation-based lameness recognition in broiler using CNN-LSTM network | |
| Gris et al. | Supervised and unsupervised learning technology in the study of rodent behavior | |
| Huang et al. | Machine vision based detection of omega bends and reversals in C. elegans | |
| US20140207433A1 (en) | Systems and methods of monitoring social interactions in a group of organisms over a period of at least 24 hours in a semi-natural environment | |
| CN111667480A (zh) | 一种多参数融合的行为学定量分析系统及方法 | |
| Kröschel et al. | Remote monitoring of vigilance behavior in large herbivores using acceleration data | |
| Lee et al. | Prediction of feather damage in laying hens using optical flows and Markov models | |
| Etter et al. | A probabilistic framework for decoding behavior from in vivo calcium imaging data | |
| Palencia et al. | Innovations in movement and behavioural ecology from camera traps: Day range as model parameter | |
| Aymanns et al. | Descending neuron population dynamics during odor-evoked and spontaneous limb-dependent behaviors | |
| Siriani et al. | Detection and tracking of chickens in low-light images using YOLO network and Kalman filter | |
| Picard et al. | Understanding the dynamics of an undisturbed tropical rain forest from the spatial pattern of trees | |
| Buckingham et al. | Strategies for automated analysis of C. elegans locomotion | |
| Moy et al. | Computational methods for tracking, quantitative assessment, and visualization of C. elegans locomotory behavior | |
| Lamping et al. | ChickenNet-an end-to-end approach for plumage condition assessment of laying hens in commercial farms using computer vision | |
| Kläs | Towards identifying and managing sources of uncertainty in AI and machine learning models-an overview | |
| Gribovskiy et al. | Automated analysis of behavioural variability and filial imprinting of chicks (G. gallus), using autonomous robots | |
| Sonka et al. | Dual approach for maneuver classification in vehicle environment data | |
| Ahmed et al. | A smart IoT-based monitoring system in poultry farms using chicken behavioural analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200915 |