CN112057079A - 一种基于状态与图谱的行为量化方法和终端 - Google Patents

一种基于状态与图谱的行为量化方法和终端 Download PDF

Info

Publication number
CN112057079A
CN112057079A CN202010790726.5A CN202010790726A CN112057079A CN 112057079 A CN112057079 A CN 112057079A CN 202010790726 A CN202010790726 A CN 202010790726A CN 112057079 A CN112057079 A CN 112057079A
Authority
CN
China
Prior art keywords
behavior
data
map
clustering
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010790726.5A
Other languages
English (en)
Other versions
CN112057079B (zh
Inventor
韩亚宁
黄康
蔚鹏飞
王立平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yiwan Life Technology Co.,Ltd.
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202010790726.5A priority Critical patent/CN112057079B/zh
Publication of CN112057079A publication Critical patent/CN112057079A/zh
Application granted granted Critical
Publication of CN112057079B publication Critical patent/CN112057079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4848—Monitoring or testing the effects of treatment, e.g. of medication
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于状态与图谱的行为量化方法和终端,该方法包括：将原始行为数据分割为片段，以生成状态化的行为数据；从行为数据中提取动态核化距离构建特征矩阵；将特征矩阵进行低维映射，以生成行为图谱；基于预设的聚类效果评估模块确定最佳的行为状态聚类数量，并基于最佳的行为状态聚类数量对行为图谱中的行为状态进行聚类；对完成聚类后的行为图谱中的空间信息与时间信息分别进行量化及可视化展示。本方案基于状态与图谱的行为量化方法，在低维空间中保留了行为的高维性与多样性，使得更为精细的指标可以在相同的实验范式中被设置和检测，为神经精神类药物的研发提供更多的参考数据，提高药效检测的效率与准确性。

Description

一种基于状态与图谱的行为量化方法和终端
技术领域
本发明涉及数据分析技术领域，特别涉及一种基于状态与图谱的行为量化方法和终端。
背景技术
在神经精神类药物的研发方面，模式动物用药前后的行为差异是判断药效的重要指标。例如在焦虑症(Anxiety)药物的研发中，高架十字迷宫实验(Elevated Plus Maze，EPM)或旷场实验(Open Field Test，OFT)经常被用来判断实验小鼠用药前后的焦虑水平。
其中，EPM由开放臂(Open Arm)和封闭臂(Close Arm)各两条组成，呈十字形交叉，交叉部分为中央区域，整个十字形迷宫距地面有一定的高度。小鼠面对开放臂产生好奇心而想要探索，同时又有着趋暗避明的天性，两者之间发生探究与回避的冲突行为，产生焦虑心理，由此可以通过比较小鼠在开放臂和封闭臂内的滞留时间和路程来评价小鼠的焦虑行为，一般认为，小鼠在开放臂中滞留的时间和路程越多，小鼠的焦虑水平越低。
至于OFT装置，一般有一个正方形的箱子，顶部有摄像机，这个正方形的场地可以划分为中央区域(Center)和周边区域(Periphery)，小鼠如果在中央区域的活动越多，说明小鼠的焦虑水平相对就越低。
然而，在医学临床中，焦虑症状表现多样，一般可分为慢性焦虑(广泛性焦虑)和急性焦虑(惊恐发作)；慢性焦虑存在三种表现，分别为：1.情绪症状，具体表现为患者出现与现实情境不符的过分担心、紧张害怕；2.植物神经症状，具体表现为患者出现头晕、胸闷、心慌、呼吸急促、口干、尿频、尿急、出汗、震颤等躯体方面的症状；3.运动性不安，具体表现为患者坐立不安，坐卧不宁，烦躁，很难静下心来；至于急性焦虑存在的表现分别为濒死感或失控感，患者在特定触发环境如封闭空间时突然出现极度恐惧的心理，体验到濒死感或失控感；植物神经系统症状同时出现如胸闷、心慌、呼吸困难、出汗、全身发抖等；持续时间一般为几分钟到数小时，患者发作开始突然，发作时意识清楚；极易误诊，发作时患者往往拨打“120”急救电话，去看心内科的急诊，尽管患者看上去症状很重，但是相关检查结果大多正常，因此往往诊断不明确。此外，针对患者不同的症状，也存在不同的用药类型与用药方式。但是，在药效检测的关键层面，也即小鼠的焦虑行为判断中，其过于简单的参数(在EPM开放臂停留时间、在OFT中央区域停留时间)与药效的精确检测产生了矛盾。该矛盾不仅仅出现在焦虑症药物的研发中，在阿尔兹海默症、自闭症等几乎所有的神经精神类药物的研发中均不同程度地存在着。因此，对于动物行为的精确量化与分析具有重大意义。
在现有的动物行为精细化分析的实现方案中，例如公开号为CN110334662A的专利中介绍了一种基于自动化图像识别的动物痒行为分析方法，其通过机器学习程序，在确保准确性的前提下，显著提高动物痒行为分析的效率，并且可以准确描述每次痒行为导致的抓挠的相对强度(持续时间长短)，使得痒行为分析更精细。再例如公开号为CN110457999A的专利中介绍了一种基于深度学习和SVM的动物姿态行为估计与心情识别方法，其通过深度学习方法追踪动物身体数十个关键点，根据这些关键点位置关系和相对位置变化关系，构建与利用SVM分类器去判断动物的行为与心情，从而能更加准确地理解动物的心情和行为情况。上述两种方法在一定程度上可以迁移到其他动物的精细化分析中，为神经精神类药物提供更加丰富的行为学参数指标，提高药效检测的准确性。
但是上述提到的动物精细化行为分析的技术忽略了动物行为的高维性和多样性。动物行为发生于三维空间和一维时间，而且动物的运动结构具有复杂的自由度，因此在每个自由度上均包含三维空间和一维时间这四个维度，每个自由度与时空间维度的相互作用产生了动物行为的高维特性。动物行为的多样性在时空间均有所体现：在不同的空间内，动物会产生不同的动作，而这一系列不同空间产生的动作在时间维度中具有动态时间依赖特性，两者综合产生了动物行为的多样性。例如上述提到的公开号为CN110334662A的专利一种基于自动化图像识别的动物痒行为分析方法仅能在空间维度对动物行为进行识别，以视频的每十帧作为标记单位加入单一标签，中断了动物行为时间序列的连续性，尽管可以在痒行为识别中起到较好的效果，但是对于更为复杂的如行走(Walking)、嗅探(Sniffing)以及低尾(Rearing)等具有时间动态连续性的行为无能为力，只能实现特定行为的识别，无法满足更为复杂的高维和多样的行为分析需求。再例如上述提到的公开号为CN110457999A的专利一种基于深度学习和SVM的动物姿态行为估计与心情识别方法提取单帧图像特征点训练分类器。SVM作为一种有监督的机器学习方法，需要大量的图像标记实现较高的识别准确率，更不必说动物层次结构的标记与识别。动物行为的高维性以及复杂的结构也造成了不同行为之间的界线模糊，降低了不同行为类别间的差异，给SVM等分类器的准确分类带来了大量误差。尽管该方法可以实现动物多种心情的识别，但是未给出更多的结果量化分析，仍然停留于传统的计数统计方法。
发明内容
针对现有技术中的缺陷，本发明提出了一种基于状态与图谱的行为量化方法和终端，
具体的，本发明提出了以下具体的实施例：
本发明实施例公开了一种基于状态与图谱的行为量化方法,包括：将原始行为数据分割为片段，以生成状态化的行为数据；从所述行为数据中提取动态核化距离构建特征矩阵；将所述特征矩阵进行低维映射，以将所述特征矩阵降维至低维空间的方式生成行为图谱；基于预设的聚类效果评估模块确定最佳的行为状态聚类数量，并基于最佳的所述行为状态聚类数量对所述行为图谱中的行为状态进行聚类；对完成聚类后的所述行为图谱中的空间信息与时间信息分别进行量化及可视化展示。
在一个具体的实施例中，所述“将原始行为数据分割为片段，以生成状态化的行为数据”，包括：基于原始行为数据与预设的姿态估计方法追踪预设目标的多个身体特征点，以生成与所述特征点相关的时间序列；采用动态时间序列分割算法对所述时间序列进行片段化，以生成状态化的行为数据。进一步的，所述动态时间序列分割算法包括：层次对齐聚类分析算法。
在一个具体的实施例中，所述“从所述行为数据中提取动态核化距离构建特征矩阵”，包括：对所述行为数据进行空间映射，以获取所述行为数据中所有行为片段两两之间的动态核化距离；基于所述动态核化距离构建特征矩阵。进一步的，该方法还包括：通过预设的维度扩展模块使得不断获取的新的原始行为数据可执行与原有的原始行为数据相同的处理过程。
在一个具体的实施例中，所述“将所述特征矩阵进行低维映射，以将所述特征矩阵降维至低维空间的方式生成行为图谱”，包括：基于UMAP的数据低维映射方法，以将所述特征矩阵降维至低维空间的方式生成行为图谱。进一步的，该方法还包括：通过预设的维度融合模块将所述行为数据以及预设的其他数据进行维度融合，其中，进行维度融合的数据的维度的单位一致。
在一个具体的实施例中，所述“基于预设的聚类效果评估模块确定最佳的行为状态聚类数量”，包括：基于预设的聚类效果评估模块综合Calinski-Harabasz指标、Davies-Bouldin指数、轮廓系数以及预设聚类数目确定最佳的行为状态聚类数量。
在一个具体的实施例中，所述“对完成聚类后的所述行为图谱中的空间信息与时间信息分别进行量化及可视化展示”，包括：通过预设的图谱量化统计模块实现对完成聚类后的所述行为图谱中的空间信息进行量化及可视化展示；所述空间信息包括：动作状态数量和行为的距离；通过预设的状态转移量化统计模块实现对完成聚类后的所述行为图谱中的时间信息进行量化及可视化展示；所述时间信息包括：行为状态转移的方向、自身状态转移信息和非自身状态转移信息。
本发明实施例还提出了一种终端，包括处理器，其中，所述处理器用于执行上述的方法。
与现有技术相比，本方案具有以下效果：
本方案将行为数据进行片段化处理，使用数据映射的方法将行为片段嵌入低维空间，形成行为图谱，最后根据行为图谱，使用概率与概率图模型描述不同行为之间的差异。基于状态与图谱的行为量化方法在低维空间中保留了行为的高维性与多样性，丰富了行为分析的参数，使得更为精细的指标可以在相同的实验范式中被设置和检测，为神经精神类药物的研发提供更多的参考数据，提高药效检测的效率与准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提出的一种基于状态与图谱的行为量化方法的流程示意图；
图2为本发明实施例提出的一种基于状态与图谱的行为量化方法中所应用单元的示意图；
图3为本发明实施例提出的一种基于状态与图谱的行为量化方法中所生成的行为图谱的示意图；
图4为本发明实施例提出的一种基于状态与图谱的行为量化方法中对行为图谱聚类后的示意图。
具体实施方式
在下文中，将更全面地描述本公开的各种实施例。本公开可具有各种实施例，并且可在其中做出调整和改变。然而，应理解：不存在将本公开的各种实施例限于在此公开的特定实施例的意图，而是应将本公开理解为涵盖落入本公开的各种实施例的精神和范围内的所有调整、等同物和/或可选方案。
在本公开的各种实施例中使用的术语仅用于描述特定实施例的目的并且并非意在限制本公开的各种实施例。如在此所使用，单数形式意在也包括复数形式，除非上下文清楚地另有指示。除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本公开的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本公开的各种实施例中被清楚地限定。
实施例1
本发明实施例公开了一种基于状态与图谱的行为量化方法,如图1所示，包括以下步骤：
步骤101、将原始行为数据分割为片段，以生成状态化的行为数据；
具体的，步骤101中的所述“将原始行为数据分割为片段，以生成状态化的行为数据”，包括：基于原始行为数据与预设的姿态估计方法追踪预设目标(也即原始行为数据对应的目标)的多个身体特征点，以生成与所述特征点相关的时间序列；采用动态时间序列分割算法对所述时间序列进行片段化，以生成状态化的行为数据。进一步的，所述动态时间序列分割算法包括：层次对齐聚类分析算法。
具体的，通过步骤101，将行为数据进行分割，以此将行为数据的内部相似特征进行分割，并构建具有不同时间动态特性的时间序列层次结构，利于后续的处理。
步骤102、从所述行为数据中提取动态核化距离构建特征矩阵；
具体的，步骤102中的所述“从所述行为数据中提取动态核化距离构建特征矩阵”，包括：对所述行为数据进行空间映射，以获取所述行为数据中所有行为片段两两之间的动态核化距离；基于所述动态核化距离构建特征矩阵。在此进一步的，该方法还包括：通过预设的维度扩展模块使得不断获取的新的原始行为数据可执行与原有的原始行为数据相同的处理过程。
通过步骤102提取动态核化距离构建特征矩阵，相较于常规的数据特征提取方法，由于动态核化距离构建的特征矩阵不需要所有的数据重新参与运算，而可以只使用新加入的数据与原有数据进行运算，补充动态核化距离构建的特征矩阵的维度，也仅使用新加入的数据计算，这使特征矩阵的计算空间复杂度有效降低了，节省了大量的运算资源和内存开销。
步骤103、将所述特征矩阵进行低维映射，以将所述特征矩阵降维至低维空间的方式生成行为图谱；
具体的步骤103中的所述“将所述特征矩阵进行低维映射，以将所述特征矩阵降维至低维空间的方式生成行为图谱”，包括：基于UMAP((UMAP，Uniform ManifoldApproximation and Projection，统一流形逼近与投影)的数据低维映射方法，以将所述特征矩阵降维至低维空间的方式生成行为图谱。在此情况下，本方案进一步的还包括：通过预设的维度融合模块将所述行为数据以及预设的其他数据(具体的其他数据是与行为数据相关的数据，例如心率、血压、脑电信号等数据)进行维度融合，其中，进行维度融合的数据的维度的单位一致。
具体的，通过步骤103、特征矩阵为高维矩阵，接下来需要将描述行为高维特性的特征矩阵降维至低维空间，通过UMAP降维的数据可以在低维空间保持高维的结构，而这种高维结构在低维空间中以欧氏距离和数据的密度体现。在这里选择将特征矩阵降至两维，即构成了行为图谱。
步骤104、基于预设的聚类效果评估模块确定最佳的行为状态聚类数量，并基于最佳的所述行为状态聚类数量对所述行为图谱中的行为状态进行聚类；
具体的，步骤104中的，所述“基于预设的聚类效果评估模块确定最佳的行为状态聚类数量”，包括：基于预设的聚类效果评估模块综合Calinski-Harabasz指标、Davies-Bouldin指数、轮廓系数以及预设聚类数目确定最佳的行为状态聚类数量。
步骤105、对完成聚类后的所述行为图谱中的空间信息与时间信息分别进行量化及可视化展示。
具体的，步骤105中的所述“对完成聚类后的所述行为图谱中的空间信息与时间信息分别进行量化及可视化展示”，包括：通过预设的图谱量化统计模块实现对完成聚类后的所述行为图谱中的空间信息进行量化及可视化展示；所述空间信息包括：动作状态数量和行为的距离；通过预设的状态转移量化统计模块实现对完成聚类后的所述行为图谱中的时间信息进行量化及可视化展示；所述时间信息包括：行为状态转移的方向、自身状态转移信息和非自身状态转移信息。
以此，本方案中，将动物行为数据进行片段化处理，使用数据映射的方法将行为片段嵌入低维空间，形成动物行为图谱，最后根据动物行为图谱，使用概率与概率图模型描述不同动物以及不同行为之间的差异。基于状态与图谱的动物行为量化方法在低维空间中保留了动物行为的高维性与多样性，丰富了动物行为分析的参数，使得更为精细的指标可以在相同的实验范式中被设置和检测，为神经精神类药物的研发提供更多的参考数据，提高药效检测的效率与准确性。
实施例2
本发明实施例2在实施例1的基础上，还公开了一种基于状态与图谱的行为量化方法，具体的，如图2所示，本方案中可以设置多个单元，具体的包括：动物行为片段化单元201、动物行为片段特征提取单元202，行为低维映射单元203，行为状态聚类单元204、行为状态图谱分析单元205和行为状态转移分析单元206这六个部分。
以此，通过动物行为片段化单元执行实施例1中的步骤101、通过动物行为片段特征提取单元执行实施例1中的步骤102、通过行为低维映射单元执行实施例1中的步骤103、通过行为状态聚类单元执行实施例1中的步骤104、通过行为状态图谱分析单元和行为状态转移分析单元执行实施例1中的步骤105。
具体的，针对每一个单元来进行说明，其中动物行为片段化单元包括基于机器学习的动物行为分解模块，通过动物行为分解模块将原始的动物行为数据识别分割为片段，获取状态化的行为数据(即经过打包的动物行为数据片段)后续行为的量化与分析均基于状态化的行为数据。
动物行为片段特征提取单元包括行为片段度量模块和维度扩展模块。行为片段度量模块可以提取片段化的行为数据中的时间动态距离作为行为片段的特征。时间动态距离的维度随着数据量的变化而变化；维度扩展模块保证新采集的动物行为数据可以参与原有数据的运算，保证特征空间的一致性。
行为低维映射单元包括特征降维模块和维度融合模块。特征降维模块将高维的时间动态距离特征降维至低维空间实现行为的低维映射，维度融合模块使得行为的其他重要特征或实验中的重要指标可以作为单一维度加入行为空间，保证分析结果的维度完备性。
行为状态聚类单元包括聚类效果评估模块和聚类模块，聚类效果评估模块结合多种特征空间聚类的效果评估算法与已知行为的先验知识获取最佳的行为状态聚类数量，聚类模块根据聚类效果评估模块给出的最佳的行为状态聚类数量对图谱中的行为状态进行聚类。
行为状态图谱分析单元包括图谱可视化模块和图谱量化统计模块。图谱可视化模块可以在时空间维度同时展示低维空间的图谱以及不同的实验参数下图谱的变化，图谱以及不同的行为状态之间的差异则通过图谱量化统计模块给出。
行为状态转移分析单元包括状态转移可视化模块和状态转移量化统计模块，状态转移可视化模块在行为图谱中展示不同行为状态转移的差异与变化趋势，状态转移量化统计模块对不同行为状态转移的差异和变化趋势进行量化统计，提供可以互相比较的标准参数。
实施例3
本发明实施例3在实施例1与2的基础上，基于具体的应用场景提出了一种基于状态与图谱的行为量化方法，具体的过程如下：
首先使用动物行为片段化单元201将动物行为学原始数据在时间维度分割为片段。动物行为学数据一般由摄像头采集，为视频数据。动物的行为与身体关键部位的运动相关，由此可以通过动物姿态估计方法(例如可以利用已有的动物姿态估计方法)追踪目标动物的多个身体特征点，构建动物运动骨架，生成与特征点相关的高维度时间序列。高维度时间序列具有时间动态性，因此可以采用动态时间序列分割的算法对动物运动骨架片段化。而具体的动态时间序列分割算法可以为层次对齐聚类分析(HACA,Hierarchical AlignedCluster Analysis)，层次对齐聚类分析不仅可以将高维时间序列按照其数据内部的相似特征分割为序列片段，而且可以构建具有不同时间动态特性的时间序列层次结构。
具体的，行为可以分解为三个层次，姿态层(Poses Layer)、动作层(MovementsLayer)与行为层(Ethograms Layer)。以小鼠的捕食行为(Hunting)为例，在行为层中，捕食行为是由跑步(Running)与进食(Eating)两个动作组成，跑步动作的特点是小鼠的位置发生突变，四肢出现高频的周期性交替；进食动作的特点是小鼠蹲坐，前肢位于头部之下，并且头部发生轻微的震动。在动作层中，跑步动作由四肢高频的周期性交替组成，而姿态的定义不包含时间动态性，因此需保留连续的相似帧作为一个姿态，则四肢交替的半个周期可以定义为组成跑步的姿态；进食动作较为复杂，根据姿态的定义，进食动作可以分解为蹲坐、前肢的运动和头部运动三种有序的姿态片段。类似地，其他行为均可以通过层次对齐聚类分析得到。
而层次对齐聚类分析算法首先计算序列的动态距离特征，并通过核化的方式将动态距离特征升维到高维线性可分空间，然后在核化动态距离特征矩阵中使用动态规划的方法搜索符合长度参数的相似片段，最后依靠递归的方式计算出不同长度参数下的时间序列层次结构，将动物行为时间序列输入至层次对齐聚类分析算法中，设置相应的参数，即可得到动物行为的姿态、动作和行为三层结构以及每一层的时间序列片段。使用层次对齐聚类分析可以将每一个动物的每一次实验分解为三层的时间序列片段。
但时间序列片段需要在同一空间内才可以进行比较。动物行为片段特征提取单元202即实现了这一功能，通过对数据进行特征提取(也即是对数据进行空间映射)，找到特征空间内的投影作为数据的特征。片段特征提取单元202中的行为片段度量模块首先计算所有行为片段两两之间的动态核化距离特征，并将这些动态核化距离特征构建为新的特征矩阵。而由于特征矩阵的维度与数据量呈平方扩增的关系，因此在计算特征矩阵时，特征矩阵的规模会随数据量的增加而暴增，消耗大量的计算和存储资源。因此，使用维度扩展模块对特征矩阵进行连续计算可以尽可能的节省计算与内存资源。
与常规的数据特征提取方法不同的是，新加入数据后，动态核化距离特征矩阵不需要所有的数据重新参与运算，而可以只使用新加入的数据与原有数据进行运算，补充动态核化距离特征矩阵的维度。仅使用新加入的数据计算的方法使特征矩阵的计算空间复杂度由O(n2)降低至O(n)，节省了大量的运算资源和内存开销。
特征矩阵为高维矩阵，接下来需要将描述行为高维特性的特征矩阵降维至低维空间。行为低维映射单元203的特征降维模块中包含统一流形逼近与投影(UMAP，UniformManifold Approximation and Projection)的数据低维映射方法。使用UMAP降维的数据可以在低维空间保持高维的结构，而这种高维结构在低维空间中以欧氏距离和数据的密度体现。在这里选择将特征矩阵降至两维，即构成了行为图谱，如图3所示。
行为的研究往往与其他的生理信号密不可分，因此需要对行为数据和其他的数据进行维度融合。维度融合模块以行为图谱为基础，在行为图谱的正交维度增加新的维度进行维度融合，例如心率、血压、脑电信号等等。维度融合需要保证数据维度的单位一致，因此使用Z-Score算法将每个维度映射至标准正态分布，使得所有的维度可以在权重一致的情况下参与后续的运算。行为维度加扩展维度的整个空间构成了行为状态图谱。
行为状态聚类单元204将行为状态图谱中的数据点重新聚类，获取与数据特征相关的标签。聚类是一种无监督的机器学习方法，通过给定类别数目由算法自动学习数据内部特征将其分类。为了确定最佳的分类数，在聚类效果评估模块中综合了三种聚类效果评估的指标——Calinski-Harabasz指标、Davies-Bouldin指数、轮廓系数和人工定义聚类数目的结果，给出最符合要求的聚类数目。聚类模块包含层次聚类算法，根据聚类效果评估模块给出的最佳聚类数目对行为状态图谱中的行为状态进行层次聚类，聚类结果如图4所示。
完成行为状态的聚类后，需要对行为状态图谱包含的信息进行定量分析。以小鼠视觉诱发本能恐惧行为为例，将小鼠置于圆形旷场中，使用面积随时间逐渐扩大的黑色圆盘模拟老鹰捕食小鼠的情形，这也被称作Looming视觉刺激。Looming视觉刺激可以诱发小鼠的本能防御样的小鼠待在原地静止不动的冻结行为(Freezing)和迅速逃窜到旷场边界的逃跑行为(Flight)。逃跑行为和冻结行为属于第三层的行为层，因此对于这两种行为的分析，需要量化更低层级的图谱，即动作层。把动作层的每一类数据点作为一类状态分析。在图谱中，所包含的信息主要有两方面组成，分别为空间信息和时间信息，因此需要对这两方面的信息分别量化和可视化。
空间信息的量化通过行为状态图谱分析单元205中的图谱量化统计模块实现。在冻结行为和逃跑行为的分析中，速度维度是一个很重要的维度，因此将速度维度作为图谱的扩展维度。在图谱中，冻结行为和逃跑行为内部的动作状态在空间位置上具有显著的差异，构成冻结行为的动作更多地属于图谱中低速的位置，而构成逃跑行为的动作更多地属于图谱中高速的位置。因此，首先需对冻结行为和逃跑行为内部所有的动作状态进行统计，分别计算两种行为内部占比最高的动作，以及使用假设检验的方法计算两种行为内部动作状态数量之间的差异。完成了动作状态数量的量化后，需要对行为的距离做出量化。在图谱中，有超过70％的行为成分为自发的行为和动作，即在小鼠自由活动的情况下发生的诸如嗅探(Sniffing)、行走(Walking)以及梳理毛发(Grooming)等一系列行为。自发行为的特点与小鼠受到刺激后诱发的行为不同，其每一种行为之间的相似度高，在图谱中即表现为行为状态之间的边界模糊，距离接近。而像冻结行为和逃跑行为这两种诱发行为，其特异性较强，在图谱中表现为距离自发行为大类较远。为了量化冻结行为、逃跑行为和自发行为之间的距离，需要分别计算每一种行为内部动作之间的距离与不同行为之间动作的距离。就冻结行为、逃跑行为和自发行为而言，冻结行为与自发行为之间的动作状态距离和逃跑行为与自发行为之间的动作状态距离类似，但是冻结行为与逃跑行为之间的动作状态距离却要显著的大于前者，这表明冻结行为和逃跑行为之间的行为差异超过了自发的行为，从类别之间体现了诱发行为的特异性。而冻结行为内部的动作状态距离与逃跑行为内部的动作状态距离类似，其要显著小于自发行为内部的动作状态距离，这从类别之内体现了诱发行为的特异性。最后，在进行实验时，往往会对一只动物前后给药的行为差异进行研究，这同样可以通过图谱的方法进行量化。继续以冻结行为和逃跑行为为例，在旷场中不包含窝的情况下，进行Looming刺激，小鼠更容易出现冻结行为；而在旷场内放置一个窝，进行Looming刺激，小鼠则更容易出现逃跑行为。图谱也可以对这种对照实验进行量化。在没有窝的旷场中进行Looming刺激的小鼠行为图谱包含两个部分，分别为自发行为和冻结行为；在有窝的旷场中进行Looming刺激的小鼠行为图谱也包含两个部分，分别为自发行为和逃跑行为。在对比这两个实验的图谱时，需要分别统计自发行为、冻结行为和逃跑行为内部的动作数量，并结合一定的统计学和假设检验的方法，即可以量化不同实验之间图谱的差异。图谱与上述的统计图均通过行为状态图谱分析单元中的图谱可视化模块给出。
时间信息的量化通过行为状态转移分析单元206中的状态转移量化统计模块实现。所有的行为均是由更低层级的动作和姿态以时间顺序拼接而成。本能防御行为由三个基本行为模式组成，分别为威胁检测、防御启动和防御执行。以冻结行为和逃跑行为为例，冻结行为和逃跑行为发生时，首先小鼠会抬头观察天空的阴影，这是威胁检测阶段；然后小鼠迅速低头，做出快速的本能决策，是进行冻结行为还是逃跑行为，这是防御启动阶段；最后小鼠决策静止在原地不动执行冻结行为或快速逃跑到旷场边界或进入窝内执行逃跑行为，以躲避天敌的捕食，这是防御执行阶段。这些模块化的动作和姿态与前面所定义的三层动物行为的结构相符，因此在一个行为中，分析组成该行为的内部状态的转移特性同样重要。行为状态的转移具有三个重要特性，行为状态转移的方向、自身状态转移和非自身状态转移。
行为状态转移的方向指因动作发生顺序不同所组成的行为在状态空间中也代表不同的行为。例如由行走到跑步的加速行为和由跑步到行走的减速行为。虽然加速行为和减速行为是由跑步和行走两个动作组成，但是由于其动作发生的顺序不同，导致产生的行为不同。在状态图谱中已经给出了所有状态空间位置的关系，通过在状态图谱中使用有向线段将组成一个动作的行为按照发生的时间顺序连接起来即可得到一个行为的状态转移流形(trajectory)。以此类推，所有的行为的状态转移流形均可以在状态图谱中得到体现。一般情况下，同类行为的状态转移流形应非常一致。然而，有一些特殊的行为例如本能防御行为中的冻结样行为和逃跑样行为，其状态的转移流形呈现二分的形式。为了量化状态转移流形的一致性，使用动态时间规整算法(Dynamic Time Wrapping,DTW)计算状态转移流形的相似度。将两个行为状态转移流形当做时间序列处理，XY坐标作为该时间序列的两个维度，使用DTW对这两个维度进行对齐，计算两者的动态距离作为一致性的参数。在同类行为内部，计算两两流形之间的DTW距离，即可得到一组组内一致性的值；在不同类行为之间，计算两两流形之间的DTW距离，即可得到一组组间一致性的值。对所有的组内和组间的值进行统计与假设检验，即可以得到组内和组间一致性的分布以及差异，对状态转移流形的一致性作出定量描述，使得所有的行为流形可以互相比较。
自身状态转移指在一个行为中，可能会存在相同的动作转移的情形。例如在一个长时间的行走行为中，其由一系列的迈左腿、迈右腿的周期性的姿态组成的行走动作而组成，即短时的重复的行走动作组成一个长时间的持续的行为。自身状态转移在行为中占据着很大的比重，绝大多数的行为由一系列相似的同类动作组成。非自身状态转移与自身状态转移相反，其由两个不同的动作模块的转换组成。量化计算自身状态转移和非自身状态转移均可通过转移矩阵(transition matrix)得到。转移矩阵的行表示前态(Sn-1)概率，列表示现态(Sn)概率。转移矩阵的对角线位置即为自身状态转移的概率，转移矩阵的非对角线位置即为非自身状态转移的概率。自身状态转移和非自身状态转移主要用来描述不同行为之间的差异和不同动物的相同行为之间的转移模式差异。不同的行为具有不同的状态转移模式，即他们的转移概率具有差异。对两个不同行为的转移概率进行假设检验，即可得到两个不同行为的自身状态转移和非自身状态转移的差异。对于经过不同处理的动物的相同行为的状态转移很大概率会出现差异。例如使用药物上调小鼠的焦虑状态，在旷场内使用Looming刺激检测小鼠的行为，焦虑小鼠相对正常小鼠而言，对于Looming刺激在行为状态转移中会出现更多的不连续的行为，即非自身状态转移概率会上升，自身状态转移概率会下降。对自身状态转移和非自身状态转移的定量描述，可以更加精细的阐释不同处理下模式动物的行为以及造成的差异，给神经精神类药物研发提供更加精细和丰富的量化参数。
具体的，本方案中，将动物的行为当作分立的模块，使用图谱对行为的全局进行描述，使用状态流形、自身状态转移和非自身状态转移描述行为的局部特性，使得动物所有行为模块的基本参数可以得到统一的量化与分析，比传统的基于速度和轨迹的简单参数动物行为分析具有更加丰富的行为学参数，同时使得同种动物所有的行为在图谱中可以得到统一的无监督的量化，最大限度上降低了行为分析中的人工误差。基于状态与图谱的动物行为量化分析的方法拓展了动物行为分析的维度，使得更为精细的指标可以在相同的实验范式中被设置和检测，为神经精神类药物的研发提供更多的参考数据，提高药效检测的效率与准确性。
此外，本方案中使用的行为分割和图谱映射方法针对需要处理的行为数据特征与步骤可以根据实验需求更换，在保证准确率的基础上，可以选用更为复杂的和更为准确的模型实现动物行为姿态的估计、动物行为的分割和低维映射。此外，数据源不仅限于动物的行为数据，也可以输入人类的行为学数据进行分析，只要是具有时间动态性的行为数据，就都可以通过本方案进行分析。
实施例4
本发明实施例4在实施例1与实施例2以及实施例3的基础上还提出了一种终端，包括处理器，其中，所述处理器用于执行实施例1与实施例2以及实施例3中所述的方法。具体的，本发明实施例4还公开有其他相关特征，具体的其他相关特征请参见实施例1、2、3中的记载，在此不再进行赘述。
本方案将行为数据进行片段化处理，使用数据映射的方法将行为片段嵌入低维空间，形成行为图谱，最后根据行为图谱，使用概率与概率图模型描述不同行为之间的差异。基于状态与图谱的行为量化方法在低维空间中保留了行为的高维性与多样性，丰富了行为分析的参数，使得更为精细的指标可以在相同的实验范式中被设置和检测，为神经精神类药物的研发提供更多的参考数据，提高药效检测的效率与准确性。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本发明序号仅仅为了描述，不代表实施场景的优劣。
以上公开的仅为本发明的几个具体实施场景，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (10)

1.一种基于状态与图谱的行为量化方法,其特征在于，包括：
将原始行为数据分割为片段，以生成状态化的行为数据；
从所述行为数据中提取动态核化距离构建特征矩阵；
将所述特征矩阵进行低维映射，以将所述特征矩阵降维至低维空间的方式生成行为图谱；
基于预设的聚类效果评估模块确定最佳的行为状态聚类数量，并基于最佳的所述行为状态聚类数量对所述行为图谱中的行为状态进行聚类；
对完成聚类后的所述行为图谱中的空间信息与时间信息分别进行量化及可视化展示。
2.如权利要求1所述的方法，其特征在于，所述“将原始行为数据分割为片段，以生成状态化的行为数据”，包括：
基于原始行为数据与预设的姿态估计方法追踪预设目标的多个身体特征点，以生成与所述特征点相关的时间序列；
采用动态时间序列分割算法对所述时间序列进行片段化，以生成状态化的行为数据。
3.如权利要求2所述的方法，其特征在于，所述动态时间序列分割算法包括：层次对齐聚类分析算法。
4.如权利要求1所述的方法，其特征在于，所述“从所述行为数据中提取动态核化距离构建特征矩阵”，包括：
对所述行为数据进行空间映射，以获取所述行为数据中所有行为片段两两之间的动态核化距离；
基于所述动态核化距离构建特征矩阵。
5.如权利要求4所述的方法，其特征在于，还包括：
通过预设的维度扩展模块使得不断获取的新的原始行为数据可执行与原有的原始行为数据相同的处理过程。
6.如权利要求1所述的方法，其特征在于，所述“将所述特征矩阵进行低维映射，以将所述特征矩阵降维至低维空间的方式生成行为图谱”，包括：
基于UMAP的数据低维映射方法，以将所述特征矩阵降维至低维空间的方式生成行为图谱。
7.如权利要求4所述的方法，其特征在于，还包括：
通过预设的维度融合模块将所述行为数据以及预设的其他数据进行维度融合，其中，进行维度融合的数据的维度的单位一致。
8.如权利要求1所述的方法，其特征在于，所述“基于预设的聚类效果评估模块确定最佳的行为状态聚类数量”，包括：
基于预设的聚类效果评估模块综合Calinski-Harabasz指标、Davies-Bouldin指数、轮廓系数以及预设聚类数目确定最佳的行为状态聚类数量。
9.如权利要求1所述的方法，其特征在于，所述“对完成聚类后的所述行为图谱中的空间信息与时间信息分别进行量化及可视化展示”，包括：
通过预设的图谱量化统计模块实现对完成聚类后的所述行为图谱中的空间信息进行量化及可视化展示；所述空间信息包括：动作状态数量和行为的距离；
通过预设的状态转移量化统计模块实现对完成聚类后的所述行为图谱中的时间信息进行量化及可视化展示；所述时间信息包括：行为状态转移的方向、自身状态转移信息和非自身状态转移信息。
10.一种终端，其特征在于，包括处理器，其中，所述处理器用于执行权利要求1-9中任意一项所述的方法。
CN202010790726.5A 2020-08-07 2020-08-07 一种基于状态与图谱的行为量化方法和终端 Active CN112057079B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010790726.5A CN112057079B (zh) 2020-08-07 2020-08-07 一种基于状态与图谱的行为量化方法和终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010790726.5A CN112057079B (zh) 2020-08-07 2020-08-07 一种基于状态与图谱的行为量化方法和终端

Publications (2)

Publication Number Publication Date
CN112057079A true CN112057079A (zh) 2020-12-11
CN112057079B CN112057079B (zh) 2022-07-29

Family

ID=73660955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010790726.5A Active CN112057079B (zh) 2020-08-07 2020-08-07 一种基于状态与图谱的行为量化方法和终端

Country Status (1)

Country Link
CN (1) CN112057079B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643275A (zh) * 2021-08-29 2021-11-12 浙江工业大学 一种基于无监督流形分割的超声波缺陷检测方法
CN114328920A (zh) * 2021-12-27 2022-04-12 盐城工学院 基于一致流形逼近与投影的文本聚类方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8065227B1 (en) * 2003-12-31 2011-11-22 Bank Of America Corporation Method and system for producing custom behavior scores for use in credit decisioning
CN103544206A (zh) * 2013-07-16 2014-01-29 Tcl集团股份有限公司 一种个性化推荐的实现方法及系统
CN103970883A (zh) * 2014-05-20 2014-08-06 西安工业大学 基于对齐聚类分析的运动序列检索方法
CN106650562A (zh) * 2016-06-14 2017-05-10 西安电子科技大学 一种基于Kinect的在线连续人体行为识别方法
CN107633065A (zh) * 2017-09-21 2018-01-26 天津大学 一种基于手绘草图的识别方法
US20180279921A1 (en) * 2015-10-14 2018-10-04 President And Fellows Of Harvard College Automatically classifying animal behavior
CN109656662A (zh) * 2018-12-14 2019-04-19 浙江财经大学 基于聚类相关性的平行坐标轴的可视化排列方法
CN110954133A (zh) * 2019-11-28 2020-04-03 天津大学 核化距离模糊聚类正交分光成像位姿传感器标定方法
CN111274462A (zh) * 2020-01-16 2020-06-12 珠海格力电器股份有限公司 数据的处理方法和装置
CN111325289A (zh) * 2020-03-18 2020-06-23 中国科学院深圳先进技术研究院 一种行为识别方法、装置、设备及介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8065227B1 (en) * 2003-12-31 2011-11-22 Bank Of America Corporation Method and system for producing custom behavior scores for use in credit decisioning
CN103544206A (zh) * 2013-07-16 2014-01-29 Tcl集团股份有限公司 一种个性化推荐的实现方法及系统
CN103970883A (zh) * 2014-05-20 2014-08-06 西安工业大学 基于对齐聚类分析的运动序列检索方法
US20180279921A1 (en) * 2015-10-14 2018-10-04 President And Fellows Of Harvard College Automatically classifying animal behavior
CN106650562A (zh) * 2016-06-14 2017-05-10 西安电子科技大学 一种基于Kinect的在线连续人体行为识别方法
CN107633065A (zh) * 2017-09-21 2018-01-26 天津大学 一种基于手绘草图的识别方法
CN109656662A (zh) * 2018-12-14 2019-04-19 浙江财经大学 基于聚类相关性的平行坐标轴的可视化排列方法
CN110954133A (zh) * 2019-11-28 2020-04-03 天津大学 核化距离模糊聚类正交分光成像位姿传感器标定方法
CN111274462A (zh) * 2020-01-16 2020-06-12 珠海格力电器股份有限公司 数据的处理方法和装置
CN111325289A (zh) * 2020-03-18 2020-06-23 中国科学院深圳先进技术研究院 一种行为识别方法、装置、设备及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
戎晓媛等: "基于视觉恐惧反应的行为分析", 《集成技术》, no. 04, 15 July 2020 (2020-07-15) *
李澄宇等: "脑认知的神经基础", 《中国科学院院刊》, no. 07, 20 July 2016 (2016-07-20) *
杨茜等: "多粒度运动分割的时频分析算法", 《计算机辅助设计与图形学学报》, no. 12, 15 December 2017 (2017-12-15) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643275A (zh) * 2021-08-29 2021-11-12 浙江工业大学 一种基于无监督流形分割的超声波缺陷检测方法
CN113643275B (zh) * 2021-08-29 2024-03-01 浙江工业大学 一种基于无监督流形分割的超声波缺陷检测方法
CN114328920A (zh) * 2021-12-27 2022-04-12 盐城工学院 基于一致流形逼近与投影的文本聚类方法及系统

Also Published As

Publication number Publication date
CN112057079B (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
Zeng et al. Automated diabetic retinopathy detection based on binocular siamese-like convolutional neural network
Jiang et al. Classifying major depressive disorder and response to deep brain stimulation over time by analyzing facial expressions
CN112057079B (zh) 一种基于状态与图谱的行为量化方法和终端
Xu et al. Deep learning-enhanced internet of medical things to analyze brain ct scans of hemorrhagic stroke patients: a new approach
Reddy et al. An efficient multilevel thresholding scheme for heart image segmentation using a hybrid generalized adversarial network
Banerjee et al. A hybrid CNN-LSTM architecture for detection of coronary artery disease from ECG
CN113591529A (zh) 动作分割模型的处理方法、装置、计算机设备和存储介质
Dadiz et al. Detecting depression in videos using uniformed local binary pattern on facial features
CN116110597A (zh) 一种基于数字孪生的患者病症类别智能分析方法及装置
Revathi et al. Particle Swarm Optimization based Detection of Diabetic Retinopathy using a Novel Deep CNN
Yu et al. LPClass: lightweight personalized sensor data classification in computational social systems
Nahzat et al. Classification of epileptic seizure dataset using different machine learning algorithms and PCA feature reduction technique
CN114191665A (zh) 机械通气过程中人机异步现象的分类方法和分类装置
WO2022027590A1 (zh) 一种基于状态与图谱的行为量化方法和终端
S'adan et al. Deep learning techniques for depression assessment
Knight et al. Artificial intelligence in epilepsy phenotyping
Rajaguru et al. Performance analysis of local linear embedding (LLE) and Hessian LLE with Hybrid ABC-PSO for Epilepsy classification from EEG signals
Batool et al. Movement Disorders Detection in Parkinson’s Patients using Hybrid Classifier
Das et al. A spatio-temporal approach for apathy classification
Sherbakov Computational principles for an autonomous active vision system
Zaragoza-Jimenez et al. Modeling face recognition in the predictive coding framework: a combined computational modeling and functional imaging study
Greer A brain-like cognitive process with shared methods
Tripathy et al. 4 A Survey on the
Sargo Binary fish school search applied to feature selection
Nemati et al. A fast and memory-efficient algorithm for learning and retrieval of phenotypic dynamics in multivariate cohort time series

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221223

Address after: Floor 17, Building 4, Weiguang Life Science Park, Zhenmei Community, Xinhu Street, Guangming District, Shenzhen, Guangdong 518106

Patentee after: Shenzhen Yiwan Life Technology Co.,Ltd.

Address before: 1068 No. 518055 Guangdong city of Shenzhen province Nanshan District Shenzhen University city academy Avenue

Patentee before: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES