CN111445500A - 实验活体行为的分析方法、装置、设备和存储介质 - Google Patents

实验活体行为的分析方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111445500A
CN111445500A CN202010254365.2A CN202010254365A CN111445500A CN 111445500 A CN111445500 A CN 111445500A CN 202010254365 A CN202010254365 A CN 202010254365A CN 111445500 A CN111445500 A CN 111445500A
Authority
CN
China
Prior art keywords
behavior
target
analyzed
sequence
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010254365.2A
Other languages
English (en)
Other versions
CN111445500B (zh
Inventor
韩亚宁
黄康
蔚鹏飞
王立平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202010254365.2A priority Critical patent/CN111445500B/zh
Priority to PCT/CN2020/103679 priority patent/WO2021196456A1/zh
Publication of CN111445500A publication Critical patent/CN111445500A/zh
Application granted granted Critical
Publication of CN111445500B publication Critical patent/CN111445500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明实施例提供了一种实验活体行为的分析方法、装置、设备和存储介质。该实验活体行为的分析方法包括：获取待分析目标的行为数据和所述行为数据对应的生理数据；提取所述行为数据中的行为信息，并提取所述生理数据中的生理信息，得到所述待分析目标的与所述生理信息关联的行为信息；根据所述待分析目标的与所述生理信息关联的行为信息，在多个候选行为中确定所述待分析目标对应的目标行为。通过与生理信息关联的行为信息进行行为分析，达到提高行为分析的准确性的效果。

Description

实验活体行为的分析方法、装置、设备和存储介质
技术领域
本发明实施例涉及行为分析技术领域，尤其涉及一种实验活体行为的分析方法、装置、设备和存储介质。
背景技术
在神经精神类药物的研发方面，模式动物用药前后的行为差异是判断药效的重要指标。因此，如何对于行为进行分析也越来越重要。
目前，对目标进行行为分析时，是通过采集目标的行为数据，从而根据目标的行为数据分析目标的具体行为。
然而，仅通过目标的行为数据对目标进行具体行为的分析，会使得行为分析的结果不够准确。
发明内容
本发明实施例提供一种实验活体行为的分析方法、装置、设备和存储介质，以实现提高行为分析的准确性。
第一方面，本发明实施例提供了一种实验活体行为的分析方法，所述方法包括：
获取待分析目标的行为数据和所述行为数据对应的生理数据；
提取所述行为数据中的行为信息，并提取所述生理数据中的生理信息，得到所述待分析目标的与所述生理信息关联的行为信息；
根据所述待分析目标的与所述生理信息关联的行为信息，在多个候选行为中确定所述待分析目标对应的目标行为。
可选的，所述行为数据为包括所述待分析目标的目标图像，所述提取所述行为数据中的行为信息，包括：
调用预先训练的关键点确定模型，对所述目标图像中的待分析目标的多个关键点进行标记，其中，所述关键点确定模型通过无监督学习训练得到；
根据标记的多个关键点确定所述待分析目标的行为信息。
可选的，所述根据标记的多个关键点确定所述待分析目标的行为信息，包括：
根据标记的多个关键点确定所述待分析目标的姿态序列；
根据所述待分析目标的姿态序列确定所述待分析目标的动作序列；
根据所述待分析目标的动作序列确定所述待分析目标的行为序列，以得到携带有姿态序列、动作序列和行为序列的行为信息。
可选的，所述根据标记的多个关键点确定所述待分析目标的姿态序列，包括：
确定标记的多个关键点在预设周期内每个时间的关键点变化信息；
提取所述关键点变化信息中与自身运动相关的自身运动信息，所述自身运动信息指示于以所述待分析目标自身为原点产生的动作；
将所述预设周期内每个时间的自身运动信息作为所述姿态序列。
可选的，所述根据所述待分析目标的姿态序列确定所述待分析目标的动作序列，包括：
通过所述姿态序列计算距离矩阵，所述距离矩阵用于表征不同时刻数据的相似性；
对所述距离矩阵进行核化，得到核化距离矩阵；
基于对齐聚类分析算法对所述核化距离矩阵进行分割，得到所述待分析目标的动作序列。
可选的，根据所述待分析目标的动作序列确定所述待分析目标的行为序列，以得到携带有姿态序列、动作序列和行为序列的行为信息，包括：
调用预先训练的行为信息确定模型，对所述动作序列进行计算，其中，所述行为信息确定模型通过有监督学习训练得到；
获取所述行为信息确定模型对所述动作序列进行计算得到的行为序列，所述行为序列对应有时间标识；
基于所述时间标识获取所述行为序列对应的姿态序列和动作序列；
将所述姿态序列、动作序列和行为序列进行关联的结果作为所述行为信息。
可选的，所述根据所述待分析目标的与所述生理信息关联的行为信息，在多个候选行为中确定所述待分析目标对应的目标行为，包括：
根据所述待分析目标的与所述生理信息关联的行为信息确定目标序列的持续时间，所述目标序列为姿态序列、动作序列和行为序列中的至少一项；
调用预先训练的行为确定模型，对所述目标序列的持续时间进行计算，其中，所述行为确定模型通过预先标记多个候选行为进行训练得到；
获取所述行为确定模型对所述目标行为发生的时间计算的结果，以确定所述多个候选行为中的目标行为。
第二方面，本发明实施例提供了一种实验活体行为的分析装置，所述装置包括：
数据获取模块，用于获取待分析目标的行为数据和所述行为数据对应的生理数据；
行为信息确定模块，用于提取所述行为数据中的行为信息，并提取所述生理数据中的生理信息，得到所述待分析目标的与所述生理信息关联的行为信息；
行为确定模块，用于根据所述待分析目标的与所述生理信息关联的行为信息，在多个候选行为中确定所述待分析目标对应的目标行为。
第三方面，本发明实施例提供了一种设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个计算机程序，
当所述一个或多个计算机程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所述的实验活体行为的分析方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明任意实施例所述的实验活体行为的分析方法。
本发明实施例通过获取待分析目标的行为数据和所述行为数据对应的生理数据；提取所述行为数据中的行为信息，并提取所述生理数据中的生理信息，得到所述待分析目标的与所述生理信息关联的行为信息；根据所述待分析目标的与所述生理信息关联的行为信息，在多个候选行为中确定所述待分析目标对应的目标行为，解决了仅通过目标的行为数据对目标进行具体行为的分析，会使得行为分析的结果不够准确的问题，实现了提高行为分析的准确性的效果。
附图说明
图1是本发明实施例一提供的一种实验活体行为的分析方法的流程示意图；
图2是本发明实施例二提供的一种实验活体行为的分析方法的流程示意图；
图3是本发明实施例三提供的一种实验活体行为的分析装置的结构示意图；
图4是本发明实施例四提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子计算机程序等等。
此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一信息为第二信息，且类似地，可将第二信息称为第一信息。第一信息和第二信息两者都是信息，但其不是同一信息。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
实施例一
图1为本发明实施例一提供的一种实验活体行为的分析方法的流程示意图，可适用于利用行为数据和生理数据对目标的行为进行分析的场景，该方法可以由实验活体行为的分析装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在设备上。
如图1所示，本发明实施例一提供的实验活体行为的分析方法包括：
S110、获取待分析目标的行为数据和所述行为数据对应的生理数据。
其中，待分析目标可以是待分析的实验活体，例如，待分析的行为测试人、小白鼠、青蛙等，此处不作限定。行为数据是指待分析目标与行为相关的数据。生理数据是指待分析目标的生理相关的数据。例如，生理数据可以是待分析目标的心率、血压、脑电和体液的激素浓度等，本实施例不作具体限定。具体的，行为数据和生理数据对应一段相同的预设时间段。
可选的，本实施例中的行为数据和生理数据通过不同的设备进行采集。例如，待分析目标的行为数据可以通过摄像头采集待分析目标在一定时间内的行为的多帧图像作为行为数据；还可以是给待分析目标佩戴加速度传感器等设备采集待分析目标的行为数据。又例如，待分析目标的生理数据可以通过心率传感器记录待分析的心率等，可以根据需要增加采集生理数据的设备或仪器，此处不作限定。在本步骤中，当采集行为数据的设备和采集采集数据的设备的采集频率不同时，则对行为数据和生理数据进行升降采样，得到采样率一致的行为数据和生理数据。例如，行为数据是每秒采集一次，而生理数据是每0.5秒采集一次，则每隔1秒采样一个生理数据，抛弃间隔0.5秒的数据，则每个采样的行为数据和生理数据对应的时间相同。
可选的，本步骤还可以对行为数据和生理数据进行滤波。具体的，对于行为数据的滤波，可以使用基于似然的滤波方法，统计动物姿态估计的似然程度，保留最相似的95％，其他的部分被判断为噪声，这些时间点的数据使用样条插值的方式根据其前后时刻的数据规律拟合当前噪声点并进行替换。对于生理数据的滤波，可以滤波的算法例如均值滤波、中值滤波和一些自适应的滤波算法。
S120、提取所述行为数据中的行为信息，并提取所述生理数据中的生理信息，得到所述待分析目标的与所述生理信息关联的行为信息。
其中，行为信息是指在行为数据中提取的，用于表征待分析目标在预设时间段的行为的信息。生理信息是指在生理数据中提取的，用于表征待分析目标在预设时间段的生理状态的信息。在本步骤中，行为信息与生理信息关联是指在预设时间段内的每个时间，都对应一个行为信息和生理信息，因此在每个时间的行为信息是与生理信息关联的。
S130、根据所述待分析目标的与所述生理信息关联的行为信息，在多个候选行为中确定所述待分析目标对应的目标行为。
在本步骤中，可以通过标记多个候选行为进行训练得到的行为确定模型对于生理信息关联的行为信息进行计算，从而在多个候选行为中确定待分析目标对应的目标行为。
本实施例的方案，通过与生理信息关联的行为信息，可以提高实验活体行为的分析准确性。在原来的方案中，仅通过获取目标的行为数据，来分析目标的行为不够准确。例如，小白鼠静止时，则认为该小白鼠的行为是休息。但有可能小白鼠此时是惊恐不敢随便动弹，因此通过生理数据可以进一步确定小白鼠是普通的休息还是惊恐到不敢动弹，提高了实验活体行为的分析准确性。
举例来说，可以应用本实施例的方法，对实验活体进行实验之前和之后分析实验活体的行为，从而提供实验条件对实验活体影响结果的支持。
本发明实施例的技术方案，通过获取待分析目标的行为数据和所述行为数据对应的生理数据；提取所述行为数据中的行为信息，并提取所述生理数据中的生理信息，得到所述待分析目标的与所述生理信息关联的行为信息；根据所述待分析目标的与所述生理信息关联的行为信息，在多个候选行为中确定所述待分析目标对应的目标行为，由于本实施例不仅是通过行为数据对行为进行分析，而是通过与生理信息关联的行为信息进行分析，分析时考虑到生理因素的影响，达到提高行为分析的准确性的技术效果。
实施例二
图2是本发明实施例二提供的一种实验活体行为的分析方法的流程示意图。本实施例是在上述技术方案的进一步细化，适用于利用行为数据和生理数据对目标的行为进行分析的场景。该方法可以由实验活体行为的分析装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在设备上。
如图2所示，本发明实施例二提供的实验活体行为的分析方法包括：
S210、获取待分析目标的行为数据和所述行为数据对应的生理数据，所述行为数据为包括所述待分析目标的目标图像。
在本实施例中，行为数据通过摄像头进行采集。目标图像是指通过摄像头对待分析目标进行拍摄得到的多帧图像。
S220、调用预先训练的关键点确定模型，对所述目标图像中的待分析目标的多个关键点进行标记，其中，所述关键点确定模型通过无监督学习训练得到。
其中，关键点确定模型是指通过无监督学习进行训练，得到用于对目标图像中的待分析目标的多个关键点进行标记的模型。具体的，关键点是指待分析目标上能体现运动状态的点。例如，关键点可以是待分析目标上的骨骼点，或者是通过实验确定得到的能体现待分析目标运动状态的点，此处不作限定。具体的，可以将通过手工预先标记了多个关键点的图像数据输入至关键点确定模型进行训练。可选的，本实施例的关键点确定模型可以基于深度残差神经网络(Res-Net)进行训练得到。
S230、根据标记的多个关键点确定所述待分析目标的行为信息。
在本步骤中，可以通过关键点确定待分析目标的姿态，再通过姿态确定待分析目标的动作，最后通过待分析目标的动作确定待分析目标的行为信息。具体的，将一连串的姿态按照顺序连接在一起，即构成了动作。动作具有时间动态性，但是不具备明确的生理意义，将动作按照顺序连接在一起，即构成了具有生理意义的行为。
在一个可选的实施方式中，根据标记的多个关键点确定所述待分析目标的行为信息，包括：
根据标记的多个关键点确定所述待分析目标的姿态序列；根据所述待分析目标的姿态序列确定所述待分析目标的动作序列；根据所述待分析目标的动作序列确定所述待分析目标的行为序列，以得到携带有姿态序列、动作序列和行为序列的行为信息。
其中，姿态序列包括了预设时间段内的每个时刻对应的姿态。动作序列包括了通过姿态序列中的连续多帧姿态确定的一个或多个动作。行为序列包括了根据动作序列中的一个或多个动作确定的一个行为。在本实施方式中，行为信息携带有姿态序列、动作序列和行为序列。
在一个可选的实施方式中，根据标记的多个关键点确定所述待分析目标的姿态序列，包括：
确定标记的多个关键点在预设周期内每个时间的关键点变化信息；提取所述关键点变化信息中与自身运动相关的自身运动信息，所述自身运动信息指示于以所述待分析目标自身为原点产生的动作；将所述预设周期内每个时间的自身运动信息作为所述姿态序列。
其中，预设周期可以根据需要设置，例如1分钟，30秒等，此处不作限制。关键点变化信息是指由于待分析目标的活动而使得关键点变化的信息。具体的，在每个时间关键点在待分析目标上都是基本不变的，如果待分析目标在持续活动时，则可以确定关键点变化的信息。其中，关键点变化信息包括与自身运动相关的自身运动信息和自身的坐标系与环境交互的非自身运动信息。例如行走(walking)行为，若仅考虑动物自身运动，则动物表现出在原地走“太空步”；若是非自身运动信息，则待分析目标相对于大地还产生了位移。本实施方式将预设周期内每个时间的自身运动信息作为姿态序列。具体的，可以认为是将预设周期内每个时间各自对应的自身运动信息的集合，作为姿态序列。
具体的，确定关键点变化信息中的自身运动信息，可以在多个关键点中预先定义一个特征点，由于每个时间对应一个姿态，每个姿态都有多个关键点，且每个姿态的特征点相同，因此首先将预设周期内每个时间的特征点对齐。然后在多个关键点中预先定义一个标志点(例如小白鼠尾部的骨骼点)，将标志点作为方向矢量的终点，将其纵坐标置零，计算旋转角和旋转矩阵，通过旋转矩阵将所有的关键点旋转至标志点对齐的方向，得到对齐后的动物骨架。再通过k-means算法对动物骨架进行分割，从而得到自身运动信息。具体的，k-means将具有相似数据特征的动物行为骨架聚类到一起，在时间上，这些骨架具有结构的相似性，因此一段完整的姿态可以由k-means准确的得到。
可选的，由于姿态序列中的多个连续姿态基本一致，因此可以将连续多个姿态压缩成一个姿态，即每连续多个姿态(例如每隔三个姿态)抽取一个姿态，组成本实施方式中的姿态序列。通过压缩后的姿态序列来确定动作序列以及后续的行为序列，可以提高运行效率。
在一个可选的实施方式中，根据所述待分析目标的姿态序列确定所述待分析目标的动作序列，包括：
通过所述姿态序列计算距离矩阵，所述距离矩阵用于表征不同时刻数据的相似性；对所述距离矩阵进行核化，得到核化距离矩阵；基于对齐聚类分析算法对所述核化距离矩阵进行分割，得到所述待分析目标的动作序列。
其中，核化是一种数据的非线性映射技术，将低维空间线性不可分的数据映射至高维空间实现线性可分，因此，核化在低维空间中表现出一种提高不同类数据差异和对比度的特性。在这里计算核化的核(kernel)为高斯核，高斯核也被称为径向基函数(RBF,Radial Basis Function)，使用高斯核进行数据升维可以有效突出数据特征。本实施方式中通过对齐聚类分析(ACA,Aligned Cluster Analysis)算法对核化矩阵进行分割，以得到待分析目标的动作序列。其中，对齐聚类分析是一种无监督的动态时间的分割聚类方法。具体的，距离矩阵用于表征不同时刻数据的相似性，可以看作是表征不同时刻姿态的相似性。
具体的，基于对齐聚类分析算法对所述核化距离矩阵进行分割分为两个步骤。首先是通过谱聚类对核化距离矩阵聚类，可以很好地保持核化距离矩阵中的连续时间结构，为ACA提供良好的初始化分割位点。然后通过动态时间规整(DTW,Dynamic Time Warping)算法从核化距离矩阵的开头调整分割起点，再通过动态时间规整(DTW,Dynamic TimeWarping)算法从核化距离矩阵的末尾调整分割位点，循环从开头调整分割起点的步骤，直至收敛的优化标准选取最佳的迭代次数作为算法截止的位置。经过优化后的数据在每一个类别中存在最佳的动态相似性，因此相应地也得到了最佳的分割位置。
在一个可选的实施方式中，所述待分析目标的动作序列确定所述待分析目标的行为序列，以得到携带有姿态序列、动作序列和行为序列的行为信息，包括：
调用预先训练的行为信息确定模型，对所述动作序列进行计算，其中，所述行为信息确定模型通过有监督学习训练得到；获取所述行为信息确定模型对所述动作序列进行计算得到的行为序列，所述行为序列对应有时间标识；基于所述时间标识获取所述行为序列对应的姿态序列和动作序列；将所述姿态序列、动作序列和行为序列进行关联的结果作为所述行为信息。
其中，行为信息确定模型是指通过预先标记为行为的动作序列训练得到的模型。可选的，可以选择引入注意力机制的seq2seq循环神经网络模型中训练该行为信息确定模型。将动作序列作为输入参数，行为序列作为输出参数，并引入注意力机制进行训练，从而得到本实施方式的行为信息确定模型。本实施方式通过行为序列对应的时间标识，获取该时间标识下行为序列对应的姿态序列的动作序列，从而将所述姿态序列、动作序列和行为序列进行关联得到行为信息。本实施方式中，行为信息包括姿态序列、动作序列和行为序列，不仅局限于行为那一层的序列进行行为的分析，而是将包括了姿态、动作和行为的层次化行为信息进行行为的分析，则分析的结果也会更准确。
S240、提取所述生理数据中的生理信息，得到所述待分析目标的与所述生理信息关联的行为信息。
在本实施方式中，生理信息的提取和行为信息的提取可以同步进行。
S250、根据所述待分析目标的与所述生理信息关联的行为信息，在多个候选行为中确定所述待分析目标对应的目标行为。
在本实施例中，可选的，根据所述待分析目标的与所述生理信息关联的行为信息，在多个候选行为中确定所述待分析目标对应的目标行为，包括：
根据所述待分析目标的与所述生理信息关联的行为信息确定目标序列的持续时间，所述目标序列为姿态序列、动作序列和行为序列中的至少一项；调用预先训练的行为确定模型，对所述目标序列的持续时间进行计算，其中，所述行为确定模型通过预先标记多个候选行为进行训练得到；获取所述行为确定模型对所述目标行为发生的时间计算的结果，以确定所述多个候选行为中的目标行为。
其中，行为确定模型是指通过预先标记多个候选行为进行训练得到的模型。具体的，将目标序列的持续时间标记上候选行为进行训练。示例性，当目标序列为姿态序列时，根据姿态序列中左右腿切换时间，即保持左腿在前，右腿在后的持续时间，可以确定待分析目标是在慢走还是快跑。
本发明实施例的技术方案，通过获取待分析目标的行为数据和所述行为数据对应的生理数据；提取所述行为数据中的行为信息，并提取所述生理数据中的生理信息，得到所述待分析目标的与所述生理信息关联的行为信息；根据所述待分析目标的与所述生理信息关联的行为信息，在多个候选行为中确定所述待分析目标对应的目标行为，由于本实施例不仅是通过行为数据对行为进行分析，而是通过与生理信息关联的行为信息进行分析，分析时考虑到生理因素的影响，达到提高行为分析的准确性的技术效果。
实施例三
图3是本发明实施例三提供的一种实验活体行为的分析装置的结构示意图，本实施例可适用于利用行为数据和生理数据对目标的行为进行分析的场景，该装置可以采用软件和/或硬件的方式实现，并可集成在设备上。
如图3所示，本实施例提供的实验活体行为的分析装置可以包括数据获取模块310、行为信息确定模块320和行为确定模块330，其中：
数据获取模块310，用于获取待分析目标的行为数据和所述行为数据对应的生理数据；
行为信息确定模块320，用于提取所述行为数据中的行为信息，并提取所述生理数据中的生理信息，得到所述待分析目标的与所述生理信息关联的行为信息；
行为确定模块330，用于根据所述待分析目标的与所述生理信息关联的行为信息，在多个候选行为中确定所述待分析目标对应的目标行为。
可选的，行为数据为包括所述待分析目标的目标图像，行为信息确定模块320包括：
关键点确定模型调用单元，用于调用预先训练的关键点确定模型，对所述目标图像中的待分析目标的多个关键点进行标记，其中，所述关键点确定模型通过无监督学习训练得到；
行为信息确定单元，用于根据标记的多个关键点确定所述待分析目标的行为信息。
可选的，行为信息确定单元包括：
姿态序列确定子单元，用于根据标记的多个关键点确定所述待分析目标的姿态序列；
动作序列确定子单元，用于根据所述待分析目标的姿态序列确定所述待分析目标的动作序列；
行为信息确定子单元，用于根据所述待分析目标的动作序列确定所述待分析目标的行为序列，以得到携带有姿态序列、动作序列和行为序列的行为信息。
可选的，姿态序列确定子单元具体用于确定标记的多个关键点在预设周期内每个时间的关键点变化信息；提取所述关键点变化信息中与自身运动相关的自身运动信息，所述自身运动信息指示于以所述待分析目标自身为原点产生的动作；将所述预设周期内每个时间的自身运动信息作为所述姿态序列。
可选的，动作姿态确定子单元具体用于通过所述姿态序列计算距离矩阵，所述距离矩阵用于表征不同时刻数据的相似性；对所述距离矩阵进行核化，得到核化距离矩阵；基于对齐聚类分析算法对所述核化距离矩阵进行分割，得到所述待分析目标的动作序列。
可选的，行为信息确定子单元具体用于调用预先训练的行为信息确定模型，对所述动作序列进行计算，其中，所述行为信息确定模型通过有监督学习训练得到；获取所述行为信息确定模型对所述动作序列进行计算得到的行为序列，所述行为序列对应有时间标识；基于所述时间标识获取所述行为序列对应的姿态序列和动作序列；将所述姿态序列、动作序列和行为序列进行关联的结果作为所述行为信息。
可选的，行为信息模块具体用于根据所述待分析目标的与所述生理信息关联的行为信息确定目标序列的持续时间，所述目标序列为姿态序列、动作序列和行为序列中的至少一项；
调用预先训练的行为确定模型，对所述目标序列的持续时间进行计算，其中，所述行为确定模型通过预先标记多个候选行为进行训练得到；
获取所述行为确定模型对所述目标行为发生的时间计算的结果，以确定所述多个候选行为中的目标行为。
本发明实施例所提供的实验活体行为的分析装置可执行本发明任意实施例所提供的实验活体行为的分析方法，具备执行方法相应的功能模块和有益效果。本发明实施例中未详尽描述的内容可以参考本发明任意方法实施例中的描述。
实施例四
图4是本发明实施例四提供的一种设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性设备612的框图。图4显示的设备612仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。可选的，设备612可以是计算机设备。
如图4所示，设备612以通用计算机设备的形式表现。设备612的组件可以包括但不限于：一个或者多个处理器616，存储装置628，连接不同系统组件(包括存储装置628和处理器616)的总线618。
总线618表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance，ISA)总线，微通道体系结构(Micro Channel Architecture，MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
设备612典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备612访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置628可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)630和/或高速缓存存储器632。终端612可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统634可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘，例如只读光盘(Compact Disc Read-Only Memory，CD-ROM),数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线618相连。存储装置628可以包括至少一个计算机程序产品，该计算机程序产品具有一组(例如至少一个)计算机程序模块，这些计算机程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)计算机程序模块642的计算机程序/实用工具640，可以存储在例如存储装置628中，这样的计算机程序模块642包括但不限于操作系统、一个或者多个应用计算机程序、其它计算机程序模块以及计算机程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。计算机程序模块642通常执行本发明所描述的实施例中的功能和/或方法。
设备612也可以与一个或多个外部设备614(例如键盘、指向终端、显示器624等)通信，还可与一个或者多个使得用户能与该设备612交互的终端通信，和/或与使得该设备612能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口622进行。并且，设备612还可以通过网络适配器620与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图4所示，网络适配器620通过总线618与设备612的其它模块通信。应当明白，尽管图中未示出，可以结合设备612使用其它硬件和/或软件模块，包括但不限于：微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器616通过运行存储在存储装置628中的计算机程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的一种实验活体行为的分析方法，该方法可以包括：
获取待分析目标的行为数据和所述行为数据对应的生理数据；
提取所述行为数据中的行为信息，并提取所述生理数据中的生理信息，得到所述待分析目标的与所述生理信息关联的行为信息；
根据所述待分析目标的与所述生理信息关联的行为信息，在多个候选行为中确定所述待分析目标对应的目标行为。
本发明实施例的技术方案，通过获取待分析目标的行为数据和所述行为数据对应的生理数据；提取所述行为数据中的行为信息，并提取所述生理数据中的生理信息，得到所述待分析目标的与所述生理信息关联的行为信息；根据所述待分析目标的与所述生理信息关联的行为信息，在多个候选行为中确定所述待分析目标对应的目标行为，由于本实施例不仅是通过行为数据对行为进行分析，而是通过与生理信息关联的行为信息进行分析，分析时考虑到生理因素的影响，达到提高行为分析的准确性的技术效果。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明任意实施例所提供的一种实验活体行为的分析方法，该方法可以包括：
获取待分析目标的行为数据和所述行为数据对应的生理数据；
提取所述行为数据中的行为信息，并提取所述生理数据中的生理信息，得到所述待分析目标的与所述生理信息关联的行为信息；
根据所述待分析目标的与所述生理信息关联的行为信息，在多个候选行为中确定所述待分析目标对应的目标行为。
本发明实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储计算机程序的有形介质，该计算机程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的计算机程序。
存储介质上包含的计算机程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种计算机程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述计算机程序设计语言包括面向对象的计算机程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式计算机程序设计语言—诸如“C”语言或类似的计算机程序设计语言。计算机程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本发明实施例的技术方案，通过获取待分析目标的行为数据和所述行为数据对应的生理数据；提取所述行为数据中的行为信息，并提取所述生理数据中的生理信息，得到所述待分析目标的与所述生理信息关联的行为信息；根据所述待分析目标的与所述生理信息关联的行为信息，在多个候选行为中确定所述待分析目标对应的目标行为，由于本实施例不仅是通过行为数据对行为进行分析，而是通过与生理信息关联的行为信息进行分析，分析时考虑到生理因素的影响，达到提高行为分析的准确性的技术效果。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种实验活体行为的分析方法，其特征在于，所述方法包括：
获取待分析目标的行为数据和所述行为数据对应的生理数据；
提取所述行为数据中的行为信息，并提取所述生理数据中的生理信息，得到所述待分析目标的与所述生理信息关联的行为信息；
根据所述待分析目标的与所述生理信息关联的行为信息，在多个候选行为中确定所述待分析目标对应的目标行为。
2.如权利要求1所述的方法，其特征在于，所述行为数据为包括所述待分析目标的目标图像，所述提取所述行为数据中的行为信息，包括：
调用预先训练的关键点确定模型，对所述目标图像中的待分析目标的多个关键点进行标记，其中，所述关键点确定模型通过无监督学习训练得到；
根据标记的多个关键点确定所述待分析目标的行为信息。
3.如权利要求2所述的方法，其特征在于，所述根据标记的多个关键点确定所述待分析目标的行为信息，包括：
根据标记的多个关键点确定所述待分析目标的姿态序列；
根据所述待分析目标的姿态序列确定所述待分析目标的动作序列；
根据所述待分析目标的动作序列确定所述待分析目标的行为序列，以得到携带有姿态序列、动作序列和行为序列的行为信息。
4.如权利要求3所述的方法，其特征在于，所述根据标记的多个关键点确定所述待分析目标的姿态序列，包括：
确定标记的多个关键点在预设周期内每个时间的关键点变化信息；
提取所述关键点变化信息中与自身运动相关的自身运动信息，所述自身运动信息指示于以所述待分析目标自身为原点产生的动作；
将所述预设周期内每个时间的自身运动信息作为所述姿态序列。
5.如权利要求3所述的方法，其特征在于，所述根据所述待分析目标的姿态序列确定所述待分析目标的动作序列，包括：
通过所述姿态序列计算距离矩阵，所述距离矩阵用于表征不同时刻数据的相似性；
对所述距离矩阵进行核化，得到核化距离矩阵；
基于对齐聚类分析算法对所述核化距离矩阵进行分割，得到所述待分析目标的动作序列。
6.如权利要求3所述的方法，其特征在于，根据所述待分析目标的动作序列确定所述待分析目标的行为序列，以得到携带有姿态序列、动作序列和行为序列的行为信息，包括：
调用预先训练的行为信息确定模型，对所述动作序列进行计算，其中，所述行为信息确定模型通过有监督学习训练得到；
获取所述行为信息确定模型对所述动作序列进行计算得到的行为序列，所述行为序列对应有时间标识；
基于所述时间标识获取所述行为序列对应的姿态序列和动作序列；
将所述姿态序列、动作序列和行为序列进行关联的结果作为所述行为信息。
7.如权利要求3所述的方法，其特征在于，所述根据所述待分析目标的与所述生理信息关联的行为信息，在多个候选行为中确定所述待分析目标对应的目标行为，包括：
根据所述待分析目标的与所述生理信息关联的行为信息确定目标序列的持续时间，所述目标序列为姿态序列、动作序列和行为序列中的至少一项；
调用预先训练的行为确定模型，对所述目标序列的持续时间进行计算，其中，所述行为确定模型通过预先标记多个候选行为进行训练得到；
获取所述行为确定模型对所述目标行为发生的时间计算的结果，以确定所述多个候选行为中的目标行为。
8.一种实验活体行为的分析装置，其特征在于，所述装置包括：
数据获取模块，用于获取待分析目标的行为数据和所述行为数据对应的生理数据；
行为信息确定模块，用于提取所述行为数据中的行为信息，并提取所述生理数据中的生理信息，得到所述待分析目标的与所述生理信息关联的行为信息；
行为确定模块，用于根据所述待分析目标的与所述生理信息关联的行为信息，在多个候选行为中确定所述待分析目标对应的目标行为。
9.一种设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的实验活体行为的分析方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的实验活体行为的分析方法。
CN202010254365.2A 2020-04-02 2020-04-02 实验活体行为的分析方法、装置、设备和存储介质 Active CN111445500B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010254365.2A CN111445500B (zh) 2020-04-02 2020-04-02 实验活体行为的分析方法、装置、设备和存储介质
PCT/CN2020/103679 WO2021196456A1 (zh) 2020-04-02 2020-07-23 实验活体行为的分析方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010254365.2A CN111445500B (zh) 2020-04-02 2020-04-02 实验活体行为的分析方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN111445500A true CN111445500A (zh) 2020-07-24
CN111445500B CN111445500B (zh) 2023-06-27

Family

ID=71649636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010254365.2A Active CN111445500B (zh) 2020-04-02 2020-04-02 实验活体行为的分析方法、装置、设备和存储介质

Country Status (2)

Country Link
CN (1) CN111445500B (zh)
WO (1) WO2021196456A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580552A (zh) * 2020-12-23 2021-03-30 中山大学 一种鼠类行为分析方法及装置
CN112581092A (zh) * 2020-12-23 2021-03-30 上海研鼎信息技术有限公司 一种实验室管理方法、设备及存储介质
CN114190928A (zh) * 2021-12-27 2022-03-18 清华大学 险态工况下驾驶行为的识别方法、装置和计算机设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080255468A1 (en) * 2005-04-20 2008-10-16 Derchak P Alexander Systems and methods for non-invasive physiological monitoring of non-human animals
CN106137170A (zh) * 2016-08-10 2016-11-23 深圳先进技术研究院 一种基于生物反馈的智能足部电击系统
CN106264569A (zh) * 2016-08-10 2017-01-04 深圳先进技术研究院 一种基于观察性恐惧习得的共情神经实验系统
CN106326919A (zh) * 2016-08-16 2017-01-11 西北农林科技大学 一种基于bp神经网络的生猪行为分类方法
US20170149753A1 (en) * 2014-06-23 2017-05-25 Baidu Online Network Technology (Beijing) Co., Ltd. Hotspot information analysis method and apparatus and computer storage medium
CN109815936A (zh) * 2019-02-21 2019-05-28 深圳市商汤科技有限公司 一种目标对象分析方法及装置、计算机设备和存储介质
CN110689041A (zh) * 2019-08-20 2020-01-14 陈羽旻 一种多目标行为动作识别预测方法、电子设备及存储介质
CN110825839A (zh) * 2019-11-07 2020-02-21 成都国腾实业集团有限公司 一种对文本信息中目标的关联关系分析方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080255468A1 (en) * 2005-04-20 2008-10-16 Derchak P Alexander Systems and methods for non-invasive physiological monitoring of non-human animals
US20170149753A1 (en) * 2014-06-23 2017-05-25 Baidu Online Network Technology (Beijing) Co., Ltd. Hotspot information analysis method and apparatus and computer storage medium
CN106137170A (zh) * 2016-08-10 2016-11-23 深圳先进技术研究院 一种基于生物反馈的智能足部电击系统
CN106264569A (zh) * 2016-08-10 2017-01-04 深圳先进技术研究院 一种基于观察性恐惧习得的共情神经实验系统
CN106326919A (zh) * 2016-08-16 2017-01-11 西北农林科技大学 一种基于bp神经网络的生猪行为分类方法
CN109815936A (zh) * 2019-02-21 2019-05-28 深圳市商汤科技有限公司 一种目标对象分析方法及装置、计算机设备和存储介质
CN110689041A (zh) * 2019-08-20 2020-01-14 陈羽旻 一种多目标行为动作识别预测方法、电子设备及存储介质
CN110825839A (zh) * 2019-11-07 2020-02-21 成都国腾实业集团有限公司 一种对文本信息中目标的关联关系分析方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FENG ZHOU ET AL: "Aligned Cluster Analysis for Temporal Segmentation of Human Motion", pages 1 - 8 *
YOSHUA BENGIO ET AL: "Representation Learning: A Review and New Perspectives", vol. 35, no. 35, pages 1798 - 1828, XP011515336, DOI: 10.1109/TPAMI.2013.50 *
俞鸿波;: "基于关联性的目标动向热点分析", no. 05, pages 483 - 489 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580552A (zh) * 2020-12-23 2021-03-30 中山大学 一种鼠类行为分析方法及装置
CN112581092A (zh) * 2020-12-23 2021-03-30 上海研鼎信息技术有限公司 一种实验室管理方法、设备及存储介质
CN112580552B (zh) * 2020-12-23 2023-12-12 中山大学 一种鼠类行为分析方法及装置
CN114190928A (zh) * 2021-12-27 2022-03-18 清华大学 险态工况下驾驶行为的识别方法、装置和计算机设备
CN114190928B (zh) * 2021-12-27 2022-07-08 清华大学 险态工况下驾驶行为的识别方法、装置和计算机设备

Also Published As

Publication number Publication date
CN111445500B (zh) 2023-06-27
WO2021196456A1 (zh) 2021-10-07

Similar Documents

Publication Publication Date Title
CN107784282B (zh) 对象属性的识别方法、装置及系统
CN110175527B (zh) 行人再识别方法及装置、计算机设备及可读介质
Sun et al. Retracted: Gesture recognition algorithm based on multi‐scale feature fusion in RGB‐D images
Tsai et al. Implementation of fall detection system based on 3D skeleton for deep learning technique
CN111445500A (zh) 实验活体行为的分析方法、装置、设备和存储介质
WO2020260936A1 (en) Medical image segmentation using an integrated edge guidance module and object segmentation network
CN110869938A (zh) 人员识别系统和方法
CN111742332A (zh) 经由多预测模型架构进行异常检测的系统和方法
CN106648078B (zh) 应用于智能机器人的多模态交互方法及系统
Wang et al. Gaze latent support vector machine for image classification improved by weakly supervised region selection
CN111755118B (zh) 医疗信息处理方法、装置、电子设备及存储介质
CN111582185B (zh) 用于识别图像的方法和装置
WO2021057423A1 (zh) 图像处理方法、图像处理装置以及存储介质
CN111345817B (zh) Qrs波群位置确定方法、装置、设备及存储介质
Yapıcı et al. Literature review of deep learning research areas
US20210256250A1 (en) Method for predicting intention of user and apparatus for performing same
Martinez et al. Towards activity recognition from eye-movements using contextual temporal learning
Gosztolai et al. LiftPose3D, a deep learning-based approach for transforming 2D to 3D pose in laboratory animals
Wang et al. What we see is what we do: a practical Peripheral Vision-Based HMM framework for gaze-enhanced recognition of actions in a medical procedural task
Oikonomopoulos et al. Trajectory-based representation of human actions
WO2023108782A1 (zh) 行为识别模型训练方法及装置、行为识别方法及装置、系统、介质
CN114299610A (zh) 一种红外视频中的动作识别方法及系统
CN114399511A (zh) 一种脉络膜亚层和脉络膜血管分割网络模型及其训练方法
CN111796663B (zh) 场景识别模型更新方法、装置、存储介质及电子设备
Korczakowski et al. CoU2Net and CoLDF: two novel methods built on basis of double-branch co-salient object detection framework

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant