CN116801799A

CN116801799A - 步态和姿势分析

Info

Publication number: CN116801799A
Application number: CN202180093351.XA
Authority: CN
Inventors: V·库玛; K·谢泼德; G·萨布尼斯
Original assignee: Jackson Laboratory
Current assignee: Jackson Laboratory
Priority date: 2020-12-29
Filing date: 2021-12-29
Publication date: 2023-09-22

Abstract

本文描述的系统和方法提供了相对于对照数据分析受试者的步态和姿势的技术。在一些实施方案中，这些系统和方法处理视频数据、识别表示身体部位的关键点、确定步幅水平上的度量数据，然后将这些度量数据与对照数据进行比较。

Description

步态和姿势分析

相关申请

本申请根据35U.S.C.§119(e)要求以下美国临时申请的权益：2021年2月1日提交的美国临时申请序列号63/144,052和2020年12月29日提交的美国临时申请序列号63/131,498，这两份申请各自的全部内容全文以引用方式并入本文。

技术领域

在一些方面，本发明涉及通过处理视频数据对受试者的步态和姿势进行自动分析。

政府支持

本发明是在美国国立卫生研究院资助的R21DA048634和UM1OD023222项目下，获得政府支持而完成的。美国政府拥有本发明的某些权利。

背景技术

在人类中，以高精度和高灵敏度量化步态和姿势的能力已经表明，可以使用这种能力来确定许多神经和肌肉系统的正常功能。多种精神疾病、神经退行性疾病和神经肌肉疾病都与步态和姿势的改变相关联，包括孤独症谱系障碍、精神分裂症、双相情感障碍和阿尔茨海默病。这是因为正常的步态、平衡和姿势处于多个神经系统过程的控制之下，这些神经系统过程包括处理视觉输入、前庭输入、听觉输入、本体觉输入和内脏输入的关键感觉中枢。大脑中直接控制运动的区域，诸如小脑、运动皮层和脑干，会对认知和情感线索做出反应。因此，步态和姿势的完整性反映了人体内许多神经系统的正常神经功能。在人类精神疾病的啮齿动物模型中，还没有任何关于步态和姿势度量在人类中的效用的证明。这可能是由于缺乏足够准确且易于实施的技术来检测不同小鼠品系之间的步态和姿势差异。

发明内容

根据本发明的一个方面，提供了一种计算机实施的方法，该方法包括：接收表示受试者的视频捕捉运动的视频数据；处理该视频数据，以识别在一个时间段内跟踪受试者的一组身体部位的运动的点数据；使用点数据确定在该时间段期间在视频数据中表示的多个支撑相和对应的多个摆动相；基于多个支撑相和多个摆动相，确定在该时间段期间在视频数据中表示的多个步幅间隔；使用点数据确定受试者的度量数据，该度量数据基于多个步幅间隔中的每个步幅间隔；将受试者的度量数据与对照度量数据进行比较；以及基于该比较，确定受试者的度量数据与对照度量数据之间的差异。在某些实施方案中，这组身体部位包括鼻部、颈基部、脊柱中部、左后爪、右后爪、尾根、尾中部和尾尖；并且其中多个支撑相和多个摆动相是基于左后爪和右后爪的移动速度的变化来确定的。在某些实施方案中，该方法还包括基于左后爪或右后爪的脚尖离地事件，确定从多个支撑相中的第一支撑相到多个摆动相中的第一摆动相的转变；以及基于左后爪或右后爪的脚掌触地事件，确定从多个摆动相中的第二摆动相到多个支撑相中的第二支撑相的转变。在一些实施方案中，度量数据对应于受试者在每个步幅间隔期间的步态测量结果。在一些实施方案中，这组身体部位包括左后爪和右后爪，并且其中确定度量数据包括：使用点数据确定每个步幅间隔中的步长，该步长表示右后爪越过前一次左后爪触地位置所行进的距离；使用点数据确定用于每个步幅间隔的步幅长度，该步幅长度表示左后爪在每个步幅间隔期间行进的距离；步幅长度是在从脚尖离地事件到脚掌触地事件的每个步幅间隔中，左前爪与左后爪之间的距离；使用点数据确定每个步幅间隔中的步宽，该步宽表示左后爪与右后爪之间的距离。在一些实施方案中，这组身体部位包括尾根，并且其中确定度量数据包括使用点数据，基于每个步幅间隔中尾根的运动，确定受试者的速度数据。在某些实施方案中，这组身体部位包括尾根，并且其中确定度量数据包括：使用点数据，基于在表示多个步幅间隔中的一个步幅间隔的一组帧期间尾根的运动，确定受试者的一组速度数据；以及通过对这组速度数据求平均值，来确定步幅间隔中的步幅速度。在一些实施方案中，这组身体部位包括右后爪和左后爪，并且其中确定度量数据包括：使用点数据确定第一支撑持续时间，该第一支撑持续时间表示在多个步幅间隔中的一个步幅间隔期间右后爪接触地面的时间量；基于第一支撑持续时间和步幅间隔持续时间确定第一占空因数；使用点数据确定第二支撑持续时间，该第二支撑持续时间表示在步幅间隔期间左后爪接触地面的时间量；基于第二支撑持续时间和步幅间隔持续时间确定第二占空因数；以及基于第一占空因数和第二占空因数确定步幅间隔的平均占空因数。在一些实施方案中，这组身体部位包括尾根和颈基部，并且其中确定度量数据包括：使用点数据，在表示多个步幅间隔中的一个步幅间隔的一组帧期间，确定连接尾根和颈基部的一组向量；以及使用这组向量来确定步幅间隔中受试者的角速度。在某些实施方案中，度量数据对应于受试者在每个步幅间隔期间的姿态测量结果。在一些实施方案中，这组身体部位包括受试者的脊柱中心，其中多个步幅间隔中的一个步幅间隔与视频数据的一组帧相关联，并且其中确定度量数据包括使用点数据确定步幅间隔中的位移向量，该位移向量连接这组帧的第一帧中表示的脊柱中心和这组帧的最后一帧中表示的脊柱中心。在一些实施方案中，这组身体部位还包括受试者的鼻部，并且其中确定度量数据包括使用点数据，基于这组帧的每一帧中鼻部距位移向量的垂直距离，确定步幅间隔中鼻部的一组侧向位移。在某些实施方案中，鼻部的侧向位移还基于受试者的体长。在一些实施方案中，确定度量数据还包括通过以下方法确定尾尖位移相偏移：使用这组鼻部侧向位移执行插值，以生成步幅间隔中鼻部的平滑曲线侧向位移；使用鼻部的平滑曲线侧向位移来确定在步幅间隔期间鼻部的最大位移何时出现；以及确定表示当鼻部发生最大位移时完成的步幅间隔的百分比的步幅位置百分比。在一些实施方案中，这组身体部位还包括受试者的尾根，并且其中确定度量数据包括：使用点数据，基于这组帧的每一帧中尾根距位移向量的垂直距离，确定步幅间隔中尾根的一组侧向位移。在一些实施方案中，确定度量数据还包括通过以下方法确定尾根位移相偏移：使用这组尾根侧向位移执行插值，以生成步幅间隔中尾根的平滑曲线侧向位移；使用尾根的平滑曲线侧向位移来确定在步幅间隔期间尾根的最大位移何时出现；以及确定表示当尾根发生最大位移时完成的步幅间隔的百分比的步幅位置百分比。在某些实施方案中，这组身体部位还包括受试者的尾尖，并且其中确定度量数据包括：使用点数据，基于这组帧的每一帧中尾尖距位移向量的垂直距离，确定步幅间隔中尾尖的一组侧向位移。在一些实施方案中，确定度量数据还包括通过以下方法确定尾尖位移相偏移：使用这组尾尖侧向位移执行插值，以生成步幅间隔中尾尖的平滑曲线侧向位移；使用尾尖的平滑曲线侧向位移来确定在步幅间隔期间尾尖的最大位移何时出现；以及确定表示当尾尖发生最大位移时完成的步幅间隔的百分比的步幅位置百分比。在一些实施方案中，处理视频数据包括使用机器学习模型来处理视频数据。在某些实施方案中，处理视频数据包括使用神经网络模型来处理视频数据。在某些实施方案中，视频用自上而下视图捕捉旷场中的受试者的由受试者确定的运动。在一些实施方案中，对照度量数据是从一个或多个对照生物体获得的。在一些实施方案中，受试者是生物体，对照生物体和受试者生物体是同一物种。在某些实施方案中，该物种是啮齿目(Order Rodentia)的成员，任选地是大鼠或小鼠。在某些实施方案中，对照生物体是该物种的实验室品系。在一些实施方案中，实验室品系是图14E中列出的一种品系。在一些实施方案中，受试者度量数据相比对照度量数据的统计学显著差异表明受试者表型相比对照生物体表型的差异。在一些实施方案中，表型差异表明受试者中存在疾病或病症。在某些实施方案中，表型差异表明受试者的遗传背景与对照生物体的遗传背景之间的差异。在一些实施方案中，受试者度量数据相比对照度量数据的统计学显著差异表明受试者的基因型相比对照生物体的基因型的差异。在某些实施方案中，基因型差异表明受试者与对照生物体之间的品系差异。在某些实施方案中，基因型差异表明受试者中存在疾病或病症。在一些实施方案中，该疾病或病症是雷特综合征、唐氏综合征、肌萎缩侧索硬化症(ALS)、孤独症谱系障碍(ASD)、精神分裂症、双相情感障碍、神经退行性障碍、痴呆或脑损伤。在一些实施方案中，对照生物体和受试者生物体性别相同。在某些实施方案中，对照生物体和受试者生物体性别不同。在一些实施方案中，对照度量数据对应于包括以下项在内的要素：对照步幅长度、对照步长和对照步宽，其中受试者的度量数据所包括的要素包括：受试者在该时间段期间的步幅长度、受试者在该时间段期间的步长，以及受试者在该时间段期间的步宽，并且其中对照数据和度量数据的一个或多个要素之间的差异表示受试者与对照之间的表型差异。

根据本发明的另一个方面，提供了评估已知患有、怀疑患有疾病或病症或者存在患上疾病或病症的风险的受试者的一种或多种活动和行为的方法，该方法包括：获得受试者的度量数据，其中用于获得受试者的度量数据的手段包括本发明的前述方法或系统的任何实施方案中的计算机生成的方法，并且至少部分地基于所获得的度量数据，确定疾病或病症是存在还是不存在。在一些实施方案中，该方法还包括至少部分地基于确定疾病或病症存在，为受试者选择治疗方案。在一些实施方案中，该方法还包括向受试者施用所选择的治疗方案。在一些实施方案中，该方法还包括在施用治疗方案之后的某个时间获得受试者的度量数据，并且任选地将最初获得的度量数据与后续获得的度量数据进行比较，确定所施用的治疗方案的功效。在一些实施方案中，该方法还包括至少部分地基于针对受试者获得的初始度量数据和后续度量数据的比较结果，重复、增加或减少向受试者施用所选择的治疗方案。在一些实施方案中，该方法还包括将所获得的度量数据与对照度量数据进行比较。在一些实施方案中，该疾病或病症是：神经退行性障碍、神经肌肉障碍、神经精神障碍、ALS、孤独症、唐氏综合征、雷特综合征、双相情感障碍、痴呆、抑郁症、多动性障碍、焦虑性障碍、发育障碍、睡眠障碍、阿尔茨海默病、帕金森氏病、物理性损伤，等等。可以使用本发明的方法和/或系统评估的另外的疾病和障碍以及动物模型在本领域中是已知的，参见例如：Barrot M.Neuroscience 2012；211:39-50；Graham,D.M.,Lab Anim(NY)2016；45:99-101；Sewell,R.D.E.,Ann Transl Med 2018；6:S42，2019/01/08；以及Jourdan,D.等人，Pharmacol Res 2001；43:103-110。

根据本发明的另一方面，提供了一种将受试者识别为疾病或病症的动物模型的方法，该方法包括获得受试者的度量数据，其中用于获得受试者的度量数据的手段包括本发明的前述方法或系统的任何一个实施方案中的计算机生成的方法，并且至少部分地基于所获得的度量数据，确定受试者的疾病或病症的一个或多个特征，其中受试者中存在疾病或病症的一个或多个特征将该受试者识别为疾病或病症的动物模型。在一些实施方案中，该方法还包括对受试者进行额外的评估。在一些实施方案中，该疾病或病症是：神经退行性障碍、神经肌肉障碍、神经精神障碍、ALS、孤独症、唐氏综合征、雷特综合征、双相情感障碍、痴呆、抑郁症、多动性障碍、焦虑性障碍、发育障碍、睡眠障碍、阿尔茨海默病、帕金森氏病、物理性损伤，等等。在一些实施方案中，该方法还包括将所获得的度量数据与对照度量数据进行比较，并且识别所获得的度量数据和对照度量数据中的一个或多个相似之处或差异，其中所识别的相似之处或差异有助于将受试者识别为疾病或病症的动物模型。

根据本发明的另一个方面，提供了一种确定候选化合物对疾病或病症存在效果的方法，该方法包括：获得受试者的第一度量数据，其中用于获得受试者的第一度量数据的手段包括本发明的前述计算机生成方面的任何实施方案中的计算机生成的方法，并且其中该受试者患有疾病或病症，或者是疾病或病症的动物模型；向受试者施用候选化合物；获得生物体的施用后度量数据；将第一度量数据和施用后度量数据进行比较，其中第一度量数据和施用后度量数据的差异识别出候选化合物对疾病或病症的效果。在一些实施方案中，该方法还包括另外测试该化合物在治疗疾病或病症中的效果。

根据本发明的另一个方面，提供了一种识别候选化合物对疾病或病症存在效果的方法，该方法包括：向患有该疾病或病症的受试者或者为该疾病或病症的动物模型的受试者施用该候选化合物；获得受试者的度量数据，其中用于获得受试者的度量数据的手段包括本发明的前述计算机生成方面的任何实施方案中的计算机生成的方法；将所获得的度量数据与对照度量数据进行比较，其中所获得的度量数据和对照度量数据的差异识别出候选化合物对疾病或病症存在效果。

根据本发明的另一个方面，提供了一种系统，该系统包括：至少一个处理器；以及包括以下指令的至少一个存储器，这些指令在由至少一个处理器执行时，使得该系统：接收表示受试者的视频捕捉运动的视频数据；处理该视频数据，以识别在一个时间段内跟踪受试者的一组身体部位的运动的点数据；使用该点数据确定在该时间段期间在视频数据中表示的多个支撑相和对应的多个摆动相；基于多个支撑相和多个摆动相，确定在该时间段期间在视频数据中表示的多个步幅间隔；使用该点数据确定受试者的度量数据，该度量数据基于多个步幅间隔中的每个步幅间隔；将受试者的度量数据与对照度量数据进行比较；以及基于该比较，确定受试者的度量数据与对照度量数据之间的差异。在一些实施方案中，这组身体部位包括鼻部、颈基部、脊柱中部、左后爪、右后爪、尾根、尾中部和尾尖；并且其中多个支撑相和多个摆动相是基于左后爪和右后爪的移动速度的变化来确定的。在某些实施方案中，至少一个存储器还包括以下指令，这些指令在由至少一个处理器执行时，进一步使得该系统：基于左后爪或右后爪的脚尖离地事件，确定从多个支撑相中的第一支撑相到多个摆动相中的第一摆动相的转变；以及基于左后爪或右后爪的脚掌触地事件，确定从多个摆动相中的第二摆动相到多个支撑相中的第二支撑相的转变。在某些实施方案中，度量数据对应于受试者在每个步幅间隔期间的步态测量结果。在一些实施方案中，这组身体部位包括左后爪和右后爪，并且其中使得系统确定度量数据的指令进一步使得该系统：使用点数据确定每个步幅间隔中的步长，该步长表示右后爪越过前一次左后爪触地位置所行进的距离；使用点数据确定用于每个步幅间隔的步幅长度，该步幅长度表示左后爪在每个步幅间隔期间行进的距离；使用点数据确定每个步幅间隔中的步宽，该步宽表示左后爪与右后爪之间的距离。在一些实施方案中，这组身体部位包括尾根，并且其中使得系统确定度量数据的指令进一步使得系统：使用点数据，基于每个步幅间隔中尾根的运动，确定受试者的速度数据。在某些实施方案中，这组身体部位包括尾根，并且其中使得系统确定度量数据的指令进一步使得系统：使用点数据，基于在表示多个步幅间隔中的一个步幅间隔的一组帧期间尾根的运动，确定受试者的一组速度数据；以及通过对这组速度数据求平均值，来确定步幅间隔中的步幅速度。在某些实施方案中，这组身体部位包括右后爪和左后爪，并且其中使得系统确定度量数据的指令进一步使得系统：使用点数据确定第一支撑持续时间，该第一支撑持续时间表示在多个步幅间隔中的一个步幅间隔期间右后爪接触地面的时间量；基于第一支撑持续时间和步幅间隔持续时间确定第一占空因数；使用点数据确定第二支撑持续时间，该第二支撑持续时间表示在步幅间隔期间左后爪接触地面的时间量；基于第二支撑持续时间和步幅间隔持续时间确定第二占空因数；以及基于第一占空因数和第二占空因数确定步幅间隔的平均占空因数。在一些实施方案中，这组身体部位包括尾根和颈基部，并且其中使得系统确定度量数据的指令进一步使得系统：使用点数据，在表示多个步幅间隔中的一个步幅间隔的一组帧期间，确定连接尾根和颈基部的一组向量；以及使用这组向量来确定步幅间隔中受试者的角速度。在一些实施方案中，度量数据对应于受试者在每个步幅间隔期间的姿态测量结果。在一些实施方案中，这组身体部位包括受试者的脊柱中心，其中多个步幅间隔中的一个步幅间隔与视频数据的一组帧相关联，并且其中使得系统确定度量数据的指令进一步使得系统使用点数据来确定步幅间隔中的位移向量，该位移向量连接这组帧的第一帧中表示的脊柱中心和这组帧的最后一帧中表示的脊柱中心。在某些实施方案中，这组身体部位还包括受试者的鼻部，并且其中使得系统确定度量数据的指令进一步使得系统：使用点数据，基于这组帧的每一帧中鼻部距位移向量的垂直距离，确定步幅间隔中鼻部的一组侧向位移。在一些实施方案中，鼻部的侧向位移还基于受试者的体长。在一些实施方案中，使得系统确定度量数据的指令进一步使得系统通过以下方式确定尾尖位移相偏移：使用这组鼻部侧向位移执行插值，以生成步幅间隔中鼻部的平滑曲线侧向位移；使用鼻部的平滑曲线侧向位移来确定在步幅间隔期间鼻部的最大位移何时出现；以及确定表示当鼻部发生最大位移时完成的步幅间隔的百分比的步幅位置百分比。在某些实施方案中，这组身体部位还包括受试者的尾根，并且其中使得系统确定度量数据的指令进一步使得系统：使用点数据，基于这组帧的每一帧中尾根距位移向量的垂直距离，确定步幅间隔中尾根的一组侧向位移。在一些实施方案中，使得系统确定度量数据的指令进一步使得系统通过以下方式确定尾根位移相偏移：使用这组尾根侧向位移执行插值，以生成步幅间隔中尾根的平滑曲线侧向位移；使用尾根的平滑曲线侧向位移来确定在步幅间隔期间尾根的最大位移何时出现；以及确定表示当尾根发生最大位移时完成的步幅间隔的百分比的步幅位置百分比。在某些实施方案中，这组身体部位还包括受试者的尾尖，并且其中使得系统确定度量数据的指令进一步使得系统：使用点数据，基于这组帧的每一帧中尾尖距位移向量的垂直距离，确定步幅间隔中尾尖的一组侧向位移。在一些实施方案中，使得系统确定度量数据的指令进一步使得系统通过以下方式确定尾尖位移相偏移：使用这组尾尖侧向位移执行插值，以生成步幅间隔中尾尖的平滑曲线侧向位移；使用尾尖的平滑曲线侧向位移来确定在步幅间隔期间尾尖的最大位移何时出现；以及确定表示当尾尖发生最大位移时完成的步幅间隔的百分比的步幅位置百分比。在某些实施方案中，使得系统处理视频数据的指令进一步使得系统使用机器学习模型来处理视频数据。在一些实施方案中，使得系统处理视频数据的指令进一步使得系统使用神经网络模型来处理视频数据。在一些实施方案中，视频用自上而下视图捕捉旷场中的受试者的由受试者确定的运动。在某些实施方案中，对照度量数据是从一个或多个对照生物体获得的。在一些实施方案中，受试者是生物体，对照生物体和受试者生物体是同一物种。在一些实施方案中，该物种是啮齿目的成员，任选地是大鼠或小鼠。在某些实施方案中，对照生物体是该物种的实验室品系。在某些实施方案中，实验室品系是图14E中列出的一种品系。在一些实施方案中，受试者度量数据相比对照度量数据的统计学显著差异表明受试者表型相比对照生物体表型的差异。在一些实施方案中，表型差异表明受试者中存在疾病或病症。在某些实施方案中，表型差异表明受试者的遗传背景与对照生物体的遗传背景之间的差异。在一些实施方案中，受试者度量数据相比对照度量数据的统计学显著差异表明受试者的基因型相比对照生物体的基因型的差异。在一些实施方案中，基因型差异表明受试者与对照生物体之间的品系差异。在一些实施方案中，基因型差异表明受试者中存在疾病或病症。在某些实施方案中，该疾病或病症是雷特综合征、唐氏综合征、肌萎缩侧索硬化症(ALS)、孤独症谱系障碍(ASD)、精神分裂症、双相情感障碍、神经退行性障碍、痴呆或脑损伤。在某些实施方案中，对照生物体和受试者生物体性别相同。在一些实施方案中，对照生物体和受试者生物体性别不同。在一些实施方案中，对照度量数据对应于包括以下项在内的要素：对照步幅长度、对照步长和对照步宽，其中受试者的度量数据所包括的要素包括：受试者在该时间段期间的步幅长度、受试者在该时间段期间的步长，以及受试者在该时间段期间的步宽，并且其中对照数据和度量数据的一个或多个要素之间的差异表示受试者与对照之间的表型差异。

附图说明

为了更完整地理解本公开，现在参考结合附图作出的以下描述。

图1是根据本公开实施方案的用于确定受试者的步态和姿势度量数据的示例系统的概念图。

图2是展示根据本公开实施方案的示例过程的流程图，该过程可以由图1所示的系统执行，用于分析受试者的视频数据以确定受试者的步态和姿势度量。

图3是展示根据本公开实施方案的示例过程的流程图，该过程可以由图1所示的点跟踪器部件执行，用于跟踪视频数据中的受试者身体部位。

图4是展示根据本公开实施方案的示例过程的流程图，该过程可以由图1所示的系统执行，用于确定步幅间隔。

图5是展示根据本公开实施方案的示例过程的流程图，该过程可以由图1所示的步态分析部件执行，用于确定受试者步态度量。

图6是展示根据本公开实施方案的示例过程的流程图，该过程可以由图1所示的姿态分析部件执行，用于确定受试者姿态度量。

图7A至图7C示出了展示用于姿态估计的深度卷积神经网络的示意图和图表。图7A示出了用于执行姿态估计的HRNet-W32神经网络架构。图7B示出了将视频帧发送到HRNet中并生成12个关键点热图作为输出的推断流水线。图7C呈现的训练损失曲线示出了没有过度拟合的网络收敛。

图8A至图8J示出了展示从视频姿态估计导出步态表型的示意图和图表。图8A至图8B示出了步态的空间和时间特征(基于来自Green等人，Dev Med Child Neurol(2009)51:311的附图)。图8A是示出如何从后爪脚掌触地位置导出以下三个空间步幅度量的图示：步长、步宽和步幅长度。图8B是Hildebrand图，其中该图中示出的所有度量都以步幅时间百分比为单位。这说明了脚掌触地事件和脚尖离地事件与步幅的支撑相和摆动相之间的关系。图8C示出了输入视频的单个帧，其中绘制了过去50帧和未来50帧的后爪轨迹。后脚掌触地事件的位置用黑色圆圈表示。这三条线中，最外侧线是右后爪，居中线是尾根，最内侧线是左后爪。图8D至图8F示出的三个坐标图展示了小鼠在同一个100帧间隔中的运动的不同方面。居中的垂直线表示当前帧(显示在图8C中)。图8D示出了指示左后爪、右后爪和尾根的速度的三条线。该坐标图中的垂直黑线表示每个步幅的推断开始帧。图8G展示了被估计的12个点中的每个点的置信度值分布。图8H提供了根据角速度分箱的后爪Hildebrand图的聚合视图。图8I示出了与图8H类似的结果，不同的是按速度分箱。图8J展示了肢体占空因数作为速度的函数所发生的变化。

图9A至图9I提供了展示在步态周期中提取周期性全身姿势度量的示意图和图表。几个度量与在姿态关键点中观察到的周期性侧向位移有关。侧向位移的测量结果被定义为相对于相关步幅位移向量的正交偏移。位移向量被定义为连接步幅的第一帧上小鼠的脊椎中心到步幅的最后一帧上小鼠的脊椎中心的线。在步幅的每一帧计算该偏移，然后进行三次插值，以便生成平滑的位移曲线。位移的相偏移被定义为在该平滑曲线上出现最大位移处的步幅位置百分比。分配给步幅的侧向位移度量是在步幅期间观察到的最大位移值与最小位移值之间的差值。测量尾尖的侧向位移(图9A)和鼻部的侧向位移(图9B)。还可以在群组内的许多步幅上对位移进行平均以形成一致视图，诸如(图9D)C57BL/6J对(图9E)NOR/LtJ，或者在个体内对许多步幅进行平均：(图9F)C57BL/6J对(图9G)NOR/LtJ。在图9H和图9I中，示出了从品系调查中选择的一组品系之间的侧向位移的多样性。这两个坐标图的浅色(半透明)带表示每个相应品系的均值的95％置信区间。

图10A至图10E示出了表明步态突变体的遗传验证的结果。图10A示出了从针对体长和年龄进行调整的线性混合效应模型和循环-线性模型获得的q值(左)和效应大小(右)。在图10B中，对速度分布的核密度估计值和累积分布函数进行了比较，以测试对照与突变体之间的步幅速度差异。在图10C中，使用分别针对体长和年龄进行调整的线性模型和线性混合模型比较了对照与突变体之间的总覆盖距离和速度差异。图10D展示了被发现对于线性混合效应模型不同的体长调整步态度量结果。图10E示出了Ts65Dn品系的鼻部和尾尖的侧向位移结果。实线表示步幅的平均位移，而浅色(半透明)带提供平均值的95％置信区间。

图11A至图11F提供了展示孤独症突变体的遗传验证的表格和图形。图11A示出了从用于线性表型的模型M1和用于循环表型的循环-线性模型获得的q值(左)和效应大小(右)。图11B示出了从用于线性表型的模型M3和用于循环表型的循环-线性模型获得的q值(左)和效应大小(右)。在图11C中，使用分别针对体长和年龄进行调整的线性模型和线性混合模型比较了对照与突变体之间的总覆盖距离和速度差异。在所示的每一对中，左边的数据是对照的数据，右边的数据是突变体的数据。图11D示出了被发现对于线性混合效应模型不同的体长调整步态度量。图11E展示了使用前两个主成分来构建其中对照和突变体被最佳分离的多维空间的2D表示。图11F示出了ASD模型中速度的累积分布。上面的曲线是对照，下面的曲线是突变体。Cntnap2、Fmr1、Del4Aam的步幅速度较低，而Shank3的步幅速度较高。

图12A至图12E示出了测试品系的结果。在图12A中，每个箱线图对应于一个品系，且垂直位置指示针对体长进行调整的步幅长度残差。品系按它们的中值步幅长度残差值排序。图12B示出了由聚类成员编码的所有品系颜色的体长调整步态度量的z分数(参见图12C)。图12C示出了使用K-均值算法，采用前两个主成分构建其中品系被最佳分离的多维空间的2D表示。右上区域是聚类1，下部区域是聚类2，所示出的左上区域是聚类3。图12D提供了跨这些聚类的鼻部和尾尖的侧向位移一致视图。实线表示步幅的平均位移，而半透明带提供平均值的95％置信区间。图12E是概括跨不同聚类的步态度量残差的聚类后坐标图。在每组三个聚类中，左侧是聚类1，中间是聚类2，右侧是聚类3。

图13A至图13D提供了步态表型的GWAS结果。图13A提供了每个表型的遗传性估计值的均值(左)和方差(右)。图13B至图13D提供了以下项的曼哈顿图：所有均值表型(图13B)、方差表型(图13C)，以及所有这些表型的组合(图13D)；颜色对应于单核苷酸多态性(SNP)的p值最低的表型。

图14A至图14D提供了在本发明的某些实施方式中所使用的动物品系列表。图14A示出了步态突变体的对照品系和官方识别品系。图14B示出了孤独症突变体的对照品系和官方识别品系。图14C示出了汇总实验中动物的体长和体重的表格。图14D提供了汇总用于品系调查研究的动物的列表。

图15A至图15E提供了热图、曲线和坐标图。图15A是汇总从模型M3：表型～基因型+测试年龄+速度+体长+(1|小鼠ID/测试年龄)获得的效应大小和q值的热图。图15B示出了所有品系的速度的核密度曲线(左)和累积密度曲线(右)。图15C是示出不同步态突变体品系的体长与性别之间的正相关的坐标图。在每对结果中，对照在左侧，突变体在右侧。图15D示出了Mecp2步态突变体的肢体占空因数和步长的体长(M1)、速度(M2)、体长和速度(M3)调整残差。图15E示出了Mecp2步态突变体的步宽和步幅长度的体长(M1)、速度(M2)、体长和速度(M3)调整残差。

图16A至图16E提供了热图、曲线和坐标图。图16A是汇总从模型M2：表型～基因型+测试年龄+速度+(1|小鼠ID/测试年龄)获得的效应大小和q值的热图。图16B示出了所有品系的速度的核密度曲线。图16C是示出不同步态突变体品系的体长与性别之间的正相关的坐标图。在每对结果中，对照在左侧，突变体在右侧。图16D示出了Shank3孤独症突变体的步长和步幅长度的体长(M1)、速度(M2)、体长和速度(M3)调整残差。图16E示出了Del4Aam孤独症突变体的步长和步幅长度的体长(M1)、速度(M2)、体长和速度(M3)调整残差。在示出的每对结果中，对照在左侧，突变体在右侧。

图17A至图17F示出了在品系调查中跨62个品系进行比较的体长调整表型结果。箱线图相对于中值测量结果从左到右按升序显示。每个小图片(图17A至图17F)对应于不同的步态表型。

图18A至图18E示出了在品系调查中跨62个品系进行比较的体长调整表型结果。箱线图相对于中值测量结果从左到右按升序显示。每个小图片(图18A至图18E)对应于不同的步态表型。

图19提供的列表汇总了从模型M1、M2、M3获得的所有表型和步态品系的效应大小和FDR调整p值。

图20提供的列表汇总了从模型M1、M2、M3获得的所有表型和孤独症品系的效应大小和FDR调整p值。

图21A至图21D示出了品系调查数据中的三个最佳聚类。检查了30个聚类指数，以选择最佳聚类数(Bates等人，J Stat Softw(2015)67:1)。图21A示出了指示品系调查数据中可能有2或3个聚类的主要量度。选择最佳聚类数的一个主要标准是使聚类间距离最大化，同时保持聚类内距离较小。为此，检查了平方和内(WSS)(图21B中所示)；Calinski-Harabasz(CH)指数(图21C中所示)[Calinski,T.和Harabasz，Communications inStatistics-theory and Methods 3,1-27(1974)]；以及间隙统计值[Tibshirani,R.等人，Journal of the Royal Statistical Society:Series B(Statistical Methodology)63,411-423(2001)](图21D中所示)对比所采用的聚类数的关系。这些都表明3个聚类是最佳选择。

图22示出了步态和姿势表型的显著GWAS命中表。该信息包括显示数量性状基因座(QTL)峰值SNP、QTL峰值SNP位置、QTL起始位置、QTL终止位置等位基因1、等位基因2、等位基因1频率、pwald、蛋白质编码基因和发现其中QTL显著的组的研究结果。

图23是概念性地展示根据本公开实施方案的设备的示例部件的框图。

图24是概念性地展示根据本公开实施方案的服务器的示例部件的框图。

具体实施方式

本发明部分地包括一种方法，其用于处理视频数据以首先跟踪受试者的身体部位、确定表示步态度量和姿势度量的数据，然后执行统计分析以确定与对照的任何差异/偏差。本发明的方法和系统提供了一种可靠且可扩展的自动化系统，其用于提取步态水平特征和姿势水平特征，显著降低了与神经遗传学行为实验相关联的时间和劳动成本，还降低了此类实验中的可变性。

分析人类和动物的运动(包括步态)在过去有很多故事。亚里士多德是运用物理学和形而上学原理撰写关于动物运动和步态的哲学论著的第一人。文艺复兴时期，博雷利将物理学和生物力学的定律应用于全身的肌肉、肌腱和关节，以理解步态。成像技术在步态研究中的首次应用归功于迈布里奇和马雷的工作，他们拍摄了运动中的人类和动物的连续摄影图像，以便获得步态的定量测量结果。现代动物步态分析方法归功于希尔德布兰特，他在20世纪70年代根据量化指标对步态进行了分类。他根据肢体与地面的接触定义了步态周期(支撑相和摆动相)。从根本上说，此概念在过去的40年中一直未变：尽管当前的小鼠步态分析方法提高了迈布里奇和马雷成像方法的效率，但这些方法基本上仍然还是基于肢体接触地面的时间安排。这与对人类步态和姿势的分析形成对比，后者自博雷利时代以来一直聚焦于身体姿势，类似于全身运动的量化，而不仅仅是与地面的接触。小鼠与人类之间的这种差异可能部分是由于难以自动估计啮齿动物的姿势，啮齿动物由于其毛皮而表现为可变形的物体，这使得关节位置模糊不清。此外，与人类不同，小鼠的某些部位无法轻易地通过用可穿戴设备标记来定位。在啮齿动物中，最近的方法已经在确定全身协调性方面取得了进展，然而，这些方法仍然需要专业化装备并迫使动物在走廊或跑台或者狭窄的走廊中以固定的方向行走，以便适当成像并精确地确定肢体位置。这是高度不自然的，并且动物通常需要训练来正确地表现这种行为，从而限制了这种类型的测定与人类步态相关的使用。从侧面成像会导致透视障碍，通过将动物的运动限制在一个景深处可以克服这种障碍。此外，在动物排便和排尿时，或者当存在垫料时，所产生的遮挡使得从这个角度进行长期监测不切实际。事实上，动物可以自由运动的行为学相关步态数据经常产生与基于跑台的测定不同的结果。此外，用于步态分析的基于跑台或走廊的商业系统通常产生过多的测量结果，这些测量结果显示了相同动物模型的不同结果。利用封闭的专有系统来确定这些差异的确切原因具有挑战性。因此，目前缺少一种易于实施和可广泛实施的工具来测量自由运动动物的步态和姿势。

旷场测定是行为神经遗传学中最古老和最常用的测定之一。在啮齿动物中，旷场测定典型地用于测量与情绪相关联的内表型，其中情绪诸如啮齿动物的过度活跃、焦虑、探索和习惯化。对于基于视频的旷场测定，丰富而复杂的动物运动行为被抽象为单点，以便提取行为测量结果。这种过度简化的抽象是必要的，主要是因为技术局限阻止了从视频数据中精确提取复杂的姿态。新技术有克服这种局限的潜力。步态是神经功能的一个重要指标，在旷场中，主要由于当动物自由运动时确定肢体位置存在技术方面的困难，所以一般不用常规系统来分析。将旷场测量结果与步态和姿势分析相结合的能力将提供以行为学相关方式对动物行为进行神经和遗传调节的关键见解。本公开的发明内容利用现代机器学习模型(诸如神经网络)在旷场中对受试者的步态和姿势进行分析。本发明涉及从自上而下的视角测量步态和全身姿势参数的系统和方法，从该视角来看，在受试者(诸如小鼠)中看到的高水平视觉多样性(包括毛色、皮毛差异和大小差异)是不变的。总而言之，本发明提供了一种灵敏、准确且可扩展的系统，该系统可以检测疾病和病症的小鼠模型中先前未描述过的步态和姿势差异。

本公开涉及用于步态和姿势分析的技术，其包括几个模块化部件，在一些实施方案中，其中一个模块化部件是神经网络(例如，深度卷积神经网络)，该神经网络已经被训练成使用旷场的自上而下视频来执行姿态估计。神经网络可以为描述受试者在每个时间点的姿态的每个视频帧提供受试者解剖位置(也称为“关键点”)的多个二维标记(在一些实施方案中，12个这样的标记)。这些模块化部件中的另一个模块化部件可能能够处理姿态的时间序列，并且识别表示个体步幅的间隔。这些模块化部件中的另一个模块化部件可能能够在每个步幅的基础上提取几个步态度量，而另一个模块化部件则可能能够提取几个姿势度量。最后，另一个模块化部件可以被配置为对步态度量和姿势度量执行统计分析，还能够聚集大量数据，以便提供受试者步态结构的一致视图。

本公开的系统100可以使用如图1所展示的各种部件来操作。系统100可以包括通过一个或多个网络199连接的图像捕捉设备101、设备102和一个或多个系统150。图像捕捉设备101可以是另一个设备(例如，设备1600)的一部分、被包括在另一个设备中，或者连接到另一个设备，并且可以是相机、高速摄像机或者能够捕捉图像和视频的其他类型的设备。除了图像捕捉设备之外或者代替图像捕捉设备，设备101可以包括运动检测传感器、红外传感器、温度传感器、大气状况检测传感器，以及被配置为检测各种特性/环境状况的其他传感器。设备102可以是膝上型计算机、台式计算机、平板计算机、智能手机或其他类型的计算设备，并且可以包括下文结合设备1600描述的一个或多个部件。

图像捕捉设备101可以捕捉对其进行福尔马林测定的一个或多个受试者的视频(或者一个或多个图像)，并且可以将表示该视频的视频数据104发送到系统150用于如本文所述的处理。系统150可以包括图1所示的一个或多个部件，并且可以被配置为处理视频数据104以确定受试者随时间推移的步态和姿势行为。系统150可以确定表示受试者步态和/或姿势与对照步态和/或姿势的一个或多个差异的差异数据148。差异数据148可以被发送到设备102，以输出给用户来观察视频数据104的处理结果。

下文描述了系统150的多个部件的细节。各种部件可以位于相同或不同的物理设备上。各种部件之间的通信可直接发生或跨网络199发生。设备101、系统150与设备102之间的通信可以直接发生或者通过网络199发生。被示为系统150的一部分的一个或多个部件可以位于设备102或者连接到图像捕捉设备101的计算设备(例如，设备1600)处。在一个示例实施方案中，系统150可以包括点跟踪器部件110、步态分析部件120、姿势分析部件130和统计分析部件140。在其他实施方案中，系统150可以包括比图1所示更少或更多的部件，以执行与如下所述相同或相似的功能。

图2是展示根据本公开实施方案的示例过程200的流程图，该过程可以由图1所示的系统100执行，用于分析受试者的视频数据104以确定步态和姿势度量。在高层次上，过程200开始于图像捕捉设备101记录受试者运动的视频。在一些实施方案中，视频数据104是受试者的自上而下透视图。在一些实施方案中，受试者可以位于具有旷场的围笼中，例如，没有跑台、隧道等来以特定方式引导受试者。这允许观察受试者而不必训练受试者来表现某些运动，诸如在跑台上行走或在隧道内移动。在步骤202处，系统150可以从图像捕捉设备101(或者连接到图像捕捉设备101或者其中包括图像捕捉设备101的设备1600)接收视频数据104。在步骤204处，系统150的点跟踪器部件110可以处理视频数据104以确定点数据112。点数据112可以表示在视频数据104中表示的一个时间段内跟踪一组受试者身体部位的运动的数据。关于点跟踪器部件110的进一步细节将在下文参考图3来描述。在步骤206处，系统150的步态分析部件120可以处理点数据112以确定度量数据122。度量数据122可以表示受试者的步态度量。关于步态分析部件120的进一步细节将在下文参考图4来描述。在步骤208处，系统150的姿势分析部件130可以处理点数据112以确定度量数据132。度量数据132可以表示受试者的姿势度量。关于姿势分析部件130的进一步细节将在下文参考图5来描述。在一些实施方案中，步骤208可以在步骤206之前执行。在一些实施方案中，步骤206和208可以并行执行，例如，步态分析部件120可以处理点数据112，而姿势分析部件130正在处理点数据112。在一些实施方案中，取决于系统配置，可以仅执行步骤206和208中的一者。例如，在一些实施方案中，系统150可以被配置为仅确定步态度量，因此，步态分析部件120可以仅执行步骤206。又如，在一些实施方案中，系统150可以被配置为仅确定姿势度量，因此，步态分析部件120可以仅执行步骤208。在步骤210处，系统150的统计分析部件140可以处理度量数据122、度量数据132和对照数据144，以确定差异数据148。关于统计分析部件140的进一步细节将在下文描述。

图3是展示根据本公开实施方案的示例过程300的流程图，该过程可以由点跟踪器部件110执行，用于跟踪视频数据104中的受试者身体部位。在步骤302处，点跟踪器部件110可以使用机器学习模型来处理视频数据104，以定位受试者身体部位。在步骤304处，点跟踪器部件110可以基于使用机器学习模型处理视频数据104来生成受试者身体部位的热图。点跟踪器部件110可以使用机器学习模型来估计受试者身体部位在视频数据104的某个视频帧内出现之处的二维像素坐标。点跟踪器部件110可以生成估计一个受试者身体部位在一个视频帧内的位置的热图。例如，点跟踪器部件110可以生成第一热图，在这种情况下，该热图中的每个单元可以对应于该视频帧内的一个像素，并且可以表示第一受试者身体部位(例如，右前爪)位于该相应像素处的可能性。继续描述该实例，点跟踪器部件110可以生成第二热图，其中每个单元可以表示第二受试者身体部位(例如，左前爪)位于该相应像素处的可能性。在步骤306处，点跟踪器部件110可以使用所生成的热图来确定点数据112。具有最高值/最大值的热图单元可以标识相应受试者身体部位在该视频帧内所处位置的像素坐标。

点跟踪器部件110可以被配置为定位图像或视频中被识别为关键点的一组受试者身体部位的二维坐标。在一些实施方案中，这组受试者身体部位可以是预定义的，并且可以基于哪些关键点是视觉上突出的，诸如耳朵或鼻部，以及/或者哪些关键点捕捉了用于分析受试者的步态和姿势的重要信息，诸如四肢关节或爪子。在一个示例实施方案中，这组受试者身体部位可以包括12个关键点。在其他实施方案中，这组受试者身体部位可以包括少于或多于12个关键点。在一个示例实施方案中，这组受试者身体部位可以包括：鼻部、左耳、右耳、颈基部、左前爪、右前爪、脊柱中部、左后爪、右后爪、尾根、尾中部和尾尖(如图7B所展示)。

点跟踪器部件110可以实施一种或多种姿态估计技术。点跟踪器部件110可以包括被配置为处理视频数据104的一种或多种机器学习模型。在一些实施方案中，一种或多种机器学习模型可以是神经网络，诸如深度神经网络、深度卷积神经网络、递归神经网络等。在其他实施方案中，一种或多种机器学习模型可以是除神经网络外的其他类型的模型。点跟踪器部件110可以被配置为以高准确度和精确度确定点数据112，因为度量数据122、132可能对点数据112中的误差敏感。点跟踪器部件110可以实现在整个机器学习模型堆栈中维持高分辨率特征的架构，从而保持空间精度。在一些实施方案中，点跟踪器部件110架构可以包括一个或多个转置卷积，以引起热图输出分辨率与视频数据104分辨率之间的匹配。点跟踪器部件110可以被配置为以接近实时的速度确定点数据112，并且可以运行高处理能力的GPU。点跟踪器部件110可以被配置为使得可以容易地进行修改和扩展。在一些实施方案中，点跟踪器部件110可以被配置为以固定比例生成推断，而不是以多个比例进行处理，从而节省计算资源和时间。

在一些实施方案中，视频数据104可以跟踪一个受试者的运动，点跟踪器部件110可以不被配置为执行任何对象检测技术/算法。在其他实施方案中，视频数据104可以跟踪多于一个受试者的运动，点跟踪器部件110可以被配置为执行对象检测技术，以从视频数据104内将一个受试者从另一个受试者识别出来。

在一些实施方案中，点跟踪器部件110可以生成多个热图，每个热图表示对代表一个受试者身体部位的一个关键点位于视频数据104的一个帧内的哪个位置的推断。在一个实例中，视频数据104可以具有480×480帧，点跟踪器部件110可以生成12个480×480的热图。每个热图中的最大值可以表示每个相应关键点的最高置信度位置。在一些实施方案中，点跟踪器部件110可以取12个热图中的每个热图的最大值，并将其作为点数据112输出，因此，点数据112可以包括12个(x,y)坐标。

在一些实施方案中，可以针对损失函数(例如，以相应关键点为中心的高斯分布)来训练点跟踪器部件110。点跟踪器部件110的神经网络的输出可以与以关键点为中心的高斯分布进行比较，并且可以将损失计算为相应关键点与由点跟踪器部件110生成的热图之间的均方差。在一些实施方案中，可以使用优化算法(例如，随机梯度下降优化算法)来训练点跟踪器部件110。可以使用具有不同身体特征(诸如，不同的毛色、不同的体长、不同的身体大小等)的受试者的训练视频数据来训练点跟踪器部件110。

点跟踪器部件110可以根据受试者身体部位在受试者身体上的位置，以不同的置信度水平估计给定的关键点。例如，可以用比前爪位置更高的置信度来估计后爪位置，因为在自上而下视角中，前爪可能比后爪更经常被遮挡。在另一个实例中，视觉上突出的身体部位(如脊柱中心)可能具有较低的置信度，因为点跟踪器部件110准确地定位该身体部位可能更加困难。

现在参见步态分析部件120和姿势分析部件130。如本文所用，步态度量可以指从受试者的爪子运动得到的度量。步态度量可以包括但不限于步宽、步长、步幅长度、速度、角速度和肢体占空因数。如本文所用，姿势度量可以指从受试者全身的运动得到的度量。在一些实施方案中，姿势度量可以基于受试者鼻部和尾巴的运动。姿势度量可以包括但不限于鼻部的侧向位移、尾根的侧向位移、尾尖的侧向位移、鼻部侧向位移相偏移、尾根位移相偏移和尾尖位移相偏移。

步态分析部件120和姿势分析部件130可以在每个步幅的基础上确定步态度量和姿势度量中的一者或多者。系统150可以确定在视频数据104的视频帧中表示的步幅间隔。在一些实施方案中，步幅间隔可以基于支撑相和摆动相。图4是展示示例过程400的流程图，该过程可以由步态分析部件120和/或姿势分析部件130执行，以确定一组用于分析的步幅间隔。

在示例实施方案中，用于检测步幅间隔的方法基于步态的周期结构。在一个步幅周期中，每只爪子均可以具有支撑相和摆动相。在支撑相期间，受试者的爪子支撑受试者的重量，并且与地面静态接触。在摆动相期间，爪子向前移动，不支撑受试者的重量。从支撑相转变到摆动相在本文中称为脚尖离地事件，从摆动相转变到支撑相在本文中称为脚掌触地事件。图8A至图8C展示了示例支撑相、示例摆动相、示例脚尖离地事件和示例脚掌触地事件。

在步骤402处，系统150可以确定在一个时间段中表示的多个支撑相和摆动相。在一个示例实施方案中，可以针对受试者的后爪确定支撑相和摆动相。系统150可以计算爪子速度，当该速度降到低于阈值时可以推断爪子处于支撑相，当该速度超过阈值时可以推断爪子处于摆动相。在步骤404处，系统150可以确定脚掌触地事件出现在发生从摆动相到支撑相的转变的视频帧处。在步骤406处，系统150可以确定在该时间段中表示的步幅间隔。步幅间隔可以跨越视频数据104的多个视频帧。例如，系统150可以确定10秒时间段有5个步幅间隔，并且这5个步幅间隔之一在视频数据104的5个连续视频帧中表示。在一个示例实施方案中，左后脚掌触地事件可以被定义为分隔/区分这些步幅间隔的事件。在另一个示例实施方案中，右后脚掌触地事件可以被定义为分隔/区分这些步幅间隔的事件。在又一个示例实施方案中，左后脚掌触地事件和右后脚掌触地事件的组合可以用于定义单独的步幅间隔。在一些其他实施方案中，系统150可以确定前爪的支撑相和摆动相，可以基于前爪计算爪速度，并且可以基于右前爪和/或左前爪脚掌触地事件区分步幅间隔。在一些其他实施方案中，从支撑相到摆动相的转变(脚尖离地事件)可以用于分离/区分步幅间隔。

在一些实施方案中，由于前爪的关键点推断质量(由点跟踪器部件110确定)在一些情况下置信度低，所以基于后脚掌触地事件而不是前爪触地事件来确定步幅间隔可能是优选的。这可能是因为从自上而下视图来看，前爪比后爪更经常被遮挡，所以前爪更难以准确定位。

在步骤408处，系统150可以对确定的步幅间隔进行过滤，以确定使用哪些步幅间隔来确定度量数据122、132。在一些实施方案中，这种过滤可以去除虚假或低置信度的步幅间隔。在一些实施方案中，用于去除步幅间隔的标准可以包括但不限于：关键点估计值置信度低、关键点估计值在生理上不切实际、右后爪触地事件缺失，以及受试者的全身速度不足(例如，速度低于10cm/s)。

在一些实施方案中，对步幅间隔的过滤可以基于在确定用于确定步幅间隔的关键点时的置信度水平。例如，可以从用于确定度量数据122、132的这组步幅间隔中去除确定置信度水平低于阈值的步幅间隔。在一些实施方案中，在连续的步幅序列中去除第一个步幅和最后一个步幅，以避免开始行为和停止行为向待分析的数据中添加噪声。例如，包含7个步幅的序列将最多包含5个步幅来用于分析。

系统150在确定视频数据104中表示的步幅间隔之后，可以确定步态度量和姿势度量。图5是展示根据本公开实施方案的示例过程500的流程图，该过程可以由步态分析部件120执行，用于确定受试者步态度量。过程500的步骤可以按图5所示的可选顺序来执行。在其他实施方案中，过程500的步骤可以按不同的顺序执行。在还有其他实施方案中，过程500的步骤可以并行执行。

在步骤502处，步态分析部件120可以使用点数据112来确定在图4所示的步骤408处确定要分析的步幅间隔中的步长。步态分析部件120可以确定该时间段内每个步幅间隔中的步长。在一些实施方案中，点数据112可以是表示左后爪、左前爪、右后爪和右前爪的关键点的数据。在一些实施方案中，步长可以是步幅间隔中左前爪与右后爪之间的距离。在一些实施方案中，步长可以是步幅间隔中右前爪与左后爪之间的距离。在一些实施方案中，步长可以是右后爪越过前一次左后爪触地位置所行进的距离。

在步骤504处，步态分析部件120可以使用点数据112来确定在步骤408处确定要分析的步幅间隔中的步幅长度。步态分析部件120可以确定该时间段内每个步幅间隔中的步幅长度。在一些实施方案中，点数据112可以是表示左后爪、左前爪、右后爪和右前爪的关键点的数据。在一些实施方案中，步幅长度可以是每个步幅间隔中，左前爪与左后爪之间的距离。在一些实施方案中，步幅长度可以是右前爪与右后爪之间的距离。在一些实施方案中，步幅长度可以是左后爪在一个步幅中从脚尖离地事件到脚掌触地事件所行进的完整距离。

在步骤506处，步态分析部件120可以使用点数据112来确定在步骤408处确定要分析的步幅间隔中的步宽。步态分析部件120可以确定该时间段内每个步幅间隔中的步宽。在一些实施方案中，点数据112可以是表示左后爪、左前爪、右后爪和右前爪的关键点的数据。在一些实施方案中，步宽是左前爪与右前爪之间的距离。在一些实施方案中，步宽是左后爪与右后爪之间的距离。在一些实施方案中，步宽是两个后爪分开的平均侧向距离。步宽可以被计算为连接右后爪触地位置与将左后爪脚尖离地位置与其后续的脚掌触地位置连接的直线的最短线段的长度。

在步骤508处，步态分析部件120可以使用点数据112来确定在步骤408处确定要分析的步幅间隔中的爪速度。步态分析部件120可以确定该时间段内每个步幅间隔中的爪速度。在一些实施方案中，点数据112可以是表示左后爪、右后爪、左前爪和右前爪的关键点的数据。在一些实施方案中，爪速度可以是在步幅间隔期间其中一个爪的速度。在一些实施方案中，爪速度可以是受试者的速度，并且可以基于受试者的尾根。

在步骤510处，步态分析部件120可以使用点数据112来确定在步骤408处确定要分析的步幅间隔中的步幅速度。步态分析部件120可以确定该时间段内每个步幅间隔中的步幅速度。在一些实施方案中，点数据112可以是表示尾根的关键点的数据。在一些实施方案中，步幅速度可以通过基于表示步幅间隔的一组视频帧期间受试者尾根的运动确定该受试者的一组速度数据来确定。这组速度数据中的每个速度数据可以对应于这组视频帧中的一帧。步幅速度可以通过对这组速度数据求平均值(或以另一种方式组合这组速度数据)来计算。

在步骤512处，步态分析部件120可以使用点数据112来确定在步骤408处确定要分析的步幅间隔中的肢体占空因数。步态分析部件120可以确定该时间段内每个步幅间隔中的肢体占空因数。在一些实施方案中，点数据112可以是表示右后爪和左后爪的关键点的数据。在一些实施方案中，步幅间隔中的肢体占空因数可以是第一占空因数和第二占空因数的平均值。步态分析部件120可以确定表示在步幅间隔期间右后爪接触地面的时间量的第一支撑时间，然后可以基于该第一支撑时间和步幅间隔中的时间长度来确定第一占空因数。步态分析部件120可以确定表示在步幅间隔期间左后爪接触地面的时间量的第二支撑时间，然后可以基于该第二支撑时间和步幅间隔中的时间长度来确定第二占空因数。在其他实施方案中，肢体占空因数可以基于前爪的支撑时间和占空因数。

在步骤514处，步态分析部件120可以使用点数据112来确定在步骤408处确定要分析的步幅间隔中的角速度。步态分析部件120可以确定该时间段内每个步幅间隔中的角速度。在一些实施方案中，点数据112可以是表示尾根和颈基部的关键点的数据。步态分析部件120可以确定连接尾根和颈基部的一组向量，其中这组向量中的每个向量对应于步幅间隔中的一组帧中的一帧。步态分析部件120可以基于这组向量来确定角速度。这些向量可以表示受试者的角度，角度值的一阶导数可以是这一帧的角速度。在一些实施方案中，步态分析部件120可以通过对步幅间隔中的这些帧的角速度求平均值来确定步幅角速度。

图6是展示根据本公开实施方案的示例过程600的流程图，该过程可以由姿势分析部件130执行，用于确定受试者姿势度量。在高层次上，姿势分析部件130可以基于受试者的各个步幅间隔来确定鼻部、尾尖和尾根的侧向位移。姿势分析部件130可以基于鼻部、尾尖和尾根的侧向位移来确定每个相应的受试者身体部位的位移相偏移。相应地，过程600的步骤可以按不同于图6所示的顺序来执行。例如，姿势分析部件130可以在确定尾尖侧向位移和尾尖位移相偏移之后或者与之并行地确定鼻部侧向位移和鼻部位移相偏移。

为了确定这些侧向位移，姿势分析部件130可以首先在步骤602处使用点数据112来确定在步骤408处确定要分析的步幅间隔中的位移向量。姿势分析部件130可以确定该时间段内每个步幅间隔中的位移向量。在一些实施方案中，点数据112可以是表示受试者的脊柱中心的关键点的数据。步幅间隔可以跨越多个视频帧。在一些实施方案中，位移向量可以是连接步幅间隔中的第一个视频帧中的脊柱中心和步幅间隔中的最后一个视频帧中的脊柱中心的向量。

在步骤604处，姿势分析部件130可以使用点数据112和位移向量(来自步骤602)来确定步幅间隔中受试者鼻部的侧向位移。姿势分析部件130可以确定该时间段内每个步幅间隔中的鼻部侧向位移。在一些实施方案中，点数据112可以是表示受试者的脊柱中心和鼻部的关键点的数据。在一些实施方案中，姿势分析部件130可以确定鼻部的一组侧向位移，其中鼻部的每个侧向位移可以对应于步幅间隔中的一个视频帧。该侧向位移可以是鼻部在相应视频帧中距步幅间隔中的位移向量的垂直距离。在一些实施方案中，姿势分析部件130可以从最大距离中减去最小距离，并将结果除以受试者体长，使得在较大受试者中测量的位移可以与在较小受试者中测量的位移相当。

在步骤606处，姿势分析部件130可以使用步幅间隔中鼻部的这组侧向位移来确定鼻部位移相偏移。姿势分析部件130可以使用这组鼻部侧向位移来执行插值，以生成步幅间隔中鼻部的平滑曲线侧向位移，然后可以使用鼻部的该平滑曲线侧向位移来确定在步幅间隔期间鼻部的最大位移何时出现。姿势分析部件130可以确定步幅位置百分比，其表示当鼻部发生最大位移时完成的步幅间隔的百分比。在一些实施方案中，姿势分析部件130可以执行三次样条插值，以便生成位移的平滑曲线，并且由于该三次插值，最大位移可以出现在视频帧之间的时间点处。

在步骤608处，姿势分析部件130可以使用点数据112和位移向量(来自步骤602)来确定步幅间隔中受试者尾根的侧向位移。姿势分析部件130可以确定该时间段内每个步幅间隔中的尾根侧向位移。在一些实施方案中，点数据112可以是表示受试者的脊柱中心和尾根的关键点的数据。在一些实施方案中，姿势分析部件130可以确定尾根的一组侧向位移，其中尾根的每个侧向位移可以对应于步幅间隔中的一个视频帧。该侧向位移可以是尾根在相应视频帧中距步幅间隔中的位移向量的垂直距离。在一些实施方案中，姿势分析部件130可以从最大距离中减去最小距离，并将结果除以受试者体长，使得在较大受试者中测量的位移可以与在较小受试者中测量的位移相当。

在步骤610处，姿势分析部件130可以使用步幅间隔中尾根的这组侧向位移来确定尾根位移相偏移。姿势分析部件130可以使用这组尾根侧向位移来执行插值，以生成步幅间隔中尾根的平滑曲线侧向位移，然后可以使用尾根的该平滑曲线侧向位移来确定在步幅间隔期间鼻部的最大位移何时出现。姿势分析部件130可以确定步幅位置百分比，其表示当尾根发生最大位移时完成的步幅间隔的百分比。在一些实施方案中，姿势分析部件130可以执行三次样条插值，以便生成位移的平滑曲线，并且由于该三次插值，最大位移可以出现在视频帧之间的时间点处。

在步骤612处，姿势分析部件130可以使用点数据112和位移向量(来自步骤602)来确定步幅间隔中受试者尾尖的侧向位移。姿势分析部件130可以确定该时间段内每个步幅间隔中的尾尖侧向位移。在一些实施方案中，点数据112可以是表示受试者的脊柱中心和尾尖的关键点的数据。在一些实施方案中，姿势分析部件130可以确定尾尖的一组侧向位移，其中尾尖的每个侧向位移可以对应于步幅间隔中的一个视频帧。该侧向位移可以是尾尖在相应视频帧中距步幅间隔中的位移向量的垂直距离。在一些实施方案中，姿势分析部件130可以从最大距离中减去最小距离，并将结果除以受试者体长，使得在较大受试者中测量的位移可以与在较小受试者中测量的位移相当。

在步骤614处，姿势分析部件130可以使用步幅间隔中尾尖的这组侧向位移来确定尾根位移相偏移。姿势分析部件130可以使用这组尾尖侧向位移来执行插值，以生成步幅间隔中尾尖的平滑曲线侧向位移，然后可以使用尾尖的该平滑曲线侧向位移来确定在步幅间隔期间鼻部的最大位移何时出现。姿势分析部件130可以确定步幅位置百分比，其表示当尾尖发生最大位移时完成的步幅间隔的百分比。在一些实施方案中，姿势分析部件130可以执行三次样条插值，以便生成位移的平滑曲线，并且由于该三次插值，最大位移可以出现在视频帧之间的时间点处。

参考系统150的统计分析部件140，统计分析部件140可以将度量数据122(由步态分析部件120确定)和度量数据132(由姿势分析部件130确定)取作输入。在本发明的一些实施方案中，基于系统被配置用于仅处理步态度量数据，统计分析部件140可以仅获取度量数据122。在其他实施方案中，基于系统被配置用于仅处理姿势度量数据，统计分析部件140可以仅获取度量数据132。

受试者的身体大小和速度能够影响受试者的步态和/或姿势。例如，移动较快的受试者将具有与移动较慢的受试者不同的步态。作为另一个实例，身体较大的受试者将具有与身体较小的受试者不同的步态。然而，在一些情况下，步幅速度的差异(与对照受试者步态相比)可能是由于遗传或药理扰动而引起的步态和姿势变化的定义特征。系统150收集每个受试者的多次重复测量结果(经由视频数据104和旷场中的受试者)，并且每个受试者具有不同数目的步幅产生的不平衡数据。对重复的步幅进行平均，每个受试者得到一个平均值，这可能产生误导，因为这去除了变化并引入假置信度。同时，经典的线性模型不能区分稳定的受试者内变化和受试者间波动，这可能使统计分析产生偏差。为了解决这些问题，在一些实施方案中，统计分析部件140采用线性混合模型(LMM)来将受试者内变化与受试者间基于基因型的变化分离。在一些实施方案中，统计分析部件140可以捕捉主效应，诸如受试者大小、基因型、年龄，并且可以另外捕捉受试者内变化的随机效应。本发明的技术收集不同年龄受试者的多次重复测量结果，从而产生嵌套的分层数据结构。在统计分析部件140处实现的示例统计模型在下文被示为模型M1、M2和M3。这些模型遵循标准LMM标记法，其中(基因型，体长，速度，测试年龄)表示固定效应，(受试者ID/测试年龄)(其中测试年龄嵌套在受试者内)表示随机效应。

M1：表型～基因型+测试年龄+体长+(1|小鼠ID/测试年龄)

M2：表型～基因型+测试年龄+速度+(1|小鼠ID/测试年龄)

M3：表型～基因型+测试年龄+速度+体长+(1|小鼠ID/测试年龄)

模型M1将年龄和体长取作输入，模型M2将年龄和速度取作输入，模型M3将年龄、速度和体长取作输入。在一些实施方案中，统计分析部件140的这些模型不包括受试者性别作为效应，因为性别可能与受试者的体长/身体大小高度相关。在其他实施方案中，统计分析部件140的这些模型可以将受试者性别取作输入。在使用点数据112(由点跟踪器部件110确定)的情况下，能够确定这些模型的受试者身体大小和速度。因此，模型不需要对这些变量进行额外的测量。

度量数据122、132中包括的一个或多个数据可以是循环变量(例如，步幅长度、角速度等)，统计分析部件140可以使用循环-线性回归模型来实现线性变量的函数。线性变量(诸如体长和速度)可以作为协变量包含在模型中。在一些实施方案中，统计分析部件140可以在个体受试者水平上实施多变量离群点检测算法，以识别有损伤和发育效应的受试者。

在一些实施方案中，统计分析部件140还可以实施线性判别分析，该线性判别分析相对于对照数据144处理度量数据122、132，然后输出差异数据148。该线性判别分析允许在受试者步态和/或姿势度量与对照受试者步态和/或姿势度量之间进行定量区分。

拼接视频馈送

在一些实施方案中，视频数据104可以使用从多个不同角度/视角捕捉受试者运动的多个视频馈送生成。视频数据104可以通过拼接/组合受试者顶视图的第一视频和受试者侧视图的第二视频来生成。第一视频可以使用第一图像捕捉设备(例如，设备101a)来捕捉，第二视频可以使用第二图像捕捉设备(例如，设备101b)来捕捉。受试者的其他视图可以包括右侧视图、左侧视图、自上而下视图、自下而上视图、前侧视图、后侧视图和其他视图。可以将来自这些不同视图的视频组合以生成视频数据104，从而提供受试者运动的全面/扩展视图，这可以导致由自动化表型分析系统对受试者行为进行更准确和/或更有效的分类。在一些实施方案中，可以将来自不同视图的视频组合以提供具有短焦距的宽视场，同时在整个视图上保留自上而下的视角。在一些实施方案中，可以使用一种或多种ML模型(例如，神经网络)处理来自不同视图的多个视频，以生成视频数据104。在一些实施方案中，系统可以使用2D视频/图像来生成3D视频数据。

在一些实施方案中，可以使用各种技术来同步由多个图像捕捉设备101捕捉的视频。例如，多个图像捕捉设备101可以与中央时钟系统同步，并且由主节点控制。将多个视频馈送同步可以涉及使用各种硬件和软件，诸如适配器、多路复用器、图像捕捉设备之间的USB连接、到网络199的无线或有线连接、控制设备的软件(例如，MotionEyeOS)等。

在一个示例实施方案中，图像捕捉设备101可以是超广角镜头(即，鱼眼镜头)，其产生强烈的视觉失真，旨在创建宽全景或半球形图像，并且能够实现极宽的视角。在一种示例实施方式中，用于捕捉视频的视频数据104的系统可以包括连接到4个单板计算设备(例如，Raspberry Pi)的4个鱼眼镜头相机，以及用于捕捉自上而下视图的附加图像捕捉设备。系统可以使用各种技术来同步这些部件。一种技术涉及像素/空间插值，例如，在兴趣点(例如，受试者上的身体部位)位于(x,y)处的情况下，系统相对于时间标识自上而下视图视频内沿着x轴和y轴的方位。在一个实例中，对x轴的像素插值可以由单板计算设备根据以下方程来计算：

(Pi偏移量ΔX/Pi偏移量ΔT)*(自上而下视图偏移量ΔT)+初始点(x)

然后，可以使用该方程针对y轴计算兴趣点的方位。在一些实施方案中，为了解决视频校准期间的镜头失真问题，可以向一个或多个视频馈送添加填充(而不是对视频馈送进行缩放)。

受试者

本发明的一些方面包括对受试者使用步态和姿势分析方法。如本文所用，术语“受试者”可以指人、非人灵长类动物、牛、马、猪、绵羊、山羊、狗、猫、猪、鸟、啮齿动物，或者其他合适的脊椎动物或无脊椎动物生物体。在本发明的某些实施方案中，受试者是哺乳动物，并且在本发明的某些实施方案中，受试者是人类。在一些实施方案中，本发明方法中使用的受试者是啮齿动物，包括但不限于：小鼠、大鼠、沙鼠、仓鼠等。在本发明的一些实施方案中，受试者是正常、健康的受试者，而在一些实施方案中，受试者已知患有、有风险患有或者怀疑患有某种疾病或病症。在本发明的某些实施方案中，受试者是疾病或病症的动物模型。例如，虽然不旨在进行限制，但在本发明的一些实施方案中，受试者是作为孤独症动物模型的小鼠。

作为一个非限制性实例，用本发明的方法和系统评估的受试者可以是作为病症的动物模型的受试者，该病症诸如是以下一种或多种疾病的模型：精神疾病、神经退行性疾病、神经肌肉疾病、孤独症谱系障碍、精神分裂症、双相情感障碍、阿尔茨海默病、雷特综合征、ALS和唐氏综合征。

在本发明的一些实施方案中，受试者是野生型受试者。如本文所用，术语“野生型”意指某个物种出现在自然界中的典型形式的表型和/或基因型。在本发明的某些实施方案中，受试者是非野生型受试者，例如，与受试者物种的野生型基因型和/或表型相比具有一种或多种基因修饰的受试者。在一些情况下，受试者与野生型相比的基因型/表型差异是由遗传性(种系)突变或获得性(体细胞)突变引起的。可能导致受试者表现出一种或多种体细胞突变的因素包括但不限于：环境因素、毒素、紫外线辐射、细胞分裂中出现的自发错误、致畸事件，诸如但不限于辐射、母体感染、化学物质等。

在本发明方法的某些实施方案中，受试者是经基因修饰的生物体，也称为工程化受试者。工程化受试者可以包括预先选择的和/或有意的基因修饰，因此表现出与非工程化受试者不同的一种或多种基因型性状和/或表型性状。在本发明的一些实施方案中，常规基因工程化技术可以用于产生与该物种的非工程化受试者相比表现出基因型差异和/或表型差异的工程化受试者。作为一个非限制性实例，可以使用基因工程化小鼠和本发明的方法或系统来评估基因工程化小鼠的表型，并且可以将结果与从对照获得的结果(对照结果)进行比较，其中在该基因工程化小鼠中，功能基因产物缺失或以降低的水平存在于该小鼠中。

在本发明的一些实施方案中，可以使用本发明的步态水平确定方法或系统来监测受试者，并且可以检测活动障碍或病症是否存在。在本发明的某些实施方案中，作为活动和/或运动病症的动物模型的测试受试者可以用于评估测试受试者对该病症的反应。此外，可以向作为运动和/或活动病症的动物模型的测试受试者施用候选治疗剂或方法，使用本发明的步态监测方法和/或系统进行监测，并且可以使用监测结果来确定候选治疗剂治疗该病症的功效。术语“活动”和“动作”在本文中可以互换使用。

如本文别处所述，本发明的训练模型可以被配置为检测受试者的行为，而不管受试者的身体特征是怎样的。在本发明的一些实施方案中，受试者的一个或多个身体特征可以是预先识别的特征。例如，虽然不旨在进行限制，但预先识别的身体特征可以是以下一项或多项：身体形状、身体大小、毛色、性别、年龄，以及疾病或病症的表型。

测试和筛选对照及候选化合物

使用本发明的方法或系统从受试者获得的结果可以与对照结果进行比较。本发明的方法也可以用于评估受试者相对于对照的表型差异。因此，本发明的一些方面提供了确定受试者与对照相比是否存在活性变化的方法。本发明的一些实施方案包括使用本发明的步态和姿势分析方法来识别疾病或病症的表型特征。

使用本发明的方法或系统获得的结果可以有利地与对照进行比较。在本发明的一些实施方案中，可以使用自动化步态分析方法来评估一个或多个受试者，接着在向受试者施用候选治疗化合物后对这些受试者进行重新测试。术语“测试”受试者在本文中可以用于指代使用本发明的方法或系统来评估的受试者。在本发明的某些实施方案中，将使用自动化步态分析方法评估测试受试者所获得的结果与对其他测试受试者进行自动化步态分析方法所获得的结果进行比较。在本发明的一些实施方案中，将测试受试者的结果与在不同时间对该测试受试者进行的自动化步态分析方法的结果进行比较。在本发明的一些实施方案中，将使用自动化步态分析方法评估测试受试者获得的结果与对照结果进行比较。

对照值可以是通过使用本发明的步态分析方法测试多个受试者而获得的值。如本文所用，对照结果可以是预定值，其可以采取多种形式。它可以是单个截止值，诸如中值或平均值。它可以基于比较组来建立，这些比较组诸如已经在与测试受试者相似的条件下使用本发明的自动化步态分析方法来评估的受试者，其中测试受试者被施用候选治疗剂，而比较组没有与候选治疗剂接触。比较组的另一个实例可以包括已知患有疾病或病症的受试者和未患疾病或病症的组。另一个比较组可以是具有疾病或病症家族史的受试者和来自没有这种家族史的组的受试者。例如，可以排列预定值，其中测试群体基于测试结果相等地(或不相等地)分为几组。本领域技术人员能够选择适当的对照组和对照值用于本发明的比较方法。候选化合物类型的非限制性实例包括化学物质、核酸、蛋白质、小分子、抗体等。

可以监测使用本发明的自动化步态分析方法或系统评估的受试者在测试条件下相对于对照条件下是否发生变化。作为非限制性实例，在受试者中，发生的变化可以包括但不限于以下一项或多项：运动频率、对外部刺激的反应等。本发明的方法和系统可以用于测试受试者，以评估测试受试者的疾病或病症的影响，也可以用于评估候选治疗剂治疗疾病或病症的功效。作为使用本发明的方法来评估测试受试者中是否存在变化以充当识别候选治疗剂功效的手段的一个非限制性实例，使用本发明的自动化步态分析方法来评估已知为疾病(诸如孤独症)的动物模型的测试受试者。向测试受试者施用候选治疗剂，并且使用该自动化步态分析方法再次评估。测试受试者的结果中是否存在变化相应地指示候选治疗剂对测试受试者的孤独症是否存在作用。可以使用本发明的步态分析方法评估的疾病和病症包括但不限于：ALS、孤独症、唐氏综合征、雷特综合征、双相情感障碍、痴呆、抑郁症、多动性障碍、焦虑性障碍、发育障碍、睡眠障碍、阿尔茨海默病、帕金森氏病、物理性损伤，等等。

应当理解，在本发明的一些实施方案中，测试受试者可以充当其自身的对照，例如通过使用本发明的自动化步态分析方法评估两次或更多次，然后对在这两次或更多次不同评估中获得的结果进行比较。本发明的方法和系统可以用于评估受试者的疾病或病症的进展或消退，方式为：使用本发明的方法或系统的一个实施方案对受试者进行两次或更多次评估，由此识别和比较受试者中的步态特征随时间推移的变化。

疾病和障碍

本发明的方法和系统可用于评估已知患有某一疾病或病状、被怀疑患有某一疾病或病状或处于患有某一疾病或病状的风险下的受试者的活动和/或行为。在一些实施例中，所述疾病和/或病状是与异常水平的活动或行为相关联的疾病和/或病状。在非限制性实例中，测试受试者—可以是患有焦虑症的受试者或可以是患有焦虑症的动物模型的受试者，可以具有与焦虑相关联的一种或多种活动或行为，可以使用本发明的方法的实施例来检测所述一种或多种活动或行为。可以将测试受试者的评估结果与对照评估结果进行比较，所述对照评估结果例如来自不患有焦虑症的对照受试者、不是作为患有焦虑症的动物模型的受试者的对照受试者、从没有病状的多个受试者获得的对照标准等。可以比较测试受试者和对照的结果的差异。本发明方法的一些实施方案可以用于识别患有与异常活动和/或行为相关联的疾病或病症的受试者。

还可以使用本发明方法的实施方案来评估和跟踪与异常活动和/或行为相关联的疾病或病症的发作、进展和/或消退。例如，在本发明的方法的某些实施例中，在不同时间对受试者的活动和/或行为进行2次、3次、4次、5次、6次、7次或更多次评估。在不同时间进行的评估的两个或更多个结果的比较可以展示受试者活动和/或行为的差异。所确定活动的水平或类型的增加可以指示受试者的与所评估活动相关联的疾病或病症的发病和/或发展。所确定活动的水平或类型的减少可以指示受试者的与所评估活动相关联的疾病或病症的消退。确定受试者的活动已停止可以指示受试者的与所评估活动相关联的疾病或病症的停止。

本发明的方法的某些实施例可用于评估疗法治疗与异常活动和/或行为相关联的疾病或病症的功效。例如，可以向测试受试者施用本发明的候选疗法和方法，所述候选疗法和方法用于确定受试者的与疾病或病状相关联的活动变化是否存在。施用候选疗法后异常活动减少可以表明候选疗法对抗疾病或病症的功效。

如本文别处所指出的那样，本发明的步态分析方法可以用于评估受试者的疾病或病症，也可以用于评估疾病和病症的动物模型。用于疾病和病症的许多不同动物模型在本领域中是已知的，包括但不限于许多小鼠模型。用本发明的系统和/或方法评估的受试者可以是作为疾病或病症的动物模型的受试者，诸如以下疾病或病症的模型，这些疾病或病症诸如但不限于：神经退行性障碍、神经肌肉障碍、神经精神障碍、ALS、孤独症、唐氏综合征、雷特综合征、双相情感障碍、痴呆、抑郁症、多动性障碍、焦虑性障碍、发育障碍、睡眠障碍、阿尔茨海默病、帕金森氏病、物理性损伤，等等。可以使用本发明的方法和/或系统来评估的另外的疾病和障碍模型在本领域中是已知的，参见例如：Barrot M.Neuroscience 2012；211:39-50；Graham,D.M.,Lab Anim(NY)2016；45:99-101；Sewell,R.D.E.,Ann Transl Med2018；6:S42，2019/01/08；以及Jourdan,D.等人，Pharmacol Res 2001；43:103-110，这些文献的内容全文以引用方式并入本文。

本发明的方法除了测试患有已知疾病或障碍的受试者之外，还可以用于评估新的遗传变体，诸如工程化生物体。因此，本发明的方法可以用于评估工程化生物体的疾病或病症的一个或多个特征。以这种方式，可以评估生物体的新品系，诸如新小鼠品系，并且可以使用结果来确定该新品系是否为疾病或障碍的动物模型。

实施例

实施例1.模型开发：数据训练、测试和模型验证

方法

训练数据

标记数据由8,910个480×480灰度帧组成，这些灰度帧包含旷场中的单只小鼠，连同每帧12个手动标记的姿态关键点。从各种各样的小鼠品系中选择一些具有不同外观的品系，考虑了毛色、身体大小和肥胖度方面的变化。图8C示出了由旷场设备生成的代表性帧。这些帧是从先前用于生成实验数据的同一个旷场设备(Geuther,B.Q.等人，Commun Biol(2019)2:1-11)产生的。姿态关键点注释由Kumar实验室的几位成员完成。使用HDF5格式将帧图像和关键点注释存储在一起，该格式用于神经网络训练。帧注释被分成训练数据集(7,910个帧)和验证数据集(1,000个帧)来进行训练。

神经网络训练

网络经过600轮训练，在每轮结束时执行验证。训练损失曲线(图8C)示出了训练损失的快速收敛，而没有验证损失的过度拟合。将迁移学习(Weiss,K.等人，J Big Data(2016)3:9；Tan,C.等人，27th Inti Conference on Artificial Neural Networks(2018),270-279,arXiv:1808.01974[cs.LG])用于网络上，以便最大限度减小标记要求，并提高模型的通用性。最初，使用由HRNet论文(hrnet_w32-36af842e.pth)的作者提供的imagenet模型，权重在训练期间被冻结至第二阶段。为了进一步提高网络的通用性，在训练期间采用了几种数据增强技术，包括：旋转、翻转、缩放、亮度、对比度和遮挡。使用ADAM优化器来训练网络。最初将学习率设置为5×104，然后在第400轮降至5×105，在第500轮降至5×10^-6。

统计分析

以下LMM模型被考虑用于重复测量：

其中n是受试者总数；y_ij是对第i个受试者的第j次重复测量，n_i表示对受试者i的重复测量次数；x_ij是协变量诸如体长、速度、基因型、年龄的p×1向量；β是未知固定群体水平效应的p×1向量；γ_i是随机截距，描述了受试者相比群体平均效应的特异性偏离；ε_ij是描述第i个受试者的受试者内变化的误差项，其被假定为独立于随机效应。为了测试固定效应并获得p值，使用了其中Satterthwaite近似分母自由度的F检验。使用R lme4软件包来拟合LMM模型(Bates,D.等人，J Stat Softw(2015)67:1-48)。

使用循环-线性回归模型将图14A中的循环相变量建模为线性变量的函数。分析循环数据并不简单，为线性数据开发的统计模型不适用于循环数据[Calinski,T.和Harabasz，Communications in Statistics-theory and Methods 3,1-27(1974)]。假设已经从具有未知平均方向μ和浓度参数κ的von-Mises分布中绘制了循环响应变量。平均方向参数通过以下关系式与变量X相关：

Y_i～von Mises(μ_i,κ),μ_i＝μ+g(γ₁X₁+…+γ_pX_p),i＝1；……，n

其中g(u)＝2tan^-1(u)是链接函数，使得对于–∞<u<∞，–π<g(u)<π。参数μ；γ₁……γ_k和κ经由最大似然来估计。该模型使用R circular软件包[Tibshirani,R.等人，Journalof the Royal Statistical Society:Series B(Statistical Methodology)63,411-423(2001)]来拟合。

动物

实验中所使用的动物品系在图14B至图14D中示出。

实验描述和结果

步态和姿势分析方法由几个模块化部件构成。工具包的基础是深度卷积神经网络，该神经网络已经被训练成对旷场的自上而下视频执行姿态估计。该网络为描述小鼠在每个时间点的姿态的每个视频帧提供小鼠解剖位置或“关键点”的12个二维标记。还开发了下游部件，这些部件能够处理姿态的时间序列，并且识别表示个体步幅的间隔。这些进展形成了几乎所有随后的表型分析和统计分析的基础。该方法允许在每个步幅的基础上提取几个重要的步态度量，因为获得了每个步幅间隔中的姿态信息(度量列表参见图14A)。这产生了对步幅度量执行统计分析的巨大能力，还允许聚集大量数据，以便提供小鼠步态结构的一致视图。

姿态估计

姿态估计对图像或视频中预定义的一组关键点的2D坐标进行定位，是用于量化和分析步态的方法的基础。所选择的姿态关键点要么是视觉上突出的，诸如耳朵或鼻部，要么捕捉用于理解姿态的重要信息，诸如四肢关节或爪子。选择12个关键点来捕捉小鼠姿态：鼻部、左耳、右耳、颈基部、左前爪、右前爪、脊柱中部、左后爪、右后爪、尾根、尾中部和尾尖(图7B)。

已经付出了很多努力来开发和改进人类姿态估计技术(Moeslund,T.B.等人，Comput Vis Image Underst(2006)104:90-126；Dang,Q.等人，Tsinghua Sci Technol(2019)24:663-676)。传统的姿态估计方法依赖于诸如使用局部身体部位检测器和骨骼关节运动建模等技术。这些方法在克服复杂因素(诸如复杂构造和身体部位遮挡)的能力方面受到限制。这些缺点中有一些通过开发用于姿态估计的深度神经网络(诸如DeepPose)得到了解决(Toshev,A.和Szegedy,C.，Proc IEEE Conf Comp Vis Pattern Recognit(2014),1653-1660)。DeepPose能够使用几个基准测试来证明姿态估计相对于现有技术性能有所改进。在DeepPose发布之后，大多数在姿态估计上取得成功的工作均利用了深度卷积神经网络架构。一些突出的实例包括：DeeperCut(Insafutdinov,E.等人，European Conferenceon Computer Vision(2016),34-50)、堆叠式沙漏网络(Newell,A.等人，EuropeanConference on Computer Vision(2016),483-499)，以及深度高分辨率架构(HRNet)(Sun,K.等人，Proc IEEE Conf Comp Vis Pattern Recognit(2019),5693-5703)。在包括在本发明方法中的啮齿动物姿态估计方法的开发中，考虑了为人类姿态估计而开发的高性能姿态估计架构中所使用的一些概念。

啮齿动物姿态估计架构选择基于几个重要的考虑。

·姿态推断的高准确度和精确度：步态推断方法对姿态估计中的误差敏感，因此希望尽可能多地减少这些误差

·推断速度：应当能够在现代高端GPU上以实时速度或近实时速度(30fps)推断

·架构的简单性和通用性，便于修改和扩展。

·固定比例推断：因为所有图像都是固定比例，所以被设计成以多个比例工作的方法会浪费网络容量和推断时间。

·可用的开源实施方式

·架构模块化，以便于潜在的未来升级。

基于这些标准，为网络选择了HRNet架构(Sun,K.等人，Proc IEEE Conf Comp VisPattern Recognit(2019),5693-5703)，并对实验设置进行了修改。该架构的主要差别在于，其在整个网络堆栈中保持高分辨率特征，从而保持空间精度(图7A)。HRNet在GPU效率和姿态准确性两方面均表现出极具竞争力的性能。该接口还是高度模块化的，期望其在需要时允许以相对简单的操作进行网络升级。使用较小的HRNet-W32架构，而不是HRNet-W48架构，因为前者被证实提供显著的速度和存储器改进，而准确度仅略有下降。将两个5×5转置卷积添加到网络头部，以使热图输出分辨率与视频输入分辨率相匹配(图7B)。因为所有实验在旷场中都有单只小鼠，所以没有必要依赖对象检测来进行实例化。因此，该步骤从推断算法中消除，这也产生明确的运行时间性能益处。代替在对象检测之后执行姿态估计，使用全分辨率姿态关键点热图来推断每个帧处单只小鼠的姿势。这意味着对于每个480×480的视频帧，生成了12个480×480的热图(每个关键点一个热图)。每个热图中的最大值表示每个相应点的最高置信度位置。因此，取这12个热图中每一者的argmax得到12个(x,y)坐标。

为了训练该网络，有必要选择损失函数和优化算法。对于损失函数，使用了原始HRNet描述中所使用的方法(Sun,K.等人，Proc IEEE Conf Comp Vis Pattern Recognit(2019),5693-5703)。对于每个关键点标签，生成以相应关键点为中心的2D高斯分布。然后，用以关键点为中心的高斯分布准备网络的输出，并且将损失计算为标记关键点高斯分布与由网络生成的热图之间的均方差。使用ADAM优化算法来训练网络，该算法是随机梯度下降算法的变体(Kingma,D.P.和Ba,J.(2014)arXiv:1412.6980)。图7C显示验证损失快速收敛。标签是有意生成的，代表了各种各样的小鼠外观，包括毛色、体长和肥胖度的变化，以确保所得网络跨这些差异稳健地运行。跨这些不同品系的八千九百一十(8,910)个帧被手动标记用于训练(参见“方法”)。所得的网络能够跟踪几十种具有不同身体大小、形状和毛色的小鼠品系(Geuther,B.Q.等人，Commun Biol(2019)2:1-11)。

步幅推断

检测步幅间隔的方法基于Hildebrand描述的步态周期结构(图8A)(Hildebrand,M.J Mammalogy(1977)58:131-156；Hildebrand,M.Bioscience(1989)39:766)。在一个步幅周期中，每只爪子均具有支撑相和摆动相(Lakes,E.H.和Allen,K.D.Osteoarthr Cartil(2016)24:1837-1849)。在支撑相期间，小鼠的爪子支撑小鼠的重量，并且与地面静态接触。在摆动相期间，爪子向前移动，不支撑小鼠的重量。根据Hildebrand的描述，从支撑相转变到摆动相称为脚尖离地事件，从摆动相转变到支撑相称为脚掌触地事件。

为了计算步幅间隔，针对后爪确定支撑相和摆动相。计算爪速度，推断当该速度降至低于阈值时爪子处于支撑相，而当该速度超过阈值时爪子处于摆动相(图8C至图8F)。然后可以确定脚掌触地事件发生在从摆动相到支撑相的过渡帧处(图8C)。左后脚掌触地被定义为分隔步幅周期的事件。图8D示出了后爪的爪速度与脚掌触地事件之间关系的一个实例。如图8E所示，观察到后爪而非前爪的明显高幅值振荡。前爪与后爪之间推断质量的这种差异可能是由于从自上而下视图来看，前爪比后爪更经常被遮挡，因此更难以准确定位。如图8G所示，观察到前爪推断的置信度相应降低。因此，当导出步幅间隔时，前爪被排除在考虑之外，取而代之，关注点在后爪上。还对步幅进行了大量过滤，以从数据集中去除虚假或低质量的步幅周期(图8G)。去除步幅的标准包括：姿态估计值的置信度低或在生理上不切实际、右后爪触地事件缺失，以及小鼠的全身速度不足(例如，为低于10cm/s的任何速度)。图8G示出了每个关键点的置信度分布。该过滤方法使用0.3作为置信度阈值。非常高的置信度关键点接近1.0。在连续的步幅序列中总是去除第一个步幅和最后一个步幅，以避免开始行为和停止行为向步幅数据中添加噪声(图8C至图8D，在轨迹A和B中标记为A和D)。这意味着包含7个步幅的序列将最多包含5个步幅来用于分析。关键点置信度分布因关键点类型而异(图8G)。与其他关键点相比，在自上而下视图中倾向于被遮挡的关键点(诸如前爪)具有向下移位的置信度分布。还观察到，视觉上不突出的关键点(诸如脊柱中心)将具有较低的置信度，因为它们更难以精确定位。最后，还计算了瞬时角速度，这准许确定每个步幅的方向性(图8F)。角速度是通过对连接小鼠尾根和颈基部的线所形成的角度取一阶导数来计算的。综合起来，这种方法允许在旷场中识别各个高质量的小鼠步幅。

为了验证步态定量在正常地发挥功能，分析了来自常用近交品系C57BL/6NJ的数据。使用每只小鼠大约1小时的旷场视频，从31只小鼠的15,667个步幅计算支撑和摆动的百分比。分析来自后爪的数据，因为这些数据显示了在支撑和摆动期间的最高幅值振荡(图8D，图8E)。基于尾根点，将数据分层为9个角速度箱和8个速度箱(分别参见图8H，图8I)。正如预期的那样，当动物向左转时，确定在左后爪的一个步幅中支撑百分比增加。相反，当动物向右转时，右后爪的支撑百分比增加(图8H)。然后在中心角速度箱(-20度/秒至20度/秒)中分析步幅，以确定一个步幅周期内的支撑百分比是否随着步幅速度增加而减小。确定支撑时间随着步幅速度增加而缩短(图8I)。计算后爪的占空因数，以量化这种与速度的关系(图8J)。综合起来，得出的结论是，所述方法能够从这些以自上而下视角观察的旷场视频中定量且准确地提取步幅。

在已经确定步幅间隔之后，可以结合支撑相间隔和摆动相间隔使用帧姿态来导出如图14A中所定义的几个步幅度量。能够从后爪中提取所有相关的时空度量，这些时空度量充当统计分析的主要数据源(Lakes,E.H.和Allen,K.D.Osteoarthr Cartil(2016)24:1837-1849)。

步态周期中的全身姿势估计

自上而下视频允许用6个关键点(鼻部、颈基部、脊柱中心、尾根、尾中部和尾尖)来确定脊柱的相对位置。利用这些，提取了一个步幅周期中的全身姿态。仅使用三个点(鼻部、尾根和尾尖)来捕捉一个步幅周期中的侧向运动(图9A至图9C)。这些测量结果是循环出现的，鼻部和尾尖的相位相反。为了显示，使用C57BL/6J和NOR/LtJ，这两者在一个步幅周期中具有不同的尾尖相位。有可能针对每个步幅提取这些相位图，从而提供高灵敏度(图9D至图9E)。因为在每种品系上均获得了几个小时的视频，所以有可能提取数千个步幅，从而实现高水平的灵敏度。这些相位图可以在一个速度和角速度箱中组合，以确定每个动物和每种品系的一致步幅相位图(图9F至图9G)。最后，比较了几种品系的这些相位图，发现在步态周期中，在全身姿势之间存在惊人的多样性。

几个度量与在姿态关键点中观察到的周期性侧向位移有关(图9A至图9I)。侧向位移的测量结果被定义为相对于相关步幅位移向量的正交偏移。位移向量被定义为连接步幅的第一帧上小鼠的脊椎中心到步幅的最后一帧上小鼠的脊椎中心的线。在步幅的每一帧计算该偏移，然后进行三次插值，以便生成平滑的位移曲线。位移的相偏移被定义为在该平滑曲线上出现最大位移处的步幅位置百分比。作为一个实例，如果没有观察到相偏移为90的值，则表明峰值侧向位移出现在步幅周期已完成90％的点处。分配给步幅的侧向位移度量是在步幅期间观察到的最大位移值与最小位移值之间的差值(图9A)。这种分析非常灵敏，允许检测出一个步幅期间整体姿势的不易察觉但极为重要的差异。先前基于Hildebrand方法的经典时空测量结果与组合的全身姿势度量一起用于分析。由于相偏移度量具有周期性，所以在分析中注意将循环统计应用于这些度量。使用线性方法对其他测量结果进行分析。

步态测量的统计分析和遗传验证

在步态和姿势提取后，建立了用于数据分析的统计框架。为了验证这些方法，对三个小鼠模型进行了表型分析，每个模型之前都被证明具有步态缺陷，并且是以下人类疾病的临床前模式：雷特综合征、肌萎缩侧索硬化症(ALS或卢·贾里格症)和唐氏综合征。在1小时的旷场测定中，用两种年龄的合适对照对以下三种模型进行了测试：分别为Mecp2敲除、SOD1 G93A转基因和Ts65Dn三染色体(图14B)。步态度量与动物大小和步幅速度高度相关(Hildebrand,M.Bioscience(1989)39:766)(图8I至图8J)。然而，在许多情况下，步幅速度的变化是由于遗传或药理扰动而引起的步态变化的定义特征。此外，这些方法用于收集每个受试者(小鼠)的多次重复测量结果，每个受试者具有不同数目的(步幅)产生的不平衡数据。对重复的步幅进行平均，每个受试者得到一个平均值，这可能产生误导，因为这去除了变化并引入假置信度。同时，经典的线性模型不能区分稳定的受试者内变化和受试者间波动，这使估计值产生严重偏差。为了解决这个问题，使用线性混合模型(LMM)将受试者内变化与受试者间基于基因型的变化分离(Laird,N.M.和Ware,J.H.，Biometrics(1982)38:963-974；Pinheiro,J.和Bates,D.，Mixed-effects models in S and S-PLUS,New York:Springer-Verlag,2000)。具体地讲，除了主效应(诸如动物大小、基因型、年龄)之外，还包括捕捉受试者内变化的随机效应。最后，获得两个不同年龄的多次重复测量结果，从而产生嵌套的分层数据结构。这些模型(M1、M2、M3)遵循标准LMM标记法，其中(基因型，体长，速度，测试年龄)表示固定效应，(小鼠ID/测试年龄)(测试年龄嵌套在动物内)表示随机效应。为了将结果与先前公布的不考虑动物大小且有时不考虑步幅速度的数据进行比较，用仅采用年龄和体长(M1)，年龄和速度(M2)，年龄、速度和体长(M3)的三个模型对结果进行统计建模(图10和图14)。这些模型分别为：M1：表型～基因型+测试年龄+体长+(1|小鼠ID/测试年龄)；M2：表型～基因型+测试年龄+速度+(1|小鼠ID/测试年龄)；M3：表型～基因型+测试年龄+速度+体长+(1|小鼠ID/测试年龄)。

性别没有包括在这些模型中，因为性别与体长高度相关(使用ANOVA测量并用η表示，对于以下两者都强相关：SOD1(η＝0.81)和Ts65Dn(总体η＝0.16，对照η＝0.89，突变体η＝0.61)。分别分析了雄性和雌性Mecp2。使用循环-线性回归模型将图14A中的循环相变量建模为线性变量的函数(Fisher,N.I.和Lee,A.J.，Biometrics(1992)48:665-677)。为了调整线性变量(诸如体长和速度)，将这些线性变量作为协变量包含在模型中(也参见“方法”)。图10和图11报告了p值和归一化效应大小。为清楚起见，在图19和图20中详细报告了准确的统计数据。

使用雷特综合征模型进行验证

雷特综合征是一种遗传性神经发育障碍，由X连锁MECP2基因的突变引起(Amir,R.E.等人，Nat Genet(1999)23:185-188)。研究包括普遍研究的Mecp2缺失，该缺失再现了雷特综合征的许多特征，包括运动减少、步态异常、四肢抱握、低出生体重和致死性(Guy,J.等人，Nature Genet,(2001)27:322-326)。测试了半合子雄性(n＝8)、杂合子雌性(n＝8)和同窝仔对照(每种性别n＝8)(图14B)。无效雄性在出生时是正常的，预期寿命为约50天至60天。它们截至3到8周开始表现出年龄依赖性表型，截至10周开始表现出致死性表型。杂合子雌性在年龄大得多时才具有轻微症状(Guy,J.等人，Nature Genet,(2001)27:322-326)。雄性小鼠在43天和56天测试两次，雌性小鼠在43天和86天测试两次。

对这种基因敲除的研究已证实，在半合子雄性中，步幅长度和支撑宽度以年龄依赖性的方式变化(Kerr,B.等人，PLoS One(2010)5(7):el 1534；(2010)；Robinson,L.等人，Brain(2012)135:2699-2710)。最近的分析显示，步宽增加、步幅长度减小，步幅时间、步态角度和重叠距离发生变化(Gadalla,K.K.等人，PloS One(2014)9(11):el12889)。然而，这些研究没有对在Mecp2半合子雄性中观察到的身体大小减小进行调整(图14D)，并且在一些情况下没有对步幅速度进行建模。获得的实验数据与之前公布的数据进行比较，使用M2时相关性最高，该模型对速度而不是体长进行建模(Gadalla,K.K.等人，PloS One(2014)9(11):el 12889；图14D)。据发现，大多数步态度量和几个身体协调度量在半合子雄性中相比对照存在显著差异，包括肢体占空因数、步长和步幅长度、步宽和时间对称性。然而，大多数步态度量取决于动物的大小，半合子雄性的体长小13％(图14D)(Guy,J.等人，NatureGenet,(2001)27:322-326)。此外，分析限于20cm/s至30cm/s之间的步幅速度，这允许减小速度差异所引入的变化。因此，还比较了包括体长而不是速度作为协变量的模型(M1，图10A)和其中包括体长和速度两者的模型(M3，图15A)。M2模型的结果表明，在半合子雄性中，在步幅速度、步宽、步幅长度、全身协调性表型(尾尖幅值、尾尖和鼻部的相位)方面存在显著差异(图10B)。大多数表型取决于年龄，截至7周(56天)在雄性中有严重影响(图10D)。包括速度和体长两者的模型(M3)示出步宽显著降低和步幅长度的提示性差异，以及全身协调性度量(尾尖幅值，尾尖、尾根和鼻部的相位)的稳健差异(图15)。在Mecp2杂合子雌性中观察到非常少的显著差异，并且这些雌性在所有三个模型中表现一致。所有三个模型一致地发现尾尖幅值明显更高，提示雌性有更多的侧向运动(图10A至图10B，图15)。综合起来，这些结果证明，该方法允许准确地检测先前描述的Mecp2中的差异。此外，全身协调性度量能够检测到先前没有描述过的差异。

使用ALS模型进行验证

携带SOD1-G93A转基因的小鼠是具有进行性运动神经元损失的ALS临床前模型(Gurney,M.E.等人，Science(1994)264:1772-1775；Rosen,D.R.等人，Nature(1993)362:59-62)。SOD1-G93A模型已经证实，在步态表型，特别是后肢的步态表型中存在变化(Wooley,C.M.等人，Muscle&Nerve(2005)32:43-50；Amende,I.等人，J NeuroengRehabilitation(2005)2:20；Preisig,D.F.等人，Behavioural Brain Research(2016)311:340-353；Tesla,R.等人，PNAS(2012)109:17016-17021；Mead,R.J.等人，PLoS ONE(2011)6:e23244；Vergouts,M.等人，Metabolic Brain Disease(2015)30:1369-1377；Mancuso,R.等人，Brain Research(2011)1406:65-73)。最突出的表型是支撑时间(占空因数)增加，以及步幅长度以年龄依赖性方式减小。然而，其他几项研究观察到了相反的结果(Wooley,C.M.等人，Muscle&Nerve(2005)32:43-50；Amende,I.等人，J NeuroengRehabilitation(2005)2:20；Mead,R.J.等人，PLoS ONE(2011)6:e23244；Vergouts,M.等人，Metabolic Brain Disease(2015)30:1369-1377)，并且一些研究没有观察到显著的步态效应(Guillot,T.S.等人，Journal of Motor Behavior(2008)40:568-577)。这些研究没有对身体大小差异进行调整，或在一些情况下没有对速度进行调整。在疾病发作期间，在第64天和第100天测试SOD1-G93A转基因和适当的对照(Wooley,C.M.等人，Muscle&Nerve(2005)32:43-50；Preisig,D.F.等人，Behavioural Brain Research(2016)311:340-353；Vergouts,M.等人，Metabolic Brain Disease(2015)30:1369-1377；Mancuso,R.等人，Brain Research(2011)1406:65-73；Knippenberg,S.等人，Behavioural Brain Research(2010)213:82-87)。

令人惊讶的是，据发现，在转基因载体与对照之间不同的表型根据所用的线性混合模型而大幅度变化。M1对体长和年龄进行了调整，但没有调整速度，该模型发现步幅速度、步长和占空因数显著不同(图10A)。然而，当速度在模型(M2)中或者当速度和体长在模型(M3)中时，唯一的差异是尾尖和鼻部的相位变化很小(图10B和图15)。这表明在使用M1时在占空因数和步幅长度中观察到的变化是由于步幅速度变化而引起的。这些结果表明，SOD1转基因的主要效应是对步幅速度产生的，其导致步幅时间和占空因数的变化。全身协调性的轻微变化是由于身体大小减小而引起的(图14D)。这些结果与步态变化可能不是该ALS模型中最灵敏的临床前表型的报告相一致，而其他表型(诸如可见的临床体征)和运动学习任务(诸如转棒仪)是更灵敏的测量结果(Mead,R.J.等人，PLoS ONE(2011)6:e23244；Guillot,T.S.等人，Journal of Motor Behavior(2008)40:568-577)。总而言之，测试结果验证了统计模型，并且可能有助于解释文献中的一些不一致的结果。

使用唐氏综合征模型进行验证

唐氏综合征是由21号染色体的全部或部分三体性引起的，具有复杂的神经表型和神经感觉表型(Haslam,R.H.Down syndrome:living and learning in thecommunity.New York:Wiley-Liss,107-14(1995))。尽管存在一系列表型，诸如智力残疾、癫痫发作、斜视、眼球震颤和听觉减退，但更值得注意的表型是精细动作技能发育迟缓(Shumway-Cook,A.和Woollacott,M.H.Physical Therapy 65:1315-1322(1985)；Morris,A.等人，Journal of Mental Deficiency Research(1982)26:41-46)。这些表型通常被描述为运动笨拙或不协调(Vimercati,S.等人，Journal of IntellectualDisabilityResearch(2015)59:248-256；Latash,M.L.Perceptual-motor behavior in DownSyndrome(2000)199-223)。研究最充分的模型之一是Tn65Dn小鼠，小鼠16号染色体中与人类21号染色体同线的一个区域具有三体性，这种小鼠再现了唐氏综合征的许多特征(Reeves,R.等人，Nat Genet(1995)11:177-184；Herault,Y.等人，Dis Model Meeh(2017)10:1165-1186)。已经使用传统墨迹足迹分析或跑台方法研究了Tn65Dn小鼠的步态表型(Hampton,T.G.和Amende,I.J Mot Behav(2009)42:1-4；Costa,A.C.等人，Physiol Behav(1999)68:211-220；Faizi,M.等人，Neurobiol Dis(2011)43,397-413)。墨迹分析显示小鼠具有更短以及更加“不稳定”和“不规则”的步态，类似于在患者中观察到的运动协调性缺陷(Costa,A.C.等人，Physiol Behav(1999)68:211-220)。基于跑台的分析揭示了步幅长度、频率、一些动力参数和足迹大小的进一步变化(Faizi,M.等人，Neurobiol Dis(2011)43,397-413；Hampton,T.G.等人，Physiol Behav(2004)82:381-389)。这些先前的分析没有研究这些小鼠的全身姿势。

使用本发明的方法，在大约10周和14周时分析了Tn65Dn小鼠，以及对照小鼠(图14B)，所有三个线性混合模型M1至M3均发现了一致的变化。Ts65Dn小鼠在旷场中并不过度活跃(图10C)，但它们的步幅速度增大(图10A，图10C)。这表明Tn65Dn小鼠比对照迈步更快，但行进距离相同。步宽增加，步长和步幅长度显著减小。与对照最为不同的结果是用M3获得的，该模型考虑了速度和体长。特别地，Tn65Dn小鼠的全身协调性表型受到很大影响。尾根和尾尖的幅值，以及尾根、尾尖和鼻部的相位显著减小(图15A)。结果通过鼻部和尾尖的相位图证实了这一点(图10E)。令人惊讶的是，发现存在较大的相位差。在多种速度下，尾尖相位峰值在对照中接近步幅周期的30％，在突变体中接近60％(图10E)。在鼻部相位图中也观察到了类似的变化。综合起来，这些结果证实了先前报道的传统步态测量结果的差异，并突出了新型旷场全身协调性测量结果在拓宽人类疾病模型中可测定的表型特征方面的效用。事实上，Tn65Dn步态最突出的特征是全身协调性的改变，之前使用墨迹分析将其报告为定性性状(Costa,A.C.等人，Physiol Behav(1999)68:211-220)，现在使用本发明的方法可量化。

孤独症谱系障碍相关突变体的表征

为了进一步验证该分析方法，在除上述Mecp2之外的四个孤独症谱系障碍(ASD)小鼠模型中研究了步态，Mecp2也属于该谱系。在人类中，步态和姿势缺陷经常见于ASD患者，有时步态和运动缺陷先于语言和社会沟通中的经典缺陷以及刻板行为出现(Licari,M.K.等人，Autism Research(2020)13:298-306；Green等人，Dev Med Child Neurol(2009)51:311-316)。最近的研究表明，在ASD病例中经常没有诊断出运动变化(Hughes,V.Motorproblems in autism move into research focus.Spectrum News(2011))。尚不清楚这些差异是有遗传病因，还是继发于缺少社交互动，而社交互动可能有助于儿童发展习得性运动协调能力(Zeliadt,N.,Autismin motion:Could motor problems trigger socialones.Scientific American,Spectrum,Mental Health(2017))。在ASD的小鼠模型中，步态缺陷一直未被充分表征，因此进行了研究以确定在四种常用的ASD遗传模型中是否出现任何步态表型，这些模型在10周时用适当的对照来表征(图14C)。与具有已知步态缺陷的三个模型类似，这些突变体和对照在1小时旷场测定中进行测试，并提取步态度量和姿势度量(图14A)。使用用于步态突变体的相同方法对结果建模(M1和M3的结果在图11中呈现，M2的结果在图16中呈现)。

Cntnap2是轴突蛋白基因家族的成员，作为神经元与神经胶质之间的细胞粘附分子发挥作用(Poliak,S.等人，Neuron(1999)24:1037-1047)。Cntnap2中的突变已经与神经障碍诸如ASD、精神分裂症、双相情感障碍和癫痫相关联(Toma,C.等人，PLoS Genetics(2018)14:el007535)。Cntnap2基因敲除小鼠先前已被证明具有轻度步态效应，其中步幅速度增加导致步幅持续时间缩短(Brunner,D.等人，PloS One(2015)10(8):e0134572)。使用模型M2将我们的结果与先前的研究进行比较，发现Cntnap2小鼠在大多数步态测量结果中表现出显著差异(图16)。这些小鼠的体长和体重明显小于对照(图14D，图16C)。在旷场中，Cntnap2小鼠并不过度活跃(图11C)，而是表现出明显增加的步幅速度(M1，图11A、图11C和图16C)。这些结果论证了Cntnap2小鼠并没有行进更远的距离，而是在移动时迈步更快，这与Ts65Dn小鼠类似。

由于Cntnap2小鼠更小并且步幅速度更快，所以使用来自M3的结果确定在针对身体大小和步幅速度进行调整后步态参数是否改变(图14D)。结果表明，Cntnap2小鼠在M1和M3两种模型中的大多数传统步态量度以及全身协调性测量结果方面与对照显著不同(图11B)。Cntnap2小鼠的肢体占空因数、步长、步宽减小，步幅长度大大减小(图11B、图11D和图16C)。这些小鼠还表现出尾尖、尾根和鼻部的相位改变，以及尾尖、尾根和鼻部幅值的显著但微小的变化。Cntnap2小鼠步态的另一个突出特征是与对照相比，动物间变异减小，特别是肢体占空因数(Fligner-Killeen检验，p<0.01)、步长(Fligner-Killeen检验，p<0.01)和步幅长度(Fligner-Killeen检验，p<0.02)(图11D)。这可能表明这些突变体的步态更加刻板。综合起来，这些结果暗示Cntnap2小鼠通过在旷场中行进的总距离测量，并不过度活跃，但是在个体步幅水平上却过度活跃。它们迈步更快，步幅长度和步长较短，且步宽较窄。最后，使用无监督聚类，基于所有组合的步态测量结果进行了研究，来将Cntnap2小鼠与对照区分开。首先，对线性步态表型进行主成分分析(PCA)，然后在PC上使用高斯混合建模(GMM)将动物聚类成两个独立的组。确定步态度量允许将Cntnap2与对照区分开(图11E)。该分析论证了Cntnap2小鼠可以基于其在旷场中的步态模式与对照区分开，并且这些表型比先前检测到的更引人注目(Brunner,D.等人，PloS One(2015)10(8):e0134572)。

Shank3(一种突触后支架蛋白)中的突变已在多个ASD病例中发现(Durand,C.M.等人，Nat Genet(2007)39:25-27)。Fmr1(一种作为翻译调节物起作用的RNA结合蛋白)中的突变与脆性X综合征相关联，其中脆性X综合征是人类精神疾病的最常见遗传形式(Crawford,D.C.等人，Genetics in Medicine(2001)3:359-371)。脆性X综合征具有与ASD特征重叠的广谱表型(Belmonte,M.K.和Bourgeron,T.Nat Neurosci(2006)9:1221-1225)。Del4Aam小鼠在与人类染色体16p11.2同线的小鼠7号染色体上含有0.39Mb缺失(Horev,G.等人，PNAS(2011)108:17076-17081)。人类16p11.2的拷贝数变异(CNV)与多种ASD特征相关联，这些特征包括智力残疾、刻板症以及社交和语言缺陷(Weiss,L.A.等人，NEJM(2008)358:667-675)。Fmr1突变小鼠在旷场中行进更远的距离(图11C)，并且步幅速度更高(图11A，图11C)。在针对步幅速度和体长进行调整后(M3)，这些小鼠在M2和M3中的肢体占空因数有轻微但显著的变化。与对照相比，Shank3和Del4Aam在旷场中都是活动不足的。Shank3小鼠的步幅速度明显降低，而Del4Aam小鼠的步幅速度更快(图11A，图11C)。所有三个统计模型均显示，两种品系的步长均有提示性或显著的降低。在使用M3的情况下，确定Shank3具有较长的步长和步幅长度，而Del4Aam具有较短的步长和步幅。在全身协调性方面，Shank3小鼠的鼻部相位减小，而Del4Aam的尾尖相位增大。这些结果表明，即使Shank3和Del4Aam在旷场中都是活动不足的，但是两者存在差异：Shank3迈步较慢且步幅和步长较长，而Del4Aam迈步较快且步长和步幅较短。两种突变体在全身协调性方面都有一些缺陷。总而言之，已确定每个ASD模型都有一些步态缺陷，其中Cntnap2具有最强的表型。所有模型的步幅速度都有一些变化，但变化的方向性和表型的变异是不同的。

品系调查

在验证这些分析方法之后，进行实验以了解标准实验室小鼠品系在旷场中步态和姿势表型的范围。调查了44个经典的近交实验室品系，7个野生来源近交品系，以及11个F1杂交品系(1898只动物，1,740个小时的视频)。所有动物均为同基因动物，雄性和雌性均在1小时旷场测定中进行调查(图14E)(Geuther,B.Q.等人，Commun Biol(2019)2:1-11)。然后从每个视频中提取步态度量，并在每只动物的水平上分析数据(图12A至图12B、图17和图18)。当动物以中速(20cm/s至30cm/s)和直线方向(角速度介于-20度/秒至+20度/秒之间)行进时，分析步幅数据。由于在自由移动的小鼠中可以收集和处理大量的数据，因此可以进行这种选择性分析。因为这些小鼠的大小差异很大，所以使用了针对身体大小进行调整的M1残差(Geuther,B.Q.等人，Commun Biol(2019)2:1-11)。M1允许提取步幅速度作为一个特征，步幅速度被确定为在ASD突变体中很重要。为了显现品系之间的差异，计算每个品系表型的z分数，并进行k-均值聚类(图12B)。总的来说，在大多数经典步态度量和全身姿势度量中观察到高品系间可变性，表明这些性状具有高度遗传性。在实验室小鼠的旷场步态运动中还观察到了新出现的模式，且某些品系表现出类似的行为。

进行研究以确定品系是否可以基于它们的旷场步态表型和姿势表型来聚类。如同对Cntnap2突变体所做的那样，将k-均值聚类算法应用于对原始线性步态特征进行PCA而获得的主成分。循环相位度量不包括在该聚类分析中，因为PCA和k-均值聚类算法都假设这些度量位于欧几里得空间中。选择前2个PC是因为它们解释了原始特征空间中总方差的53％。为了评估聚类的质量，考虑了4个标准，并选择了k-均值聚类算法中的最佳聚类数，所有这些都指示最佳聚类有3个(图21)。已经确定，可以基于旷场步态行为来区分的品系聚类有以下三个(图12C至图12E)。聚类1主要由经典品系组成，诸如A/J、C3H/HeJ、129S1/SvImJ；聚类2由几个经典品系和大量野生来源品系组成，诸如MOLF/EiJ和CAST/EiJ。聚类3主要由C57和相关品系组成，包括参照C57BL/6J。构建了每个聚类的鼻部和尾尖的一致步幅相位图。聚类3具有高得多的幅值，而聚类1和聚类2具有相似的幅值，但相偏移发生了移位(图12D)。对线性步态度量的检查揭示了区分这些聚类的个体度量(图12E)。例如，聚类1具有较长的步幅长度和步长，而聚类3具有较高的尾根和尾尖侧向位移，而聚类2具有较低的鼻部侧向位移。总的来说，对个体度量的分析揭示，11个测量结果中有9个存在显著差异。综合起来，该分析揭示了实验室小鼠的步态和全身姿势的高度遗传性变异。使用这些度量的多维聚类的组合分析在实验室小鼠中发现了步态的三种亚型。结果还表明，参照小鼠品系C57BL/6J与其他普通小鼠品系和野生来源品系不同。

GWAS

品系调查证明，所测量的步态特征是高度可变的，因此，进行研究以调查旷场中小鼠步态的遗传性成分和遗传结构。在人类GWAS中，步态性状的均值和方差都是高度可遗传的(Adams,H.H.等人，J of Gerontol A Biol Sci Med Sci(2016)71:740-746)。根据每只动物行进的速度(10cm/s至15cm/s、15cm/s至20cm/s、20cm/s至25cm/s和25cm/s至30cm/s)，将每只动物的步幅分成四个不同的箱，计算每只动物的每种性状的均值和方差，以便进行GWAS来识别小鼠基因组中的数量性状基因座(QTL)。使用GEMMA(Zhou,X.and Stephens,M.Nat Genet(2012)44:821-824)，利用线性混合模型来进行全基因组关联分析，将性别和体长考虑为固定效应，并将群体结构考虑为随机效应。因为线性混合模型不处理循环值，所以相位步态数据被排除在该分析之外。通过确定表型的方差比例来评估遗传性，其中表型的方差比例由分型的基因型(PVE)解释(图13A，左图)。步态测量结果的遗传性显示出宽范围，并且大多数表型是中度至高度可遗传的。遗传性最低的平均表型是角速度和时间对称性，表明步态或转向行为对称性质的变异不是由于实验室小鼠的遗传变异引起的。相比之下，据发现，全身协调性测量结果(幅值测量结果)和传统步态测量结果是中度至高度可遗传的。表型的变异显示出中等遗传性，甚至对于均值性状具有低遗传性的性状也是如此(图13A，右图)。例如，均值角速度表型具有低遗传性(PVE<0.1)，而方差角速度表型具有中等遗传性(PVE介于0.25与0.4之间)。这些遗传性结果表明，步态性状和姿势性状适合于均值性状和方差性状的GWAS。

对于显著性阈值，通过将个体之间的值(在旷场行进的总距离)混洗1000次，计算SNP与表型的关联的经验p值校正。在每次置换中，提取最低p值以找到代表经校正p值0.05(1.9×10-5)的阈值。取每个SNP的所有均值表型、方差表型和组合的这两类表型的最小p值，以生成组合曼哈顿图(图13B至图13D)。每个SNP根据与具有最低p值的SNP相关联的表型来着色。对于每种表型，不同的速度箱通常是一致的，并且决定通过对每个SNP取四个箱的最小p值来组合相同表型的所有箱。

确定239个QTL代表均值性状，239个QTL代表方差性状(图13B至图13C)。遗传性最小的表型即均值角速度表型仅示出一个显著关联的基因组区域，而方差角速度表型具有53个相关联的基因组基因座。具有最多相关联基因座的表型是具有95个基因座的步幅计数。总的来说，当一起考虑所有表型时，发现了400个与至少一种表型相关联的显著基因组区域(图22)，表明对于均值表型和方差表型两者仅识别了78个QTL。大多数表型限于在与特征的均值及其方差相关联的QTL之间没有重叠。值得注意的是，与均值时间对称性和方差时间对称性相关联的QTL有许多重叠区域。在与均值表型相关联的28个基因座和与方差表型相关联的52个基因座中，有10个QTL重叠。这些数据表明，小鼠中的均值性状和方差性状的遗传结构在很大程度上是独立的。这些结果也开始勾勒出旷场中的小鼠步态和姿势的遗传景观。

讨论

步态和姿势是健康的重要指标，在许多神经疾病、神经肌肉疾病和神经精神疾病中会受到干扰。这些实验的目标是开发一个简单可靠的自动化系统，其能够对小鼠进行姿态估计，并从姿态中提取关键的步态度量和姿势度量。本文的信息提出了一种解决方案，其允许研究人员调整用于旷场分析的视频成像系统来提取步态度量。这种方法有一些明显的优点，也存在一些明显的局限性。这些方法允许以较低的工作量和较低的成本处理大量数据，因为需要捕捉的唯一数据是旷场中小鼠的自上而下灰度视频，在此之后所有的姿态估计和步态度量提取都是完全自动化的。因为该方法不需要昂贵的专业化装备，所以还有可能允许小鼠有时间适应旷场并长时间收集数据。此外，本发明的方法允许动物在其熟悉的环境中根据自身的意志运动(非强迫行为)，这是一种更具行为学相关性的测定(Jacobs,B.Y.等人，Curr Pain Headache Rep(2014)18:456)。由于使用视频方法，所以无法测量步态的动力学性质(Lakes,E.H.和Allen,K.D.，Osteoarthr Cartil(2016)24:1837-1849)。使用自上而下视频的决定还意味着一些姿态关键点经常被小鼠的身体遮挡。姿态估计网络对于一定量的遮挡具有鲁棒性，如后爪的情况，但是前爪在步态期间几乎总是被遮挡，其姿态估计值太不准确，因此已经从分析中排除。无论如何，在全部受测试的遗传模型中，后爪数据足以检测步态和身体姿势的稳健差异。此外，分析自由活动的动物的大量数据的能力被证明具有高灵敏度，即便在被认为是步态的动作周围有非常严格的启发式规则的情况下也是如此。

所提取的步态测量结果通常在实验中被量化(例如，步宽和步幅长度)，但是全身协调性测量结果(诸如侧向位移和尾部相位)在啮齿动物的步态实验(步幅期间关键点的相位和幅值)中通常不测量。人类的步态和全身姿势经常被测量为精神疾病的内表型sanders2010gait,licari2020prevalence,flyckt1999neurological,walther2012motor。本文描述的小鼠研究结果表明，步态和全身协调性测量结果是高度可遗传的，并且在疾病模型中会受到干扰。具体地讲，进行测试以评估神经退行性模型(Sod1)、神经发育模型(唐氏综合征，Mecp2)和ASD模型(Cntnap2、Shank3、FMR1、Del4Am)，并且在所有这些突变体中识别出改变的步态特征。其他人在神经退行性模型中也发现了类似的结果machado2015quantitative。值得注意的是唐氏综合征的数据。在人类中，失调和笨拙是唐氏综合征的突出特征。在小鼠模型中，这种失调先前在墨迹步态测定中被表征为后足迹杂乱无章。这里，分析揭示了对照与Tn65Dn小鼠之间的受干扰全身协调性差异。因此，本文所述的方法能够对先前定性的性状进行定量。

对大量小鼠品系的步态和姿势进行分析，识别了三种不同的整体运动类型。发现参照C57BL/6J和相关品系属于与其他常见实验室品系和野生来源品系分离的独特聚类。主要差异在于，C57BL/6和相关品系的尾部和鼻部运动具有高幅值。这在分析不同遗传背景中的步态和姿势时可能很重要。GWAS揭示了均值表型和方差表型在旷场中的步态和姿势的400个QTL。据发现，均值性状和方差性状由不同的遗传基因座调节。事实上，本发明的方法识别出大多数方差表型显示中等遗传性，甚至对于具有低遗传性的均值性状也是如此。尽管采用的样品动力不足，但已经对步态和姿势进行了人类GWAS，这使得对遗传性产生了良好的估计值，但只对少数显著相关联的基因座的遗传性产生了良好的估计值。本文在小鼠中呈现的结果支持以下结论：即，在人类中进行的有力研究可以识别数百种调节步态和姿势的遗传因素。

实施例2

设备和系统

系统150的一种或多种机器学习模型可以采取多种形式，包括神经网络。神经网络可以包括从输入层到输出层的多个层。每一层被配置成将特定类型的数据作为输入并输出另一类型的数据。来自一个层的输出作为下一层的输入。虽然运行时特定层的输入数据/输出数据的值直到神经网络实际运行才已知，但描述神经网络的数据描述了神经网络层的结构、参数和操作。

神经网络的一个或多个中间层也可以称为隐藏层。隐藏层的每个节点连接到输入层中的每个节点和输出层中的每个节点。在神经网络包括多个中间网络的情况下，隐藏层中的每个节点将连接到下一较高层和下一较低层中的每个节点。输入层的每个节点表示神经网络的潜在输入，输出层的每个节点表示神经网络的潜在输出。从一个节点到下一层中的另一节点的每个连接可以与权重或分数相关联。神经网络可以输出单个输出或一组加权的可能输出。

在一些实施方案中，神经网络可以是卷积神经网络(CNN)，其可以是多层感知器的正则化版本。多层感知器可以是全连接网络，也就是说，一层中的每个神经元连接到下一层中的所有神经元。

在一个方面，神经网络可以用递归连接来构造，使得网络的隐藏层的输出再次反馈回到隐藏层中，用于下一组输入。输入层的每个节点连接到隐藏层的每个节点。隐藏层的每个节点连接到输出层的每个节点。将隐藏层的输出馈送回到隐藏层中，用于处理下一组输入。并入有重复连接的神经网络可以被称为重复神经网络(RNN)。

在一些实施例中，神经网络可以是长短期存储器(LSTM)网络。在一些实施例中，LSTM可以是双向LSTM。双向LSTM从两个时间方向运行输入，一个是从过去状态到未来状态，一个是从未来状态到过去状态，其中过去状态可能对应于第一时间帧的视频数据的特性，未来状态可能对应于第二个后续时间帧的视频数据的特性。

神经网络的处理由每个节点输入和网络结构的所习得的权重确定。给定特定输入，神经网络一次确定输出一层，直到计算整个网络的输出层为止。

连接权重可以最初在训练期间由神经网络习得，其中给定输入与已知输出相关联。在训练数据集合中，将各种训练实例馈送到网络中。每个实例通常将正确的从输入到输出的连接的权重设置为1，并给定所有连接权重0。由于训练数据中的实例由神经网络处理，因此可以将输入发送至网络并与相关联的输出进行比较以确定网络性能与目标性能的比较方式。使用例如反向传播之类的训练技术，可以更新神经网络的权重以减少神经网络在处理训练数据时产生的错误。

可以使用各种机器学习技术训练和操作模型以执行本文所述的各种步骤，例如用户识别特征提取、编码、用户识别评分、用户识别置信度确定等。可以根据各种机器学习技术训练和操作模型。此类技术可包含例如神经网络(例如，深度神经网络和/或复发性神经网络)、推断引擎、训练过的分类器等。经训练分类器的实例包含支持载体机器(SVM)、神经网络、决策树、与决策树组合的AdaBoost(为“适应增强(Adaptive Boosting)”的简称)和随机森林。以SVM为例，SVM是具有相关联的学习算法的监督学习模型，所述学习算法分析数据并识别数据中的模式，并且通常用于分类和回归分析。给定训练实例集合，每个训练实例标记为属于两个类别中的一种类别，SVM训练算法构建将新实例指派给一种类别或另一种类别的模型，使其成为非概率二进制线性分类器。可以构建更复杂的SVM模型，其中训练集标识多于两个类别，其中SVM确定哪种类别与输入数据最相似。可以映射SVM模型，使得单独类别的实例除以清晰间隙。然后，将新实例映射到该相同空间中，并基于其落入间隙的哪一侧来预测属于一种类别。分类器可以发出“分数”，指示数据最匹配的类别。分数可以提供数据与类别匹配程度的指示。

为了应用机器学习技术，机器学习过程本身需要进行训练。训练机器学习部件，例如在此情况下，第一模型或第二模型中的一者，需要为训练实例建立“地面真值”。在机器学习中，术语“地面真值”是指用于监督学习技术的训练集合分类的精度。可以使用各种技术来训练模型，包括反向传播、统计学习、受监督学习、半监督学习、随机学习或其他已知技术。

图23是概念性地展示可以与系统一起使用的设备1600的框图。图24是概念性地展示远程设备(诸如系统150)的示例部件的框图，该远程设备可以辅助处理视频数据、识别受试者行为等。系统150可以包括一个或多个服务器。如本文中所使用，“服务器”可以指在服务器/客户端计算结构中理解的传统服务器，但是也可以指可以辅助本文讨论的操作的许多不同计算部件。例如，服务器可包含一个或多个物理计算部件(例如机架服务器)，所述物理计算部件以物理方式和/或通过网络连接到其它设备/部件，并且能够执行计算操作。服务器还可以包含模仿计算机系统并且在一个或多个设备上运行的一个或多个虚拟机。服务器还可包含硬件、软件、固件等的其它组合以执行本文中所论述的操作。服务器可以被配置为使用客户端-服务器模型、计算机局模型、网格计算技术、雾计算技术、大型机技术、效用计算技术、对等模型、沙箱技术或其他计算技术中的一种或多种来操作。

在本公开的整体系统中可以包括多个系统150，诸如用于执行关键点/身体部位跟踪的一个或多个系统150、用于步态度量提取的一个或多个系统150、用于姿势度量提取的一个或多个系统150、用于统计分析的一个或多个系统150、用于训练/配置系统的一个或多个系统150，等等。在操作中，这些系统中的每一者都可以包括驻留在相应设备150上的计算机可读和计算机可执行指令，这将在下文进一步论述。

这些设备(1600/150)中的每一者可以包括一个或多个控制器/处理器(1604/1704)，每个控制器/处理器可以包括用于处理数据和计算机可读指令的中央处理单元(CPU)和用于存储相应设备的数据和指令的存储器(1606/1706)。存储器(1606/1706)可以各自包括易失性随机存取存储器(RAM)、非易失性只读存储器(ROM)、非易失性磁阻存储器(MRAM)，和/或其他类型的存储器。每个设备(1600/150)还可以包括用于存储数据和控制器/处理器可执行的指令的数据存储部件(1608/1708)。每个数据存储部件(1608/1708)可以各自包括一种或多种非易失性存储类型，诸如磁存储、光存储、固态存储等。每个设备(1600/150)还可以通过相应的输入/输出设备接口(1602/1702)连接到可移动或外部非易失性存储器和/或存储设备(诸如可移动存储卡、存储器密钥驱动器、联网存储设备等)。

用于操作每个设备(1600/150)及其各种部件的计算机指令可以由相应设备的控制器/处理器(1604/1704)在运行时使用存储器(1606/1706)作为临时“工作”存储设备来执行。设备的计算机指令能够以非暂时性方式存储在非易失性存储器(1606/1706)、存储设备(1608/1708)或外部设备中。替代性地，除了软件之外或代替软件，一些或所有可执行指令可以嵌入相应设备上的硬件或固件中。

每个设备(1600/150)均包括输入/输出设备接口(1602/1702)。多种部件可以通过输入/输出设备接口(1602/1702)连接，这将在下文进一步论述。此外，每个设备(1600/150)可以包括地址/数据总线(1624/1724)，用于在相应设备的部件之间传送数据。除了通过总线(1624/1724)连接到其他部件之外(或代替该设置)，设备(1600/150)内的每个部件还可以直接连接到其他部件。

参见图23，设备1600可以包括输入/输出设备接口1602，其连接到多种部件，诸如音频输出部件，诸如扬声器1612、有线头戴式耳机或无线头戴式耳机(未示出)，或者能够输出音频的其他部件。设备1600可以另外包括用于显示内容的显示器1616。设备1600还可以包括相机1618。

经由天线1614，输入/输出设备接口1602可以经由无线局域网(WLAN)(诸如WiFi)无线电、蓝牙和/或无线网络无线电(诸如能够与无线通信网络通信的无线电，其中无线通信网络诸如长期演进(LTE)网络、WiMAX网络、3G网络、4G网络、5G网络等)连接到一个或多个网络199。也可以支持诸如以太网的有线连接。通过网络199，系统可以分布在联网环境中。I/O设备接口(1602/1702)还可以包括允许在设备(诸如服务器集合中的不同物理服务器或其他部件)之间交换数据的通信部件。

设备1600或系统150的部件可以包括它们自己的专用处理器、存储器和/或存储设备。替代性地，设备1600或系统150的一个或多个部件可以分别利用设备1600或系统150的I/O接口(1602/1702)、处理器(1604/1704)、存储器(1606/1706)和/或存储设备(1608/1708)。

如上文所指出的，在单个系统中可以采用多个设备。在此类多设备系统中，每个设备可以包含用于执行系统处理的不同方面的不同部件。多个设备可以包括重叠的部件。如本文所述的设备1600和系统150的部件是说明性的，并且可以作为独立设备来定位，或者可以整体或部分地包括在更大的设备或系统中作为其部件。

本文所公开的概念可以应用于许多不同的设备和计算机系统中，包括例如通用计算系统、视频/图像处理系统和分布式计算环境。

本公开的上述方面意欲是说明性的。选择它们是为了解释本公开的原理和应用，而不旨在是详尽的或限制本公开。所公开的方面的许多修改和变化对于本领域技术人员来说可能是显而易见的。计算机和语音处理领域的普通技术人员应认识到，本文中所描述的部件和过程步骤可以与其它部件或步骤互换，或与其它部件或步骤组合，并且仍实现本公开的益处和优点。此外，本领域的技术人员应显而易见的是，可以在没有本文公开的一些或全部具体细节和步骤的情况下实践本公开。

所公开的系统的各方面可以实施为计算机方法或制成品，例如存储器设备或非暂时性计算机可读存储介质。计算机可读存储介质可以由计算机读取，并且可以包括用于使计算机或其它设备执行本公开中描述的过程的指令。计算机可读存储介质可以由易失性计算机存储器、非易失性计算机存储器、硬盘驱动器、固态存储器、闪存驱动器、可移除磁盘和/或其它介质实施。另外，系统的部件可以在固件或硬件中实施。

等效形式

尽管本文已经描述和说明了本发明的若干实施例，但是本领域的普通技术人员将容易地设想用于执行功能和/或获得本文中所描述的结果和/或一个或多个优点的各种其它手段和/或结构，并且这些变化和/或修改中的每一个被视为在本发明的范围内。更一般地说，本领域的技术人员将容易理解，本文中所描述的所有参数、尺寸、材料和配置都意味着是示例性的，并且实际参数、尺寸、材料和/或配置将取决于本发明的教导所针对的特定应用。本领域技术人员将认识到或仅使用常规实验就能够确定本文所述的本发明的具体实施例的许多等效形式。因此，应理解，前述实施例仅以举例的方式呈现，且在所附权利要求书及其等效形式的范围内；可以按具体描述和要求之外的方式实施本发明。本发明涉及本文中所描述的每个单独的特征、系统、物品、材料和/或方法。此外，如果两个或更多个此类特征、系统、物品、材料和/或方法并不相互矛盾，则此类特征、系统、物品、材料和/或方法的任何组合包含在本发明的范围内。应理解，如本文中定义和使用的所有定义都优先于字典定义、以引用的方式并入的文档中的定义和/或定义的术语的普通含义。

如本文在本说明书和权利要求书中所使用，除非明确地相反指示，否则不定冠词“一(a和an)”应理解为意味着“至少一个”。如本文在说明书和权利要求中所使用的，短语“和/或”应理解为意指如此结合的元件中的“任一个或两个”，即元件在一些情况下结合地存在而在其它情况下分开存在。除非明确相反指示，否则除通过“和/或”条目所具体地标识的元件以外的其它元件可视情况存在，而无论它们与所具体地标识的元件相关或不相关。

除非另外确切地说明或在如所使用的背景内以其它方式理解，否则本文所使用的条件语言，如尤其“可”(can、could、might、may、e.g.)等通常旨在传达某些实施例包含某些特征、元件和/或步骤，而其它实施例不包含某些特征、元件和/或步骤。因此，此条件性语言通常并非旨在暗示特征、元件和/或步骤无论如何都是一个或多个实施例所需要的，或者所述一个或多个实施例必须包含用于在具有或不具有其它输入或提示的情况下决定这些特征、元件和/或步骤是否包含于任一特定实施例中或有待于在任一特定实施例中执行的逻辑。术语“包括”、“包含”、“具有”等是同义并且以开放方式包含地使用，并且不排除额外元件、特征、动作、操作等。此外，术语“或”是以其包括性的意义(而非其排他性的意义)使用的，使得当用于例如连接要素列表时，术语“或”意指该列表中的要素中的一个、一些或全部要素。

本申请中引用或提及的所有参考文献、专利、专利申请和出版物均全文以引用方式并入本文。

Claims

1.一种计算机实施的方法，包括：

接收表示受试者的视频捕捉运动的视频数据；

处理所述视频数据，以识别在一个时间段内跟踪所述受试者的一组身体部位的运动的点数据；

使用所述点数据确定在所述时间段期间在所述视频数据中表示的多个支撑相和对应的多个摆动相；

基于所述多个支撑相和所述多个摆动相，确定在所述时间段期间在所述视频数据中表示的多个步幅间隔；

使用所述点数据确定所述受试者的度量数据，所述度量数据基于所述多个步幅间隔中的每个步幅间隔；

将所述受试者的所述度量数据与对照度量数据进行比较；以及

基于所述比较，确定所述受试者的度量数据与所述对照度量数据之间的差异。

2.如权利要求1所述的计算机实施的方法，其中所述一组身体部位包括鼻部、颈基部、脊柱中部、左后爪、右后爪、尾根、尾中部和尾尖；并且

其中所述多个支撑相和所述多个摆动相是基于所述左后爪和所述右后爪的移动速度的变化来确定的。

3.如权利要求2所述的计算机实施的方法，还包括：

基于所述左后爪或所述右后爪的脚尖离地事件，确定从所述多个支撑相中的第一支撑相到所述多个摆动相中的第一摆动相的转变；以及

基于所述左后爪或所述右后爪的脚掌触地事件，确定从所述多个摆动相中的第二摆动相到所述多个支撑相中的第二支撑相的转变。

4.如权利要求1所述的计算机实施的方法，其中所述度量数据对应于所述受试者在每个步幅间隔期间的步态测量结果。

5.如权利要求1或4所述的计算机实施的方法，其中所述一组身体部位包括左后爪和右后爪，并且其中确定所述度量数据包括：

使用所述点数据确定每个步幅间隔中的步长，所述步长表示所述右后爪越过前一次左后爪触地位置所行进的距离；

使用所述点数据确定用于所述每个步幅间隔的步幅长度，所述步幅长度表示所述左后爪在所述每个步幅间隔期间行进的距离；

使用所述点数据确定所述每个步幅间隔中的步宽，所述步宽表示所述左后爪与所述右后爪之间的距离。

6.如权利要求1或4所述的计算机实施的方法，其中所述一组身体部位包括尾根，并且其中确定所述度量数据包括：

使用所述点数据，基于所述每个步幅间隔中所述尾根的运动，确定所述受试者的速度数据。

7.如权利要求1或4所述的计算机实施的方法，其中所述一组身体部位包括尾根，并且其中确定所述度量数据包括：

使用所述点数据，基于在表示所述多个步幅间隔中的一个步幅间隔的一组帧期间所述尾根的运动，确定所述受试者的一组速度数据；以及

通过对所述一组速度数据求平均值，来确定所述步幅间隔中的步幅速度。

8.如权利要求1或4所述的计算机实施的方法，其中所述一组身体部位包括右后爪和左后爪，并且其中确定所述度量数据包括：

使用所述点数据确定第一支撑持续时间，所述第一支撑持续时间表示在所述多个步幅间隔中的一个步幅间隔期间所述右后爪接触地面的时间量；

基于所述第一支撑持续时间和所述步幅间隔持续时间确定第一占空因数；

使用所述点数据确定第二支撑持续时间，所述第二支撑持续时间表示在所述步幅间隔期间所述左后爪接触地面的时间量；

基于所述第二支撑持续时间和所述步幅间隔持续时间确定第二占空因数；以及

基于所述第一占空因数和所述第二占空因数确定所述步幅间隔的平均占空因数。

9.如权利要求1或4所述的计算机实施的方法，其中所述一组身体部位包括尾根和颈基部，并且其中确定所述度量数据包括：

使用所述点数据，在表示所述多个步幅间隔中的一个步幅间隔的一组帧期间，确定连接所述尾根和所述颈基部的一组向量；以及

使用所述一组向量来确定所述步幅间隔中所述受试者的角速度。

10.如权利要求1所述的计算机实施的方法，其中所述度量数据对应于所述受试者在每个步幅间隔期间的姿态测量结果。

11.如权利要求1或10所述的计算机实施的方法，其中所述一组身体部位包括所述受试者的脊柱中心，

其中所述多个步幅间隔中的一个步幅间隔与所述视频数据的一组帧相关联，并且

其中确定所述度量数据包括使用所述点数据确定所述步幅间隔中的位移向量，所述位移向量连接所述一组帧的第一帧中表示的所述脊柱中心和所述一组帧的最后一帧中表示的所述脊柱中心。

12.如权利要求11所述的计算机实施的方法，其中所述一组身体部位还包括所述受试者的鼻部，并且其中确定所述度量数据包括：

使用所述点数据，基于所述一组帧的每一帧中所述鼻部距所述位移向量的垂直距离，确定所述步幅间隔中所述鼻部的一组侧向位移。

13.如权利要求12所述的计算机实施的方法，其中所述鼻部的所述侧向位移还基于所述受试者的体长。

14.如权利要求12所述的计算机实施的方法，其中确定所述度量数据还包括通过以下方式确定尾尖位移相偏移：

使用所述鼻部的所述一组侧向位移执行插值，以生成所述步幅间隔中所述鼻部的平滑曲线侧向位移；

使用所述鼻部的所述平滑曲线侧向位移来确定在所述步幅间隔期间所述鼻部的最大位移何时出现；以及

确定表示当所述鼻部发生所述最大位移时完成的所述步幅间隔的百分比的步幅位置百分比。

15.如权利要求11所述的计算机实施的方法，其中所述一组身体部位还包括所述受试者的尾根，并且其中确定所述度量数据包括：

使用所述点数据，基于所述一组帧的每一帧中所述尾根距所述位移向量的垂直距离，确定所述步幅间隔中所述尾根的一组侧向位移。

16.如权利要求15所述的计算机实施的方法，其中确定所述度量数据还包括通过以下方式确定尾根位移相偏移：

使用所述尾根的所述一组侧向位移执行插值，以生成所述步幅间隔中所述尾根的平滑曲线侧向位移；

使用所述尾根的所述平滑曲线侧向位移来确定在所述步幅间隔期间所述尾根的最大位移何时出现；以及

确定表示当所述尾根发生所述最大位移时完成的所述步幅间隔的百分比的步幅位置百分比。

17.如权利要求11所述的计算机实施的方法，其中所述一组身体部位还包括所述受试者的尾尖，并且其中确定所述度量数据包括：

使用所述点数据，基于所述一组帧的每一帧中所述尾尖距所述位移向量的垂直距离，确定所述步幅间隔中所述尾尖的一组侧向位移。

18.如权利要求17所述的计算机实施的方法，其中确定所述度量数据还包括通过以下方式确定尾尖位移相偏移：

使用所述尾尖的所述一组侧向位移执行插值，以生成所述步幅间隔中所述尾尖的平滑曲线侧向位移；

使用所述尾尖的所述平滑曲线侧向位移来确定在所述步幅间隔期间所述尾尖的最大位移何时出现；以及

确定表示当所述尾尖发生所述最大位移时完成的所述步幅间隔的百分比的步幅位置百分比。

19.如权利要求11所述的计算机实施的方法，其中处理所述视频数据包括使用机器学习模型来处理所述视频数据。

20.如权利要求1所述的计算机实施的方法，其中处理所述视频数据包括使用神经网络模型来处理所述视频数据。

21.如权利要求1所述的计算机实施的方法，其中所述视频用自上而下视图捕捉旷场中的所述受试者的由受试者确定的运动。

22.如权利要求1所述的计算机实施的方法，其中所述对照度量数据是从一个或多个对照生物体获得的。

23.如权利要求22所述的计算机实施的方法，其中所述受试者是生物体，并且所述对照生物体和所述受试者生物体是同一物种。

24.如权利要求23所述的计算机实施的方法，其中所述对照生物体是所述物种的实验室品系，并且任选地其中所述实验室品系是图14E中列出的一种品系。

25.如权利要求22所述的计算机实施的方法，其中所述受试者度量数据相比所述对照度量数据的统计学显著差异表明所述受试者的表型相比所述对照生物体的表型的差异。

26.如权利要求25所述的计算机实施的方法，其中所述表型差异表明所述受试者中存在疾病或病症。

27.如权利要求25或26所述的计算机实施的方法，其中所述表型差异表明所述受试者的遗传背景与所述对照生物体的遗传背景之间的差异。

28.如权利要求22所述的计算机实施的方法，其中所述受试者度量数据相比所述对照度量数据的统计学显著差异表明所述受试者的基因型相比所述对照生物体的基因型的差异。

29.如权利要求28所述的计算机实施的方法，其中所述基因型差异表明所述受试者与所述对照生物体之间的品系差异。

30.如权利要求28所述的计算机实施的方法，其中所述基因型差异表明所述受试者中存在疾病或病症。

31.如权利要求1所述的计算机实施的方法，其中所述对照度量数据对应于包括以下项在内的要素：对照步幅长度、对照步长和对照步宽，其中所述受试者的度量数据所包括的要素包括：所述受试者在所述时间段期间的步幅长度、所述受试者在所述时间段期间的步长，以及所述受试者在所述时间段期间的步宽，并且其中所述对照数据和所述度量数据的所述一个或多个要素之间的差异表示所述受试者与所述对照之间的表型差异。

32.一种确定候选化合物对疾病或病症存在效果的方法，包括：

获得受试者的第一度量数据，其中用于获得所述受试者的所述第一度量数据的手段包括权利要求1至31中任一项所述的计算机生成的方法，并且其中所述受试者患有所述疾病或病症，或者为所述疾病或病症的动物模型；

向所述受试者施用所述候选化合物；

获得所述生物体的施用后度量数据；以及

将所述第一度量数据和所述施用后度量数据进行比较，其中所述第一度量数据和所述施用后度量数据的差异识别出所述候选化合物对所述疾病或病症的效果。

33.如权利要求32所述的方法，还包括另外测试所述化合物在治疗所述疾病或病症中的效果。

34.一种识别候选化合物对疾病或病症存在效果的方法，所述方法包括：

向患有所述疾病或病症的受试者或者为所述疾病或病症的动物模型的受试者施用所述候选化合物；

获得所述受试者的度量数据，其中用于获得所述受试者的所述度量数据的手段包括权利要求1至32中任一项所述的计算机生成的方法；以及

将所获得的度量数据与对照度量数据进行比较，其中所获得的度量数据和所述对照度量数据的差异识别出所述候选化合物对所述疾病或病症存在效果。

35.一种系统，包括：

至少一个处理器；以及

包括以下指令的至少一个存储器，这些指令在由所述至少一个处理器执行时，使得所述系统：

接收表示受试者的视频捕捉运动的视频数据；

36.如权利要求35所述的系统，其中所述一组身体部位包括鼻部、颈基部、脊柱中部、左后爪、右后爪、尾根、尾中部和尾尖；以及

37.根据权利要求36所述的系统，其中所述至少一个存储器还包括以下指令，这些指令在由所述至少一个处理器执行时，进一步使得所述系统：

38.如权利要求35所述的系统，其中所述度量数据对应于所述受试者在每个步幅间隔期间的步态测量结果。

39.如权利要求35或38所述的系统，其中所述一组身体部位包括左后爪和右后爪，并且其中使得所述系统确定所述度量数据的所述指令进一步使得所述系统：

40.如权利要求35或38所述的系统，其中所述一组身体部位包括尾根，并且其中使得所述系统确定所述度量数据的所述指令进一步使得所述系统：

41.如权利要求35或38所述的系统，其中所述一组身体部位包括尾根，并且其中使得所述系统确定所述度量数据的所述指令进一步使得所述系统：

42.如权利要求35或38所述的系统，其中所述一组身体部位包括右后爪和左后爪，并且其中使得所述系统确定所述度量数据的所述指令进一步使得所述系统：

43.如权利要求35或38所述的系统，其中所述一组身体部位包括尾根和颈基部，并且其中使得所述系统确定所述度量数据的所述指令进一步使得所述系统：

44.如权利要求35所述的系统，其中所述度量数据对应于所述受试者在每个步幅间隔期间的姿态测量结果。

45.如权利要求35或44所述的系统，其中所述一组身体部位包括所述受试者的脊柱中心，

其中使得所述系统确定所述度量数据的所述指令进一步使得所述系统使用所述点数据来确定所述步幅间隔中的位移向量，所述位移向量连接所述一组帧的第一帧中表示的所述脊柱中心和所述一组帧的最后一帧中表示的所述脊柱中心。

46.如权利要求45所述的系统，其中所述一组身体部位还包括所述受试者的鼻部，并且其中使得所述系统确定所述度量数据的所述指令进一步使得所述系统：

47.如权利要求46所述的系统，其中所述鼻部的所述侧向位移还基于所述受试者的体长。

48.如权利要求46所述的系统，其中使得所述系统确定所述度量数据的所述指令进一步使得所述系统通过以下方式确定尾尖位移相偏移：

49.如权利要求45所述的系统，其中所述一组身体部位还包括所述受试者的尾根，并且其中使得所述系统确定所述度量数据的所述指令进一步使得所述系统：

50.如权利要求49所述的系统，其中使得所述系统确定所述度量数据的所述指令进一步使得所述系统通过以下方式确定尾根位移相偏移：

51.如权利要求45所述的系统，其中所述一组身体部位还包括所述受试者的尾尖，并且其中使得所述系统确定所述度量数据的所述指令进一步使得所述系统：

52.如权利要求51所述的系统，其中使得所述系统确定所述度量数据的所述指令进一步使得所述系统通过以下方式确定尾尖位移相偏移：

53.如权利要求35所述的系统，其中使得所述系统处理所述视频数据的所述指令进一步使得所述系统使用机器学习模型来处理所述视频数据。

54.如权利要求35所述的系统，其中使得所述系统处理所述视频数据的所述指令进一步使得所述系统使用神经网络模型来处理所述视频数据。

55.如权利要求35所述的系统，其中所述视频用自上而下视图捕捉旷场中的所述受试者的由受试者确定的运动。