CN116075870A - 行为的自动化表型分析 - Google Patents

行为的自动化表型分析 Download PDF

Info

Publication number
CN116075870A
CN116075870A CN202180063085.6A CN202180063085A CN116075870A CN 116075870 A CN116075870 A CN 116075870A CN 202180063085 A CN202180063085 A CN 202180063085A CN 116075870 A CN116075870 A CN 116075870A
Authority
CN
China
Prior art keywords
data
subject
body part
frame
pain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180063085.6A
Other languages
English (en)
Inventor
V·库玛
J·沃顿
J·怀特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jackson Laboratory
Original Assignee
Jackson Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jackson Laboratory filed Critical Jackson Laboratory
Publication of CN116075870A publication Critical patent/CN116075870A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4824—Touch or pain perception evaluation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4848—Monitoring or testing the effects of treatment, e.g. of medication
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/40—Animals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/42—Evaluating a particular growth phase or type of persons or animals for laboratory research
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1104—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb induced by stimuli or drugs
    • A61B5/1105—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb induced by stimuli or drugs of laboratory animals, e.g. activity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Hospice & Palliative Care (AREA)
  • Pain & Pain Management (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Medicinal Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)

Abstract

本文描述的系统和方法提供了用于自动化表型分析的技术。在一些实施方案中，这些系统和方法处理视频数据、标识身体部位、提取帧级别的特征，以及确定在视频数据中捕捉的受试者行为。这些系统和方法可以使用一种或多种机器学习模型。

Description

行为的自动化表型分析
相关申请
本申请根据35U.S.C.§119(e)要求2020年7月30日提交的美国临时申请序列号63/058,569的权益，该临时申请的公开内容全文以引用方式并入本文。
技术领域
在一些方面，本发明涉及通过处理视频数据对行为、特别是伤害感受行为进行自动化表型分析。
政府支持
本发明是在美国国立卫生研究院资助的R21DA048634和UM1OD023222项目下，获得政府支持而完成的。美国政府拥有本发明的某些权利。
背景技术
疼痛现象是身体信息、情绪背景和个人主观体验的复杂组合。动物受试者通常用来研究疼痛行为的神经和遗传基础。由于动物的主观体验无法测量，所以开发了其他方法来量化“伤害感受性”行为，这类行为被定义为对疼痛刺激的行为反应。许多伤害感受测定依赖响应于短暂的机械刺激或热刺激的快速运动缩回反射，这种简单的运动相对容易定义和识别，但是此类测定与临床疼痛缺乏相似性。在小鼠中，这些测定与更具临床相关性的慢性疼痛测定的关联性较差，而与惊吓和反应性性状更密切相关。以前开发了福尔马林测定来评估大鼠的伤害感受性行为，以及监测在很长一段时间内响应于化学物质诱发的局部性炎症的复杂行为。目前可用的福尔马林测定由于依赖人类观察者来识别动物何时表现出伤害感受性行为而有效性受限，这种依赖性使得观察劳动强度大、耗时且主观性强，因为不同的伤害感受性行为并不总是统一定义和记录。
发明内容
根据本发明的一个方面，提供了一种计算机实现的方法，该方法包括：接收表示受试者的视频捕捉运动的视频数据；使用该视频数据针对第一时间段期间的第一帧确定第一点数据，该第一点数据标识受试者的第一身体部位的位置；使用该视频数据针对第一帧确定第二点数据，该第二点数据标识受试者的第二身体部位的位置；使用第一点数据和第二点数据确定第一距离数据，该第一距离数据表示第一身体部位与第二身体部位之间的距离；确定至少对应于第一帧和第二帧的第一特征向量，该第一特征向量至少包括第一距离数据和第二距离数据；使用经训练的模型至少处理第一特征向量，该经训练的模型被配置为识别受试者在第一时间段期间表现出行为的可能性；以及基于至少对第一特征向量的处理，确定对应于第一时间段的第一标签，该第一标签标识受试者在第一时间段期间的第一行为。在一些实施方案中，该方法还包括使用视频数据针对第一帧确定第三点数据，该第三点数据标识受试者的第三身体部位的位置。在某些实施方案中，该方法还包括使用第一点数据和第三点数据确定第二距离数据，该第二距离数据表示第一身体部位与第三身体部位之间的距离；确定对应于第一帧以至少包括该第二距离数据的第二特征向量；并且其中使用经训练的模型处理包括使用该经训练的模型处理第一特征向量和第二特征向量。在一些实施方案中，该方法还包括使用第一点数据、第二点数据和第三点数据确定第一角度数据，该第一角度数据表示与第一身体部位、第二身体部位和第三身体部位对应的角度；确定至少对应于第一帧的第二特征向量，该第二特征向量至少包括第一角度数据；并且其中使用经训练的模型处理还包括使用该经训练的模型处理第一特征向量和第二特征向量。在一些实施方案中，该方法还包括使用视频数据针对第一时间段期间的第二帧确定第四点数据，该第四点数据标识第一身体部位的位置；使用该视频数据针对第二帧确定第五点数据，该第五点数据标识第二身体部位的位置；使用该视频数据针对第二帧确定第六点数据，该第六点数据标识第三身体部位的位置；使用第四点数据和第五点数据针对第二帧确定第三距离数据，该第三距离数据表示第一身体部位与第二身体部位之间的距离；使用第四点数据和第六点数据针对第二帧确定第四距离数据，该第四距离数据表示第一身体部位与第三身体部位之间的距离；使用第四点数据、第五点数据和第六点数据针对第二帧确定第二角度数据，该第二角度数据表示与第一身体部位、第二身体部位和第三身体部位对应的角度；以及确定至少包括第三距离数据、第四距离数据和第二角度数据的第二特征向量。在某些实施方案中，第二距离数据表示针对第一时间段期间的第二帧，第一身体部位与第二身体部位之间的距离。在一些实施方案中，该方法还包括至少使用第一距离数据和第二距离数据来计算对应于第一帧的度量数据，其中第一特征向量包括该度量数据。在一些实施方案中，该度量数据表示至少对应于第一距离数据和第二距离数据的统计分析，该统计分析是平均值、标准偏差、中值和中值绝对偏差中的至少一者。在一些实施方案中，该方法还包括：使用附加的经训练模型来处理视频数据以确定第一点数据，其中该第一点数据包括表示第一身体部位的位置的像素数据。在某些实施方案中，该方法还包括使用附加的经训练模型来处理视频数据，以确定像素坐标对应于第一身体部位的可能性；以及至少部分地基于满足阈值的可能性来确定第一点数据，该第一点数据包括像素坐标。在某些实施方案中，该方法还包括使用视频数据针对第一帧确定附加点数据，该附加点数据标识受试者的至少12个部分的位置，其中这12个部分至少包括第一身体部位和第二身体部位。在一些实施方案中，该方法还包括针对第一帧确定附加距离数据，该附加距离数据表示多个身体部分对之间的距离，该多个身体部分对是使用受试者的这12个部分中的成对部分形成的，其中第一特征向量包括该附加距离数据。在一些实施方案中，该方法还包括针对第一帧确定附加角度数据，该附加角度数据表示与多个身体部分三元组对应的角度，该多个身体部分三元组是通过在受试者的这12个部分中选择三个部分而形成的，并且其中第一特征向量包括该附加角度数据。在一些实施方案中，该方法还包括：确定对应于第一时间段期间的六个帧的附加特征向量，这六个帧至少包括第一帧和第二帧；使用这些附加特征向量来计算度量数据，该度量数据表示平均值、标准偏差、中值和中值绝对偏差中的至少一者；以及使用经训练的模型来处理该度量数据，以确定第一标签。在某些实施方案中，该方法还包括针对第一帧确定表示受试者的12个部分的像素坐标的位置数据，该位置数据至少包括第一点数据、第二点数据和第三点数据，并且其中使用经训练的模型来处理度量数据还包括使用经训练的模型来处理该位置数据。在一些实施方案中，该方法还包括确定对应于第一时间段期间的11个帧的附加特征向量，这11个帧至少包括第一帧和第二帧；使用这些附加特征向量来计算度量数据，该度量数据表示平均值、标准偏差、中值和中值绝对偏差中的至少一者；以及使用经训练的模型来处理该度量数据，以确定第一标签。在某些实施方案中，该方法还包括以下11个帧：其包括第一帧之前的五个帧和第一帧之后的五个帧。在某些实施方案中，该方法还包括确定对应于第一时间段期间的21个帧的附加特征向量，这21个帧至少包括第一帧和第二帧；使用这些附加特征向量来计算度量数据，该度量数据表示平均值、标准偏差、中值和中值绝对偏差中的至少一者；以及使用经训练的模型来处理该度量数据，以确定第一标签。在一些实施方案中，这21个帧包括第一帧之前的11个帧和第一帧之后的11个帧。在一些实施方案中，视频数据表示多于一个受试者的视频捕捉运动。在一些实施方案中，接收视频数据包括接收从受试者的自上而下视频获得的视频数据。在一些实施方案中，接收视频数据包括接收不是从受试者的自上而下视频获得的视频数据。在一些实施方案中，视频包括自上而下视频。在一些实施方案中，视频包括不同于自上而下视频的视频。在某些实施方案中，视频不包括自上而下视频。在某些实施方案中，经训练的模型是分类器，该分类器被配置为处理对应于视频帧的特征数据，以确定由这些视频帧中呈现的受试者表现出的行为，该特征数据对应于该受试者的多个部分。在某些实施方案中，第一身体部位是受试者的嘴部；第二身体部分是受试者的右后足；经训练的模型被配置为识别受试者表现出第一身体部位与第二身体部位之间的接触的可能性；并且第一标签指示第一帧表示第一身体部位与第二身体部位之间的接触。在一些实施方案中，第一帧对应于30毫秒的视频数据。在某些实施方案中，视频数据对应于捕捉受试者的顶视图的第一视频和捕捉受试者的侧视图的第二视频。在一些实施方案中，受试者是哺乳动物。在一些实施方案中，受试者是啮齿动物。在一些实施方案中，受试者是灵长类动物。在某些实施方案中，受试者是基因工程化受试者。在某些实施方案中，受试者是小鼠。在一些实施方案中，小鼠是基因工程化啮齿动物。在某些实施方案中，受试者是基因工程化小鼠。
根据本发明的另一个方面，提供了一种确定测试受试者的伤害感受性行为的方法，该方法包括监测该测试受试者的反应，其中监测手段包括任何前述方法的任何实施方案所述的计算机实现的方法。在某些实施方案中，测试受试者存在疼痛病症。在一些实施方案中，该疼痛病症包括以下一种或多种：炎性疼痛、神经性疼痛、肌肉疼痛、关节疼痛、慢性疼痛、内脏疼痛、癌症疼痛和术后疼痛。在一些实施方案中，测试受试者是存在疼痛病症的动物模型。在某些实施方案中，在测试受试者中诱发疼痛。在一些实施方案中，诱发疼痛包括使测试受试者接触以下一种或多种刺激：热、光、压力、冷和化学药剂。在一些实施方案中，在测试受试者中诱发疼痛的手段包括在该测试受试者中诱发炎症。在一些实施方案中，诱发炎症的手段包括使测试受试者接触以下一种或多种刺激：热、光、压力、冷和化学药剂。在某些实施方案中，化学药剂包括福尔马林和丙酮中的一种或多种。在某些实施方案中，诱发疼痛的手段包括以下一种或多种：使测试受试者接触伤害性刺激(例如诱发疼痛的化学药剂)、将生成伤害性刺激的元件植入受试者体内、给测试受试者注射诱发疼痛的化学药剂，等等。在一些实施方案中，测试受试者是基因工程化测试受试者。在某些实施方案中，测试受试者是啮齿动物，任选地是小鼠。在一些实施方案中，测试受试者是基因工程化啮齿动物。在某些实施方案中，测试受试者是基因工程化小鼠。在一些实施方案中，该方法还包括向测试受试者施用候选治疗剂。在一些实施方案中，如果在测试受试者中诱发疼痛，则在该测试受试者中诱发疼痛之前，向该测试受试者施用候选治疗剂。在某些实施方案中，如果在测试受试者中诱发疼痛，则在该测试受试者中诱发疼痛期间和之后中的一者或多者中，向该测试受试者施用候选治疗剂。在某些实施方案中，向测试受试者施用候选治疗剂一次。在一些实施方案中，向测试受试者施用候选治疗剂两次、三次、四次、五次或更多次。在某些实施方案中，向测试受试者两次或更多次施用候选治疗剂是全都在诱发疼痛之前、全都在诱发疼痛期间或全都在诱发疼痛之后进行的。在一些实施方案中，向测试受试者两次或更多次施用候选治疗剂是以在诱发疼痛之前施用、在诱发疼痛期间施用和在诱发疼痛之后施用中的两者或更多者的组合进行的。在一些实施方案中，将测试受试者的监测结果与对照结果进行比较。在某些实施方案中，对照结果是来自利用计算机实现的方法监测的对照受试者的结果。在某些实施方案中，在对照受试者中诱发疼痛。在一些实施方案中，在对照受试者中诱发的疼痛基本上等同于在测试受试者中诱发的疼痛。在某些实施方案中，对照受试者是存在疼痛病症的动物模型。在一些实施方案中，测试动物和对照动物都是存在疼痛病症的动物模型。在一些实施方案中，测试动物模型和对照动物模型是相同的动物模型。在某些实施方案中，测试动物模型和对照动物模型是不同的动物模型。在一些实施方案中，对照受试者未施用候选治疗剂。在一些实施方案中，向对照受试者施用的候选治疗剂的量(也称为“剂量”)不同于向测试受试者施用的候选治疗剂的量(剂量)。在某些实施方案中，对照结果是利用计算机实现的方法对测试受试者进行的先前监测的结果。在某些实施方案中，对受试者的监测识别该受试者的慢性疼痛病症。在某些实施方案中，对受试者的监测识别候选治疗剂治疗疼痛病症的功效。
根据本发明的另一个方面，提供了一种识别候选治疗剂治疗受试者的疼痛病症的功效的方法，该方法包括：向测试受试者施用候选治疗剂，以及对该测试受试者进行监测，其中监测手段包括本发明的任何前述方面的任何实施方案的计算机实现的方法，并且其中指示测试受试者的疼痛减轻的监测结果识别候选治疗剂治疗疼痛病症的功效。在一些实施方案中，该疼痛病症包括以下一种或多种：炎性疼痛、神经性疼痛、肌肉疼痛、关节疼痛、慢性疼痛、内脏疼痛、癌症疼痛和术后疼痛。在一些实施方案中，测试受试者存在疼痛病症。在某些实施方案中，测试受试者是存在疼痛病症的动物模型。在某些实施方案中，在监测之前，在测试受试者中诱发疼痛。在一些实施方案中，在测试受试者中诱发疼痛包括在该测试受试者中诱发炎症。在某些实施方案中，诱发炎症包括使测试受试者接触以下一种或多种刺激：热、光、压力、冷和化学药剂。在某些实施方案中，化学药剂包括福尔马林和丙酮中的一种或多种，并且其中诱发疼痛的手段包括以下一种或多种：使测试受试者接触化学药剂、将化学药剂插入测试受试者体内、将化学药剂植入测试受试者体内，以及给测试受试者注射化学药剂。在某些实施方案中，在受试者中诱发疼痛的手段包括以下一种或多种：使受试者接触有效量的诱发疼痛的药剂。在一些实施方案中，在受试者中诱发疼痛的手段包括以下一种或多种：使受试者接触有效量的诱发疼痛的化学药剂；将诱发疼痛的药剂(诸如但不限于刺激电极、缓释化学药剂等)植入受试者体内或体表；给受试者注射诱发疼痛的化学药剂，等等。在一些实施方案中，测试受试者是基因工程化测试受试者。在一些实施方案中，测试受试者是啮齿动物，任选地是小鼠。在某些实施方案中，测试受试者是基因工程化啮齿动物。在一些实施方案中，测试受试者是基因工程化小鼠。在一些实施方案中，在测试受试者中诱发疼痛之前，向该测试受试者施用候选治疗剂。在某些实施方案中，在测试受试者中诱发疼痛期间和之后中的一者或多者中，向该测试受试者施用候选治疗剂。在一些实施方案中，向测试受试者施用候选治疗剂一次。在一些实施方案中，向测试受试者施用候选治疗剂两次、三次、四次、五次或更多次。在某些实施方案中，向测试受试者两次或更多次施用候选治疗剂是全都在诱发疼痛之前、全都在诱发疼痛期间或全都在诱发疼痛之后进行的。在某些实施方案中，向测试受试者两次或更多次施用候选治疗剂是以在诱发疼痛之前施用、在诱发疼痛期间施用和在诱发疼痛之后施用中的两者或更多者的组合进行的。在一些实施方案中，将测试受试者的监测结果与对照结果进行比较。在一些实施方案中，对照结果是来自利用计算机实现的方法监测的对照受试者的结果。在某些实施方案中，在对照受试者中诱发疼痛。在一些实施方案中，在对照受试者中诱发的疼痛基本上等同于在测试受试者中诱发的疼痛。在某些实施方案中，对照受试者存在疼痛病症，并且任选地是存在疼痛病症的动物模型。在一些实施方案中，测试动物和对照动物都是存在疼痛病症的动物模型。在一些实施方案中，对照受试者未施用候选治疗剂。在某些实施方案中，测试动物模型和对照动物模型是相同的动物模型。在一些实施方案中，测试动物模型和对照动物模型是不同的动物模型。在一些实施方案中，向对照受试者施用的候选治疗剂的量(也称为“剂量”)不同于相应地向测试受试者施用的候选治疗剂的量或剂量。在某些实施方案中，对照结果是利用计算机实现的方法对测试受试者进行的先前监测的结果。在一些实施方案中，该方法还包括另外测试候选治疗剂的功效。
根据本发明的另一个方面，提供了一种系统，该系统包括：至少一个处理器；以及包括以下指令的至少一个存储器，这些指令在由至少一个处理器执行时，使得该系统：接收表示受试者的视频捕捉运动的视频数据；使用该视频数据针对第一时间段期间的第一帧确定第一点数据，该第一点数据标识受试者的第一身体部位的位置；使用该视频数据针对第一帧确定第二点数据，该第二点数据标识受试者的第二身体部位的位置；使用第一点数据和第二点数据确定第一距离数据，该第一距离数据表示第一身体部位与第二身体部位之间的距离；确定至少对应于第一帧和第二帧的第一特征向量，该第一特征向量至少包括第一距离数据和第二距离数据；使用经训练的模型至少处理第一特征向量，该经训练的模型被配置为识别受试者在第一时间段期间表现出行为的可能性；以及基于至少对第一特征向量的处理，确定对应于第一时间段的第一标签，该第一标签标识受试者在第一时间段期间的第一行为。在一些实施方案中，至少一个存储器还包括以下指令，这些指令在由至少一个处理器执行时，进一步使得系统：使用视频数据针对第一帧确定第三点数据，该第三点数据标识受试者的第三身体部位的位置。在某些实施方案中，至少一个存储器还包括以下指令，这些指令在由至少一个处理器执行时，进一步使得系统：使用第一点数据和第三点数据确定第二距离数据，该第二距离数据表示第一身体部位与第三身体部位之间的距离；确定对应于第一帧以至少包括第二距离数据的第二特征向量；并且其中使得系统使用经训练的模型来处理的指令进一步使得系统使用经训练的模型来处理第一特征向量和第二特征向量。在某些实施方案中，至少一个存储器还包括以下指令，这些指令在由至少一个处理器执行时，进一步使得系统：使用第一点数据、第二点数据和第三点数据确定第一角度数据，该第一角度数据表示与第一身体部位、第二身体部位和第三身体部位对应的角度；确定至少对应于第一帧的第二特征向量，该第二特征向量至少包括第一角度数据；并且其中使得系统使用经训练的模型来处理的指令进一步使得系统使用经训练的模型来处理第一特征向量和第二特征向量。在某些实施方案中，至少一个存储器还包括以下指令，这些指令在由至少一个处理器执行时，进一步使得系统：使用视频数据针对第一时间段期间的第二帧确定第四点数据，该第四点数据标识第一身体部位的位置；使用该视频数据针对第二帧确定第五点数据，该第五点数据标识第二身体部位的位置；使用该视频数据针对第二帧确定第六点数据，该第六点数据标识第三身体部位的位置；使用第四点数据和第五点数据针对第二帧确定第三距离数据，该第三距离数据表示第一身体部位与第二身体部位之间的距离；使用第四点数据和第六点数据针对第二帧确定第四距离数据，该第四距离数据表示第一身体部位与第三身体部位之间的距离；使用第四点数据、第五点数据和第六点数据针对第二帧确定第二角度数据，该第二角度数据表示与第一身体部位、第二身体部位和第三身体部位对应的角度；以及确定至少包括第三距离数据、第四距离数据和第二角度数据的第二特征向量。在一些实施方案中，第二距离数据表示针对第一时间段期间的第二帧，第一身体部位与第二身体部位之间的距离。在某些实施方案中，至少一个存储器还包括以下指令，这些指令在由至少一个处理器执行时，进一步使得系统：至少使用第一距离数据和第二距离数据来计算对应于第一帧的度量数据，其中第一特征向量包括该度量数据。在一些实施方案中，该度量数据表示至少对应于第一距离数据和第二距离数据的统计分析，该统计分析是平均值、标准偏差、中值和中值绝对偏差中的至少一者。在一些实施方案中，至少一个存储器还包括以下指令，这些指令在由至少一个处理器执行时，进一步使得系统：使用附加的经训练模型来处理视频数据以确定第一点数据，其中该第一点数据包括表示第一身体部位的位置的像素数据。在一些实施方案中，至少一个存储器还包括以下指令，这些指令在由至少一个处理器执行时，进一步使得系统：使用附加的经训练模型来处理视频数据，以确定像素坐标对应于第一身体部位的可能性；以及至少部分地基于满足阈值的可能性来确定第一点数据，该第一点数据包括像素坐标。在某些实施方案中，至少一个存储器还包括以下指令，这些指令在由至少一个处理器执行时，进一步使得系统：使用视频数据针对第一帧确定附加点数据，该附加点数据标识受试者的至少12个部分的位置，其中这12个部分至少包括第一身体部位和第二身体部位。在某些实施方案中，至少一个存储器还包括以下指令，这些指令在由至少一个处理器执行时，进一步使得系统：针对第一帧确定附加距离数据，该附加距离数据表示多个身体部分对之间的距离，该多个身体部分对是使用受试者的这12个部分中的成对部分形成的，其中第一特征向量包括该附加距离数据。在某些实施方案中，至少一个存储器还包括以下指令，这些指令在由至少一个处理器执行时，进一步使得系统：针对第一帧确定附加角度数据，该附加角度数据表示与多个身体部分三元组对应的角度，该多个身体部分三元组是通过在受试者的这12个部分中选择三个部分而形成的，并且其中第一特征向量包括该附加角度数据。在一些实施方案中，至少一个存储器还包括以下指令，这些指令在由至少一个处理器执行时，进一步使得系统：确定对应于第一时间段期间的六个帧的附加特征向量，这六个帧至少包括第一帧和第二帧；使用这些附加特征向量来计算度量数据，该度量数据表示平均值、标准偏差、中值和中值绝对偏差中的至少一者；以及使用经训练的模型来处理该度量数据，以确定第一标签。在某些实施方案中，至少一个存储器还包括以下指令，这些指令在由至少一个处理器执行时，进一步使得系统：针对第一帧确定表示受试者的12个部分的像素坐标的位置数据，该位置数据至少包括第一点数据、第二点数据和第三点数据，并且其中使得系统使用经训练的模型来处理度量数据的指令进一步使得系统使用经训练的模型来处理该位置数据。在某些实施方案中，至少一个存储器还包括以下指令，这些指令在由至少一个处理器执行时，进一步使得系统：确定对应于第一时间段期间的11个帧的附加特征向量，这11个帧至少包括第一帧和第二帧；使用这些附加特征向量来计算度量数据，该度量数据表示平均值、标准偏差、中值和中值绝对偏差中的至少一者；以及使用经训练的模型来处理该度量数据，以确定第一标签。在某些实施方案中，这11个帧包括第一帧之前的五个帧和第一帧之后的五个帧。在一些实施方案中，至少一个存储器还包括以下指令，这些指令在由至少一个处理器执行时，进一步使得系统：确定对应于第一时间段期间的21个帧的附加特征向量，这21个帧至少包括第一帧和第二帧；使用这些附加特征向量来计算度量数据，该度量数据表示平均值、标准偏差、中值和中值绝对偏差中的至少一者；以及使用经训练的模型来处理该度量数据，以确定第一标签。在某些实施方案中，这21个帧包括第一帧之前的11个帧和第一帧之后的11个帧。在某些实施方案中，视频数据表示多于一个受试者的视频捕捉运动。在一些实施方案中，经训练的模型是分类器，该分类器被配置为处理对应于视频帧的特征数据，以确定由这些视频帧中呈现的受试者表现出的行为，该特征数据对应于该受试者的多个部分。在一些实施方案中，第一身体部位是受试者的嘴部；第二身体部分是受试者的右后足；经训练的模型被配置为识别受试者表现出第一身体部位与第二身体部位之间的接触的可能性；并且第一标签指示第一帧表示第一身体部位与第二身体部位之间的接触。在一些实施方案中，第一帧对应于30毫秒的视频数据。在某些实施方案中，视频数据对应于捕捉受试者的顶视图的第一视频和捕捉受试者的侧视图的第二视频。在一些实施方案中，视频数据包括从受试者的自上而下视频获得的视频数据。在一些实施方案中，视频数据包括作为受试者侧视视频的视频数据。在某些实施方案中，受试者是哺乳动物。在某些实施方案中，受试者是啮齿动物。在一些实施方案中，受试者是灵长类动物。在某些实施方案中，受试者是基因工程化受试者。在某些实施方案中，受试者是啮齿动物，任选地是小鼠。在一些实施方案中，受试者是基因工程化啮齿动物。在一些实施方案中，受试者是基因工程化小鼠。
根据本发明的另一个方面，提供了一种或多种非暂时性计算机可读介质，其包括计算机可执行指令，这些计算机可执行指令在被执行时，使得至少一个处理器执行包括以下各项的动作：接收表示受试者的视频捕捉运动的视频数据；使用该视频数据针对第一时间段期间的第一帧确定第一点数据，该第一点数据标识受试者的第一身体部位的位置；使用该视频数据针对第一帧确定第二点数据，该第二点数据标识受试者的第二身体部位的位置；使用第一点数据和第二点数据确定第一距离数据，该第一距离数据表示第一身体部位与第二身体部位之间的距离；确定至少对应于第一帧和第二帧的第一特征向量，该第一特征向量至少包括第一距离数据和第二距离数据；使用经训练的模型至少处理第一特征向量，该经训练的模型被配置为识别受试者在第一时间段期间表现出行为的可能性；以及基于至少对第一特征向量的处理，确定对应于第一时间段的第一标签，该第一标签标识受试者在第一时间段期间的第一行为。在一些实施方案中，接收视频数据包括接收从受试者的自上而下视频和受试者的侧视视频中的一者或两者获得的视频数据。在一些实施方案中，接收视频数据包括接收不是从受试者的自上而下视频获得的视频数据。在某些实施方案中，受试者是基因工程化测试受试者。在一些实施方案中，受试者是啮齿动物，任选地是小鼠。在一些实施方案中，受试者是基因工程化啮齿动物。在某些实施方案中，受试者是基因工程化小鼠。
附图说明
为了更完整地理解本公开，现在参考结合附图作出的以下描述。
图1是根据本公开实施方案的用于确定受试者行为的系统的概念图。
图2是展示根据本公开实施方案的用于分析受试者的视频数据以确定受试者行为的过程的流程图。
图3示出了由系统分析以确定受试者行为的视频的示例图像。
图4A是根据本公开实施方案的各个身体部位被标记用于由系统检测的受试小鼠的概念图。
图4B是展示根据本公开实施方案的由系统检测的受试小鼠的各个身体部位的概念图。
图5和图6是展示根据本公开实施方案的用于生成特征向量的过程的流程图。
图7A是展示根据本公开实施方案的距离数据的概念图，该距离数据表示在多个视频帧期间受试者的两个身体部位之间的距离。
图7B是展示根据本公开实施方案的角度数据的概念图，该角度数据表示在多个视频帧期间受试者的三个身体部位之间的角度。
图8是展示根据本公开实施方案的用于对受试者行为进行分类的过程的流程图。
图9展示了由系统对其中的受试者行为进行分析的视频的带注释图像，包括标识受试者各身体部位的系统注释和人类注释。
图10展示了根据本公开实施方案的表格，该表格示出各种窗口尺寸对系统用来分析视频数据的不同身体部位的贡献。
图11A和图11B示出了针对两个短视频中的每秒确定受试者行为的系统和标识受试者行为的人类注释者的数据图。在图11A和图11B中，“舔舐”和“无舔舐”的结果用交叉影线指示模型的结果，而人类结果用实线表示。在图11B中，在两对竖直排列的+符号中，上方的+用于模型结果，下方的+用于人类结果。NL是“无舔舐”。
图12示出了对于包括四个活动场所中的四个受试者的多个视频，系统确定的受试者行为与人类注释者标识的受试者行为之间的一致百分比的数据图。
图13示出了将由两位人类注释者针对三只受试小鼠手动标注的标签与系统针对这三只受试小鼠确定的标签进行比较的数据图。圆点代表系统确定的标签；正方形代表由人类注释者“观察者1”手动标注的标签；三角形代表由人类注释者“观察者2”手动标注的标签。
图14和15A至图15D示出了将不同品系的雄性受试小鼠和雌性受试小鼠的舔舐行为进行比较的数据图。在图14中，数据图左侧的实心条代表雌性C57BL/6J小鼠；数据图左侧的小方格条代表雌性C57BL/6NJ小鼠；数据图右侧的实心条代表雄性C57BL/6J小鼠；数据图右侧的大方格条代表雄性C57BL/6NJ小鼠。在图15A中，正方形代表雌性C57BL/6J小鼠，三角形代表雌性C57BL/6NJ小鼠。在图15B中，正方形代表雄性C57BL/6J小鼠，倒三角形代表雄性C57BL/6NJ小鼠。在图15C和图15D中，正方形代表雌性，圆点代表雄性。
图16是概念性地展示根据本公开实施方案的设备的示例部件的框图。
图17是概念性地展示根据本公开实施方案的服务器的示例部件的框图。
图18A示出的概念图展示了根据本公开实施方案的综合伤害感受性分数的开发和测试。图18B至图18H示出的数据图展示了综合伤害感受性分数的开发和测试。图18B至图18F示出的数据图展示了分类器与人工评分(加标记者)之间的一致性的测量结果。图18G至图18H示出的数据图展示了基于剂量和基于品系对雄性小鼠(图18G)和雌性小鼠(图18H)舔舐所用去的时间进行的比较；圆点代表品系C57BL6J，三角形代表品系AJ，“X”代表品系BALBcJ，星号代表品系C3HHeJ。
图19A至图19G示出的数据图和图表展示了抖动爪子、直立和凝滞发作所用去的时间的测量结果，对来自品系C57BL6/J、AJ、BALBcJ和C3HHeJ的雄性小鼠和雌性小鼠的结果进行了比较。图19A和图19B示出了雄性小鼠(图19A)和雌性小鼠(图19B)因紧张而抖动爪子所用去的时间。图19C和图19D示出了雄性小鼠(图19C)和雌性小鼠(图19D)因紧张而直立所用去的时间。图19E的表格示出了准确率测量结果。图19F和图19G示出了雄性小鼠(图19F)和雌性小鼠(图19G)以3至6秒的时长凝滞发作所用去的时间。在图19A至图19D和图19F至图19G的每一者中，圆点代表品系C57BL6J，三角形代表品系AJ，“X”代表品系BALBcJ，星号代表品系C3HHeJ。
图20示出的热图展示了所有度量的品系差异，证实了在四种小鼠品系中，每种度量与福尔马林剂量的相关性。度量被分为四种类型：(1)来自JAX动物行为系统(JABS)的行为分类器度量，[Kabra,M..等人，2013年1月，Nature Methods；10(1):64-7，其内容全文以引用方式并入本文]；(2)工程化启发式度量；(3)从深度神经网络导出的步态度量；以及(4)从跟踪和分类导出的经典旷场度量。颜色的强度对应于度量与剂量之间的相关系数的大小，为正(^)或负(*)。仅示出统计上显著的相关性。
图21A至图21D呈现的数据图展示了单变量疼痛量表的构建以及二元逻辑回归模型的交叉验证评估。图21A示出的线图展示了使用图22中的特征子集拟合到顺序响应(剂量)的累积链接模型(logit链接)。实心点指示绘制剂量水平0的线；灰色实线指示绘制剂量水平1的线；实心正方形指示绘制剂量水平2的线；星号指示绘制剂量水平3的线。图21B示出的条形图展示了各个特征对单变量疼痛量表的贡献。对于每个特征的贡献的重要性，使用**表示高度重要、使用*表示重要，而使用·表示暗示的贡献。图21C示出的数据图展示了对使用不同特征集合构建的二元逻辑回归模型的准确率度量进行的动物留一法交叉验证评估，这些特征集合包括：“旷场”(灰色实心点)；“其他”，包括工程化特征和从行为分类器获得的特征(“X”)；以及“全部”，包括旷场和其他两者(“*”)。图21D示出的数据图展示了对使用不同特征集合构建的二元逻辑回归模型的准确率度量进行的品系留一法交叉验证评估，这些特征集合包括：“旷场”(灰色实心点)；“其他”，包括工程化特征和从行为分类器获得的特征(“X”)；以及“全部”，包括旷场和其他两者(“*”)。图21C和图21D中的误差条表示参数自举置信区间。
图22提供了关于在本发明方法的某些实施方案中观察到的各种行为的视频特征的信息。
具体实施方式
本发明部分地包括一种利用视频记录和机器学习技术的方法，该方法包括三个部分：关键点检测、使用这些关键点的每帧特征抽取，以及行为的算法分类。这种自动化方法很灵活，因为可以使用不同的模型分类器或关键点，而准确率只有很小的损失。本发明的方法和系统包括机器学习评分系统，并且提供所需的准确率、一致性和易用性，其允许使用基于伤害性刺激的系统(其非限制性实例为福尔马林测定)，这是大规模遗传研究的可行选择。本发明的方法和系统提供了一种用于伤害感受行为的可靠且可扩展的自动化评分系统，显著降低了与伤害感受实验相关联的时间成本和劳动成本，还减少了此类实验中的可变性。
本发明的方法和系统的一些方面包括在广泛使用的具有自上而下相机视图的旷场活动场所中自动化测量舔舐动作。本发明的方法和系统的某些实施方案包括自动化测量多种可能的防伤害行为，其用于获得综合伤害感受性指数的目的。本发明的方法可以用于有效量化视频中的多种防伤害行为。在本发明的方法和系统的某些实施方案中，根据先前公布的方案收集在一小时的旷场活动中每只小鼠的自上而下视频(图1A)。[参见Kumar,V.等人，PNAS 108,15557-15564,(2011)，以及Geuther,B.等人，Communications Biology 2,124(2019年3月)，这些文献各自的内容均全文以引用方式并入本文]。通过基于深度神经网络的姿态估计网络和跟踪网络来处理旷场视频，以针对每帧产生小鼠的12点姿态骨架和椭圆形拟合轨迹[Sheppard,K.等人，bioRxiv 424780(2020)，以及Geuther,B.等人，Communications Biology 2,124(2019年3月)，这些文献各自的内容均全文并入本文]。利用JABS，使用这些每帧的测量结果来制作行为分类器。这些每帧的测量结果还用于对特征进行工程化，其中这些特征诸如焦虑、过度活跃的传统旷场测量结果，基于神经网络的理毛和新步态测量结果。所有特征均在增补图22中定义。本发明的方法和系统的实施方案还可以用于评估伤害感受性反应的遗传变异。作为一个非限制性实例，雄性小鼠和雌性小鼠选自在从已知的较高程度舔舐反应者(C57BL6J和C3HHeJ)到较低程度舔舐反应者(BALBcJ和AJ)范围内的品系，并且使用本发明的方法和系统进行检查，然后比较结果。
疼痛现象是身体信息、情绪背景和个人主观体验的复杂组合。动物受试者通常用来研究疼痛行为的神经和遗传基础。由于动物的主观体验无法测量，所以开发了其他方法来量化“伤害感受性”行为(这类行为被定义为对疼痛刺激的行为反应)和“防伤害”行为(这类行为被定义为与免受损伤和伤害相关联的行为)。许多伤害感受测定依赖响应于短暂的机械刺激或热刺激的快速运动缩回反射，这种简单的运动相对容易定义和识别，但是此类测定与临床疼痛缺乏相似性。在小鼠中，这些测定与更具临床相关性的慢性疼痛测定的关联性较差，而与惊吓和反应性性状更密切相关。相比之下，福尔马林试验最初开发用于大鼠，其被设计成监测在很长一段时间内响应于化学物质诱发的局部性炎症的复杂行为。通常将有刺激性的福尔马林注射到一只后爪中，然后观察动物的伤害感受性行为，诸如舔舐、啃咬、抬起、轻弹、抖动或紧握接受注射的后爪。福尔马林通常产生双相反应，在注射后0至10分钟出现短暂强烈的急性反应(I期)、短暂的低反应间期，然后是持续反应(II期)，该持续反应在注射后约10至15分钟开始，升至峰值后逐渐消退，且在注射后60分钟或更长时间通常仍维持在偏高的反应水平。这种测定是非刺激诱发的自发伤害感受性行为的经验证形式，并且这些行为的持续性质与对慢性疼痛的生物学理解尤其相关。“防伤害”行为，包括抖动爪子、照料受伤的肢体和自主活动，比伤害感受性行为更复杂，可以包括在综合分数中，然而在小鼠中也难以手动评分。
福尔马林测定依赖人类观察者来识别动物何时表现出伤害感受性行为，这种依赖性使得观察劳动强度大、耗时且主观性强，因为不同的伤害感受性行为并不总是统一定义和记录。评级量表受到观察者间可变性的影响，据报道，一些行为，诸如照料受伤的肢体或抬起肢体，在小鼠中难以可靠地评分。因此，对小鼠行为的标记通常仅限于舔舐/啃咬行为。
本公开涉及对受试者行为的自动化表型分析，特别是针对福尔马林测定。对行为的自动化表型分析可以克服前述与人类观察者相关的评分偏差和低效率。福尔马林测定可以经由视频记录，并且可以使用本文所述的系统和方法来处理视频，以标记受试者行为。
本公开的系统和方法在对较小受试者(诸如小鼠)的行为进行表型分析时可能特别有用，并且可能能够区分较小或相似的运动，诸如啃咬或舔舐。与其他较大的受试者(如大鼠等)相比，较小的受试者(如小鼠)往往移动较快。本公开描述了可以使用高速视频来评估受试者的具体行为，以及准确评估在许多伤害感受测定中使用的快速缩回反射动作的技术。
常规系统跟踪受试者的一个或两个身体部位，并且还使用受试者体表的物理标记(诸如对受试者进行皮毛漂白，或在受试者体表使用染料)。本公开涉及跟踪受试者身体上的多个点，以测量各种身体部位之间的距离变化，从而确定受试者何时表现出伤害感受性行为。受试者行为被实体化为一系列运动，这些运动被表示为身体部位的方位随时间推移的改变。例如，在福尔马林测定中，小鼠的舔舐行为可以采取几种不同的姿势轮廓，因为小鼠可以朝爪子弯腰、举起爪子或快速移动爪子。在本公开的示例实施方案中，机器学习(ML)模型可以标识和跟踪受试者的多个身体部位。使用ML模型可以允许计算许多相对的身体部位方位，并且允许将受试者身体的更复杂的表现用于福尔马林测定。
小鼠由于具有遗传易处理性而成为疼痛和镇痛研究中的重要组成部分，因此在小鼠中开发自动化伤害感受评分对于大规模研究很重要。机器学习的最新进展允许在任何所记录视频的全长上对具体的受试者行为进行准确分类。这种提供可扩展性的系统的优点包括节省时间、劳动力和信息，并且不需要限制性的抽样方法。改善福尔马林测定的评分方法通过改进测量结果的一致性，从而提高了可靠性和重现性。自动化表型分析还满足替代、减少和优化这三种伦理要求。在一些实施方案中，本公开包括使用对实验室小鼠进行的所记录福尔马林测定的受监督机器学习方法。该系统通过与手动评分的广泛比较来验证。为了评估对广泛使用的C57BL/6J来源品系和对国际小鼠表型分析联盟广泛收集的C57BL/6N来源缺失突变体的适用性，对两种品系进行了比较。
本公开的系统可以提供许多益处。益处之一可以是在检查伤害感受性行为方面提供改进，从而提高可靠性并减少重复实验的需要。另一种益处可以是降低进行实验的成本和缩短生成此类实验的结果的时间。
在一些实施方案中，本公开的系统包括用于自动化表型分析的三个部件/三种功能：(1)点检测(基于各种身体部位)；(2)帧级特征抽取；和(3)标记受试者行为。以这种方式配置系统使得该系统能够将跟踪受试者的不同身体部位时的变化和确定受试者表现出的不同行为时的变化结合起来。
本公开的系统100可以使用如图1所展示的各种部件来操作。系统100可以包括通过一个或多个网络199连接的图像捕捉设备101、设备102和一个或多个系统150。图像捕捉设备101可以是另一个设备(例如，设备1600)的一部分、被包括在另一个设备中，或者连接到另一个设备，并且可以是相机、高速摄像机或者能够捕捉图像和视频的其他类型的设备。除了图像捕捉设备之外或者代替图像捕捉设备，设备101可以包括运动检测传感器、红外传感器、温度传感器、大气状况检测传感器，以及被配置为检测各种特性/环境状况的其他传感器。设备102可以是膝上型计算机、台式计算机、平板计算机、智能手机或能够显示数据的其他类型的计算设备，并且可以包括下文结合设备1600描述的一个或多个部件。
图像捕捉设备101可以捕捉对其进行福尔马林测定的一个或多个受试者的视频(或者一个或多个图像)，并且可以将表示该视频的视频数据104发送到系统150用于如本文所述的处理。系统150可以包括图1所示的一个或多个部件，并且可以被配置为处理视频数据104以确定受试者随时间推移的行为。系统150可以确定将视频数据104的一个或多个帧与表示受试者行为的标签相关联的输出标签数据130。输出标签数据130可以被发送到设备102，以输出给用户来观察视频数据102的处理结果。
下文描述了系统150的多个部件的细节。各种部件可以位于相同或不同的物理设备上。各种部件之间的通信可以直接发生或者通过网络199发生。设备101、系统150与设备102之间的通信可以直接发生或者通过网络199发生。被示为系统150的一部分的一个或多个部件可以位于设备102或连接到图像捕捉设备102的计算设备(例如，设备1600)处。
图2是展示根据本公开实施方案的用于分析受试者的视频数据104以确定受试者行为的过程200的流程图。图2所展示的过程的步骤可以由系统150来执行。在其他实施方案中，该过程的一个或多个步骤可以由设备102或与图像捕捉设备101相关联的计算设备来执行。
系统150接收(202)表示至少一个受试者的运动的视频数据104。在一些情况下，受试者是小鼠。在一些实施方案中，视频数据104是旷场活动场所中的受试者的自上而下相机视图。在一些情况下，视频数据104表示在(四个)隔开的围笼(如图3所示)中的多只小鼠(例如四只小鼠)的视频。视频可以捕捉受试者在一段时间(例如，一小时、90分钟、两小时等)内的运动。受试者可能已经接受了福尔马林，并且所捕捉的运动可以表示受试者对福尔马林作用的身体反应(即行为反应)。在一些实施方案中，受试者可以接受其他类型的溶液/配方，以使受试者表现出伤害感受行为。伤害感受是编码和处理伤害性刺激的神经过程。伤害感受是指由于刺激周围神经系统中称为伤害感受器的特化感觉接受器而到达中枢神经系统的信号。在一些实施方案中，本发明方法中所使用的伤害性刺激是热、高强度光、压力、冷、物理性损伤、电、化学物质中的一种或多种，其中化学物质诸如但不限于：丙酮和完全弗氏佐剂(CFA)、辣椒素等。在本发明的某些实施方案中，可以使用这些和其他伤害性刺激来在受试者中诱发疼痛。在一些实施方案中，诱发疼痛包括使受试者接触以下一种或多种刺激：热、光、压力、冷、电和化学药剂。在本发明的某些实施方案中，使受试者接触热、光、压力、冷、电和化学药剂中的一种或多种刺激，且这些刺激按足以诱发期望的疼痛和/或疼痛水平的方式和量使用。在一些实施方案中，在受试者中诱发疼痛的手段包括在该测试受试者中诱发炎症。在一些实施方案中，诱发炎症的手段包括使测试受试者接触以下一种或多种刺激：热、光、压力、冷、电和化学药剂。在某些实施方案中，化学药剂包括福尔马林和丙酮中的一种或多种。在某些实施方案中，诱发疼痛的手段包括以下一种或多种：使测试受试者接触有效量的诱发疼痛的药剂，例如使测试受试者接触有效量的诱发疼痛的化学药剂；将诱发疼痛的药剂(诸如但不限于刺激电极、缓释化学药剂等)植入受试者体内或体表；给受试者注射诱发疼痛的化学药剂，等等。其他本领域已知的诱发疼痛的方式也适用于本发明的方法，并且可以使用本领域已知的手段来选择诱发疼痛的药剂的量和水平。
视频数据104可以对应于由设备101捕捉的视频。在一种示例实施方式中，视频数据104表示每秒30帧，具有704×480个像素。在一些情况下，视频数据104可以对应于由设备101以特定时间间隔捕捉的图像(图像数据)，使得这些图像捕捉受试者在一段时间内的运动。
系统150使用点跟踪器部件110来处理(204)视频数据104，以识别表示受试者的多个身体部位的点数据。点跟踪器部件110可以被配置为标识受试者的各种身体部位。这些身体部位可以使用点数据来标识，使得第一点数据可以对应于第一身体部位，第二点数据可以对应于第二身体部位，依此类推。在一些实施方案中，点数据可以是对应于身体部位的一个或多个像素位置/坐标(x,y)。点跟踪器部件110可以被配置为标识与视频数据104的多个帧内的特定身体部位对应的像素位置。点跟踪器部件110可以通过标识对应的像素位置来跟踪视频期间该特定身体部位的运动。点数据112可以指示在视频的特定帧期间该特定身体部位的位置。提供给特征抽取115的点数据112可以包括由点跟踪器部件110在视频数据104的多个帧上标识和跟踪的所有身体部位的位置。
在一些实施方案中，在受试者是小鼠的情况下，点跟踪器部件110可以标识并跟踪以下身体部位：嘴部、鼻部、右前爪、左前爪、右后爪、左后爪、腹部和尾根。图4A和图4B展示了使用点数据来跟踪的示例身体部位。图4A示出了对受试小鼠的12个点(嘴部；鼻部；右前爪；左前爪；每个后爪上的3个点—外侧、内侧和底部；腹部；和尾根)进行标记的标签(x、y像素坐标)。图4B展示了每只小鼠的这12个点，它们是关键点跟踪器的输出，这里用“骨架”连接和用于定向的“身体/头部”圆圈示出。图3和图9示出了输入视频数据的实例。每个视频捕捉4个围笼中的4只受试小鼠的运动。在一些实施方案中，围笼内壁也可以被标记，以供点跟踪器部件110识别。
点数据112可以是表示多个视频帧上的各种身体部位的像素坐标的向量、数组或矩阵。例如，点数据112可以是[帧1＝{嘴部:(x1,y1)；后爪:(x2,y2)}]、[帧2＝{嘴部:(x3,y3)；前爪:(x4,y4)}]，等等。在一些实施方案中，每一帧的点数据112可以至少包括12个像素坐标，这些像素坐标表示点跟踪器部件110被配置为跟踪的受试者的12个部分/身体部位。
系统150使用特征抽取部件115来处理(206)点数据112，以确定至少表示距离特征和角度特征的特征向量。特征抽取部件115可以确定受试者的各种身体部位之间的距离，并且生成一个或多个距离特征向量118。特征抽取部件115可以针对多个视频帧确定两个(第一对)身体部位之间的第一距离数据、另外两个(第二对)身体部位之间的第二距离数据，等等。图7A展示了示例距离特征向量，其包括表示多个视频帧上的两个特定身体部位之间的距离的距离数据。特征抽取部件115可以确定表示多个视频帧上的第一对身体部位之间的距离的第一距离特征向量、表示多个视频帧上的第二对身体部位之间的距离的第二距离特征向量，等等。
特征抽取部件115可以确定受试者的各种身体部位之间的角度，并且生成一个或多个角度特征向量116。特征抽取部件115可以针对多个视频帧确定三个(第一三元组)身体部位之间的第一角度数据、另外三个(第二三元组)身体部位之间的第二角度数据，等等。图7B展示了示例角度特征向量，其包括表示多个视频帧上的三个特定身体部位之间的角度的角度数据。特征抽取部件115可以确定表示多个视频帧上的第一三元组身体部位之间的角度的第一角度特征向量、表示多个视频帧上的第二三元组身体部位之间的角度的第二角度特征向量，等等。
系统150使用行为分类部件120来处理(208)特征向量，以确定受试者行为。在一些实施方案中，行为分类部件120可以处理距离特征向量118、角度特征向量116或两者。行为分类部件120可以使用一个或多个经训练的机器学习(ML)模型来处理这些特征向量。在一些实施方案中，ML模型可以是被配置为处理距离特征和/或角度特征以基于一个或多个身体部位相对于其他身体部位的位置来确定受试者是否表现出特定行为的分类器。例如，在一些情况下，受试小鼠可能通过舔舐或啃咬爪子(例如，后爪)表现出伤害感受行为。行为分类部件120可以处理距离特征和/或角度特征来确定小鼠的爪子是在指示舔舐或啃咬行为的小鼠嘴部附近还是在嘴部处。行为分类部件120可以用特定行为(例如，舔舐、啃咬、无啃咬、无舔舐等)来标记每个视频帧。
在一些实施方案中，行为分类部件120可以使用ML模型来确定与受试者在该视频帧期间表现出特定行为的可能性对应的概率(或分数、置信度分数等)。在这种情况下，ML模型的输出可以是介于0与1之间或介于0与100之间，或者在任何其他这样的数值范围内的数字。行为分类部件120可以进一步处理ML模型的输出，以确定与视频数据104的视频帧对应的输出标签130。
在一些实施方案中，行为分类部件120可以被配置为执行二元分类，其中特定视频帧可以被分类成两种行为类别/种类之一(例如，伤害感受行为或无伤害感受行为；啃咬或无啃咬；舔舐或无舔舐；等等)。在这种情况下，行为分类部件120可以将诸如假或真、是或否、1或0等之类的值与该视频帧指示受试者在该视频帧期间是否表现出特定行为相关联。
在一些实施方案中，行为分类部件120可以被配置为执行多类或多项分类，其中特定视频帧可以被分类成三种或更多种行为类别/种类之一(例如，无伤害感受、舔舐或啃咬)。在一些实施方案中，行为分类部件120可以被配置为执行多标签分类，其中特定视频帧可以与多于一种行为类别/种类相关联。
行为分类部件120可以包括一个或多个机器学习(ML)模型，包括但不限于一个或多个分类器、一个或多个神经网络、一个或多个概率图、一个或多个决策树等。在其他实施方案中，行为分类部件120可以包括基于规则的引擎、一种或多种基于统计的算法、一种或多种映射函数或者其他类型的函数/算法，以确定特定的距离特征和/或角度特征是否指示特定的行为。
尽管实例描述了对受试小鼠使用自动化表型分析方法和系统，但是应当理解，本文的系统和方法可以被配置为对其他类型的受试者(诸如大鼠、兔子、仓鼠等)进行自动化表型分析。有关可以使用本发明的方法和系统的受试者的附加信息在本文别处提供。
在一些实施方案中，点跟踪器部件110可以实现一种或多种经训练的ML模型，这些ML模型被配置为标识和跟踪特定类型受试者的各种身体部位。ML模型可以是神经网络(例如，深度神经网络、卷积神经网络(CNN)、递归神经网络(RNN)等)。在其他实施方案中，点跟踪器部件110的ML模型可以是其他类型的ML模型。点跟踪器部件110的ML模型可以被配置用于以利用深度神经网络的迁移学习为基础进行3D无标记姿态估计。
在一个示例实施方案中，用于配置点跟踪器部件110的训练数据可以是来自已经施用福尔马林的小鼠的各种视频的视频帧。这些视频帧可以包括小鼠在一段时间(例如，90分钟)内的运动。在一些实施方案中，这些视频帧可以来自还没有施用福尔马林的小鼠的视频。可以在训练数据中标记小鼠的各种身体部位。例如，视频帧可以如图4A和图4B所展示包括12个标记点，对应于以下身体部位：嘴部、鼻部、右前爪、左前爪、每个后爪上的3个点(外侧、内侧和底部)、中腹部和尾根。如果点跟踪器部件110被配置为跟踪输入视频数据内的多只小鼠，则训练数据可以是由不同围笼隔开的多只小鼠的视频，并且训练数据可以包括标识围笼壁的标签。训练数据还可以包括对应于空围笼的视频帧。配置点跟踪器部件110以跟踪输入视频数据内的多只小鼠消除了裁剪或操纵输入视频数据的需要，并且使得系统能够一次对多只小鼠进行表型分析。
由特征抽取部件115接收的点数据112可以包括每一指定身体部位位置的(x,y)像素坐标，以及基于指示特定身体部位在相应像素处的概率的分数图的一致性的可能性估计值。图5和图6是展示由特征抽取部件115确定特征向量的过程(500，600)的流程图。特征抽取部件115针对每个视频帧确定(502)受试者的一对身体部位之间的距离，其中使用点数据112来标识身体部位。例如，使用受试者身体上的12个点，特征抽取部件115可以确定66个身体部位对。在一些实施方案中，特征抽取部件115可以确定这对身体部位中的身体部位之间的欧几里得距离。特征抽取部件115针对每个视频帧确定(602)受试者的身体部位三元组之间的角度，其中使用点数据112来标识身体部位。例如，使用受试者身体上的12个点，特征抽取部件115可以确定15个身体部位三元组。特征抽取部件115可以使用该身体部位三元组的中点来确定角度。
在步骤502和步骤602处确定的距离和角度表示单个帧的相对身体部位位置信息。自动化表型分析系统可以被配置为检测身体部位的相对方位随时间推移的变化，并且将该变化识别为受试者做出的动作/运动。自动化表型分析系统可以被配置为基于受试者做出的一系列动作/运动来识别行为。就这一点而言，特征抽取部件115可以使用连续的视频帧来观察在一段时间期间距离和角度的变化。
特征抽取部件115选择(504)感兴趣的帧，并且使用该感兴趣的帧周围的帧窗口的距离数据来进行(506)统计计算。基于这些统计计算，特征抽取部件115生成(508)距离特征向量。帧抽取部件115选择(604)感兴趣的帧，并且使用该感兴趣的帧周围的帧窗口的角度数据来进行(606)统计计算。基于这些统计计算，特征抽取部件115生成(608)角度特征向量。
在一些实施方案中，特征抽取部件115可以使用具有6个帧的窗口，选择感兴趣的帧之前的两个视频帧和感兴趣的帧之后的三个视频帧。在其他实施方案中，特征抽取部件115可以使用具有11个帧的窗口，选择感兴趣的帧之前的五个帧和感兴趣的帧之后的五个帧。在还有其他实施方案中，特征抽取部件115可以使用具有21个帧的窗口，选择感兴趣的帧之前的10个帧和感兴趣的帧之后的10个帧。图7A和图7B示出了在24个连续帧上的示例特征向量，分别为：从表示身体部位“左前”(LF)的点到表示身体部位“右后外侧”(RHout)的点的一对距离，以及在表示身体部位“右后外侧”(RHout)、腹部和“左后外侧”(LHout)的点之间的一个角度，其中感兴趣帧被标记在中心。图7A和图7B示出了感兴趣的帧710，以及特征抽取部件115可以使用的各种帧窗口。图7A和图7B展示了针对每个视频帧的身体部位计算的相对位置测量结果(66对距离和15个角度；图中仅示出了每种特征向量中的一个)。突出显示假定感兴趣的帧，并且示出了前面的帧和后面的帧的测量结果(24个连续帧)。统计输入可以在3种不同尺寸(6个帧、11个帧和21个帧)的窗口上计算，并且这些每帧特征可以用作行为分类部件120的输入。
通过移动帧窗口并相应地选择感兴趣的帧来计算每个帧的参数值。感兴趣的帧的参数值可以通过对窗口内的那些帧的距离值和角度值进行统计分析来计算。在一个示例实施方案中，统计分析可以包括使用窗口内的那些帧的距离值和角度值来计算平均值、标准偏差、中值和/或中值绝对偏差。所确定的参数值被存储在相应帧的特征向量中。在一些实施方案中，特征抽取部件115可以使用GentleBoost分类器来确定特征向量。在一些实施方案中，指示感兴趣的帧的可能性估计值的点数据112也可以用于确定特征向量。
一个距离特征向量118和一个角度特征向量116可以对应于视频数据104的长度的第一时间段，另一个距离特征向量118和另一个角度特征向量116可以对应于视频数据104的长度的第二时间段。距离特征向量118和角度特征向量116内的每个值可以对应于相应时间段期间的视频帧(例如，大约30毫秒)。距离特征向量118中的第一值和角度特征向量116中的第一值可以对应于相同的第一视频帧。
在一些实施方案中，特征抽取部件115可以在帧级上确定表示对应于视频数据104的特征的特征数据，并且该特征数据能够以不同于特征向量的形式来表示。
用于行为分类部件120的一种或多种ML模型可以使用训练数据来配置，该训练数据可以包括带标记/带注释的视频数据。训练视频数据可以被标记以指示受试者的运动(在视频中捕捉)何时对应于特定行为。训练视频数据可以包括与视频帧(例如，该视频的30毫秒持续时间)相关联的第一标签和与另一个视频帧相关联的第二标签，其中第一标签指示受试者开始表现出自动化表型分析系统被配置为检测的特定行为，第二标签指示受试者停止表现出该特定行为。
训练视频数据的配置可以取决于自动化表型分析系统的配置。在行为分类部件120被配置为基于受试者是否表现出某种行为来对受试者的该行为进行分类的情况下，训练视频数据可以包括与受试者在其中表现出行为的视频帧相关联的标签。例如，当自动化表型分析系统被配置为检测小鼠的舔舐行为时，训练视频数据可以包括与小鼠在其期间舔舐后爪的视频帧相关联的标签。在行为分类部件120被配置为基于受试者所表现出的行为的类型对受试者的行为进行分类的情况下，训练视频数据可以包括第一类型的标签、第二类型的标签等，其中第一类型的标签与受试者在其期间表现出第一类型的行为的视频帧相关联，第二类型的标签与受试者在其期间表现出第二类型的行为的视频帧相关联。
在一些实施方案中，行为分类部件120可以被配置为检测受试者做出的具体运动，以指示特定行为。例如，行为分类部件120可以被配置为检测受试小鼠对右后爪的舔舐，以指示舔舐行为(其中右后爪注射了福尔马林)。在其他实施方案中，行为分类部件120可以被配置为检测受试者做出的不同类型的运动，以指示特定行为。例如，行为分类部件120可以被配置为检测受试小鼠对右后爪或左后爪的舔舐，以指示舔舐行为。在一些实施方案中，后爪与嘴部之间的任何接触(例如，嘴部碰触后爪、后爪靠近嘴部、嘴部舔舐后爪、嘴部啃咬后爪等)均可以被标记为伤害感受行为。
图8是可以由行为分类部件120执行的过程800的流程图。行为分类部件120接收(802)由特征抽取部件115确定的特征向量(例如，116、118)或特征数据。行为分类部件120处理(804)这些特征向量以确定视频数据104中的每个视频帧的标签。基于系统配置，标签可以指示受试者在该视频帧期间所表现出的行为类型。因为这些特征向量包括通过使用感兴趣的帧周围的帧的特征进行统计分析而确定的值，所以向行为分类部件120提供关于受试者在特定的感兴趣帧之前和之后的运动的上下文。行为分类部件120可以使用一个或多个ML模型来处理特征向量，并且ML模型的输出可以是指示每个视频帧与特定行为对应的可能性的分数/概率，或者可以是每个视频帧的分数的概率分布/向量。例如，在行为分类部件120被配置为确定受试者是否表现出某种行为的情况下，第一视频帧可以与第一分数相关联，第二视频帧可以与第二分数相关联，等等。在另一个实例中，在行为分类部件120被配置为确定受试者是否表现出两种行为之一的情况下，第一视频帧可以与分数向量{分数1,分数2}相关联，其中分数1可以指示受试者表现出第一行为的可能性，分数2可以指示受试者表现出第二行为的可能性。在一些实施方案中，ML模型针对每个视频帧输出标签(例如，真或假、是或否、0或1等)来指示受试者是否表现出某种行为。
行为分类部件120基于ML模型的输出的分箱来确定(806)输出标签，然后将这些输出标签发送(808)到设备102以显示给用户。行为分类部件120可以被配置为基于视频帧的固定数量、时间长度或ML模型输出来对ML模型的输出进行分箱。例如，行为分类部件120可以将ML模型输出分箱到时长5分钟的箱中，其中使用与时长5分钟的箱中所包括的视频帧对应的分数/标签来确定与时长5分钟的箱相关联的标签。箱大小可以取决于用户所需要的信息类型、受试者类型、要检测的行为类型，以及其他因素。
自动化表型分析系统可以被配置为处理多个受试者的单视频捕捉运动。在这种情况下，点跟踪器部件110被配置为标识多个受试者、标识并跟踪每个受试者的身体部位，并且生成对应于每个受试者的点数据112。点跟踪器部件110可以生成对应于第一受试者的第一点数据112、对应于第二受试者的第二点数据112，等等。特征抽取部件115被配置为处理点数据112并且生成对应于每个受试者的特征向量。特征抽取部件115可以生成对应于第一受试者的第一特征向量、对应于第二受试者的第二特征向量，等等。行为分类部件120被配置为处理对应于多个受试者的特征向量，并且生成指示受试者何时/是否表现出特定行为的输出标签。
本文所述的自动化表型分析系统可能是对各种测定的受试者行为进行评分/分类的有效方式。由本文描述的系统进行的分类在一些方面可以与对受试者行为的手动分类相媲美。此外，自动化表型分析系统可以用于一次处理多个受试者的行为，使得能够扩展并且对不同的遗传品系进行处理。
尽管自动化表型分析系统被描述为包括点跟踪器部件、特征抽取部件和行为分类部件，但是应当理解，可以使用更少或更多的部件或者不同类型的部件(属于不同类型的ML模型或技术)来执行本文描述的功能。例如，可以使用不同的方式来跟踪视频数据中的身体部位，可以使用不同的窗口尺寸来处理距离特征和角度特征，可以使用不同类型的ML模型来处理特征向量，等等。
在一些方面，各个身体部位的定位可能导致要处理的数据减少(例如，从每视频帧337,920个像素减少到159个感兴趣的像素(53个点的x,y坐标和可能性))，使得在长时间视频上跟踪身体部位的任务是可管理的。如本文所述以距离和角度来衡量身体部位相对于彼此的方位可以是针对每个视频帧生成身体部位信息的有效方式。感兴趣身体点的平均定位误差可以低于五个像素。因为行为分类是在数千个帧(例如，85分钟153,000个帧)上进行的，所以即使几个帧包含较大的误差(关于身体部位标识)，它对整体行为分类的影响也可以忽略不计。本文描述的系统使用时间窗口来评估随时间的变化，以减少单个帧的影响，并且帮助平滑连续帧之间的不一致。
在一些实施方案中，行为分类部件120可以被配置为检测涉及舔舐或啃咬某个身体部位(例如，爪子)的受试者行为。在此类实施方案中，行为分类部件120可以采用一种或多种经训练以检测舔舐或啃咬行为的ML模型。在其他实施方案中，行为分类部件120可以被配置为检测涉及抖动某个身体部位(例如，爪子)的受试者行为。在此类实施方案中，行为分类部件120可以采用一种或多种经训练以检测抖动行为的ML模型。在还有其他实施方案中，行为分类部件120可以被配置为检测涉及由受试者位于其中的活动场所的壁支撑的直立动作的受试者行为。在此类实施方案中，行为分类部件120可以采用一种或多种经训练以检测直立行为的ML模型。
在还有其他实施方案中，行为分类部件120可以被配置为检测不同类型的行为：舔舐或啃咬行为、抖动行为和直立行为。在此类实施方案中，行为分类部件120可以采用一种或多种经训练以检测舔舐或啃咬行为的ML模型、一种或多种经训练以检测抖动行为的单独的ML模型，以及一种或多种经训练以检测直立行为的单独的ML模型。在其他这样的实施方案中，行为分类部件120可以采用一种或多种经训练以检测以下所有不同行为的ML模型：舔舐或啃咬行为、抖动行为和直立行为。
在一些实施方案中，系统150可以被配置为确定与受试者的行为相关的度量。例如，系统150可以确定受试者在视频期间表现出舔舐或啃咬行为的次数、受试者在视频期间表现出舔舐或啃咬行为的时间量，以及每次舔舐或啃咬行为发作的时间长度。作为另一个实例，系统150可以确定受试者在视频期间表现出抖动行为的次数、受试者在视频期间表现出抖动行为的时间量，以及每次抖动行为发作的时间长度。作为又一个实例，系统150可以确定受试者在视频期间表现出直立行为的次数、受试者在视频期间表现出直立行为的时间量，以及每次直立行为发作的时间长度。
在一些实施方案中，系统150可以被配置为确定对应于受试者的各种每视频帧特征。此类每视频帧特征可以包括但不限于旷场度量、步态度量和其他启发式度量。行为分类部件120可以使用一种或多种前述特征来检测受试者行为。在其他实施方案中，前述特征可以不被行为分类部件120考虑，而是可以用于将受试者(例如，具有第一基因型或表型)与另一个受试者(例如，具有不同的第二基因型或表型)进行比较。
旷场度量可以对应于旷场活动场所内的受试者运动，并且可以包括但不限于：受试者在该活动场所的中心处/附近所用去的时间、受试者在该活动场所的外围处/附近所用去的时间、受试者在该活动场所的角落处/附近所用去的时间、受试者位置与该活动场所的中心之间的距离、受试者位置与该活动场所的外围之间的距离、受试者位置与该活动场所的角落之间的距离、受试者理毛的次数，以及受试者理毛的时间量。此类旷场度量可以使用点数据112来确定。
步态度量可以对应于受试者的步态/行走，并且可以包括但不限于步宽、步长、步幅、速度、角速度、肢体占空因数(例如，基于站姿时间/在步幅间隔期间爪子与地面接触的时间量，以及步幅间隔的总时间)、鼻部的侧向位移(鉴于受试者的中心脊柱向量)、尾根的侧向位移(鉴于受试者的中心脊柱向量)、尾尖的侧向位移(鉴于受试者的中心脊柱向量)，以及时间对称性(例如，在一组视频帧期间步幅特征的相似性)。此类旷场度量可以使用点数据112来确定。
其他启发式特征可以对应于受试者的其他运动，并且可以包括但不限于：受试者凝滞/不动的时间量、受试者凝滞的次数、受试者具有连续的活动/步态的次数，以及受试者具有连续的活动/步态的时间量。此类启发式特征可以使用点数据112、旷场度量和/或步态度量来确定。
拼接视频馈送
在一些实施方案中，视频数据104可以使用从多个不同角度/视角捕捉受试者运动的多个视频馈送生成。视频数据104可以通过拼接/组合受试者顶视图的第一视频和受试者侧视图的第二视频来生成。第一视频可以使用第一图像捕捉设备(例如，设备101a)来捕捉，第二视频可以使用第二图像捕捉设备(例如，设备101b)来捕捉。受试者的其他视图可以包括右侧视图、左侧视图、自上而下视图、自下而上视图、前侧视图、后侧视图和其他视图。可以将来自这些不同视图的视频组合以生成视频数据104，从而提供受试者运动的全面/扩展视图，这可以导致由自动化表型分析系统对受试者行为进行更准确和/或更有效的分类。在一些实施方案中，可以将来自不同视图的视频组合以提供具有短焦距的宽视场，同时在整个视图上保留自上而下的视角。在一些实施方案中，可以使用一种或多种ML模型(例如，神经网络)处理来自不同视图的多个视频，以生成视频数据104。在一些实施方案中，系统可以使用2D视频/图像来生成3D视频数据。
在一些实施方案中，可以使用各种技术来同步由多个图像捕捉设备101捕捉的视频。例如，多个图像捕捉设备101可以与中央时钟系统同步，并且由主节点控制。将多个视频馈送同步可以涉及使用各种硬件和软件，诸如适配器、多路复用器、图像捕捉设备之间的USB连接、到网络199的无线或有线连接、控制设备的软件(例如，MotionEyeOS)等。
在一个示例实施方案中，图像捕捉设备101可以是超广角镜头(即，鱼眼镜头)，其产生强烈的视觉失真，旨在创建宽全景或半球形图像，并且能够实现极宽的视角。在一种示例实施方式中，用于捕捉视频的视频数据104的系统可以包括连接到4个单板计算设备(例如，Raspberry Pi)的4个鱼眼镜头相机，以及用于捕捉自上而下视图的附加图像捕捉设备。系统可以使用各种技术来同步这些部件。一种技术涉及像素/空间插值，例如，在兴趣点(例如，受试者上的身体部位)位于(x,y)处的情况下，系统相对于时间标识自上而下视图视频内沿着x轴和y轴的方位。在一个实例中，对x轴的像素插值可以由单板计算设备根据以下方程来计算：
(Pi偏移量ΔX/Pi偏移量ΔT)*(自上而下视图偏移量ΔT)+初始点(x)
然后，可以使用该方程针对y轴计算兴趣点的方位。在一些实施方案中，为了解决视频校准期间的镜头失真问题，可以向一个或多个视频馈送添加填充(而不是对视频馈送进行缩放)。
受试者
本发明的一些方面包括对受试者使用自动化表型分析方法。如本文所用，术语“受试者”可以指人、非人灵长类动物、牛、马、猪、绵羊、山羊、狗、猫、猪、鸟、啮齿动物，或者其他合适的脊椎动物或无脊椎动物生物体。在本发明的某些实施方案中，受试者是哺乳动物，并且在本发明的某些实施方案中，受试者是人。在一些实施方案中，本发明的方法可以用于啮齿动物，包括但不限于：小鼠、大鼠、沙鼠、仓鼠等。在本发明的一些实施方案中，受试者是正常、健康的受试者，而在一些实施方案中，受试者已知患有、有风险患有或者怀疑患有某种疾病或病症。术语“受试者”和“测试受试者”在本文中可以互换使用。
作为一个非限制性实例，用本发明的自动化表型分析方法评估的受试者可以是作为疼痛疾病或病症的动物模型的受试者，该动物模型诸如以下一项或多项的模型：炎性疼痛、神经性疼痛、肌肉疼痛、关节疼痛、慢性疼痛、内脏疼痛、癌症疼痛和术后疼痛。适用于本发明的方法和系统的附加慢性疼痛模型是本领域已知的，参见例如：BarrotM.Neuroscience 2012，211:39-50；Graham,D.M.,Lab Anim(NY)2016，45:99-101；Sewell,R.D.E.,Ann Transl Med 2018，6:S42.2019/01/08；以及Jourdan,D.等人，PharmacolRes2001，43:103-110，这些文献的内容全文以引用方式并入本文。
在一些实施方案中，可以使用本发明的自动化表型分析方法或系统来监测受试者，其中在该受试者中不诱发疼痛。例如，可以不向作为疼痛病症模型的测试受试者施加从外部诱发疼痛的操作，诸如注射化学药剂或者暴露于诱发疼痛的热、光、压力等。在本发明的一些实施方案中，测试受试者是神经性疼痛的动物模型，并且该测试受试者使用本发明的自动化表型分析方法和/或系统来监测，而不会在该测试受试者中诱发额外的疼痛。在本发明的某些实施方案中，作为疼痛病症动物模型的测试受试者可以用于评估该测试受试者对该疼痛病症的反应。此外，可以向作为疼痛病症动物模型的测试受试者施用候选治疗剂或方法，可以使用本发明的自动化表型分型方法或系统对该测试受试者进行监测，并且可以确定候选治疗剂或方法减轻该测试受试者的疼痛病症的疼痛的功效。
在本发明的自动化表型分析方法的一些实施方案中，受试者是野生型受试者。如本文所用，术语“野生型”意指某个物种出现在自然界中的典型形式的表型和/或基因型。在本发明的某些实施方案中，受试者是非野生型受试者，例如，与受试者物种的野生型基因型和/或表型相比具有一种或多种基因修饰的受试者。在一些情况下，受试者与野生型相比的基因型/表型差异是由遗传性(种系)突变或获得性(体细胞)突变引起的。可能导致受试者表现出一种或多种体细胞突变的因素包括但不限于：环境因素、毒素、紫外线辐射、细胞分裂中出现的自发错误、致畸事件，诸如但不限于辐射、母体感染、化学物质等。
在本发明方法的某些实施方案中，受试者是经基因修饰的生物体，也称为工程化受试者。工程化受试者可以包括预先选择的和/或有意的基因修饰，因此表现出与非工程化受试者不同的一种或多种基因型性状和/或表型性状。在本发明的一些实施方案中，常规基因工程化技术可以用于产生与该物种的非工程化受试者相比表现出基因型差异和/或表型差异的工程化受试者。作为一个非限制性实例，可以使用基因工程化小鼠和本发明的方法或系统来评估基因工程化小鼠的表型，并且可以将结果与从对照获得的结果(对照结果)进行比较，其中在该基因工程化小鼠中，功能基因产物缺失或以降低的水平存在于该小鼠中。
测试和筛选对照及候选化合物
使用本发明的自动化表型分析方法或系统从受试者获得的结果可以与对照结果进行比较。本发明的方法也可以用于评估受试者相对于对照的表型差异。因此，本发明的一些方面提供了确定受试者与对照相比是否存在活性变化的方法。本发明的一些实施方案包括使用本发明的自动化表型分析方法来识别疾病或病症的表型特征，并且在本发明的某些实施方案中，使用自动化表型分析来评估候选治疗化合物对受试者的作用。
使用本发明的自动化表型分析方法或系统获得的结果可以有利地与对照进行比较。在本发明的一些实施方案中，可以使用自动化表型分析方法来评估一个或多个受试者，接着在向受试者施用候选治疗化合物后对这些受试者进行重新测试。术语“受试者”和“测试受试者”在本文中用于指代使用本发明的方法或系统来评估的受试者，并且术语“受试者”和“测试受试者”在本文中可互换使用。在本发明的某些实施方案中，将使用自动化表型分析方法评估测试受试者所获得的结果与对其他测试受试者进行自动化表型分析方法所获得的结果进行比较。在本发明的一些实施方案中，将测试受试者的结果与在不同时间对该测试受试者进行的自动化表型分析的结果进行比较。在本发明的一些实施方案中，将使用自动化表型分析方法评估测试受试者获得的结果与对照结果进行比较。
如本文所用，对照结果可以是预定值，其可以采取多种形式。它可以是单个截止值，诸如中值或平均值。它可以基于比较组来建立，这些比较组诸如已经在与测试受试者相似的条件下使用本发明的自动化表型分析系统或方法来评估的受试者，其中测试受试者被施用候选治疗剂，而比较组没有与候选治疗剂接触。比较组的另一个实例可以包括已知患有疾病或病症的受试者和未患疾病或病症的组。另一个比较组可以是具有疾病或病症家族史的受试者和来自没有这种家族史的组的受试者。例如，可以设置预定值，其中基于测试的结果将受测试的群体均等地(或不均等地)分成多个组。本领域技术人员能够选择适当的对照组和对照值用于本发明的比较方法。
可以监测使用本发明的自动化表型分析方法或系统评估的受试者在测试条件下相对于对照条件下是否发生变化。作为非限制性实例，在受试者中，发生的变化可以包括但不限于以下一项或多项：运动频率、舔舐行为、对外部刺激的反应等。本发明的方法和系统可以用于测试受试者，以评估测试受试者的疾病或病症的影响，也可以用于评估候选治疗剂的功效。作为使用本发明的方法来评估测试受试者中是否存在变化以充当识别候选治疗剂功效的手段的一个非限制性实例，使用本发明的自动化表型分析方法来评估已知患有疼痛病症的测试受试者。然后向测试受试者施用候选治疗剂，并且使用该自动化表型分析方法再次评估。测试受试者的结果中是否存在变化相应地指示候选治疗剂对疼痛病症是否存在作用。
应当理解，在本发明的一些实施方案中，测试受试者可以充当其自身的对照，例如通过使用本发明的自动化表型分析方法评估两次或更多次，然后对在这两次或更多次不同评估中获得的结果进行比较。本发明的方法和系统可以用于评估受试者的疾病或病症的进展或消退，方式为：使用本发明的方法或系统的一个实施方案对受试者进行两次或更多次评估，由此识别和比较受试者中的表型特征随时间推移的变化。
实施例
实施例1.模型开发：数据训练、测试和模型验证
方法
动物护理
小鼠为单一性别，在12小时光照-黑暗时间表下分组饲养(每组3至5只)，自由饮水和采食。实验在光照阶段进行。使用来自166只小鼠的视频数据对模型进行训练、测试和验证(美国杰克逊实验室，C57BL/6NJ＝JR005304：雄性n＝53只，雌性＝37只，C57BL/6J＝JR000664：雄性＝46只，雌性＝30只)。在25个实验期中对小鼠(11至17周龄)进行测试；在每个实验期结束时，通过颈椎脱臼处死所有小鼠。所有程序和协议均由美国杰克逊实验室动物护理和使用委员会批准，并按照美国国立卫生研究院的实验动物护理和使用指南进行。
视频数据采集
收集响应于后爪注射福尔马林的小鼠行为的视频数据，用于对自动化表型分析系统进行训练、测试和验证。透明的丙烯酸围笼(长22cm×宽21.6cm×高12.7cm；IITC LifeScience,Woodland Hills,CA)放置在透明的玻璃表面上，该围笼包含四个由不透明的黑色壁隔开的测试活动场所(如图4和图9所示)。将黑白Dinion摄像机(Bosch,FarmingtonHills,MI)放置在围笼玻璃地板的正下方(16cm)，以提供爪子的最佳视角，并且在Noldus媒体记录器v4软件(Noldus,Leesburg,VA)的控制下从空围笼开始记录。四个围笼各自配备一台专用相机，使得共16只小鼠可以同时进行测试。四个围笼之间存在光照差异，但通过在每个围笼的顶部增设白色聚碳酸酯盖(长23.5cm×宽12.1cm×高1cm；内部制造)对光照进行优化，以减少眩光和反射。在最后一只小鼠进入活动场所之后，录制90分钟视频(每秒30帧：704像素×480像素)。视频延长到超过60分钟，以确保捕捉到峰值行为时机中的任何品系差异。
当小鼠处于麻醉状态时施用福尔马林，以最大限度提高注射部位和递送体积两者的一致性，并且以减少小鼠的应激。在气体麻醉下(4％异氟烷；Henry Schein Isothesia,Dublin,OH)，向小鼠的右后爪注射(足底内)30μl2.5％福尔马林盐水[甲醛溶液(Sigma-Aldrich,St.Louis,MO)；无菌盐水溶液(Henry Schein,Dublin,OH)]溶液。然后将小鼠转移到第一测试活动场所中，对接下来的三只小鼠重复该程序后放入该围笼中。通常，小鼠在被置于测试活动场所后一分钟内便从麻醉中恢复知觉，并在三分钟内活动自如。
(1)用于点检测的训练数据
为了创建用于点检测(点跟踪器部件110)的训练集，从覆盖四个不同围笼并且确保呈现记录的早期部分(长达30分钟)、中期部分(30至60分钟)和后期部分(60至90分钟)的八个小鼠视频中伪随机地选择一些帧。将标签手动施加到370个帧的所需点上。如图4A和图4B所示，用12个点标记每只小鼠(嘴部、鼻部、右前爪、左前爪、每个后爪上的3个点(外侧、内侧和底部)、中腹部和尾根)，每个活动场所的内壁用5个点标记(如图4A所示)。因此，每个帧总共标记了53个点。点跟踪器经训练以找到每帧的所有53个点，因此不必裁剪或操纵视频帧来定位单个活动场所。出于训练目的，包括了网格壁的位置，以验证小鼠的所有12个点均位于单个活动场所内。任何缺失或模糊的点均被标记为位置x＝0，y＝0，并且用肉眼重新检查所有被标记的帧的准确性。训练中包括空活动场所的实例。为了增加用于训练的帧数，将这370个帧反射并旋转，使得每只小鼠出现在这四个位置的每个位置中，共有1480个被标记的帧。为了增加用于训练的光照条件的可变性，通过添加高斯噪声(40个帧)或对比度变化(39个帧)，亮度滤波(39个帧)或伽马滤波(40个帧)来增强这1480个帧中的大约11％(下表1)。这些增强的帧是伪随机选择的，均匀分布在初始的370个帧以及反射和旋转条件中的每一者上。在这些调整之后，将被标记的帧的集合随机分成训练集(85％)和用于验证的测试集(15％)。
表1.对大约11％的图像进行了调整。
Figure BDA0004125157220000261
Figure BDA0004125157220000271
(1)(a)姿态估计
点跟踪器部件110可以利用预训练的残差网络(ResNet50)来进行身体部位检测。残差网络架构使用卷积层来学习特定的视觉特征，并且跳跃函数使信息损失最小化，从而增强对全局规则的抽取。
TensorflowTM用于在Tesla P100 GPU(Nvidia,Santa Clara,CA)上训练ResNet50架构。点跟踪器部件110的模型被训练了750,000次迭代，获得1.9个像素的训练精度，以及在所有测试帧和测试点上平均为约4.4个像素的测试误差。图9示出了单个测试帧的实例(平均误差为2.4个像素)：在活动场所4中，右前爪遗漏了4.3个像素，这是所有测试帧上的平均误差的近似大小。通过用不同的训练集和测试集重复该训练来验证性能稳定性(训练误差为1.9，测试误差为4.3)。
将经训练的模型锁定，随后用于跟踪实验视频。这些视频的时长大约为100分钟至120分钟(在1.6GB至2.2GB的范围内)；每帧为337,920个像素(704×480)，标记53个点的速度在每秒36个帧至每秒37个帧之间变化(在Tesla GPU上)。在视频中跟踪四只老鼠实际上比每秒30帧的视频记录速度略快。
(2)帧特征抽取
使用特征抽取部件115和每个指定身体部位的(x,y)像素坐标，以及基于指示该身体部位在该像素处的概率的分数图的一致性的可能性估计值，生成特征向量。当活动场所空无一物时，所有12个点均以极低的概率定位(例如，>0.0001)，而一旦将小鼠放入该活动场所内，所有点的可能性估计值都会增加。这12个点的平均概率阈值为0.8，用于指示存在小鼠。
因为每个围笼中的小鼠数量不同(1至4只)，所以每只小鼠被单独分类。使用12个关键兴趣点(如图4A和图4B所示)来生成身体部位(66对)之间的成对欧几里得距离和所选择的身体部位三元组之间的角度(15个角度，如下表2所示)。图7A和图7B示出了在24个连续帧上的示例特征向量，分别为：从表示身体部位“左前”(LF)的点到表示身体部位“右后外侧”(RHout)的点的一对距离，以及在表示身体部位“右后外侧”(RHout)、腹部和“左后外侧”(LHout)的点之间的一个角度，其中感兴趣帧被标记在中心。
表2.在3个身体部位点之间计算的角度，其中该角度以中点为顶点张开。
点1 中点 点2
鼻部 RHout LHout
鼻部 右后底部(RHbase) 左后底部(LHbase)
鼻部 右后内侧(RHin) 左后内侧(LHin)
嘴部 RHout LHout
嘴部 RHbase LHbase
嘴部 RHin LHin
尾根 RHout LHout
尾根 RHbase LHbase
尾根 RHin LHin
腹部 RHout LHout
腹部 RHbase LHbase
腹部 RHin LHin
LF RHout 右前(RF)
LF RHbase RF
LF RHin RF
为了测试该自动化表型分析系统，选择6个帧、11个帧和21个帧(200ms、367ms、700ms)的帧窗口尺寸用于舔舐行为。每个窗口沿着向量移动，并且在该时间帧内计算参数的统计值。针对每个视频帧计算总共1047个不同的度量，并将其用作行为分类部件120的输入数据。统计指标是每个距离对的平均值、标准偏差、中值和中值绝对偏差。包括距离的第二测量结果，如果嘴部或鼻部的可能性下降到低于0.1，则将该第二测量结果报告为无值(NaN)，并且计算该值和角度的平均值。还包括感兴趣帧的12个可能性估计值，作为不开窗的输入。
(3)行为分类
对于行为分类部件120，训练数据取自50个不同的视频，以覆盖所有围笼、活动场所，以及小鼠的所有大小或性别。总共9300个帧用于训练，每个视频不超过10秒(大约300个帧)。视频数据在逐帧的基础上被注释，以指示舔舐行为的开始视频帧和偏移视频帧。在这种情况下，舔舐行为与啃咬行为之间没有区别，嘴部与右后爪之间的任何接触均被标记为舔舐。为了获得平衡良好的训练集，使用分层随机抽样从清晰舔舐视频片段(22％)和无舔舐视频片段(78％)中选择帧。偏重无舔舐行为是有意的，因为这种行为在输入运行时视频中不会均等地出现。
(3)(a)GentleBoost分类器模型
GentleBoost(柔和的自适应增强)是基于使用决策树最小化指数损失的集成受监督学习器。GentleBoost算法非常适合二分分类响应。该分类器使用30个加权学习器，每个加权学习器使用最多20次分割和0.1的学习速率将回归模型拟合到预测器和标签。使用五折交叉验证来限制过度学习并提供训练的估计值。由于大量的输入存在显著冗余，所以也通过实施主成分分析(PCA)来训练GentleBoost模型，其考虑到99％(65个输入)或95％(11个输入)的变化。
结果
测试GentleBoost分类器模型
表3示出了所有受测试分类器以下各项的结果：精确率(被正确分类为舔舐的帧的比例)、调用率(被正确标识的舔舐帧的比例)、假阳性率(被错误识别为舔舐的帧的比例)和总准确率。精确率-调用率维度中的高值指示该模型能够正确地识别舔舐而不会遗漏行为的发生，而不管该行为发生的频率有多低，这在两种行为分布不均衡时特别有用。低假阳性率表明当不存在舔舐时，模型不报告该行为；这表明该模型不会为了防止错过该行为而将一切行为均标记为舔舐。GentleBoost模型在所有度量上均表现良好。参数的PCA减少导致针对精确率和调用率的性能下降，而假阳性率略有增加(参见表3)。
表3.分类器模型关于验证数据集的结果。精确率＝真阳性/(真阳性+假阳性；或者被识别为舔舐的帧中有多少比例是真的存在舔舐？)。调用率＝真阳性/(真阳性+假阴性；或者发现真的存在舔舐的帧有多少比例？)。假阳性率＝被错误识别为舔舐的“无舔舐”帧的比例。
Figure BDA0004125157220000291
Figure BDA0004125157220000301
为了确定用于身体部位的12个点对于实现最佳性能是否是必需的，用从8个点(移除了两只前爪上的点，以及两只后爪上的内侧点)或5个点(还移除了嘴部上的点，以及两只后爪上的外侧点)计算的输入对GentleBoost模型进行重新训练。减少点数导致性能略有损失，但该8点模型与完整的12点模型非常相似。对8点模型和5点模型进行PCA，结果表明，精确率和调用率明显损失，假阳性率小幅增加。
使用所有12个小鼠身体部位和所有统计参数(1047个输入)的完整GentleBoost分类器具有最佳性能(参见表3)。然而，标记所有12个点以训练跟踪模块是耗时的工作，如果轻微的性能损失是可接受的折衷，则可以减少到更少的点。效率方面的益处不足以弥补PCA的性能损失，因为评估完整的12点分类器的成本很低(预测速度为约每秒10,000次观察)。在膝上型计算机上使用Matlab打开excel文件数据、计算输入、对行为进行分类、计算分箱并将结果保存为3种不同的格式(HDF5文件、excel电子表格和备份Matlab输出结构文件)，每只小鼠大约需要20秒至25秒。较小的参数列表效率更高，但是考虑到保持所有参数的低成本，即使是检测舔舐的准确率存在较小的损失似乎也得不到保证。
其他分类器模型
使用所有1047个输入参数测试另外两种分类器(参见表3)：k-最近邻(kNN)分类器(近邻数＝1，欧几里得距离，等距离权重，最小限度打破平局；预测速度为每秒110次观察)；以及集成子空间kNN分类器(30个学习器，子空间维数＝624，预测速度为每秒8.7次观察)。这两种模型的性能几乎与完整GentleBoost模型一样好，但在实施预测方面效率较低。具有立方核的支持向量机(SVM)比kNN模型效率更高(每秒1600次观察)，但准确率稍差。
模型参数
12点GentleBoost模型有1047个输入，但其中只有385个实际上为分类器贡献了信息，每个有用的输入仅贡献少量信息并且没有显性线索。12个身体部位和3个时间窗口中的每一者都被多次包括在这1047个输入中，并且图10的热图示出了有用表示的百分比，作为该变量的所有可能机会的比例。具有最大信息的时间窗口为21帧(700ms)的窗口，在该窗口中包括全部所使用线索的大约46％。舔舐行为通常会持续超过一秒钟，因而700ms窗口似乎足以捕捉进行中的行为。图10展示了每个窗口尺寸和每个身体部位对模型的相对重要性，其中身体部位和窗口尺寸的热图突出显示每一者对分类器决策的实际贡献，作为每一者的可能贡献的百分比。
对身体部位点的相对信息内容的检查可以用于确定为这种类型的模型保留的最有价值的点(参见图10)。右后爪、嘴部和鼻部上的所有点似乎提供了关于右后爪与嘴部之间的接触的高水平有用信息。其他身体点贡献了关于身体形状的信息，虽然左后爪上的底部点可用于进行相对比较(平均使用率为36％)，但是可能没有必要包括左后爪的所有三个点(其中没有施用福尔马林)，因为外侧点(平均使用率为30％)和内侧点(平均使用率为16％)使用最少。然而，包括前爪似乎更有用，因为小鼠在舔舐时经常用前爪握住后爪。
短视频的分类器验证
然后，关于111个新的短视频剪辑(来自111只不同的小鼠：包括71个全新的视频和来自40个训练视频的新剪辑)测试GentleBoost分类器性能，总共测试了约284分钟。对于活动场所中的单只小鼠，以一秒的时间分辨率手动注释每个视频的舔舐行为。小鼠来自所有围笼，并且对大约相同数量的活动场所进行了注释(参见图9)。图11A和图11B示出了2个视频的结果，其中直接比较了视频中舔舐行为的人工/手动分类与视频中舔舐行为的自动化表型分析系统分类。人工/手动分类的时间分辨率比模型差，因此如果自动化表型分析系统在手动分类的+/-15帧内(即，在一秒内)，则记录舔舐行为的匹配。在图12中示出了对于所有111个视频在自动化表型分析系统与手动分类之间一致的帧的百分比。
43个视频剪辑没有舔舐行为，这些视频的平均一致性为98.8％，这表明假阳性水平低。图12示出两个视频的匹配准确度不高，性能在84％一致的范围内。对这些视频的仔细检查揭示了模棱两可的行为，手动分类很难确定小鼠是否正在舔舐。例如，在一个视频中，嘴部显然与右后爪接触，但被尾巴遮挡，所以舔舐只能通过推断而不能通过人工观察来标记。另一个视频显示腿部与爪子区域出现多次理毛，但很难将其按照纯粹的舔舐爪子行为评分。这些行为并不典型，但是难以分类，并且在这些情况下不同的人类观察者彼此意见不一致。
观察者间验证
为了测试人类观察者间的可靠性，由两名观察者对三只小鼠的视频(60分钟)进行注释，使用Noldus媒体记录器4软件来可视化。每隔5分钟将观察结果求和，观察者之间的相关性总体良好(Pearson r＝1.0、0.82和0.97)。两名人类观察者对舔舐的组成动作看法一致，但在开始和停止记录/标记该行为的确切时间方面意见不一。因此，舔舐发作有时被一名观察者按连续动作评分，却被另一名观察者按一系列短暂发作评分。对于小鼠9的观察，观察者评分的这些差异导致几个显著不同的测量结果：例如，观察者1将两个5分钟的分箱记录为67秒和60秒，观察者2则记录为197秒和151秒(参见图13)。将两名人类观察者的分类与自动化表型分析系统的分类进行比较，再次发现一致性相当高(观察者1Pearson r＝0.98、0.75、0.95；观察者2Pearson r＝0.98、0.96、0.99)。对于小鼠9，自动化表型分析系统似乎与观察者2具有更好的一致性，前述5分钟的分箱被记录为213秒的舔舐和141秒的舔舐(参见图13)。
品系比较验证
在福尔马林测试中使用了手动分类方法来比较C57BL/6NCrl小鼠与C57BL/6J小鼠在I期和II期中的舔舐反应，发现雄性C57BL/6NCrl在伤害感受反应II期(测量时间为20分钟至45分钟)中表现出舔舐反应降低，但雌性没有显著差异。为了验证自动化表型分析系统在实验条件下的效用，进行了福尔马林测试，比较相似的小鼠品系(美国杰克逊实验室：C57BL/6NJ雄性n＝45只，雌性＝30只，C57BL/6J雄性＝46只，雌性＝30只)。由于本研究中的小鼠在麻醉后注射，所以伤害感受反应的前五分钟(称为I期)是非典型的，不包括在分析中。所有数据都通过系统运行，但是自动化表型分析系统确定每只小鼠的起始帧，然后跳过9000帧(大约5分钟)，接着将数据分箱到以秒为单位的累积舔舐行为的17个时长五分钟的箱(5-10:85-90)中。
图14和图15A至图15D呈现了对品系C57BL/6J和C57BL/6NJ中的雄性小鼠和雌性小鼠的舔舐行为进行比较的数据图。图14示出了在注射后20至45分钟期间的单个箱中求和的舔舐行为；平均值和SEM按性别分开显示(显著的双因素方差分析性别X品系相互作用0.05；*指示品系之间每种性别的显著事后比较)。图15A示出了两种品系的雌性在注射后90分钟在时长5分钟的箱中求和并显示的舔舐行为的平均值和SEM(箱范围从5-10分钟到85-90分钟)。图15B示出了两种品系的雄性在注射后90分钟在时长5分钟的箱中求和并显示的舔舐行为的平均值和SEM(箱范围从5-10分钟到85-90分钟)。图15C示出了来自显著性t-检验(α＝0.05)的自举的百分比，显示针对20分钟至45分钟的时间段内分箱的度量，品系之间由于样本大小所引起的差异。图15D示出了来自显著性t-检验(α＝0.05)的自举的百分比，显示针对10分钟至60分钟的时间段内分箱的度量，品系之间由于样本大小所引起的差异。
图14显示了时间箱(注射后20至45分钟)中求和的舔舐行为，其中与C57BL/6J雄性小鼠相比，雄性C57BL/6NJ显示舔舐行为减少。然而，雌性小鼠示出相反的模式，即C57BL/6NJ舔舐得更多(性别X品系相互作用F(1,147)＝9.99p＝0.0019；雄性和雌性的Holms-Sidak多重比较p＝0.042)。在整个90分钟内反应的时间进程更清楚地揭示了性别与品系之间的差异(参见图15A和图15B)。这些曲线在舔舐的时机和幅度方面均有所不同，并且如何将数据分箱以用于分析的选择将确定是否检测性别或品系之间的差异。图15C和图15D比较了随着样本大小增加，对两种不同箱选择的自举统计分析(α水平0.05)。复制先前描述的时长20至45分钟的箱，表明随着样本大小增加，发现品系之间存在显著差异的概率也增加，对于雄性和雌性都是如此(参见图15C)。对于雌性来说，这种箱尺寸的选择似乎使品系之间反应开始时机的差异最大化。10至60的较大箱尺寸使雌性的时机差异最小化，并且自举比较显示，样本大小增加不会改变显示的统计学显著性(图15D)。雌性概率保持在5％左右，这将是由于偶然性所产生的水平(α为0.05)；雌性具有相同的舔舐量。然而，雄性检测到差异的概率随着样本大小增加而增大，雄性在舔舐量方面，以及在峰值行为的幅度和持续时间这两个方面似乎有所不同。
一种策略是使用单个求和箱来检查II期时段。尽管这种策略可能是揭示求和舔舐持续时间的一般差异的最佳选择，但是它存在丢失有关行为时机在不同时期的差异的信息的风险。对箱持续时间以及分析II期的开始时间的选择可以变化，例如10至30、10至60、10至90、10至45、15至45、20至45，或20至60。用不同的箱进行自举表明，如果在品系、性别或感兴趣的药物治疗之间存在时间差异，则箱选择可能导致研究结果不一致。本实验中的小鼠被麻醉，这也可能对行为的时机造成了影响，因为反应的早期部分明显减少。自动化表型分析系统显示C57BL/6N雄性舔舐得更少，而与箱的选择无关，但是针对雌性的箱尺寸却严重影响结果。使用C57BL/6N或C57BL/6N作为对照小鼠的实验需要分别考虑性别，因为它们在II期上表现出明显的时机差异。自动化表型分析系统允许实验者轻易地延长福尔马林实验的时间，而不会产生对长时间视频进行注释的成本。考虑到麻醉效果的可能性以及有关箱尺寸的所通知的选择，在较长的持续时间(60或90分钟)内，时间上的差异可能很明显。
实施例2设备和系统
自动化表型分析系统的一种或多种经训练的ML模型可以采取许多形式，包括神经网络。神经网络可以包括从输入层到输出层的多个层。每个层都被配置为将特定类型的数据取作输入，并且输出另一种类型的数据。来自一个层的输出被取作到下一个层的输入。虽然特定层的输入数据/输出数据的值直到神经网络在运行时期间实际运行时才是已知的，但是描述神经网络的数据描述了该神经网络的多个层的结构、参数和操作。
神经网络的一个或多个中间层也可以称为隐藏层。隐藏层的每个节点均连接到输入层中的每个节点和输出层中的每个节点。在神经网络包括多个中间网络的情况下，隐藏层中的每个节点将连接到下一个较高层和下一个较低层中的每个节点。输入层的每个节点代表神经网络的潜在输入，输出层的每个节点代表神经网络的潜在输出。从一个节点到下一个层中的另一个节点的每个连接可以与权重或分数相关联。神经网络可以输出单个输出或一组加权的可能输出。
在一个方面，神经网络可以用递归连接来构造，使得网络的隐藏层的输出再次反馈回到隐藏层中，用于下一组输入。输入层的每个节点连接到隐藏层的每个节点。隐藏层的每个节点连接到输出层的每个节点。隐藏层的输出被反馈回到隐藏层中，用于下一组输入的处理。包含递归连接的神经网络可以称为递归神经网络(RNN)。
在一些实施方案中，神经网络可以是长短期记忆(LSTM)网络。在一些实施方案中，LSTM可以是双向LSTM。双向LSTM从两个时间方向运行输入，一个时间方向是从过去状态到未来状态，另一个时间方向是从未来状态到过去状态，其中过去状态可以对应于第一时间帧的视频数据的特性，而未来状态可以对应于第二后续时间帧的视频数据的特性。
神经网络进行的处理由每个节点输入上的学习权重和网络结构决定。在给定特定输入的情况下，神经网络一次确定一层的输出，直到计算出整个网络的输出层。
连接权重最初可以由神经网络在训练期间学习，其中给定的输入与已知的输出相关联。在一组训练数据中，多个训练实例被馈送到网络中。每个实例通常将从输入到输出的正确连接的权重设置为1，并且给予所有连接为0的权重。当训练数据中的实例被神经网络处理时，输入可以被发送到网络并与相关联的输出进行比较，以确定网络性能与目标性能相比有何差异。使用训练技术，诸如反向传播，可以更新神经网络的权重，以减少神经网络在处理训练数据时产生的误差。
可以使用各种机器学习技术来训练和操作模型以执行本文所述的各种步骤，诸如用户识别特征抽取、编码、用户识别评分、用户识别置信度确定等。可以根据各种机器学习技术来训练和操作模型。此类技术可以包括例如神经网络(诸如深度神经网络和/或递归神经网络)、推理机、经训练的分类器等。经训练的分类器的实例包括支持向量机(SVM)、神经网络、决策树、AdaBoost(“Adaptive Boosting”(自适应增强)的缩写)与决策树的组合，以及随机森林。以SVM为例，SVM是一种受监督学习模型，具有分析数据和识别数据模式的相关联学习算法，通常用于分类和回归分析。给定一组训练实例，每个训练实例被标记为属于两个类别之一，SVM训练算法构建的模型将新实例分配到一个类别或另一个类别中，使其成为非概率二元线性分类器。可以使用标识超过两种类别的训练集来构建更复杂的SVM模型，其中SVM确定哪个类别与输入数据最相似。可以映射SVM模型，以便通过清晰的间隙来划分单独类别的实例。然后将新实例映射到该相同的空间中，并基于它们落在间隙的哪一侧来预测它们属于哪个类别。分类器可以发出“分数”，指示该数据最接近地匹配的类别。该分数可以提供数据与类别的匹配程度的指示。
为了应用机器学习技术，机器学习过程本身需要被训练。训练机器学习部件(诸如，在这种情况下，第一模型或第二模型中的一者)需要为训练实例建立“基准真相”。在机器学习中，术语“基准真相”是指受监督学习技术的训练集分类的准确性。可以使用各种技术来训练模型，包括反向传播、统计学习、受监督学习、半监督学习、随机学习或其他已知技术。
图16是概念性地展示可以与系统一起使用的设备1600的框图。图17是概念性地展示远程设备(诸如系统150)的示例部件的框图，该远程设备可以辅助处理视频数据、标识受试者行为等。系统150可以包括一个或多个服务器。如本文所用的“服务器”可以指如在服务器/客户端计算结构中所理解的传统服务器，但是也可以指代可以辅助本文所论述的操作的多个不同的计算部件。例如，服务器可以包括一个或多个物理计算部件(诸如机架式服务器)，其物理地和/或通过网络连接到其他设备/部件，并且能够执行计算操作。服务器还可以包括一个或多个虚拟机，该虚拟机模拟计算机系统并且在一个或多个设备上运行。服务器还可以包括硬件、软件、固件等的其他组合，来执行本文所论述的操作。服务器可以被配置为使用客户端-服务器模型、计算机局模型、网格计算技术、雾计算技术、大型机技术、效用计算技术、对等模型、沙箱技术或其他计算技术中的一种或多种来操作。
在本公开的整体系统中可以包括多个系统150，诸如用于执行点/身体部位跟踪的一个或多个系统150、用于帧级特征抽取的一个或多个系统150、用于行为分类的一个或多个系统150、用于训练/配置自动化表型分析系统的一个或多个系统150等。在操作中，这些系统中的每一者都可以包括驻留在相应设备150上的计算机可读和计算机可执行指令，这将在下文进一步论述。
这些设备(1600/150)中的每一者可以包括一个或多个控制器/处理器(1604/1704)，每个控制器/处理器可以包括用于处理数据和计算机可读指令的中央处理单元(CPU)和用于存储相应设备的数据和指令的存储器(1606/1706)。存储器(1606/1706)可以各自包括易失性随机存取存储器(RAM)、非易失性只读存储器(ROM)、非易失性磁阻存储器(MRAM)，和/或其他类型的存储器。每个设备(1600/150)还可以包括用于存储数据和控制器/处理器可执行的指令的数据存储部件(1608/1708)。每个数据存储部件(1608/1708)可以各自包括一种或多种非易失性存储类型，诸如磁存储、光存储、固态存储等。每个设备(1600/150)还可以通过相应的输入/输出设备接口(1602/1702)连接到可移动或外部非易失性存储器和/或存储装置(诸如可移动存储卡、存储器密钥驱动器、联网存储装置等)。
用于操作每个设备(1600/150)及其各种部件的计算机指令可以由相应设备的控制器/处理器(1604/1704)在运行时使用存储器(1606/1706)作为临时“工作”存储装置来执行。设备的计算机指令能够以非暂时性方式存储在非易失性存储器(1606/1706)、存储装置(1608/1708)或外部设备中。替代性地，除了软件之外或代替软件，一些或所有可执行指令可以嵌入相应设备上的硬件或固件中。
每个设备(1600/150)均包括输入/输出设备接口(1602/1702)。多种部件可以通过输入/输出设备接口(1602/1702)连接，这将在下文进一步论述。此外，每个设备(1600/150)可以包括地址/数据总线(1624/1724)，用于在相应设备的部件之间传送数据。除了通过总线(1624/1724)连接到其他部件之外(或代替该设置)，设备(1600/150)内的每个部件还可以直接连接到其他部件。
参见图16，设备1600可以包括输入/输出设备接口1602，其连接到多种部件，诸如音频输出部件，诸如扬声器1612、有线头戴式耳机或无线头戴式耳机(未示出)，或者能够输出音频的其他部件。设备1600可以另外包括用于显示内容的显示器1616。设备1600还可以包括相机1618。
经由天线1614，输入/输出设备接口1602可以经由无线局域网(WLAN)(诸如WiFi)无线电、蓝牙和/或无线网络无线电(诸如能够与无线通信网络通信的无线电，其中无线通信网络诸如长期演进(LTE)网络、WiMAX网络、3G网络、4G网络、5G网络等)连接到一个或多个网络199。也可以支持诸如以太网的有线连接。通过网络199，系统可以分布在联网环境中。I/O设备接口(1602/1702)还可以包括允许在设备(诸如服务器集合中的不同物理服务器或其他部件)之间交换数据的通信部件。
设备1600或系统150的部件可以包括它们自己的专用处理器、存储器和/或存储装置。替代性地，设备1600或系统150的一个或多个部件可以分别利用设备1600或系统150的I/O接口(1602/1702)、处理器(1604/1704)、存储器(1606/1706)和/或存储装置(1608/1708)。
如上文所指出的，在单个系统中可以采用多个设备。在这样的多设备系统中，每个设备可以包括用于执行系统处理的不同方面的不同部件。多个设备可以包括重叠的部件。如本文所述的设备1600和系统150的部件是说明性的，并且可以作为独立设备来定位，或者可以整体或部分地包括在更大的设备或系统中作为其部件。
本文所公开的概念可以应用于许多不同的设备和计算机系统中，包括例如通用计算系统、视频/图像处理系统和分布式计算环境。
本公开的上述方面意在进行说明。它们被选择用于解释本公开的原理和应用，而不旨在穷举或限制本公开。本发明所公开的方面的许多修改和变化对于本领域技术人员来说可能是显而易见的。计算机和语音处理领域的普通技术人员应当认识到，本文描述的部件和过程步骤可以与其他部件或步骤、或者部件或步骤的组合互换，并且仍然实现本公开的益处和优点。此外，对于本领域技术人员来说应当显而易见的是，本公开可以在没有本文所公开的一些或全部具体细节和步骤的情况下实施。
本发明所公开的系统的各方面可以被实现为计算机方法，或者诸如存储器设备或非暂时性计算机可读存储介质之类的制品。计算机可读存储介质可以是计算机可读的，并且可以包括用于使计算机或其他设备执行本公开中描述的过程的指令。计算机可读存储介质可以由易失性计算机存储器、非易失性计算机存储器、硬盘驱动器、固态存储器、闪存驱动器、可移动磁盘和/或其他介质来实现。此外，系统的部件可以在固件或硬件中实现。
实施例3.自动化测量舔舐；综合伤害感受性指数；测试伤害感受性反应的遗传变异
在广泛使用的具有自上而下相机视图的旷场活动场所中自动化测量舔舐动作。此外，自动化测量多种可能的防伤害行为，目的是获得综合伤害感受性指数。
方法
使用的方法如实施例1中所述，下文另有描述的步骤除外。
旷场视频数据采集、每帧测量，和特征
如上文在实施例1中所述以及如先前所述(图18A)[Kumar,V.等人，PNAS 108,15557–15564.ISSN:0027-8424(2011)；Geuther,B.等人，Communications Biology 2,124(2019年3月)]，收集在一小时的旷场活动中每只小鼠的自上而下视频数据104。通过基于深度神经网络的姿态估计网络和跟踪网络来处理旷场视频，以针对每帧产生小鼠的12点姿态骨架和椭圆形拟合轨迹[Sheppard,K.等人，bioRxiv.doi.org/10.1101/2020.12.29.424780(2020)；Geuther,B.等人，Communications Biology 2,124(2019年3月)]。这些每帧的测量结果用于制作行为分类器，还用于对以下特征进行工程化：诸如焦虑、过度活跃的传统旷场测量结果[Geuther,B.等人，Communications Biology 2,124(2019年3月)]、基于神经网络的理毛[Geuther,B.Q.等人，Elife 10,e63207(2021)]，以及新步态测量结果[Sheppard,K.等人，bioRxiv.doi.org/10.1101/2020.12.29.424780(2020)]。图22提供了在本发明的某些实施方案中使用的视频特征的信息。
结果
伤害感受性反应的遗传变异也是令人感兴趣的。先前已经描述过近交系小鼠品系响应福尔马林的舔舐行为的变化[Mogil,J.等人，Pain 80,67–82(1999)]。在从较高程度舔舐反应者(C57BL6J和C3HHeJ)到较低程度舔舐反应者(BALBcJ和AJ)的范围内选择品系[Mogil,J.等人，Pain 80,67–82(1999)]。使用来自每种品系的雄性和雌性这两类小鼠，因为反应的性别差异也已经描述过。使用四种福尔马林剂量(0.00％、1.25％、2.50％和5.00％)，每种剂量对每种品系的至少五只雄性小鼠和五只雌性小鼠进行测试，得到194只小鼠的数据集(图18A)。
使用JABS分类的一种行为是舔舐/啃咬。舔舐被认为是用于在福尔马林测定中进行量化的最重要的防伤害行为[Saddi,G.-M.和Abbott,F.，Pain 89,53–63(2001)；Abbot,F.等人，Pain,83,561-569(1999)；Wotton,J.M.等人，Molecular Pain 16,1744806920958596(2020)]。舔舐分类器根据来自先前实验的一组视频进行训练，该实验使用雄性和雌性C57BL6/J小鼠，以及0.00％(盐水)、0.27％、0.87％和2.5％这四种福尔马林剂量。一位行为学家密集标记了四种品系中的每一者在施用5.00％福尔马林剂量后的四个时长一小时的视频，视频总计四小时。对这四个视频使用分类器，发现所有的视频具有高度的帧一致性。图18B示出了帧级上的一致性。为了进一步研究加标记者与分类器之间的一致性，对分类器和加标记者所发现的舔舐发作之间的重叠进行了比较。对于分类器或加标记者所发现的每次发作，计算该发作中分类器和加标记者均同意舔舐正在发生的帧数。如果至少一半的帧一致，就认为该发作是重叠的。图18C示出了其中发作大于1秒的重叠发作的百分比。使用帧级分类和标签，针对视频计算舔舐发作的次数、舔舐所用去的时间，以及舔舐发作的平均时长(图18D至图18F)。这些测量结果在分类器与加标记者之间进行了比较，结果表明，虽然对于大多数视频来说分类器比加标记者略微保守一些，但发现的舔舐量在总体上相当。综合这些结果表明，这是合理的舔舐分类器。
接下来，对数据集的每视频舔舐测量结果进行分类和计算。当检查雄性小鼠和雌性小鼠在不同剂量和不同品系的条件下舔舐所用去的时间的差异时，观察到不同的品系和性别存在明显的差异(图18G至图18H)。如前所述，C57BL6/J小鼠显示出高程度舔舐[Mogil,J.等人，Pain 80,67–82(1999)]，C3HHeJ小鼠显示出中等程度舔舐，BALBcJ小鼠和AJ小鼠显示出低程度舔舐。虽然舔舐是用于显示某些小鼠品系的剂量依赖性伤害感受的良好测量指标，但是其对于低反应者如BALBcJ和AJ小鼠来说可能不那么可靠。因为已经发现衡量多种行为的综合伤害感受分数是在福尔马林测定中量化伤害感受的更稳健的方法，所以对多种自动化测量结果进行了研究。
在福尔马林测定中，抖动爪子是另一种已知的防伤害行为。针对抖动行为对分类器进行训练。图19A和图19B分别示出了雄性和雌性在不同剂量下抖动爪子所用去的时间。接下来，假设痛苦的老鼠可能不太经常直立，并且针对由壁支撑的直立行为对分类器进行训练。图19C和图19D分别示出了雄性和雌性直立所用去的时间；图19E示出了十折交叉验证的准确率测量结果。据发现，被给予高剂量福尔马林的小鼠倾向于表现出凝滞发作，每次一动不动地静止几秒钟。通过在每一帧中取鼻部、头底部和尾根上的点的平均速度，并找到小鼠的平均速度接近零的时长至少三秒钟的时段，从而启发式地确定凝滞发作。根据这些测量结果计算多种特征。图19F和图19G分别示出了雄性小鼠和雌性小鼠在不同剂量下凝滞发作三至六秒钟时长所用去的时间。有趣的是，就凝滞发作而言，BALBcJ小鼠和AJ小鼠相比C57BL6/J小鼠是较高程度反应者。还使用先前描述的方法从在旷场中自由运动的小鼠提取步幅测量结果，来检查步态[Sheppard,K.等人，bioRxiv.doi.org/10.1101/2020.12.29.424780(2020)]。对于许多BALBcJ小鼠和AJ小鼠，在整个视频中很少发现或完全没有发现步幅。众所周知，这两种品系的自主活动都很低。因此，对于BALBcJ小鼠和AJ小鼠，几乎所有与旷场中的运动相关的测量结果均与福尔马林剂量没有显著相关性(图20)。检查所有测量结果之间的相关性，观察到高程度反应者与低程度反应者之间存在明显的品系差异(图20)。
接下来，使用图22中的特征将累积(logit)链接模型[Agresti,A.Categoricaldata analysis(John Wiley&Sons,2003)]拟合到顺序反应(剂量)。从模型中提取的特征权重/系数(β)用于构建单变量疼痛量表。接下来，将数据与顺序类别标签(剂量)投影到单变量疼痛量表轴上(图21A)。绘制了对应于来自累积链接模型的截距的垂直虚线，该截距将剂量水平1和2分开(图21A)，然后将该垂直虚线用于在下文的二元分类分析中将属于下面的无/低疼痛(剂量水平0、1)组和高疼痛(剂量水平2、3)组的动物分开(图21C和图21D)。使用特征系数/权重(β)获得各个特征对该单变量疼痛量表的贡献(图21B)。使用不同特征集合[“旷场”(灰色实心点)；“其他”，包括工程化特征和从行为分类器获得的特征(“X”)；以及“全部”，包括旷场和其他两者(“*”)]来构建二元逻辑回归模型。接下来，将使用动物留一法交叉验证获得的该分类器的准确率度量用于评估该疼痛量表在将动物分类为低(剂量水平0、1)疼痛组和高(剂量水平2、3)疼痛组方面的功效(图21C)。据发现，与仅包括“其他”特征集合(“X”)相比，包括“全部”特征(“*”)对属于低疼痛组和高疼痛组的动物的分类给出了稍好一些的准确率。使用与图21C类似的程序，但是分类器关于属于除一个品系之外的所有品系的动物进行训练(品系留一法交叉验证)。比较用于将动物(属于留下的品系)分类到它们相应的疼痛组(图21D)的不同特征集合(类似于图21C)的性能，以评估由于品系引起的差异。如前所述，“全部”特征集合(“*”)在预测疼痛等级方面提供了优于“其他”特征集合的小幅改进。事实上，对于C57BL/6NJ，“其他”特征集合的性能优于“全部”特征集合。另一个有趣的发现是，旷场度量(灰色实心点)对不同的品系具有不同的预测准确率。例如，用旷场度量将C57BL/6NJ动物分类为低疼痛组/高疼痛组获得了高达60％的准确率(图21D)。相比之下，旷场度量对于预测AJ动物的疼痛等级是不可靠的。
等同原则
尽管本文已经描述和说明了本发明的几个实施方案，但是本领域的普通技术人员将很容易想到用于执行本文所述的功能以及/或者获得本文所述的结果和/或一种或多种优点的多种其他的手段和/或结构，并且此类变化和/或修改中的每一者均被认为在本发明的范围内。更一般地，本领域技术人员将容易理解，本文描述的所有参数、尺寸、材料和配置都意在是示例性的，并且实际的参数、尺寸、材料和/或配置将取决于使用本发明教导内容的一个或多个具体应用。本领域技术人员将认识到或者仅使用常规实验就能够确定本文所述的本发明具体实施方案的许多等同方案。因此，应当理解，前述实施方案仅以举例的方式呈现，并且在所附权利要求书及其等同形式的范围内；本发明能够以不同于具体描述和要求保护的方式实施。本发明涉及本文所述的每种单独的特征、系统、制品、材料和/或方法。此外，两个或更多个这样的特征、系统、制品、材料和/或方法的任何组合(如果这样的特征、系统、制品、材料和/或方法不是相互矛盾的)均包括在本发明的范围内。如本文所定义和使用的所有定义均应当被理解为优先级高于字典中的定义、通过引用并入的文献中的定义，以及/或者这些所定义术语的普通含义。
如本文在说明书和权利要求书中所使用的不定冠词“一个”和“一种”，除非明确表示相反的意思，否则应当理解为意指“至少一个/种”。如本文在说明书和权利要求书中所使用的短语“和/或”应当被理解为意指如此结合的要素中的“任一者或两者”，即，在一些情况下结合存在而在其他情况下分开存在的要素。可以任选地存在不同于由“和/或”从句具体指出的要素，无论其是否与具体指出的那些要素相关，除非明确指出相反的情况。
本文所使用的条件语言(其中诸如“能够”、“可能”、“可以”、“也许”、“例如”等)除非另有明确说明或者在所使用的上下文内另有理解，否则一般旨在传达某些实施方案包括、而其他实施方案不包括某些特征、要素和/或步骤。因此，这样的条件语言一般并不旨在暗示特征、要素和/或步骤对于一个或多个实施方案无论如何都是必需的，也不旨在暗示一个或多个实施方案必须包括用于在有或没有其他输入或提示的情况下决定这些特征、要素和/或步骤是否被包括在任何特定实施方案中或者是否将在任何特定实施方案中执行的逻辑。术语“包括”、“包含”、“具有”等是同义的，并且以开放的方式包括性地使用，而且不排除附加的要素、特征、动作、操作等。此外，术语“或”是以其包括性的意义(而非其排他性的意义)使用的，使得当用于例如连接要素列表时，术语“或”意指该列表中的要素中的一个、一些或全部要素。
本申请中引用或提及的所有参考文献、专利和专利申请以及出版物均全文以引用方式并入本文。

Claims (100)

1.一种计算机实现的方法，包括：
接收表示受试者的视频捕捉运动的视频数据；
使用所述视频数据针对第一时间段期间的第一帧确定第一点数据，所述第一点数据标识所述受试者的第一身体部位的位置；
使用所述视频数据针对所述第一帧确定第二点数据，所述第二点数据标识所述受试者的第二身体部位的位置；
使用所述第一点数据和所述第二点数据确定第一距离数据，所述第一距离数据表示所述第一身体部位与所述第二身体部位之间的距离；
确定至少对应于所述第一帧和第二帧的第一特征向量，所述第一特征向量至少包括所述第一距离数据和第二距离数据；
使用经训练的模型至少处理所述第一特征向量，所述经训练的模型被配置为识别所述受试者在所述第一时间段期间表现出行为的可能性；以及
基于至少对所述第一特征向量的处理，确定对应于所述第一时间段的第一标签，所述第一标签标识所述受试者在所述第一时间段期间的第一行为。
2.根据权利要求1所述的计算机实现的方法，还包括：
使用所述视频数据针对所述第一帧确定第三点数据，所述第三点数据标识所述受试者的第三身体部位的位置。
3.根据权利要求2所述的计算机实现的方法，还包括：
使用所述第一点数据和所述第三点数据确定第二距离数据，所述第二距离数据表示所述第一身体部位与所述第三身体部位之间的距离；
确定对应于所述第一帧以至少包括所述第二距离数据的第二特征向量；并且
其中使用所述经训练的模型处理包括使用所述经训练的模型处理所述第一特征向量和所述第二特征向量。
4.根据权利要求2所述的计算机实现的方法，还包括：
使用所述第一点数据、所述第二点数据和所述第三点数据确定第一角度数据，所述第一角度数据表示与所述第一身体部位、所述第二身体部位和所述第三身体部位对应的角度；
确定至少对应于所述第一帧的第二特征向量，所述第二特征向量至少包括所述第一角度数据；并且
其中使用所述经训练的模型处理还包括使用所述经训练的模型处理所述第一特征向量和所述第二特征向量。
5.根据权利要求4所述的计算机实现的方法，还包括：
使用所述视频数据针对所述第一时间段期间的第二帧确定第四点数据，所述第四点数据标识所述第一身体部位的位置；
使用所述视频数据针对所述第二帧确定第五点数据，所述第五点数据标识所述第二身体部位的位置；
使用所述视频数据针对所述第二帧确定第六点数据，所述第六点数据标识所述第三身体部位的位置；
使用所述第四点数据和所述第五点数据针对所述第二帧确定第三距离数据，所述第三距离数据表示所述第一身体部位与所述第二身体部位之间的距离；
使用所述第四点数据和所述第六点数据针对所述第二帧确定第四距离数据，所述第四距离数据表示所述第一身体部位与所述第三身体部位之间的距离；
使用所述第四点数据、所述第五点数据和所述第六点数据针对所述第二帧确定第二角度数据，所述第二角度数据表示与所述第一身体部位、所述第二身体部位和所述第三身体部位对应的角度；以及
确定至少包括所述第三距离数据、所述第四距离数据和所述第二角度数据的所述第二特征向量。
6.根据权利要求1所述的计算机实现的方法，其中所述第二距离数据表示针对所述第一时间段期间的所述第二帧，所述第一身体部位与所述第二身体部位之间的距离。
7.根据权利要求6所述的计算机实现的方法，还包括：
至少使用所述第一距离数据和所述第二距离数据来计算对应于所述第一帧的度量数据，
其中所述第一特征向量包括所述度量数据。
8.根据权利要求7所述的计算机实现的方法，其中所述度量数据表示至少对应于所述第一距离数据和所述第二距离数据的统计分析，所述统计分析是平均值、标准偏差、中值和中值绝对偏差中的至少一者。
9.根据权利要求1所述的计算机实现的方法，还包括：
使用附加的经训练模型来处理所述视频数据以确定所述第一点数据，其中所述第一点数据包括表示所述第一身体部位的所述位置的像素数据。
10.根据权利要求1所述的计算机实现的方法，还包括：
使用附加的经训练模型来处理所述视频数据，以确定像素坐标对应于所述第一身体部位的可能性；以及
至少部分地基于满足阈值的所述可能性来确定所述第一点数据，所述第一点数据包括所述像素坐标。
11.根据权利要求1所述的计算机实现的方法，还包括：
使用所述视频数据针对所述第一帧确定附加点数据，所述附加点数据标识所述受试者的至少12个部分的位置，其中所述12个部分至少包括所述第一身体部位和所述第二身体部位。
12.根据权利要求11所述的计算机实现的方法，还包括：
针对所述第一帧确定附加距离数据，所述附加距离数据表示多个身体部分对之间的距离，所述多个身体部分对是使用所述受试者的所述12个部分中的成对部分形成的，并且
其中所述第一特征向量包括所述附加的距离数据。
13.根据权利要求11所述的计算机实现的方法，还包括：
针对所述第一帧确定附加角度数据，所述附加角度数据表示与多个身体部分三元组对应的角度，所述多个身体部分三元组是通过在所述受试者的所述12个部分中选择三个部分而形成的，并且
其中所述第一特征向量包括所述附加的角度数据。
14.根据权利要求1所述的计算机实现的方法，还包括：
确定对应于所述第一时间段期间的六个帧的附加特征向量，所述六个帧至少包括所述第一帧和所述第二帧；
使用所述附加特征向量来计算度量数据，所述度量数据表示平均值、标准偏差、中值和中值绝对偏差中的至少一者；以及
使用所述经训练的模型来处理所述度量数据，以确定所述第一标签。
15.根据权利要求14所述的计算机实现的方法，还包括：
针对所述第一帧确定表示所述受试者的12个部分的像素坐标的位置数据，所述位置数据至少包括所述第一点数据、所述第二点数据和所述第三点数据，并且
其中使用所述经训练的模型来处理所述度量数据还包括使用所述经训练的模型来处理所述位置数据。
16.根据权利要求1所述的计算机实现的方法，还包括：
确定对应于所述第一时间段期间的11个帧的附加特征向量，所述11个帧至少包括所述第一帧和所述第二帧；
使用所述附加特征向量来计算度量数据，所述度量数据表示平均值、标准偏差、中值和中值绝对偏差中的至少一者；以及
使用所述经训练的模型来处理所述度量数据，以确定所述第一标签。
17.根据权利要求16所述的计算机实现的方法，其中所述11个帧包括所述第一帧之前的五个帧和所述第一帧之后的五个帧。
18.根据权利要求1所述的计算机实现的方法，还包括：
确定对应于所述第一时间段期间的21个帧的附加特征向量，所述21个帧至少包括所述第一帧和所述第二帧；
使用所述附加特征向量来计算度量数据，所述度量数据表示平均值、标准偏差、中值和中值绝对偏差中的至少一者；以及
使用所述经训练的模型来处理所述度量数据，以确定所述第一标签。
19.根据权利要求18所述的计算机实现的方法，其中所述21个帧包括所述第一帧之前的11个帧和所述第一帧之后的11个帧。
20.根据权利要求1所述的计算机实现的方法，其中所述视频数据表示多于一个受试者的视频捕捉运动。
21.根据权利要求1所述的计算机实现的方法，其中所述经训练的模型是分类器，所述分类器被配置为处理对应于视频帧的特征数据，以确定由所述视频帧中呈现的所述受试者表现出的行为，所述特征数据对应于所述受试者的多个部分。
22.根据权利要求1所述的计算机实现的方法，其中：
所述第一身体部位是所述受试者的嘴部；
所述第二身体部位是所述受试者的右后足；
所述经训练的模型被配置为识别所述受试者表现出所述第一身体部位与所述第二身体部位之间的接触的可能性；并且
所述第一标签指示所述第一帧表示所述第一身体部位与所述第二身体部位之间的接触。
23.根据权利要求1所述的计算机实现的方法，其中所述第一帧对应于30毫秒的视频数据。
24.根据权利要求1所述的计算机实现的方法，其中所述视频数据对应于捕捉所述受试者的顶视图的第一视频和捕捉所述受试者的侧视图的第二视频。
25.根据权利要求1所述的计算机实现的方法，其中所述受试者是哺乳动物。
26.根据权利要求1所述的计算机实现的方法，其中所述受试者是啮齿动物。
27.根据权利要求1所述的计算机实现的方法，其中所述受试者是灵长类动物。
28.一种确定测试受试者的伤害感受性行为的方法，所述方法包括监测所述测试受试者的反应，其中所述监测的手段包括权利要求1所述的计算机实现的方法。
29.根据权利要求28所述的方法，其中所述测试受试者存在疼痛病症。
30.根据权利要求29所述的方法，其中所述疼痛病症包括以下一种或多种：炎性疼痛、神经性疼痛、肌肉疼痛、关节疼痛、慢性疼痛、内脏疼痛、癌症疼痛和术后疼痛。
31.根据权利要求28所述的方法，其中所述测试受试者是存在疼痛病症的动物模型。
32.根据权利要求28所述的方法，其中在所述测试受试者中诱发疼痛。
33.根据权利要求32所述的方法，其中在所述测试受试者中诱发所述疼痛包括在所述测试受试者中诱发炎症。
34.根据权利要求33所述的方法，其中诱发炎症包括使所述测试受试者接触以下一种或多种刺激：热、光、压力、冷和化学药剂。
35.根据权利要求34所述的方法，其中所述化学药剂包括福尔马林和丙酮中的一种或多种。
36.根据权利要求34或35所述的方法，其中诱发所述疼痛的手段包括以下一种或多种：使所述测试受试者接触所述化学药剂，以及给所述测试受试者注射所述化学药剂。
37.根据权利要求28所述的方法，其中所述测试受试者是基因工程化测试受试者。
38.根据权利要求28所述的方法，其中所述测试受试者是啮齿动物，任选地是小鼠。
39.根据权利要求38所述的方法，其中所述小鼠是基因工程化小鼠。
40.根据权利要求28所述的方法，还包括向所述测试受试者施用候选治疗剂。
41.根据权利要求40所述的方法，其中如果在所述测试受试者中诱发疼痛，则在所述测试受试者中诱发所述疼痛之前，向所述测试受试者施用所述候选治疗剂。
42.根据权利要求40所述的方法，其中如果在所述测试受试者中诱发疼痛，则在所述测试受试者中诱发所述疼痛之后，向所述测试受试者施用所述候选治疗剂。
43.根据权利要求28所述的方法，其中将所述测试受试者的监测结果与对照结果进行比较。
44.根据权利要求43所述的方法，其中所述对照结果是来自利用所述计算机实现的方法监测的对照受试者的结果。
45.根据权利要求44所述的方法，其中在所述对照受试者中诱发疼痛。
46.根据权利要求44所述的方法，其中所述对照受试者是存在所述疼痛病症的动物模型。
47.根据权利要求45或46所述的方法，其中所述对照受试者未施用所述候选治疗剂。
48.根据权利要求44所述的方法，其中向所述对照受试者施用的所述候选治疗剂的剂量不同于向所述测试受试者施用的所述候选治疗剂的剂量。
49.根据权利要求44所述的方法，其中所述对照结果是利用所述计算机实现的方法对所述测试受试者进行的先前监测的结果。
50.根据权利要求28所述的方法，其中对所述受试者的所述监测识别所述受试者的慢性疼痛病症。
51.根据权利要求28所述的方法，其中对所述受试者的所述监测识别候选治疗剂治疗疼痛病症的功效。
52.一种识别候选治疗剂治疗受试者的疼痛病症的功效的方法，包括：
向测试受试者施用所述候选治疗剂，以及
对所述测试受试者进行监测，其中所述监测的手段包括权利要求1所述的计算机实现的方法，并且其中指示所述测试受试者的疼痛减轻的所述监测的结果识别所述候选治疗剂治疗所述疼痛病症的功效。
53.根据权利要求52所述的方法，其中所述疼痛病症包括以下一种或多种：炎性疼痛、神经性疼痛、肌肉疼痛、关节疼痛、慢性疼痛、内脏疼痛、癌症疼痛和术后疼痛。
54.根据权利要求52所述的方法，其中所述测试受试者存在所述疼痛病症。
55.根据权利要求52所述的方法，其中所述测试受试者是存在所述疼痛病症的动物模型。
56.根据权利要求52所述的方法，其中在所述监测之前，在所述测试受试者中诱发疼痛。
57.根据权利要求52所述的方法，其中在所述测试受试者中诱发所述疼痛包括在所述测试受试者中诱发炎症。
58.根据权利要求57所述的方法，其中诱发炎症包括使所述测试受试者接触以下一种或多种刺激：热、光、压力、冷和化学药剂。
59.根据权利要求58所述的方法，其中所述化学药剂包括福尔马林和丙酮中的一种或多种，并且其中诱发所述疼痛的手段包括以下一种或多种：使所述测试受试者接触所述化学药剂，以及给所述测试受试者注射所述化学药剂。
60.根据权利要求52所述的方法，其中所述测试受试者是基因工程化测试受试者。
61.根据权利要求52所述的方法，其中所述测试受试者是啮齿动物，任选地是小鼠。
62.根据权利要求61所述的方法，其中所述小鼠是基因工程化小鼠。
63.根据权利要求56所述的方法，其中在所述测试受试者中诱发所述疼痛之前，向所述测试受试者施用所述候选治疗剂。
64.根据权利要求56所述的方法，其中在所述测试受试者中诱发所述疼痛之后，向所述测试受试者施用所述候选治疗剂。
65.根据权利要求52所述的方法，其中将所述测试受试者的监测结果与对照结果进行比较。
66.根据权利要求65所述的方法，其中所述对照结果是来自利用所述计算机实现的方法监测的对照受试者的结果。
67.根据权利要求66所述的方法，其中在所述对照受试者中诱发疼痛。
68.根据权利要求66所述的方法，其中所述对照受试者存在所述疼痛病症，并且任选地是存在所述疼痛病症的动物模型。
69.根据权利要求67或68所述的方法，其中所述对照受试者未施用所述候选治疗剂。
70.根据权利要求66所述的方法，其中向所述对照受试者施用的所述候选治疗剂的剂量不同于向所述测试受试者施用的所述候选治疗剂的剂量。
71.根据权利要求66所述的方法，其中所述对照结果是利用所述计算机实现的方法对所述测试受试者进行的先前监测的结果。
72.根据权利要求52所述的方法，还包括另外测试所述候选治疗剂的所述功效。
73.一种系统，包括：
至少一个处理器；以及
包括以下指令的至少一个存储器，这些指令在由所述至少一个处理器执行时，使得所述系统：
接收表示受试者的视频捕捉运动的视频数据；
使用所述视频数据针对第一时间段期间的第一帧确定第一点数据，所述第一点数据标识所述受试者的第一身体部位的位置；
使用所述视频数据针对所述第一帧确定第二点数据，所述第二点数据标识所述受试者的第二身体部位的位置；
使用所述第一点数据和所述第二点数据确定第一距离数据，所述第一距离数据表示所述第一身体部位与所述第二身体部位之间的距离；
确定至少对应于所述第一帧和第二帧的第一特征向量，所述第一特征向量至少包括所述第一距离数据和第二距离数据；
使用经训练的模型至少处理所述第一特征向量，所述经训练的模型被配置为识别所述受试者在所述第一时间段期间表现出行为的可能性；以及
基于至少对所述第一特征向量的处理，确定对应于所述第一时间段的第一标签，所述第一标签标识所述受试者在所述第一时间段期间的第一行为。
74.根据权利要求73所述的系统，其中所述至少一个存储器还包括以下指令，这些指令在由所述至少一个处理器执行时，进一步使得所述系统：
使用所述视频数据针对所述第一帧确定第三点数据，所述第三点数据标识所述受试者的第三身体部位的位置。
75.根据权利要求74所述的系统，其中所述至少一个存储器还包括以下指令，这些指令在由所述至少一个处理器执行时，进一步使得所述系统：
使用所述第一点数据和所述第三点数据确定第二距离数据，所述第二距离数据表示所述第一身体部位与所述第三身体部位之间的距离；
确定对应于所述第一帧以至少包括所述第二距离数据的第二特征向量；并且
其中使得所述系统使用所述经训练的模型来处理的所述指令进一步使得所述系统使用所述经训练的模型来处理所述第一特征向量和所述第二特征向量。
76.根据权利要求74所述的系统，其中所述至少一个存储器还包括以下指令，这些指令在由所述至少一个处理器执行时，进一步使得所述系统：
使用所述第一点数据、所述第二点数据和所述第三点数据确定第一角度数据，所述第一角度数据表示与所述第一身体部位、所述第二身体部位和所述第三身体部位对应的角度；
确定至少对应于所述第一帧的第二特征向量，所述第二特征向量至少包括所述第一角度数据；并且
其中使得所述系统使用所述经训练的模型来处理的所述指令进一步使得所述系统使用所述经训练的模型来处理所述第一特征向量和所述第二特征向量。
77.根据权利要求76所述的系统，其中所述至少一个存储器还包括以下指令，这些指令在由所述至少一个处理器执行时，进一步使得所述系统：
使用所述视频数据针对所述第一时间段期间的第二帧确定第四点数据，所述第四点数据标识所述第一身体部位的位置；
使用所述视频数据针对所述第二帧确定第五点数据，所述第五点数据标识所述第二身体部位的位置；
使用所述视频数据针对所述第二帧确定第六点数据，所述第六点数据标识所述第三身体部位的位置；
使用所述第四点数据和所述第五点数据针对所述第二帧确定第三距离数据，所述第三距离数据表示所述第一身体部位与所述第二身体部位之间的距离；
使用所述第四点数据和所述第六点数据针对所述第二帧确定第四距离数据，所述第四距离数据表示所述第一身体部位与所述第三身体部位之间的距离；
使用所述第四点数据、所述第五点数据和所述第六点数据针对所述第二帧确定第二角度数据，所述第二角度数据表示与所述第一身体部位、所述第二身体部位和所述第三身体部位对应的角度；以及
确定至少包括所述第三距离数据、所述第四距离数据和所述第二角度数据的所述第二特征向量。
78.根据权利要求73所述的系统，其中所述第二距离数据表示针对所述第一时间段期间的所述第二帧，所述第一身体部位与所述第二身体部位之间的距离。
79.根据权利要求78所述的系统，其中所述至少一个存储器还包括以下指令，这些指令在由所述至少一个处理器执行时，进一步使得所述系统：
至少使用所述第一距离数据和所述第二距离数据来计算对应于所述第一帧的度量数据，
其中所述第一特征向量包括所述度量数据。
80.根据权利要求79所述的系统，其中所述度量数据表示至少对应于所述第一距离数据和所述第二距离数据的统计分析，所述统计分析是平均值、标准偏差、中值和中值绝对偏差中的至少一者。
81.根据权利要求73所述的系统，其中所述至少一个存储器还包括以下指令，这些指令在由所述至少一个处理器执行时，进一步使得所述系统：
使用附加的经训练模型来处理所述视频数据以确定所述第一点数据，其中所述第一点数据包括表示所述第一身体部位的所述位置的像素数据。
82.根据权利要求73所述的系统，其中所述至少一个存储器还包括以下指令，这些指令在由所述至少一个处理器执行时，进一步使得所述系统：
使用附加的经训练模型来处理所述视频数据，以确定像素坐标对应于所述第一身体部位的可能性；以及
至少部分地基于满足阈值的所述可能性来确定所述第一点数据，所述第一点数据包括所述像素坐标。
83.根据权利要求73所述的系统，其中所述至少一个存储器还包括以下指令，这些指令在由所述至少一个处理器执行时，进一步使得所述系统：
使用所述视频数据针对所述第一帧确定附加点数据，所述附加点数据标识所述受试者的至少12个部分的位置，其中所述12个部分至少包括所述第一身体部位和所述第二身体部位。
84.根据权利要求83所述的系统，其中所述至少一个存储器还包括以下指令，这些指令在由所述至少一个处理器执行时，进一步使得所述系统：
针对所述第一帧确定附加距离数据，所述附加距离数据表示多个身体部分对之间的距离，所述多个身体部分对是使用所述受试者的所述12个部分中的成对部分形成的，并且
其中所述第一特征向量包括所述附加的距离数据。
85.根据权利要求83所述的系统，其中所述至少一个存储器还包括以下指令，这些指令在由所述至少一个处理器执行时，进一步使得所述系统：
针对所述第一帧确定附加角度数据，所述附加角度数据表示与多个身体部分三元组对应的角度，所述多个身体部分三元组是通过在所述受试者的所述12个部分中选择三个部分而形成的，并且
其中所述第一特征向量包括所述附加的角度数据。
86.根据权利要求73所述的系统，其中所述至少一个存储器还包括以下指令，这些指令在由所述至少一个处理器执行时，进一步使得所述系统：
确定对应于所述第一时间段期间的六个帧的附加特征向量，所述六个帧至少包括所述第一帧和所述第二帧；
使用所述附加特征向量来计算度量数据，所述度量数据表示平均值、标准偏差、中值和中值绝对偏差中的至少一者；以及
使用所述经训练的模型来处理所述度量数据，以确定所述第一标签。
87.根据权利要求86所述的系统，其中所述至少一个存储器还包括以下指令，这些指令在由所述至少一个处理器执行时，进一步使得所述系统：
针对所述第一帧确定表示所述受试者的12个部分的像素坐标的位置数据，所述位置数据至少包括所述第一点数据、所述第二点数据和所述第三点数据，并且
其中使得所述系统使用所述经训练的模型来处理所述度量数据的所述指令进一步使得所述系统使用所述经训练的模型来处理所述位置数据。
88.根据权利要求73所述的系统，其中所述至少一个存储器还包括以下指令，这些指令在由所述至少一个处理器执行时，进一步使得所述系统：
确定对应于所述第一时间段期间的11个帧的附加特征向量，所述11个帧至少包括所述第一帧和所述第二帧；
使用所述附加特征向量来计算度量数据，所述度量数据表示平均值、标准偏差、中值和中值绝对偏差中的至少一者；以及
使用所述经训练的模型来处理所述度量数据，以确定所述第一标签。
89.根据权利要求88所述的系统，其中所述11个帧包括所述第一帧之前的五个帧和所述第一帧之后的五个帧。
90.根据权利要求73所述的系统，其中所述至少一个存储器还包括以下指令，这些指令在由所述至少一个处理器执行时，进一步使得所述系统：
确定对应于所述第一时间段期间的21个帧的附加特征向量，所述21个帧至少包括所述第一帧和所述第二帧；
使用所述附加特征向量来计算度量数据，所述度量数据表示平均值、标准偏差、中值和中值绝对偏差中的至少一者；以及
使用所述经训练的模型来处理所述度量数据，以确定所述第一标签。
91.根据权利要求90所述的系统，其中所述21个帧包括所述第一帧之前的11个帧和所述第一帧之后的11个帧。
92.根据权利要求73所述的系统，其中所述视频数据表示多于一个受试者的视频捕捉运动。
93.根据权利要求73所述的系统，其中所述经训练的模型是分类器，所述分类器被配置为处理对应于视频帧的特征数据，以确定由所述视频帧中呈现的所述受试者表现出的行为，所述特征数据对应于所述受试者的多个部分。
94.根据权利要求73所述的系统，其中：
所述第一身体部位是所述受试者的嘴部；
所述第二身体部位是所述受试者的右后足；
所述经训练的模型被配置为识别所述受试者表现出所述第一身体部位与所述第二身体部位之间的接触的可能性；并且
所述第一标签指示所述第一帧表示所述第一身体部位与所述第二身体部位之间的接触。
95.根据权利要求73所述的系统，其中所述第一帧对应于30毫秒的视频数据。
96.根据权利要求73所述的系统，其中所述视频数据对应于捕捉所述受试者的顶视图的第一视频和捕捉所述受试者的侧视图的第二视频。
97.根据权利要求73所述的系统，其中所述受试者是哺乳动物。
98.根据权利要求73所述的系统，其中所述受试者是啮齿动物。
99.根据权利要求73所述的系统，其中所述受试者是灵长类动物。
100.一种或多种非暂时性计算机可读介质，其包括计算机可执行指令，所述计算机可执行指令在被执行时，使得至少一个处理器执行包括以下各项的动作：
接收表示受试者的视频捕捉运动的视频数据；
使用所述视频数据针对第一时间段期间的第一帧确定第一点数据，所述第一点数据标识所述受试者的第一身体部位的位置；
使用所述视频数据针对所述第一帧确定第二点数据，所述第二点数据标识所述受试者的第二身体部位的位置；
使用所述第一点数据和所述第二点数据确定第一距离数据，所述第一距离数据表示所述第一身体部位与所述第二身体部位之间的距离；
确定至少对应于所述第一帧和第二帧的第一特征向量，所述第一特征向量至少包括所述第一距离数据和第二距离数据；
使用经训练的模型至少处理所述第一特征向量，所述经训练的模型被配置为识别所述受试者在所述第一时间段期间表现出行为的可能性；以及
基于至少对所述第一特征向量的处理，确定对应于所述第一时间段的第一标签，所述第一标签标识所述受试者在所述第一时间段期间的第一行为。
CN202180063085.6A 2020-07-30 2021-07-30 行为的自动化表型分析 Pending CN116075870A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063058569P 2020-07-30 2020-07-30
US63/058,569 2020-07-30
PCT/US2021/043992 WO2022026886A1 (en) 2020-07-30 2021-07-30 Automated phenotyping of behavior

Publications (1)

Publication Number Publication Date
CN116075870A true CN116075870A (zh) 2023-05-05

Family

ID=77519771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180063085.6A Pending CN116075870A (zh) 2020-07-30 2021-07-30 行为的自动化表型分析

Country Status (8)

Country Link
US (1) US20240156369A1 (zh)
EP (1) EP4189592A1 (zh)
JP (1) JP2023540850A (zh)
KR (1) KR20230058402A (zh)
CN (1) CN116075870A (zh)
AU (1) AU2021318170A1 (zh)
CA (1) CA3187460A1 (zh)
WO (1) WO2022026886A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6678413B1 (en) * 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
WO2005001768A1 (en) * 2003-06-06 2005-01-06 Psychogenics, Inc. System and method for assessing motor and locomotor deficits and recovery therefrom
EP4198926A1 (en) * 2012-05-10 2023-06-21 President And Fellows Of Harvard College Method and apparatus for automatically discovering, characterizing, classifying and semi-automatically labeling animal behavior and quantitative phenotyping of behaviors in animals
WO2017066209A1 (en) * 2015-10-14 2017-04-20 President And Fellows Of Harvard College Automatically classifying animal behavior

Also Published As

Publication number Publication date
EP4189592A1 (en) 2023-06-07
US20240156369A1 (en) 2024-05-16
WO2022026886A1 (en) 2022-02-03
CA3187460A1 (en) 2022-02-03
KR20230058402A (ko) 2023-05-03
AU2021318170A1 (en) 2023-03-09
JP2023540850A (ja) 2023-09-27

Similar Documents

Publication Publication Date Title
US10430533B2 (en) Method for automatic behavioral phenotyping
Zheng et al. Automatic recognition of lactating sow postures from depth images by deep learning detector
Fang et al. Pose estimation and behavior classification of broiler chickens based on deep neural networks
US10121064B2 (en) Systems and methods for behavior detection using 3D tracking and machine learning
US10600179B2 (en) Image analysis for determining characteristics of groups of individuals
Li et al. Development and evaluation of a method to detect broilers continuously walking around feeder as an indication of restricted feeding behaviors
Roberts et al. Prediction of welfare outcomes for broiler chickens using Bayesian regression on continuous optical flow data
Klein et al. Measuring locomotor activity and behavioral aspects of rodents living in the home-cage
Zheng et al. Cows' legs tracking and lameness detection in dairy cattle using video analysis and Siamese neural networks
Pessanha et al. Towards automatic monitoring of disease progression in sheep: A hierarchical model for sheep facial expressions analysis from video
Lamping et al. ChickenNet-an end-to-end approach for plumage condition assessment of laying hens in commercial farms using computer vision
Wu et al. Locomotor posture and swimming-intensity quantification in starvation-stress behavior detection of individual fish
Yang et al. A defencing algorithm based on deep learning improves the detection accuracy of caged chickens
US20130259333A1 (en) Image analysis for determining characteristics of individuals
CN116075870A (zh) 行为的自动化表型分析
US20220351373A1 (en) Systems and Methods Related to Age-Related Macular Degeneration
Johnston et al. Robust population single neuronal calcium signal extraction using SCOUT allows for longitudinal analysis of behavior-associated neural ensemble dynamics
Yang et al. Recognizing the rooting action of prepartum sow in free-farrowing pen using computer vision
Campbell et al. A computer vision approach to monitor activity in commercial broiler chickens using trajectory-based clustering analysis
Maraghehmoghaddam Synthetic data generation for deep learning model training to understand livestock behavior
Chen et al. Recognizing pawing behavior of prepartum doe using semantic segmentation and motion history image (MHI) features
Armstrong et al. Tracking of individual mice in a social setting using video tracking combined with RFID tags
Yang et al. An innovative segment anything model for precision poultry monitoring
Zhao et al. Pose Estimation and Behavior Classification of Jinling White Duck Based on Improved HRNet
CN117715585A (zh) 使用机器学习模型确定视觉衰弱指数

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination