CN108471943A - 自动分类动物行为 - Google Patents

自动分类动物行为 Download PDF

Info

Publication number
CN108471943A
CN108471943A CN201680073020.9A CN201680073020A CN108471943A CN 108471943 A CN108471943 A CN 108471943A CN 201680073020 A CN201680073020 A CN 201680073020A CN 108471943 A CN108471943 A CN 108471943A
Authority
CN
China
Prior art keywords
module
behavior
data
group
mouse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680073020.9A
Other languages
English (en)
Other versions
CN108471943B (zh
Inventor
桑迪普·罗伯特·达塔
亚历山大·巴姆·威尔特施科
马修·J·约翰逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harvard College
Original Assignee
Harvard College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harvard College filed Critical Harvard College
Publication of CN108471943A publication Critical patent/CN108471943A/zh
Application granted granted Critical
Publication of CN108471943B publication Critical patent/CN108471943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G06V10/85—Markov-related models; Markov random fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/40—Animals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/42—Evaluating a particular growth phase or type of persons or animals for laboratory research
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Psychiatry (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)

Abstract

本发明涉及用于在表示对象的运动的三维(3D)视频数据中客观地识别亚秒级行为模块的系统和方法。基于3D视频数据本身的结构定义行为模块(而不是使用先验定义来确定什么是可衡量的行动单位)来识别先前未探索的亚秒级规则，该亚秒级规则定义组织行为的时间尺度，产生关于行为的组成部分和结构的重要信息，提供对主体中行为变化本质的洞察力，以及能够客观的发现图案化行为中的细微变化。本发明的系统和方法可以适用于药物或基因疗法分类、药物或基因疗法筛选、包括疾病发作的早期检测、毒理学研究、副作用研究、学习和记忆过程研究、焦虑研究以及消费者行为研究。

Description

自动分类动物行为
联邦资助研究声明
本发明是在下列的政府支持下做出的：(1)由美国国立卫生研究院(NationalInstitutes of Health，NIH)院长办公室授予的第DP20D007109号NIH创新奖；以及(2)由NIH国立耳聋与其它交流障碍性疾病研究所(NIDCD)授予的第RO1DC011558号研究项目基金计划。政府享有本发明的一些权利。
技术领域
本发明涉及用于识别和分类动物行为、人类行为或其它行为度量的系统和方法。
背景技术
下面的说明包括可能有助于理解本发明的信息。并不是承认此处提供的任何信息是现有技术或与当前要求保护的发明有关或者明确或暗示引用的任何出版物是现有技术。
在从药物研发到理解神经退行性疾病的生物学研究范围中，动物行为的量化是必不可少的第一步。它通常由手工完成；训练有素的观察者在现场或是在录像带上观察动物的行为，并记录所有的感兴趣行为的时刻。
单次实验的行为数据可涉及数百只小鼠，这跨越数百个小时的视频，需要观察者团队，由此不可避免地降低了结果的可靠性和重复性。此外，构成“感兴趣行为”的内容本质上留给人类观察者：虽然对于人类观察者来说为特定行为或行为系列(即“直立”、“嗅”、“侦查”、“行走”、“凝滞”、“采食”等)赋予拟人化命名是琐碎的，但几乎肯定地存在着由小鼠生成的与违反简单的人类分类的小鼠有关的行为状态。
在更先进的应用中，可以通过计算机程序半自动地分析视频。然而，大脑产生随着时间平稳展开但却由不同的运动模式组成的行为。用于触发动作的各个感觉神经元可以在小至一毫秒的时间内完成与行为相关的计算，并且用于调解行为的神经群体表现出以数十到数百毫秒的时间尺度演变的动态[1-8]。这种快速的神经运动与较慢的神经调节系统相互作用，以产生同时以多个时间尺度组织的行为[9]。对于神经回路如何产生复杂的行为(尤其是由自由行为动物表达的自发或先天行为)的最终理解需要明确的架构组织，以用于表征如何以与神经系统相关的时间尺度来组织行为。
发明内容
虽然通过演化塑造了使动物能够完成特定的目标的行为(如寻找食物或配偶)，但目前尚不清楚这些行为是如何随着时间，特别是以快速的时间尺度组建起来的。然而，一种用于表征行为结构的强有力的方法来自于行为学，行为学提出：大脑通过将更简单动作的定型模块表达在特定序列中来建立连贯的行为[10]。例如，监督分类方法和非监督分类方法都已经鉴定出线虫、果蝇幼虫和果蝇成虫在探索过程中表达的潜在行为模块[11-16]。这些实验揭示了这些生物的行为的基础结构，该基础结构进而揭示了无脊椎动物大脑所使用的用于使行为适应情景变化的策略。在线虫的情况下，向嗅觉线索的导航至少部分地由神经回路调停，这些神经回路将连接行为模块的转移可能性调整成随时间的序列；因此，蠕虫神经系统可以通过对一组核心行为模块重新排序来产生新的由感观驱动的行为(类似于正趋化性)[17-19]。也针对苍蝇幼虫的感官驱动行为进行了类似的观察[11]。
这些对行为的基础时间序列结构的了解来自对蠕虫和苍蝇的形态变化进行量化并利用这些数据识别行为模块的能力[11-16]。然而，要获得对哺乳动物的整体行为组织的类似了解却很困难。虽然研究人员已经将小鼠的天生性探索、梳毛、社会行动、攻击和生殖行为划分为潜在模块，但是这种将哺乳动物行为分解成若干部分的方法取决于人类规定的用于组成有意义的行为模块(例如跑步、交配、战斗)的对象的定义[20-25]，因此，这种方法在很大程度上受到人类感知和直觉的限制。特别是，人类的感知很难识别短时间范围内的模块。
对于系统地描述动物行为的结构并理解大脑如何改变这种结构以实现适应，需要解决三个关键问题。首先，当试图模块化小鼠行为时，不清楚哪些行为的特性有必要测量。尽管大多数的当前方法跟踪诸如小鼠的上下或侧向轮廓的位置、速度或形状等二维参数[20，22-24，26-28]，但小鼠表现出复杂的三维姿势动态性，这些动态性难以捕捉，但可能提供对行为组织的重要了解。其次，考虑到行为在几个时间尺度上并行地演变，不清楚如何客观地识别相关的用于模块化行为的时空尺度。最后，行为的有效表征需要适应这样的事实：行为既是定型的(模块化的先决条件)，也是可变的(嘈杂的神经和运动系统的无法回避的特征)[29]。
这种可变性向如下算法提出了重大挑战，该算法负责识别在给定实验中表达的行为模块的数量和内容，或者将观察到的行为的任何给定实例指定到特定的行为模块。此外，识别在组建自然行为时所依照的时空尺度一直在行为学中是一种明确的挑战，因此，迄今为止，大多数探索行为的基础结构的努力都依赖于构成行为模块的对象的专门定义，并专注于具体的行为而不是系统地考虑整个行为。目前尚不清楚动物表现出来的自发行为是否有可定义的可以用来表征随着时间演变的行为的基础结构。
此外，现有的用于动物行为分类的计算机化系统将用于描述所观察行为的参数与手动注释并策划的参数数据库相匹配。因此，在手动和现有的半自动化案例中，对动物行为状态的主观评估内置在系统中-人类观察者必须提前判定什么构成了特定行为。这导致对该行为的评估存在偏差，并使评估局限于研究人员可以与人类认知区分开来的特定行为，因此是有限的，特别是对于在短时间内发生的行为。此外，部署在这些半监督形式的行为分析中的视频采集系统(几乎总是以二维方式获取数据)仅针对特定的行为进行优化，由此限制了吞吐量并通过校准误差增加了浪费的实验努力。
概要
尽管存在这些挑战，但发明人已经发现，通过处理动物的视频记录来自动地识别和分类动物行为模块的系统和方法。根据本发明的原理，监测方法和系统使用能够对动物行为进行分类的硬件和自定义软件。动物行为状态的分类是通过使用深度相机定量测量三维动物姿势来确定的。在一个实施例中，使用三维深度照相机来获取具有区域信息和深度信息的动物视频图像流。然后，从多个图像中的每个图像中移除背景图像(空白试验区域)，以生成具有亮区域和暗区域的处理图像。在多个处理图像中找到亮区域的轮廓，并从该轮廓内的区域图像信息和深度图像信息中提取参数，以形成多个多维数据点，每个数据点表示动物在特定时间的姿势。然后，可以使姿势数据点形成群集，使得点群集表示动物行为。
然后，将这些数据输入到无模型算法中或者输入到计算模型中，以表征自然行为的结构。在一些实施例中，系统使用贝叶斯推理中的方法来拟合行为模型，这些方法允许从给定数据集内无监督地识别行为模块的最佳数量和标识。基于三维行为数据自身中的结构，而不是针对应该构成可测量动作单位的对象使用先验定义，由此识别出先前未探索的亚秒级规律性，该规律性定义了组织行为的时间尺度，产生了关于行为的成分和结构的关键信息，提供了对行为变化本质的了解，并使人们能够客观地发现模式行动中的细微变化。
探索旷场的小鼠的视频的示例应用
在一个示例中，发明人测量了小鼠在自由地探索圆形旷场时身体形状如何变化。发明人利用深度传感器来捕捉小鼠的三维(3D)姿势动态，并然后通过将小鼠的图像沿着其脊柱的推断轴居中并对齐，来量化小鼠的姿势如何随时间变化。
通过相对于时间绘制这些三维数据，揭示出小鼠行为由姿势动态缓慢地演变时的时段来表征，并通过分隔这些时段的快速转移来分隔；这种模式将行为成像数据分解为由少数通常持续200至900ms的帧组成的块。这表明，小鼠行为可以在两个不同的时间尺度上进行组织，即由小鼠姿势能够在给定块内变化的速率定义的第一个时间尺度，以及由块之间的转移速率定义的第二个时间尺度。
为表征小鼠在这些块内的行为，并确定行为块之间可能如何不同，首先需要估计组织这些块时的时间尺度。在一些实施例中，为了识别块之间的大致边界，将行为成像数据提交给用于检测数据结构随时间的突变的变化点算法(changepoint algorithm)。在一个示例中，该方法自动识别了块之间的潜在边界，并揭示出平均块持续时间约为350ms。
此外，发明人进行了自相关和频谱分析，这提供了关于行为时间尺度的补充信息。小鼠姿势中的时间自相关大部分在400ms(τ＝340±58ms)内消失，并且几乎所有区分行为小鼠和死亡小鼠的频率内容集中在1至6Hz之间(通过频谱比或维纳(Wiener)滤波器测量，平均值3.75±0.56Hz)；这些结果表明,小鼠行为的大部分动态性出现在200至900ms的时间尺度内。
此外，对由小鼠表现出的逐块行为模式的可视检查显示出：每个块编码了以快速的转移与随后的行为基序(motif)隔离开的简短行为基序(例如，右转或左转、飞奔(dart)、踌躇(pause)、上半身直立(the first half of a rear))。综上所述，这些发现揭示了以前未被重视的亚秒级组织对小鼠行为的影响——在正常的探索期间，小鼠表达出简短运动基序，这些动作基序连续地很快从一者切换到另一者。
通过发现了将行为自然地分解为简短的运动基序，这些基序中的每个基序都是行为模块,即定型的、可重新使用的行为单元，大脑将基序放入序列中，以构建更复杂的行为模式。接下来，公开了用于识别相同的定型亚秒级行为基序的多个示例的系统和方法。
用于识别视频数据中的模块的处理算法和方法
为了识别相似的模块，可以首先对小鼠行为数据进行主成分分析(PCA)或其它降维算法，并且可以绘制前两个主成分。姿势动态数据中的每个块对应于PCA空间中的连续轨迹；例如，与小鼠的抬高的脊柱相关的各个块对应于PCA空间中的特定广度(sweep)。通过扫描行为数据以使用模板匹配方法来匹配基序，识别出不同动物中的这种广度的多个额外示例，从而表明这些PCA轨迹中的每一个轨迹都可以表示重新使用定型行为模块的各个实例。
考虑到亚秒级模块性的这一证据，发明人设计了一系列的计算模型--每个模型描述了小鼠行为的不同基础结构——在3D行为成像数据上对这些模型进行了训练，并确定了哪些模型预测或识别出小鼠行为的基础结构。特别地，发明人使用了经过优化以自动地识别大型数据集内的结构的计算推理方法(包括贝叶斯非参数方法和吉布斯采样)。
每个模型的不同之处在于其考虑行为是否是连续的或模块化的，在于模块的可能内容，并且在于管理模块如何随着时间分选的转移结构。为了比较模型性能，对模型进行了测试，以预测未暴露模型的真实小鼠行为数据的内容和结构。在这些备选方案中，假定小鼠行为由如下多个模块(每个模块捕获到3D身体运动的简短基序)组成的模型实现了最佳的定量预测，这些模块以由姿势动态数据的无模型分析识别的亚秒级时间尺度从一者切换到另一者。
AR-HMM模型
一个模型将每个行为模块表示为向量自回归(vector autoregressive，AR)过程，向量自回归过程用于捕获PCA空间中的定型轨迹(stereotyped trajectory)。另外，在该模型中，使用隐马尔可夫模型(Hidden Markov Model，HMM)来表示不同模块之间的切换动态。总之，这个模型在这里被称为“AR-HMM”。
在一些实施例中，AR-HMM基于其发现(在训练数据中)一组的行为模块和转移模式的能力对小鼠行为进行预测，这些行为模块和转移模式可以提供了小鼠行为在其随着时间演变时的总体结构的最简洁解释。因此，经过训练的AR-HMM可以用于从行为数据集中揭示出行为模块的身份以及它们的转移结构，并由此揭露小鼠行为的基础组织。在训练结束之后，AR-HMM可以将训练行为数据的每一帧指定到它所发现的模块之一，从而揭示在给定实验期间任何给定的模块何时被小鼠表达。
与识别3D行为数据中的固有块结构的AR-HMM一致地，由AR-HMM识别的模块边界遵从嵌入在姿势动态数据内的固有块结构。此外，模型识别的模块持续时间分布类似于变化点识别的块持续时间分布；然而，由AR-HMM识别的模块边界改进了由变化点分析提出的近似边界(78％的模块边界在变化点的5个帧内)。重要地，AR-HMM识别行为模块的能力取决于小鼠姿势数据的固有亚秒级组织，对构成小块(即小于300毫秒)中的行为数据的帧进行混编会显著降低模型的性能，而对更大块中的行为数据进行混编则影响不大。这些结果表明，AR-HMM识别出行为数据的固有亚秒级块结构。
另外，由AR-HMM识别的特定行为模块编码了一组不同的、重新使用的运动基序。例如，被模型指定到一个行为模块的PCA轨迹追踪PCA空间中的相似路径。与编码类似的动作基序的这些轨迹中的每者一致地，通过对与该特定模块的多个数据实例相关的3D影片进行核对和检查，证实了其编码了一种定型的被人类观察者将为直立(rearing)的行为的基序。相比之下，从不同行为模块中提取的数据实例追踪PCA空间中的不同路径。此外，对被指定到这些模块中的每者的3D影片的视觉检查表明，每个都编码了三维运动的重新使用的、相干的模式，该三维运动可以用描述符(例如，“行走”、“踌躇”和“低直立(low rear)”模块)进行区分和标记。
为了定量和全面地评估由AR-HMM识别的每个行为模块的区别，发明人进行了交叉似然分析，该分析揭示了与给定模块相关的数据实例最佳地被指定到该模块，而不是解析中的任何其它行为模块。相比之下，AR-HMM未能在缺乏模块性的合成小鼠行为数据集中识别出任何良好分离的模块，这证明了发现的真实行为数据中的模块性是数据集本身的特征，而不是模型的人工产物。此外，从随机起点重新开始模型训练过程会返回相同或高度相似的行为模块组，这与追踪并识别行为数据的固有模块化结构的AR-HMM一致。这些数据一起表明，当通过AR-HMM的镜头观察小鼠行为时，小鼠行为从根本上被组织成不同的亚秒级模块。
此外，如果AR-HMM识别出构成小鼠行为的行为模块和转移，则由经过训练的AR-HMM生成的合成行为数据可以提供真实姿势动态数据的合理副本。AR-HMM似乎捕捉到了小鼠行为的丰富性，因为合成行为数据(以脊柱动态的形式，或行为小鼠的3D影片)在质量上很难与实际动物产生的行为数据区分开来。因此，小鼠姿势动态数据具有以亚秒级时间尺度组织并通过AR-HMM良好地解析成定义模块的固有结构；此外，对这些模块的最佳识别以及对行为结构的有效预测需要模块性和切换动态的外显建模(overt modeling)。
本发明的系统和方法可应用于各种动物种类，例如动物模型中的动物、临床试验中的人类、需要对特定疾病或失调进行诊断和/或治疗的人。不受限制地，这些动物包括小鼠、狗、猫、牛、猪、山羊、绵羊、大鼠、马、豚鼠、兔子、爬行动物、斑马鱼、鸟类、果蝇、蠕虫、两栖动物(例如青蛙)、鸡、非人灵长类动物和人类。
本发明的系统和方法可用于多种应用，这些应用包括但不限于药物筛选、药物分类、遗传分类、疾病研究(包括疾病发作的早期检测)、毒理学研究、副作用研究、学习和记忆过程研究、焦虑研究和消费者行为分析。
本发明的系统和方法对于影响对象行为的疾病特别有用。这些疾病包括神经退行性疾病，如帕金森病、亨廷顿病、阿尔茨海默病和肌萎缩侧索硬化症、诸如注意力缺陷多动症、自闭症、唐氏综合症、门德氏综合症和精神分裂症等神经发育性精神障碍。
在一些实施例中，本发明的系统和方法可用于研究已知的药物或测试化合物如何能够改变对象的行为状态。这可以通过比较在向对象施用已知药物或测试化合物之前和之后所获得的行为表示来实现。在这里使用的术语“行为表示(behavioralrepresentation)”是指使用本发明的系统或方法确定的一组亚秒级行为模块以及它们的转移统计。不受限制地，行为表示可以是矩阵、表格或热图的形式。
在一些实施例中，本发明的系统和方法可用于药物分类。本发明的系统和方法可以基于现有药物和它们所治疗的疾病或失调创建多个参考行为表示，其中每个参考行为表示表示一类药物(例如，抗精神病药物、抗抑郁药、兴奋剂或抑制剂)。可以将测试行为表示与多个参考行为表示进行比较，并且如果测试行为表示类似于多个参考行为表示中的一者，则测试化合物被确定属于由所述特定的参考行为表示表示的同一类药物。不受限制地，测试化合物可以是小分子、抗体或其抗原结合片段、核酸、多肽、肽、拟肽、多糖、单糖、类脂、糖胺聚糖或它们的组合。
在一些实施例中，这可以包括用于将动物的行为自动地分类为属于一类药物与一列替代物的系统。例如，为了开发系统，我们可以在许多不同的药物条件下提供一组训练的多个小鼠，并建立线性或非线性分类器，以发现哪些特征的组合和范围构成了特定药物类的成员。一旦训练完成，这个分类器就会被立即固定，从而允许我们可以将它应用到先前未见过的小鼠。潜在分类器算法可以包括逻辑回归、具有线性基核的支持向量机、具有径向基函数核的支持向量机、多层感知机、随机森林分类器或k型最近邻分类器。
类似于药物分类，在一些实施例中，本发明的系统和方法可以用于基因功能分类。
在药物筛选的某些实施例中，可以将已知治疗特定疾病或失调的现有药物施用到第一测试对象。然后，可以将本发明的系统和方法用于第一测试对象以获得参考行为表示，参考行为表示包括能够表征药物对第一测试对象的治疗效果的一组行为模块。随后，可以将测试化合物施用到与第一测试对象相同的动物类型的第二测试对象。然后，可以将本发明的系统和方法用于第二测试对象以获得测试行为表示。如果测试行为表示与参考行为表示相似，则测试化合物被确定为在治疗特定疾病或失调方面是有效的。如果测试行为表示与参考行为表示不相似，则测试化合物被确定为在治疗特定疾病或失调方面是无效的。应该注意，第一和第二测试对象可以各自是一组测试对象，并且所获得的行为表示可以是平均行为表示。
类似于药物筛选，在一些实施例中，本发明的系统和方法可用于基因治疗筛选。基因治疗可以包括核酸转运和基因敲除。
在一些实施例中，本发明的系统和方法可用于疾病或失调的研究。例如，本发明的系统和方法可用于发现具有特定疾病或失调的对象的新行为模块。例如，本发明的系统和方法可以通过识别患有疾病或失调的人或正处于疾病或失调过程中的对象的参考行为表现来早期诊断疾病或失调。如果在疑似患有该疾病或失调的对象中也观察到参考行为表示或其显著部分，则该对象被诊断为患有该疾病或失调。因此，可以对对象进行早期临床干预。
此外，在一些实施例中，本发明的系统和方法可用于研究消费者行为，例如消费者如何回应香味(例如香水)。本发明的系统和方法可以用于识别表示对香味有积极反应的参考行为表示。在存在香味的情况下，表现出参考行为表示或其显著部分的人被确定为对香味有积极反应。表示对香味有消极反应的参考行为表示也可以被识别并用来衡量人的反应。
附图说明
并入说明书并构成说明书的一部分的附图举例说明了本发明的实施例，并与说明书一起用于解释和说明本发明的原理。这些附图旨在以示意的方式说明示例性实施例的主要特征。这些附图并非旨在示出实际实施例的每一个特征或所示出元件的相对尺寸，而且不是按比例绘制的。
图1根据本发明的各种实施例描绘了被设计成用于拍摄动物的视频数据的系统的图；
图2A根据本发明的各种实施例描绘了用于示出对视频数据执行的处理步骤的流程图；
图2B根据本发明的各种实施例描绘了用于示出对视频数据执行的处理步骤的流程图；
图3根据本发明的各种实施例描绘了用于示出对从处理步骤输出的视频数据执行的分析的流程图；
图4根据本发明的各种实施例描绘了用于示出AR-HMM算法的实施的流程图；
图5A根据本发明的各种实施例描绘了用于示出关于模块集合绘制的按照使用分类的由每个模块说明的帧的比例(Y轴)的图表；
图5B根据本发明的各种实施例绘制了用于示出按照使用(Y轴)分选的模块(X轴)的(表示有贝叶斯可信区间)图表；
图6A至6E根据本发明的各种实施例描绘了实体情景对模块使用率和空间表达模式的影响。图6A：由AR-HMM识别并按照使用率分选的模块(n＝25只小鼠，总共500分钟，来自圆形旷场的数据)。图6B：观察到的二元模型概率的辛顿(Hinton)图，其描绘了任何一对模块被作为有序对观察的概率。图6C：按照情景分选的模块使用率。深色线表示动物的平均使用率，浅色线(n＝100)表示自助(bootstrap)估计。在正文中讨论并图6D中示出的标记模块：方形＝圆形趋化性(thigmotaxis)，圆形＝玫瑰花结，菱形＝方形趋化性，十字形＝方形飞奔。图6D：小鼠在圆形旷场(左侧，n＝25，总共500分钟)中的占据图表表示所有试验中的平均空间位置。占据图表描绘了圆形趋化性模块(中间，实验中的被表示为箭头场的平均定向)和圆圈富含的玫瑰花结模块(右边，由箭头表示的各个动物的定向)的部署。图6E：方框中的小鼠的占据(occupancy)图表(左边，n＝15，总共300分钟)表示所有实验中的累积空间位置。占据图表描绘了方形富含的趋化性模块(中间，实验中的被表示为箭头场的平均定向)和方形飞奔模块(右边，由箭头表示的各个动物的定向)。
图7根据本发明的各种实施例描绘了示出与数据集中的所有其它模块相比在TMT暴露“凝滞”之后被差异化地上调并相互关联的模块的平均速度的直方图。
图8A–8E根据本发明的各种实施例描绘了示出气味避免如何改变转移概率的图表。图8A：在对照条件下(n＝24，总共480分钟)并在左下象限(箭头)中暴露于单分子狐狸衍生气味剂三甲基噻唑啉(TMT，载体DPG中5％稀释，n＝15，总共300分钟)的占据图。图8B：按“TMT性”分选的模块使用率图。深色线描绘了平均使用率，浅色线描绘了自助估计。在本说明书和图8E中讨论的标记模块：方形＝在TMT象限中的嗅探，圆形＝远离TMT的凝滞。图8C的左边和中间：小鼠在控制条件下(空白)和TMT暴露转换探索方盒的行为状态图，其中，模块被描绘为节点(与每个节点的直径成比例的使用率)，并且二元模型转移概率被描绘为有向边缘。二维布局旨在使所有连接的节点之间的总体距离最小化，并且通过频谱聚类进行播种以强调邻域结构。图8C：状态图描绘了空白与TMT之间的区别。使用率差异通过重新定尺寸的彩色圆圈表示(蓝色表示上调，红色表示下调，黑色表示空白使用率)。改变的二元模型概率用相同的彩色代码表示。图8D：关于TMT角落(X轴)绘制的模块表达和空间位置的联合概率的山脉图；注意，图表的三分之二处的“凹凸”由于两个角落与气味来源等距而出现。图8E：占据图表示TMT暴露后的小鼠在发出侦查嗅探模块(左)或踌躇模块时所处的空间位置。
图9A-9C根据本发明的各种实施例绘制了示出AR-HMM如何区分野生型的、杂合的和纯合的小鼠的图表。图9A：小鼠表现出的模块的按照“突变性”分选的使用率图(n＝6+/+，n＝4+/-，n＝5-/-，旷场测定，20分钟试验)。黑线描绘了动物中的平均使用率，模糊线描绘了自助估计值。图9B：+/+动物的基线OFA行为的如在图4C中的状态图描述；+/+和+/-基因型(中间)之间以及+/+和-/-基因型(右)之间的如在图4C中的差异状态图。图9C：“蹒跚”模块的图示，其中，动物的后肢抬高到肩胛带以上，并且动物以摇晃的步态向前移动。
图10A–10B根据本发明的各种实施例绘制了示出运动皮层的光激发扰动如何产生新的形态和生理模块的图。图10A：山脉曲线描绘了每个行为模块(每个行为模块在Y轴上被分配了唯一的颜色)的作为时间(X轴)的函数的表达概率，其中，在零时间点开始两秒的光刺激(每条曲线图为50次试验的平均)。注意，由于试验结构(其中，小鼠依次暴露于增加的光照水平)的原因，在跨越条件的光起始之前捕获基线行为模式的适度变化。星形表示在中等功率(11mW)而不是高功率(32mW)时也被上调的基线条件期间表达的两个模块；十字表示在光终止时被上调踌躇模块。图10B：在最高刺激条件下诱导的两个模块的示例小鼠的平均位置(箭头表示随时间的定向)。注意，这些曲线是从一只动物中取得的，并代表完整的数据集(n＝4)；由于病毒表达的变异性的原因，引起行为变化所需的阈值功率因动物而异，但都表达了图10A中确定的自旋行为。
图11A–11C根据本发明的各种实施例绘制了示出深度成像如何揭示小鼠姿势动态数据中的块结构的图表。图11A绘制了使用标准RGB相机(左)和3D深度相机(右，小鼠高度是彩色绘图的，mm＝高于地面的mm)在圆形旷场对小鼠进行成像而拍摄的小鼠三维姿势。图11B描绘了表示动物脊柱推断轴的箭头；所有的小鼠图像都沿着该轴居中并对齐，以使在自由行为期间定量测量随时间变化的姿势动态。姿势数据的可视化揭示了3D姿势动态中的固有块结构。通过随机投射技术对预处理和脊柱对齐数据进行压缩，随着时间的变化，姿势数据呈现零星的急剧转移。在原始数据和动物脊柱的高度上观察到相似的数据结构(上图，任何给定位置处的脊柱高度都是彩色的，mm＝高于地面的mm)。当动物正在直立时(当它在数据流的开始处)，其相对于相机的横截面轮廓变小；当动物四肢着地时，它的轮廓就变大了。图11C示出了识别这些块之间的潜在边界的变化点分析(在行为数据的底部处的踪迹中指示的变化点的归一化概率)。通过绘制由变化点分析确定的每个区块的持续时间，表明了块持续时间分布(n＝25，500分钟成像，平均值＝358ms，SD 495ms)。以黑色绘制平均块持续时间，其中，以灰色绘制与每个单独的小鼠有关的持续时间分布。图11C，中间和右边。自相关分析显示，小鼠姿势的去相关速率在大约400ms后减慢(左边，以深蓝色绘制平均值，以浅蓝色绘制单独小鼠的去相关，τ＝340±58ms)。通过绘制行为小鼠与死亡小鼠之间的光谱功率比率(右边，以黑色绘制平均值，以灰色绘制单独小鼠)显示大多数行为频率组成表示在1和6Hz之间(平均值＝3.75±0.56hz)；
图12A-12D根据本发明的各种实施例绘制了示出小鼠的姿势动态数据如何包含重新使用的行为模块的图表。图12A描绘了小鼠的姿势数据投射在主成分(PC：PrincipalComponents)空间(底部)中的透射如何揭示在姿势数据中识别的单独块编码重新使用的轨迹。在对小鼠姿势数据进行主成分分析后，将每个时间点处的前两个PC的值绘制成二维图表(点密度被彩色绘制)。通过追踪与被变化点分析突出显示的块相关的路径(顶部)，识别出PC空间中的轨迹(白色)。通过使用模板匹配程序搜索姿势数据，识别出该块的编码PC空间中的类似轨迹(从蓝色到红色的变化来指示时间的变化)的其它示例，从而表明模板块代表了重新使用的运动基序。图12B描绘了通过使用AR-HMM对小鼠姿态数据进行建模来识别个体行为模块。AR-HMM将行为数据解析为一组有限的可识别模块(顶部–标记“标记”，每个模块都有唯一的颜色编码)。与单个行为模块相关的多个数据实例均具有PCA空间中的定型轨迹(左下，绿色轨迹)；多个轨迹定义了行为序列(底部中心)。通过描述小鼠的侧视图(从深度数据推断，右下)，揭示了行为序列中的每个轨迹编码不同的元素动作(从模块开始到结束，以越来越黑的线表示模块内的时间)。图12C描绘了与步行、踌躇和低直立模块相关的三维成像数据的等距视图图示。图12D描绘了交叉似然性分析，其描绘了被指定到特定模块的数据实例将被另一模块有效建模的概率。计算旷场数据集的交叉似然性，并且被指定到特定模块的任何给定数据实例将被不同的模块准确地建模的似然性被热绘图(单位是nats，其中，enats是似然比)；注意，高的似然性对角线和所有非对角线比较相关的低的似然性。通过在对具有匹配真实老鼠数据但缺少模块性的自相关结构的合成数据进行训练的模型上绘制相同的度量标准，揭示了AR-HMM在训练数据中缺少基础模块性时无法识别模块。
图13Ai-13B根据本发明的各种实施例绘制了示出小鼠深度成像数据中的块和自相关结构的图表。图13Ai–13Aii绘制了块结构存在于随机投射数据、脊柱数据和从对齐的小鼠姿势动态导出的原始像素数据中。图13B示出了活的小鼠在成像数据中表现出明显的块结构(左盘区)，而死亡小鼠则没有表现出(右盘区)。压缩不会显著影响自相关结构小鼠的姿势动态数据。原始像素、PCA数据和表示相同深度数据集(左图)的随机投射都以大致相同的速率解相关，这表明数据压缩不会影响成像数据中的精细时间尺度的相关结构。如果小鼠的姿势进化成莱维(Levy)飞行(中间盘区)或者随机行走(右盘区)，则没有观察到这种相关结构，这表明活的小鼠表达出与切换动态相关的特定亚秒级自相关结构。
图14根据本发明的各种实施例绘制了示出在使用主成分分析剔除维度之后解释的方差的图表。用于对所解释的方差(Y轴)与所包括的PCA维度的数量(X轴)进行比较的曲线表明88％的方差被前10个主成分捕获；这个维度数量被AR-HMM用于数据分析。
图15根据本发明的各种实施例绘制了示出小鼠行为的比较性建模的图表。构建了一系列计算行为模型，其中每个模型例示了关于行为基础结构的不同假设，并且这些模型均接受了在小鼠行为数据(从对齐深度数据中提取的前10个主成分的形式)进行训练。这些模型包括高斯(Gaussian)模型(其提出小鼠行为是姿势空间中的单高斯模型)、GMM(高斯混合模型，其提出小鼠行为是姿势空间中的高斯混合模型)、Gaussian HMM(高斯隐马尔可夫模型，其提出由模型创建的行为，每个行为在姿势空间中都是高斯模型，在时间上与可定义的转移统计相互关联)、GMM HMM(高斯混合模型隐马尔可夫模型，其提出由模型创建的行为，每个行为在姿势空间中都是混合高斯模型，在时间上与可定义的转移统计数据相关联)，AR模型(其提出小鼠行为是姿势空间中的单个的、连续的自回归轨迹)、AR MM(其提出小鼠行为是从模块构建的，其中每个模块编码姿势空间中的自回归轨迹，并且随机地从一者转移到另一者)、以及AR sHMM(其提出小鼠行为是从模块构建的，其中每个模块编码姿势空间中的自回归轨迹，并且以可定义的转移统计从一者转移到另一者)。在Y轴上(以似然单位度量，并且按照高斯模型的性能进行归一化)示出这些模型在预测尚未暴露这些模型的小鼠行为数据结构方面的性能，并且在X轴示出每个模型在逐帧的基础上预测行为的能力(上部)。在不同的时间点对这幅图进行了三片分割，证明了最佳的AR HMM在数据固有的切换动态发挥作用的时间尺度上优于替代模型(例如，超过10帧后，误差棒是SEM)。
图16根据本发明的各种实施例绘制了示出在性质上相似的块和模块的持续时间分布的图表。相对于块持续时间(X轴)绘制的给定持续时间(Y轴)的块/模块的百分比表明变化点算法识别的块和模型识别的行为模块的持续时间分布大致相似。尽管这些分布不相同，但是这些分布预计是相似的，因为变化点算法识别数据结构中的局部变化，而模型基于其内容和其转移统计识别模块；注意，该模型没有直接访问由变化点算法所使用的“局部断裂”度量。
图17根据本发明的各种实施例绘制了示出如何以降低AR-HMM性能的快速时间尺度混排(shuffling)行为数据的图表。
图18根据本发明的各种实施例绘制了示出模型生成的小鼠行为的可视化的图表，每个模型都在行为数据上进行训练(左)，并接着允许生成小鼠行为的“理想”版本(右)；在这里，这里的输出为按照动物脊柱形状的随时间的可视化。由每个模型识别的单个模块在每个模型下面用颜色代码表示(标记的“标记”)。
图19根据本发明的各种实施例绘制了示出模块互连如何是稀疏的图表。不进行阈值处理的情况下，平均模块以16.85±0.95与其它模块相互连接；这种适度的互连性即使进行适度的阈值处理(X轴，应用于二元概率的阈值处理)也会大幅度降低，这与个体行为模块之间的稀疏时间互连一致。
图20根据本发明的各种实施例绘制了示出确定变化点参数的图表。为了过滤来自Kinect的数据，我们使用迭代中值滤波方法，其中，我们在空间和时间上迭代地应用中值滤波器；这种方法已被证明可以有效地保持数据结构，同时消除噪音。为了识别出最佳的滤波器设置，我们拍摄了差异化地摆出死后僵直姿势的死亡小鼠；理想的滤波器设置将能区分姿势不同的小鼠，但是无法区分来自同一小鼠的数据。滤波器设置被表示为((像素)、(帧))，其中每个括号内的数字指的是每轮滤波的迭代设置。为了评估滤波器性能，我们计算了姿势相关比(Y轴)之内/之间的差异，其中，相同姿势的所有帧的平均空间相关性除以不同姿势的所有帧的平均空间相关性。这揭示了光滤波(利用设置((3)、(3,5)))优化了数据中的可区分性。
图21根据本发明的各种实施例绘制了识别滤波参数的图表。通过针对变化点比率(在活体小鼠与死亡小鼠中确定的变化点的数量，Y轴)进行优化，通过网格扫描确定σ和H的明确最佳值(左侧两个盘区)。该变化点比率对K高度不敏感；因此选择了48的设置(在观察到的最大值处)。
图22根据本发明的各种实施例绘制了AR-HMM的图形模型。对于时间指数t＝1,2,…,T，标记y_t的阴影节点表示预处理的3D数据序列。每个这样的数据节点y_t具有对应的状态节点x_t，该状态节点将该数据帧指定到行为模式。其它节点表示用于管理模块之间的转移的参数(即，转移矩阵π)和每种模式的自回归动态参数(即，参数组θ)。
在附图中，为了便于理解和方便，相同的附图标记和任何首字母缩略词标识具有相同或相似结构或功能的元件或操作。为了便于识别任何特定元件或操作的讨论，参考数字中最重要的一个或多个数字指的是首先引入该元件的图形编号。
具体实施方式
在一些实施例中，用于描述和要求保护本发明的某些实施例的诸如尺寸、形状、相对位置等特性应被理解为由术语“约”修饰。
现在将描述本发明的各种示例。下面的描述提供了具体细节，以用于彻底理解这些示例并能够说明这些示例。然而，相关领域的技术人员将理解，可以在没有这些细节中的许多细节的情况下实施本发明。同样，相关领域的技术人员还将理解，本发明可以包括在此没有详细说明的许多其它明显特征。另外，下面将不再详细地示出或说明一些公知的结构或功能，以避免不必要地模糊相关描述。
下面使用的术语应以其最广泛、合理的方式加以解释，即使它与本发明某些特定示例的详细说明一起使用。实际上，某些术语甚至可以在下文加以强调；然而，任何旨在以任何限制的方式解释的术语都将在本详细说明部分中公开和明确地定义。
虽然本说明书包含许多特定的实施细节，但这些细节不应被解释为对任何发明或可能要求保护的内容的范围的限制，而应被理解为对特定发明的特定实施的特性的说明。本说明书中在单独实施的背景下说明的某些特征也可以在单个实施中组合地实施。相反，在单个实施的背景下说明的各种特征也可以在多个实施中单独地实施或者在任何合适的子组合中实施。此外，尽管特征可以被说明为在某些组合中起作用并且甚至如最初所要求保护的那样，但在某些情况下，来自所要求保护的组合的一个或多个特征可以从该组合中删除，并且所要求保护的组合可以涉及子组合或子组合的变体。
类似地，虽然在附图中可以以特定顺序描述操作，但不应被理解为要求以所示的特定顺序或按顺序执行这些操作，或者执行所有示出的操作，以实现期望的结果。在某些情况下，多任务处理和并行处理可能是有利的。此外，上述实施中的各种系统组件的分离不应被理解为在所有实现中都需要这种分离，而且应该理解，所描述的程序组件和系统通常可以一起集成在软件产品中，或者打包成多个软件产品。
概述
发明人通过处理动物的视频数据发现了用于自动地并客观地识别和分类动物的行为模块(behavior module)的系统和方法。这些系统可通过利用深度相机对三维的动物姿势或姿势轨迹进行定量测量、处理和分析来分类动物行为状态。这些系统和方法避免了需要对构成可测量动作单位的内容进行先验定义，从而使行为状态的分类变得客观且是无人监督的。
在一个方面，本发明涉及一种用于分析对象的运动以将其分成亚秒级模块的方法，该方法包括：(i)使用计算模型来处理表示对象运动的三维视频数据，以将视频数据划分为至少一组亚秒级模块和所述至少一组亚秒级模块之间的转移时段；以及(ii)将所述至少一组亚秒级模块指定到表示动物行为类型的类别。
图1示出了可被系统利用的用于将视频帧或帧集合自动地分类成行为模块的过程的实施例。例如，系统可以包括摄像机100和跟踪系统110。在一些实施例中，摄像机100可以是3D深度相机，并且跟踪系统110可以将结构化红外光投射到试验场10中。跟踪系统上的红外接收器能够基于视差来确定目标的位置。在一些实施例中，摄像机100可以连接到跟踪系统110，或者在一些实施例中，它们可以是独立的组件。
摄像机100可以将与来自跟踪系统110的视频图像和/或跟踪数据有关的数据输出到计算设备113。在一些实施例中，计算设备113在通过网络120发送数据以使数据由服务器130分析并保存在数据库160中之前在本地执行数据的预处理。在其它实施例中，可以在计算设备113上本地地处理和拟合数据。
在一个实施例中，3D深度相机100用于获得动物50的具有区域信息和深度信息的视频图像流。然后，从多个图像中的每个图像去除背景图像(空白实验区域)，以生成具有亮区域和暗区域的处理图像。可以获得多个处理图像中的亮区域的轮廓，并然后可以从轮廓内的区域图像信息和深度图像信息提取参数，以形成多个多维数据点，其中每个数据点表示动物在特定时间的姿势。然后，可以使姿势数据点形成群集，使得点群集代表动物行为。
然后，可以将经预处理的深度相机视频数据输入到各种模型中，以便将视频数据分类为亚秒级“模块”和转移时段，亚秒级“模块”和转移时段描述了(被组合在一起以形成可被人眼观察的连贯行为的)重复的行为单位。将视频数据分类成模块的模型的输出可以输出数个关键参数，这些参数包括：(1)在给定的实验数据集合中观察到的行为模块的数量(即，状态的数量)、(2)用于描述由与任何给定的模块相关的小鼠表达的运动模式(patternof motion)的参数(即，状态特定自回归动态参数)、(3)用于描述任何特定模块转移到任何其它模块的频繁程度的参数(即，状态转移矩阵)、以及(4)每个视频帧的该帧至行为模块(即，与每个数据序列相关的状态序列)的指定。在一些实施例中，这些潜变量通过生成概率过程来定义，并且使用了贝叶斯推理算法(Bayesian inference algorithm)同时地估算。
相机设置和初始化
可以利用各种方法来记录和追踪动物50(例如，小鼠)的视频图像。在一些实施例中，记录的视频可以在三个维度上记录。各种装置可用于该功能，例如，在此公开的实验利用了微软公司(Microsoft)的Windows Kinect。在其它实施例中，可以使用以下的额外装置：(1)立体视觉相机(其可以包括被校准以产生深度图像的两个或更多个二维相机组)、(2)飞行时间深度相机(例如，CamCube、PrimeSense、Microsoft Kinect 2)、结构化照明深度相机(例如，Microsoft Kinect 1)以及X射线视频。
摄像机100和跟踪系统110可以将结构化红外光投射到成像场10上，并且在视差上计算成像场10中的对象的三维位置。微软的Windows Kinect具有0.5米的最小工作距离(在近景模式中)；通过对成像场内的丢失深度像素(missing depth pixel)的数量进行量化，可以确定最佳传感器位置。例如，发明人已经发现，根据环境光条件和测定材料，Kinect的最佳传感器位置为距试验场的0.6和0.75m之间的位置。
数据采集
从摄像机100和跟踪系统110输出的数据可以被计算设备113接收和处理，计算设备113处理深度帧并将其保存为合适格式(例如，二进制或其它格式)。在一些实施例中，来自摄像机100和跟踪系统110的数据可以通过网络120被直接输出到服务器130，或者可以通过USB或其它连接暂时缓冲和/或发送到相关的计算设备113，计算设备113在通过网络120发送到集中服务器130以进行进一步处理之前临时存储数据。在其它实施例中，数据可由相关的计算机113处理而不通过网络120发送。
例如，在一些实施例中，从Kinect输出的数据可以通过USB端口发送到计算机，该USB端口利用自定义Matlab或其它软件经由官方Microsoft.NET API来连接Kinect，Microsoft.NET API以每秒30帧的速率检索深度帧，并将它们以原始二进制格式(16位的带符号整数)保存到外部硬盘驱动器或其它存储设备。因为USB3.0具有足够的带宽，以允许去往外部硬盘驱动器或具有存储器的计算设备的实时数据流。然而，在一些实施例中，网络可能没有足够的带宽，以允许实时远程数据流。
数据预处理
在一些实施例中，在将视频数据的原始图像保存和/或存储在数据库或其它存储器中之后，可以进行各种预处理以分离视频数据中的动物，并且沿着公共轴定向动物的图像，以便进一步处理。在一些实施例中，可以利用头部的定向将图像定向在共同方向上。在其它实施例中，可以包含脊柱的推断方向。
例如，对被成像的小鼠的姿势随时间的演变的跟踪需要：在给定视频序列内识别小鼠；从背景中分割出小鼠(在这种情况下，小鼠正在探索的设备)；沿着小鼠的脊柱的轴线定向小鼠的分离图像；针对透视失真，校正图像；并然后压缩图像以便通过模型进行处理。
分离动物的视频数据
图2A示出了系统可执行的用于分离感兴趣区域并扣除背景图像以分离动物50的视频数据的过程。首先，为了分离小鼠正作出举止动作的试验场所，系统可以首先识别感兴趣区域(region-of-interest，ROI)210，以便进一步分析。在其它实施例中，感兴趣区域210可以包括记录的视频数据的整个视场10。为了分离区域，可以沿着任意的成像场所的外边缘手动地追踪；ROI 210外部的像素可以被设定为零，以防止虚假目标检测。在其它实施例中，系统可以使用各种方法自动地定义ROI 210。在一些实施例中，系统可以利用迭代中值滤波器对原始成像数据进行滤波，这非常适合于例如在Kinect中去除来自传感器的相关噪声。
在选择感兴趣区域210之后，可以将原始图像裁剪成感兴趣区域215。然后，可以输入丢失像素值225，之后，可以针对每个像素，计算X、Y和Z位置230，并且可以对像素位置进行重新采样。因此，图像可以重新采样到现实坐标上。然后。系统计算中值现实坐标背景图像240，并且可以从现实坐标图像中扣除中值现实坐标背景图像245。
为了从视频数据中扣除场所的背景图像，可以执行各种技术，这些技术例如包括：扣除视频数据的设定时间段(例如，30秒)的一部分的中值。例如，在一些实施例中，可以从所有视频帧中扣除任何成像流中的前30秒的数据，并且可以将任何小于零的伪值重置为零。
为了进一步确保分析聚焦于动物，系统可以对图像进行二值化(或者使用阈值执行类似的处理)，并且消除任何的不会在形态学开运算(morphological opening)的一定次数的迭代中存留的目标。因此，一旦完成，系统就可以执行图2B所示的额外处理。因此，可以对背景扣除图像(小鼠视频数据)250进行滤波，并且可去除伪影255。在一些实施例中，这可能涉及迭代中值滤波。
然后，图像数据中的动物可以通过将其定义为场所中的在扣除和掩蔽(masking)处理中存留的最大目标或者通过点检测(blob detection)来进行识别260。然后，可以提取小鼠的图像265。
识别动物的定向
然后，动物(例如，小鼠)的形心可以被识别为预处理图像的质心或通过其它合适的方法来减小识别270；然后，可以将椭圆拟合到其轮廓285，以检测其整体定向。为了正确地定向小鼠280，可以在一组手动定向的提取的小鼠图像上训练各种机器学习算法(例如，随机森林分类器)。在图像的情况下，定向算法接着返回用于指示小鼠头部是否正确地定向的输出。
一旦识别出位置，可以从视频数据中提取附加信息275，该附加信息包括：动物的形心位置、头部位置和尾部位置、定向、长度、宽度、高度以及它们相对于时间的一阶导数。动物姿势动态的表征需要校正X和Y轴上的透视失真(perspective distortion)。这种失真可以通过以下方法进行校正：首先在现实坐标中产生每个像素的(x,y,z)坐标数组，然后，重新采样这些坐标以使用德劳内三角化(Delaunay triangulation)使它们落在(x,y)平面中的均匀网格上。
至基于模型的算法或无模型算法的输出
如图3所示，在一些实施例中，定向校正图像或帧的输出将成为主成分分析(principle component analysis，PCA)时间系列310或其它用于减少数据点的统计方法。在一些实施例中，通过模型拟合算法315(例如，本文公开的AR-HMM算法)来运行数据，或者可以如所公开的通过无模型算法320来运行数据，以便识别包含在视频数据内的行为模块300。此外，在一些实施例中，不执行PCA时间序列。
在具有无模型算法320的实施例中，在分离具有类似定向轮廓和轨迹的亚秒级行为模块的目标下，可利用算法的各种组合。这里公开了这些算法的一些示例，然而，可以设想将数据分割成行为模块的额外算法。
减少图像的维度
在一些实施例中，两者包括无模型算法320或模型拟合315算法，在每个像素中捕获的信息通常是高度相关的(相邻像素)或无信息的(图像的边界上的从不代表小鼠身体的像素)。为了既减少冗余维度又使建模在计算方面变得容易处理，可以采用各种技术在维度上减少每个图像。例如，可以执行5级小波分解，从而将图像转换成使每个维度在单个空间尺度上捕获并汇集信息的表示；在该转换中，某些维度可能会在几毫米的尺度上针对精细边缘进行明确编码，而其它的维度在厘米的空间尺度上编码广泛的变化。
然而，这种小波分解将扩大图像的维度。为了减小这种维度，可以将主成分分析应用于这些矢量，以便将小波系数投射到十个维度，发明人发现这仍然获得>95％的总体方差。例如，可以使用25C57BL/6小鼠的标准数据集来建立主成分(小鼠为6周龄，每20分钟记录一次)，并且所有的数据集投射到这个共同的姿势空间中。因此，然后可以将PCA的输出输入到建模算法中，以用于模块识别。
在一些实施例中，可以利用随机投射(random projections)技术来减少数据的维度。随机投射是一种通过如下方式产生从具有维度D_orig的原始信号获得的新维度的方法：对每个原始维度进行随机加权，并接着根据该加权对每个维度进行求和，从而每个数据点生成单个数字。这个过程可以利用新的随机加权而重复多次，以产生一组“随机投射”维度。约翰逊-林登施特劳斯(Johnson–Lindenstrauss)引理表明，具有维度D_orig的原始数据集中的点之间的距离保留在随机投射维度D_proj中，其中，D_proj<D_orig。
无模型算法：识别行为模块长度
在具有无模型算法320的一些实施例中，为了评估动物行为自相似的时间尺度(其反映了动物从一种运动模式转移到另一种运动模式的速率)，可以进行自相关分析。因为需要某一数据平滑化来消除传感器特有噪声，因此在将自相关图(auto-correlogram)计算为信号的时滞版本之间的统计相关性时，将导致下降的自相关图，即使对于死后僵直的动物(例如，小鼠)也是如此。因此，可以利用小鼠姿势数据的所有10个维度之间的相关距离作为所讨论的时间序列信号的时滞版本之间的比较器，从而针对死亡动物导致值为～1.0的平坦自相关函数，且针对行为动物(例如，小鼠)导致下降的自相关函数。行为小鼠的这种自相关图下降的速率是行为的基本时间尺度的度量，其可以被表征为指数衰减曲线的时间常数τ。τ可以使用莱文博格-马夸特(Levenberg-Marquardt)算法(非线性最小二乘法)利用SciPy优化包进行拟合。
在一些实施例中，可以对小鼠行为数据执行功率谱密度(PSD)分析，以进一步分析其时域结构。例如，可以使用维纳(Wiener)滤波器来识别在从死亡小鼠提取的信号中必须提高的时间频率，以最佳地匹配行为小鼠。这可以简单地通过采用行为小鼠的PSD与死亡小鼠的PSD的比率来实现。在一些实施例中，可以使用韦尔奇(Welch)周期图方法来计算PSD，该方法采用整个信号中的滑动窗口的平均PSD。
无模型算法：定位转移时段的变化点
在没有使用模型来识别模块320的一些实施例中，可以使用各种方法来确定转移时段的变化点。通过绘制小鼠深度图像随时间的随机投射，产生了明显的条纹，每个条纹就是随时间的潜在变化点。为了自动识别这些变化点(这些变化点表示随机投射数据中的明显的块结构之间的潜在边界)，可以使用被称为滤波导数算法(filtered derivativealgorithm)的简单变化点识别技术。例如，可以使用用于计算具有k＝4帧的滞后的每帧归一化随机投射的导数的算法。对于每个时间点，针对每个维度，算法可以确定信号是否已经跨过某个阈值h＝0.15mm。然后，二进制变化点指示符信号可以在每个D＝300的随机投射维度中求和，并接着可以使用具有sigma＝0.43帧的核心标准偏差的高斯滤波器(Gaussianfilter)对所得到的1D信号进行平滑化。然后，可以将变化点识别为该平滑后的1D时间序列的局部最大值。该过程部分地取决于参数k、h和sigma的具体值；例如，可以利用那些在使行为小鼠中的变化点的数量最大化同时在死亡小鼠中不产生变化点的值。
无模型算法：识别相似或重复模块
在一些实施例中，在不使用模型320的情况下分析数据的情况下，可以使用某些算法来识别相似和重复模块。因此，一组重复模块可以被识别为动物行为的词汇或音节。因此，为了确定是否有任何相当长的行为片段(仅大于几个帧)曾经“重复”过(不依赖行为的基本模型)，系统可以使用模板匹配过程来识别PCA空间中的相似轨迹。例如，为了识别相似轨迹，系统和方法可以计算某个目标片段、“模板”以及等长的每个可能片段(一般通过由变化点分析识别的近似块边界来定义)之间的欧几里得距离。也可以使用其它类似的方法来识别模块，这包括其它基于统计的方法。
在一些实施例中，相似模块的集合将被选为最相似片段，而忽略发现的彼此之间偏移不到1秒的片段(以确保我们选择了在时间上彼此间隔开且也出现在单独小鼠中的行为片段)。
数据建模
在其它实施例中，可以采用利用数据模型315来识别视频数据中的行为模块的系统和方法。例如，数据模型可以实施生成概率建模的公认范式，该范式通常用于对复杂的动态过程进行建模。这类模型在其描述用于能够通过模型自身来综合地产生观察数据的过程的意义上是生成性的，而且他们是概率性的，这是因为该过程是在对概率分布进行采样的方面数学地定义的。此外，通过将可解释的模型拟合成数据，数据以如下方式被“解析”，该方式揭示了：模型假定的潜变量结构产生数据(包括用于描述状态的数量和同一性的参数以及用于描述状态之间的转移的参数)。
在一些实施例中，模型315可以利用贝叶斯框架(Bayesian framework)来表达。贝叶斯框架提供了一种自然方式来表达行为组织、先验或规则化器的分层模型，这些模型反映了已知的或观察到的对3D数据内的运动模式的限制以及不确定性的一致表示。该框架还使重要且完善的计算机器用于推断任何模型的关键参数。在贝叶斯框架内，针对特定的模型结构(例如，状态的时空性质以及它们可能的转移)和潜变量的先验分布，数据修正了潜变量的后验分布。
下面，以如下两个步骤来定义用于表征行为的基于模型的方法：首先，使用的生成模型和先验的数学定义，并且其次，推理算法的描述。
用于识别行为模块的示例模型–AR-HMM
在一些实施例中，系统可以使用离散时间隐马尔可夫模型(hidden Markovmodel)315(HMM)来识别行为模块。HMM包含一系列的随机过程，以用于建模顺序和时间序列数据。HMM模型假定：在每个时间点(例如，对于成像数据的每一帧)处，小鼠处于可被给出标记的离散状态(马尔可夫状态)内。每个马尔可夫状态表示动物在处于该状态内的同时采取的简短三维运动基序(motif)。因为观察到的小鼠的三维行为取决于动物在近期表达的特定运动模式，因此，在理想情况下，每个马尔可夫状态将基于小鼠近期的姿势动态来预测其未来行为。因此，每个马尔可夫状态由(用于识别动物的行为模式的)潜离散成分以及(用于基于行为模式预测动物的短时间行为的)观察序列的数个延迟组成。该模型结构通常被称为转换向量自回归(switching vector-autoregressive，SVAR)模型和自回归HMM(AR-HMM)。
图4提供了AR-HMM算法如何将输入数据(使用PCA 310被降维405的脊柱对齐深度成像数据305)转换为拟合模型的示例，其中，拟合模型描述了行为模块的数量以及它们在PCA空间中编码的轨迹、用于管理给定模块内的任何轨迹的持续程度的模块特定持续时间分布(module-specific duration distribution)以及用于描述这些各个模块如何随时间互接的转移矩阵。
此外，AR-HMM可以被配置成将标记指定到训练数据的每个帧，其中该标记将该帧与给定行为模块关联。在预处理和降维405之后，将成像数据分解成训练集合415和测试集合410。然后，将训练集合415提交给AR-HMM 315。在随机地初始化模型315的参数(这里，指的是描述每个模块在PCA空间中的轨迹的自回归参数、描述用于管理模块之间的时间互连的概率的转移矩阵、描述给定模块的任何实例的可能持续程度的持续时间分布参数以及被指定给成像数据的每个帧并将该帧帧与特定模块关联的标记)之后，AR-HMM试图通过在保持其它参数不变的同时改变一个参数来拟合模型315。AR-HMM在两个主要更新之间交替：算法315首先尝试将成像数据分割为给出固定组的转移统计量和用于描述任何给定模块的AR参数的固定说明的模块，并接着，该算法切换成用于固定分割，并更新转移矩阵和AR参数455。AR-HMM 315使用类似的方法将任何给定的成像数据帧指定到给定的模块。它首先计算给定模块是“正确”模块的概率，该概率与状态的对应自回归参数455以该时间指数描述数据的良好程度以及最终的状态转移与转移矩阵450相一致的良好程度的度量成比例。
在第二步骤中，AR-HMM 315改变自回归参数455和转移参数450，以更好地拟合所指定的数据，从而更新每个行为模块以及模块之间的转移模型。这个过程的产物是所描述的参数455，之后，使用从训练475中得出的数据的似然性测量来评估这些参数在描述行为方面的质量。
通过识别与3D姿势序列数据相关联的离散潜状态445，HMM模型315可以识别表现出类似的短时间尺度运动动态的数据片段，并在重新使用的自回归参数的方面解释这些片段。对于每个观察序列，存在着未观察到的状态序列：如果在时间指数t下的离散状态是x_t＝i，则离散状态x_(t+1)取值为j的概率是i和j的确定性函数，并且独立于所有先前的状态。在符号方面，
p(xt+1|xt,xt-1,xt-2,...,x1)＝p(xt+1|xt)
p(xt+1＝j|xt＝i)＝πij
其中，π是转移矩阵450，其中，(i,j)元素是从状态i转移到状态j的概率。在一些实施例中，离散状态的动态可以通过转移矩阵完全参数化，在这里，转移矩阵被认为不随时间变化。推断算法(以下描述)的任务之一是推断离散状态序列以及管理这些序列的部署的转移矩阵的可能值，从而推断出一系列的重新使用的行为模块以及管理这些这些模块如何随时间连接的转移模式。
在离散状态序列的情况下，可以将相应的3D姿势数据序列建模为条件矢量自回归(VAR)过程。每个状态特定矢量自回归可以捕获特定于相应离散状态的短时间尺度运动动态；换句话说，可以将每个行为模块建模为其自身的自回归过程。更精确地说，在任何时间指数t下的系统的离散状态x_t的情况下，时间点y_t处的观察的数据矢量的值根据观察序列的K个先前值y_(t-1),…,y_(t-K)的状态特定噪声回归进行分布。推断算法还可以负责推断每个状态的自回归动态参数以及动态中使用的滞后的数量的最可能值。
在一些实施例中，这些切换自回归动态定义了AR-HMM的核心。然而，因为预计不同的动物种群或实验条件会导致行为差异，所以当考虑两个或更多这样的实验条件时，模型可以分层构建：不同的实验条件可以被允许共用相同的状态特定VAR动态库，但学习它们自己的转移模式以及任何的唯一VAR动态模式。这个简单的扩展能够使模型显示由于实验的变化而引起的参数变化。此外，所采用的组合贝叶斯推断算法直接扩展了这种分层模型。
为了采用贝叶斯推断方法，可以使用统一表示将未知量(包括用于描述每个状态445的转移矩阵450和自回归参数455)处理为潜随机变量。特别地，弱先验分布465可以置于这些量上，并且对它们在观察的3D成像数据上的调节之后的后验分布465进行研究。针对自回归参数，包含锁套类惩罚(Lasso-like penalty)的先验可以用来促进无信息滞后指数，以使其相应的回归矩阵系数趋于零。
针对转移矩阵450，可以使用分层狄利克雷(Dirichlet)过程435先验，以正则化离散潜状态445的数量。此外，转移矩阵450先前还包括粘滞偏差(sticky bias)，该粘滞偏差是控制离散状态至自转移的趋势的单个非负数。由于该参数控制推断转换动态的时间刻度，所以可以设置该参数，使得模型推断算法的输出与由在此公开的变化点分析(或者识别模块长度的其它方法)确定的无模型持续时间分布和从预处理和未建模3D姿势数据中生成的自相关图(尽可能紧密地)匹配。在一些实施例中，例如，可以对该参数进行调优，以用于定义行为的时间尺度上的先验。
在一些实施例中，通过去除模型结构的某些部分，可以使用比AR-HMM模型更简单的模型。例如，去除在转移矩阵中捕获的离散转换动态并将它们替换为混合模型，从而可以生成替代模型，其中，每个离散状态上的分布不依赖于其先前状态。这是如下情形：动物具有一组可供选择的行为模块，并且用于表达它们中任何给定一者的可能性不取决于它们出现的次序。这种简化导致了自回归混合模型(AR-MM)。
可替代地，使用简单的状态特定高斯输出(Gaussian emission)代替条件自回归动态会生成高斯输出HMM(G-HMM)；这种模型探讨了这样的假设：每个行为模块最好由简单的姿势来描述，而不是用动态轨迹来描述。应用这两种简化产生了高斯混合模型(G-MM)，其中，行为只是一系列的随时间变化的姿势，其中，表达任何给定姿势的概率不依赖于先前的姿势。在去除切换动态后得到纯自回归(AR)或线性动态系统(LDS：linear dynamicalsystem)模型，其中，行为被描述为在没有任何重新使用的离散行为模型的情况下姿势空间中的轨迹。
行为模块的分析
在一些实施例中，系统可以提供行为模块之间的关系的指示，描述最常用的行为模块，或者执行行为模块的其它有用分析。
例如，为了表示行为音节之间的语法关系，可以将两个音节相继出现(模块的“二元模型(bigram)”)的概率(例如，二元模型)计算为所有观察到的二元模型的一小部分。在一些实施例中，为了计算每个模块对(i,j)的这个值，例如，可以使用方形n×n矩阵A，其中，n是标记序列中的总模块的数量。然后，系统和方法可以扫描在吉布斯采样(Gibbssampling)的最后一次迭代处保存的标记序列，每当系统识别出直接位于音节j前面的音节i时使条目A[i,j]递增。在标记序列的末尾处，系统可以除以观察到的总二元模型的数量。
为了直观地组织那些由于操控而被特别上调或选择性地表达的模块，系统可以为每个模块指定选择性指数。例如，在p(条件)表示在模块的百分比使用率的条件的情况下，系统可以按照利用(p(圆形)-p(方形)/(p(圆形)+p(方形))进行的圆形旷场与方形盒的比较来分类模块。在无气味与狐狸气味(TMT)之间的比较中，系统可以利用(p(狐狸气味)-p(无气味))/(p(狐狸气味)+p(无气味))来分类模块。
状态图可视化
系统还可以在图表G＝(V,E)上输出n个音节的音节二元模型概率和音节使用率，其中，每个节点i∈V＝{1,2,...,n}对应音节i，并且每个有向边(i,j)∈E＝{1,2,...,n}2\{{i,i}:i∈V}对应二元模型。该图表可以是作为一组的圆形节点和有向弧的输出，使得每个节点的大小与相应的字母使用率成比例，并且每个弧的宽度和不透明度与图例中所示的最小和最大范围内的相应二元模型的概率成比例。为了以可再现的非(伪)随机方式(直到附图的全局旋转)布置每个图表，系统可以使用频谱布局算法来初始化节点的位置，并且使用FR迭代力导向布局算法(Fructherman-Reingold iterative force-directed layoutalgorithm)对节点位置进行精细调整；我们使用的这两种算法都可以在NetworkX软件包中使用。
主推理算法(Main Inference Algorithms)的综述
在一些实施例中，推理算法可以应用于模型315，以估计参数。例如，可以使用吉布斯采样来进行近似贝叶斯推断，即马尔可夫链蒙特卡罗(Chain Monte Carlo(MCMC))推断算法。在MCMC范例中，推理算法根据感兴趣的后验分布来构造近似样本，并且这些样本用于计算平均值或用作后验模式的代理。由算法产生的样本序列分布在逃离低后验概率或不良局部最优区域的同时占据在高后验概率的区域中。在主AR-HMM模型中，感兴趣的潜变量包括：矢量自回归参数、隐离散状态序列以及转移矩阵(例如，定义了任何给定的行为模块内的姿势动态的自回归参数、模块序列以及任何给定模块与任何其它模块之间的转移概率)。MCMC推理算法至3D成像数据的应用生成了用于AR-HMM的这些潜变量的一组样本。
吉布斯采样算法具有自然的交替结构，该结构直接类似于期望最大化(EM)和变分平均场算法的交替结构。在从先验初始化成随机样本之后被应用于AR-HMM，该算法可以在两个主要更新之间交替：首先，该算法可以对给出转移矩阵和自回归参数的隐离散状态序列进行重新采样，并且其次，该算法可以对给出隐状态的参数进行重新采样。
换句话说，算法315首先试图在固定的一组转移统计量和用于描述任何给定模块的AR参数的固定说明的情况下将成像数据分割成模块300，并且然后，该算法切换成固定分割并更新转移矩阵450和AR参数455。为了在该过程的第一步骤中将每个3D姿势视频帧指定到行为模式300中的一个，可以从可能的离散状态集中随机地采样用于特定时间指数的状态标记445，其中，对给定状态进行采样的概率可以与状态的相应自回归参数描述当时指数处的数据的程度以及最终的状态转移与转移矩阵450的一致性的程度成比例。在第二步骤中，在将数据子序列指定到状态的情况下，可以对自回归参数和转移参数进行重新采样，以拟合所指定的数据，从而更新每个行为模式的动态模型以及模型之间的转移的模型。由吉布斯采样算法实施的过程具有嘈杂声，使得算法能够避开可能防止算法有效地探索参数空间的局部极大值。
示例
下面公开了此处所述的用于执行所公开的示例的模型的具体实施的示例。可以实施这些模型的变体以识别行为模型。
转移矩阵的先验
粘性HDP先验被置于具有浓度参数α,γ>0和粘性参数κ>0的转移矩阵π，其中
其中，当i＝j时，δij为1，否则为0，并且πi表示π的第i行。Gamma先验置于α和γ，设定α～Gamma(1,1/100)，并且γ～Gamma(1,1/100)。
离散状态序列的生成
在转移矩阵的情况下，离散状态序列的先验x为
其中，x1是由稳定分布在π下生成的。
自回归参数的先验
从矩阵正态逆卡方(Matrix Normal Inverse-Wishart)先验中取样每个状态i＝1,2,...的自回归参数是：
(A,b),∑～MNIW(v0,S0,M0,K0)
或等价地
∑～InvWishart(v0,S0)
其中表示克罗内克(Kronecker)积，并且(A,b)表示通过将b作为列附加到A而形成的矩阵。此外，关于K0的块ARD先验用于促进无信息滞后缩小到零：
3D姿势序列主成分的生成
在自回归参数和离散状态序列的情况下，根据仿射自回归生成数据序列y：
其中，表示K个滞后的向量：
替代模型是AR-HMM的特例，并通过添加约束来构造。特别地，高斯输出HMM(G-HMM)对应于每个状态指数的约束A(i)＝0。类似地，自回归混合(AR-MM)和高斯混合(GMM)对应于将转移矩阵分别限制为在AR-HMM和G-HMM中的行间是恒定的，对于i和i'，πij＝πi'j＝πj。
推理算法在示例中的具体实施
如上所述，吉布斯采样推理算法在两个主要阶段之间交替：在固定转移矩阵以及自回归参数的情况下将数据分段更新为模块，并且在固定分段的情况下更新转移矩阵和自回归参数。在数学上，基于，更新以数据y、自回归参数θ以及转移矩阵π的值为条件的标记序列x采样的分段；即，对条件随机变量x|θ,π,y进行采样。类似地，在分段采样的π|x和θ|x,y的情况下，分别更新转移矩阵和自回归参数。
对于AR-HMM中的推理，采用了狄利克雷过程的弱极限近似，其中，无限模型近似为有限模型。即选择一些有限的近似参数L、β和π，并且利用尺寸为L的有限狄利克雷分布进行建模。
β＝Dir(γ/L,...,γ/L)
πk～Dir(αβ1,...,αβj+kδkj,...,αβL)
其中，πk表示转移矩阵的第i行。转移矩阵的这种有限表示允许状态序列x被作为块重新采样，并且对于大的L，提供了无限狄利克雷过程的任意良好的近似。
使用弱极限近似，AR-HMM的吉布斯采样器对条件随机变量进行迭代重采样：x|π,θ,yθ|x,y以及β,π|x。
为了简单起见，在整个本节中，抑制了对超参数进行调节的标记和多个观察序列的上标标记。
采样x|π,θ,y
在动态参数π和θ以及数据y的情况下对状态标记x进行采样对应于对3D视频序列进行分段，并将每个分段指定到用于描述其统计的行为模式。
在观察参数θ和转移参数π的情况下，隐状态序列x是马尔可夫链图。标准的HMM反向消息传递递归是
对于t＝1,2,...,T-1且k＝1,2,...,K，其中，BT(k)＝1，并且其中，yt+1:T＝(yt+1,yt+2,...,yT)。使用这些消息，将所有未来状态x2:T的边缘化的第一个状态x1的条件分布为
p(x1＝k|π,θ,y)∝p(x1＝k|π)p(y1|x1＝k,θ)B1(k)
其可以被有效地采样。在采样值的情况下，第二状态x2的条件分布为
因此，在向后传递HMM消息之后，可以递归地向前采样状态序列。
采样θ|x,y
在状态序列x和数据序列y的情况下，对自回归参数θ进行采样对应于更新每个模式的动态参数，以描述被指定到它的3D视频数据段。
为了对以状态序列x和观察y的固定样本为条件的观察参数θ进行重采样，可以利用自回归似然性和MNIW先验之间的共轭性。即，该条件还遵循MNIW分布：
p(A(k),∑(k)|x,y,S0,v0,M0,K0)＝p(A(k),∑(k)|Sn,vn,Mn,K_n)
其中，(Sn,vn,Mn,Kn)是后验超参数，它们是被指定到状态k的元素y以及先前的滞后观察的函数：
vn＝v0+n
其中
因此，重采样θ|x,y包括三个步骤：从被指定到每个状态的数据中收集统计量，形成每个状态的先验超参数，并通过模拟从适当的MNIW绘制的图来更新每个状态的观察参数。模拟(A,∑)～MNIW(Sn,vn,Mn,Kn)作为如下进行：
∑～InvWishart(Sn,vn)
其中，
采样β,π|x
在给定状态序列x的情况下，对转移参数π和β进行采样对应于更新行为模块之间的转移概率，以反映在状态序列中观察的转移模式。更新β促进了从模型中删除冗余行为模式，而更新每个πij拟合从状态i到状态j观察到的转移。
通过使用辅助变量采样方案对从(粘性)HDP的弱极限近似中提取的转移参数β和π进行重采样。即，β,\pi|x是通过首先采样辅助变量m|β,x生成的。然后，β,\pi|x,m是通过首先从边界β|m采样并然后从条件π|β,x采样生成的。
采样状态序列x中的转移计数矩阵为
nkj＝#{t:xt＝k,xt+1＝j,t＝1,2,...,T-1}。
为了简单起见，限制条件标记，通过以下方式对辅助变量m＝{mkj:k,j＝1,2,...,K}进行采样
其中
其中，Bernoulli(p)表示伯努利(Bernoulli)随机变量，其在概率的p情况下取值为1，否则取值为0。注意，没有粘性偏差的HDP-HMM的更新对应于在这些更新中设置k＝0。
在辅助变量的情况下，对β的更新是狄利克雷多项式共轭，其中
其中，对于j＝1,2,...,K，对π|β,x的更新是相似的，有πk|β,x～Dir(αβ1+nk1,...,αβj+nkj+kδkj,...,\alphaβK+nkK)。
模型在示例中的应用
对来自旷场实验、气味实验和基因操纵实验的数据集联合地建模，以提高统计能力。由于与光遗传学实验相关的神经植入适度地改变了动物的外形，所以这些数据被单独地建模。在所有的实验中，收集了每只成像小鼠的每个帧的前10个主成分。然后，将数据再次划分，并按3:1的训练:测试比例来指定“训练”或“测试”标记。从训练过程中留存了被标记“测试”的小鼠，并将它们用于通过测量留存似然性来测试其泛化性能。这种方法允许我们直接比较具有反映不同的行为基础结构的组成的算法。
我们使用本文描述的过程对数据模型进行了训练；建模对于初始化设置以及参数和超参数设置来说都是很稳健(κ除外，见下文)。具体地，发现了：在我们的AR观察分布中使用的滞后数和在我们的具有HDP先验的转移矩阵中使用的的状态数对两个先验的特定超参数设置是稳健的。我们将稀疏ARD先验的超参数改变了几个数量级，并且留存似然性、使用的滞后数以及使用的状态数变化不明显。我们还将我们的HDP先验的超参数改变了几个数量级，并再次观察到使用的状态数或留存似然性没有变化。所有的联合地训练的数据共享观察分布，但每个处理级别都有自己的转移矩阵。通过吉布斯采样的1000次迭代对每个模型进行了更新；在吉布斯采样的最后一次迭代中，保存了模型输出；在最终的更新中进行所有的进一步分析。
我们的行为模块的持续时间分布的“粘性”(其由模型的κ设置定义)影响了由AR-HMM发现的行为模块的平均持续时间；这允许我们控制行为建模的时间尺度。如正文中所讨论的那样，自相关、功率谱密度和变化点算法以(如由变化点持续时间分布所封装，并由频谱图和自相关图所反映的)特定的亚秒级时间尺度识别切换动态。因此，我们凭经验设置了时间序列模型的κ粘性参数，以最优地匹配由变化点检测发现的持续时间分布。为了找出这些分布最匹配的κ设置，我们通过密集网格搜索来最小化变化点间间隔分布与后验行为模块持续时间分布之间的柯尔莫可洛夫-斯米洛夫(Kolmogorov-Smirnov)距离。
小鼠品系、居住和习性
除非另有说明，所有实验都是在6-8周龄的C57/BL6雄性身上进行的(杰克逊实验室)。以与参考C57/BL6小鼠等同的方式，对来自rorβ和rbp4品系的小鼠进行习惯培养和测试。小鼠在4周龄时被带入我们的群体，在那里，在反向12小时光照/12小时黑暗的周期中将小鼠群体饲养两周。在测试当天，将小鼠放入实验室的不透光容器中，在那里，在测试之前在黑暗中对其进行30分钟的习惯培养。
示例1：行为测定：天生探索
为了解决这些可能性，我们首先使用AR-HMM来定义旷场中的小鼠探索行为的基线架构，并接着探求如何通过外部世界的不同操作来修改这个行为模板。
对于旷场测定(open field assay，OFA)，如上所述地对小鼠进行习惯培养，并然后将其放置在具有15″高墙(美国Plastics公司)的18″直径的圆形外壳的中间处，紧接着开始3D录像记录。动物被允许在30分钟的实验时段内自由地探索围栏。除了在下面描述的气味盒中之外，在方形盒中被评估行为的小鼠以与OFA等同的方式被处理和测量。
AR-HMM从圆形旷场数据集中识别出～60个被可靠使用的行为模块(51个模块解释了95％的成像帧，并且65个模块解释了99％的成像帧，图5A，5B)，该数据集代表实验室中的正常小鼠的探索行为(图6A，n＝25只动物，20分钟试验)。图5A示出了由每个模块(Y轴)解释的，相对于模块组绘制的，并由使用率(X轴)分选的帧的比例。通过51个行为模块解释了95％的帧；通过旷场数据集中的62个行为模块解释了99％的帧。
图5B示出了通过使用率(Y轴)分选的模块(X轴)，并指示贝叶斯可信区间。注意，所有可信区间都小于根据自助(bootstrap)估计计算出的SE(图5B)。如上所述，这些模块中的许多模块对人类可描述的行为组件(例如，直立、行走、踌躇、转向)进行编码。
AR-HMM还测量任何给定模块在任何其它模块之前或之后的概率；换句话说，在模型训练之后，每个模块与该组中的每个其它模块被指定成对转移概率；这些概率概括了小鼠在行为期间表达的模块的序列。将这些转移概率绘制为矩阵，该矩阵揭示了它们高度不均匀，其中每个模块择优地在时间上连接到一些模块，而不连接到其它模块(图6B；在没有阈值化的情况下的平均节点度16.82±.95，在阈值化后，二元模型概率低于5％，4.08±.10)。模块对之间的这种特定连接限制了在数据集中观察到的模块序列(8900/～125,000个可能三元模型)，这表明某些模块序列受到青睐；这一观察结果表明，小鼠的行为是可预测的，因为知道小鼠在任何特定时刻正在做什么，这可以让观察者了解小鼠下一步可能做什么。转移矩阵的信息理论分析证实了小鼠行为具有显著的可预测性，因为相对于均匀转移矩阵(没有自转移3.78±0.03位，具有自转移0.72±0.01位，均匀矩阵的熵速率6.022位)，平均每帧熵速率较低，且互联模块之间的平均交互信息显著大于零(没有自转移1.92±0.02位，具有自转移4.84位±0.03位)。这种质量的确定性品质可能有助于确保小鼠发出连贯的运动模式；与这种可能性一致地，在检查时发现频繁观察的模块序列编码了探索行为的不同方面。
小鼠在圆形旷场中表达的行为反映了场景特定运动探索模式。我们假设小鼠将通过如下方式来适应设备形状的变化：局部改变行为结构，从而产生新的姿势动态，以与情景的特定物理特征相互作用；为了验证这一假设，我们在一个较小的方形盒中对小鼠进行成像，并然后共同训练具有圆形旷场数据和方形数据的模型，从而能够在两种条件(在每种情况下，n＝25只小鼠)下直接比较模块和转移。虽然小鼠倾向于探索方形盒子的角落和圆形旷场的墙壁，但在这些设备之间大多数模块的整体使用率相似，这与运动场所中共享单个公共特征的探索行为一致(图6C)。AR-HMM还识别了少量的行为模块，这些模块广泛部署在一个情景中，但在另一种情景中可忽略或完全不存在，这与不同的物理情景驱动新的行为模块表达的观点一致(图6C，基于自助估计，下面讨论的所有的使用率差异p<10-3)。
有趣的是，这些“新”模块不仅部署在与设备的特定功能的物理交互期间(其将被预测引起新的姿势动态)，而且部署在不受约束的探索时段期间。例如，一个圆形运动场所特定模块编码了趋化性行为，其中，小鼠在运动场所墙壁附近移动，身体姿势与墙壁的弯曲相匹配。当小鼠靠近圆形运动场所的中心并且与墙壁没有物理接触时，这个模块也被表达出来，这证明了这个模块的表达不仅简单地是与墙壁的物理交互的直接结果，而是反映了小鼠在弯曲运动场所中的行为状态；虽然趋化性行为也发生在方形盒中，但相关的行为模块利用直体编码运动，并在方形和圆形装置的直线轨迹期间使用(图6D至6E，中间盘区)。类似地，在方框内，小鼠表达了情景特定模块，该模块编码了从方形中心到相邻角落之一的快速移动；这种运动模式很可能是方形场有小的中央旷场的结果，而不是施加在小鼠上的物理约束的具体产物。
经发现，择优地在一种情景或另一种情景中表现出一些附加模块，这些上调的模块似乎编码了在由运动场所的形状指定的多中心模式中部署的行为。在圆形运动场所中，例如，小鼠择优地地表现出直立(rear)，此时，小鼠在旷场的中心附近踟躇(pause)的同时它的身体向外指向；而在较小的方形盒中，小鼠择优地在盒子的角落处高直立(图6E，数据未示出)。这些结果表明，小鼠的行为(即，自我中心行为)是根据小鼠在空间中的位置(即其中心位置)而调节的。综合起来，这些数据表明，小鼠至少部分地通过增加有限组的情景特定行为模块(其编码适合情景的姿势动态)到基准动作模式中来适应新的物理情景；这些新模块(以及其它的在一种情境或另一种情境中被丰富表达的模块)在空间中差异化地部署，以反应情景的变化。
示例2.行为测定：刺激驱动型先天行为-对气味的反应
因为小鼠在圆形和方形中都表现出相同的基础行为状态(运动探索)，所以我们可以预测，在这种情况下观察到的行为模块的变化将是局部的，并且在范围上是有限的。因此，发明人探求当小鼠暴露于驱动行为状态的全局变化的感官记忆(在其它情况下为恒定的物理环境内)时如何改变行为的基础结构，其中上述行为状态包括新的且有动机的动作的表现。
为了评估对挥发性气味的先天行为的反应，发明人开发了一种气味传递系统，该系统在空间上将气味分离在方形盒的特定象限中。每个12″×12″的盒子由1/4″的黑色磨砂丙烯酸(Altech塑料)构成，其中，具有以十字形形成在盒子底部处的3/4″的孔以及1/16″厚的玻璃盖(Tru Vue公司)。这些孔被PTFE管穿透并连接到真空歧管(Sigma Aldrich公司)，真空歧管提供负压以分离象限内的气味。气味通过1/2″NPT-3/8″管接头(Cole-Parmer公司)注入盒子内。将过滤后的空气(1.0L/min)吹到置于Vacutainer注射器小瓶(Covidien公司)底部的吸附有气味的吸墨纸(VWR公司)上。然后，带气味的气流通过波纹型PTFE管(Zeus公司)进入气味盒子的角落处的四个管接头之一中。
发明人通过使用低功率手持式氦氖激光器对盒子照明使汽化的气味或烟雾可视化，由此验证了气味盒在指定象限内分离气味的能力。这种方法使我们能够调节真空流量和气味流量，以实现气味分离，这已经使用光电离设备(Aurora Scientific公司)进行了验证。为了消除实验间交叉污染的可能性，在整个晚上将气味盒浸泡在1％的Alconox(公司)溶液中，然后用70％的乙醇溶液彻底清洗。在实验开始前，将小鼠在实验室内进行30分钟的习惯培养。在对照条件下，将空气中的二丙二醇(1.0L/min)输送到装置的每一个角落，然后将一只小鼠放置在盒子的中心，并允许其自由探索，同时获得20分钟的3D视频记录。对同一组动物进行了气味反应测试，随后将气味空气送到四个象限中的一个进行重复实验。所有的3D视频记录都是在完全黑暗中进行的。TMT从Phertech公司中获得，并在5％的浓度下使用。
因此，探索方盒的小鼠暴露于通过气味测量计被传送到方盒的一个象限的厌恶的狐狸气味三甲基噻唑啉(TMT)。这种气味引发了复杂而深刻的行为状态变化，包括气味侦查、逃避以及伴随着皮质类固醇和内源性阿片类物质水平增加的凝滞行为。与这些已知的效果一致地，小鼠嗅闻含有气味的象限，并然后避开包含捕食者线索的象限，并显示出长期的不运动(传统上被描述为凝滞(freezing)行为)(图7)。图7示出了柱状图，该柱状图描述了与数据集中的所有其它模块相比在TMT暴露之后差异化地上调并相互连接的模块的“凝滞”的平均速度。
令人惊讶的是，这套新行为由正常探索期间表现出的同一组行为模块编码；在TMT暴露后，几个模块被上调或下调，但是相对于对照组(在对照条件下n＝25只动物，TMT下n＝15只动物，同时在两个数据集上共同训练模型)，没有新模块被引入或消除。相反，TMT改变了特定模块之间的使用率和转移概率，从而导致编码TMT调节行为的重新偏好的行为序列(下面基于自助估计讨论的所有的使用率和转移差异P＜10-3)。
对在暴露于TMT后改变的模块转移进行的绘制在行为状态图中定义了两个邻域；第一个邻域包括被TMT适度下调的模块和相互关联的扩展组，第二个邻域包括被TMT上调的模块和转移的聚集组。在正常行为期间，这些最近相互关联的模块暂时分散，并且单独地出现以编码不同形态形式的踌躇或缩成球状。相反，在TMT的影响下，这些模块被连接成新的序列，经发现，这些新的序列在检查和量化时编码凝滞行为(平均序列期间速度为-.14±0.54mm/s，对于其它模块，34.7±53mm/s)。例如，在TMT暴露后(在成像的300分钟中)，最常表达的凝滞三元模型表现了716次，而在对照条件下(在成像的480分钟中)仅表达了17次。强加在这些踌躇模块上以造成凝滞的TMT诱导的邻域结构证明了：可以通过转移概率的聚集变化来改变行为。这种转移概率的局部重写伴随着小鼠行为的总体确定性的增加-由于TMT暴露，其整体行为模式变得更加可预测(在无自转移的情况下，每帧熵速率从3.92±0.02位下降到3.66±0.08位，并且在自转移的情况下，从.82±0.01位下降到.64±0.02位)-这与小鼠执行确定性回避策略一致。
对气味来源的接近也管理了特定行为模块的表达模式(图8D至8E)。例如，一组与凝滞相关的模块倾向于在最远离气味源的象限中表达，而侦查直立模块的表达特异性(其总体使用率没有被TMT改变)在气味象限内富集(图8D至8E)。总之，这些发现表明了另外两种机制，通过这两种机制，小鼠神经系统可以产生新的适应性行为。首先，可以改变通常与不同的行为状态相关联的各个模块(例如运动探索)之间的转移结构，以产生新的行为(例如凝滞)。其次，可以调整预存在的模块和序列的部署的空间模式，以支持诸如气味侦查和回避等有动机的行为。因此，行为模块不会随着时间而被重新使用，而是充当行为序列的灵活地相互关联的组件，其中行为序列的表现在时间和空间上动态地调节
示例3.基因和神经回路对模块的影响
如上所述，行为的精细时间尺度结构选择性地容易受到物理或感官环境的变化的影响，这些变化以数分钟的时间刻度影响动作。此外，AR-HMM全面封装了小鼠表现的行为模式(在我们成像的限制内)。这些观察结果表明，在亚秒级时间范围内为小鼠的行为提供了系统性窗口的AR-HMM既可以量化明显的行为显型(phenotype)，又可以揭示在实验操作后诱发的新的或微妙的显型，其中这些实验操作在一系列时空尺度内影响行为。
为了探讨各个基因的变化(这些变化作用于小鼠寿命的时间尺度)如何影响快速的行为模块和转移，我们对视黄醇相关孤儿受体1β(Ror1)基因的小鼠突变体的显型进行了表征，该基因表达在大脑和脊髓的神经元中；我们选择这只小鼠进行分析，因为纯合突变体动物表现出我们希望通过AR-HMM检测到的异常步态37-40。在成像和建模后，经发现，同窝对照小鼠与完全近交的C57/BL6小鼠几乎没有区别，而突变小鼠表达出编码蹒跚步态的独特行为模块(图9A，9C)。这种行为的改变伴随着相反的行为：在野生型和C57小鼠中以不同速度编码正常向前运动的五个行为模块的表达在Ror1突变体中下调(图9A，模块间平均速度＝114.6±76.3mm/sec)。此外，编码短暂踌躇和点头的一组四个模块的表达也被上调(图9A，模块期间平均速度＝8.8±25.3mm/s)；这种踌躇显型以前在文献中还未见报道。有趣的是，杂合小鼠(它们不具有报道的显型37-40)看起来表现正常，并且表现出野生型跑轮行为40)，也经发现，杂合小鼠表达完全外显的突变体显型：它们过度表达了同样的一组踌躇模块，这些模块在完整的Ror1β突变体中上调，而未能表达更戏剧性的蹒跚显型(图9A)。
因此，AR-HMM将Ror 1β小鼠的病态行为描述为单个新变体蹒跚模块和编码踌躇行为的一小组生理模块的增加的表达的组合；杂合小鼠表达这些行为异常的确定子组，其外显率不是中等的，而是等于突变体中观察到的外显率。这些结果表明，AR-HMM的灵敏度能够在同一窝动物中分离出严重和微妙的行为异常，能够发现新的显型，并且有利于基因型之间的比较。这些实验还证明，行为中的取决于基因型的变异(即，基因组中的特定基因的不可磨灭和终生改变的结果)可以影响在毫秒时间尺度上操作的模块表达和转移统计。
示例4.行为测定：光遗传学-神经运动对模块的影响
最后，发明人希望探求由AR-HMM捕捉的行为结构是否能提供对短暂或不可靠的行为变化的洞察。因此，发明人短暂地触发了运动回路中的神经运动，并探求在不同强度水平下的刺激如何影响即时的行为组织。发明人在皮质纹状体神经元41-42中单方面地表达光学门控离子通道Channelrhodopsin-2，并且评估在2秒的运动皮层的光介导激活之前、期间和之后的行为反应(n＝4只小鼠，以与先前的实验分开地对模型进行训练)。
使用1.5％的异氟烷麻醉将4只成年雄性Rbp4-Cre(杰克逊实验室)小鼠，并其置于立体定向架(Leica公司)中。将微注射移液器(O.D.10-15μm)插入到左侧运动皮层(前卤(Bregma)坐标：0.5AP，-1ML，0.60DV)中。在10分钟内对每只小鼠注射0.5μL的AAV5.EF1a.DIO.hChR2(H134R)-eYFP.WPRE.hGH(～1012感染单位/mL，Penn Vector Core)，在之后的额外10分钟内，使病毒颗粒从注射部位扩散。在注射后，在注射部位上方将带氧化锆陶瓷插针(O.D.200μm，0.37的数值孔径)的裸光纤插入100μm，并使用丙烯酸粘固剂(LANG公司)将其固定到头骨上。在病毒注射后的28天内，将小鼠置于圆形运动场所中，并且通过贴片带和旋转接头(Doric Lenses公司)将光学植入物连接到激光泵(488nm，CrystaLaser公司)。通过PC直接控制激光。在对运动场所的20分钟的熟悉之后，开始光刺激。激光功率、脉冲宽度、脉冲间隔和串间间隔由定制软件(NI Labview软件)控制。每串激光脉冲由15Hz下的30个脉冲(脉冲宽度：50ms)组成。连续串之间的间隔设置为18秒。针对每个激光强度，发出50串激光。在实验过程中，动物逐渐暴露在更高的激光强度下。
在最低的功率水平下，没有观察到光诱导的行为变化，而在最高的功率水平下，AR-HMM识别出两个行为模块，这些模块的表达可靠地由光诱导(图10A)。这些模块都没有表达在正常小鼠运动过程中；检查显示出它们编码了两种形式的旋转行为(它们的长度和旋转角度不同)，在这两种形式中，小鼠在空间中描绘出半圆形或圆环形(图10B)。尽管在强烈的单侧运动皮层刺激后诱导除新变体行为并不令人惊讶，但是需要注意的是，AR-HMM不仅将这些行为识别为新的，而且还将它们封装为两个独特的行为模块。然而，我们注意到，在大约有40％的时间内，在光线偏移后的几秒内整体行为模式没有返回基线。这种相对于基线的偏离并不是由在光照开始时触发的模块的持续表达引起的；相反，小鼠经常在光偏移时表现出踌躇模块(模块期间平均速度＝0.8±7mm/sec)，就好像在非自主性运动后的“重置”一样。
由高强度光遗传刺激引起的行为变化是可靠的，因为基本上在每次实验中，动物都会发出两个自旋(spinning)模块中的一个。然后，我们探求了AR-HMM的灵敏度是否能对行为中更微妙的变化(就如在引起特定行为模块的不可靠发出的运动皮层刺激中间机制中发生的)进行定量分析。因此，发明人将光刺激的水平降低，直到两个新形态行为模块中的一个不再被检测到，而另一个仅表达在25％的试验中。令人惊讶的是，我们可以检测到第二组行为模块的上调，其中每个模块都表达了25％的时间(图10A)。这些模块不是新生的，而是通常表达在生理学探索期间，并编码了转向和点头行为(数据未示出)。虽然这些单独的光调节模块中每者被不可靠地发出，但是总体而言，所有模块中的行为变化表明较低水平的神经激活可靠地影响行为，但主要通过诱导生理性而不是新生性行为(图10A)。总而言之，对行为模块的刺激锁定诱导和刺激模块使用率的延续性影响的检测表明，神经性诱导的行为变化可以影响行为的亚秒级结构。此外，对生理性表达的一组光调节行为模块的识别(在强烈的刺激条件下其诱导不明显)也表明，AR-HMM可以揭示神经回路与行为的时间序列结构之间的微妙关系。
本发明的计算机和硬件安装
首先应理解，本文的公开内容可以使用任何类型的硬件和/或软件来实施，并且可以是预先编程的通用计算设备。例如，该系统可以使用服务器、个人计算机、便携式计算机、瘦客户端或任何合适的一个或多个设备来实施。本发明和/或其组件可以是单个位置处的单个设备，或者在单个或多个位置处的多个设备，在所述位置处，它们使用任何适当的通信协议通过任何通信介质(例如电缆、光纤电缆或无线方式)连接在一起。
还应注意的是，为了在本文中将本公开示出和讨论为具有执行特定功能的多个模块。应该理解，为了清楚起见，这些模块仅仅基于其功能而被示意性示出，并且不需要代表具体的硬件或软件。在这方面，这些模块可以是用于大体上执行所讨论的特定功能的硬件和/或软件。此外，这些模块可以在本公开中被组合在一起，或者根据所期望的特定功能被划分为附加模块。因此，本公开不应被解释为限制本发明，而仅仅被理解为说明其一个示例实施方式。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器之间的关系是通过在各自的计算机上运行的并具有客户-服务器关系的计算机程序而产生的。在一些实施中，服务器将数据(例如，HTML页面)发送到客户端设备(例如，用于向与客户端设备交互的用户显示数据和从用户接收用户输入)。可以从服务器处的客户端设备接收在客户端设备处生成的数据(例如，用户交互的结果)。
本说明书中描述的主题的实施可以在计算系统中实施，该计算系统包括后端组件(例如，作为数据服务器)，或者包括中间组件(例如应用服务器)，或者包括前端组件(例如，具有图形用户界面或Web浏览器的客户端计算机，通过图形用户界面或Web浏览器，用户可以与本说明书中所述的主题的实施方式交互)，或者包括一个或多个这样的后端组件、中间组件或前端组件的任意组合。系统的组件可以通过数字数据通信的任何形式或介质(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)、互联网络(例如，因特网)和点对点网络(例如，临时点对点网络)。
本说明书中描述的主题和操作的实施可以在数字电子电路或计算机软件、固件或硬件中实施，包括本说明书中公开的结构及其结构等同物，或其中一个或多个结构的组合。本说明书中描述的主题的实施可以实施为编码在计算机存储介质上的一个或多个计算机程序(即计算机程序指令的一个或多个模块)，或用于由数据处理设备执行或控制数据处理设备的操作。可替代地或者此外，程序指令可以被编码在人工生成的传播信号上，例如，机器生成的电、光或电磁信号，这些传播信号用于编码信息以发送给合适的接收设备，以通过数据处理设备执行。计算机存储介质可以是计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备，或者它们中的一个或多个的组合，或被包括在其中。此外，虽然计算机存储介质不是传播信号，但计算机存储介质可以是在人工生成的传播信号中编码的计算机程序指令的源或目的地。计算机存储介质也可以是一个或多个独立的物理组件或介质(例如，多个CD、磁盘或其它存储设备)或被包括在其中。
本说明书中所述的操作可以被实施为由“数据处理设备”对存储在一个或多个计算机可读存储设备上的数据或从其它来源接收的数据执行的操作。
术语“数据处理设备”涵盖了用于处理数据的各种设备、装置和机器，例如包括可编程处理器、计算机、片上系统，或多个上述设备，或上述设备的组合。这些设备可以包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，该设备还可以包括为所述计算机程序创建执行情景的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时情景、虚拟机或其中一个或多个的组合。该设备和执行情景可以实现各种不同的计算模型基础设施，如Web服务、分布式计算和网格计算基础设施。
计算机程序(也称为程序、软件、软件应用程序、脚本或代码)可以用任何形式的编程语言编写，包括编译或解释语言、声明性语言或过程语言，并且可以以任何形式部署，包括作为独立程序或作为适合在计算情景中使用的模块、组件、子程序、对象或其它单元。计算机程序可能(但不一定)对应于文件系统中的文件。程序可以存储在保存其它程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中，可以存储在专用于所述程序的单个文件中，也可以存储在多个协调文件中(例如，存储一个或多个模块、子程序或部分代码的文件)。计算机程序可以被部署在一台计算机或多台计算机上执行，这些计算机位于一个站点或分布在多个站点上，并通过通信网络互连。
本规范中描述的过程和逻辑流可以由执行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据的操作和产生输出来执行操作。这些过程和逻辑流程也可以由专用逻辑电路来执行，并且设备也可以实现，例如，FPGA(现场可编程门阵列)或ASIC(应用专用集成电路)。
本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并生成输出来执行操作。这些过程和逻辑流程也可以由专用逻辑电路(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))来执行，并且设备也可以被实现为专用逻辑电路。
举例来说，适用于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于根据指令执行动作的处理器以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个海量存储设备(例如，磁性、磁光盘或光盘)，或者可操作地连接到存储设备以从存储设备接收数据或将数据发送到存储设备或者两者同时执行。然而，计算机不需要这种设备。此外，可以将计算机嵌入另一设备中，例如移动电话、个人数字助理(PDA：a personaldigital assistant)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS：a GlobalPositioning System)接收器或便携式存储设备(例如，通用串行总线(USB)闪存驱动器)等等。适于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储设备，例如，包括半导体存储设备(例如，EPROM、EEPROM和闪存设备)；磁盘(例如，内部硬盘或可移动磁盘)；磁光盘；以及CD-ROM和DVD-ROM磁盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
参考文献
1.Fettiplace,R.&Fuchs,P.A.Mechanisms of hair cell tuning.Annualreview of physiology 61,809-834,(1999)。
2.Fettiplace,R.&Kim,K.X.The Physiology of MechanoelectricalTransduction Channels in Hearing.Physiological reviews 94,951-986,(2014)。
3.Gollisch,T.&Herz,A.M.V.Disentangling Sub-Millisecond Processeswithin an Auditory Transduction Chain.PLoS Biology 3,e8,(2005)。
4.Kawasaki,M.,Rose,G.&Heiligenberg,W.Temporal hyperacuity in singleneurons of electric fish.Nature 336,173-176,(1988)。
5.Nemenman,I.,Lewen,G.D.,Bialek,W.&de Ruyter van Steveninck,R.R.Neural Coding of Natural Stimuli:Information at Sub-MillisecondResolution.PLoS computational biology 4,e1000025,(2008)。
6.Peters,A.J.,Chen,S.X.&Komiyama,T.Emergence of reproduciblespatiotemporal activity during motor learning.Nature 510,263-267,(2014)。
7.Ritzau-Jost,A.,Delvendahl,I.,Rings,A.,Byczkowicz,N.,Harada,H.,Shigemoto,R.,Hirrlinger,J.,Eilers,J.&Hallermann,S.Ultrafast Action PotentialsMediate Kilohertz Signaling at a Central Synapse.Neuron 84,152-163,(2014)。
8.Shenoy,K.V.,Sahani,M.&Churchland,M.M.Cortical Control of ArmMovements:A Dynamical Systems Perspective.Annual review of neuroscience 36,337-359,(2013)。
9.Bargmann,C.I.Beyond the connectome:How neuromodulators shape neuralcircuits.BioEssays 34,458-465,(2012)。
10.Tinbergen,N.The study of instinct.(Clarendon Press,1951)。
11.Garrity,P.A.,Goodman,M.B.,Samuel,A.D.&Sengupta,P.Running hot andcold:behavioral strategies,neural circuits,and the molecular machinery forthermotaxis in C.elegans and Drosophila.Genes&amp；Development 24,2365-2382,(2010)。
12.Stephens,G.J.,Johnson-Kerner,B.,Bialek,W.&Ryu,W.S.Dimensionalityand Dynamics in the Behavior of C.elegans.PLoS computational biology 4,e1000028,(2008)。
13.Stephens,G.J.,Johnson-Kerner,B.,Bialek,W.&Ryu,W.S.From Modes toMovement in the Behavior of Caenorhabditis elegans.PLoS ONE 5,e13914,(2010)。
14.Vogelstein,J.T.,Vogelstein,J.T.,Park,Y.,Park,Y.,Ohyama,T.,Kerr,R.A.,Kerr,R.A.,Truman,J.W.,Truman,J.W.,Priebe,C.E.,Priebe,C.E.,Zlatic,M.&Zlatic,M.Discovery of brainwide neural-behavioral maps via multiscaleunsupervised structure learning.Science(New York,NY)344,386-392,(2014)。
15.Berman,G.J.,Choi,D.M.,Bialek,W.&Shaevitz,J.W.Mapping the structureof drosophilid behavior.(2013)。
16 Croll,N.A.Components and patterns in the behaviour of the nematodeCaenorhabditis elegans.Journal of zoology 176,159-176,(1975)。
17.Pierce-Shimomura,J.T.,Morse,T.M.&Lockery,S.R.The fundamental roleof pirouettes in Caenorhabditis elegans chemotaxis.Journal of Neuroscience19,9557-9569,(1999)。
18.Gray,J.M.,Hill,J.J.&Bargmann,C.I.A circuit for navigation inCaenorhabditis elegans.Proceedings of the National Academy of Sciences of theUnited States of America 102,3184-3191,(2005)。
19.Miller,A.C.,Thiele,T.R.,Faumont,S.,Moravec,M.L.&Lockery,S.R.Step-response analysis of chemotaxis in Caenorhabditis elegans.Journal ofNeuroscience 25,3369-3378,(2005)。
20.Jhuang,H.,Garrote,E.,Yu,X.,Khilnani,V.,Poggio,T.,Steele,A.D.&Serre,T.Automated home-cage behavioural phenotyping of mice.NatureCommunications 1,68,(2010)。
21.Stewart,A.,Liang,Y.,Kobla,V.&Kalueff,A.V.Towards high-throughputphenotyping of complex patterned behaviors in rodents:Focus on mouse self-grooming and its sequencing.Behavioural brain…,(2011)。
22.Ohayon,S.,Avni,O.,Taylor,A.L.,Perona,P.&Egnor,S.E.R.Automatedmulti-day tracking of marked mice for the analysis of social behavior.Journalof neuroscience methods,1-25,(2013)。
23.de Chaumont,F.,Coura,R.D.-S.,Serreau,P.,Cressant,A.,Chabout,J.,Granon,S.&Olivo-Marin,J.-C.Computerized video analysis of social interactionsin mice.Nature Methods 9,410-417,(2012)。
24.Kabra,M.,Robie,A.A.,Rivera-Alba,M.,Branson,S.&Branson,K.JAABA:interactive machine learning for automatic annotation of animalbehavior.Nature Methods 10,64-67,(2013)。
25.Weissbrod,A.,Shapiro,A.,Vasserman,G.,Edry,L.,Dayan,M.,Yitzhaky,A.,Hertzberg,L.,Feinerman,O.&Kimchi,T.Automated long-term tracking and socialbehavioural phenotyping of animal colonies within a semi-naturalenvironment.Nature Communications 4,2018,(2013)。
26.Spink,A.J.,Tegelenbosch,R.A.,Buma,M.O.&Noldus,L.P.The EthoVisionvideo tracking system--a tool for behavioral phenotyping of transgenicmice.Physiology&amp；behavior 73,731-744,(2001)。
27.Tort,A.B.L.,Neto,W.P.,Amaral,O.B.,Kazlauckas,V.,Souza,D.O.&Lara,D.R.A simple webcam-based approach for the measurement of rodent locomotionand other behavioural parameters.Journal of neuroscience methods 157,91-97,(2006)。
28.Gomez-Marin,A.,Partoune,N.,Stephens,G.J.,Louis,M.&Brembs,B.Automated tracking of animal posture and movement during exploration andsensory orientation behaviors.PLoS ONE 7,e41642,(2012)。
29.Colgan,P.W.Quantitative ethology.(John Wiley&amp；Sons,1978)。
30.Fox,E.B.,Sudderth,E.B.,Jordan,M.I.&Willsky,A.S.inProc.International Conference on Machine Learning(2008)。
31.Fox,E.B.,Sudderth,E.B.,Jordan,M.I.&Willsky,A.S.BayesianNonparametric Inference of Switching Dynamic Linear Models.IEEE Transactionson Signal Processing 59,(2011)。
32.Johnson,M.J.&Willsky,A.S.The Hierarchical Dirichlet Process HiddenSemi-Markov Model.Arxiv abs/1203.3485,(2012)。
33.Teh,Y.W.,Jordan,M.I.&Beal,M.J.Hierarchical dirichletprocesses.Journal of the american…,(2006)。
34.Geman,S.&Geman,D.Stochastic Relaxation,Gibbs Distributions,and theBayesian Restoration of Images.IEEE Trans.Pattern Anal.Mach.Intell.6,721-741,(1984)。
35.Wallace,K.J.&Rosen,J.B.Predator odor as an unconditioned fearstimulus in rats:elicitation of freezing by trimethylthiazoline,a componentof fox feces.Behav Neurosci 114,912-922,(2000)。
36.Fendt,M.,Endres,T.,Lowry,C.A.,Apfelbach,R.&McGregor,I.S.TMT-induced autonomic and behavioral changes and the neural basis of itsprocessing.Neurosci Biobehav Rev 29,1145-1156,(2005)。
37.André,E.,Conquet,F.,Steinmayr,M.,Stratton,S.C.,Porciatti,V.&Becker-André,M.Disruption of retinoid-related orphan receptor beta changescircadian behavior,causes retinal degeneration and leads to vacillansphenotype in mice.The EMBO journal 17,3867-3877,(1998)。
38.Liu,H.,Kim,S.-Y.,Fu,Y.,Wu,X.,Ng,L.,Swaroop,A.&Forrest,D.An isoformof retinoid-related orphan receptorβdirects differentiation of retinalamacrine and horizontal interneurons.Nature Communications 4,1813,(2013)。
39.Eppig,J.T.,Blake,J.A.,Bult,C.J.,Kadin,J.A.,Richardson,J.E.&Group,M.G.D.The Mouse Genome Database(MGD):facilitating mouse as a model for humanbiology and disease.Nucleic Acids Research 43,D726-736,(2015)。
40.Masana,M.I.,Sumaya,I.C.,Becker-Andre,M.&Dubocovich,M.L.Behavioralcharacterization and modulation of circadian rhythms by light and melatoninin C3H/HeN mice homozygous for the RORbeta knockout.American journal ofphysiology.Regulatory,integrative and comparative physiology 292,R2357-2367,(2007)。
41.Glickfeld,L.L.,Andermann,M.L.,Bonin,V.&Reid,R.C.Cortico-corticalprojections in mouse visual cortex are functionally target specific.NatureNeuroscience 16,219-226,(2013)。
42.Mei,Y.&Zhang,F.Molecular tools and approaches foroptogenetics.Biological psychiatry 71,1033-1038,(2012)。
43.Lashley,K.S.(ed Lloyd A Jeffress)(Psycholinguistics:A book ofreadings,1967)。
44.Sherrington,C.The Integrative Action of the Nervous System.TheJournal of Nervous and Mental Disease,(1907)。
45.Bizzi,E.,Tresch,M.C.,Saltiel,P.&d&apos；Avella,A.New perspectiveson spinal motor systems.Nature Reviews Neuroscience 1,101-108,(2000)。
46.Drai,D.,Benjamini,Y.&Golani,I.Statistical discrimination ofnatural modes of motion in rat exploratory behavior.Journal of neurosciencemethods 96,119-131,(2000)。
47.Brown,T.G.in Proceedings of the Royal Society of London Series B(1911)。
48.Crawley,J.N.Behavioral phenotyping of rodents.Comparative medicine53,140-146,(2003)。
49.Anderson,D.J.&Perona,P.Toward a science of computationalethology.Neuron 84,18-31,(2014)。
50.Berg,H.C.&Brown,D.A.Chemotaxis in Escherichia coli analysed bythree-dimensional tracking.Nature 239,500-504,(1972)。
51.Berg,H.C.Chemotaxis in bacteria.Annual review of biophysics andbioengineering 4,119-136,(1975)。
52.Berg,H.C.Bacterial behaviour.Nature 254,389-392,(1975)。
53.Hong,W.,Kim,D.-W.&Anderson,D.J.Antagonistic Control of Socialversus Repetitive Self-Grooming Behaviors by Separable Amygdala NeuronalSubsets.Cell 158,1348-1361,(2014)。
54.Lin,D.,Boyle,M.P.,Dollar,P.,Lee,H.,Lein,E.S.,Perona,P.&Anderson,D.J.Functional identification of an aggression locus in the mousehypothalamus.Nature 470,221-226,(2011)。
55.Swanson,L.W.Cerebral hemisphere regulation of motivatedbehavior.Brain research 886,113-164,(2000)。
56.Aldridge,J.W.&Berridge,K.C.Coding of serial order by neostriatalneurons:a&quot；natural action&quot；approach to movement sequence.The Journalof neuroscience:the official journal of the Society for Neuroscience 18,2777-2787,(1998)。
57.Aldridge,J.W.,Berridge,K.C.&Rosen,A.R.Basal ganglia neuralmechanisms of natural movement sequences.Canadian Journal of Physiology andPharmacology 82,732-739,(2004)。
58.Jin,X.,Tecuapetla,F.&Costa,R.M.Basal ganglia subcircuitsdistinctively encode the parsing and concatenation of action sequences.NaturePublishing Group 17,423-430,(2014)。
59.Tresch,M.C.&Jarc,A.The case for and against musclesynergies.Current opinion in neurobiology 19,601-607,(2009)。
60.Flash,T.&Hochner,B.Motor primitives in vertebrates andinvertebrates.Current opinion in neurobiology 15,660-666,(2005)。
61.Bizzi,E.,Cheung,V.C.K.,d&apos；Avella,A.,Saltiel,P.&Tresch,M.Combining modules for movement.Brain Research Reviews 57,125-133,(2008)。
62.Tresch,M.C.,Saltiel,P.&Bizzi,E.The construction of movement by thespinal cord.Nature Neuroscience 2,162-167,(1999)。
63.Berwick,R.C.,Okanoya,K.,Beckers,G.J.L.&Bolhuis,J.J.Songs tosyntax:the linguistics of birdsong.Trends in cognitive sciences 15,113-121,(2011)。
64.Wohlgemuth,M.J.,Sober,S.J.&Brainard,M.S.Linked control of syllablesequence and phonology in birdsong.Journal of Neuroscience 30,12936-12949,(2010)。
65.Markowitz,J.E.,Ivie,E.,Kligler,L.&Gardner,T.J.Long-range Order inCanary Song.PLoS computational biology 9,e1003052,(2013)。
66.Fentress,J.C.&Stilwell,F.P.Letter:Grammar of a movement sequencein inbred mice.Nature 244,52-53,(1973)。
选择的实施例
尽管以上说明和所附权利要求公开了本发明的多个实施例，但是在以下进一步的实施例中还公开了本发明的其它替代方面。
实施例1.一种用于分析对象的运动以将其分成模块的方法，所述方法包括：
使用计算模型来处理表示所述对象的运动的三维视频数据帧，以将所述帧划分成表示模块的至少一组帧和表示所述模块之间的转移的至少一组帧；以及
将被引用到数据标识符的所述表示模块的至少一组帧存储在存储器中，所述数据标识符表示动物行为类型。
实施例2.根据实施例1的方法，所述处理包括以下步骤：在所述视频数据中将所述对象从背景中分离。
实施例3.根据实施例2的方法，所述处理进一步包括以下步骤：所述处理进一步包括以下步骤：在所述视频数据的一组帧上，识别所述对象的特征相对于所有帧的公共坐标系的定向。
实施例4.根据实施例3的方法，所述处理进一步包括以下步骤：在所述一组帧的至少子组中，修改所述对象的所述定向，使得所述特征定向在相对于所述坐标系的相同方向上，以输出一组对齐帧。
实施例5.根据实施例4的方法，所述处理进一步包括以下步骤：使用主成分分析(PCA)处理所述对齐帧，以输出姿势动态数据，其中，所述姿势动态数据表示每个对齐帧中所述对象在主成分空间中的姿势。
实施例6.根据实施例5的方法，所述处理进一步包括以下步骤：使用计算模型处理所述对齐帧，以将所述姿势动态数据临时地分割成不同组的模块，其中，一组模块中的所有亚秒级模块表现出相似的姿势动态。
实施例7.根据实施例6的方法，其进一步包括以下步骤：显示在所述三维视频数据中以高于阈值的频率出现的每组模块的表示。
实施例8.根据实施例1的方法，其中，所述计算模型包括：将所述亚秒级模块建模为向量自回归过程，所述向量自回归过程表示PCA空间中的定型轨迹(stereotypedtrajectory)。
实施例9.根据实施例1的方法，其中，所述计算模型包括：使用隐马尔可夫模型来建模亚秒级模块之间的转移时段。
实施例10.根据实施例1的方法，其中，所述三维视频数据首先被处理以输出多维向量空间中的一系列点，其中，每个所述点表示所述对象的三维姿势动态。
实施例11.根据实施例1-10中任一项所述的方法，其中，所述对象是动物研究中的动物。
实施例12.根据实施例1-10中任一项所述的方法，其中，所述对象是人类。
实施例13.一种用于分析对象的运动以将其分成模块的方法，所述方法包括：
对表示所述对象的运动的三维视频数据进行预处理，以将所述对象从背景中分离；
在所述视频数据的一组帧上，识别所述对象的特征相对于所有帧的公共坐标系的定向；
在所述一组帧的至少子组中，修改所述对象的所述定向，使得所述特征定向在相对于所述坐标系的相同方向上，以输出一组对齐帧；
使用主成分分析处理所述对齐帧，以输出姿势动态数据，其中，所述姿势动态数据表示每个对齐帧中所述对象在主成分空间中的姿势；
处理所述对齐帧，以将所述姿势动态数据临时地分割成不同组的亚秒级模块，其中，一组模块中的所有亚秒级模块表现出相似的姿势动态；以及
显示在所述三维视频数据中以高于阈值的频率出现的各个组模块的表示。
实施例14.根据实施例13的方法，其中，使用无模型算法来执行处理所述对齐帧的步骤。
实施例15.根据实施例14的方法，其中，所述无模型算法包括计算自相关图(auto-correlogram)。
实施例16.根据实施例13的方法，其中，使用基于模型的算法来执行处理所述对齐帧的步骤。
实施例17.根据实施例16的方法，其中，所述基于模型的算法是AR-HMM算法。
实施例18.根据实施例13-17中任一项的方法，其中，所述对象是动物研究中的动物。
实施例19.根据实施例13-17中任一项的方法，其中，所述对象是人类。
实施例20.一种用于分类测试化合物的方法，所述方法包括：
在将所述测试化合物施用到测试对象之后，识别所述测试对象中的包括一组模块的测试行为表示；
将所述测试行为表示与多个参考行为表示进行比较，其中，每个参考行为表示表示每类药物；以及
如果所述测试行为表示被分类器识别为与表示一类药物的所述参考行为表示匹配，则确定出所述测试化合物属于所述一类药物。
实施例21.根据实施例20的方法，其中，所述测试行为表示通过以下步骤来识别：
接收表示所述测试对象的运动的三维视频数据；
使用计算模型来处理所述三维数据，以将所述数据划分为至少一组模块和所述模块之间的至少一组转移时段；以及
将所述至少一组模块指定到表示动物行为类型的类别。
实施例22.根据实施例21的方法，其中，所述计算模型包括将亚秒级模块建模为向量自回归过程，所述向量自回归过程表示主成分分析(PCA)空间中的定型轨迹。
实施例23.根据实施例21的方法，其中，所述计算模型包括使用隐马尔可夫模型对所述转移时段进行建模。
实施例24.根据实施例20-23中任一项的方法，其中，所述三维视频数据首先被处理，以输出多维向量空间中的一系列点，其中，每个点表示所述测试对象的3D姿势动态。
实施例25.根据实施例20-24中任一项的方法，其中，所述测试化合物选自由小分子、抗体或其抗原结合片段、核酸、多肽、肽、拟肽(peptidomimetic)、多糖、单糖、类脂(lipid)、糖胺聚糖(glycosaminoglycan)以及它们的组合构成的群组。
实施例26.根据实施例20-25中任一项的方法，其中，所述测试对象是动物研究中的动物。
实施例27.一种用于分析对象的运动以将其分成模块的方法，所述方法包括：
接收表示在向所述对象施用试剂之前和之后所述对象的运动的三维视频数据；
预处理所述三维视频数据，以将所述对象从背景中分离；
在所述视频数据的一组帧上，识别所述对象的特征相对于所有帧的公共坐标系的定向；
在所述一组帧的至少子组中，修改所述对象的定向，使得所述特征定向在相对于所述坐标系的相同方向上，以输出一组对齐帧；
使用主成分分析处理所述对齐帧，以输出姿势动态数据，其中，所述姿势动态数据表示每个对齐帧中所述对象在主成分空间中的姿势；
利用计算模型处理所述对齐帧，以将所述姿势动态数据临时地分割成不同组的亚秒级模块，其中，一组亚秒级模块组中的所有亚秒级模块表现出相似的姿势动态；
确定在向所述对象施用所述试剂之前每组亚秒级模块中的模块数量；
确定在向所述对象施用所述试剂之后每组亚秒级模块中的模块数量；
将向所述对象施用所述试剂之前和之后每组亚秒级模块中的模块数量进行比较；以及
输出在向所述对象施用所述试剂之前和之后每组模块中的模块数量的表达频率变化的指示。
实施例28.根据实施例27的方法，其中，基于与表示行为模块的参考数据的比较，将每组亚秒级模块分类成预定行为模块。
实施例29.根据实施例27或28的方法，其中，将在向所述对象施用所述试剂之前和之后每组模块组中的模块数量的所述表达频率变化与表示在暴露于已知类别的试剂之后模块的表达频率变化的所述参考数据进行比较。
实施例30.根据实施例29的方法，其进一步包括以下步骤：基于与表示暴露于已知类别的试剂之后的所述频率变化的参考数据的比较，将所述试剂分类为所述已知类别的试剂中的一者。
实施例31.根据实施例27-30中任一项的方法，其中，所述试剂是药用活性化合物。
实施例32.根据实施例27-30中任一项的方法，其中，所述试剂是视觉刺激或听觉刺激。
实施例33.根据实施例27-30中任一项的方法，其中，所述试剂是气味剂。
实施例34.根据实施例27-33中任一项的方法，其中，所述对象是动物研究中的动物。
实施例35.根据实施例27-33中任一项的方法，其中，所述对象是人类。
实施例36.一种利用三维摄像机记录对象的运动并将从所述三维摄像机输出的三维视频数据解析成表示不同行为的多组帧的系统，所述系统包括：
三维摄像机，其被配置成输出表示对象的运动的视频数据；
存储器，其与包含机器可读介质的所述三维摄像机通信，所述机器可读介质上存储有机器可执行代码；
控制系统，其包括连接到所述存储器的一个或多个处理器，所述控制系统被配置成执行所述机器可执行代码以使所述控制系统执行：
利用所述控制系统，预处理所述视频数据，以将所述对象从背景中分离；
利用所述控制系统，在所述视频数据的一组帧上，识别所述对象的特征相对于所有帧的公共坐标系的定向；
利用所述控制系统，在所述一组帧的至少子组中，修改所述对象的定向，使得所述特征定向在相对于所述坐标系的相同方向上，以输出一组对齐帧；
利用所述控制系统，使用主成分分析来处理所述一组对齐帧，以输出所述一组对齐帧中的每一帧的姿势动态数据，其中，所述姿势动态数据表示每个对齐帧中的所述对象在主成分空间中的姿势；
利用所述控制系统，处理所述一组对齐帧，以将所述一组对齐帧临时地分割成不同组的亚秒级模块，其中，每组亚秒级模块仅包括具有相似姿势动态的亚秒级模块；以及
将所述一组对齐帧中的被引用到其亚秒级模块的每个帧存储在数据库中。
实施例37.根据实施例0的系统，其中，所述控制系统被进一步配置成：向显示器发送在所述不同组的亚秒级模块中以高于阈值出现的各个组的亚秒级模块的子组的表示。
实施例38.根据实施例0的系统，其中，所述控制系统接收与以高于阈值出现的各个组的亚秒级模块的每个子组的行为标记有关的用户输入。
结论
以上所述的各种方法和技术提供了多种实施本发明的方法。当然，应该理解，并不是所述的所有目标或优点都可以按照本文描述的任何具体实施例来实现。因此，例如，本领域的技术人员将认识到，这些方法可以以实现或优化本文所教示的一个或多个优点的方式来实现，而不必实现本文所述或所建议的其它目标或优点。这里提到了各种替代方案。应该理解，一些实施例具体地包括一个、另一个或几个特征，而另一些实施例则具体地排除了一个、另一个或几个特征，而还有一些实施例则通过包含一个、另一个或几个有利特征来规避特定特征。
此外，本领域技术人员将认识到来自不同实施例的各种特征的适用性。类似地，上面讨论的各种元素、特征和步骤以及每一种元素、特征或步骤的其它已知等价物都可以由本领域技术人员以不同的组合使用，以按照本文所述的原则执行方法。在不同的实施例中，各种元素、特征和步骤之中一些元素、特征和步骤将被具体地包括，而其它步骤被具体地排除。
尽管已经在某些实施例和示例的背景下公开了本申请，但是本领域的技术人员将理解，本申请的实施例扩展到具体公开的实施例以外的其它替代实施例和/或使用和修改及其等同物。
在一些实施例中，在描述本申请的特定实施例(特别是在以下某些权利要求的上下文中)中使用的术语“一”、“一个”和“该”以及类似的参考可以被解释为既包括单个也包括多个。这里对数值范围的引用仅仅是用作单独提及落入该范围内的每个单独值的便捷方法。除非在此另有说明，否则每个单独的值都被包含在说明书中，就好像它在此被单独列举一样。在此描述的所有方法都可以以任何合适的顺序执行，除非在此另有说明或者与上下文明显矛盾。使用了任何和所有示例或示例性语言(例如，“这样的”)。在这里提供的关于某些实施例的内容只是为了更好地说明应用，而不是对以其它方式声称的应用范围造成限制。本说明书中的任何语言都不应被解释为表示任何对应用实践来说必不可少的非要求保护的元素。
在此描述了本申请的某些实施例。这些实施例的变化对于本领域的普通技术人员在阅读上述说明后将变得显而易见。预期技术人员可以适当地使用这种变化，并且可以以与本文具体所述不同的方式来实施本申请。因此，本申请的许多实施例包括适用法律所允许的所附权利要求中所述主题的所有修改和等效内容。此外，本申请涵盖上述元件在其所有可能的变型中的任何组合，除非在此另有说明或者与上下文明显矛盾。
已经描述了主题的特定实施方式。其它实施方式在以下权利要求的范围内。在某些情况下，权利要求中所述的操作可以按不同的顺序执行，并且仍能取得期望的结果。此外，附图中所描述的过程不一定需要所示出的特定顺序或连续的顺序来取得期望的结果。
此处所引用的所有专利、专利申请、专利申请出版物以及其它材料(例如文章、书籍、说明书、出版物、文献、物品等)，在此通过引用整体并入本文用于所有目的，但除了与其相关的任何起诉档案历史记录，与本文件不一致或与本文件相冲突的任何专利或可能对本文件目前或以后最广泛的权利要求范围有限制影响的任何专利外，均在此全部纳入本文件。例如，如果说明、定义和/或使用与任何合并材料相关的术语和与本文件相关的术语之间存在任何不一致或冲突，则应以本文件中的说明、定义和/或使用为准。
最后，应该理解，本文所公开的申请的实施例说明了本申请的实施例的原理。可以在本申请的范围内可以采用的其它修改。因此，作为示例而非限制，可以根据本文的启示采用本申请的实施例的替代构造。因此，本申请的实施例不限于如所示或所描述的实施例。

Claims (39)

1.一种用于分析对象的运动以将其分成模块的方法，所述方法包括：
使用计算模型来处理表示所述对象的运动的三维视频数据帧，以将所述帧划分成表示模块的至少一组帧和表示所述模块之间的转移的至少一组帧；以及
将被引用到数据标识符的所述表示模块的至少一组帧存储在存储器中，所述数据标识符表示动物行为类型。
2.根据权利要求1所述的方法，所述处理包括以下步骤：在所述视频数据中将所述对象从背景中分离。
3.根据权利要求2所述的方法，所述处理进一步包括以下步骤：在所述视频数据的一组帧上，识别所述对象的特征相对于所有帧的公共坐标系的定向。
4.根据权利要求3所述的方法，所述处理进一步包括以下步骤：在所述一组帧的至少子组中，修改所述对象的所述定向，使得所述特征定向在相对于所述坐标系的相同方向上，以输出一组对齐帧。
5.根据权利要求4所述的方法，所述处理进一步包括以下步骤：使用主成分分析(PCA)处理所述对齐帧，以输出姿势动态数据，其中，所述姿势动态数据表示每个对齐帧中所述对象在主成分空间中的姿势。
6.根据权利要求5所述的方法，所述处理进一步包括以下步骤：使用计算模型处理所述对齐帧，以将所述姿势动态数据临时地分割成不同组的模块，其中，一组模块中的所有亚秒级模块表现出相似的姿势动态。
7.根据权利要求6所述的方法，其进一步包括以下步骤：显示在所述三维视频数据中以高于阈值的频率出现的每组模块的表示。
8.根据权利要求1所述的方法，其中，所述计算模型包括：将所述亚秒级模块建模为向量自回归过程，所述向量自回归过程表示PCA空间中的定型轨迹。
9.根据权利要求1所述的方法，其中，所述计算模型包括：使用隐马尔可夫模型来建模亚秒级模块之间的转移时段。
10.根据权利要求1所述的方法，其中，所述三维视频数据首先被处理以输出多维向量空间中的一系列点，其中，每个所述点表示所述对象的三维姿势动态。
11.根据权利要求1-10中任一项所述的方法，其中，所述对象是动物研究中的动物。
12.根据权利要求1-10中任一项所述的方法，其中，所述对象是人类。
13.一种用于分析对象的运动以将其分成模块的方法，所述方法包括：
对表示所述对象的运动的三维视频数据进行预处理，以将所述对象从背景中分离；
在所述视频数据的一组帧上，识别所述对象的特征相对于所有帧的公共坐标系的定向；
在所述一组帧的至少子组中，修改所述对象的所述定向，使得所述特征定向在相对于所述坐标系的相同方向上，以输出一组对齐帧；
使用主成分分析处理所述对齐帧，以输出姿势动态数据，其中，所述姿势动态数据表示每个对齐帧中所述对象在主成分空间中的姿势；
处理所述对齐帧，以将所述姿势动态数据临时地分割成不同组的亚秒级模块，其中，一组模块中的所有亚秒级模块表现出相似的姿势动态；以及
显示在所述三维视频数据中以高于阈值的频率出现的各个组模块的表示。
14.根据权利要求13所述的方法，其中，使用无模型算法来执行处理所述对齐帧的步骤。
15.根据权利要求14所述的方法，其中，所述无模型算法包括计算自相关图。
16.根据权利要求13所述的方法，其中，使用基于模型的算法来执行处理所述对齐帧的步骤。
17.根据权利要求16所述的方法，其中，所述基于模型的算法是AR-HMM算法。
18.根据权利要求13-17中任一项所述的方法，其中，所述对象是动物研究中的动物。
19.根据权利要求13-17中任一项所述的方法，其中，所述对象是人类。
20.一种分类测试化合物的方法，所述方法包括：
在将所述测试化合物施用到测试对象之后，识别所述测试对象中的包括一组模块的测试行为表示；
将所述测试行为表示与多个参考行为表示进行比较，其中，每个参考行为表示表示每类药物；以及
如果所述测试行为表示被分类器识别为与表示一类药物的所述参考行为表示匹配，则确定出所述测试化合物属于所述一类药物。
21.根据权利要求20所述的方法，其中，所述测试行为表示通过以下步骤来识别：
接收表示所述测试对象的运动的三维视频数据；
使用计算模型来处理所述三维数据，以将所述数据划分为至少一组模块和所述模块之间的至少一组转移时段；以及
将所述至少一组模块指定到表示动物行为类型的类别。
22.根据权利要求21所述的方法，其中，所述计算模型包括将亚秒级模块建模为向量自回归过程，所述向量自回归过程表示主成分分析(PCA)空间中的定型轨迹。
23.根据权利要求21所述的方法，其中，所述计算模型包括使用隐马尔可夫模型对所述转移时段进行建模。
24.根据权利要求20-23中任一项所述的方法，其中，所述三维视频数据首先被处理，以输出多维向量空间中的一系列点，其中，每个点表示所述测试对象的3D姿势动态。
25.根据权利要求20-24中任一项所述的方法，其中，所述测试化合物选自由小分子、抗体或其抗原结合片段、核酸、多肽、肽、拟肽、多糖、单糖、类脂、糖胺聚糖以及它们的组合构成的群组。
26.根据权利要求20-25中任一项所述的方法，其中，所述测试对象是动物研究中的动物。
27.一种用于分析对象的运动以将其分成模块的方法，所述方法包括：
接收表示在向所述对象施用试剂之前和之后所述对象的运动的三维视频数据；
预处理所述三维视频数据，以将所述对象从背景中分离；
在所述视频数据的一组帧上，识别所述对象的特征相对于所有帧的公共坐标系的定向；
在所述一组帧的至少子组中，修改所述对象的定向，使得所述特征定向在相对于所述坐标系的相同方向上，以输出一组对齐帧；
使用主成分分析处理所述对齐帧，以输出姿势动态数据，其中，所述姿势动态数据表示每个对齐帧中所述对象在主成分空间中的姿势；
利用计算模型处理所述对齐帧，以将所述姿势动态数据临时地分割成不同组的亚秒级模块，其中，一组亚秒级模块组中的所有亚秒级模块表现出相似的姿势动态；
确定在向所述对象施用所述试剂之前每组亚秒级模块中的模块数量；
确定在向所述对象施用所述试剂之后每组亚秒级模块中的模块数量；
将向所述对象施用所述试剂之前和之后每组亚秒级模块中的模块数量进行比较；以及
输出在向所述对象施用所述试剂之前和之后每组模块中的模块数量的表达频率变化的指示。
28.根据权利要求27的方法，其中，基于与表示行为模块的参考数据的比较，将每组亚秒级模块分类成预定行为模块。
29.根据权利要求27或28的方法，其中，将在向所述对象施用所述试剂之前和之后每组模块组中的模块数量的所述表达频率变化与表示在暴露于已知类别的试剂之后模块的表达频率变化的所述参考数据进行比较。
30.根据权利要求29的方法，其进一步包括以下步骤：基于与表示暴露于已知类别的试剂之后的所述频率变化的参考数据的比较，将所述试剂分类为所述已知类别的试剂中的一者。
31.根据权利要求27-30中任一项所述的方法，其中，所述试剂是药用活性化合物。
32.根据权利要求27-30中任一项所述的方法，其中，所述试剂是视觉刺激或听觉刺激。
33.根据权利要求27-30中任一项所述的方法，其中，所述试剂是气味剂。
34.根据权利要求27-33中任一项所述的方法，其中，所述对象是动物研究中的动物。
35.根据权利要求27-33中任一项所述的方法，其中，所述对象是人类。
36.一种利用三维摄像机记录对象的运动并将从所述三维摄像机输出的三维视频数据解析成表示不同行为的多组帧的系统，所述系统包括：
三维摄像机，其被配置成输出表示对象的运动的视频数据；
存储器，其与包含机器可读介质的所述三维摄像机通信，所述机器可读介质上存储有机器可执行代码；
控制系统，其包括连接到所述存储器的一个或多个处理器，所述控制系统被配置成执行所述机器可执行代码以使所述控制系统执行：
利用所述控制系统，预处理所述视频数据，以将所述对象从背景中分离；
利用所述控制系统，在所述视频数据的一组帧上，识别所述对象的特征相对于所有帧的公共坐标系的定向；
利用所述控制系统，在所述一组帧的至少子组中，修改所述对象的定向，使得所述特征定向在相对于所述坐标系的相同方向上，以输出一组对齐帧；
利用所述控制系统，使用主成分分析来处理所述一组对齐帧，以输出所述一组对齐帧中的每一帧的姿势动态数据，其中，所述姿势动态数据表示每个对齐帧中的所述对象在主成分空间中的姿势；
利用所述控制系统，处理所述一组对齐帧，以将所述一组对齐帧临时地分割成不同组的亚秒级模块，其中，每组亚秒级模块仅包括具有相似姿势动态的亚秒级模块；以及
将所述一组对齐帧中的被引用到其亚秒级模块的每个帧存储在数据库中。
37.根据权利要求36所述的系统，其中，所述控制系统被进一步配置成：向显示器发送在所述不同组的亚秒级模块中以高于阈值出现的各个组的亚秒级模块的子组的表示。
38.根据权利要求36所述的系统，其中，所述控制系统接收与以高于阈值出现的各个组的亚秒级模块的每个子组的行为标记有关的用户输入。
39.根据权利要求38所述的系统，其中，所述控制系统进一步被配置成将所述行为标记自动地应用于从所述三维摄像机输出的表示第二对象的运动的视频数据。
CN201680073020.9A 2015-10-14 2016-10-11 自动分类动物行为 Active CN108471943B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562241627P 2015-10-14 2015-10-14
US62/241,627 2015-10-14
PCT/US2016/056471 WO2017066209A1 (en) 2015-10-14 2016-10-11 Automatically classifying animal behavior

Publications (2)

Publication Number Publication Date
CN108471943A true CN108471943A (zh) 2018-08-31
CN108471943B CN108471943B (zh) 2021-07-13

Family

ID=58518533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680073020.9A Active CN108471943B (zh) 2015-10-14 2016-10-11 自动分类动物行为

Country Status (8)

Country Link
US (3) US11020025B2 (zh)
EP (2) EP4250144A3 (zh)
JP (2) JP7034069B2 (zh)
CN (1) CN108471943B (zh)
AU (2) AU2016338856B2 (zh)
CA (1) CA3001063C (zh)
IL (1) IL258006B (zh)
WO (1) WO2017066209A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109152555A (zh) * 2016-03-18 2019-01-04 哈佛大学校长及研究员协会 自动分类动物行为
CN109621152A (zh) * 2019-01-28 2019-04-16 邹珍友 一种用强场脉冲激光无介入性地干预动物认知意识活动与行为的方法
CN111178172A (zh) * 2019-12-13 2020-05-19 北京工业大学 实验鼠嗅探动作识别方法、模块及系统
CN111626093A (zh) * 2020-03-27 2020-09-04 国网江西省电力有限公司电力科学研究院 一种基于鸣声功率谱密度的输电线路相关鸟种识别方法
CN115005160A (zh) * 2022-06-21 2022-09-06 黑龙江八一农垦大学 一种评估不同声音刺激对蛋鸡行为、福利、认知和生理影响的方法
CN115812612A (zh) * 2022-12-08 2023-03-21 华中农业大学 多目标小鼠全生育期高通量表型获取和分析系统及方法

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2846631A4 (en) 2012-05-10 2017-02-15 President and Fellows of Harvard College A system and method for automatically discovering, characterizing, classifying and semi-automatically labeling animal behavior and quantitative phenotyping of behaviors in animals
US10185330B2 (en) * 2014-06-30 2019-01-22 Fisher Controls International Llc Methods and systems for adjusting travel sensor alignment on process control valves
PL414188A1 (pl) * 2015-09-30 2017-04-10 Instytut Biologii Doświadczalnej Im. Marcelego Nenckiego Pan Ekologicznie adekwatny system i metoda testowania spontanicznych zachowań społecznych u myszy hodowanych w grupie
AU2016338856B2 (en) 2015-10-14 2021-01-28 President And Fellows Of Harvard College Automatically classifying animal behavior
KR101817583B1 (ko) * 2015-11-30 2018-01-12 한국생산기술연구원 깊이 이미지를 이용한 행동 패턴 분석 시스템 및 방법
US11295449B2 (en) * 2016-11-21 2022-04-05 Asto CT, Inc. Three-dimensional tracking of a target in a body
KR102190748B1 (ko) * 2018-08-28 2020-12-14 한림대학교 산학협력단 실험동물 행동 판단방법, 장치 및 프로그램
US11699094B2 (en) * 2018-10-31 2023-07-11 Salesforce, Inc. Automatic feature selection and model generation for linear models
KR102223999B1 (ko) * 2019-08-12 2021-03-09 고려대학교 산학협력단 어류의 시력 등급화 방법 및 컴퓨터 판독 가능한 저장매체
WO2020091201A1 (ko) * 2018-10-31 2020-05-07 고려대학교 산학협력단 어류의 시기능 평가 시스템 및 이를 이용한 안구 독성 약물 스크리닝 방법, 어류의 시력 등급화 방법 및 컴퓨터 판독 가능한 저장매체
US20200383299A1 (en) * 2019-06-06 2020-12-10 Edgar Josue Bermudez Contreras Systems and methods of homecage monitoring
JP7173354B2 (ja) 2019-08-01 2022-11-16 株式会社村田製作所 検出装置、検出方法およびプログラム
EP4046066A4 (en) * 2019-11-07 2023-11-15 Google LLC MONITORING ANIMAL POSE DYNAMICS FROM MONOCULAR IMAGES
KR20210058396A (ko) * 2019-11-14 2021-05-24 삼성전자주식회사 전자 장치 및 그 제어 방법
CN111046805B (zh) * 2019-12-15 2023-09-26 深圳市具安科技有限公司 动物平衡性分析方法、装置、计算机设备
US11263454B2 (en) * 2020-05-25 2022-03-01 Jingdong Digits Technology Holding Co., Ltd. System and method for video-based pig counting in the crowd
CN111666881B (zh) * 2020-06-08 2023-04-28 成都大熊猫繁育研究基地 一种大熊猫踱步、吃竹子、发情行为跟踪分析方法
CA3187460A1 (en) * 2020-07-30 2022-02-03 Vivek Kumar Automated phenotyping of behavior
CN112057079B (zh) * 2020-08-07 2022-07-29 中国科学院深圳先进技术研究院 一种基于状态与图谱的行为量化方法和终端
CN111903607B (zh) * 2020-08-11 2022-03-01 安徽正华生物仪器设备有限公司 基于深度学习啮齿动物悬尾实验的自动化分析系统和方法
US11763039B2 (en) * 2020-12-28 2023-09-19 Dell Products L.P. Automatically determining storage system data breaches using machine learning techniques
CN113159129A (zh) * 2021-03-24 2021-07-23 国网上海市电力公司 一种电力用户的分类方法、装置、设备及存储介质
US20220335446A1 (en) * 2021-04-14 2022-10-20 Sunshine Energy Technology Co., Ltd. Real Food Honesty Display System
US11941860B2 (en) * 2021-09-24 2024-03-26 Zebra Tehcnologies Corporation Computational load mitigation for image-based item recognition
CN113962327A (zh) * 2021-11-12 2022-01-21 上海冰鉴信息科技有限公司 数据分类方法、装置及电子设备
WO2023115016A1 (en) * 2021-12-16 2023-06-22 Psychogenics, Inc. Computer-based systems for acquiring and analyzing observational subject data
US20230231976A1 (en) * 2022-01-18 2023-07-20 Douglas M. Bonham System and Method for Exchanging Compressed Images Over LoRaWAN Gateways

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7269516B2 (en) * 2001-05-15 2007-09-11 Psychogenics, Inc. Systems and methods for monitoring behavior informatics
CN101228555A (zh) * 2005-07-07 2008-07-23 独创目标实验室公司 用于目标的运动行为的三维监控和分析的系统
WO2010120684A2 (en) * 2009-04-16 2010-10-21 President And Fellows Of Harvard College Method and apparatus for selecting clusterings to classify a predetermined data set
WO2013170129A1 (en) * 2012-05-10 2013-11-14 President And Fellows Of Harvard College A system and method for automatically discovering, characterizing, classifying and semi-automatically labeling animal behavior and quantitative phenotyping of behaviors in animals
CN103796604A (zh) * 2011-08-26 2014-05-14 苏州信迈医疗器械有限公司 用于标测动脉壁内功能性神经的导管、系统和方法
CN104424649A (zh) * 2013-08-21 2015-03-18 株式会社理光 检测运动物体的方法和系统
JP2015122005A (ja) * 2013-12-25 2015-07-02 株式会社国際電気通信基礎技術研究所 遊び行動認識システム、遊び行動認識プログラム、遊び行動認識方法および遊び行動認識装置
US20150227793A1 (en) * 2006-05-19 2015-08-13 The Queen's Medical Center Motion tracking system for real time adaptive imaging and spectroscopy
CN104936439A (zh) * 2012-12-02 2015-09-23 安格瑞卡姆有限公司 用于预测对象状态的结果的系统和方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3270005B2 (ja) 1998-03-20 2002-04-02 勝義 川崎 実験動物の行動観察の自動化方法
AU3496500A (en) * 1999-02-19 2000-09-04 Fox Chase Cancer Institute Methods of decomposing complex data
US6678413B1 (en) 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US20040030741A1 (en) * 2001-04-02 2004-02-12 Wolton Richard Ernest Method and apparatus for search, visual navigation, analysis and retrieval of information from networks with remote notification and content delivery
JP2005529580A (ja) * 2001-08-06 2005-10-06 サイコジェニクス インク 動物の行動評価に使用するためのプログラマブル電子迷路
JP2003087771A (ja) 2001-09-07 2003-03-20 Oki Electric Ind Co Ltd 監視システム及び方法
WO2005001768A1 (en) 2003-06-06 2005-01-06 Psychogenics, Inc. System and method for assessing motor and locomotor deficits and recovery therefrom
JP4598405B2 (ja) 2004-01-06 2010-12-15 小原医科産業株式会社 小動物の行動診断方法
JP2005215927A (ja) 2004-01-29 2005-08-11 Mitsubishi Heavy Ind Ltd 行動認識システム
US7981058B2 (en) * 2004-03-12 2011-07-19 The Trustees Of Dartmouth College Intelligent wearable monitor systems and methods
US7725192B2 (en) * 2005-10-12 2010-05-25 The General Hospital Corporation Methods of increasing learning rate
US20090220425A1 (en) 2006-01-19 2009-09-03 Drexel University Method to Quantitatively Measure Effect of Psychotropic Drugs on Sensory Discrimination
JP2007328435A (ja) * 2006-06-06 2007-12-20 Mitsubishi Electric Corp 移動体行動分析装置
US9943687B2 (en) * 2007-09-26 2018-04-17 Duke University Method of treating parkinson's disease and other movement disorders
US9152851B2 (en) * 2008-01-23 2015-10-06 The Regents Of The University Of California Systems and methods for behavioral monitoring and calibration
US8577154B2 (en) 2008-06-16 2013-11-05 University Of Southern California Automated single viewpoint human action recognition by matching linked sequences of key poses
WO2010032247A2 (en) 2008-09-17 2010-03-25 Ramot At Tel-Aviv University Ltd. System and method for analyzing exploratory behavior
US8634635B2 (en) 2008-10-30 2014-01-21 Clever Sys, Inc. System and method for stereo-view multiple animal behavior characterization
US8848979B2 (en) * 2009-03-31 2014-09-30 Nec Corporation Tracked object determination device, tracked object determination method and tracked object determination program
US8878912B2 (en) 2009-08-06 2014-11-04 Qualcomm Incorporated Encapsulating three-dimensional video data in accordance with transport protocols
TWI411935B (zh) 2009-12-25 2013-10-11 Primax Electronics Ltd 利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統以及方法
US8928672B2 (en) * 2010-04-28 2015-01-06 Mixamo, Inc. Real-time automatic concatenation of 3D animation sequences
US8905855B2 (en) 2010-08-26 2014-12-09 Blast Motion Inc. System and method for utilizing motion capture data
JP2012053716A (ja) * 2010-09-01 2012-03-15 Research Institute For Diversity Ltd 思考モデルの作成方法、思考モデルの作成装置及び思考モデルの作成プログラム
US8437506B2 (en) 2010-09-07 2013-05-07 Microsoft Corporation System for fast, probabilistic skeletal tracking
US10321892B2 (en) 2010-09-27 2019-06-18 Siemens Medical Solutions Usa, Inc. Computerized characterization of cardiac motion in medical diagnostic ultrasound
US9373040B2 (en) * 2011-11-01 2016-06-21 Google Inc. Image matching using motion manifolds
WO2015030689A2 (en) 2013-08-27 2015-03-05 Altun Halis A tool and method for robust, scale and orientation invariant object detection and classification
US10518409B2 (en) * 2014-09-02 2019-12-31 Mark Oleynik Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries
CN104881651B (zh) * 2015-05-29 2017-12-15 南京信息工程大学 一种基于随机投影和Fisher向量的人物行为识别方法
AU2016338856B2 (en) 2015-10-14 2021-01-28 President And Fellows Of Harvard College Automatically classifying animal behavior

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7269516B2 (en) * 2001-05-15 2007-09-11 Psychogenics, Inc. Systems and methods for monitoring behavior informatics
CN101228555A (zh) * 2005-07-07 2008-07-23 独创目标实验室公司 用于目标的运动行为的三维监控和分析的系统
US20150227793A1 (en) * 2006-05-19 2015-08-13 The Queen's Medical Center Motion tracking system for real time adaptive imaging and spectroscopy
WO2010120684A2 (en) * 2009-04-16 2010-10-21 President And Fellows Of Harvard College Method and apparatus for selecting clusterings to classify a predetermined data set
CN103796604A (zh) * 2011-08-26 2014-05-14 苏州信迈医疗器械有限公司 用于标测动脉壁内功能性神经的导管、系统和方法
WO2013170129A1 (en) * 2012-05-10 2013-11-14 President And Fellows Of Harvard College A system and method for automatically discovering, characterizing, classifying and semi-automatically labeling animal behavior and quantitative phenotyping of behaviors in animals
CN104936439A (zh) * 2012-12-02 2015-09-23 安格瑞卡姆有限公司 用于预测对象状态的结果的系统和方法
CN104424649A (zh) * 2013-08-21 2015-03-18 株式会社理光 检测运动物体的方法和系统
JP2015122005A (ja) * 2013-12-25 2015-07-02 株式会社国際電気通信基礎技術研究所 遊び行動認識システム、遊び行動認識プログラム、遊び行動認識方法および遊び行動認識装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CROWLEY: "Integration and control of reactive visual processes", 《ROBOTICS AND AUTONOMOUS SYSTEMS》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109152555A (zh) * 2016-03-18 2019-01-04 哈佛大学校长及研究员协会 自动分类动物行为
CN109152555B (zh) * 2016-03-18 2022-09-06 哈佛大学校长及研究员协会 自动分类动物行为
CN109621152A (zh) * 2019-01-28 2019-04-16 邹珍友 一种用强场脉冲激光无介入性地干预动物认知意识活动与行为的方法
CN111178172A (zh) * 2019-12-13 2020-05-19 北京工业大学 实验鼠嗅探动作识别方法、模块及系统
CN111626093A (zh) * 2020-03-27 2020-09-04 国网江西省电力有限公司电力科学研究院 一种基于鸣声功率谱密度的输电线路相关鸟种识别方法
CN111626093B (zh) * 2020-03-27 2023-12-26 国网江西省电力有限公司电力科学研究院 一种基于鸣声功率谱密度的输电线路相关鸟种识别方法
CN115005160A (zh) * 2022-06-21 2022-09-06 黑龙江八一农垦大学 一种评估不同声音刺激对蛋鸡行为、福利、认知和生理影响的方法
CN115005160B (zh) * 2022-06-21 2023-03-14 黑龙江八一农垦大学 一种评估不同声音刺激对蛋鸡行为、福利、认知和生理影响的方法
CN115812612A (zh) * 2022-12-08 2023-03-21 华中农业大学 多目标小鼠全生育期高通量表型获取和分析系统及方法

Also Published As

Publication number Publication date
IL258006A (en) 2018-05-31
CA3001063C (en) 2023-09-19
AU2016338856A1 (en) 2018-05-10
JP2019505029A (ja) 2019-02-21
AU2021202422B2 (en) 2022-07-14
WO2017066209A1 (en) 2017-04-20
JP2022088382A (ja) 2022-06-14
IL258006B (en) 2021-09-30
EP4250144A2 (en) 2023-09-27
EP3361935A1 (en) 2018-08-22
US20210369146A1 (en) 2021-12-02
US20230225636A1 (en) 2023-07-20
CA3001063A1 (en) 2017-04-20
CN108471943B (zh) 2021-07-13
JP7034069B2 (ja) 2022-03-11
US11622702B2 (en) 2023-04-11
US11944429B2 (en) 2024-04-02
US20180279921A1 (en) 2018-10-04
AU2016338856B2 (en) 2021-01-28
AU2021202422A1 (en) 2021-05-13
EP3361935A4 (en) 2019-08-28
US11020025B2 (en) 2021-06-01
EP4250144A3 (en) 2024-01-17

Similar Documents

Publication Publication Date Title
CN108471943A (zh) 自动分类动物行为
CN109152555A (zh) 自动分类动物行为
Dunn et al. Geometric deep learning enables 3D kinematic profiling across species and environments
Brown et al. Ethology as a physical science
Wiltschko et al. Mapping sub-second structure in mouse behavior
Mobbs et al. Promises and challenges of human computational ethology
Girdhar et al. The behavioral space of zebrafish locomotion and its neural network analog
Contreras et al. Challenges of a small world analysis for the continuous monitoring of behavior in mice
Schröder et al. Distinct synaptic transfer functions in same-type photoreceptors
Schaffer et al. The spatial and temporal structure of neural activity across the fly brain
Zhou Advances in Statistical Machine Learning Methods for Neural Data Science
Roberson et al. Automated Detection of Mouse Pain Behavioral Readouts by Alternating Bottom-Up Pose and Paw Contact Measurements
Bohnslav Novel Applications of Deep Learning to Computational Ethology: Behavior Classification and Full-Body Pose Estimation
Campagnolo Unsupervised behavioral classification with 3D pose data from tethered Drosophila melanogaster
Findley Neural Mechanisms and Behavior in Unrestrained Mouse Olfactory Search
Yu The Computational Tools for Whole-Brain Imaging and the Neural Dynamics of Behaviors in C. Elegans
Wiltschko The Structure of Mouse Behavior
Chen Dissection of Complex Behavior and Whole-Brain Functional Mapping in Larval Zebrafish
Morvan Bibliographic database on multi-level and multi-scale agent-based modeling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant