CN102781320A - 综合人体运动分析的系统和方法 - Google Patents

综合人体运动分析的系统和方法 Download PDF

Info

Publication number
CN102781320A
CN102781320A CN2010800562761A CN201080056276A CN102781320A CN 102781320 A CN102781320 A CN 102781320A CN 2010800562761 A CN2010800562761 A CN 2010800562761A CN 201080056276 A CN201080056276 A CN 201080056276A CN 102781320 A CN102781320 A CN 102781320A
Authority
CN
China
Prior art keywords
patient
human motion
data
frame
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800562761A
Other languages
English (en)
Other versions
CN102781320B (zh
Inventor
卡尼斯·A·博列特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Medical Motion LLC
Original Assignee
Medical Motion LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Medical Motion LLC filed Critical Medical Motion LLC
Publication of CN102781320A publication Critical patent/CN102781320A/zh
Application granted granted Critical
Publication of CN102781320B publication Critical patent/CN102781320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112Gait analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4082Diagnosing or monitoring movement diseases, e.g. Parkinson, Huntington or Tourette
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6829Foot or ankle
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/70Means for positioning the patient in relation to the detecting, measuring or recording means
    • A61B5/702Posture restraints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training

Abstract

一种方法、系统和计算机可读介质接收模块配置设置,来配置一个自定义的用于人体运动检查项目的人体运动模块检测模块。对病人发出与所述自定义人体运动检测模块相关的音频指令。根据该模块配置设置,对具有逐行扫描能力的单摄像机进行控制,以允许其对所述人体运动检查项目的病人的行为进行记录。根据所述单摄像机所提供的信息对记录的数据进行分析,以测量该病人所表现出的人体运动。

Description

综合人体运动分析的系统和方法
相关申请的相互参考
本申请主张了申请日为2009年10月30日、发明名称为“综合人体运动分析的系统和方法”的美国临时专利申请No.61/256930以及申请日为2010年10月28日、发明名称为“综合人体运动分析的系统和方法”的美国非临时专利申请No.12/914951的优先权,其公开内容的内容作为本发明的参考。
背景技术
人体运动的检查和分析在神经学领域已经有着很长的历史。医生对人体运动进行分析,以对其健康问题进行诊断和治疗,例如帕金森病、亨廷顿病、妥瑞氏症、迟发性运动障碍、肌张力障碍、震颤症、中风有关的活动受限、中风后遗症、外周神经肌肉损伤,脱髓鞘疾病、抽动障碍、不安腿综合征、动作溢流紊乱、大脑性麻痹以及任何通过变化的人体运动中反映出来的损伤等。
发明内容
此处描述了综合人体运动分析的系统、方法和计算机可读介质。在本部分内容中对一些实施例进行了概括。
在一个实施例中,提供了一种方法和一种存储有一组指令的计算机可读介质,当计算机执行这些指令时,实施下列方法,其包括:接收模块配置设置,来配置一个自定义的用于人体运动检查项目的人体运动模块检测模块;对病人发出与所述自定义人体运动检测模块相关的音频指令;根据所述模块配置设置,对具有逐行扫描能力的单摄像机进行控制,以允许其对所述人体运动检查项目的病人的行为进行记录;以及根据所述单摄像机所提供的信息对记录的数据进行分析,以测量所述病人所表现出的人体运动。
在一个实施例中,所述模块配置设置包括下列一组内容中的至少一种:摄像机变焦、摄像机聚焦、摄像机定向、摄像机平移、摄像机帧速率、摄像机倾斜、摄像机亮度、摄像机光圈、摄像机增益、摄像机白平衡蓝色、摄像机白平衡红色以及摄像机曝光。
在一个实施例中,所述模块配置设置还可包括视频和音频的记录持续时间。
在一个实施例中,上述方法和计算机可读介质还提供了:将音频指令与记录延时和记录持续时间同步。
在一个实施例中,此外,所述音频指令包括下列一组内容中的至少一个:使得病人根据所述人体运动检查项目采取行动的指令、开始行动的指令以及停止行动的指令。
在一个实施例中,上述方法和计算机可读介质还提供了:记录人体运动检查项目的病人在人体运动检测模块运行期间的行为以生成所述记录数据,其中该记录数据包括音频和视频数据。
在一个实施例中,上述方法的分析步骤和计算机可读介质还提供了:将人体运动分析模块技术应用于与所述自定义人体运动检测模块一致的所述记录数据;将跟踪算法方法应用于与自定义人体运动检测模块一致的记录数据;产生汇总结果数据作为模块分析技术的附属产物;以及将所述汇总结果数据与所述自定义人体运动分析模块的规范标准进行对比,以确定病人是否表现出人体运动失调。
在一个实施例中,还提供了一种系统,其包括具有逐行扫描能力的单摄像机以及连接至该单摄像机的计算装置,其中该计算装置配置为:接收模块配置设置,以配置一个自定义的用于人体运动检查项目的人体运动检测模块;对病人发出与自定义人体运动检测模块相关的音频指令;根据所述模块配置设置,对单摄像机进行控制,以允许其对所述人体运动检查项目的病人的行为进行记录;以及基于单摄像机所提供的信息对记录的数据进行分析,以测量所述病人所表现出的人体运动。
本发明所公开的内容包括方法和系统,其中所述系统包括计算机系统和数据处理系统,其执行所述方法。本文所公开的内容还包括计算机可读介质,当在计算机系统和数据处理系统上执行所述计算机可读介质时,使得系统能执行所述方法。
接下来的附图和详细描述,将显示本发明的许多其他特征和具体实施例。
附图说明
实施例是通过具体的例子进行阐述的并且并不局限于附图中所示的实施例,其中在这些附图中,相同的标号表示类似的元件。
图1A示出了根据一个实施例的综合人体运动分析的系统。
图1B示出了根据一个实施例的综合人体运动分析的系统。
图1C示出了根据一个实施例的综合人体运动分析的系统中使用的摄像机塔架。
图1D示出了根据一个实施例的综合人体运动分析的系统中使用的部件。
图2A示出了根据一个实施例的综合人体运动分析的系统。
图2B示出了根据一个实施例的综合人体运动分析的系统中使用的部件的全貌。
图2C示出了病人坐于根据一个实施例的综合人体运动分析的系统中使用的部件上的视图。
图2D示出了根据一个实施例的综合人体运动分析的系统中使用的部件的视图。
图2E示出了病人坐于根据一个实施例的综合人体运动分析的系统中使用的部件上的视图。
图3A示出了根据一个实施例的综合人体运动分析的概括的记录系统概述的方法的流程图。
图3B示出了根据一个实施例的用于综合人体运动分析的概括的音频指令概述方法的流程图。
图4A示出了根据一个实施例的用于综合人体运动分析的概括的分析系统概述的方法的流程图。
图4B示出了根据一个实施例的用于综合人体运动分析的、分析模块以及生成报表和报告数字的方法的流程图。
图5示出了根据一个实施例的用于综合人体运动分析的足部和脚后跟轻敲分析方法的流程图。
图6示出了根据一个实施例的用于综合人体运动分析的手指轻敲和手部轻拍分析方法的流程图。
图7示出了根据一个实施例的用于综合人体运动分析的头部运动测量方法的流程图。
图8示出了根据一个实施例的用于综合人体运动分析的步态或行走测量方法的流程图。
图9示出了根据一个实施例的用于综合人体运动分析且用于测量无意识运动或震颤的SALCP算法方法的流程图。
图10示出了根据一个实施例的数据处理系统。
具体实施方式
下面的描述和附图只是说明性的并不是对本发明的具体限制。为了进行透彻的理解,对许多具体细节进行了描述。然而,在某些实例中,为避免对本发明的内容造成模糊,没有对公知的或者常规的细节进行描述。本发明中所指的一个实施例或实施例并不一定是指的同一个实施例,其指的是至少一个实施例。
本文中使用的标题仅为参考方便之用,并且不能以任何形式解释为对本发明或下面的权利要求的限制。
本说明书中所指的“一个实施例”、“实施例”、“本发明”或类似的用语是指,与具体实施例相关的具体特性、结构或特征是包括在本发明的至少一个实施例中。在本说明书中各处出现的短语“在一个实施例中”并不一定都指的是同一个实施例,也不是与其他实施例相互排斥的单独的或选择性的实施例。而且,此外,可能有些特征在某些实施例中进行了描述而在其他实施例中并没有描述。同样地,在某些实施例中所描述的要求,可能在其他实施例中并没有要求。
评分量表(例如,帕金森病综合评分量表(UPDRS);运动失调、锥体外系运动、静坐不能,亨廷顿病和儿童运动异常的评分量表;以及Hoehn-Yahr量表)是国际认可的用于分析此类人体运动和自制人体运动检测项目(例如检查手部震颤等)的临床标准。但是,多项研究最近已表明,当应用这些评分量表时,其结果产生了显著的变化,具体取决于各种各样的因素,例如特定医生的经验和训练水平。因此,现代临床运动分析方法主要限于由医生进行目测,并且是没有利用客观、量化框架的方式。在一个实施例中,人体运动分析模块被设计为具有灵活性的模块,其可以很容易地加入或修改任何个别的人体运动检查项目。
本发明全文中使用到三个术语:(i)人体运动检查项目、(ii)人体运动检测模块以及(iii)人体运动分析模块。
在神经骨科、身体康复领域以及相关领域,存在有众多标准的和常见的人体运动检查项目。人体运动检查项目通常关注于病人的某一特定运动-例如,“手指至鼻部”是人体运动检查项目的一个例子。
为了客观和可靠地管理这些人体运动检查项目并且客观地记录和测量病人在单个检查项目上的运动行为,可能会出现定时的标准化音频指令、摄像机设置以及与病人的人体运动检查项目的自动化管理相配合的记录装置。这些设置的集合被称作人体运动检测模块,并且是由下面的设置汇集而成,例如,摄像机设置、记录时间设置、延时设置以及时间上与其他设置同步的标准化音频指令和设置。
一旦记录的前提是这些纪录是由人体运动检测模块严格且可靠地产生的,检测模块所述视频和音频记录已经采集了病人在人体运动检查项目上的行为。然后,需要自定义地对分析算法和探式法进行选择,以从视频和音频记录中最佳地提取该人体运动项目行为的特征。这种分析算法和探式法的集合称作人体运动分析模块。该人体运动分析模块所产生的结果随后用来填充在数据图的合适位置,或者在报表的合适位置,以及用来与标准进行对比。
前述提到的三个术语在实际应用中的一个例子可以是“手指至鼻部”人体运动检查项目。用于“手指至鼻部”人体运动检查项目的人体运动检测模块包括摄像机设置、云台设置、定时延迟设置、音频和视频记录时间设置、以及与“手指至鼻部”人体运动检查项目相关联的设置同步的自定义音频指令文件,并且其指导指导病人,让他或她的运动与某一具体的人体运动检测项目相一致。在执行期间,“手指至鼻部”项目的行为以音频-视频文件格式进行记录。对该音频-视频文件格式进行分析需要有专门针对该运动的类型和包含在该音频-视频文件格式中相关运动特征的方法。这也是“手指至鼻部”项目的人体运动分析模块发挥作用的地方,因为人体运动分析模块包括有专门针对为“手指至鼻部”检查项目进行记录的运动的类型的方法、算法和探式法。
因此,当在具有配置设置(例如,音频指令、定时、摄像机设置)的特定人体运动检测模块之间执行一个特定的人体运动检查项目时,会产生记录文件。然后执行该人体运动分析模块,其是自定义的专门用于分析记录人体运动检测项目的人体运动检测模块记录文件的检测模块。人体运动分析模块依次产生的数据随后被作为在特定人体运动检测模块的指导、音频指令、时间控制和记录下,对特定人体运动检查项目的病人经过客观测量的特征。
在一个实施例中,人体运动检查项目可能是来自于标准化运动检查仪器或标准的项目,或者是为实现临床目的或研究目的而设置的检查某一特定运动的项目。这种项目的一个例子就是“手指至鼻部”项目,这是一个长期存在的临床检查项目,其具有用于指导和评估在该指定的运动中会很明显的出现的指导与视觉-空间目标错误,或者休眠、意向震颤或者指导原发性震颤相关的动作。
在一个实施例中,每个人体运动检测模块可分别包括一个音频指令文件、一组相关联的摄像机设置(包括,不局限于云台设置、变焦设置、光圈设置、白平衡-蓝色和白平衡-红色设置、曝光设置以及增益设置)、一组与音频指令文件相关的基于运行时间设置的相关软件(“运行时间设置”可与本发明全文中使用的术语“延迟时间”和“记录持续时间”同义)、一组按预定程序排序的信号灯、一组相关的视频和音频记录持续时间,其中该记录持续时间取决于与音频指令文件相关的运行时间设置、以及病人相对于摄像机和摄像机设置(例如云台设置)的具体位置。
在一个实施例中,人体运动分析模块可包括用于进行运动检测和量化的算法、探式法以及一系列基于软件的策略或分析,这些算法或分析被应用于在人体运动检测模块上执行软件和设置所产生的记录音频和视频的序列结果上。这种人体运动分析模块所产生的规范性数据的集合和来自人体运动检测模块的模块设置,以及执行特定人体运动检测模块所产生的个体记录的结果与相对于同一模块所采集的规范性数据的设置的比较,可能连同特定人体运动分析模块的算法和分析一起执行,来例如产生具有对比值的报告,以显示其结果和其相对于规范性数据的值。
在一个实施例中,可能会执行添加另外的或替代的人体检测模块,其中所添加的另外的或替代的人体运动检测模块分别具有其各自的特定摄像机定位、摄像机设置、病人定位、音频指令、音频指令声音文件(其可以简单的是特定时间的“开始”和“停止”,或者操作者在“开始”发生之前为病人阅读指令)以及音频和视频记录参数。在一个实施例中,可修改或加入不同的人体运动检测模块,其中每一模块分别具有其各自的特定摄像机定位、摄像机设置(例如云台设置)、病人定位、音频指令以及音频/视频记录参数。因此,本发明中的实施例并不局限于任何特定的运动障碍计划、评分仪器或者规则。本发明包含了人体运动检测模块的设计和具体实施例,其包括摄像机定位、摄像机设置、音频指令模块设计、音频指令时间控制、视频和音频延时和参数、运动操作检查的视频和音频记录、以及声音性能等,这种设计是独立于任何已公开的计划表或用于运动障碍的评分量表的,检测模块,但是它能在不改变本发明的具体实施例的情况下完全包含那些特定临床仪器中的项目。这些特定临床仪器中的单个项目可能已经被行业内的临床医师单独使用很多年了,而这些行业内的临床医师并不使用特定临床仪器或评分量表。
在一个实施例中,本发明的整个系统可当作是“主系统”,其可以实施几乎任何人体运动检查项目。该系统可提供弹性的灯光、弹性的摄像机设置、弹性的摄像机定位、弹性的记录用帧率、弹性的变焦、弹性音频记录以及弹性音频指令和定时结构。所述分析提供,例如,无意识震颤运动测量、头部运动测量、手指和手部运动测量、足部和脚后跟运动测量、声音行为测量以及行走和姿势稳定性测量。如此,本发明可实施来自任何计划、评分量表的人体运动测量项目的测试项目或项目,或者任何为人体运动测量新创建的人体运动检查项目。在一个实施例中,在具有预定病人或物体位置的室内环境中,本发明除了用于人体运动之外,本发明还可以用于物体运动。
一个示例性的人体运动检测模块为“手指至鼻部”运动模块,其适应为根据本发明的人体运动检测模块。手指至鼻部运动的特定人体运动检查项目可能不针对任何具体的检查标准,但是能够被创建成适应一个选定的标准或者来自于,例如,同行评审的出版物或权威来源的标准的组合。因此,本发明可以用产生客观和定量的数据,在确定的、可重复的和有组织的环境下,来自动地测量临床例行的“手指至鼻部”运动检查项目。本发明相关的多个临床检查运动项目提供了新的且具有创造性的自动化的、标准化的以及结构化的运动检测模块,在本发明中这些运动检测模块已经建立并被用于有效的人体运动分析。
在一些医院中使用现有的视频系统以及其他用于临床和定量人体运动检查的设置,可能会用到大型且复杂的计算机系统,这些计算机系统采用了多个有组织地放置在病人身上的标记物以及多个摄像机。在一个实施例中,本发明涉及一种预设病人的位置的单摄像机系统,并且对以下人员在办公室的使用进行了详细的系统性分析:技术人员、操作者、研究人员、医生、运动障碍实验人员或小组或者身体康复实验人员或小组、或者其他类似人员或机构,上面的所有人员在下文中都被称作“操作者”。在一个实施例中,下述的所有检测模块组合成一个单独的单调关联系统。在一个实施例中,本发明可在面积为22×13英尺或更大的办公室或检查室内使用。在一个实施例中,本发明可在面积仅为7×14英尺的空间内使用,并且仍然能够提供大多数多年来已经成为标准临床实践的一部分的临床人体运动检查项目。
在一个实施例中,可以通过音频-视频记录来帮助最佳运动检查的时间和空间的安排,并且所述音频-视频记录可用于基于软件的分析。在一个实施例中,所述音频-视频记录可自动进行。
在一个实施例中,提供了一种实现人体运动和一般运动的客观定量分析的综合人体运动分析系统。一个记录系统记录人体运动的数据,以及一个分析系统根据多个不同的人体运动分析模块依次分析该数据。所述人体运动分析模块采用算法和探式法来分析视频记录的人体运动数据,能够客观和定量地测量预定类型的人体运动以及在那些运动类型中展现的人体运动障碍,这进而允许实现更准确地测定障碍亚型、跟踪治疗效果、跟踪障碍进展以及量化选择性症状。在一个实施例中,还可测量声音延迟、声压、发音和反应内容,从而测试病人是否存在人体运动障碍。在一个实施例中,在系统中使用的麦克风装置和音频混音均衡器能够对病人声音进行标准化的记录。还可在各检测模块的记录阶段之前或在记录期间,将指令的声音传给病人。在记录期间,音频指令可由,例如,在音频指令声音文件的特定时间点处的简单的“开始”和“停止”构成,以指示什么时候病人开始执行由系统预录的音频指令指导的人体运动检查项目。这样,特定检测模块的音频指令所提出的标准临床问题可以允许后续的分析来确定病人作出反应的延迟、反应的声压、反应的发音以及反应的文字内容,因为所述各临床问题的表现和持续时间可以是以标准化的方式以及可靠地可重复方式进行呈现的。在一个实施例中,分析软件能够对作出反应的声音延迟(完成问题自动陈述之后的时间延迟)进行分析,并且通过下列方式对病人回答的声压(反应振幅)进行分析:将其与在相同或类似条件下研究的对照组中的作出反应的相同声音延迟以及声压进行对比。
在一个实施例中,提供了实现人体运动和一般运动的客观定量分析的系统。在一个实施例中,用方法、算法和探式法对数据(以数字存在或以图像/视频形式存在)进行处理并且产生作为最终结果的图形报告或者表格报告。
一种称作“所有三种颜色层的拉普拉斯变换绝对值的总和”(SALCP)的独特方法和算法是一种先进且复杂的方法和算法,其中并不总是需要使用绝对值,但是也可以使用算术值,它对视频数据中的帧进行分析以确定运动,并且除了人体运动分析之外,其应用范围相当宽广。
整体系统
图1A示出了根据一个实施例的综合人体运动分析的系统。人体运动分析系统100包括各种部件。实验对象区域101包括椅子101a和视频墙101b,其可包括至少一个具有特定混合颜色的薄纱视频墙,图1中示出了3面薄纱视频墙,全部位于椅子101a的侧面。实验对象通常为人类,但是也可是任何能够移动或不能移动的对象、动物或机器,实验对象可坐在椅子101a上或者位于视野内椅子101a通常占据的待记录位置。在一个实施例中,椅子101a可以是低靠背的类型,附有扶手,和/或椅子配备有可移动的手肘杯,椅子101a的扶手上各一个,这有利于实验对象/对象能够舒适地坐在椅子101a上。在一个实施例中,不需要使用椅子101a;实验对象或对象可不需要椅子101a站立,或者可使用其他支撑物,例如凳子或平台。视频墙101b可由薄纱或其他材料制成。薄纱是一种精细编织的、通常以棉为主的织物,其通常染成有利于视频环境的均匀的颜色或者印制图案。薄纱还吸收光,而不是反射光:结果,实验对象所反射出的光是明亮的,从而能够较容易地检查实验对象的运动。视频墙101b可悬挂在一个或多个墙体上、铺于地板和/或天花板上作为背景。在一个实施例中,视频墙101b可由抽象图案中多种颜色的杂色组合构成,类似于迷彩色,其中这些颜色所表现的颜色范围与将要记录的感兴趣的对象(例如皮肤和人体特征)十分不相似。在一个实施例中,视频墙101b可由另一种材料制成。在一个实施例中,可不使用视频墙101b。在一个实施例中,视频墙101b可通过选择性地选择对于人体运动分析系统100的房间的墙体、底板和天花板表面来说反射性最低的涂料来实现。
摄像机102可以具有麦克风103,可放置于塔架104上。摄像机102还可具有云台单元102a,以控制摄像机102的平移(水平移动)和倾斜(垂直移动)。摄像机102用来记录如图1A所述的可以坐在椅子101a上的、或者可以任何其他姿势站立的实验对象或对象。在一个实施例中,摄像机102不进行记录,但是将现场视频帧送入计算机112的计算机存储器108中,以供后续存储和分析。在一个实施例中,摄像机102可适应(例如)Gigawire、USB、Zigbee、Firewire(1394a和1394b以及后来的基于1394的规范)以及用于输入或通信连接至计算机的无线摄像机通信(例如,IEEE 802.11)。在一个实施例中,摄像机102可以是能够逐行扫描、电动变焦的摄像机,具有固态图像配准技术,从而能够实现视频记录开始前的灰度系数、红-白平衡、蓝-白平衡、亮度、曝光、光圈、增益以及聚焦的计算机控制设置。在一个实施例中,可使用非变焦镜头的视频摄像机。在一个实施例中,可使用隔行扫描摄像机。在一个实施例中,可采用“The Imaging Source”的DFK 31BF03.Z作为摄像机102,其为firewire视频彩色摄像机并且可配备芯片捕捉软件套装(IC Capture Software Suite)。麦克风103还可与摄像机102分隔开。在DFK 31BF03.Z型号的摄像机的情形下,可将麦克风103分隔开。在一个实施例中,平台单元102a和摄像机102可以是分开的实体。在一个实施例中,平台单元102a和摄像机102可以是同一实体或者相互连接。在一个实施例中,其他60帧/秒(fps)变焦摄像机可用作摄像机102。
对于任何视频摄像机102,如果视频流或者音频-视频流是通过计算机存储器108进行存储和记录,那么计算机可包含图像采集软件。在一个实施例中,数字图像采集软件可以适应于帧速率的速率读取来自摄像机102的输入视频流数据以及将单帧输出至存储媒介。在一个实施例中,帧速率的范围可从小于每秒一帧到大于每秒2000帧,基于摄像机、视频存储容量和速度性能而定。在一个实施例中,使用的范围可以是从30帧/秒到60帧/秒。
在一个实施例中,麦克风103可以是摄像机102组件的一部分。在一个实施例中,麦克风103可以是分开的并且可通过音频混音均衡器106连接至计算机存储器108。对于任何视频摄像机,摄像机102还可包含视频和音频记录单元,或者摄像机102和麦克风103可以是分开的独立实体。在一个实施例中,可位于计算机存储器108中的整体主机软件可适应任一情况,并且在摄像机102和麦克风103相互分开的情况下,整体主机软件可将音频写入输入视频文件中,以产生标准音频-视频文件格式,并且同时产生可以独立地或者来自音频-视频文件的单独音频文件。在一个实施例中,可采用具有对三种颜色层产生迪拜耳处理的拜耳颜色检测规范的最小像素密度640×480,但是也可采用更小或更大的像素密度,其可提供较小或较大的视频帧图像矩阵或者提供720×480或1024×768或更高的分辨率。在一个实施例中,数字图像采集软件可以低于15fps到高于120fps的范围内的适当的帧速率的速率,读取来自摄像机102的输入视频流数据,并且将数据的单帧以适当的格式输出到计算机存储器108以逐行扫描图像。
灯具106和另外的吊灯(未示出)可用来照明实验对象区域101。在一个实施例中,灯具106可包括能够安装三个灯泡的可调灯架,其容纳至少两个分别为2700K的紧凑型荧光32瓦灯泡。在一个实施例中,实验对象区域101上方的吊灯可包括4200K的36寸天花板四管荧光灯。在一个实施例中,4200K的天花板荧光灯可与四盏2700K灯具一起使用作为“聚光灯”,以加亮特定身体部位。在一个实施例中,在天花板照明充足的情形下,可不使用2700K“聚光灯”。将合适且充足灯光聚焦在实验对象身上,从而最大化记录或测量结果的准确度。在一个实施例中,荧光照明用来产生最低热量,以便为病人形成舒适的温度环境。
通信链路111将摄像机102连接至计算机112。通信链路111可包括,例如,1394a或1394b Firewire、USB、Gigawire、IEEE 802.11、802.xx或者其他通信标准或协议。计算机112可通过通信链路111控制摄像机102。在一个实施例中,计算机112可通过云台控制器115控制摄像机102的云台设置142、和摄像机设置140(140和142示于图1D中),而云台控制器115控制摄像机102的云台单元102。在一个实施例中,音频混音均衡器116可以是无源元件,其中操作者通过手部增益、平衡以及整个记录期间保持不变的音调设置进行控制。在一个实施例中,音频混音均衡器116受计算机控制并且可具有也受计算机控制的设置。遥控接收器114接收来自遥控单元107的信号,从而控制计算机112和摄像机102的运作,不需要操作者必须在计算机112和摄像机102旁。在一个实施例中,遥控单元107可基于射频脉冲编码调制(例如,针对按下的8个键中的每一个,不同的脉冲编码序列的传输高达300英尺)。在一个实施例中,遥控单元107可采用红外无线通信或其他无线通信协议(例如,蓝牙、Zigbee、900MHz等)进行控制。例如,为了进行记录,图像采集和摄像机控制以及视频帧采集软件套件可安装在计算机112或摄像机102中。在一个实施例中,摄像机102可同时具有摄像机控制软件和视频帧采集软件应用程序。在一个实施例中,计算机112可以是多媒体台式机或者相似的计算机,这种计算机具有较高的驱动器数据传输速率和至少,例如,3Gb/s的数据传输速率的驱动速度,以及高分辨率显卡处理能力,以在安装有与安装于计算机112中的Windows XP SP2或Windows Vista或Windows 7类似的操作系统的32-64位机器上支持图像、图形密集能力。显示器110还连接至计算机112以显示程序内容和现场视频图像。在一个实施例中,显示器110可以是24英寸的计算机显示器。在一个实施例中,显示器110可以是在相同的物理包装中的封闭计算机112、计算机存储器108和显示器110的组合型计算机-显示器单元。在一个实施例中,还可将键盘109联接到计算机112,并且可在计算机112之内或之外。
在一个实施例中,计算机112可以是计算机系统。在一个实施例中,计算机112可以是多个计算机或计算机系统。在一个实施例中,计算机112可以是通信地联接的计算机或计算机系统网络。
信号灯117可位于摄像机102的顶部,并且在一个实施例中,为Delcom907241信号灯。在一个实施例中,信号灯117为具有三个灯的(红色、黄色和绿色)、USB控制的信号灯装置。信号灯117可包括三种颜色,以表明计算机112当前正在执行的操作以及向操作者说明计算机112的当前连续操作,使得操作者能够选择不待在键盘109/计算机112旁,一直观看显示器110以查看模块操作的当前阶段和等待将要进行的下一命令或事件。换句话说,信号灯117实质上告诉了操作者计算机112正在做的操作,而操作者不必走到计算机112的显示器110并亲自查看。现仅作为一个实例来说明,如图1A所示,信号灯117中的红色可表示计算机程序已经完成了其处理并且准备好进行下一模块,黄色可表示计算机112正在设置下一个要执行的所选模块,以及绿色可表示处理正在执行中。在一个实施例中,信号灯117并不局限于那三种颜色,并且红色、绿色和黄色的例子仅作为一个实例而提供。在一个实施例中,另一信号灯117可位于为操作者提供了未受阻挡的视野的房间内的任何位置,不会对正在进行记录的病人或对象造成注意力分散。在一个实施例中,计算机存储器108可包含软件,该软件在记录病人或对象的运动或者行为时,在模块操作阶段顺序中的一个特定阶段内从信号灯117选择一种特定颜色的灯。在一个实施例中,信号灯117可出现在别处或者出现在房间内或任何对象上的任何位置。
音频混音均衡器116包括麦克风输入连接器和交流电源输入连接器以及音频输出连接器,从而控制连接至摄像机102或者与摄像机102分开的麦克风103的音频记录参数,以及控制一般情况下的记录环境。在一个实施例中,音频混音均衡器116可以是Behringer Xenix 702 Sound Mixer,并且在一个实施例中,麦克风103可以是Behringer Pro B2幻影双膜动态麦克风和支架,其配备有50英尺长的三芯电缆,以适应放置在病人旁边的麦克风103和支架的位置,而音频混音均衡器116邻近计算机112、摄像机102和摄像机塔架104。云台控制器115控制云台单元102a,其依次控制摄像机102的倾斜(垂直的)和平移(水平的)定位。在一个实施例中,云台控制器115可以是具有对应的控制器的DPerception PTU-46云台单元。在一个实施例中,云台单元102a可安装于摄像机102的下侧以及塔架104的顶侧,然后,云台单元102a可通过多芯电缆连接至云台控制器115。云台控制器115进而连接至计算机112中的端口,计算机112具有计算机存储器108,从而使得计算机能够读取云台单元102a的平移和倾斜部分的位置,并且还使得计算机112能将平移和倾斜设置发送至云台控制器115。
遥控接收器114从遥控单元107接收数字编码信号,从而以软件解释命令的形式控制计算机112中的操作。在一个实施例中,遥控接收器114可以是根据遥控单元107中任意按下的按钮接收数据的互补接收器,遥控单元107随后对信号进行解释并将结果通过USB线发送至计算机112。在一个实施例中,遥控单元107可以是由电池供电的、8按钮微型射频无线控制单元,其范围大约为300英尺,并且在一个实施例中,接收器可以是Lynx Technologies MDEV-HHLR8 MS 433.92远程接收器。任何或全部上述单元都可以通过任何类型的线/缆连接物或者Remote 2USB、USB、USB2.0或USB3全双工连接物通信联接或连接至计算机112。摄像机塔架104还可容纳任何或全部上述单元。在一个实施例中,遥控接收器114以及遥控单元107可以不用来控制计算机112的操作。
全部上述单元(例如,计算机112、摄像机102、灯具106等)可连接至电源板105,以实现恒定供电。在一个实施例中,备用电源单元可用来配合或替代电源板105,进而避免了可能会对记录产生影响或者可能或对磁盘驱动器的性能产生影响的断电情况。电缆壳体113还容纳了所有实现了人体运动分析系统100的各种组件之间相互连接的电缆、电线和连接物。
图1B示出了根据一个实施例的综合人体运动分析的系统。人体运动分析系统120包括椅子10、悬臂式椅臂11、手肘座12以及手肘座安装单元13(示于图2D和图2E中)。在人体运动分析系统120中还示出了视频墙20、灯具30、视频摄像机40、透镜遮光罩41、平移-倾斜摄像机安装单元42、云台单元控制器43、麦克风50、音频混音均衡器51、音频输出52、音频扬声器54、音频指令序列55(示于图3B中)、遥控器60、遥控器信号接收器61、信号灯65、电源板70、鞋套90(示于图2C、图2D和图2E中)、主计算机系统95、计算机显示器96、键盘97以及指针/鼠标98。在一个实施例中,灯具30可以是2700K灯具。在一个实施例中,视频摄像机40可以是15帧/秒、30帧/秒、60帧/秒、120帧/秒或更多帧每秒并且是彩色视频摄像机。
在一个实施例中,视频摄像机40可采用Gigawire、USB或Firewire 111(IEEE 1394a或1394b或其他基于1394的通信)或者可进行无线通信或者可通信联接至主计算机系统95。用于人体运动分析的视频摄像机40所采用的帧率可从每秒15、30、60帧到120帧或者更高,优选地为每秒30帧或以上。图像采集软件能够处理视频流的数字吞吐量并且以该速度写入存储媒介中。在一个实施例中,视频摄像机40可以是彩色变焦摄像机,能够对其快门速度、光圈、f-制光圈、红-白平衡、蓝-白平衡、变焦和灰度系数进行控制,和/或能够通过对基础软件中的设置进行基于计算机的控制来实现对其的控制。在待记录的各检测模块开始之前,主计算机系统95可上传预定的摄像机设置和云台控制器115设置,从而实现最佳的摄像机“视野”,并且上传摄像机设置,从而实现最佳的摄像机定位、变焦、曝光、快门和光圈设置以及实现颜色校正。在一个实施例中,每个像素的颜色信息可在精确的逐行扫描期间以传统的RGB三层格式进行存储,使得各单帧是场景或场景内的对象的完整图像。交错格式可能更为常见,其是由视频图像信息的来自当前帧的隔行扫描线以及视频图像信息的来自最近一帧的隔行扫描线而构成。这种交错格式在记录人体运动顺序时不是太可取,但是在本发明的实施例中,能够在结果中提供可接受的量化数据。各帧的彩色图像格式可由摄像机40提供。这样,可为各单独的检测模块指定单独的摄像机设置,并且在开始具体的、预先指定的检查测试模块的初始阶段时,将将摄像机设置上传至摄像机40。在一个实施例中,单帧的格式可最低为640×480像素、720×480像素、1024×768像素或者更高的分辨率。
图1C示出了根据一个实施例的综合人体运动分析的系统中使用的摄像机塔架104。摄像机塔架104包括信号灯117、摄像机102、云台单元102a、云台控制器115、音频混音均衡器116、遥控器接收器114、电源板105以及塔座104b。信号灯117为操作者提供信号灯,从而表明计算机112当前正在进行的操作。摄像机102为上述进行视频和音频记录或者将现场视频帧传输至计算机存储器108的视频摄像机。在一个实施例中,云台单元102a可与摄像机102分开并且用来控制摄像机102的平移(水平的)或倾斜(垂直)移动。在一个实施例中,云台单元102a可以是与摄像机102相同的单元或者直接连接至照相机102上的单元。云台控制器115控制云台单元102a,其进而控制摄像机的平移(水平的)或倾斜(垂直)移动。音频混音均衡器116控制计算机112感测或记录的以及存储于计算机存储器108中的音频的混音。在一个实施例中,麦克风103可连接或联接至摄像机102上进行音频记录。在一个实施例中,摄像机102可能已经具有记录音频的音频记录能力。在一个实施例中,麦克风103可与摄像机102分开。遥控器接收器114接收来自操作者使用的遥控器的信号,以控制摄像机塔架104中的视频摄像机102或对象。电源板105为摄像机塔架104中的所有部件以及摄像机塔架104自身提供电源。在一个实施例中,摄像机塔架104为所有上述部件以及更多部件提供物理支撑或容纳区。
图1D示出了根据一个实施例的综合人体运动分析的系统中使用的部件。计算机112和计算机存储器108包括摄像机设置140和云台设置142。在一个实施例中,模块配置设置包括摄像机设置140和云台设置142。计算机112和计算机存储器108还可通信联接至摄像机102。计算机112和计算机存储器108还可通信联接至云台控制器115,其进而联接至云台单元102a。在一个实施例中,摄像机102可与云台单元102a分开。在一个实施例中,摄像机102可以是单个单元,或者连接至云台单元102a。由云台控制器115控制的云台单元102a控制摄像机102的平移(水平移动)或倾斜(垂直移动)。摄像机设置140可包括,但不局限于,对如下内容进行调节的设置:亮度、增益、灰度系数、曝光、光圈、白平衡-红色、白平衡-蓝色、变焦、聚焦和帧率等。云台设置142可包括,不局限于,对如下内容进行调节的设置:摄像机102的平移(水平移动)或倾斜(垂直移动)。
图2A示出了根据一个实施例的综合人体运动分析的系统。人体运动分析系统200是对图1A中所示出的系统的更针对性描述。在一个实施例中,椅子的周围或侧方也是视频墙,视频墙包括至少一面薄纱视频墙(所示的10英尺×12英尺仅是一个例子),并且椅子201是病人、对象或者机器能够就坐或者放置和记录/观察的地方。麦克风203位于椅子201旁边,以便记录椅子201上的病人所发出的任何声音数据。如图2所示,可将椅子201与摄像机202分开18英尺(此处仅作为一个例子示出)的距离。摄像机202具有将其保持的塔架204,并且,图1A和图1C中示出的大部分单元都可以容纳到塔架204中,灯具205类似于图1A中所示的灯具,其为坐于椅子201上的对象提供照明,从而增加记录的准确度,并且,其他的天花板灯具(未示出)可与这些灯具205配合使用。摄像机202进而连接至计算机206,而计算机206具有与其连接的监视器208和键盘207。上述单元中的任何一个或全部(例如,摄像机202、计算机206、灯具205等)都可连接至电源板209,以实现恒定供电。如图2A所示,交流电源可用来为电源板209供电,但是电源并不局限于这种具体形式的电源。
图2B示出了根据一个实施例的综合人体运动分析的系统中使用的部件的全貌。特别地,示出了椅子系统220,其包括椅子10、悬臂式椅臂11、手模80、手模安装单元81以及手模椅子安装单元82。在一个实施例中,手模80可以是制造来形象地模拟人手的人造物体,其表现的是一个具有竖起食指的捏紧的真手的柔韧性、大小和形状,并且其中,该手可以由能够适应为了病人安全而重复进行抗菌清洗的生物惰性材料制成。换句话说,手模80可与真手一样大小并且是由能够重现人类真手的具体细节的生物惰性的硅橡胶弹性材料制成。当病人实际触摸手模80的手指以及在病人的手指触摸到自己头上的鼻子时,手模80可以是易弯曲的、柔软的,摸上去就像皮肤,颜色上是白色半透明的,并且具有恰到好处的弹性,以形成可重现的“手工艺品”视频-图像,更详细的内容涵盖在下文的“手指至鼻部”模块中。
图2C示出了病人坐于根据一个实施例的综合人体运动分析的系统中使用的部件上的视图。病人坐于椅子10上并且脚上穿有鞋套90。可以看到,悬臂式椅臂11在病人的左方和右方。
图2D示出了根据一个实施例的综合人体运动分析的系统中使用的部件的视图。图2D示出了椅子的侧视图。除了悬臂式椅臂11之外,手肘座12、手肘座安装单元13以及支撑拱14都是可见的。手肘座12和手肘座安装单元13使得病人能够在安全的休息处舒适地支撑他或她的手肘。当病人能够在椅子10上面向前方或者在相同的椅子10上面向侧方且他或她的脚垂直于摄像机-椅子的轴线进行延伸并且通过椅子10的椅臂下方时,支撑拱14能够对悬臂式椅臂11提供安全支撑。
图2E示出了病人坐于根据一个实施例的综合人体运动分析的系统中使用的部件上的视图。如图所示,穿有鞋套90的病人就坐于椅子10上,他或她的手臂倚靠在手肘座12和手肘座安装单元13上。尽管图2E中未示出支撑拱14,但是它们有助于支撑手肘座12和手肘座安装单元13并且还使得病人能够以方便的方向就坐。
记录系统概述
图3A示出了根据一个实施例的用于综合人体运动分析的记录系统概述的流程图。记录系统概述方法1000记录了实验对象/病人(或对象、动物或机器)的运动数据并且包括下面所述的步骤。
在步骤1100中,接收实验对象或病人的人口数据,该病人的人口数据包括姓名、性别、年龄、种族、国籍、既往病史,接受的药物治疗、图表数量、病人的身份证号码、疾病以及以前的医疗数据。种族和国籍有助于测量用于实现对不同运动异常或障碍的分析的、随文化而变化的不同“运动风格”。
在步骤1200中,接收病人的语言选择,以实现识别/分类和诊断的目的,以及帮助实验对象在被视频记录时可与其交互的音频指令界面(例如,音频指令以病人最能理解的语言呈现给实验对象,从而告诉他们“做什么”、“何种频率”、“何时做”、“何时开始”和“何时结束”,以及过程结束的时候)。如果从总体来看无法确定病人的首选语言,或者在一个或多个模块中无法确定病人的首选语言,那么各此类模块可能默认为英语音频指令,然后在下一个所需语言可用的模块中以所需语言重新开始。
在步骤1300中,接收执行模块的选择。一旦选择了所需的人体运动分析模块,那么摄像机可根据所选的人体运动检测模块和待执行和分析的人体运动检查项目,与实验对象区域101中的任意支撑物一起进行安装。记录系统在安装期间对数据进行记录,并且分析系统接收所记录的数据并且在假定记录中已经建立了某些设置的情形下对该数据进行分析。
在步骤1400中,接收操作者对自动化会话的启动。操作者启动包括待检查的病人或对象的定位。例如,可让病人坐在椅子上,如之前的附图所示,或者可要求病人站立以及行走。还可要求病人移动他的手或腿,或者静止地坐下以观察自然发生的震颤。步骤1500中的系统以步骤1200中所确定的语言向病人朗读音频指令文件,告知病人该会话即将开始并且指导指导病人做什么,还有何时开始和何时结束执行指导的运动行为指导。
然后,在步骤1600中,启动记录器(例如,摄像机开始记录并且还通过摄像机上单独的麦克风或音频记录部件开始音频记录)。在一个实施例中,摄像机102不进行记录,而是将现场视频传输至计算机112中,计算机112采用帧采集应用程序,将视频帧和输入的声音写入计算机存储装置,例如,计算机存储器108中。在一个实施例中,麦克风103可能一直开着,并且仅在步骤1600中,计算机才开始将输入的声音写入计算机存储文件中。在步骤1700中,音频指令文件输出音频“开始”,通过声音向病人发出开始的时间信号,以开始执行步骤1600中描述的运动。在一个实施例中,将音频指令“开始”输出至音频扬声器(放大器52和扬声器42和54),供病人接收。在步骤1800中,对预设模块的记录持续时间进行计时,,在这期间建立所有记录至该模块的所有数据。然后,在步骤1900中,停止记录器,并且在步骤2000中,系统输出可听见的指令“停止”。在步骤2100中,可向病人朗读音频序言(以步骤1200中所确定的语言进行传送),从而告知病人记录结束并且已经完成,以及任何额外的会后指令。在步骤2200中,系统能够等待操作者启动下一个模块。在下一个模块中,操作者能够在步骤2300中以所选的要执行模块的顺序继续下一个所选模块。在步骤4500中,一旦所选模块已经结束并且已经执行了所有的所选模块,那么向病人朗读作为步骤1500中开始的音频指令文件的最后一段的会后陈述序言(以步骤1200中所确定的语言进行传送)。
图3B示出了根据一个实施例的用于综合人体运动分析的音频指令概述方法的流程图。音频指令序列55开始于步骤5520,其中系统为病人启动音频指令文件播放输出。在步骤5540中,如果应该为模块指定任何延迟,那么音频指令文件就静默一定的持续时间以供延迟。在步骤5560中,向病人输出或朗读初始音频指令。在步骤5580中,计算机112也开始视频记录以及音频记录。在步骤5560中,音频指令文件命令通过(例如)音频扬声器42和54输出或朗读“开始”命令。在步骤5620中,记录持续时间设定计时开始,并且通过计算机计时的记录阶段开始。在步骤5640中,如果存在的话,输出中间指令命令。在步骤5660中,通过计算机计时的记录持续时间结束。在步骤5680中,停止视频和音频记录,并且音频指令文件命令向病人发出“停止”命令。在步骤5700中,如果存在的话,向病人发出序言音频指令。在步骤5720中,音频指令文件结束。
在一个实施例中,存储了音频指令序列55的音频指令文件是向音频输出装置52播放的预录的音频指令文件,如图1B所示。具有音频指令序列55的音频指令文件是专门用于特定人体运动检测模块及其服务的检查项目。音频指令序列55包含多个部分,并且具有在计时方面与视频和音频记录的延迟和开始以及与视频和音频记录的持续时间相协调并且同步的计时点。最小的结构为音频-视频记录延迟周期、在模块的音频-视频记录阶段开始期间的音频声音词语“开始”、与音频-视频记录持续时间相等的持续时间的静默期、在音频-视频记录阶段结束期间的词语“停止”以及音频指令文件的结束。另外的音频信息可由鼓励的词语(例如,“不错”)、安慰的词语(例如,“放轻松”)、在受指导项目的执行期间的中间指令(例如,“当你到达墙边时,面对墙站立”)或者紧跟在词语“停止”之后的序言词语(例如,“现在,请继续站立”)所组成。
以下通过例子对存储音频指令序列55的音频指令文件所进行的说明是示例性的并且不旨在进行限制。在一个实施例中,音频指令序列55可存储于计算机112的计算机存储器108中或者计算机12能够连接和访问的另一个存储形式中。本发明包括以任何语言输出给病人的预录的音频指令。现有专利或公开文献可能已经公开了输出给病人的预录的音频指令的使用方法。本发明独特之处在于,音频指令包括计时信息、开始执行的内置延迟以及发送给病人和研究病人的操作者的计时信号。在一个实施例中,预录的音频指令可包含特定的计时标记音调以及特定的计时数据,从而限制各检测模块中运动行动的时间。例如,音频文件开始通过音频输出装置52和音频扬声器54向进行记录的病人或对象播放输出。开始的时候可能是一段长时间的静默或者是将要执行的运动的详细说明,紧接着就是优选语言发出的、与系统执行的视频和音频记录的开始相一致的词语“开始”。在预设的计时延迟和运动行为周期之后,在与视频和音频记录动作的完成相一致的时间延迟,以优选的语言朗读词语“停止”,并且音频文件结束或者可播放一段“序言”,如果存在后续模块的话,告知病人接下来要做什么来准备后续的模块。
第一特定计时数据为主指令的开始和持续的持续时间。为了适应大量语言,检测模块中的初始指令可将初始指令呈现给病人,然后是预备命令、“开始”命令、一段允许执行所指导的检查项目的持续时间、“停止”、然后是“放松”或者“把手放下来”的指令(例如,停止刚刚执行的检查项目所指导的姿势)以及后续模块的预备指令。还有一些模块在模块中的运动行为期间的某些时间点上使用中间指令,使得个人知道执行结束时需要做什么。
对这些用于开始和结束所指导的运动行为的音频指令文件元件和信号的计时,是在音频指令文件序列55中的特定时间点进行,以保证运动行为是以预期的方式而开始和结束,并且还与音频和视频记录(开始于步骤5580)同步,该音频和视频记录是开始和结束于预设在计算机软件的计时参数中的特定计时,计算机软件控制各种模块配置设置,其中包括云台设置142以及摄像机设置140,而摄像机设置包括摄像机光圈、曝光设置和白平衡、以及运动检查项目执行期间的音频和视频记录的开始5580和结束5680。
在一个实施例中,例如在一些运动检查项目中,这些运动检查项目可能期望在执行运动项目时开始记录音频和视频。在那种情况下,音频和视频记录5580是紧跟在初始音频指令5520之后,在“开始”音频指令命令5600之后的很短时间内就开始记录。在其他检查项目中,可能期望采取下面的处理方式:确定开始执行所指导项目的延迟,这样可以设置成,在音频指令序列中的“开始”命令之前固定的间隔时间开始执行对音频和视频的记录5580以在音频指令序列55的流中出现词语命令“开始”(5600)之前,。在一个实施例中,音频指令允许视频记录中存在固定的时间间隔,使得个体实验对象开始运动行为的延迟,就是从开始音频和视频记录5580到“开始”命令之间的固定项目间隔,再加上病人在开始(与音频指令词语“开始”一起开始的)运动行为时的延迟。这样,对记录进行分析可以确定净“延迟”,以通过从所指导类型的第一运动时间上减去不变的时间间隔来开始运动行为。不同语言的音频指令序列55必须符合计时标准,该标准专用于个体类型,但是独立于执行检查项目的个体的指令语言。为了适应这种标准,下面的行为是有利的:确定特定模块的音频指令片段的总长度,并且在所有语言中,将那些片段在检测模块的音频指令序列55中持续的时间设定为最长指令时间。按照这样的方式,就相同的检测模块而言,一些语言将会具有比其他语言短的初始音频指令,并且在该特定检测模块中,具有较短最长时间片段的语言,在音频指令序列55中会比该音频指令序列55的该片段的最长持续时间语言指令启动的晚。
对于具有较短该片段的最长持续时间的语言,各初始语言音频指令片段的结束将放在相同的总音频指令序列55的片段消逝时间点处,使得初始音频指令片段的结束都是从该特定检测模块的音频指令踪迹开始之后持续相同的时间结束的。在一些语言中,特定音频指令片段的持续时间会比所呈现的语言中的最大时间要短,结果是,从音频指令序列55的开始到该语言的音频指令的开始之间不存在可听见的声音。初始音频指令片段的结束将在音频指令踪迹开始之后的相同持续时间内,使得在每种语言中,准备指令(例如“准备”)和后续指令“开始”的点能出现在相同的时间,并且“开始”和“停止”之间的持续时间将总是与音频-视频记录持续时间设置相同。空白处可以用非常小的、振幅可以忍受的、可听见的,持续时间为0.2秒的“哔哗”声以一秒的间隔进行填充,直至出现特定语言的口头音频指令。这样实现了如下目的:告知操作者和执行所指导运动检查项目的个体,检测模块是活动的并且正在继续。
分析录系统概述
图4A示出了根据一个实施例的综合人体运动分析的分析系统概述方法的流程图。分析系统概述方法3000说明的是人体运动分析模块所使用的分析系统,而人体运动分析模块对记录系统运行期间已经从实验对象或者病人(或者对象、动物或机器)记录的信息进行分析,记录系统的详细内容见图3A。分析系统概述方法3000包括如下步骤。
在步骤3100中,包含所有单会话(例如图3A中运行的会话)的模块记录的记录介质输入计算机系统中。在步骤3200中,开始自动化分析,以访问存储介质上所加载的数据。分析系统方法分为人体运动分析模块(就像记录一样;根据待分析的模块,对分析进行调整)。在步骤3300中,各模块依次进行分析,各模块的分析采用一系列复杂的、先进的算法和探式法,下面会对这些方法进行详细说明。本申请中大部分流程图和描述的重点都在记录系统中所采用的以及按照该分析系统方法进行分析的个体模块上。
在步骤3400中,所有模块都已经分析之后,将累计每个模块的数字时序数据。在步骤3500中,计算各模块的主要统计指标。例如,在步骤3600中,撰写汇总报表并填入汇总数据。汇总报表是各分析给出的数字数据的汇集。在步骤3700中,对时序数据绘上合适的标记和等级。在步骤3800中,持续生成汇总报表和绘图,直至所有记录模块(来自图3A)都进行了分析,所有汇总数据文件都在报表中以及所有的图表都进行了存储。在步骤3900中,分析结束时,确定编写的会话数据(来自步骤3800)中的关系差异。在步骤4000中,分析结束时,模块的数据与各模块的标准进行对比。在步骤4100中,如果该个体有一个以上的会话,那么为该个体在不同会话运行之间进行对比。最后,在步骤4200中,如果在一天以上的每一天中都有一个以上的会话,那么可对比各天之间的基数,或者如果这些天的每一天都有一个以上的会话,那么对比这些天的每一天的基数的相对变化,以确定每一天的整体净效应以及这些天的净效应。
图4B示出了根据一个实施例的综合人体运动分析的、分析模块以及生成报表和报告数字的方法的流程图。如上所述,分析模块3800是记录系统(图3A)为其安装来运行和记录数据的人体运动分析模块,这些模块依次由不同的人体运动分析模块进行分析,各模块包括一系列不同的算法和探式法。例如,3810至3880中提供了人体运动分析模块的示例性列表。在一个实施例中,其他模块可在3810至3880中执行,其可能是,不局限于:伸出臂手部震颤移动、双手交替外翻内翻。手指至鼻部移动以及肩部位移下的身体稳定性。此外,重要的是要注意,分析模块肯定不局限于本发明以上描述或下面描述的模块。报表准备3810为基础分析模块,其简单地建立报表和最终填入报表中的数据。下面将详细地说明其他分析模块,包括震颤测量3820、手指轻敲测量3830、手部轻拍测量3840、足部轻敲测量3850、脚后跟轻敲测量3860、站立测量3870和行走测量3880。当任意的或全部的这些分析模块在记录数据上运行时,在步骤3900中,将所获得的分析值填入报表,并且随后在步骤4000中,装订报告图块,以进行打印。在一个实施例中,这些步骤实质上与图4(生成汇总报告和绘图)中的最后几个步骤相同,但是,此处再次对其进行简单地重复是为了说明在任意或全部分析模块已经完成之后,执行了这些步骤。
现将进一步详细地介绍多个主要模块中的几个示例性模块。下面描述的任意模块可用作上文已经说明的分析模块。
足部敏捷性分析:足部轻敲和脚后跟轻敲
图5示出了根据一个实施例的用于综合人体运动分析的足部和脚后跟轻敲分析方法的流程图。足部轻敲和脚后跟轻敲过程500可分别针对左脚和右脚进行。过程500可应用至上述分析模块中多达四种的不同模块中去。对从所记录的视频文件序列中得到的单个帧图像执行过程500的步骤。因此,在一个实施例中,在各帧图像中执行下列步骤:在步骤505中,帧图像从RGB(红绿蓝)转换为HSV(色彩饱和度和值)。HSV是从RGB颜色模型转换的点的色彩表示。在步骤510中,必须对所得的图像使用HSV滤波。在步骤515中,于步骤510中进行HSV滤波处理后所得的剩余图像转换为二进制形式。在步骤520中,形态地打开或扩大该图像。在步骤525中,找到图像中的最大对象。在步骤530中,形态地关闭该图像。在步骤535中,在图像中找到最大对象的边界。在步骤540中,确定图像中最大对象的边界的坐标。在一个实施例中,图像中最大对象的边界可以是一个对象最腹侧的或者最前方的或者最前侧的边界。在步骤545中,将步骤540中所确定的对象坐标加入至时间序列中。在步骤550中,通过校正(例如,摄影测量校正),将像素中最腹侧的值到地面的距离转换为以厘米为单位的距离值。在步骤555中,平滑化时间序列(其累积步骤545中所提及的对象的坐标),以实现绘图和存储过程。在步骤560中,汇总了平均峰值距离(高度)和振荡数。在一个实施例中,例如,在上述步骤中不采用HSV,但要采用其他颜色滤波过程。
通常情况下,为了分析足部轻敲和脚后跟轻敲,会让病人将鞋套90(其在记录操作期间吸收或反射特定的光波长)穿在他们的鞋或脚上。鞋套90可由鞋上激光器或者能作为上述过程500跟踪的标记物的LED灯所替代。鞋套90或LED灯的颜色可以是红色、黄色、绿色、蓝色或者这些颜色的成对组合,从而最大化可见度,实现摄像机记录的目的。每只脚可穿上颜色不同的鞋套90或LED灯,有助于对运动进行跟踪和测量。在一个实施例中,颜色涂覆在鞋上,以提供两种不同颜色的跟踪目标,每只脚一种颜色---这可以通过将不同颜色的鞋套、标记物或LED灯附接在病人的脚上或鞋上来实现。换句话说,在所有的足部运动项目检测中用有颜色的对象来区分左脚和右脚。在一个实施例中,例如,可以通过地板将“红色”对象的坐标限制在运动的腹侧(前部或前侧)端。由于病人是坐着,因此即使是在静止不动时,轻敲的足部都可能会受到地板的限制。足部的垂直移动可能仅会受到腿部-足部的骨骼长度以及病人将脚向上抬起、然后放到地板上的肌肉活动性的限制。在一个实施例中,足底的阴影可能比足部的体积更重要。在一个实施例中,最感兴趣的坐标可能不是通过地板限制于运动的腹侧端,而是集中在足部的不同的区域或边界。与现有技术不同的是,本发明对颜色点和对象进行视频跟踪的显著特征包括提供了每只脚的独特特征,以及能够在步态及相关足部运动中对行走、轻敲和上台阶的单只脚进行自动跟踪。
作为过程500中的可选决策,并且为了确定相对脚的运动“溢出”或者过度测量,可在上述步骤510中加入其他步骤。例如,在一个实施例中,在步骤510中,可对图像进行两次HSV滤波,为每只有颜色的鞋套90分别做一次,并且,之后所有的后续操作都可进行两次,以相同地测定相对(左和右)脚的鞋套。上述步骤500还可在病人正站在一个固定位置时,用来确定两只脚之间的距离。
手部敏捷性分析:手指轻敲,手部轻拍
图6示出了根据一个实施例的综合人体运动分析的手指轻敲和手部轻拍分析方法的流程图。手指轻敲和手部轻拍过程600可分别针对左手和右手进行。需要注意的是,手指轻敲和手部轻拍是分开的过程,但是为了简便,将它们称作过程600。在一个实施例中,过程600可应用到上述分析模块中多达四种的不同模块中。对从视频文件序列中得到的单个帧图像执行过程600的步骤。因此,在各帧图像中执行下列步骤:在步骤605中,删除图像帧的绿色和蓝色颜色层。在步骤610中,一旦图像中删除了绿色和蓝色颜色层,便将所得的图像转换为二进制形式。在步骤615中,形态地打开或扩大该图像。在步骤620中,找到图像中的最大对象的边界。在步骤625中,确定图像中最中心的最大对象的定向角。在步骤630中,将对象旋转至最佳位置。在步骤635中,确定对象的偏心点。在步骤640中,确定偏心点的角度,并且能够将对象旋转,以更加精确地得到所需的角度。在步骤645中,通过在对象的无关区域填充黑像素来“修整”对象。在步骤650中,确定所修整的(部分地填充入黑像素)对象的偏心点的坐标。在步骤655中,计算所修整的对象的偏心点之间的距离。在步骤660中,将对象所计算的距离值加入至时间序列中。在步骤665中,通过校正(例如,摄影测量校正),将像素(得自步骤660)中的距离值转换为以厘米为单位的距离值。在步骤670中,平滑化时间序列(其中在步骤660加入了所修整的对象的距离值),以实现绘图和存储目的。最后,在步骤675中,汇总了拇指与食指之间距离的平均峰值距离或者指尖与手掌之间的距离,以及振荡数。在一个实施例中,过程600可以只用于阈值对象以及每个帧中对象的偏心点坐标,而不是基于开放的形态手部线条的方法。这种方法可采用x和y坐标,以实现对震颤运动以及手指和手部屈伸运动的敏感。
在一个实施例中,上述过程600的策略是利用RGB图像中的红色颜色层。实质上,皮肤颜色是不确定的,并且上述过程600的策略允许手相对于背景的检测,在该背景上,手是属于一个拥有许多不同类型的皮肤“色彩”和“肤色”的个体,颜色范围可以是从颜色很深到几乎没有色素。
头部运动测量
图7示出了根据一个实施例的综合人体运动分析的头部运动测量方法的流程图。当实验对象或病人正站在合适的位置或者从坐姿过渡到站姿时,采用头部测量过程700,从而测量垂直的和横向的头部运动,比如姿势性摇摆。过程700包括下列步骤:在步骤705中,优先检查预定义头部区域的ROI(感兴趣区域),在整个图像中实行ROI优先。在步骤710中,确定ROI中各像素的绿/红比。在步骤715中,针对各x-y像素,找到ROI中的某个像素点,其中该像素点的绿色值和红色值的比例比三种颜色层的绿色值和红色值的标准比例要大。然后,在步骤720中,在满足绿色值和红色值的标准比例的像素中,确定最小y值和x的平均值。在步骤725中,将y时间序列绘制为一垂直运动时间序列。在步骤730中,将x时间序列绘制为一横向运动时间序列。在步骤735中,继续进行ROI的连续帧的过程,以建立数据时间序列。数据时间序列的最终结果可用在后来的分析处理中,比如,图3和图4A到图4B中所述的生成报表和绘图的步骤。在人类病人的头部区域中,可能因运动不足而产生问题,同时由于房间内对头发、面部和头部的照明以及光线和本发明的病人位置都随时变化,因此,在指定的房间设置和照明下来进行对象的检测和跟踪会比在周围环境设置下更加可靠,并且也能实现对头部的抬头、摇头或点头运动的更加精确的测量。
步态或行走测量
图8示出了根据一个实施例的综合人体运动分析的步态或行走测量方法的流程图。行走测量过程800用来测量实验对象或病人的步态,其中要求病人从视频区域(图1中详细说明的实验对象区域101)的一侧走向另一侧,其中,他们行走的线路垂直于摄像机镜头的视野。在上述过程中,使用两只颜色不同的鞋套90(例如,红色和蓝色)。
行走测量过程800能够根据视频帧序列,单独地测量每只脚的运动。过程800包括如下步骤:在步骤805中,针对视频中的各帧图像,将整个帧图像从RGB转换为HSV。在步骤810中,转换的图像经过HSV滤波,以便找到一只脚(左脚或右脚,由HSV滤波参数值定义一种颜色)的鞋套90。在步骤815中,找到帧中的最大对象。在步骤820中,为各帧图像确定对象(步骤815中找到的最大对象)的边界和形心。在一个实施例中,边界和形心方法还用于上述的头部测量模块以及手指轻敲和足部轻敲模块。在步骤825中,将相对于时间的x值绘制为所选足部鞋套的横向运动(随后对另一足部鞋套重复)。在步骤830中,将相对于时间的y值绘制为所选足部鞋套的垂直运动(单独地对另一足部鞋套重复)。最后,在步骤835中,对对侧的或者另一足部鞋套90重复该过程,以便完成位置确定分析。分析的最终结果(通常以时间序列的形式进行汇总)可用在后来的分析处理中,比如,图3A至图3B和图4A至图4B中所述的生成报表和绘图的步骤。在一个实施例中,病人可走向摄像机并且可按照指令朝摄像机走五步、随后转身走回椅子并面向椅子站立。在摄像机从地板并且从距离例如起始点18英尺的上方观察的过程中,摄像机可以向下倾斜以主要观察腿部和足部。由于视差和摄像机倾斜的关系,视野可能呈梯形形状。通过采用可能在本领域内公知的变换算法,本发明也许可以对脚印进行跟踪,就如同这些脚印是在平坦的、完全是方形的棋盘表面上。
SALCP算法
图9示出了根据一个实施例的综合人体运动分析且用于测量无意识运动或震颤的SALCP算法及方法的流程图。SALCP事实上代表一种计算所有三种颜色层的拉普拉斯变换绝对值的总和的算法及方法,其中,绝对值并不总是需要,也可以采用标记了的真实数值或算术值。在一个实施例中,SALCP算法可用来测量病人头部、双手或一只手或者双脚或一只脚的无意识运动或震颤。它是一种由发明者创造的用于本发明的独特算法及方法,但是除了综合人体运动分析之外,其还具有其他各种广泛的应用,比如,视频图像处理和运动分析领域内的应用。在综合运动分析和本特定应用的内容中,SALCP算法及方法可用来测量无意识运动或震颤。SALCP可单独地进行使用,或者与上述其他模块中的任意一个结合起来,作为更复杂的过程或方法及算法中的子过程来使用(例如,足部及脚后跟轻敲、手指轻敲和手部轻拍、头部运动、侧视行走和/或其他类型的分析模块,比如实验对象/病人安静地就坐、就坐和交谈、从就坐变为站立、站在指定位置等等)。
在一个实施例中,上述讨论的SALCP算法中使用的拉普拉斯变换或拉普拉斯算子可以在各实施例中用于计算在包含颜色差别方面感兴趣的区域,其中该颜色差别在特定的检测模块的特定场景中记录的视频序列的两个单帧之间的。可以为各颜色层差分矩阵中的各像素以及该像素在RGB或其他颜色层表示方案(例如,RGB、HSV)中每个单独的颜色层中的相邻像素,计算拉普拉斯算子。颜色层像素的拉普拉斯算子是将单个像素与其四个相邻像素中的平均值的差值进行相关。可以采用离与最近的邻居(例如,其中的邻居距离为一)的关系或者离其他邻居大于一像素的预定距离的关系(例如,在各次计算中沿标志像素的每个方向的两个、三个或者更多像素的距离)来计算拉普拉斯算子。然后在涉及单独标志像素的计算中,可将结果转换为该次针对各颜色层的计算的绝对值,并且可对代表感兴趣区域中的单个或者多个像素的像素重复这一过程。涉及其邻居(距离为n=1或者更大)的单独像素位置的单独颜色层的拉普拉斯算子的绝对值总和可用于该帧的感兴趣区域中的单个或多个像素。然后可对所得的针对整个感兴趣区域的SALCP值矩阵进行滤波或者“阈值化”,以去除噪声。然后可对所得的用于单独视频帧的净值矩阵进行检查,以确定帧中的形态对象和边界、相对于各单帧的矩阵中的数据以及相对于先前视频帧的矩阵中的数据的主要和次要关系。此外,感兴趣区域中各对象的形心、定向角、角落、中侧点、中顶点和中底点的坐标可作为本领域内公知方法的汇总数据,还可用作单个视频帧的衍生数据。在帧的全序列时间上完成了各帧中每个对象的SALCP推导、汇总数据和坐标之后,才有可能确定净运动、相对运动速率、帧中一个或多个对象的定向以及整个帧序列。
在一个实施例中,公开了一种方法及算法,其对进行运动分析的各单独视频帧的各颜色层进行拉普拉斯变换。初始计算为视频图像中的一个帧和标志帧记录了颜色表示矩阵,然后从前一帧中减去颜色表示矩阵。随后,对所得的相对于标志帧的减去差分矩阵进行拉普拉斯变换。针对各颜色表示矩阵(层)的拉普拉斯变换产生了拉普拉斯值,其可能或者不可能针对差分矩阵中各颜色层的各像素空间而转换为绝对值。采用差分矩阵的拉普拉斯变换对用于各颜色表示层的特定像素位置的值或者绝对值进行总和计算,将会在标志帧中产生大小相当于原始帧图像或者感兴趣区域的总和值矩阵。该算法可应用于许多颜色表示规则,其中包括RGB规则、ARGB和AYCoCg规则、各种HSV规则、CIE-XYZ规则、Y’UV规则(其中包括YUV420p、YUV422p以及YCbCr)、CMY(K)规则、YIQ规则、VDBDR规则以及YPBPR规则。算法中的值形成了一个代表颜色变化值的矩阵。这些颜色变化值能够显示视野内对象中的颜色变化,或者它们与标志帧中一个或多个对象相对于背景中的先前帧的运动相一致,且该背景是不会变化的或者是以与感兴趣的对象不同的速率进行变化。
对两个连续(连贯的或者不连贯的)视频帧的颜色表示层之间的差值的拉普拉斯变换绝对值的总和进行计算是SALCP算法的关键。该算法的应用能够与彩色视频帧分析中的多种使用方法有关,并且在本发明中不旨在限制于用于人体运动分析的视频记录分析应用。在一个实施例中,本算法可以应用于分析实时的现场视频,或者进行视频记录的事后分析,以确定一个或多个对象的运动或运动的相对速率,或者确定标志视频帧的监测视野中相对于先前或连续差分视频帧的颜色变化的局部区域,,进而监测视野内对象内部或对象之间随时间的变化。SALCP算法可应用于隔行扫描及逐行扫描视频帧数据规则。
SALCP过程900包括下列步骤:在步骤905中,取RGB 3颜色层形式的帧“n”(来自组成视频文件的帧序列的单独帧图像,其中,n为消减帧)。在步骤910中,取帧“n+i”作为参考帧,其中i为帧差值的大小(例如,i=1是指参考帧与消减帧之间相差的一个帧,i=2是指从消减帧中去除的两个帧,等等)。还在步骤910中,可取RGB 3颜色层形式的帧“n+1”,在步骤915中,计算图像之间在产生了针对三种颜色表示层的每一种的差分矩阵的所有三种颜色层方面的差值。在步骤920中,随后计算各颜色层差分矩阵(于步骤910-915中确定)的拉普拉斯算子(或者拉普拉斯变换)。在步骤925中,计算所有颜色层的差分矩阵值的拉普拉斯算子的绝对值的总和。在步骤930中,将值经过阈值处理,以去除背景噪声。在步骤935中,整合图像的各预定感兴趣区域中的剩余值。最后,在步骤940中,以帧n+1和n+2继续,直到帧序列中的所有帧从视频中用尽。而且,步骤940的SALCP方法及算法的最终结果可用于其他算法或分析模块、可输入至时间序列数据格式或者可最终用在后续分析处理中,例如,图3A至图3B以及图4A至图4B所述的用于生成报表和绘图的步骤。在一个实施例中,本发明能够将针对人体运动检测模块和数据的音频和视频记录的分析用于:双手交替外翻内翻、手部或手臂的姿势性震颤、姿势不稳定以及其他溢出运动。在一个实施例中,可对那些不是所指导运动的一部分、但是无意识地出现在同一个人的另一肢体或头部的一些运动障碍中的溢出运动进行指定。尽管某些运动可能是被动的、“全体”运动,但是在未执行检查项目和检测模块的所指导运动的手、脚或头中,无意识震颤也可能引起其他运动。无意识震颤还可出现在执行了所指导运动检查项目的手或脚中。SALCP方法及算法在检测和测量这些上述类型的运动时具有特殊的功效。
在这些流程图中,出现“是-否”二分法的原因在于可以对不同的脚和/或手完成相同的过程。操作者要确保病人或实验对象充分执行了用于分析的视频文件中的内容。不能接受的视频文件(错误的或者失败的尝试执行)存储于子文件夹中并且不进行分析,只用于直观检查。这样,视频中的对象处于合适的位置和处于照明中是必须是准确的。因此,如果将相同的算法用来处理右手和左手或者足部表现,那么仅存在有决定点,例如,这样该决定(二分法是-否)是介于左手或右手或者足部行为的视频文件之间,其在文件名称中进行指明,以实现自动检测。但是,基于文件名读取来对算法进行自动选择是不重要的并且也不是上述申请的一个方面。
因此,流程图主要是体现“直通式处理”。如果尝试在没有严格定义的场景中挑选出人或运动,那么情况会有所不同。本发明具有这样的能力,但是上述申请的其中一个目的是测量出表现出神经学内已知的标准运动障碍的实验对象的神经学相关运动和发声,如上述申请所述,房间环境内的场景、位置和照明都是预先定义的。。实验对象、病人或对象的神经学相关类型运动以及实验对象、病人或对象的发声或声音产物表现出了检测领域(例如,神经学、骨外科、物理治疗、职业治疗、心理学、工程学和研究)内已知的标准或者障碍运动,而房间环境内的场景、位置和照明都是预先定义的。对象的偏心点和定向角能够对对象(例如,头部、手部、手指或其他身体部位或对象部位)的最优位置进行确定,并且在这一点上,对物体的预定义无关部分进行修整,能够去除与特定模块记录数据的分析中所关注的期望运动信息无关的场景中身体部分的一部分或图像中的另一个对象。例如,前臂、图像内另一此类对象或者病人模糊的脸(其通常出现在手指轻敲或手部轻拍视频帧的左手上部或右手边界区域的上部)在手部敏捷性分析中可能是无关的。
其他模块
手部或手臂的姿势性震颤
手部或手臂的姿势性震颤已成为临床运动检查的标准组成部分。在检查过程中,要求病人保持双手从身体处伸直且双臂伸展,时间为几秒钟。检查测量变量是指伸展的双手-手臂出现(以及严重性和偏侧性)或者未出现震颤。另一个检查变量是手部姿势的不对称。在一个实施例中,通过预录的优选语言的音频指令指导病人将手臂和双手从胸部高度向前伸展并保持住,直到指令告知“停止”。
为了记录姿势性震颤,以每秒30帧或更大速率录制几秒钟的视频。采用本领域内已知的形态学运算或者各单独帧差值计算矩阵中的SALCP方案,将手部运动形式的震颤测量为各颜色层中帧间差值的拉普拉斯算子的绝对值的总和。在包含一只手或双手的感兴趣区域内,对视频序列的连续帧中的每个此类差分矩阵内的阈值进行检查。通过阈值化来检测处于运动中的手部的“对象”,以表明“对象”在移动。运动中的对象随后通过下面一些该领域所熟知的几何特性进行表征:相对于参考系的x-y坐标,边界位置、形心以及相对于参考系的定向角等。然后将这些值汇总为结构,这些结构含有针对每个相对其差分帧(n+i-n,其中i=1或者i>1等)的首要帧的数据。按照这种方式,对全套差分帧对,执行视频记录帧的连续帧的分析。可在每秒30帧或者更大的取样速率下完成针对一只手的特定标记的运动的分析。在本项目上可能不存在延迟期。在本项目中,也可能没有使用“标记”。
双手交替外翻-内翻
双手的交替外翻-内翻已成为临床运动检查方案中的一个长期存在的部分。在检查过程中,要求病人保持双手从身体处伸直且双臂伸展,并且将双手手掌面朝下,然后在腕部轴向地旋转双手,直至手掌面朝上,然后反向选择,直至手掌面朝下。反复且连续地将手掌交替的面朝上和面朝下(外翻和内翻),以实现所指导的最低量移动或者更大的移动。在一个实施例中,通过预录的优选语言的音频指令指导病人将手臂和双手从胸部高度向前伸展并让手掌面朝上,然后手掌面朝下,然后再手掌面朝上及朝下,重复地以该顺序进行,实现所指导的最小量移动,直到预录的指令告知“停止”。
可以进行预定时间的视频记录。手部的外翻和内翻运动由姿势性震颤检测模块中所使用的相同方法来确定,并且每只手的边界位置计算为X-Y运动数据矩阵,从而单独地为每只手生成运动数据矩阵。用于双手运动矢量的时序数据之间的相关性计算提供了双手之间的协调性程度。
在各种情况下,将背景反射噪声用作阈值,在该阈值上,运动(手部对象的笛卡尔位置空间内从帧到帧的颜色变化)发展成为计算对象。
为整个帧数的X坐标建立矢量,并且为所有帧的Y坐标分别建立矢量。
在双手交替外翻-内翻表现的记录中,会出现延迟期,该延迟期被加入音频指令呈现文件和计算机定时延迟中,以开始记录,这样使得病人/实验对象在视频-音频记录已经开始之后才开始,并且在固定的延迟之后,才给出命令“开始”。这样,可以在音频和视频记录数据中,测算音频指令中词语“开始”结束的时间与第一个开始执行所指导项目的目的性运动的时间之间的绝对延迟。
“手指至鼻部”运动检测模块
“手指至鼻部”是临床上已知的长期存在的临床运动检查项目的名称。内科医生在神经病学检查中经常会采用该项目,甚至都不使用正规的运动观察评分量表。在检查过程中,要求病人将一只手的食指放在鼻尖上,然后伸出食指去触摸检查者伸出的食指,再回到鼻尖上,并且按照所指导的最低总次数或最大的时间限制,反复的进行这些移动。在一个实施例中,在过程中提供了手模80,其是一个固定的人手模型,位置与病人所坐的椅子10相隔固定的距离。在一个实施例中,视频记录在可听见的声音信号命令“开始”之前开始记录,这样在所进行的第一次移动之前产生延迟期。视频记录持续一段预定的时间。一个检查测量变量是指在从鼻部到手模手指的移动以及从手模手指到鼻部的移动期间,伸展的双手-手臂出现(以及严重性和偏侧性)或者未出现震颤。另一个测量变量是准确触摸手模手指以及准确触摸人自身的鼻部(例如,“目标”)。术语“手模”以及“模型手”在使用中可以互换。然后对另一只手单独地重复这一检查,产生两个记录,分别是每只手的行为。在本检查项目中,操作者举着操作者的手和手指来让病人进行触摸的方式,提供的是一种不一致的且可变的目标,其不能提供定量分析的标准空间参数,也不能实现所指导运动的自动分析。
在一个实施例中,其食指向上指向空中的手模是由易弯曲的、柔软的且摸上去就像人体皮肤的材料制成,并且该材料具有生物惰性且能承受出于病人安全性考虑而进行的反复清洗。手模80安装于手模安装单元81上,手模安装单元81位于相对于病人以固定高度安装在地板上的立柱的顶部,并且手模80通过垂直于立柱的横木进行安装,横木的末端位于手模椅子安装单元82中,而手模椅子安装单元82附接在椅子10的右侧或左侧悬臂式椅臂11上。对病人的椅子10进行改进,使得病人能够面向侧方地就坐,在任一方向上垂直于面向前面,而结构上支撑的椅臂仍然位于原位。在本实施例中,椅子10在各悬臂式椅臂11的下方配备有形式为支撑拱14的不锈钢底架,使得病人的腿在往椅子的最右方或最左方运动的过程中不会遇到障碍,同时,椅臂在结构上仍保持完全的支撑性。这样,病人能够直接面对位于椅子右侧或左侧的手指和作为目标的手。检查者可轻松地安装和拆卸这种手-板-杆-安装组件,并且它能以同等的效果安装在病人与目标手和手指之间的标准距离处。病人可以调整其身体在椅子内的位置,确保目标手指和鼻子的距离是在手臂长度方位之内,这样每次执行操作时不需要移动其身体。在一个实施例中,通过预录的优选语言的音频指令指导病人将其指定手(左手或右手)的食指尖放置于鼻尖上,然后,发出音频信号“开始”,要求病人伸出手臂、手和食指,触摸手模的目标手指,之后将病人的手臂和手指收回鼻子处,按照所指导的移动量重复这些移动,或者,在固定的视频记录时间内,持续这种重复,直到音频指令发出信号“停止”。
可以进行预定时间的视频记录。所指导的从鼻尖至目标手指以及再返回的移动采用拉普拉斯算子框架分析差分方法(例如,SALCP方法900)来进行分析。手部敏捷性分析方法(600)也可用来分析“手指至鼻部”的记录数据。采用各单个视频帧差值计算矩阵中的SALCP方案,对手部运动中的震颤进行测量。在包含双手之一的感兴趣区域内,对视频序列的连续帧中的各此类差分矩阵内的阈值进行检查。通过阈值化来检测处于运动中的手部的“对象”,以表明“对象”在移动。运动中的对象通过其几何特性进行表征:相对于参考系的x-y坐标,用于最中心的最大对象(例如,病人的手)的偏心点的边界位置、形心以及相对于参考系的定向角。为各数据帧,计算固定的鼻尖与固定的手模食指尖之间的距离。然后将这些值汇总为结构,这些结构含有针对每个相对其差分帧(n+i-n,其中i=1或者i>1等)的首要帧的数据。这样,为多个帧差值数据,分析所记录视频帧集中的连贯帧。在每秒30至60帧或者更大的取样速率下完成针对一只手的特定标记的运动的分析是完全适于本实施例的。所得的结果数据用在在与图4A和图4B所述的最后步骤相一致的步骤中。
在本项目模块中可能设置有延迟期设置。在一个实施例中,音频指令呈现出了将要做什么运动及其频率。然后,开始视频和音频记录,之后是固定的延迟,直至音频指令给出命令“开始”。继续让实验对象/病人重复执行,直至执行了该检查项目运动并且分别将该运动的左手和右手的全部详细内容记录为两个不同的音频-视频记录。
SALCP算法在对应于各连续视频帧的感兴趣区域中,生成了一个或多个阈值净“图像”对象,然后将(多个)对象的坐标用来产生该图像上一个或多个点的x,y坐标的时间序列矢量、形心、定向角等。鼻尖、实验对象/病人的手部运动以及位置固定的手模目标在分析中是显而易见的三个不同对象。该系统对鼻部上的触摸以及手模的食指尖上的触摸比较敏感,从而能够精确检测每一次是否准确触摸到或没触摸到两个空间上相对的目标。
姿势不稳定
“姿势不稳定”是神经学检查中的标准项目,已经是运动检查中存在多年的标准组成部分。本实施例的独特之处在于病人相对墙壁进行定位以及通过视频分析以在不受到操作者运动的影响下辨别病人运动。在本检查项目中,要求病人面对着检查者,远远地站立在房间和视频场景中的预定位置。检查者从后方靠近病人,告知病人检查者会将病人的肩部向后方拉动预定的次数,并且病人尝试着保持站立在原地。每隔几秒钟,检查者将病人的双肩往后方和下方拉动。无论病人是否向后退了几步来保持直立的站姿,都需要注意病人要摔倒的趋势,还需要注意病人恢复直立的静止站姿所需要的时间长短。在当前实施例中,操作者站在病人后方,且病人位于房间内的预定位置处。这样,病人总是位于整个场景中两个对象的操作者和摄像机的最右侧视野区域。
音频指令以固定的时间间隔发出柔和的“哔哔”声,这是向操作者发出信号,拉动病人的双肩。分析算法测量病人头部的运动和病人足部运动的全部移动。分析算法利用了头部寻找方法700和足部敏捷性分析方法500。由于计时总是与拉动双肩的信号的陈述延迟直接相关,而拉动双肩的信号在序列中是固定的,因此所得的测量结果可设定在特定的时间点、持续时间以及延迟处。对所记录的序列中的视频和音频进行直接检查可以确定操作者相对于拉动信号部分的任何延迟。这样,在由视频记录的帧率所限制的时间分辨率内,可以测量用于头部边界的运动的视频分析数据,以及该运动直到其恢复到固定的稳定站立位置时的移动。在大多数实例中,帧率足以为每次向后拉动之后的病人运动提供较好的分辨率。之后,向后拉动以实现会话的实例中的头部和足部运动的所有运动、持续时间和延迟都可用作与执行相同测试的健康人的标准值进行对比的定量数据。
在一个实施例中,本文所述方法的所有步骤可由一台或多台的计算机执行,其中包括计算机112。在一个实施例中,本文所述方法的一些步骤可由一台或多台的计算机执行,其中包括计算机112。在一个实施例中,本文所述方法的一些步骤可由操作者执行。
图10示出了数据处理系统,其可用于各种实施例中。尽管图10示出了计算机系统的各种部件,但是并不旨在表现任何实现这些部件的相互连接的特定结构和方式。一些实施例可能采用其部件比图10中所示部件少或多的其他系统。
在一个实施例中,综合人体运动分析系统(例如,100、120、200)可作为具有较少或较多部件的数据处理系统来实施,如图10所示。当将综合人体运动分析系统的一个或多个部件用于一个或多个的远程服务器时,服务器可作为具有较少或较多部件的数据处理系统来实施,如图10所示。
在图10中,数据处理系统1000包括互连1002(例如,总线以及系统核心逻辑),其将微处理器1003和存储器1008相互连接。在图10的例子中,微处理器1003联结至缓存存储器1004。
互连1002将微处理器1003和存储器1008相互连接在一起,并且将它们与显示控制器、显示设备1007相互连接以及通过I/O控制器1006与外围设备(例如,输入/输出(I/O)设备1005)相互连接。
典型的I/O设备包括鼠标、键盘、调制解调器、网络接口、打印机、扫描仪、遥控接收器、云台单元、云台控制器以及其他本领域内公知的设备。在一些实施例中,当数据处理系统为服务器系统时,可以任选其中一些I/O设备,例如打印机、扫描仪、鼠标和/或键盘。还可提供网络接口或设备,便于在线修补和文件上传。
互连1002可包括一根或多根通过各种桥接器、控制器和/或适配器相互连接的总线。在一个实施例中,I/O控制器1006包括用于控制USB外围设备的USB(通用串行总线)设配器,和/或控制IEEE-1394外围设备(以及所有其他基于1394的系统)、Gigawire、蓝牙、Zigbee以及IEEE 802.xxx接口的IEEE-1394总线适配器。
存储器1008可包括ROM(只读存储器)、挥发性RAM(随机存取存储器)以及非挥发性存储器,例如硬盘驱动器、闪存等。
在前述说明书和下面的附加文献中,已经结合其特定的示例性实施例对本发明进行了说明。显而易见地,在不脱离下面权利要求书中所提出的较广泛的精神和范围的前提下,可以对其作出各种改进。因而,将本说明书及附图视作示例性的,而不具有限制性。
在描述中,为了简化描述,可将各种功能和操作描述为由软件代码执行或引起,或者是由软件代码执行或引起。然而,本领域的技术人员会认识到,这类表达是说明处理器执行代码/指令所产生的功能,例如微处理器。替代地,或者可采用特定目的电路,在存在有或者不存在有软件指令的情形下,联合地实现这些功能和操作,比如,采用应用程序特定的集成电路(ASIC)或者现场可编程门阵列(FPGA)。可采用硬连线电路,在没有软件指令或者结合软件指令的情形下,实现这些实施例。因此,这些技术即限于硬件电路和软件的任何特定结合,也限于任何用于数据处理系统所执行的指令的特定来源。
尽管一些实施例能够在能完全发挥功能的计算机和计算机系统中实现,但是,各种实施例能够以各种形式作为计算产品进行分布,并且无论用来实际执行分布的机器或计算机可读介质的特定类型如何,这些实施例都能够进行应用。
至少一些公开的方面能够在软件中至少部分地进行具体化。也就是说,这些技术可在计算机系统或其他响应于其处理器的数据处理系统中进行,例如,执行包含在存储器中的指令序列的微处理器,比如,ROM、挥发性RM、非挥发性存储器、高速缓冲存储器或者远程存储设备。
执行来实现实施例的常规工作可作为操作系统的一部分或者特定应用程序、组件、程序、对象、模块或称作“计算机程序”的指令序列来实现。这些计算机程序通常包括一项或多项的在计算机的不同存储器和存储设备中的不同时间设定的指令,并且当计算机中一个或多个的处理器读取并执行这些指令时,这些指令将使得计算机进行操作,进而执行涉及各方面的元件。
机器可读介质可用来存储软件和数据,当数据处理系统执行这些软件和数据时,它们将使得系统执行各种方法。可执行软件和数据可存储于各种各样的位置处,例如,其中包括ROM、挥发性RAM、非挥发性存储器和/或高速缓冲存储器。该软件和/或数据的一部分可存储于这些存储设备的任意一个中。此外,可从集中式服务器或对等网络获得数据和指令。在不同的时间并且在不同的或相同的通信会话中,可以从不同的集中式服务器和/或对等网络获得数据和软件的不同部分。在执行应用程序前,可完整地获得数据和指令。替代地,当需要执行时,可以正好及时地以动态的方式获得数据和指令的部分。因此,在特定的时间实例中,数据和指令完整地位于机器可读介质上是没有必要的。
计算机可读介质的例子包括,不局限于,可记录及不可记录型介质,比如,挥发性和非挥发性存储器设备、只读存储器(ROM)、随机存取存储器(RM)、闪存设备、软盘及其他可移动磁盘、磁盘存储介质、光学存储介质(即,光盘只读存储器(CD ROMS)、数字通用光盘(DVDs)、固态存储器设备(SSD)等),以及其他。
计算机可读介质可以对指令进行存储。一般情况下,有形的机器可读介质包括任何提供(即,存储和/或传输)了其形式可由机器(例如,计算机、网络设备、个人数字助理、制造工具、硬连线电路以及任何具有一套一个或多个处理器的设备等)存取的信息的机构。
在各种实施例中,硬件连线电路可与软件指令结合起来使用,以实现技术。因此。这些技术即限于硬件电路和软件的任何特定结合,也限于任何用于数据处理系统所执行的指令的特定来源。
尽管在一些附图中示出了许多特定顺序的操作,但是不根据顺序进行的操作可以重新进行排序,并且其他操作可以进行结合或者突然执行。虽然明确地提及了一些重新排序或其他分组,但是其他情况对于本领域的普通技术人员来说都是显而易见的并且由此未给出替代情况的详细名单。而且,应该明白的是,能够在硬件、固件、软件或它们的任何组合中实现阶段。
本发明包括执行这些方法的方法和设备,其中包括执行这些方法的数据处理系统,以及包含其在数据处理系统上被执行时使得系统执行这些方法的计算机可读介质。
尽管已经结合了当前视作是最实用且最优选的实施例来对方法和系统进行描述,但是应当理解的是,本发明不需要限于所公开的实施例。它旨在覆盖位于权利要求书的精神和范围之内的各种改进和类似装置,权利要求书的范围应与最广义的解释相一致,从而包含所有此类改进和类似结构。本发明包括下列权利要求的任何和所有实施例。
还应理解的是,可在不脱离本发明的实质的前提下作出各种变化。此类变化也隐含在说明中。它们仍然属于本发明的范围之内。应当理解的是,本发明旨在提出一项以方法和设备的模式即独立地且又作为完整系统地覆盖本发明的许多方面的专利。
另外,还可以以各种形式实现本发明各种元素以及权利要求中的每一个。本发明应当理解为包含各种此类变化,其为任何设备实施例、方法或过程实施例的实施例变化、或者甚至仅是这些实施例的任何元素的变化。
特别地,应当理解的是,由于本发明涉及本发明的元素,因此,各元素的词语可以以等同的设备术语或方法术语来进行表达—即使只有功能或结果是相同的。
这类等同的、较广泛的或者甚至通用术语应视为包含在各元素或动作的说明中。当需要对本发明所有的隐含的广泛覆盖范围进行清楚地说明时,这类术语能够被替代。
应当理解的是,所有行动可表述为采取该行动的手段或者导致该行动的元素。
同样地,公开的各实体元素应当理解为包含了该实体元素使其变得容易的行动的公开。
在这一点上,应当理解的是,出于实际原因考虑以及为了避免增加可能的数百条权利要求,申请者仅以最初的依据,提出权利要求书。
从某种程度上来说只是作出了非实质性替代,从某种程度上来讲申请者在实际中未起草任何字面涵盖任何特定实施例的权利要求书,以及任何其他适用的情况,那么不应将申请人理解为有任何意图或实际上放弃了这类覆盖范围,这是由于申请人仅仅可能无法预计所有的可能性。不应有理由期望本领域的技术人员已经起草了字面上包含这类替代实施例的权利要求。
此外,过渡语“包括”的使用是用来根据传统的权利要求解释,来维持本文中“不受限制”的权利要求。因此,除非内容另有所指,应当理解的是,术语“包括”或其变化(比如单数动词形式的“包括”或动名词形式的“包括”)旨在表示包括了一个所述元素或步骤或者元素组或步骤组,而不是将任何其他元素或步骤或者元素组或步骤组排除在外。这类术语应以其最广泛的形式进行解释,从而按照下列权利要求书为申请人提供了法律上允许的最广泛的覆盖范围。

Claims (20)

1.一种其上存储有一组指令的计算机可读介质,这些指令在由计算机执行时,进行下列方法,包括:
接收模块配置设置,来配置一个自定义的用于人体运动检查项目的人体运动模块检测模块;;
对病人发出与所述自定义人体运动检测模块相关的音频指令;
根据所述模块配置设置,对具有逐行扫描能力的单摄像机进行控制,以允许其对所述人体运动检查项目的病人的行为进行记录;以及
根据所述单摄像机所提供的信息对记录的数据进行分析,以测量病人所表现出的人体运动。
2.根据权利要求1所述的计算机可读介质,其中所述模块配置设置包括下列一组内容中的至少一种:摄像机变焦、摄像机聚焦、摄像机定向、摄像机平移、摄像机帧速率、摄像机倾斜、摄像机亮度、摄像机光圈、摄像机增益、摄像机白平衡蓝色、摄像机白平衡红色以及摄像机曝光。
3.根据权利要求1所述的计算机可读介质,其中所述模块配置设置包括视频和音频的记录持续时间。
4.根据权利要求1所述的计算机可读介质,进一步包括将音频指令与记录延时和记录持续时间同步。
5.根据权利要求1所述的计算机可读介质,其中所述音频指令包括下列一组内容中的至少一个:使得病人根据所述人体运动检查项目采取行动的指令、开始行动的指令以及停止行动的指令。
6.根据权利要求1所述的计算机可读介质,进一步包括记录人体运动检查项目的病人在人体运动检测模块运行期间的行为以生成所述记录数据,其中该记录数据包括音频和视频数据。
7.根据权利要求1所述的计算机可读介质,其中所述分析进一步包括:
将人体运动分析模块技术应用于与所述自定义人体运动检测模块一致的所述记录数据;
将跟踪算法方法应用于与自定义人体运动检测模块一致的记录数据;
产生汇总结果数据作为模块分析技术的附属产物;
以及将所述汇总结果数据与所述自定义人体运动分析模块的规范标准进行对比,以确定病人是否表现出人体运动失调。
8.根据权利要求7所述的计算机可读介质,其中所述分析进一步包括:
从多重会话的所述汇总结果数据中搜集汇总结果数据,以执行整体分析,从而测量在经过治疗、治疗变化、药疗维持、药疗变化和时间推移中的至少一种之后,病人是否在人体运动障碍中表现出了客观变化。
9.根据权利要求7所述的计算机可读介质,其中所述模块分析技术为足部敏捷性分析,其中病人穿上有色鞋套,所述足部敏捷性分析包括:
将所记录的足部运动数据的帧图像从RGB(红绿蓝)转换为HSV(色彩饱和度和值);
将HSV滤波应用于所转换的HSV图像上;
将经过HSV滤波的图像转换为二进制图像;
形态地打开所述二进制图像并找到所述形态地打开的图像中的最大对象;
形态地关闭所述图像;
确定所述图像中所述最大对象的边界和坐标并将所述边界的x-y坐标加入至时间序列队列中;
采用摄影测量校正,计算所述边界的距离值并且将各计算值放入所述时间序列队列中;以及
平滑化所述时间序列队列中的数据,以进行绘图、存储和输出。
10.根据权利要求7所述的计算机可读介质,其中所述模块分析技术为手部敏捷性分析,所述手部敏捷性分析包括:
记录病人受指令指导的手部运动;
删除来自所述记录的手部运动数据的各图像帧的绿色和蓝色层,以生成红色图像;
将所述红色图像转换为二进制形式;
形态地打开所述二进制图像并找到所述图像中的最大对象的边界;
确定所述图像中的所述最大对象的角度;
将所述最大对象旋转至最优位置;
确定所述经过旋转的最大对象的偏心点并确定所述偏心点的角度;
通过在所述最大对象的无关区域中填充黑像素来修整所述最大对象;
确定所述修整的最大对象的所述偏心点的坐标;
计算所述修整的最大对象的所述偏心点之间的距离;
将所述计算的距离值加入至时间序列队列中;
使用校正,将所述时间序列队列中的所述距离值转换为厘米,其中所述校正包括摄影测量校正;以及
平滑化所述时间序列队列中的数据,以进行绘图、存储和输出。
11.根据权利要求7所述的计算机可读介质,其中所述模块分析技术为头部运动分析,所述头部运动分析包括:
确定头部运动数据记录的各帧中各像素的绿/红比,其中优先检查所述病人头部最可能出现的感兴趣区域(ROI);
为每一x-y像素,在帧中找到比该颜色平面的绿色值和红色值的标准比例大的像素;
在满足所述标准比的像素中,确定最小y值和x的平均值;
将y时间序列绘制为垂直运动时间序列;
将x时间序列绘制为横向运动时间序列;
继续进行具有所述头部运动数据记录的连续帧的过程,以建立将x和y时间序列数据进行结合的时间序列队列;以及
平滑化所述时间序列队列中的数据,以进行绘图、存储和输出。
12.根据权利要求7所述的计算机可读介质,其中所述模块分析技术为步态或行走测量分析,其中病人穿戴两个颜色突出的鞋套,各只鞋上一个,所述步态或行走测量包括:
在病人从由所述单摄像机感测的区域的一侧走向由所述单摄像机感测的区域的另一侧时,记录行走运动数据;
将所述记录的行走运动数据的帧图像从RGB(红绿蓝)转换为HSV(色彩饱和度和值);
将HSV滤波应用于所转换的HSV图像上;
将经过HSV滤波的图像转换为二进制图像;
形态地打开所述二进制图像并找到所述形态地打开的图像中的最大对象;
形态地关闭所述图像;
确定所述图像中所述最大对象的边界和形心并将所述边界和形心的坐标加入至时间序列队列中;
将相对于时间的所述确定边界的坐标的x值绘制为所选足部鞋套的横向运动并重复另一足部鞋套的绘制;
将相对于时间的所述确定边界的坐标的y值绘制为所选足部鞋套的垂直运动并重复另一足部鞋套的绘制;
将绘制的x和y数据合并为时间序列队列;以及
平滑化所述时间序列队列中的数据,以进行绘图、存储和输出。
13.根据权利要求7所述的计算机可读介质,其中所述模块分析技术为手指至鼻部运动分析,包括:
指导指导病人用其手指触摸人造手模装置的手指;
指导指导病人重复地将手指从所述人造手模装置的手指上收回,来触摸自己的鼻部;
使用所述单摄像机来记录病人的手部运动;
删除来自所述记录的手部运动图像数据的各帧的绿色和蓝色颜色层,但保留红色颜色层;
将所述红色颜色层转换为二进制形式;
形态地打开所述二进制图像并找到所述图像中的最大对象的边界,其中所述图像中所述最大对象包括所述人造手模装置、病人的手部以及病人的头部;
确定所述图像中最中心的最大对象的定向角;
确定所述图像中最中心的最大对象的偏心点并确定所述最中心的最大对象的偏心点的角度;
确定所述最中心的最大对象的偏心点的坐标;
计算所有最大对象的偏心点的相对距离;
将所述计算的距离值加入时间序列队列中;
使用校正,将所述时间序列队列中的所述距离值转换为厘米,其中所述校正包括摄影测量校正;
平滑化所述时间序列队列中的数据,以进行绘图、存储和输出;以及
确定拇指与食指之间距离的平均峰值距离或者指尖与病人手掌之间距离的平均峰值距离。
14.根据权利要求13所述的计算机可读介质,其中所述人造手模装置由高弹性材料制成并且配置来模拟人手的外观。
15.根据权利要求7所述的计算机可读介质,其中所述跟踪算法为“所有三种颜色层的拉普拉斯变换绝对值的总和”(SALCP)算法。
16.根据权利要求15所述的计算机可读介质,其中所述SALCP算法包括:
取所记录数据中的帧“n”并将其以RGB3-颜色层的形式保持为消减帧;
将所记录数据中的帧“n+i”作为参考帧,其中i为所述参考帧到所述消减帧“n”的帧数差的大小;
针对帧序列中各(消减帧、参考帧)帧对,计算帧“n”与所有帧“n+i”之间分别在三种颜色层方面的差值,并且为各(消减帧、参考帧)帧对创建各颜色层的差分矩阵;
计算所述各颜色层差分矩阵的拉普拉斯变换;
计算所述各颜色层上各像素单元的差分矩阵的拉普拉斯变换的绝对值的总和,获得其单元数量和尺寸都与原始参考视频帧的原始像素相同的单矩阵;
将值经过阈值处理,以便避免背景噪声;
整合所述图像的各预定感兴趣区域(ROI)中的剩余值;以及
继续下一个i值中的帧“n+i”,直到序列中的所有(消减帧、参考帧)帧对从所记录数据中用尽。
17.一种系统,包括:
具有逐行扫描能力的单摄像机;以及
联接至所述单摄像机的计算装置,其中所述计算装置配置为:接收模块配置设置,以配置一个自定义的用于人体运动检查项目的人体运动检测模块;对病人发出与自定义人体运动检测模块相关的音频指令;根据所述模块配置设置,对单摄像机进行控制,以允许其对所述人体运动检查项目的病人的行为进行记录;以及基于单摄像机所提供的信息对记录的数据进行分析,以测量所述病人所表现出的人体运动。
18.根据权利要求17所述的系统,其中所述单摄像机配置为以通信的方式将所述单摄像机联接至所述计算装置。
19.根据权利要求17所述的系统,其中所述系统还包括:
用来存储所述单摄像机提供的数据的计算机存储器,其中所述数据包括视频数据和音频数据;
用来移动所述单摄像机的云台单元,其中所述云台单元由云台控制单元所控制。
20.一种方法,包括:
通过计算装置接收模块配置设置,来配置一个自定义的用于人体运动检查项目的人体运动模块检测模块;
通过所述计算装置对病人发出与所述自定义人体运动检测模块相关的音频指令;
通过所述计算装置,根据所述模块配置设置,对具有逐行扫描能力的单摄像机进行控制,以允许其对所述人体运动检查项目的病人的行为进行记录;以及
通过所述计算装置,根据所述单摄像机所提供的信息对记录的数据进行分析,以测量所述病人所表现出的人体运动。
CN201080056276.1A 2009-10-30 2010-10-29 综合人体运动分析的系统和方法 Active CN102781320B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US25693009P 2009-10-30 2009-10-30
US61/256930 2009-10-30
US61/256,930 2009-10-30
US12/914,951 2010-10-28
US12/914,951 US8698888B2 (en) 2009-10-30 2010-10-28 Systems and methods for comprehensive human movement analysis
US12/914951 2010-10-28
PCT/US2010/054821 WO2011053839A2 (en) 2009-10-30 2010-10-29 Systems and methods for comprehensive human movement analysis

Publications (2)

Publication Number Publication Date
CN102781320A true CN102781320A (zh) 2012-11-14
CN102781320B CN102781320B (zh) 2019-04-12

Family

ID=43923023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080056276.1A Active CN102781320B (zh) 2009-10-30 2010-10-29 综合人体运动分析的系统和方法

Country Status (4)

Country Link
US (5) US8698888B2 (zh)
EP (1) EP2493380A4 (zh)
CN (1) CN102781320B (zh)
WO (1) WO2011053839A2 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104116510A (zh) * 2014-08-11 2014-10-29 西华大学 一种用于帕金森病人震颤的传感装置及检测方法
CN104207780A (zh) * 2014-08-22 2014-12-17 南昌大学 一种用于帕金森病患者下肢灵活度判定的测量装置及方法
CN107847187A (zh) * 2015-07-07 2018-03-27 皇家飞利浦有限公司 用于对肢体的至少部分进行运动跟踪的装置和方法
CN107837086A (zh) * 2016-09-21 2018-03-27 北京英泰哈博信息科技有限公司 一种行为的实时记录方法、装置及系统
CN113112991A (zh) * 2021-04-08 2021-07-13 深圳市友杰智新科技有限公司 健康量表的形成方法、装置、设备及存储介质
TWI737366B (zh) * 2020-06-24 2021-08-21 衛生福利部桃園醫院 良性顫抖症之風險評估方法
CN113436236A (zh) * 2020-06-27 2021-09-24 上海联影医疗科技股份有限公司 一种图像处理方法和系统
CN113611387A (zh) * 2021-07-30 2021-11-05 清华大学深圳国际研究生院 一种基于人体位姿估计的运动质量评估方法及终端设备

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8702629B2 (en) * 2005-03-17 2014-04-22 Great Lakes Neuro Technologies Inc. Movement disorder recovery system and method for continuous monitoring
FR2968436B1 (fr) * 2010-12-03 2013-01-18 Ayotle Methode de determination des mouvements d'un objet a partir d'un flux d'images
GB201119447D0 (en) * 2011-11-11 2011-12-21 Fictitious Capital Ltd Computerised percussion instrument
US20140371633A1 (en) * 2011-12-15 2014-12-18 Jintronix, Inc. Method and system for evaluating a patient during a rehabilitation exercise
US9238142B2 (en) * 2012-09-10 2016-01-19 Great Lakes Neurotechnologies Inc. Movement disorder therapy system and methods of tuning remotely, intelligently and/or automatically
US11229364B2 (en) * 2013-06-14 2022-01-25 Medtronic, Inc. Patient motion analysis for behavior identification based on video frames with user selecting the head and torso from a frame
US9801568B2 (en) * 2014-01-07 2017-10-31 Purdue Research Foundation Gait pattern analysis for predicting falls
DE102014012710A1 (de) * 2014-08-27 2016-03-03 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zum Bestimmen der 3D-Koordinaten eines Objekts
US9836118B2 (en) 2015-06-16 2017-12-05 Wilson Steele Method and system for analyzing a movement of a person
US11076798B2 (en) * 2015-10-09 2021-08-03 I2Dx, Inc. System and method for non-invasive and non-contact measurement in early therapeutic intervention
US11794094B2 (en) 2016-10-17 2023-10-24 Aquimo Inc. Method and system for using sensors of a control device for control of a game
US10102835B1 (en) * 2017-04-28 2018-10-16 Intel Corporation Sensor driven enhanced visualization and audio effects
CN107483616A (zh) * 2017-08-31 2017-12-15 深圳市盛路物联通讯技术有限公司 基于物联网的信息处理方法及物联网接入设备
WO2020236678A1 (en) * 2019-05-17 2020-11-26 Playback Health, Inc. Apparatus for generating and transmitting annotated video sequences in response to manual and image input devices
US10951902B2 (en) 2019-06-12 2021-03-16 Rovi Guides, Inc. Systems and methods for multiple bit rate content encoding
US11375945B2 (en) 2019-08-28 2022-07-05 Tencent America LLC User device based Parkinson's disease detection
CN110561399B (zh) * 2019-09-16 2022-02-18 腾讯科技(深圳)有限公司 用于运动障碍病症分析的辅助拍摄设备、控制方法和装置
CN110992397B (zh) * 2019-10-21 2023-07-21 浙江大华技术股份有限公司 人员出入轨迹追踪方法、系统、计算机设备和存储介质
CN112184838B (zh) * 2020-10-09 2022-06-21 哈尔滨工程大学 一种基于颜色相关度的多背景迷彩图案主色提取方法
US11967149B2 (en) 2021-06-09 2024-04-23 International Business Machines Corporation Increasing capabilities of wearable devices using big data and video feed analysis
US20230154611A1 (en) * 2021-11-18 2023-05-18 V Group Inc. Methods and systems for detecting stroke in a patient
US11676311B1 (en) 2021-11-29 2023-06-13 International Business Machines Corporation Augmented reality replica of missing device interface

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6056671A (en) * 1997-12-19 2000-05-02 Marmer; Keith S. Functional capacity assessment system and method
US20030228033A1 (en) * 2000-05-18 2003-12-11 David Daniel Method and apparatus for remote medical monitoring incorporating video processing and system of motor tasks
US20040002636A1 (en) * 2002-02-22 2004-01-01 Teicher Martin H. Methods for diagnosing akathisia
WO2007020568A2 (en) * 2005-08-19 2007-02-22 Philips Intellectual Property & Standards Gmbh System and method of analyzing the movement of a user
CN1933880A (zh) * 2004-01-26 2007-03-21 莫德高尔夫有限责任公司 用于测量和评估身体技能的动作和用于完成身体技能的设备的系统和方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5269318A (en) 1982-08-16 1993-12-14 Neurocom International Inc. Apparatus and method for movement coordination analysis
JP2003529975A (ja) * 2000-01-03 2003-10-07 アモヴァ.コム 個人化されたメディアの自動作成システム
US20020064764A1 (en) * 2000-11-29 2002-05-30 Fishman Lewis R. Multimedia analysis system and method of use therefor
US7346186B2 (en) 2001-01-30 2008-03-18 Nice Systems Ltd Video and audio content analysis system
WO2002096095A1 (en) 2001-05-25 2002-11-28 Muvee Technologies Pte Ltd Analysis of video footage
US7920718B2 (en) * 2002-09-05 2011-04-05 Cognex Corporation Multi-zone passageway monitoring system and method
US20070250286A1 (en) 2003-07-01 2007-10-25 Queensland University Of Technology Motion Monitoring and Analysis System
US7421101B2 (en) 2003-10-02 2008-09-02 Siemens Medical Solutions Usa, Inc. System and method for local deformable motion analysis
JP4189298B2 (ja) 2003-10-31 2008-12-03 農工大ティー・エル・オー株式会社 乳児運動解析システム
US7379563B2 (en) 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
EP1779344A4 (en) * 2004-07-29 2009-08-19 Motiva Llc SYSTEM FOR MEASURING HUMAN MOVEMENT
US7447337B2 (en) 2004-10-25 2008-11-04 Hewlett-Packard Development Company, L.P. Video content understanding through real time video motion analysis
JP4792824B2 (ja) 2004-11-05 2011-10-12 富士ゼロックス株式会社 動作分析装置
US20080166020A1 (en) 2005-01-28 2008-07-10 Akio Kosaka Particle-Group Movement Analysis System, Particle-Group Movement Analysis Method and Program
US7728839B2 (en) * 2005-10-28 2010-06-01 Honda Motor Co., Ltd. Discriminative motion modeling for human motion tracking
US7664317B1 (en) 2006-03-23 2010-02-16 Verizon Patent And Licensing Inc. Video analysis
US8666661B2 (en) 2006-03-31 2014-03-04 The Boeing Company Video navigation
KR100702898B1 (ko) 2006-05-29 2007-04-03 경북대학교 산학협력단 동작분석을 이용한 보행훈련 장치
US20080122926A1 (en) * 2006-08-14 2008-05-29 Fuji Xerox Co., Ltd. System and method for process segmentation using motion detection
WO2008139489A1 (en) 2007-05-10 2008-11-20 Allgo Embedded Systems Private Limited Dynamic motion vector analysis method
US7782358B2 (en) 2007-06-08 2010-08-24 Nokia Corporation Measuring human movements—method and apparatus
US8041116B2 (en) 2007-09-27 2011-10-18 Behavioral Recognition Systems, Inc. Identifying stale background pixels in a video analysis system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6056671A (en) * 1997-12-19 2000-05-02 Marmer; Keith S. Functional capacity assessment system and method
US20030228033A1 (en) * 2000-05-18 2003-12-11 David Daniel Method and apparatus for remote medical monitoring incorporating video processing and system of motor tasks
US20040002636A1 (en) * 2002-02-22 2004-01-01 Teicher Martin H. Methods for diagnosing akathisia
CN1933880A (zh) * 2004-01-26 2007-03-21 莫德高尔夫有限责任公司 用于测量和评估身体技能的动作和用于完成身体技能的设备的系统和方法
WO2007020568A2 (en) * 2005-08-19 2007-02-22 Philips Intellectual Property & Standards Gmbh System and method of analyzing the movement of a user
CN101243471A (zh) * 2005-08-19 2008-08-13 皇家飞利浦电子股份有限公司 对用户的运动进行分析的系统和方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104116510A (zh) * 2014-08-11 2014-10-29 西华大学 一种用于帕金森病人震颤的传感装置及检测方法
CN104207780A (zh) * 2014-08-22 2014-12-17 南昌大学 一种用于帕金森病患者下肢灵活度判定的测量装置及方法
CN107847187A (zh) * 2015-07-07 2018-03-27 皇家飞利浦有限公司 用于对肢体的至少部分进行运动跟踪的装置和方法
CN107847187B (zh) * 2015-07-07 2021-08-17 皇家飞利浦有限公司 用于对肢体的至少部分进行运动跟踪的装置和方法
CN107837086A (zh) * 2016-09-21 2018-03-27 北京英泰哈博信息科技有限公司 一种行为的实时记录方法、装置及系统
TWI737366B (zh) * 2020-06-24 2021-08-21 衛生福利部桃園醫院 良性顫抖症之風險評估方法
CN113436236A (zh) * 2020-06-27 2021-09-24 上海联影医疗科技股份有限公司 一种图像处理方法和系统
CN113112991A (zh) * 2021-04-08 2021-07-13 深圳市友杰智新科技有限公司 健康量表的形成方法、装置、设备及存储介质
CN113611387A (zh) * 2021-07-30 2021-11-05 清华大学深圳国际研究生院 一种基于人体位姿估计的运动质量评估方法及终端设备

Also Published As

Publication number Publication date
CN102781320B (zh) 2019-04-12
EP2493380A2 (en) 2012-09-05
US20140204192A1 (en) 2014-07-24
WO2011053839A3 (en) 2011-08-18
US20170196485A1 (en) 2017-07-13
US8698888B2 (en) 2014-04-15
EP2493380A4 (en) 2016-11-02
US20190282133A1 (en) 2019-09-19
WO2011053839A2 (en) 2011-05-05
US20180296135A1 (en) 2018-10-18
US20110102568A1 (en) 2011-05-05

Similar Documents

Publication Publication Date Title
CN102781320A (zh) 综合人体运动分析的系统和方法
US10421002B2 (en) Equipment, system and method for improving exercise efficiency in a cardio-fitness machine
US10176642B2 (en) Systems and methods for computer assisted operation
US20210046373A1 (en) Equipment, system and method for improving exercise efficiency in a cardio-fitness machine
RU2654615C2 (ru) Устройство и способ извлечения физиологической информации
Lai et al. Quantitative kinematic characterization of reaching impairments in mice after a stroke
US20060045312A1 (en) Image comparison device for providing real-time feedback
CN109477951A (zh) 在保护隐私的同时识别人及/或识别并量化疼痛、疲劳、情绪及意图的系统及方法
US11612342B2 (en) Eye-tracking communication methods and systems
US7963931B2 (en) Methods and devices of multi-functional operating system for care-taking machine
CN106236115A (zh) 一种心理测试系统
Heed et al. Visual information and rubber hand embodiment differentially affect reach-to-grasp actions
JP2005538763A (ja) 通常視覚認知を助成する装置および方法
Baran et al. Design of a home-based adaptive mixed reality rehabilitation system for stroke survivors
CN111937082A (zh) 远程牙科成像的引导方法和系统
CN101453938A (zh) 图像记录装置、图像记录方法以及图像记录程序
Popat et al. Quantitative analysis of facial movement—A review of three-dimensional imaging techniques
Chen et al. A low cost, adaptive mixed reality system for home-based stroke rehabilitation
Muender et al. Extracting heart rate from videos of online participants
Petrou et al. Detailed tracking of body and leg movements of a freely walking female cricket during phonotaxis
CN110458076A (zh) 一种基于计算机视觉的教学方法及系统
CN115410707A (zh) 一种膝关节骨性关节炎的远程诊疗及康复系统
Jazouli et al. Stereotypical motor movement recognition using microsoft kinect with artificial neural network
Ebner A communication-based model of consciousness
Trujillo-Guerrero et al. Accuracy comparison of CNN, LSTM, and Transformer for activity recognition using IMU and visual markers

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant