CN101243471B - 对用户的运动进行分析的系统和方法 - Google Patents

对用户的运动进行分析的系统和方法 Download PDF

Info

Publication number
CN101243471B
CN101243471B CN2006800300048A CN200680030004A CN101243471B CN 101243471 B CN101243471 B CN 101243471B CN 2006800300048 A CN2006800300048 A CN 2006800300048A CN 200680030004 A CN200680030004 A CN 200680030004A CN 101243471 B CN101243471 B CN 101243471B
Authority
CN
China
Prior art keywords
user
described user
synchronicity
degree
half side
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2006800300048A
Other languages
English (en)
Other versions
CN101243471A (zh
Inventor
R·维尔曼
G·兰福曼
A·布劳尔斯
R·布拉斯彭宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101243471A publication Critical patent/CN101243471A/zh
Application granted granted Critical
Publication of CN101243471B publication Critical patent/CN101243471B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1124—Determining motor skills
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Geometry (AREA)
  • Psychiatry (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于对用户的运动进行分析的系统和方法。更特别地，本发明涉及一种用于评估用户运动功能的新技术。本发明的目的在于提供一种用于对用户的运动进行分析的简单、鲁棒、且低成本的技术，该技术可用于无监督的家庭环境。该目的根据本发明是通过一种对用户的运动进行分析的方法来实现的，该方法包括以下步骤：使用户执行与指令一致的协调运动；通过对用户进行录像来生成图像序列形式的视频图像数据；使用包括计算机视觉技术的计算机系统在该图像序列中确定在身体左半侧和右半侧上光流的同步性程度；以及基于该同步性程度评估用户的运动功能。

Description

对用户的运动进行分析的系统和方法
本发明涉及一种对用户的运动进行分析的系统和方法。更特别地，本发明涉及一种用于对受到例如脑卒中的神经损伤后用户的运动功能进行评估的新技术。
偏瘫，即肢体的单侧无力是伴随脑卒中发生的最常见障碍之一。在美国，每年新发生700.000例脑卒中。这些病例中有20％死亡，脑卒中引起超过60％的受害者患有障碍。康复措施和劳动力的丧失每年造成美国社会$50B的损失。
为了在优化成本的同时最大化康复效果，最好是在没有专家监督的情况下，患者在家中继续康复训练。众所周知，适当的反馈可提高康复的成功。为此，对训练进行自动评估是必要的。
现有技术中，已知有对运动障碍进行评估的不同技术，例如通过对书写训练进行的计算机化评价、通过力量测量或通过在输入装置上进行训练。这些已知系统和方法不是为家庭使用而是为专业环境设计的。
其它已知技术基于视频方法，即利用用户的视频图像数据以评估用户的运动能力。美国专利6,816,603 B2提出了一种用于一体化了视频处理的远程医疗监视的方法和设备，其中，生成多个轮廓并组合起来提供运动人像，从该人像最终计算出运动特征。所述专利中提出的复杂视频处理过程包括实质上的预处理和后处理。从而执行非常复杂的身体分割工作。
本发明的目的在于提供一种用于对用户的运动进行分析的简单、鲁棒、且低成本的技术，该技术可用于无监督的家庭环境。
该目的根据本发明是通过一种对用户的运动进行分析的方法来实现的，该方法包括以下步骤：使用户执行与指令一致的协调运动；通过对用户进行录像来生成图像序列形式的视频图像数据；使用采用计算机视觉技术的计算机系统，在该图像序列中确定在身体左半侧和右半侧上光流的同步性程度；以及基于该同步性程度评估用户的运动功能。另外，能够以修正和/或评价形式向用户提供适当的反馈。
本发明的目的还通过一种用于对用户的运动进行分析的系统来实现，该系统包括：显示单元和/或音频接口，其适于使用户执行与指令一致的协调运动；摄像机，其适于通过对用户进行录像来生成图像序列形式的视频图像数据；采用计算机视觉技术的计算机系统，所述计算机系统适于基于视频图像数据确定在身体左半侧和右半侧上光流的同步性程度；以及分析单元，其适于基于该同步性程度评估用户的运动功能。
本发明的目的还通过一种用于对用户的运动进行分析的设备来实现，该设备包括：用于使所述用户执行与指令一致的协调运动的装置；用于通过对所述用户进行录像来生成图像序列形式的视频图像数据的装置；用于使用采用计算机视觉技术的计算机系统在所述图像序列中确定在身体左半侧和右半侧上光流的同步性程度的装置；以及用于基于所述同步性程度评估所述用户的运动功能的装置。
本发明的目的还通过一种用于对用户的运动进行分析的计算机程序来实现，该程序包括在该图像序列中确定在用户的身体左半侧和右半侧上光流的同步性程度的计算机指令，其中，所述图像序列形式的视频图像数据是通过对用户进行录像来生成的；以及在计算机中执行该计算机程序时，基于该同步性程度评估用户的运动功能的计算机指令。根据本发明所必须的技术效果因而能够在按照本发明的计算机程序的指令基础上实现。这样的计算机程序能够存储在诸如CD-ROM的载体中，或者其能够通过因特网或其它计算机网获得。在执行之前，通过例如借助于CD-ROM播放器从载体读取计算机程序，或从因特网读取该计算机程序，并将其存储在计算机的存储器中，从而将该计算机程序装入计算机。该计算机除了其它的以外包括中央处理单元(CPU)、总线系统、例如RAM或ROM等的存储器器件、例如软盘或者硬盘单元等的存储器件、以及输入/输出单元。或者，本发明的方法可以实施为诸如使用一个或多个集成电路的硬件。
本发明的核心思想在于基于用户身体的左半侧和右半侧中的同步性程度评估用户的运动功能。使用在用户身体的左半侧和右半侧上光流的同步性作为测量。换句话说，图像序列的运动流是以将用户运动的同步性用作决定准则的方式来评价的。根据本发明，无论计算机将视频图像的某个部分识别为用户的手还是肘等，对于评估用户的运动功能都是无关的。该计算机系统只分析与光流有关的视频数据。没有分割或其它复杂、费时且昂贵的工作是必要的。因此本系统满足了在家庭环境中鲁棒操作的需求。
必须指出的是，在所有使用术语同步性的地方，相应地都可以使用术语非同步性。换句话说，在执行根据本发明的方法时，确定同步性程度还是非同步性程度，对于本发明并不重要。该目的在于确定例如用户上肢的运动是否同步(即同时)和/或其程度是否不同步。使用本发明，能够评估不同种类的运动，例如上肢和下肢的运动、或用户面部的运动。
根据本发明的新方法和系统，其特征在于：用户不必携带反光标记或类似物，照明条件不必已知，用户的衣服不必已知，并且用户可以自由决定其在摄像机操作范围内的位置。随之解决了现有技术的主要问题。另外，这些优点可以借助于简单、鲁棒、低成本、可用于无监督的家庭环境中的技术来实现。
本发明的这些和其它方面将在从属权利要求中定义的下列实施例的基础上进一步详细说明。
根据本发明的优选实施例，借助于显示单元和/或音频接口指导用户。因而，用户接收指令以执行某种身体工作，例如上肢的协调移作。优选地，在显示单元上向用户显示出所要求的工作和/或者经由音频接口将所要求的工作传输给用户，例如通过语音合成器讲出。此外显示单元优选地适于在练习结束时或者练习期间提供视觉反馈，而音频接口优选地适于向用户提供音频反馈。换句话说，显示单元和/或音频接口适于将评估的结果提供给用户。
根据本发明，基于在用户身体的左半侧和右半侧上的光流来确定同步性程度。根据本发明的另一优选实施例，为了区别身体的左半侧和右半侧，通过追踪用户的面部来确定身体的中心线。为此，与可运动摄像机(其配备伺服马达以允许水平旋转(pan)和垂直旋转(tilt)运动)结合使用追踪软件。这允许用户在运动功能测试期间在摄像机的操作范围内自由运动。换句话说，采用计算机视觉技术结合马达单元来追踪用户和定位摄像机，使得用户身体的垂直中线与图像的中线重合，在此能够通过对诸如面部和身体其它部分的特征使用追踪软件来完成对身体垂直中线的确定。或者，能够通过追踪附有物理标记的身体来完成确定身体垂直中线的工作。
为确定同步性程度，借助于计算机视觉技术分配给中心线左侧的视频图像数据与用户身体左半侧相关，借助于计算机视觉技术分配给中心线右侧的视频图像数据与用户身体右半侧相关。
根据本发明的另一优选实施例，将所记录的视频图像分割为静态和动态区域。为确定同步性程度，计算用户身体左半测和右半侧的流成分并相互进行比较。为计算流成分，使用三帧3D递归搜索运动估计算法。这种算法通过位移矢量来描述用户的运动并且允许对用户的运动进行容易、直接的分析。
在计算出同步性程度之后，执行对用户运动功能的评估。为此，根据本发明的另一优选实施例，将同步性程度与阈值进行比较。从而阈值是任一静态值，其允许对例如用户上肢的瘫痪严重程度进行确定。或者，阈值进行动态修改，从而能够确定例如在数天或数月时期内用户的运动康复进展。
最后，根据本发明的另一优选实施例，向用户宣布评估结果，优选地使用适于向用户提供视觉反馈的显示单元和/或适于向用户提供音频反馈的音频接口。
本发明的这些和其它方面将在下文中通过举例的方式结合下列实施例和附图进行详细描述；在附图中：
图1示出了根据本发明的系统的示意方框图；
图2示出了根据本发明的方法的简化流程图；
图3示出了用户同步运动手臂的示意图；
图4示出了说明同步手臂运动的图；并且
图5示出了用户非同步运动手臂的示意图；
图6示出了说明非同步手臂运动的图。
系统1包括显示单元2和音频接口3，适于使用户4执行与指令一致的协调运动(步骤100)。换句话说，系统1包括用于指导用户4执行训练的器件。要求用户4执行某个动作，例如同时抬起和放下手臂。借助于显示器2以短视频片断或动画的方式、和/或依据经由扬声器5的口语指令将指令提供给用户。显示器2和音频接口3优选地结合形成接口单元6。使用例如计算机监视器、电视机、手持装置等作为接口单元6。接口单元6，尤其是显示器2适于在训练期间和/或测试结束时向用户4提供视觉反馈。训练期间给出的反馈能够包括用户是否适当地执行训练的信息。测试结束时向用户4给出的反馈能够包括关于测试结果的信息。
系统1还包括摄像机7，其适于通过对用户4进行录像来生成图像序列形式的视频图像数据(步骤110)。对本发明的目的来说，单个摄像机7就足够了。然而，能够使用两个或者两个以上的摄像机7，以制作更加复杂的视频图像处理。能够使用非常简单的标准摄像机，例如Philips ToU Cam作为摄像机7。这种摄像机7允许记录具有低或中分辨率的视频图像，这对于本发明的目的来说足够了。摄像机7配备马达单元8，所述马达单元包括伺服马达以允许摄像机镜头进行水平旋转和垂直旋转运动。将摄像机7和马达单元8结合形成摄像机单元10。公知的这种摄像机7例如来自Philips Home Dialog System。
在本发明的非常简单实施例中，将电视机用于作为接口单元6并用作音频输入，例如用户口头的指令，使用摄像机7的内置麦克风9。在另一实施例(未示出)中，将显示器2、音频接口3和摄像机7、8结合形成单个装置。这使得系统的操作容易，尤其是对于老人来说，这是因为系统运转不需要大范围的布线。
系统1还包括计算机系统11，除了其它以外用于实施计算机视觉技术。计算机系统11，例如标准的个人计算机，适于执行对本发明的系统1的控制。为此，将计算机系统11连接到摄像机单元10和接口单元6。将图像序列从摄像机7传送到计算机系统11的处理单元12。
此外，计算机系统11适于执行计算和演算视频图像数据以及确定和评估结果的所有工作。这根据本发明是在计算机系统11中执行计算机软件时，借助于计算机软件来实现的，其中所述计算机软件包括适于执行本发明方法的步骤的计算机指令。
计算机系统11包括功能模块或单元，其实施为硬件、软件形式，或两者组合的形式。
计算机系统11的第一单元，优选实施为软件单元，适于在用户命令开始测试之后开始录像。换句话说，如果用户4说出预定的“开始”指令，并且借助于麦克风9录下该指令，那么借助于摄像机7录制所执行的用户动作。在录制期间，在显示器2上显示示出所要求的动作的动画。
计算机系统11的第二单元，优选实施为软件单元，适于控制马达单元8，以致摄像机7跟随用户的面部13。因此马达单元8用于追踪用户的面部13和定位摄像机7，使得用户身体的中心线与图像的中心线重合。
在捕获到摄像机图像时，由于面部追踪软件和摄像机7的水平旋转/垂直旋转功能，将图像居中在用户的面部中心线(虚拟中心线17)上。因此，该图像的左半测和右半侧对应于用户身体的左半测和右半侧14、15。使用水平旋转/垂直旋转功能在训练录制开始之前追踪用户4。在录像期间，关掉该功能，并且假设用户4站在自己的位置不动。
在对图像序列进行录制之后，在计算机系统11的处理单元12中处理图像(步骤120)。该处理单元12优选地实施为软件单元，当然也能够实施为硬件单元形式。处理单元12适于计算所录制的图像序列中的光流，即该单元适于基于视频图像数据确定在身体左半侧14和身体右半侧15的光流的同步性程度，参见图3。为此，使用特殊算法来计算所录制的图像序列中的流。
用于处理图像的算法为Gerard de Haan等人在发表于“IEEEtransactions on circuits and systems of video technology”，volume 3，number 5，October 1993，pages 368et seqq.的“True motion estimationwith 3D-recursive search block matching”中所描述的3d递归搜索块匹配算法，本申请明确地引用该算法并且其以引用方式并入本文中。该算法与其它已知的块匹配算法相比较非常有效，其原则上允许实时地对所录制的图像进行处理。
此外，使用了被称为“3帧块匹配”的算法的变量。其名字指的是将当前的摄像机图像与其之前的一幅和之后的一幅进行比较，并且借助于处理单元12在时间方向上向前和向后搜索对应的像素块的事实。这不但避免了遮挡问题，而且允许在没有预先建立背景模型的情况下分割运动前景19和静态后景18中的图像。该事实在这种情况下非常重要，这是因为由于由于摄像机7的水平旋转/垂直旋转功能，所以在训练录制开始之前不能收集有关背景的信息。
借助于处理单元12应用上述算法得到的结果为对应于捕获的图像的流场。这意味着对图像中每个像素块来说，由处理单元12将相对于先前图像的位移存储为二维矢量f(x，y，t)16，其中x和y为像素坐标而t为捕获摄像机图像的时间，其中t＝0为所录制的序列的开始，而t＝T为结束时间。换句话说，该算法通过位移矢量16描述了用户的运动。在图3中示出了这种位移矢量的示例。该算法比较了多个视频图像中的像素块。为此，该算法从先前图像中检测一幅图像中特定的像素块(例如3×3像素)，这对于该算法而言是已知的。位移矢量16定义了像素块的位移，从而定义了光流。然而，该算法并不知道像素块示出的是用户4的手臂还是肘。
给定了流场f(x，y，t)，借助于处理单元12，通过分别将图像的左半侧和右半侧中的所有像素f(x，y，t)相加，计算出该图像的左半侧和右半侧中的总流FL(t)和FR(t)。FL(t)和FR(t)是作为输入的具有在各自侧上总光流的x和y分量的二维矢量。
借助于处理单元12，计算在整个运动序列FLtot和FRtot上图像的左半测和右半侧中的运动总量。如果这两个值中任意一个的绝对值低于预定的阈值，那么由处理单元12判定在各自侧没有发生运动。这可导致重复整个训练，或者判定患者在一侧上不能进行运动。
给定了时间序列FL(t)和FR(t)，其中t在0个T之间，对运动的同步性进行评估。最后，借助于处理单元12计算出时间序列FL(t)和FR(t)的x和y分量的相关系数，这些量被称为Cx和Cy。通过定义相关系数Cx和Cy具有-1和1之间的值。在此，值1指同步性，-1指非同步性。如果Cx和Cy为0，那么运动不同步。
给定了A(t)的标准差为SA且B(t)的标准差为SB，两个标量A(t)和B(t)的相关系数CAB定义为CAB＝(<AB>-<A><B>)/(SA SB)。这里括弧代表在时间序列上的平均值。
对于在身体两侧的同步运动，期望该运动并因而x方向上的光流为非同步的，即期望相关系数Cx＝-1。对于y方向上的运动，期望同步运动，即Cy＝1。因此，C＝|-1-Cx|+|1-Cy|为同步运动偏差的标量测量。这里||表示绝对值。
由于预定的阈值或者个性化的阈值，从运动中获得的值C(相关系数)可判断为描述的运动是否根据预期。
图4中示出了说明根据图3所示的用户4的对称手臂运动的图。该图示出了对左侧流矢量20的Y分量和右侧流矢量21的Y分量在视频帧编号上所有运动矢量的总和。两曲线几乎是相同的。该示例的相关系数Cy为0.82，指示用户4的对称(同步)手臂运动。相关系数作为同步性的测量。
图6示出了说明根据图5所示的用户4的非对称手臂运动的图，其中相关系数Cy为0.21，指示用户4的非对称(异步)手臂运动。如能够清晰看到的，用户的右臂不能很好地执行所要求的训练。用户右臂几乎没有执行运动。结果，身体右半侧15示出了与身体左半侧16不同的运动行为，并且计算出的相关系数16不同于图4所示的示例。
由于仅仅基于光流来计算相关因子，因此该方法相对于各种的照明条件、背景和患者衣服来说是鲁棒的。该系统在无须要求用户4佩戴标记或持有装置的情况下检测运动的同步性。不需要将用户身体分割成不同的身体部分。而且用户身体各部分的位置是不相关的。
在计算出同步性程度之后，执行对用户运动功能的评估(步骤130)。为此，计算机系统11的分析单元22(其再次优选地实施为软件单元)适于对所要求的训练进行评估或对其进行评级，即适于基于同步性程度来对用户的运动功能进行评估。将该同步性程度(即相关因子)与阈值进行比较，该阈值存储在计算机系统11中。
在有来自脑卒中患者组和健康对照组的数据的情况下，定义静态阈值用于对运动估计分析的结果进行评估。或者，存储每次测试的同步性程度，并且动态地改变该阈值。在这种情况下，同步性程度作为康复的进展指示。在本实施例中，特别训练分析单元来对个人用户的表现进行评级。使用记录的历史数据通过与先前的表现进行对照来评估当前的表现。该个性化的算法允许对康复成功进行评级以及对脑卒中事件的复发或重现进行可靠的检测。优选地使用显示器2和/或音频接口3将评估结果向用户4宣布(步骤140)。
如果视频图像数据的分析产生无效判定，或者如果没有确定可行的结果，例如，因为系统不能执行对用户面部13的追踪等，那么从计算机系统11经由接口单元6向用户4给出新的指令，例如要求用户重复最后的训练。然而，因为所使用的算法的鲁棒性，所以在录制视频图像期间用户4的运动，例如用户的微小转动等，对总体结果不产生影响，并且因此能够在大多数情况下被忽略。
本发明可用作家庭脑卒中测试应用的一部分。这种应用优选地适于作为远程医疗和电子健康平台的一部分。
与现有技术的系统相比，本发明介绍了对于一种除了摄像机7之外无需任何附加的传感器或输入装置的情况下用于对偏瘫训练进行评估的系统的实现。此外，给患者提供视觉反馈。用户4自由地执行所要求的训练，并由摄像机7进行录制。在对图像进行处理之后，给出评估和反馈。由于其鲁棒性和仅使用低成本的标准计算机设备，因此其特别适于在无监督的家庭环境中使用。
对于本领域技术人员而言显而易见的是，本发明不局限于前述说明性实施例的细节，并且本发明在不脱离其精神或本质属性的情况下可以实施为其它特定形式。因此本发明的实施例在各方面应被认为是说明性的而非限制性的，本发明的范围是由所附的权利要求书而不是由前述说明书指示的，并且因此所有落入权利要求书的等价物的意义和范围中的改变都旨在包括在其中。此外，显而易见的是，词语“包括”并不排除其它元件或步骤，词语“一个”并不排除多个，并且单个元件，例如一个计算机系统或另一单元可以实现权利要求书中引述的多个器件的功能。权利要求书中的任何附图标记都不应解释为对相关权利要求的限制。
附图标记：
1     系统
2     显示器
3     音频接口
4     用户
5     扬声器
6     接口单元
7     摄像机
8     马达单元
9     麦克风
10    摄像机单元
11    计算机系统
12    处理单元
13    用户面部
14    身体左半侧
15    身体右半侧
16    位移矢量
17    中心线
18    静态区域
19    运动区域
20    左侧流矢量
21    右侧流矢量
22    分析单元

Claims (14)

1.一种对用户(4)的运动进行分析的方法，包括如下步骤：
-使所述用户(4)执行与指令一致的协调运动，所述指令适于指示所述用户执行身体左半侧和右半侧的同步运动；
-通过对所述用户(4)进行录像来生成图像序列形式的视频图像数据；
-使用采用计算机视觉技术的计算机系统(11)，在所述图像序列中确定光流的同步性程度；以及
-基于所述同步性程度评估所述用户的运动功能，
并且其特征在于，确定同步性程度的步骤包括确定所述用户的身体左半侧和右半侧(14，15)之间的光流的同步性程度。
2.根据权利要求1所述的方法，其特征在于，使所述用户(4)执行协调运动的所述步骤包括使用显示器(2)和/或音频接口(3)指导所述用户(4)的步骤。
3.根据权利要求1所述的方法，其特征在于，使所述用户(4)执行协调运动的所述步骤包括指导所述用户(4)执行上肢的协调运动的步骤。
4.根据权利要求1所述的方法，其特征在于，确定在所述身体左半侧和右半侧(14，15)上光流的同步性程度的所述步骤包括将图像分割成静态和动态区域(18，19)的步骤。
5.根据权利要求1所述的方法，其特征在于，确定在所述身体左半侧和右半侧(14，15)上光流的同步性程度的所述步骤包括将所述用户身体的所述左半侧和右半侧(14，15)的流成分进行比较的步骤。
6.根据权利要求1所述的方法，其特征在于，确定在所述身体左半侧和右半侧(14，15)上光流的同步性程度的所述步骤包括基于所述视频图像数据确定所述用户身体的中心线(17)以定义身体左半侧和右半侧(14，15)的步骤。
7.根据权利要求1所述的方法，其特征在于，确定在所述身体左半侧和右半侧(14，15)上光流的同步性程度的所述步骤包括追踪所述用户面部(13)的步骤。
8.根据权利要求5所述的方法，其中，所述流成分使用三帧3D递归搜索运动估计算法来计算。
9.根据权利要求1所述的方法，其特征在于，评估所述用户运动功能的所述步骤包括将所述同步性程度与阈值进行比较的步骤。
10.根据权利要求1所述的方法，其特征在于，评估所述用户运动功能的所述步骤包括确定所述用户的运动康复进展的步骤。
11.根据权利要求1所述的方法，包括以下另一步骤：使用适于向所述用户提供视觉反馈的显示器(2)和/或向所述用户(4)提供音频反馈的音频接口(3)，向所述用户(4)宣布所述评估结果。
12.一种用于对用户(4)的运动进行分析的系统(1)，包括：
-显示器(2)和/或音频接口(3)，其适于使所述用户(4)执行与指令一致的协调运动，所述指令适于指示所述用户执行所述用户的身体左半侧和右半侧的同步运动；
-摄像机(7)，其适于通过对所述用户(4)进行录像来生成图像序列形式的视频图像数据；
-采用计算机视觉技术的计算机系统(11)，所述计算机系统(11)适于基于所述视频图像数据确定光流的同步性程度；以及
-分析单元(22)，其适于基于所述同步性程度评估所述用户的运动功能，
并且其特征在于，所述计算机系统适于确定所述用户的身体左半侧和右半侧(14，15)之间的光流的同步性程度。
13.根据权利要求12所述的系统(1)，其中，所述显示器(2)适于提供视觉信息；并且/或者，所述音频接口(3)适于向和从所述用户(4)提供音频信息。
14.一种用于对用户(4)的运动进行分析的设备，包括：
-用于使所述用户(4)执行与指令一致的协调运动的装置，所述指令适于指示所述用户执行所述用户的身体左半侧和右半侧的同步运动；
-用于通过对所述用户(4)进行录像来生成图像序列形式的视频图像数据的装置；
-用于使用采用计算机视觉技术的计算机系统(11)在所述图像序列中确定光流的同步性程度的装置；以及
-用于基于所述同步性程度评估所述用户的运动功能的装置，
并且其特征在于，所述计算机系统适于确定所述用户的身体左半侧和右半侧(14，15)之间的光流的同步性程度。
CN2006800300048A 2005-08-19 2006-08-09 对用户的运动进行分析的系统和方法 Active CN101243471B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP05107622.2 2005-08-19
EP05107622 2005-08-19
PCT/IB2006/052750 WO2007020568A2 (en) 2005-08-19 2006-08-09 System and method of analyzing the movement of a user

Publications (2)

Publication Number Publication Date
CN101243471A CN101243471A (zh) 2008-08-13
CN101243471B true CN101243471B (zh) 2013-03-06

Family

ID=37441726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800300048A Active CN101243471B (zh) 2005-08-19 2006-08-09 对用户的运动进行分析的系统和方法

Country Status (5)

Country Link
US (1) US8213678B2 (zh)
EP (1) EP1922696B1 (zh)
JP (1) JP5118038B2 (zh)
CN (1) CN101243471B (zh)
WO (1) WO2007020568A2 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2043521A1 (en) * 2006-07-12 2009-04-08 Philips Intellectual Property & Standards GmbH Health management device
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US8698888B2 (en) * 2009-10-30 2014-04-15 Medical Motion, Llc Systems and methods for comprehensive human movement analysis
WO2011102912A2 (en) * 2010-02-22 2011-08-25 Progyr Inc. Human-motion-training system
CN102959616B (zh) 2010-07-20 2015-06-10 苹果公司 自然交互的交互真实性增强
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
US20120058824A1 (en) * 2010-09-07 2012-03-08 Microsoft Corporation Scalable real-time motion recognition
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
US9025824B2 (en) * 2010-12-07 2015-05-05 Movement Training Systems Llc Systems and methods for evaluating physical performance
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US9285874B2 (en) 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
JP2014223093A (ja) * 2011-09-22 2014-12-04 テルモ株式会社 活動量監視システム、情報処理装置及び活動量監視装置
ES2415579B1 (es) * 2011-09-28 2014-11-17 Instituto Tecnológico De Castilla Y León Procedimiento y dispositivo electrónico multiagente con control difuso para la detección del ictus cerebral lateral.
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
WO2013144807A1 (en) 2012-03-26 2013-10-03 Primesense Ltd. Enhanced virtual touchpad and touchscreen
JP2014130519A (ja) * 2012-12-28 2014-07-10 Toshiba Corp 医用情報処理システム、医用情報処理装置及び医用画像診断装置
CN103908293B (zh) * 2012-12-28 2018-03-27 通用电气公司 用于测量医学图像的医学成像系统和方法
BR112015016407A2 (pt) 2013-01-11 2017-07-11 Koninklijke Philips Nv sistema para avaliar a amplitude de movimento de um indivíduo; e método para avaliar a amplitude de movimento de um indivíduo
CN106456057A (zh) * 2014-03-21 2017-02-22 凯耐特赛斯公司 用于评判哺乳动物动力学的动作捕获和分析系统
US10083233B2 (en) * 2014-09-09 2018-09-25 Microsoft Technology Licensing, Llc Video processing for motor task analysis
US9412169B2 (en) * 2014-11-21 2016-08-09 iProov Real-time visual feedback for user positioning with respect to a camera and a display
US10007339B2 (en) * 2015-11-05 2018-06-26 Oculus Vr, Llc Controllers with asymmetric tracking patterns
WO2019008771A1 (ja) * 2017-07-07 2019-01-10 りか 高木 治療及び／又は運動の指導プロセス管理システム、治療及び／又は運動の指導プロセス管理のためのプログラム、コンピュータ装置、並びに方法
US10523961B2 (en) 2017-08-03 2019-12-31 Samsung Electronics Co., Ltd. Motion estimation method and apparatus for plurality of frames
CN107961013A (zh) * 2017-12-13 2018-04-27 东南大学 便携式上肢运动协调性检测系统
CN108195306B (zh) * 2017-12-25 2020-01-31 珠海市万瑙特健康科技有限公司 获取人体安全包络线的方法
CN108830783B (zh) 2018-05-31 2021-07-02 北京市商汤科技开发有限公司 一种图像处理方法、装置和计算机存储介质
WO2020130924A1 (en) * 2018-12-20 2020-06-25 Umansense Ab Stroke detection sensor
CA3089403A1 (en) * 2019-08-08 2021-02-08 Curv Labs Inc. System and method for performing biomechanical assessments

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US700000A (en) 1901-11-26 1902-05-13 Palmetto Fibre Company Work-holding device for boring-machines.
US6231527B1 (en) * 1995-09-29 2001-05-15 Nicholas Sol Method and apparatus for biomechanical correction of gait and posture
JPH1199140A (ja) * 1997-09-26 1999-04-13 Toshiba Corp 就寝状態異常検知装置
WO2001056471A1 (en) 2000-02-02 2001-08-09 Hunter, Jeremy, Alexander Patient monitoring devices and methods
US20030181790A1 (en) * 2000-05-18 2003-09-25 Daniel David Methods and apparatus for facilitated, hierarchical medical diagnosis and symptom coding and definition
DE10124242A1 (de) * 2001-05-18 2002-11-28 Juergen Loeschinger Vorrichtung und Verfahren zur Haltungskontrolle einer Person
US8078253B2 (en) 2002-02-22 2011-12-13 The Mclean Hospital Corporation Computerized methods for evaluating response latency and accuracy in the diagnosis of attention deficit hyperactivity disorder
JP3598385B2 (ja) * 2002-10-17 2004-12-08 独立行政法人情報通信研究機構 高次脳機能障害診断装置
US20050163349A1 (en) 2003-06-06 2005-07-28 Daniela Brunner System and method for assessing motor and locomotor deficits and recovery therefrom

Also Published As

Publication number Publication date
EP1922696B1 (en) 2013-05-15
WO2007020568A3 (en) 2007-05-31
US20100177933A1 (en) 2010-07-15
CN101243471A (zh) 2008-08-13
US8213678B2 (en) 2012-07-03
JP2009504298A (ja) 2009-02-05
JP5118038B2 (ja) 2013-01-16
WO2007020568A2 (en) 2007-02-22
EP1922696A2 (en) 2008-05-21

Similar Documents

Publication Publication Date Title
CN101243471B (zh) 对用户的运动进行分析的系统和方法
Dockstader et al. Stochastic kinematic modeling and feature extraction for gait analysis
Jean et al. Towards view-invariant gait modeling: Computing view-normalized body part trajectories
Van der Aa et al. Umpm benchmark: A multi-person dataset with synchronized video and motion capture data for evaluation of articulated human motion and interaction
KR20080073933A (ko) 객체 트래킹 방법 및 장치, 그리고 객체 포즈 정보 산출방법 및 장치
CN105426827A (zh) 活体验证方法、装置和系统
JP2008535116A (ja) ３次元レンダリング用の方法及び装置
US20120194513A1 (en) Image processing apparatus and method with three-dimensional model creation capability, and recording medium
CN110309801A (zh) 一种视频分析方法、装置、系统、存储介质及计算机设备
CN101071473A (zh) 检测特征点的设备及检测特征点的方法
Zhu et al. A computer vision-based system for stride length estimation using a mobile phone camera
Fieraru et al. Learning complex 3D human self-contact
CN113033369A (zh) 动作捕捉方法、装置、电子设备及计算机可读存储介质
US20170365084A1 (en) Image generating apparatus and image generating method
CN106909904B (zh) 一种基于可学习形变场的人脸正面化方法
Štrbac et al. Kinect in neurorehabilitation: computer vision system for real time hand and object detection and distance estimation
JP2012141881A (ja) 人体姿勢推定装置、人体姿勢推定方法、およびコンピュータプログラム
CN111448589B (zh) 用于检测患者的身体移动的设备、系统和方法
JP7499346B2 (ja) 逆運動学に基づいた関節の回転の推測
US11954905B2 (en) Landmark temporal smoothing
JP7356927B2 (ja) 肌解析方法、肌解析システム及び肌解析プログラム
WO2022024272A1 (ja) 情報処理システム、データ蓄積装置、データ生成装置、情報処理方法、データ蓄積方法、データ生成方法及び記録媒体、並びに、データベース
An et al. Support vector machine algorithm for human fall recognition kinect-based skeletal data
WO2022239415A1 (ja) 睡眠時動画解析方法および睡眠時動画解析装置
KR102626551B1 (ko) 체형분석장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant