CN110826422A - 一种用于获得运动参数信息的系统和方法 - Google Patents

一种用于获得运动参数信息的系统和方法 Download PDF

Info

Publication number
CN110826422A
CN110826422A CN201910992854.5A CN201910992854A CN110826422A CN 110826422 A CN110826422 A CN 110826422A CN 201910992854 A CN201910992854 A CN 201910992854A CN 110826422 A CN110826422 A CN 110826422A
Authority
CN
China
Prior art keywords
video data
processing device
motion
instruction
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910992854.5A
Other languages
English (en)
Inventor
吴超华
钱天翼
徐欣
凌至培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sinovation Ventures Beijing Enterprise Management Co ltd
Original Assignee
Beijing Liangjian Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Liangjian Intelligent Technology Co Ltd filed Critical Beijing Liangjian Intelligent Technology Co Ltd
Priority to CN201910992854.5A priority Critical patent/CN110826422A/zh
Publication of CN110826422A publication Critical patent/CN110826422A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4082—Diagnosing or monitoring movement diseases, e.g. Parkinson, Huntington or Tourette
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Abstract

本申请提供一种用于获得运动参数信息的系统和方法，该系统包括：显示装置，用于响应于接收到的动作检测指令，呈现与所述动作检测指令对应的标准动作；视频采集装置，用于响应于接收到的与所述动作检测指令对应的视频采集指令，采集视频数据，并将所述视频数据发送至处理装置；固定在用户肢体上的惯性测量单元，用于将采集到的测量数据发送至所述处理装置，其中，所述惯性测量单元与所述视频采集装置同步开始采集；处理装置，用于接收来自视频采集装置的视频数据以及来自所述惯性测量单元的测量数据，并根据所述视频数据以及所述测量数据获得与所述动作检测指令对应的运动参数信息。本申请能够自动且精确地测量被测人员的各项运动参数信息。

Description

一种用于获得运动参数信息的系统和方法
技术领域
本申请涉及计算机技术领域，尤其涉及一种用于获得运动参数信息的技术方案。
背景技术
在实际应用中，经常会存在需要检测用户的运动参数的需求，例如，需要检测运动员的运动参数以判断其运动能力或为其确定其训练计划，又例如，需要检测帕金森病人的某些运动动能(如手指拍打的速度、手指打开的振幅、握拳的频率等)，来判断该病人的症状严重程度。现有技术中可通过惯性测量单元来检测可移动物体的运动信息，但是民用级别的惯性测量单元加速度计精度较差，导致测量结果误差较大。
发明内容
本申请的目的是提供一种能够快速准确地获得运动参数信息的技术方案。
根据本申请的一个实施例，提供了一种用于获得运动参数信息的系统，其中，该系统包括：
显示装置，用于响应于接收到的动作检测指令，呈现与所述动作检测指令对应的标准动作；
视频采集装置，用于响应于接收到的与所述动作检测指令对应的视频采集指令，采集视频数据，并将所述视频数据发送至处理装置；
固定在用户肢体上的惯性测量单元，用于将采集到的测量数据发送至所述处理装置，其中，所述惯性测量单元与所述视频采集装置同步开始采集；
处理装置，用于接收来自视频采集装置的视频数据以及来自所述惯性测量单元的测量数据，并根据所述视频数据以及所述测量数据获得与所述动作检测指令对应的运动参数信息。
根据本申请的一个实施例，提供了一种用于获得运动参数信息的方法，其中，该方法包括：
显示装置响应于接收到的动作检测指令，呈现与所述动作检测指令对应的标准动作；
视频采集装置响应于接收到的与所述动作检测指令对应的视频采集指令，采集视频数据，并将所述视频数据发送至处理装置；
固定在用户肢体上的惯性测量单元将采集到的测量数据发送至所述处理装置，其中，所述惯性测量单元与所述视频采集装置同步开始采集；
所述处理装置接收来自所述视频采集装置的视频数据以及来自所述惯性测量单元的测量数据，并根据所述视频数据以及所述测量数据获得与所述动作检测指令对应的运动参数信息。
与现有技术相比，本申请具有以下优点：能够通过显示装置展示标准动作，以引导被测人员参照该标准动作做出相应动作，而通过采集被测人员参照该标准动作做出相应动作的过程中的视频数据以及固定在用户肢体上的惯性测量单元的测量数据，能够自动且精确地测量被测人员的各项运动参数信息；通过将MDS-UPDRS量表中的多项运动功能对应到多个动作检测指令，并设定每个动作检测指令对应的标准动作，可以引导病人按照标准动作来做出相应动作，从而获得与各项运动功能对应的运动参数信息，并通过量化得到各项运动功能的评分进而得到与MDS-UPDRS量表对应的评分报告，使得能够快速且精确地获得帕金森病症状的评估结果。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出了本申请一个实施例的用于获得运动参数信息的系统的结构示意图；
图2示出了本申请一个示例的采集视频数据的场景示意图；
图3示出了本申请一个示例的计算肢体关键运动轨迹的流程示意图；
图4示出了本申请一个示例的用于评估帕金森症状的评估流程示意图；
图5示出了本申请一个实施例的用于获得运动参数信息的方法的流程示意图；
图6示出了可被用于实施本申请中所述的各个实施例的示例性系统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
在上下文中所称“设备”，是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备，其可以包括处理器与存储器，由处理器执行在存储器中预存的程序指令来执行预定处理过程，或是由专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)等硬件执行预定处理过程，或是由上述二者组合来实现。
本文后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时，用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。
这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本申请的示例性实施例的目的。但是本申请可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。
应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。
这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。
还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。
下面结合附图对本申请作进一步详细描述。
本申请提供了一种用于获得运动参数信息的系统，其中，该系统包括：显示装置，用于响应于接收到的动作检测指令，呈现与所述动作检测指令对应的标准动作；视频采集装置，用于响应于接收到的与所述动作检测指令对应的视频采集指令，采集视频数据，并将所述视频数据发送至处理装置；固定在用户肢体上的惯性测量单元，用于将采集到的测量数据发送至所述处理装置，其中，所述惯性测量单元与所述视频采集装置同步开始采集；处理装置，用于接收来自视频采集装置的视频数据以及来自所述惯性测量单元的测量数据，并根据所述视频数据以及所述测量数据获得与所述动作检测指令对应的运动参数信息。
图1示出了本申请一个实施例的用于获得运动参数信息的系统的结构示意图。该系统包括显示装置101、视频采集装置102、惯性测量单元103以及处理装置104。
所述显示装置101用于响应于接收到的动作检测指令，呈现与所述动作检测指令对应的标准动作。所述动作检测指令用于指示执行与其对应的标准动作相关的动作检测，所述标准动作可表现为图片、视频、文字、音频中的任一项或任意多项的组合；可选地，所述显示装置101中预先存储有多个动作检测指令以及与各个动作检测指令对应的标准动作，或者，所述显示装置101在接收动作检测指令的同时也接收到了与该动作检测指令对应的标准动作。其中，显示装置101接收动作检测指令的实现方式包括但不限于：1)处理装置104中预先存储有多个动作检测指令，所述处理装置104按照该多个动作检测指令的预定执行顺序，将当前需要执行的动作检测指令发送给显示装置101，显示装置101接收来自处理装置104的动作检测指令；可选地，处理装置104中还预先存储有各个动作检测指令对应的标准动作，处理装置104将需要执行的动作检测指令以及与该动作检测指令对应的标准动作一起发送给显示装置101；2)处理装置响应于接收到的来自操作人员的触发指令，将与该触发指令对应的动作检测指令发送给显示装置，显示装置101接收来自处理装置104的动作检测指令；3)操作人员直接在显示装置101上执行触摸操作来输入动作检测指令，显示装置101接收操作人员输入的动作检测指令；4)显示装置101接收操作人员语音输入的动作检测指令。
所述视频采集装置102用于响应于接收到的与所述动作检测指令对应的视频采集指令，采集视频数据，并将所述视频数据发送至处理装置。其中，所述视频采集装置102可能位于显示装置101附近(如直接放置在显示装置上方中间位置)，或者内置在所述显示装置101中。其中，视频采集装置102可为任何具有视频采集功能的单元，优选地，所述视频采集装置102包括但不限于双目摄像头、单目摄像头、单目深度摄像头等。具体地，当接收到与所述动作检测指令对应的视频采集指令后，视频采集装置102在某一时刻(该某一时刻也即本次采集的起始时刻)开始本次采集(也即当前动作检测指令对应的采集)，且将采集到的每帧视频数据实时地发送至处理装置，之后，视频采集装置102在上述某一时刻之后的另一时刻(也即本次采集的结束时刻)结束本次采集；可选地，所述起始时刻可能为当前时刻、视频采集指令所指定的开始采集时间、按照预定规则所确定的时刻(如当前时刻等待第一预定时间之后的时刻)等；可选地，所述结束时刻可能为视频采集指令所指令的结束采集时间、按照预定规则所确定的时刻(如起始时刻之后等待第二预定时间之后的时刻)。其中，本次采集中视频采集装置所采集到的视频数据是针对被测人员参照所述标准动作所做出的动作进行拍摄得到的，图2示出了本申请一个示例的采集视频数据的场景示意图(为简单起见，该场景示意图并未示出惯性测量单元和处理装置)，其中，视频采集装置202位于显示装置201的上方，显示装置201中呈现有与当前动作检测指令对应的标准动作，被测人员站在显示装置201前方的某一位置，本次采集开始之后，该被测人员参照显示装置201呈现的标准动作做出动作，而视频采集装置202通过拍摄被测人员来采集该过程中的视频数据。
所述惯性测量单元103固定在用户(也即被测人员)肢体上，用于将采集到的测量数据发送至所述处理装置，其中，所述惯性测量单元与所述视频采集装置同步开始采集。需要说明的是，为简单起见，图1中仅示出了一个惯性测量单元103，本领域技术人员应能理解，系统中可包括一个或多个惯性测量单元103，在实际应用中，可基于实际需求确定惯性测量单元的数量以及各个惯性测量单元固定在用户肢体上的位置。优选地，系统中包括一套惯性测量单元103，各个惯性测量单元103被固定在用户的关键肢体(如手腕、手肘、脚腕、膝盖)上。其中，惯性测量单元103采集到的测量数据包括但不限于其转动角度、加速度、方向等。其中，惯性测量单元103与视频采集装置102可采用多种方式实现同步开始采集，例如，处理装置104向视频采集装置102发送视频采集指令，该视频采集指令包括开始采集时间，且处理装置104同时向惯性测量单元发送该开始采集时间，则视频采集装置102和惯性测量单元103在该开始采集时间同步开始采集；又例如，视频采集装置102在接收到视频采集指令后，确定开始采集时间，并将该开始采集时间发送至各个惯性测量单元103，该示例中，视频采集装置102与各个惯性测量单元103之间需建立数据连接。其中，惯性测量单元103与视频采集装置102可采用多种实现方式同步结束采集，例如，处理装置104在向视频采集装置102发送视频采集指令的同时向惯性测量单元发送同步信息，以分别向视频采集装置102和惯性测量单元103指示本次采集的开始采集时间和结束采集时间，视频采集装置102和惯性测量单元103在该开始采集时间同步开始采集，且在该结束采集时间结束采集；又例如，视频采集装置102和惯性测量单元103同步开始采集后，等待预定时间间隔之后同步结束采集。其中，惯性测量单元103的采样率大于视频采集装置102的采样率。
所述处理装置104用于接收来自视频采集装置102的视频数据以及来自所述惯性测量单元103的测量数据，并根据所述视频数据以及所述测量数据获得与所述动作检测指令对应的运动参数信息。其中，所述处理装置104可能为一个独立设备(如独立的用户设备、网络设备)或者包含在一个独立设备中的一个单元或模块，也可能与显示装置101集成为一个设备，或者与显示装置101、视频采集装置102共同集成为一个设备。其中，一个动作检测指令对应的运动参数信息包括任何与该动作检测指令对应的标准动作用于测量的运动参数；优选地，运动参数信息包括但不限于：动作幅度、次数、频率等；需要说明的是，不同标准动作用于测量的运动参数可能是相同的，也可能是不同的，或者是部分相同的。其中，所述处理装置104通过识别每帧视频数据中各个肢体关键点的位置，并结合惯性测量单元采集到的测量数据，来获得与所述动作检测指令对应的运动参数信息；以对指运动为例，对于所采集到的每一帧视频数据，所述处理装置104根据该帧视频数据以及同一时刻采集到的测量数据获得拇指的三维坐标(x1,y1,z1)和食指的三维坐标(x2,y2,z2)，并基于拇指和食指的三维坐标来计算拇指与食指的距离，当拇指和食指的距离小于一个给定的阈值时，则认为完成一次对指运动，在对指运动对应的测量时间内统计完成次数，就可以计算出对指运动对应的频率。
根据本实施例的系统，能够通过显示装置展示标准动作，以引导被测人员参照该标准动作做出相应动作，而通过采集被测人员参照该标准动作做出相应动作的过程中的视频数据以及固定在用户肢体上的惯性测量单元的测量数据，能够自动且精确地测量被测人员的各项运动参数信息。
在一些实施例中，该系统还包括系统初始化阶段，在系统初始化阶段中，所述显示装置还用于响应于接收到的初始化指令，呈现标准站立动作；所述视频采集装置还用于响应于接收到的与所述初始化指令对应的图像采集指令，采集用户图像，并将所述用户图像发送至所述处理装置；所述处理装置还用于：接收来自所述视频采集装置的所述用户图像，并根据所述用户图像识别得到各个肢体关键点(如肩关节、手肘、手腕、手指等)的第一位置信息；根据所述第一位置信息，确定用户的关键肢体长度信息(如上臂、小腿、大腿等关键肢体的长度)。在一些实施例中，所述处理装置还用于根据所述用户图像识别得到所述惯性测量单元的第二位置信息；根据所述第一位置信息和所述第二位置信息，计算所述惯性测量单元与所述各个肢体关键点之间的距离信息。其中，对于每个惯性测量单元，可能仅需计算该惯性测量单元与其对应的肢体关键点或者与其附近的一个或多个肢体关键点之间的距离信息，也即，无需计算该惯性测量单元与所述肢体关键点之间的距离信息，在实际应用中可基于实际需要来进行设置。
在一些实施例中，所述处理装置还用于向所述视频采集装置发送视频采集指令，并向所述惯性测量单元发送同步信号；所述惯性测量单元用于接收来自所述处理装置的所述同步信号，根据所述同步信号启动测量程序，并将采集到的测量数据发送至所述处理装置。其中，所述同步信号用于指示或确定同步开始采集的开始采集时间，如所述同步信号包括开始采集时间，又如所述同步信号包括等待时间，以使惯性测量单元接收到该同步信号之后经过所述等待时间再开始本次采集；优选地，所述同步信号还用于指示或确定同步结束采集的结束采集时间。
在一些实施例中，在本次采集开始之后，所述处理装置还用于当根据所述视频数据识别到用户执行预定结束动作时，向所述视频采集装置和所述惯性测量单元发送结束采集指令；所述视频采集装置响应于接收到的来自所述处理装置的结束采集指令，停止采集视频数据；所述惯性测量单元响应于接收到的来自所述处理装置的结束采集指令，停止采集测量数据。其中，可针对每个动作检测指令设定不同的预定结束动作，或者针对所有动作检测指令设定同一个预定结束动作。基于上述实施例的方案，能够当检测到用户执行预定结束动作时使得视频采集装置和惯性测量单元停止采集，这使得用户在动作做完之后无需等待，而直接进入下一个动作的检测，从而能够缩短检测时间。可选地，若达到初始确定的结束采集时间时，还未识别到用户执行预定结束动作，可延长采集时间。
在一些实施例中，所述根据所述视频数据以及所述测量数据获得与所述动作检测指令对应的运动参数信息，包括：对于接收的每帧视频数据，当满足预定条件时，根据所述测量数据对在该帧视频数据与上一帧视频数据之间的肢体关键点运动轨迹进行插值；根据经插值后得到的与所述动作检测指令对应的肢体关键点运动轨迹，获得与所述动作检测指令对应的运动参数信息。其中，所述预定条件包括任何预定的用于触发基于测量数据对肢体关键点运动轨迹进行插值的条件；优选地，所述预定条件包括但不限于：至少一个肢体关键点被遮挡；用户的肢体运动速度大于或等于预定速度阈值。作为一个示例，第N帧图像后P时刻第i个肢体关键点的位置可以通过以下公式表示：
其中，t表示时间，xN,i表示第N帧图像中第i个惯性测量单元的坐标，表示第N+1帧图像中第i个惯性测量单元对应的人体关键点坐标的估计值，at,i是第i个惯性测量单元测量在t时刻得到加速度，zi是第i个惯性测量单元与它对应的人体关键点间的距离，MN,i是第i个惯性测量单元的加速度修正矩阵，bN,i是第i个惯性测量单元的加速度偏移修正项。需要说明的是，当用户的肢体运动速率较快时，由于视频采集装置采样率较低(一般摄像头采样率在30Hz左右)，视频图像模糊导致无法准确识别关键点，当人体关键点被遮挡时也会导致无法识别人体关键点，这时利用通过上述插值方案可保证系统能够完整地采集用户的每个动作过程。基于此，本申请的方案能够允许部分肢体或肢体关键点被遮挡，也即，即便部分肢体或肢体关键点被遮挡，也能够获得准确的运动参数信息。
在一些实施例中，所述根据所述视频数据以及所述测量数据获得与所述动作检测指令对应的运动参数信息，包括：对于接收的每帧视频数据，获得在该帧视频数据与上一帧视频数据之间各个肢体关键点的位移，根据所述各个肢体关键点的位移，通过线性变换对所述测量数据进行矫正；根据所述采集到的视频数据以及经矫正后的测量数据，获得与所述动作检测指令对应的运动参数信息。可选地，对于接收的每帧视频数据，获得在该帧视频数据与上一帧视频数据之间各个肢体关键点的位移，并计算该帧视频数据与上一帧视频数据之间的修正参数，之后基于该修正参数得到矫正后的测量数据，并基于矫正后的测量数据计算第N-1帧视频数据与第N帧视频数据间的肢体关键点运动轨迹。由于惯性测量单元的位移是通过加速度传感器读数进行二次积分得到，可能存在误差，通过上述矫正方案，由于相邻两帧视频数据之间的时间间隔较短，相邻两帧视频数据之间的修正参数可认为是不变的，且由于相邻两帧视频数据之间的修正参数与其他视频数据是无关的，使得矫正后的测量数据更加准确。作为一个示例，相邻两帧视频数据之间的修正参数可以基于以下公式来获得：
Figure BDA0002238819170000111
其中，MN,i是第i个惯性测量单元的加速度修正矩阵，bN,i是第i个惯性测量单元的加速度偏移修正项，at,i是第i个惯性测量单元测量在t时刻得到加速度，xN,i表示第N帧图像中第i个惯性测量单元的坐标，xN+1,i表示第N+1帧图像中第i个惯性测量单元的坐标，每一帧视频数据均可以对加速度进行修正，也可以基于如下公式根据已知的前K帧修正系数来估计第N帧修正系数：
Figure BDA0002238819170000113
其中，
Figure BDA0002238819170000114
表示估计得到的第i个惯性测量单元的加速度修正矩阵，
Figure BDA0002238819170000115
表示估计得到的第i个惯性测量单元的加速度偏移修正项，函数f可为加权平均或卡尔曼滤波等。
图3示出了本申请一个示例的计算肢体关键运动轨迹的流程示意图，具体地示出了如何基于相邻两帧视频数据计算该两帧视频数据间的肢体关键点运动轨迹，该计算过程如下：采集第N(N为大于等于2的整数)帧视频数据，判断是否能够在该第N帧视频数据中识别出各个肢体关键点；若能够识别，则更新加速度修正参数，并对第N-1帧视频数据与第N帧视频数据间的肢体关键点运动轨迹进行计算；若不能够识别，利用N-1帧的修正参数和加速度值计算第N-1帧视频数据与第N帧视频数据间的肢体关键点运动轨迹；之后将N+1赋值给N，以针对下一帧视频数据来计算肢体关键点运动轨迹，以此类推，可获得本次采集所对应的肢体关键点运动轨迹。
在一些实施例中，所述处理装置还用于：获得与当前动作检测指令对应的运动参数信息之后，检测是否还存在下一个动作检测指令，若存在，向所述显示装置发送所述下一个动作检测指令，否则，输出针对所有动作检测指令的检测结果。可选地，所述处理装置中预先存储多个动作检测指令，以及与该多个动作检测指令对应的检测顺序，所述处理装置可按照该检测顺序判断是否存在下一个动作检测指令。可选地，所述处理装置还可以根据操作人员的操作指示，来判断是否还存在下一个动作检测指令。由此，可在一次测量过程中通过多个动作检测指令来获得多个动作对应的运动参数信息。
在一些实施例中，每个动作检测指令唯一对应MDS-UPDRS(世界运动障碍学会帕金森病综合评量表)量表中的一项运动功能，所述根据所述视频数据以及所述测量数据获得与所述动作检测指令对应的运动参数信息的操作，还包括：根据与每个动作检测指令对应的运动参数信息，确定与每个动作检测指令对应的运动功能的评分；其中，所述检测结果包括与所述MDS-UPDRS量表对应的评分报告。可选地，所述评分报告中包括各项运动功能的评分以及总体评分。图4示出了本申请一个示例的用于评估帕金森症状的评估流程示意图，具体流程如下：首先，系统执行系统初始化以获得病人的关键肢体长度信息；接着系统发出动作指令(即本申请中所述的动作检测指令)以在显示装置中呈现与该动作指令对应的标准动作；之后，系统中的视频采集装置拍摄人物动作获得视频数据，且该过程中惯性测量单元也采集获得测量数据；接着，系统中的处理装置分析量化动作幅度、次数、频率等，获得与该动作指令对应的运动参数信息；之后，根据MDS-UPDRS量表给出项目评分(也即针对该动作指令对应的运动功能的评分)；接着，判断是否有下一个检查动作，若有，系统发出与下一个检查动作对应的动作指令，否则，输出所有项目评分报告。帕金森病作为一种慢性的中枢神经系统退化性失调的疾病，震颤、运动迟缓、肌肉僵直和步态障碍等是帕金森病的主要症状，而基于上述实施例的方案，通过将MDS-UPDRS量表中的多项运动功能对应到多个动作检测指令，并设定每个动作检测指令对应的标准动作，可以引导病人按照标准动作来做出相应动作，从而获得与各项运动功能对应的运动参数信息，并通过量化得到各项运动功能的评分进而得到与MDS-UPDRS量表对应的评分报告，使得能够快速且精确地获得帕金森病症状的评估结果。
根据本申请的方案相比于单纯采用视频数据的方案，具有更高的测量精度，且可以允许部分肢体被遮挡，而相比于单纯采用惯性测量单元的方案，通过基于相邻两帧视频数据进行插值和矫正，能够使得测量结果更为准确。
图5示出了本申请一个实施例的用于获得运动参数信息的方法的流程示意图。该方法包括步骤S11、步骤S12、步骤S13和步骤S14。在步骤S11中，显示装置响应于接收到的动作检测指令，呈现与所述动作检测指令对应的标准动作；在步骤S12中，视频采集装置响应于接收到的与所述动作检测指令对应的视频采集指令，采集视频数据，并将所述视频数据发送至处理装置；在步骤S13中，固定在用户肢体上的惯性测量单元将采集到的测量数据发送至所述处理装置，其中，所述惯性测量单元与所述视频采集装置同步开始采集。在步骤S14中，所述处理装置接收来自所述视频采集装置的视频数据以及来自所述惯性测量单元的测量数据，并根据所述视频数据以及所述测量数据获得与所述动作检测指令对应的运动参数信息。上述显示装置、视频采集装置、惯性测量单元以及处理装置所执行的操作均已前述实施例中予以详述，在此不再赘述。
在一些实施例中，该方法还包括如下在初始化阶段执行的操作：所述显示装置响应于接收到的初始化指令，呈现标准站立动作；所述视频采集装置响应于接收到的与所述初始化指令对应的图像采集指令，采集用户图像，并将所述用户图像发送至所述处理装置；所述处理装置接收来自所述视频采集装置的所述用户图像，根据所述用户图像识别得到各个肢体关键点的第一位置信息，并根据所述第一位置信息，确定用户的关键肢体长度信息。上述在初始化阶段执行的操作已在前述实施例中予以详述，在此不在赘述。
在一些实施例中，该方法还包括：所述处理装置根据所述用户图像识别得到所述惯性测量单元的第二位置信息，并根据所述第一位置信息和所述第二位置信息，计算每个惯性测量单元与相应肢体关键点之间的距离信息。其中，所述处理装置计算每个惯性测量单元与相应肢体关键点之间的距离信息的实现方式已在前述实施例中予以详述，在此不在赘述。
在一些实施例中，该方法还包括：所述处理装置向所述视频采集装置发送视频采集指令，并向所述惯性测量单元发送同步信号；所述惯性测量单元接收来自所述处理装置的所述同步信号，根据所述同步信号启动测量程序，并将采集到的测量数据发送至所述处理装置。该同步开始采集的实现方式已在前述实施例中予以详述，在此不再赘述。
在一些实施例中，该方法还包括：所述处理装置当根据所述视频数据识别到用户执行预定结束动作时，向所述视频采集装置和所述惯性测量单元发送结束采集指令；所述视频采集装置响应于接收到的来自所述处理装置的结束采集指令，停止采集视频数据；所述惯性测量单元响应于接收到的来自所述处理装置的结束采集指令，停止采集测量数据。该停止采集的实现方式已在前述实施例中予以详述，在此不再赘述。
在一些实施例中，所述根据所述视频数据以及所述测量数据获得与所述动作检测指令对应的运动参数信息，包括：对于接收的每帧视频数据，当满足预定条件时，根据所述测量数据对在该帧视频数据与上一帧视频数据之间的肢体关键点运动轨迹进行插值；根据经插值后得到的与所述动作检测指令对应的肢体关键点运动轨迹，获得与所述动作检测指令对应的运动参数信息。其中，所述预定条件包括以下任一项：至少一个肢体关键点被遮挡；用户的肢体运动速度大于或等于预定速度阈值。该用于获得运动各参数信息的实现方式已在前述实施例中予以详述，在此不在赘述。
在一些实施例中，所述根据所述视频数据以及所述测量数据获得与所述动作检测指令对应的运动参数信息，包括：对于接收的每帧视频数据，获得在该帧视频数据与上一帧视频数据之间各个肢体关键点的位移，根据所述各个肢体关键点的位移，通过线性变换对所述测量数据进行矫正；根据所述采集到的视频数据以及经矫正后的测量数据，获得与所述动作检测指令对应的运动参数信息。该用于获得运动各参数信息的实现方式已在前述实施例中予以详述，在此不在赘述。
在一些实施例中，该方法还包括：所述处理装置获得与当前动作检测指令对应的运动参数信息之后，检测是否还存在下一个动作检测指令，若存在，向所述显示装置发送所述下一个动作检测指令，否则，输出针对所有动作检测指令的检测结果。所述处理装置检测是否还存在下一个动作检测指令，若存在，向所述显示装置发送所述下一个动作检测指令，否则，输出针对所有动作检测指令的检测结果，已在前述实施例中予以详述，在此不在赘述。
在一些实施例中，每个动作检测指令唯一对应MDS-UPDRS量表中的一项运动功能，所述根据所述视频数据以及所述测量数据获得与所述动作检测指令对应的运动参数信息的操作还包括：根据与每个动作检测指令对应的运动参数信息，确定与每个动作检测指令对应的运动功能的评分；其中，所述检测结果包括与所述MDS-UPDRS量表对应的评分报告。其中，所述处理装置根据与每个动作检测指令对应的运动参数信息，确定与每个动作检测指令对应的运动功能的评分，并输出包括与所述MDS-UPDRS量表对应的评分报告的实现方式已在前述实施例中予以详述，在此不在赘述。
图6示出了可被用于实施本申请中所述的各个实施例的示例性系统。
在一些实施例中，系统1000能够作为本申请实施例中的任意一个处理设备。在一些实施例中，系统1000可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储设备1020)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器1005)。
对于一个实施例，系统控制模块1010可包括任意适当的接口控制器，以向(一个或多个)处理器1005中的至少一个和/或与系统控制模块1010通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块1010可包括存储器控制器模块1030，以向系统存储器1015提供接口。存储器控制器模块1030可以是硬件模块、软件模块和/或固件模块。
系统存储器1015可被用于例如为系统1000加载和存储数据和/或指令。对于一个实施例，系统存储器1015可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器1015可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，系统控制模块1010可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备1020及(一个或多个)通信接口1025提供接口。
例如，NVM/存储设备1020可被用于存储数据和/或指令。NVM/存储设备1020可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备1020可包括在物理上作为系统1000被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备1020可通过网络经由(一个或多个)通信接口1025进行访问。
(一个或多个)通信接口1025可为系统1000提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统1000可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器(例如，存储器控制器模块1030)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，系统1000可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统1000可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统1000包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (20)

1.一种用于获得运动参数信息的系统，其中，该系统包括：
显示装置，用于响应于接收到的动作检测指令，呈现与所述动作检测指令对应的标准动作；
视频采集装置，用于响应于接收到的与所述动作检测指令对应的视频采集指令，采集视频数据，并将所述视频数据发送至处理装置；
固定在用户肢体上的惯性测量单元，用于将采集到的测量数据发送至所述处理装置，其中，所述惯性测量单元与所述视频采集装置同步开始采集；
处理装置，用于接收来自视频采集装置的视频数据以及来自所述惯性测量单元的测量数据，并根据所述视频数据以及所述测量数据获得与所述动作检测指令对应的运动参数信息。
2.根据权利要求1所述的系统，其中，所述显示装置还用于：
响应于接收到的初始化指令，呈现标准站立动作；
其中，所述视频采集装置还用于：
响应于接收到的与所述初始化指令对应的图像采集指令，采集用户图像，并将所述用户图像发送至所述处理装置；
其中，所述处理装置还用于：
接收来自所述视频采集装置的所述用户图像，并根据所述用户图像识别得到各个肢体关键点的第一位置信息；
根据所述第一位置信息，确定用户的关键肢体长度信息。
3.根据权利要求2所述的系统，其中，所述处理装置还用于：
根据所述用户图像识别得到所述惯性测量单元的第二位置信息；
根据所述第一位置信息和所述第二位置信息，计算所述惯性测量单元与所述各个肢体关键点之间的距离信息。
4.根据权利要求1所述的系统，其中，所述处理装置还用于向所述视频采集装置发送视频采集指令，并向所述惯性测量单元发送同步信号；所述惯性测量单元用于接收来自所述处理装置的所述同步信号，根据所述同步信号启动测量程序，并将采集到的测量数据发送至所述处理装置。
5.根据权利要求4所述的系统，其中，所述处理装置还用于当根据所述视频数据识别到用户执行预定结束动作时，向所述视频采集装置和所述惯性测量单元发送结束采集指令；所述视频采集装置响应于接收到的来自所述处理装置的结束采集指令，停止采集视频数据；所述惯性测量单元响应于接收到的来自所述处理装置的结束采集指令，停止采集测量数据。
6.根据权利要求1所述的系统，其中，所述根据所述视频数据以及所述测量数据获得与所述动作检测指令对应的运动参数信息，包括：
对于接收的每帧视频数据，当满足预定条件时，根据所述测量数据对在该帧视频数据与上一帧视频数据之间的肢体关键点运动轨迹进行插值；
根据经插值后得到的与所述动作检测指令对应的肢体关键点运动轨迹，获得与所述动作检测指令对应的运动参数信息。
7.根据权利要求6所述的系统，其中，所述预定条件包括以下任一项：
-至少一个肢体关键点被遮挡；
-用户的肢体运动速度大于或等于预定速度阈值。
8.根据权利要求1所述的系统，其中，所述根据所述视频数据以及所述测量数据获得与所述动作检测指令对应的运动参数信息，包括：
对于接收的每帧视频数据，获得在该帧视频数据与上一帧视频数据之间各个肢体关键点的位移，根据所述各个肢体关键点的位移，通过线性变换对所述测量数据进行矫正；
根据所述采集到的视频数据以及经矫正后的测量数据，获得与所述动作检测指令对应的运动参数信息。
9.根据权利要求1所述的系统，其中，所述处理装置还用于：
获得与当前动作检测指令对应的运动参数信息之后，检测是否还存在下一个动作检测指令，若存在，向所述显示装置发送所述下一个动作检测指令，否则，输出针对所有动作检测指令的检测结果。
10.根据权利要求9所述的系统，其中，每个动作检测指令唯一对应MDS-UPDRS量表中的一项运动功能，所述根据所述视频数据以及所述测量数据获得与所述动作检测指令对应的运动参数信息的操作，还包括：
根据与每个动作检测指令对应的运动参数信息，确定与每个动作检测指令对应的运动功能的评分；
其中，所述检测结果包括与所述MDS-UPDRS量表对应的评分报告。
11.一种用于获得运动参数信息的方法，其中，该方法包括：
显示装置响应于接收到的动作检测指令，呈现与所述动作检测指令对应的标准动作；
视频采集装置响应于接收到的与所述动作检测指令对应的视频采集指令，采集视频数据，并将所述视频数据发送至处理装置；
固定在用户肢体上的惯性测量单元将采集到的测量数据发送至所述处理装置，其中，所述惯性测量单元与所述视频采集装置同步开始采集；
所述处理装置接收来自所述视频采集装置的视频数据以及来自所述惯性测量单元的测量数据，并根据所述视频数据以及所述测量数据获得与所述动作检测指令对应的运动参数信息。
12.根据权利要求11所述的方法，其中，该方法还包括：
所述显示装置响应于接收到的初始化指令，呈现标准站立动作；
所述视频采集装置响应于接收到的与所述初始化指令对应的图像采集指令，采集用户图像，并将所述用户图像发送至所述处理装置；
所述处理装置接收来自所述视频采集装置的所述用户图像，根据所述用户图像识别得到各个肢体关键点的第一位置信息，并根据所述第一位置信息，确定用户的关键肢体长度信息。
13.根据权利要求12所述的方法，其中，该方法还包括：
所述处理装置根据所述用户图像识别得到所述惯性测量单元的第二位置信息，并根据所述第一位置信息和所述第二位置信息，计算每个惯性测量单元与相应肢体关键点之间的距离信息。
14.根据权利要求11所述的方法，其中，该方法还包括：
所述处理装置向所述视频采集装置发送视频采集指令，并向所述惯性测量单元发送同步信号；
所述惯性测量单元接收来自所述处理装置的所述同步信号，根据所述同步信号启动测量程序，并将采集到的测量数据发送至所述处理装置。
15.根据权利要求14所述的方法，其中，该方法还包括：
所述处理装置当根据所述视频数据识别到用户执行预定结束动作时，向所述视频采集装置和所述惯性测量单元发送结束采集指令；
所述视频采集装置响应于接收到的来自所述处理装置的结束采集指令，停止采集视频数据；
所述惯性测量单元响应于接收到的来自所述处理装置的结束采集指令，停止采集测量数据。
16.根据权利要求11所述的方法，其中，所述根据所述视频数据以及所述测量数据获得与所述动作检测指令对应的运动参数信息，包括：
对于接收的每帧视频数据，当满足预定条件时，根据所述测量数据对在该帧视频数据与上一帧视频数据之间的肢体关键点运动轨迹进行插值；
根据经插值后得到的与所述动作检测指令对应的肢体关键点运动轨迹，获得与所述动作检测指令对应的运动参数信息。
17.根据权利要求16所述的方法，其中，所述预定条件包括以下任一项：
-至少一个肢体关键点被遮挡；
-用户的肢体运动速度大于或等于预定速度阈值。
18.根据权利要求11所述的方法，其中，所述根据所述视频数据以及所述测量数据获得与所述动作检测指令对应的运动参数信息，包括：
对于接收的每帧视频数据，获得在该帧视频数据与上一帧视频数据之间各个肢体关键点的位移，根据所述各个肢体关键点的位移，通过线性变换对所述测量数据进行矫正；
根据所述采集到的视频数据以及经矫正后的测量数据，获得与所述动作检测指令对应的运动参数信息。
19.根据权利要求11所述的方法，其中，该方法还包括：
所述处理装置获得与当前动作检测指令对应的运动参数信息之后，检测是否还存在下一个动作检测指令，若存在，向所述显示装置发送所述下一个动作检测指令，否则，输出针对所有动作检测指令的检测结果。
20.根据权利要求19所述的方法，其中，每个动作检测指令唯一对应MDS-UPDRS量表中的一项运动功能，所述根据所述视频数据以及所述测量数据获得与所述动作检测指令对应的运动参数信息的操作还包括：
根据与每个动作检测指令对应的运动参数信息，确定与每个动作检测指令对应的运动功能的评分；
其中，所述检测结果包括与所述MDS-UPDRS量表对应的评分报告。
CN201910992854.5A 2019-10-18 2019-10-18 一种用于获得运动参数信息的系统和方法 Pending CN110826422A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910992854.5A CN110826422A (zh) 2019-10-18 2019-10-18 一种用于获得运动参数信息的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910992854.5A CN110826422A (zh) 2019-10-18 2019-10-18 一种用于获得运动参数信息的系统和方法

Publications (1)

Publication Number Publication Date
CN110826422A true CN110826422A (zh) 2020-02-21

Family

ID=69549541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910992854.5A Pending CN110826422A (zh) 2019-10-18 2019-10-18 一种用于获得运动参数信息的系统和方法

Country Status (1)

Country Link
CN (1) CN110826422A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112890823A (zh) * 2021-01-22 2021-06-04 深圳市润谊泰益科技有限责任公司 生理数据采集方法、系统及存储介质
CN113362946A (zh) * 2021-07-20 2021-09-07 景昱医疗器械(长沙)有限公司 视频处理装置、电子设备及计算机可读存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102179048A (zh) * 2011-02-28 2011-09-14 武汉市高德电气有限公司 基于动作分解和行为分析实现实景游戏的方法
CN104434129A (zh) * 2014-12-25 2015-03-25 中国科学院合肥物质科学研究院 一种帕金森及相关锥体外系疾病运动障碍症状量化评测装置及方法
CN104658012A (zh) * 2015-03-05 2015-05-27 第二炮兵工程设计研究院 一种基于惯性与光学测量融合的运动捕捉方法
US20160091717A1 (en) * 2014-09-25 2016-03-31 Coretronic Corporation Head-mounted display system and operation method thereof
US20160089073A1 (en) * 2014-09-29 2016-03-31 Xerox Corporation Automatic visual remote assessment of movement symptoms in people with parkinson's disease for mds-updrs finger tapping task
CN106251387A (zh) * 2016-07-29 2016-12-21 武汉光之谷文化科技股份有限公司 一种基于动作捕捉的成像系统
CN106807056A (zh) * 2017-02-15 2017-06-09 四川建筑职业技术学院 一种基于体感游戏的健身训练指导系统及指导方法
CN107122048A (zh) * 2017-04-21 2017-09-01 甘肃省歌舞剧院有限责任公司 一种动作评估系统
CN107392939A (zh) * 2017-08-01 2017-11-24 南京华捷艾米软件科技有限公司 基于体感技术的室内运动观测装置、方法及存储介质
CN108268129A (zh) * 2016-12-30 2018-07-10 北京诺亦腾科技有限公司 对动作捕捉手套上的多个传感器进行校准的方法和装置及动作捕捉手套
US20180353836A1 (en) * 2016-12-30 2018-12-13 Intel Corporation Positional analysis using computer vision sensor synchronization
CN109480858A (zh) * 2018-12-29 2019-03-19 中国科学院合肥物质科学研究院 一种用于量化检测帕金森患者运动迟缓症状的可穿戴智能系统及方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102179048A (zh) * 2011-02-28 2011-09-14 武汉市高德电气有限公司 基于动作分解和行为分析实现实景游戏的方法
US20160091717A1 (en) * 2014-09-25 2016-03-31 Coretronic Corporation Head-mounted display system and operation method thereof
US20160089073A1 (en) * 2014-09-29 2016-03-31 Xerox Corporation Automatic visual remote assessment of movement symptoms in people with parkinson's disease for mds-updrs finger tapping task
CN104434129A (zh) * 2014-12-25 2015-03-25 中国科学院合肥物质科学研究院 一种帕金森及相关锥体外系疾病运动障碍症状量化评测装置及方法
CN104658012A (zh) * 2015-03-05 2015-05-27 第二炮兵工程设计研究院 一种基于惯性与光学测量融合的运动捕捉方法
CN106251387A (zh) * 2016-07-29 2016-12-21 武汉光之谷文化科技股份有限公司 一种基于动作捕捉的成像系统
CN108268129A (zh) * 2016-12-30 2018-07-10 北京诺亦腾科技有限公司 对动作捕捉手套上的多个传感器进行校准的方法和装置及动作捕捉手套
US20180353836A1 (en) * 2016-12-30 2018-12-13 Intel Corporation Positional analysis using computer vision sensor synchronization
CN106807056A (zh) * 2017-02-15 2017-06-09 四川建筑职业技术学院 一种基于体感游戏的健身训练指导系统及指导方法
CN107122048A (zh) * 2017-04-21 2017-09-01 甘肃省歌舞剧院有限责任公司 一种动作评估系统
CN107392939A (zh) * 2017-08-01 2017-11-24 南京华捷艾米软件科技有限公司 基于体感技术的室内运动观测装置、方法及存储介质
CN109480858A (zh) * 2018-12-29 2019-03-19 中国科学院合肥物质科学研究院 一种用于量化检测帕金森患者运动迟缓症状的可穿戴智能系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZERONG ZHENG ET AL.: "HybridFusion: Real-Time Performance Capture Using a Single Depth Sensor and Spare IMUs", 《LECTURE NOTES IN COMPUTER SCIENCE》 *
刘遥 等: "帕金森病患者手指开合动作规律性的量化评估", 《生物医学工程学杂志》 *
王露晨: "基于动作捕捉技术的舞蹈姿态分析与教学方法研究", 《中国优秀硕士学位论文全文数据库（哲学与人文科学辑）》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112890823A (zh) * 2021-01-22 2021-06-04 深圳市润谊泰益科技有限责任公司 生理数据采集方法、系统及存储介质
CN112890823B (zh) * 2021-01-22 2023-10-13 深圳市润谊泰益科技有限责任公司 生理数据采集方法、系统及存储介质
CN113362946A (zh) * 2021-07-20 2021-09-07 景昱医疗器械(长沙)有限公司 视频处理装置、电子设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
US11372484B2 (en) Method and system for determining a correct reproduction of a movement
US9154739B1 (en) Physical training assistant system
US10799299B2 (en) Tracking system and tracking method using same
EP3315068B1 (en) Device, method, and computer program for providing posture feedback during an exercise
US8565488B2 (en) Operation analysis device and operation analysis method
US11403882B2 (en) Scoring metric for physical activity performance and tracking
KR101775581B1 (ko) 사용자 운동 동작 분석 정보 제공을 위한 데이터 처리방법 및 이를 이용한 사용자 운동 동작 분석장치와, 사용자 골프 스윙 분석정보 제공을 위한 데이터 처리방법 및 이를 이용한 골프 스윙 분석 장치
US10991124B2 (en) Determination apparatus and method for gaze angle
CN110826422A (zh) 一种用于获得运动参数信息的系统和方法
CN113228070A (zh) 用于手动装配线操作的自动重复步骤和循环检测的方法和系统
US20230005161A1 (en) Information processing apparatus and determination result output method
KR101636171B1 (ko) 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템
KR101221784B1 (ko) 카메라를 이용한 운동 분석평가 시스템 및 그 제어방법
US20240057946A1 (en) Sarcopenia evaluation method, sarcopenia evaluation device, and non-transitory computer-readable recording medium in which sarcopenia evaluation program is recorded
JP6171781B2 (ja) 視線分析システム
JP2017056107A5 (zh)
JP6417697B2 (ja) 情報処理装置、脈波計測プログラムおよび脈波計測方法
KR20160035497A (ko) 스켈레톤 추출정보를 이용한 동작분석 기반의 체형분석 시스템
TWI581765B (zh) 運動軌跡感測系統及其運動軌跡收集方法
JP6772593B2 (ja) 移動体識別装置、移動体識別システム、移動体識別方法及びプログラム
JP6944144B2 (ja) スイング解析装置、方法及びプログラム
JP6661882B2 (ja) 情報処理装置、振戦情報表示方法、情報処理システム、及びプログラム
CN110764609A (zh) 用于数据同步的方法和装置以及计算设备
RU2731793C1 (ru) Устройство дистанционного измерения кинематических характеристик 3D движения человека, в том числе антропоморфного механизма
CN108700989A (zh) 终端设备的触摸显示屏幕的性能测试方法和性能测试装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200310

Address after: 100080 room 1001-003, No. 3 Haidian Avenue, Haidian District, Beijing, 1 room 1001-003

Applicant after: SINOVATION VENTURES (BEIJING) ENTERPRISE MANAGEMENT CO.,LTD.

Address before: Room 1001-086, building 1, No. 3, Haidian Street, Haidian District, Beijing 100080

Applicant before: Beijing LiangJian Intelligent Technology Co.,Ltd.

TA01 Transfer of patent application right
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200221

WD01 Invention patent application deemed withdrawn after publication