CN105451827A - 复健姿势及姿势识别 - Google Patents

复健姿势及姿势识别 Download PDF

Info

Publication number
CN105451827A
CN105451827A CN201480044532.3A CN201480044532A CN105451827A CN 105451827 A CN105451827 A CN 105451827A CN 201480044532 A CN201480044532 A CN 201480044532A CN 105451827 A CN105451827 A CN 105451827A
Authority
CN
China
Prior art keywords
time
picture frame
spatial relationship
sequence
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480044532.3A
Other languages
English (en)
Inventor
阿卡迪·多曼斯基
伊多·阿兹兰
伊藤·马加尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BIOGAMING Ltd
Original Assignee
BIOGAMING Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BIOGAMING Ltd filed Critical BIOGAMING Ltd
Publication of CN105451827A publication Critical patent/CN105451827A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/486—Bio-feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/816—Athletics, e.g. track-and-field sports
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Cardiology (AREA)
  • Social Psychology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Rehabilitation Tools (AREA)

Abstract

一种运动复健系统，包括：一运动传感器，包括一动作感应摄像机；以及一计算机装置，包括：(a)一非瞬时内存，包括一组复健姿势存储值，各存储值定义若干个理论身体关节之间随时间序列的空间关系，其中每一时间序列包括：初始空间关系、中间姿势空间关系及最终空间关系；以及(b)一硬件处理器配置以连续接收来自于所述动作感应摄像机所记录的随时间序列的图框，其中每一图框包括病人若干个身体关节的每一个的三维位置，其中所述硬件处理器进一步配置以实时将所记录的随时间序列的图框与随时间序列的空间关系比较，以侦测病人执行的复健姿势。

Description

复健姿势及姿势识别
技术领域
本发明涉及一种复健姿势及姿势识别。
背景技术
生理功能的衰退常常与年龄有关的整体健康的伤害相关连，或是伤害或疾病的结果。这样的衰退也会导致自信、社交互动及社区参与的衰退。肢体残疾人士常常在控制马达、移动强度及范围中经历限制。这些缺陷会严重地限制他们执行日常工作的能力，例如独立地穿衣、梳头发、以及洗澡。此外，这些缺陷以及疼痛会降低社区及休闲活动的参与，甚至会负面地影响工作。
参与并遵守通常包括重复训练的物理治疗是复健过程中必要的部分，其目标在于协助肢体残疾人士克服他们经历的限制。然而，一直在争论的问题是大部分肢体残疾人士并未完成建议的训练。人们常常表示阻碍他们正常地训练是缺乏动机。此外，在一个治疗期间，训练的数量常常是不够的。在复健期间，治疗师通常会亲自提供身体协助并监督每个学生的动作是否达到一特定标准。因此，治疗师一次只能复健一位病人，或顶多一小群人。病人常常缺少热情去参与沉闷的复健过程，导致持续的肌肉萎缩及缺乏肌肉耐力。
而且，众所周知，成人且尤其是小孩对于重复相同的动作会感到厌烦，这对于成人或小孩在创伤后的复健期间必须训练特定肌肉是有问题的，举例来说，当某人折断他或她的手臂后，需要典型的特殊训练，让这些重复工作变得有趣是很困难的。现有在复健期间协助人们的方法包括利用游戏鼓励人们，特别是小孩多做训练。
因此，利用技巧使重复的身体训练更有趣对于病人在家执行复健的物理治疗是有利的，使用影像游戏技术已经开始被探索来作为商业上可用的工具，藉此传送训练及复健程序到病人本身家中。
Basson等人的美国专利号6,712,692揭露一种收集关于一人(其可以为成人或小孩)活动信息的方法，所述信息映像到一或多个游戏控制器指令，游戏控制器指令耦接至一影像游戏，且该游戏在被正常操作时响应所述游戏控制器指令。
Latta等人的美国专利号7,996,793揭露姿势识别器系统架构的系统、方法及计算机可读取媒体。提供识别器引擎，其接收用户动作数据并提供所述数据给若干个滤波器，一个滤波器对应至一个姿势，其可以被接收来自于姿势识别器的信息的应用程序调整，使得所述姿势的特定参数，例如投掷姿势的手臂加速度可以被设定在每一应用程序级上，或在单一应用程序中的多次。每一个滤波器可将对应姿势发生的可信程度及更多关于用户活动数据的细节输出至一使用其之应用程序。
Shavit等人的美国专利公开号2012/0190505A1揭露一种监控日常身体训练表现的系统，其包括一让用户执行日常身体训练的普拉提训练装置；若干个用于产生至少包括用户执行日常身体训练的位置及活动的感测信息的活动及位置传感器；一包含代表至少一日常身体训练最佳执行的数据库；一训练模块配置为从感测信息分离的至少所述普拉提训练装置的外观、比对所述分离的感测信息及日常信息以侦测所述分离的感测信息及所述日常信息的差异，其中所述差异表示所述日常身体训练的错误执行，所述训练模块进一步配置为将用户日常身体训练的正确执行回馈给所述用户；以及一显示器用于显示所述回馈。
Smith等人(2012)揭露主影像游戏平台系统(任天堂WiiTM,索尼及微软)的概况，并讨论某些已经用于年长者的功能能力的复健、评估及训练的情况。具体来说，严重影响年长者功能独立性的两个问题是源自于中风及跌倒的受伤和残疾。请参见S.T.Smith、D.Schoene，年长者身体功能的训练及复健的以影像为基础的影像游戏的使用，AgingHealth,2012；8(3):243-252。
Ganesean等人(2012)揭露一计划，其目的在于找出在激励年长者维持日常身体训练与医师建议却难以维持的习惯中，扮演重要角色的因素。初始数据收集包括与老化及物理治疗专家以及具有年长者训练及技术主题的专门小组的访问。基于这些资料，早期用于协助鼓励年长者训练的微软Kinect原型游戏已经实现，所述Kinect应用程序已经过基本可用性的测试且被证实是大有可为的，下一步包括年长者的游戏测试、对游戏进行迭代发展以增加动机特征、以及游戏成功鼓励年长者维持训练养生之道的评估。请参见S.Ganesan,L.Anthony，使用Kinect鼓励年长者进行：原型，ExtendedAbstractsoftheACMConferenceonHumanFactorsinComputingSystems(CHI’2012),Austin,TX,5May2012,p.2297-2302。
Lange等人(2011)揭露商业影像游戏作为复健工具的使用，例如任天堂WiiFit近来已经在物理治疗领域引起兴趣。活动追踪控制器，例如任天堂Wiimote并不能足以精确地感测所有平衡组件的表现。此外，用户可以想出如何透过执行最小活动来“欺骗”不精确的追踪器(例如用手腕转动Wiimote而不是用完整手臂挥动)。身体复健需要对表现有精确且合适的追踪及回馈。为此目的，利用最近进步的商业影像游戏技术来提供动画虚拟角色的全身控制的应用程序已被发展，所述方法的关键因素是最新可用的低成本深度感测摄像机技术，其在个人计算机上提供无标记的全身追踪，研究的目标在于发展及评定迭代的以影像为基础的复健工具来平衡神经损伤的成人的训练。请参见B.Lange,C.Y.Chang,E.Suma,B.Newman,A.S.Rizzo,M.Bolas，使用微软Kinect传感器的低成本以影像为基础的平衡复健工具的发展与评估，33rdAnnualInternationalConferenceoftheIEEEEMBS,2011。
不同于“一般”游戏，手势与姿势的精确性对于为了物理治疗与复健目的而使用影像游戏的病人，且对于执行训练的正确方式是很重要的。
Shen(2012)揭露一种自然用户接口来控制可视化工具-使用微软Kinect的“视觉分子动力学”，其介绍人机互动、图像处理、模式识别及计算器视觉的相关背景。原始算法是针对计算手形的手指数而设计，其取决于深度影像的二值化及形态学二值化处理。贝叶斯分类器是针对手势识别任务所设计及实施。请参阅ChenShen，使用微软Kinect控制的视觉分子动力学，爱丁堡大学，2012。
Lopez(2012)讨论使用人类行为分析技术的人类手势识别的问题。具体而言，他将提出的方法应用于医疗保健和社会应用中。在这些环境中，手势通常是以自然的方式进行的，在属于他们的人类姿势之间产生高度变异性。此事实使得人类手势识别成为一个非常具有挑战性的任务，以及人类行为分析的发展的一般化。为了解决人类手势识别的完整框架，他将过程分裂在三个主要目标：计算多模式特征空间、手势的概率模型、以及子手势表示的人类姿势的聚集。每一个目标中隐含地包括不同的挑战问题，其相互关联且面临的三个方法：视觉和深度、以概率为基础的动态时间规整、以及子手势表示。每一个方法已进行了详细说明。他已经在不同的公共和设计的数据集验证了所呈现的方法，表现出高性能和使用我们方法用于真实人类行为分析系统和应用的可行性。最后，他总结了目前在发展中不同的相关应用，以及研究的结论和未来趋势。请参阅VictorPonceLopez，结合动态程序及概率方法的多模式人类手势识别，MasterofScienceThesis,Barcelona,2012。
上述相关技术和与其相关的限制的目的是示例性的而不是唯一的，本领域的技术人员在阅读说明书及研究图示后将会明白相关技术的其他限制。
发明内容
下列实施例及其各方面是结合系统、工具和方法来描述和说明，其意为示范性和说明性的而非限制范围。
根据一实施例，提供一种运动复健系统，包括：一运动传感器，包括一动作感应摄像机；以及一计算机装置，包括：(a)一非瞬时内存，包括一组复健姿势存储值，各存储值定义若干个理论身体关节之间随时间序列的空间关系，其中每一时间序列包括：初始空间关系、中间姿势空间关系及最终空间关系；以及(b)一硬件处理器配置以连续接收来自于所述动作感应摄像机所记录的随时间序列的图框，其中每一图框包括病人若干个身体关节的每一个的三维位置，其中所述硬件处理器进一步配置以实时将所记录的随时间序列的图框与随时间序列的空间关系比较，以侦测病人执行的复健姿势。
根据一实施例，进一步提供一种运动复健系统中姿势侦测的方法，所述方法包括：提供一组复健姿势存储值，各存储值定义若干个理论身体关节之间随时间序列的空间关系，其中每一时间序列包括：初始空间关系、中间姿势空间关系及最终空间关系；以及使用至少一硬件处理器以：(a)连续接收来自于所述动作感应摄像机所记录的随时间序列的图框，其中每一图框包括病人若干个身体关节的每一个的三维位置；以及(b)实时将所记录的随时间序列的图框与随时间序列的空间关系比较，以侦测病人执行的复健姿势。
在一些实施例中，所述每一时间序列的空间关系进一步包括至少一个空间关系的一个或多个范围值。
在一些实施例中，所述每一时间序列的空间关系进一步包括至少一个空间关系之间的过渡时间的一个或多个范围值。
在一些实施例中，每一空间关系包括所述理论身体关节在三维空间中形成的向量之间的角度。
在一些实施例中，所述空间关系包括所述理论身体关节在三维空间中的距离。
在一些实施例中，所述动作感应摄像机配置而用图框率为每秒钟20个或更高的图框来产生所记录的随时间序列的图框。
在一些实施例中，所述动作感应摄像机配置而用图框率为每秒钟30个或更高的图框来产生所记录的随时间序列的图框。
在一些实施例中，所述动作感应摄像机配置而用图框率为每秒钟40个或更高的图框来产生所记录的随时间序列的图框。
在一些实施例中，所述硬件处理器进一步配置以将所记录的随时间序列的图框的三维位置转换成所述理论身体关节在三维空间中形成的向量之间的角度。
在一些实施例中，所述硬件处理器进一步配置以将所记录的随时间序列的图框的三维位置转换成所述理论身体关节在三维空间中的距离。
除了上面描述的示例性实施例，更多方面和实施例将随着以下详细说明研究及图示更加清楚。
附图说明
图1显示根据一些实施例的用于复健治疗的系统框图；
图2显示根据一些实施例的总结一特定病人的信息给治疗师的专用网站页面的例子；
图3显示根据一些实施例的由治疗师使用建立一特定病人的治疗计划的例子；
图4显示根据一些实施例的用于深度识别的结构化的光方法的说明；
图5显示根据一些实施例的用于确定像素深度的三角计算的顶部视图的二维图；
图6显示根据一些实施例的人体主要部件和关节的说明；
图7显示根据一些实施例的影像游戏级别屏幕截图的例子；
图8显示根据一些实施例的影像游戏级别屏幕截图的另一个例子；
图9显示根据一些实施例的右弓步训练监控的说明；
图10显示根据一些实施例的右摆训练监控的例子；
图11显示根据一些实施例的双脚跳跃训练监测的例子；
图12显示根据一些实施例的左腿跳跃运动监控的例子；以及
图13显示根据一些实施例的手势侦测方法的框图。
具体实施方式
于此揭露一种在运动复健系统中姿势侦测的系统和方法。
通常，需要复健治疗的人，例如遭受身体损害和需要物理治疗处理的事故受害者、罹患退化疾病的老年人、患有身体限制的脑性瘫痪的孩童等，到一个复健中心，遇到一个对他们指示治疗计划的治疗师，并在复健中心和/或家中执行所述计划。在许多情况中，所述治疗计划包括具有或没有治疗师监督的反复执行的身体训练。所述计划通常在多次约会中进行，每一个约会中，治疗师可以监测病人的进展并提高训练的难度。这种传统的方法有几个缺点：至少计划的一部分需要病人到复健中心，对于某些人可能是浪费时间且很困难的(例如老年人、小孩子等)，且往往涉及重复和枯燥的活动，可能导致缺乏动机而放弃计划，并可能会限制治疗师处理相当少量数目的患者。
因此，允许在病人的家以影像游戏的形式执行治疗计划，治疗师和病人之间容易沟通计划指示及进展监控，对于治疗师和病人是有利的。此外，结合上述优势，同时提供病人特定的影像游戏，而不是一般的视频游戏，也有很大的意义。
尽管如此，为了使用影像游戏达成高效率的治疗，训练需要注意动作精确性、执行期间等的执行。目前，许多利用活动识别装置的一般互动的影像游戏并不考虑这样的参数，主要是因为一般互动的影像游戏不需要这样的精确性。因此精确识别姿势及手势是有优点的。
词汇表
影像游戏：由玩家玩的一种游戏，其中对于玩家的主要接口是使用例如屏幕显示的视觉内容。影像游戏可以通过例如个人计算机(PC)或专用的游戏机平台执行，其可以连接到例如电视屏幕的输出显示器，以及例如手持控制器、运动识别装置等的输入控制器。
影像游戏的级别：影像游戏中的限制部分，具有被定义的开始和结束。通常，影像游戏包括多个级别，每个级别可以涉及一个较高难度的级别，需要玩家更多的努力。
影像游戏控制器：玩家所使用与个人计算机或游戏平台进行互动的用户接口(UI)的硬件部分。
运动传感器：一种允许用户通过识别用户的身体运动来与个人计算机或游戏平台进行互动的影像游戏控制器。例如包括由用户的身体移动的手持式传感器是装置在身上的传感器、侦测用户运动的摄像机等。
运动识别装置：一种运动传感器，是一种用于远程感测玩家运动的电子设备，并将其转换成可输入到游戏控制台且被影像游戏使用的信号，藉此对玩家运动作出反应，形成互动游戏。
运动识别游戏系统：包括个人计算机或游戏控制台和运动识别装置的系统。
影像游戏互动：用户对影像游戏指示他或她希望在游戏中希望做的事，例如，鼠标互动、控制器互动、触碰互动，近距离摄像机互动或长距离摄像机互动。
姿势：玩家一或多个身体部位的身体运动，可以被运动识别装置识别。
训练：为了特定复健目的所做的特定类型的身体活动。训练可以由一个或多个姿势组成。例如，称为“弓步”的训练是指一条腿突然向前移动，可以用来加强四头肌，称为“撑脚”的训练可以用来提高稳定性等等。
重复(也就是“实例”)：特定训练的表现。举例来说，重复的撑脚训练包括开始时将一条腿抬在空中的姿势，将腿抬在空中一段特定的时间，并将腿放回地面的姿势。
中场休息：两个连续重复动作之间的一段时间，这段期间玩家可以休息。
一个合适的运动识别装置的例子是微软公司的Kinect，其为用于Xbox360影像游戏控制台和Windows的个人计算机的动作感应摄像机。基于Xbox360影像游戏控制台围绕的网络摄像机外加周边装置，Kincet可以让用户通过动态UI控制Xbox360并和其互动，通过使用身体姿势的自然用户界面而无需触摸游戏控制器。
本系统和方法也适用于其他的游戏控制台，例如索尼的PlayStation，任天堂Wii等，运动识别装置可以是这些或其他游戏控制台的标准装置。
除非特别说明，说明书中所讨论使用的词语如“处理”、“计算”、“确定”等指的是电子计算机系统或类似的电子计算机装置的动作和/或处理，电子计算机系统或类似的电子计算机装置操作和/或将电子计算机系统的缓存器和/或内存中以物理表示例如电子、量的数据转换为电子计算机系统的内存、缓存器等之中其他以物理量表示的数据。
举例来说，部分实施例可以使用计算机可读取介质或可以存储指令或一组指令的物质来实现，如果通过计算机执行(例如，通过硬件处理器和/或其他合适的机器)，可使计算机执行本发明实施例的方法和/或操作。例如，这样的计算机可以包括任何合适的处理平台、计算平台、计算机装置、处理装置、计算系统、处理系统、计算机、处理器、游戏控制台等，并且可以使用任何合适的硬件和/或软件组合来实现。计算机可读取介质或物质例如可以包括任何类型的磁盘包括软盘、光盘、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、闪存、电可编程只读存储器(EPROM)，电可擦除可编程只读存储器(EEPROM)，磁性或光学卡，或任何其他类型适合存储电子指令的媒体，并能够被连接到计算机系统总线。
指令可以包括任何类型的码，例如源代码、编译后的代码、解释代码、可执行代码、静态代码、动态代码或相类似的，且可以使用任何合适的高阶、低阶、面向对象、可视化、编译和/或解释型编程语言，例如C、C++、C#、Java、BASIC、Pascal、Fortran、Cobol、汇编语言、机器代码等。
本系统和方法可以随着参考图示有更好地理解。参阅图1，其显示用于复健治疗的系统框图。治疗师102可以登录到专用网站104、与病人100沟通、指示治疗计划(也被称为“处方”或“疗法计划”)、并监测病人的进展。网站104可以接收指示的计划并将其存储在专用数据库106。治疗计划可以自动转换成一影像游戏级别。当病人100激活他或她的影像游戏，新级别或产生新级别的指令可以下载到他或她的游戏控制台108，他或她可以玩这个新级别。由于游戏可以是互动的，运动识别装置可以监控病人的动作以存储病人的结果和进展，或在游戏过程中例如以得分积累的形式提供实时反馈。结果接着可以被发送到数据库106以供存储，并可供治疗师102在网站104上查看，用于监控病人100的进展，并为病人100接受反馈。
参阅图2，其显示总结一特定病人的信息给治疗师的专用网站页面的例子。该页面可显示病人简介、预约史、诊断、其他治疗师评论历史等的摘要。
参阅图3，其显示由治疗师使用建立一特定病人的治疗计划的例子。治疗师可以输入所需的训练、重复次数、难度级别等。由于运动识别装置的使用对于本方法是很重要的，对市售的运动识别装置(Kinect)的工作原理及其对本方法的用处将于以下描述。
参阅图4，其显示用于深度识别的结构化的光方法的说明。一投影仪可用于投影已知的条纹状的光图形的场景。被投影的物体可以使光图形与其形状等效地被扭曲。安装在与投影仪具有一已知距离的摄像机可以捕捉从物体反射出来的光，并感测在光图形中形成的扭曲以及图像中每个像素的反射光的角度。
参阅图5，其显示用于确定像素深度的三角计算的顶部视图的二维图。该摄像机可以距离光源(b)一已知距离之处。P是被投影物体上待计算坐标的一个点。根据正弦定理：
P的坐标由(dcosβ,dsinβ)而得。由于α和b是已知的且β由投影几何定义，可以解出P的坐标。以上的计算为简单起见是用于二维，但实际的装置可以实际地计算每个像素坐标的三维解法，藉此形成可用来识别人类运动的完整深度影像的场景。
参阅图6，其显示人体主要部位和关节的说明。通过识别病人身体部位和关节运动，所讨论的方法可以分析病人的姿势和响应游戏所需的行动，藉此产生直接的反馈给病人，并存储以供治疗师未来分析。
参阅图7，其显示影像游戏级别屏幕截图的例子。这特定级别的设计可以包括蹲下、弓步、踢腿、摆腿等，病人可以看到一角色700实时进行他的动作。角色700可以站在移动的车辆702上，当病人在进行蹲下时可以加速，并且当病人在进行弓步时可以减速。一些落脚点704可以显示在车辆702平台上且可以动态地显示，以指导病人在进行蹲下、弓步、踢腿、摆腿等时将脚放在正确的位置，右转装置706a和左转装置706b可以显示在车辆702的右侧及左侧，当病人进行摆腿训练时形成视觉反馈。
参阅图8，其显示影像游戏级别屏幕截图的另一个例子。这特定级别的设计可以包括髋关节屈曲，撑脚及跳跃等，病人可以看到一个角色800实时进行他的动作。角色800可以在具有障碍804的轨道802上前进。病人需要进行诸如髋关节屈曲、腿部跳跃等动作，以避免障碍和/或聚集的物体。
关节相互关系计算
参阅图9，其显示右弓步训练监控的说明。用弓步初始姿势900的病人可以做弓步训练，其可以用弓步最终姿势结束。病人的运动可以由运动识别装置对其捕捉的每个图框，通过三维空间(即x、y、z坐标)中若干个身体关节的位置取样来作监控。接着可以用图框率为每秒20、30、40或更多图框将一系列的图框传送到一计算机装置，例如游戏控制台906。
游戏控制台906可以包括一处理器908和一组存储值910，以便计算并将病人的运动转换成区分的姿势和手势。处理器908可以将每幅捕捉的图框的三维空间(即x、y、z坐标)中，身体关节的位置转换为身体的四肢和/或关节的空间关系(即四肢和/或关节之间的距离，和/或由四肢和/或关节之间暂时形成的向量的角度)。计算结果接着可以与该组存储值910进行比较，这些值可以定义对于特定训练在任何阶段的适当执行(包括训练的开始与结束)，所需的身体四肢和/或关节之间的空间关系(即四肢和/或关节之间的距离，和/或由四肢和/或关节之间形成的向量的角度的所需范围)。
此外，该组存储值910也可存储在不同阶段中，适当执行训练所需的空间关系之间的过渡时间的范围值。于一描绘的例子中，对于弓步适当的执行需要一定的初始姿势900。处理器908可以通过以下方式计算出右髋关节912、右膝盖914和右脚踝916之间的空间距离和/或角度：右髋关节912和右膝914之间的向量可以通过减去它们的空间位置来计算。类似地，可以计算右膝盖914和右脚踝916之间的向量。最后，这些向量之间的空间角度可以被计算，以验证这些关节可以大致对齐一条线(即病人右腿大致是直的)。类似地，左髋关节918、左膝盖920和左脚踝922也需要大致对齐一条线(即病人左腿大致是直的)。右脚踝916和左脚踝922在它们之间一特定距离需要大致相同的高度。最后，右膝盖914和左膝盖920在它们之间一特定距离需要对齐(即没有一个应该向前)。
也需要一个最终姿势902，处理器908可以通过下列方式计算出右髋关节912和右膝盖914之间的空间距离和/或角度：右髋关节912和右膝盖914之间的向量可以通过减去它们的空间位置来计算，这个向量需要与地面平行，举例来说，XZ平面，其Y值等于零。类似地，可以计算右膝盖914和右脚踝916之间的向量，这个向量需要与地面垂直。最后，这些向量之间的空间角度可以被计算，以验证它们之间可以形成一个90°±10°的夹角(即患者右胫骨相对于右髋弯曲90°±10°)。类似地，左髋关节918和左膝盖920的向量需要与地面垂直。最后，右膝盖914和左膝盖920需要在一定的距离内(即病人的膝盖不向内或向外)。应该注意的是，当在最终姿势902，从运动识别装置904来看，左脚踝922可能被左膝盖920和/或左髋关节隐藏。在这种情况下，运动识别装置904可以误转或不转左脚踝922(如在地板下)的位置。本系统可以侦测到这种情况并可以作出假设以根据左膝盖920位置修正被隐藏的左脚踝922位置。在这种情况下，本系统的另一个选择可以是在所有的计算中不管左脚踝922。
类似地，在初始和最终姿势之间的中间姿势可以被定义。它们的参数可以被存储在该组存储值910中，并且可以由处理器908计算和比较。计算可取决于运动性质，在每个病人被捕捉的图框中进行。
对于训练的适当表现，需要从初始姿势900到最终姿势902的特定时间、中间姿势的转换时间、以及维持最终姿势902的时间。处理器908可以计算这些时间值并将它们与该组存储值910比较。
后姿态计算
参阅图10，其显示右摆训练监控的例子。右摆初始姿势1000的病人可以执行一个右摆训练，这可能在同一姿势1000结束(即在这项训练中的初始和最终姿势可能是相同的)。在这种训练中，处理器908可以进行后处理。换句话说，尽管病人运动可以通过运动识别装置来监控904，且一系列的图框可以实时被传送到游戏控制台906，但是只有当训练的最终姿态势定后，处理器908才可以计算病人运动的空间距离，并将其与该组存储值910比较。在所描绘的例子中，对于右摆的适当表现，需要一个特定的初始姿势1000。初始姿势1000要求的计算类似于初始姿势900的计算，已在前一个例子中描述(右弓步训练)。如前所述，作为最终的姿势可能是相同于初始姿势1000，因此有相同的要求。在右摆训练中，病人需要用他或她的右脚踝916执行圆圈状运动。假想圆可以有一个高点1002，其中右脚踝916在Z轴上最接近运动识别装置904、一个低点1004，其中右脚踝916在Z轴上最远离运动识别装置904、和一个侧点1006，其中右脚踝916在X轴上是最远离病人身体。这些点需要在一个特定的时间序列：高点1002需要出现在侧点1006之前，侧点1006需要出现在低点1004之前。高点1002和低点1006在Z轴上的距离(也称为运动高度)需要在一定范围内。侧点1006和相对侧点之间在X轴上的距离(也称为运动宽度)需要在一定范围内。高度和宽度之间的差异需要在一定范围内(即摆动运动是够圆的)。侧点1006和相对侧点的Z轴值被要求是相似的，且这区段和运动宽度之间的差异需要在一定范围内。类似于侧点1006和支撑的左脚踝922的Y轴值(即病人在训练期间右腿没有接触地板)，侧点1006和高点1002的Y轴值需要有足够的差异。对于训练的适当表现，是病人的腿需要是直的，且病人的肩膀1008和1010不能向两侧倾斜。
对于训练的适当表现，从初始姿势1000到最终姿势1000的时间需要一定时间。处理器908可以计算这些时间值，并将它们与该组存储值910比较。
节点时间关系计算
参阅图11，其显示双脚跳跃训练监测的例子。在这种训练中，病人关节之间的空间关系在训练过程中是保持相似的。换句话说，一特定关节相对于一个或多个其他关节可能没有太多的运动。因此，在这些情况下，如果进行正确的训练，利用可靠的方法计算可以找到一特定关节位置及相同关节位置在不同时间的空间关系，即在特定关节的当前位置和之前位置之间找到差异。在双脚跳跃的例子，右髋和左髋(918和912)与右脚踝和左脚踝(922和916)可以被监控，因为它们的位置在训练时有显着差异，特别是在Y轴上。如果一个令人满意的之前的初始姿态被达成，这些关节向上的倾向可以被监测，这些关节的Y轴值和它们的初始Y轴值之间的差异需要在一定范围内，直到超过一定的阈值才确定是跳跃。当向下的倾向被确认，可以找到最终姿势的条件。双脚跳跃以一个在落地后立即的最终姿势结束。右脚踝和左脚踝(922和916)的Z轴及Y轴值需要是相似的。
综合计算
参阅图12，其显示左腿跳跃运动监控的例子。左腿跳跃初始姿势1200的病人可以执行左腿跳跃训练，这可能在同一姿势1200結束(即在这项訓練中的初始和最终姿势可能是相同的)。初始(和最终)姿势1200实际上是一个左腿站姿。如前所述，当最终姿势与初始姿势1200相同时，它们具有相同的要求。在单(右或左)腿跳跃的情况下，如果右髋和左髋(912和918)、右膝盖和左膝盖(914和920)、和右脚踝和左脚踝(916和922)中的一个或多个关节无法被运动识别装置904所识别，不会执行其它计算，以避免错误的姿势识别。执行跳跃时，计算可以考虑到与前面的例子(双腿跳跃训练)类似的注意事项，换句话说，可以监控左髋918和左脚踝922，因为它们的位置在训练过程中有显着的差异，特别是在Y轴。如果一个令人满意的初始姿态1200被达成，这些关节向上的倾向可以被监控，这些关节的Y轴值和它们的初始Y轴值之间的差异需要在一定范围内，直到超过一定的阈值才确定是跳跃。当向下的倾向被确认，可以找到最终姿势的条件。
参阅图13，其显示姿势侦测方法的框图。连续接收随时间序列的图框1300。每一个图框可以保留多个病人身体关节的三维位置(即X、Y、Z坐标)。然后针对每幅被捕捉的图框，将坐标转换为身体的四肢和/或关节之间的空间关系1302(即四肢和/或关节之间的距离和/或由四肢和/或关节形成的向量之间的角度)。然后将空间关系与数据库910中相对应的数据比较1304。由于空间关系可以有一个范围(也存储在数据库910中)，从图框1300中提取的空间关系可以在它们的范围内变化，且仍然被认为是描述成功的训练阶段。由于执行训练的方式是非常重要的，运动阶段的顺序和它们之间的时间有重大的意义。因此，每一个确定的训练阶段，可以在每一个或较少图框中检查，每一个确定的训练阶段之间的转换时间也需要在一个范围内。如果检查范围1306产生负面的结果，病人并未正确地执行该阶段的训练，一个非成功反馈1308可以用文本和/或图形信息的形式显示给病人。如果检查范围1306产生正面的结果，可以执行“训练结束”的检查1310，以确定最后一个“认可”的训练阶段是训练中的最后一个。如果是，训练可已结束，且一个成功反馈1312可以用文本和/或图形信息的形式显示给病人。如果没有，训练可能还没有结束，尚需要额外的图框经过转换1302以结束训练阶段的顺序。
本系统和方法已经用右弓步、摆动、双腿跳跃、左腿跳跃训练的例子描述如上。类似地，本方法和系统可以用类似的方式来监测各种其他的复健训练。
对于髋关节屈曲训练，例如，本系统可以检查以下执行错误的原因：侧倾斜、支撑膝关节弯曲、失去平衡(即手接触地板)、不适当的髋关节上提、训练持续时间短等。
对于典型的下蹲(双腿)训练，例如，本系统可以检查以下执行错误的原因：侧倾斜、膝盖向内转、不对称的表现、不适当的膝关节弯曲、失去平衡(即手接触地板)、训练持续时间短等。
对于单腿下蹲训练，例如，本系统可以检查以下执行错误的原因：侧倾斜、支撑膝关节向内转、失去平衡(即手接触地板)、不适当的膝关节弯曲等。
对于单腿支撑训练，例如，本系统可检查以下执行错误的原因：侧倾斜、支撑膝关节弯曲、失去平衡(即手接触地板)、不适当的髋关节上提、训练持续时间短等。
在本申请的说明书和权利要求中，每一个词“包括”、“包含”、和“具有”及其形式并不是限制与各词有关的清单中的成员。此外，在本申请和并入参考的文件和有不一致之处，于此意欲由本申请控制。

Claims (20)

1.一种运动复健系统，包括：
一运动传感器，包括一动作感应摄像机；以及
一计算机装置，包括：
(a)一非瞬时内存，包括一组复健姿势存储值，各存储值定义若干个理论身体关节之间随时间序列的空间关系，其中每一时间序列包括：初始空间关系、中间姿势空间关系及最终空间关系；以及
(b)一硬件处理器配置以连续接收来自于所述动作感应摄像机所记录的随时间序列的图框，其中每一图框包括病人若干个身体关节的每一个的三维位置，其中所述硬件处理器进一步配置以实时将所记录的随时间序列的图框与随时间序列的空间关系比较，以侦测病人执行的复健姿势。
2.如权利要求1所述的系统，其中所述每一时间序列的空间关系进一步包括至少一个空间关系的一个或多个范围值。
3.如权利要求1所述的系统，其中所述每一时间序列的空间关系进一步包括至少一个空间关系之间的过渡时间的一个或多个范围值。
4.如权利要求1所述的系统，其中每一空间关系包括所述理论身体关节在三维空间中形成的向量之间的角度。
5.如权利要求1所述的系统，其中所述空间关系包括所述理论身体关节在三维空间中的距离。
6.如权利要求1所述的系统，其中所述动作感应摄像机配置而用图框率为每秒钟20个或更高的图框来产生所记录的随时间序列的图框。
7.如权利要求1所述的系统，其中所述动作感应摄像机配置而用图框率为每秒钟30个或更高的图框来产生所记录的随时间序列的图框。
8.如权利要求1所述的系统，其中所述动作感应摄像机配置而用图框率为每秒钟40个或更高的图框来产生所记录的随时间序列的图框。
9.如权利要求1所述的系统，其中所述硬件处理器进一步配置以将所记录的随时间序列的图框的三维位置转换成所述理论身体关节在三维空间中形成的向量之间的角度。
10.如权利要求1所述的系统，其中所述硬件处理器进一步配置以将所记录的随时间序列的图框的三维位置转换成所述理论身体关节在三维空间中的距离。
11.一种运动复健系统中姿势侦测的方法，所述方法包括：
提供一组复健姿势存储值，各存储值定义若干个理论身体关节之间随时间序列的空间关系，其中每一时间序列包括：初始空间关系、中间姿势空间关系及最终空间关系；以及
使用至少一硬件处理器以：
(a)连续接收来自于所述动作感应摄像机所记录的随时间序列的图框，其中每一图框包括病人若干个身体关节的每一个的三维位置；以及
(b)实时将所记录的随时间序列的图框与随时间序列的空间关系比较，以侦测病人执行的复健姿势。
12.如权利要求11所述的方法，其中所述每一时间序列的空间关系进一步包括至少一个空间关系的一个或多个范围值。
13.如权利要求11所述的方法，其中所述每一时间序列的空间关系进一步包括至少一个空间关系之间的过渡时间的一个或多个范围值。
14.如权利要求11所述的方法，其中空间关系包括所述理论身体关节在三维空间中形成的向量之间的角度。
15.如权利要求11所述的方法，其中所述空间关系包括所述理论身体关节在三维空间中的距离。
16.如权利要求11所述的方法，其中所述连续接收来自于所述动作感应摄像机所记录的随时间序列的图框是以图框率为每秒钟20个或更高的图框来执行。
17.如权利要求11所述的方法，其中所述连续接收来自于所述动作感应摄像机所记录的随时间序列的图框是以图框率为每秒钟30个或更高的图框来执行。
18.如权利要求11所述的方法，其中所述连续接收来自于所述动作感应摄像机所记录的随时间序列的图框是以图框率为每秒钟40个或更高的图框来执行。
19.如权利要求11所述的方法，进一步包括使用所述至少一硬件处理器将所记录的随时间序列的图框的三维位置转换成所述理论身体关节在三维空间中形成的向量之间的角度。
20.如权利要求11所述的方法，进一步包括使用所述至少一硬件处理器将所记录的随时间序列的图框的三维位置转换成所述理论身体关节在三维空间中的距离。
CN201480044532.3A 2013-06-13 2014-06-12 复健姿势及姿势识别 Pending CN105451827A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1310515.0 2013-06-13
GB1310515.0A GB2515279A (en) 2013-06-13 2013-06-13 Rehabilitative posture and gesture recognition
PCT/IL2014/050536 WO2014199385A1 (en) 2013-06-13 2014-06-12 Rehabilitative posture and gesture recognition

Publications (1)

Publication Number Publication Date
CN105451827A true CN105451827A (zh) 2016-03-30

Family

ID=48876196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480044532.3A Pending CN105451827A (zh) 2013-06-13 2014-06-12 复健姿势及姿势识别

Country Status (4)

Country Link
US (1) US20160129343A1 (zh)
CN (1) CN105451827A (zh)
GB (1) GB2515279A (zh)
WO (1) WO2014199385A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108091380A (zh) * 2017-11-30 2018-05-29 中科院合肥技术创新工程院 基于多传感融合的青少年基本运动能力训练系统及方法
CN109009142A (zh) * 2018-07-06 2018-12-18 歌尔科技有限公司 跑步姿势判定方法、系统、智能穿戴设备及存储介质
CN110215216A (zh) * 2019-06-11 2019-09-10 中国科学院自动化研究所 基于骨骼关节点分区域分层次的行为识别方法、系统
CN111183456A (zh) * 2017-10-03 2020-05-19 富士通株式会社 识别程序、识别方法以及识别装置
CN111709365A (zh) * 2020-06-17 2020-09-25 成都工业学院 一种基于卷积神经网络的人体运动姿态自动检测方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11904101B2 (en) * 2012-06-27 2024-02-20 Vincent John Macri Digital virtual limb and body interaction
US11673042B2 (en) 2012-06-27 2023-06-13 Vincent John Macri Digital anatomical virtual extremities for pre-training physical movement
US10096265B2 (en) 2012-06-27 2018-10-09 Vincent Macri Methods and apparatuses for pre-action gaming
US10632366B2 (en) 2012-06-27 2020-04-28 Vincent John Macri Digital anatomical virtual extremities for pre-training physical movement
EP2997511A1 (en) 2013-05-17 2016-03-23 Vincent J. Macri System and method for pre-movement and action training and control
GB201310523D0 (en) * 2013-06-13 2013-07-24 Biogaming Ltd Personal digital trainer for physio-therapeutic and rehabilitative video games
US10111603B2 (en) 2014-01-13 2018-10-30 Vincent James Macri Apparatus, method and system for pre-action therapy
US20150327794A1 (en) * 2014-05-14 2015-11-19 Umm Al-Qura University System and method for detecting and visualizing live kinetic and kinematic data for the musculoskeletal system
KR101936532B1 (ko) * 2014-10-10 2019-04-03 후지쯔 가부시끼가이샤 기억 매체, 스킬 판정 방법 및 스킬 판정 장치
KR102034021B1 (ko) * 2015-08-10 2019-10-18 한국전자통신연구원 헬스케어 유닛 기반 시뮬레이터 및 이를 이용한 시뮬레이션 방법
US20170046978A1 (en) * 2015-08-14 2017-02-16 Vincent J. Macri Conjoined, pre-programmed, and user controlled virtual extremities to simulate physical re-training movements
US11039763B2 (en) * 2017-01-13 2021-06-22 Hill-Rom Services, Inc. Interactive physical therapy
IL251340B (en) * 2017-03-22 2019-11-28 Selfit Medical Ltd Systems and methods for physiotherapy using augmented reality and collecting and processing information from treatment
US11037369B2 (en) * 2017-05-01 2021-06-15 Zimmer Us, Inc. Virtual or augmented reality rehabilitation
TWI713053B (zh) * 2018-04-10 2020-12-11 仁寶電腦工業股份有限公司 動作評估系統、其方法及非暫態電腦可讀取記錄媒體
RU198065U1 (ru) * 2018-04-12 2020-06-16 ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ Научно-производственная фирма "Реабилитационные технологии" Устройство для реабилитации
US20200197744A1 (en) * 2018-12-21 2020-06-25 Motion Scientific Inc. Method and system for motion measurement and rehabilitation
US11877870B2 (en) * 2019-08-05 2024-01-23 Consultation Semperform Inc Systems, methods and apparatus for prevention of injury
CN118304656B (zh) * 2024-06-07 2024-09-03 南方医科大学珠江医院 一种脑血管病患者康复游戏参数修正方法及平台

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7264554B2 (en) * 2005-01-26 2007-09-04 Bentley Kinetics, Inc. Method and system for athletic motion analysis and instruction
US20080094472A1 (en) * 2005-07-12 2008-04-24 Serge Ayer Method for analyzing the motion of a person during an activity
TW201219087A (en) * 2010-11-15 2012-05-16 Univ Nat Pingtung Sci & Tech Visual rehabilitation clinic system
WO2012078795A1 (en) * 2010-12-07 2012-06-14 Vincent Ned Stephenson Systems and methods for performance training
US20120190505A1 (en) * 2011-01-26 2012-07-26 Flow-Motion Research And Development Ltd Method and system for monitoring and feed-backing on execution of physical exercise routines
CN102724449A (zh) * 2011-03-31 2012-10-10 青岛海信电器股份有限公司 互动式电视机和利用显示装置实现与用户互动的方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6712692B2 (en) * 2002-01-03 2004-03-30 International Business Machines Corporation Using existing videogames for physical training and rehabilitation
CA2700843C (en) * 2006-10-26 2016-11-01 Richard John Baker Method and apparatus for providing personalised audio-visual instruction
EP2144556A4 (en) * 2007-05-10 2012-02-22 Burdea Grigore SYSTEMS AND METHODS FOR PERIODIC ASSESSMENT AND TELEREHABILITATION
US9028258B2 (en) * 2007-08-15 2015-05-12 Bright Cloud International Corp. Combined cognitive and physical therapy
WO2009136319A1 (en) * 2008-05-08 2009-11-12 Koninklijke Philips Electronics N.V. System and method for training motion tasks of a person
US9457256B2 (en) * 2010-11-05 2016-10-04 Nike, Inc. Method and system for automated personal training that includes training programs
JP2014502178A (ja) * 2010-11-05 2014-01-30 ナイキ インターナショナル リミテッド 自動化個人トレーニングのための方法およびシステム
US20120259652A1 (en) * 2011-04-07 2012-10-11 Full Recovery, Inc. Systems and methods for remote monitoring, management and optimization of physical therapy treatment
EP2510985A1 (en) * 2011-04-11 2012-10-17 CoRehab s.r.l. System and methods to remotely and asynchronously interact with rehabilitation video-games
US11133096B2 (en) * 2011-08-08 2021-09-28 Smith & Nephew, Inc. Method for non-invasive motion tracking to augment patient administered physical rehabilitation
US20140371633A1 (en) * 2011-12-15 2014-12-18 Jintronix, Inc. Method and system for evaluating a patient during a rehabilitation exercise
US11071918B2 (en) * 2012-03-13 2021-07-27 International Business Machines Corporation Video game modification based on user state
US20130252216A1 (en) * 2012-03-20 2013-09-26 Microsoft Corporation Monitoring physical therapy via image sensor
US20140081661A1 (en) * 2012-07-05 2014-03-20 Home Team Therapy Method and system for physical therapy using three-dimensional sensing equipment
US20140188009A1 (en) * 2012-07-06 2014-07-03 University Of Southern California Customizable activity training and rehabilitation system
US20140081432A1 (en) * 2012-09-12 2014-03-20 Rhode Island Hospital Method and Apparatus for Rehabilitation Using Adapted Video Games
US9652992B2 (en) * 2012-10-09 2017-05-16 Kc Holdings I Personalized avatar responsive to user physical state and context
US9892655B2 (en) * 2012-11-28 2018-02-13 Judy Sibille SNOW Method to provide feedback to a physical therapy patient or athlete
US20140287389A1 (en) * 2013-03-14 2014-09-25 The Regents Of The University Of California Systems and methods for real-time adaptive therapy and rehabilitation
US10223926B2 (en) * 2013-03-14 2019-03-05 Nike, Inc. Skateboard system
WO2014179475A2 (en) * 2013-04-30 2014-11-06 Rehabtics LLC Methods for providing telemedicine services
US20140364230A1 (en) * 2013-06-06 2014-12-11 Universita' Degli Studi Di Milano Apparatus and Method for Rehabilitation Employing a Game Engine
US9474934B1 (en) * 2013-10-11 2016-10-25 Fit Intuition, LLC Biometric assessment in fitness improvement
CA2942734A1 (en) * 2014-04-21 2015-10-29 Michael Albert Oberlander Recovery system and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7264554B2 (en) * 2005-01-26 2007-09-04 Bentley Kinetics, Inc. Method and system for athletic motion analysis and instruction
US20080094472A1 (en) * 2005-07-12 2008-04-24 Serge Ayer Method for analyzing the motion of a person during an activity
TW201219087A (en) * 2010-11-15 2012-05-16 Univ Nat Pingtung Sci & Tech Visual rehabilitation clinic system
WO2012078795A1 (en) * 2010-12-07 2012-06-14 Vincent Ned Stephenson Systems and methods for performance training
US20120190505A1 (en) * 2011-01-26 2012-07-26 Flow-Motion Research And Development Ltd Method and system for monitoring and feed-backing on execution of physical exercise routines
CN102724449A (zh) * 2011-03-31 2012-10-10 青岛海信电器股份有限公司 互动式电视机和利用显示装置实现与用户互动的方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111183456A (zh) * 2017-10-03 2020-05-19 富士通株式会社 识别程序、识别方法以及识别装置
CN108091380A (zh) * 2017-11-30 2018-05-29 中科院合肥技术创新工程院 基于多传感融合的青少年基本运动能力训练系统及方法
CN109009142A (zh) * 2018-07-06 2018-12-18 歌尔科技有限公司 跑步姿势判定方法、系统、智能穿戴设备及存储介质
CN109009142B (zh) * 2018-07-06 2021-04-20 歌尔科技有限公司 跑步姿势判定方法、系统、智能穿戴设备及存储介质
CN110215216A (zh) * 2019-06-11 2019-09-10 中国科学院自动化研究所 基于骨骼关节点分区域分层次的行为识别方法、系统
CN110215216B (zh) * 2019-06-11 2020-08-25 中国科学院自动化研究所 基于骨骼关节点分区域分层次的行为识别方法、系统
CN111709365A (zh) * 2020-06-17 2020-09-25 成都工业学院 一种基于卷积神经网络的人体运动姿态自动检测方法

Also Published As

Publication number Publication date
GB2515279A (en) 2014-12-24
WO2014199385A1 (en) 2014-12-18
GB201310515D0 (en) 2013-07-24
US20160129343A1 (en) 2016-05-12

Similar Documents

Publication Publication Date Title
CN105451827A (zh) 复健姿势及姿势识别
CN105451829A (zh) 用于物理疗法以及复健的影像游戏的个人数字训练器材
CN105451828A (zh) 用于物理疗法以及复健的影像游戏的报告系统
Avola et al. An interactive and low-cost full body rehabilitation framework based on 3D immersive serious games
US20150157938A1 (en) Personal digital trainer for physiotheraputic and rehabilitative video games
Webster et al. Systematic review of Kinect applications in elderly care and stroke rehabilitation
CN102985002B (zh) 脑机接口系统及方法
CN108986884A (zh) 一种平衡康复与认知康复相融合的训练系统和方法
CN105229666A (zh) 3d图像中的运动分析
US20150151199A1 (en) Patient-specific rehabilitative video games
US10152898B2 (en) Virtual reality training to enhance physical rehabilitation
Shi et al. Accurate and fast classification of foot gestures for virtual locomotion
US20150148113A1 (en) Patient-specific rehabilitative video games
Brooks et al. Quantifying upper‐arm rehabilitation metrics for children through interaction with a humanoid robot
Hülsmann et al. Multi-level analysis of motor actions as a basis for effective coaching in virtual reality
Nunes et al. Human motion analysis and simulation tools: a survey
Patil et al. Body posture detection and motion tracking using AI for medical exercises and recommendation system
Maung et al. Development of Recovery Rapids-A game for cost effective stroke therapy.
US20160098090A1 (en) Kinetic user interface
Morel et al. Automatic evaluation of sports motion: A generic computation of spatial and temporal errors
Rozaliev et al. Methods and applications for controlling the correctness of physical exercises performance
Chhor et al. Breakout: Design and evaluation of a serious game for health employing intel realsense
Mocanu et al. Improving Physical Activity Through Exergames.
Sărătean et al. A physiotheraphy coaching system based on Kinect sensor
Potigutsai et al. Hand and fingertip detection for game-based hand rehabilitation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20170210

Address after: Barack, Baergejiewa bene Israel Street No. 21

Applicant after: BG Investment Company Limited

Address before: Israel Peitatikewashi

Applicant before: BIOGAMING LTD.

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160330