CN110121748B - 增强的现实治疗移动显示和手势分析器 - Google Patents

增强的现实治疗移动显示和手势分析器 Download PDF

Info

Publication number
CN110121748B
CN110121748B CN201780081935.9A CN201780081935A CN110121748B CN 110121748 B CN110121748 B CN 110121748B CN 201780081935 A CN201780081935 A CN 201780081935A CN 110121748 B CN110121748 B CN 110121748B
Authority
CN
China
Prior art keywords
movement
patient
clinical
region
path region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780081935.9A
Other languages
English (en)
Other versions
CN110121748A (zh
Inventor
R·韦尔斯
T·R·普莱斯
T·斯普纳
D·范安德尔
T·迪特默
J·科特维克
J·莱特顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zimmer Inc
Original Assignee
Zimmer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zimmer Inc filed Critical Zimmer Inc
Priority to CN202210186477.8A priority Critical patent/CN114550874A/zh
Publication of CN110121748A publication Critical patent/CN110121748A/zh
Application granted granted Critical
Publication of CN110121748B publication Critical patent/CN110121748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0033—Operational features thereof characterised by user input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015—By temperature mapping of body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1495—Calibrating or testing of in-vivo probes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/486—Bio-feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09—Rehabilitation or training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0247—Pressure sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1112—Global tracking of patients, e.g. by using GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements

Abstract

用于显示增强的现实临床移动的系统和方法可以使用增强的现实设备来显示临床移动的各个方面。该系统和方法可以使用运动捕获设备来捕获临床移动。一种方法可以包括分析关于临床移动的信息以确定表示临床移动的至少部分的运动路径。该方法可以在被叠加在真实环境上的增强的现实环境中自动定义路径区域或虚拟目标。该方法可以在增强的现实显示上显示路径区域或虚拟目标。

Description

增强的现实治疗移动显示和手势分析器
相关申请的交叉引用
本申请要求2016年11月3日提交的美国临时专利申请US 62/416869的权益，并且要求2016年11月11日提交的美国临时专利申请US 62/421001的权益，并且要求2016年12月30日提交的美国临时专利申请US 62/440588的权益，在此要求上述文献中的每篇文献的优先权，并且通过引用将上述文献中的每篇文献整体并入本文。
背景技术
远程康复系统通常用于远程评估或监控进行康复活动的患者。由于远程康复具有远程性质，因此当前的远程康复系统通常受到限制或者没有用于职业治疗或物理治疗。职业治疗或物理治疗包括用于从受伤、手术恢复的锻炼或活动或者用于以其他方式改善活动性的锻炼或活动。患者常常会忘记如何进行与康复相关联的活动或者无法理解所提供的描述活动的指示。
附图说明
附图并不一定是按比例绘制的，在附图中，相同的数字可以描述不同视图中的类似部件。具有不同字母后缀的相同数字可以表示类似部件的不同实例。附图通过示例而非限制的方式图示了本文讨论的各种实施例。
图1图示了根据一些实施例的增强的现实和锻炼创建系统的真实方面和虚拟方面。
图2图示了根据一些实施例的增强的现实显示。
图3图示了根据一些实施例的自动手势显示系统。
图4图示了根据一些实施例的患者评价显示系统。
图5图示了根据一些实施例的远程康复系统。
图6图示了根据一些实施例的示出用于远程康复的技术的流程图。
图7图示了根据一些实施例的示出用于在增强的现实环境中显示与患者的治疗移动有关的方向的技术的流程图。
图8图示了根据一些实施例的示出用于显示增强的现实临床移动的技术的流程图。
图9总体上图示了根据一些实施例的本文所讨论的技术中的任何一种或多种技术可以在其上执行的机器的框图的示例。
具体实施方式
本文描述了用于远程康复反馈的系统和方法。本文的系统和方法描述了使用移动捕获装置来捕获来自治疗师或患者的远程康复信息。远程恢复系统和方法可以使用用户接口或视频显示器、增强的现实(AR)显示器、虚拟现实(VR)显示器、听觉警报、触觉反馈、非接触式警报等来呈现反馈。
在示例中，远程康复系统可以用于提供捕获康复锻炼的视频并自动确定在视频中进行锻炼的治疗师的关键点的机制。当患者试图进行锻炼时，关键点可以用于为患者创建锻炼的视觉目标。该系统可以虚拟地展示康复锻炼，包括视觉目标。视觉目标可以包括“气泡”，例如可以“爆裂”的球形或圆形视觉表示(例如，当患者或对象与气泡相互作用时，通过示出从显示中移除气泡的动画或视觉效果来进行视觉表示)。该系统可以捕获进行锻炼的患者的视频，并且可以分析患者的尝试。视觉目标可以用于显示患者尝试的有效性，例如，爆裂的气泡可以表示锻炼或锻炼的部分的成功完成。该系统可以向患者提供反馈(例如，爆裂的气泡或未爆裂的气泡)。
本文描述的系统和方法可以例如基于治疗师的移动来自动确定针对手势气泡的放置(例如，针对手势放置的气泡，例如，针对锻炼的手势的开始或针对锻炼的手势的结束)。例如，治疗师可以站在移动捕获装置(例如，传感器、传感器阵列、相机、红外相机、两个或更多个相机、深度相机等)的前面并进行运动，并且系统可以自动放置手势气泡。该系统可以将气泡放置在确定的位置中并继续进行到第二气泡。例如，第一气泡可以与第一位置(例如，开始位置)相对应，并且第二气泡可以与第二位置(例如，结束位置)相对应。路径区域可以包括第一位置与第二位置之间的路径，或者可以包括开始位置或结束位置。在示例中，可以使用路径区域、一个或多个气泡、从治疗师捕获的视频、从患者捕获的视频、动画片段等来创建手势视频。在示例中，手势可以包括锻炼中的移动，或者可以是锻炼(例如，手势可以包括具有构成锻炼的多个移动的移动，或者手势可以包括锻炼的移动，这种移动可以是重复的或者包括其他手势或锻炼以形成例程)。
增强的现实(AR)是一种用于显示叠加在真实环境中的虚拟或“增强”对象或视觉效果的技术。真实环境可以包括房间或特定区，或者可以更一般地包括整个世界。叠加在真实环境上的虚拟方面可以被表示为被锚定或处于相对于真实环境的一个或多个方面的设定位置中。例如，虚拟对象可以被配置为显现为被搁在桌子上。AR系统可以呈现被固定到真实对象的虚拟方面，而不考虑AR系统的一个或多个观察者的视角。例如，虚拟对象可以存在于房间中，对于房间内的AR系统的观察者来说是可见的，并且对于房间外的AR系统的观察者来说是不可见的。当观察者进入房间时，房间内的虚拟对象可以被显示给房间外的观察者。在该示例中，房间可以充当在AR系统中固定虚拟对象的真实对象。
AR系统可以是一个或多个观察者可见的，并且可以包括可用于一个或多个观察者的视图之间的差异，同时保持视图中的一些方面作为通用方面。例如，当虚拟对象可以被固定到两个视图中的真实对象或区时，平视显示可以在两个视图之间改变。可以在视图之间做出诸如对象的颜色改变、照明改变或其他改变之类的方面，而不改变至少一个虚拟对象的固定位置。
用户可以将AR系统中呈现的虚拟对象看作是不透明的或者看做是包括某种透明度程度。在示例中，用户可以与虚拟对象交互，例如通过将虚拟对象从第一位置移动到第二位置来与虚拟对象交互。例如，用户可以用他或她的手来移动对象。这可以通过(例如使用一个或多个相机)确定手已经被移动到与虚拟对象重合或相邻的位置中并使虚拟对象进行响应性移动来在AR系统中虚拟地完成。虚拟方面可以包括现实世界对象的虚拟表示，或者可以包括诸如照明效果等的视觉效果。AR系统可以包括用于管理虚拟对象的行为(例如使虚拟对象经受重力或摩擦力)的规则，或者可以包括违反现实世界物理约束的其他预定义规则(例如，漂浮对象、永久运动等)。
本文描述了用于增强的现实(AR)远程康复的系统和方法。本文的系统和方法描述了使用AR来显示针对患者的虚拟目标以允许患者完成临床移动。在示例中，可以显示虚拟治疗师。在另一示例中，可以显示具有AR增强(例如，身体部位的突出显示、虚拟方向等)的真实治疗师。虚拟治疗师或真实治疗师可以展示临床移动。临床移动可以包括对对象的使用。在示例中，AR可以用于显示患者要使用的对象。在示例中，AR可以用于显示患者执行临床移动的方向。例如，真实治疗师可以是与患者一起出现的现场治疗师，或者可以是治疗师的视频记录。真实治疗师可以被定义为任何非虚拟治疗师。
本文描述的系统和方法可以提供叠加的虚拟图形以帮助用户理解如何进行移动。可以突出显示路径或目标，可以向患者或治疗师示出进行移动的虚拟表示(例如，叠加在用户上的虚拟表示，作为用于示出移动的视点技术)。虚拟目标可以用于帮助患者视觉观察移动的范围(例如，移动的最终结束点)。
图1图示了根据一些实施例的增强的现实和锻炼创建系统100的真实方面和虚拟方面。在示例中，系统100包括视频捕获设备105、显示设备107和输入设备109，治疗师102能够使用上述设备来生成针对康复患者的模型锻炼。治疗师102可以进行锻炼，该锻炼由视频捕获设备105捕获并被显示在显示设备107中。输入设备109可以用于编辑或增强所显示的锻炼，或者用于选择一个或多个锻炼以用于例程。系统100可以自动编辑所捕获的视频以移除在治疗师102进行锻炼之前或之后出现的无关部分。在示例中，一系列锻炼可以由治疗师102执行并由视频捕获设备105捕获，并且系统100可以将所捕获的一系列锻炼的视频分成单独的锻炼视频。在示例中，视频捕获设备105可以是来自华盛顿州雷蒙德市的微软公司的体感器。
可以使用输入设备109来选择锻炼的各个方面。所选择的方面可以包括开始位置、结束位置或转变运动。当选择了开始位置时，显示设备107可以显示对在所捕获的锻炼视频中的适当时间的选择。例如，可以围绕显示的身体部位(例如，脚、手等)绘制圆圈，该圆圈可以被显示在针对锻炼所捕获的视频中。类似地，可以突出显示结束位置。当选择转变运动时，可以显示在所捕获的视频期间跟踪选择的路径。开始位置、结束位置或转变运动可以包括在所捕获的视频上比身体部位占据的区更大的区域(例如，具有比围绕身体部位的中心点的半径更大的半径的区)。
在示例中，可以使用视频捕获设备105来校准系统100。视频捕获设备105可以使用红外光来检测在视场中的治疗师102。系统100可以评价检测结果以识别治疗师102的关节、肢体、附肢、头部等。这些识别出的身体部位可以与稍后捕获的锻炼视频一起使用以标示特定的身体部位。
在视频捕获设备105捕获锻炼视频之后，治疗师102(或另一用户)可以编辑所捕获的视频。在示例中，治疗师102可以选择所捕获的视频的部分并添加标签(例如，“介绍”、“锻炼”、“第一次重复”、“第二次重复”、“结尾部分”等)。在示例中，可以在编辑的视频中重复所捕获的单个重复，以示出患者观察的多次重复。
可以创建针对锻炼的最终编辑的视频。可以对最终编辑的视频进行命名并给出类别标签，例如，身体部位、肌肉群、手术后类型指定、患者特异性标签等。可以保存最终编辑的视频以供例如治疗师102稍后在构建例程中使用。在另一示例中，可以将最终编辑的视频保存到数据库以与其他用户共享(例如，与治疗师102共同照顾患者的其他用户，公司、团体或医院中的公开的其他治疗师等)。在示例中，系统100可以用于以指定的次数重复锻炼，使得患者可以以指定的次数观察锻炼以完成例程或例程的部分。
系统100可以用于捕获三维移动。例如，视频捕获设备105可以包括移动捕获装置。移动捕获装置可以包括两个或更多个红外传感器或相机以检测或捕获三维移动。视频捕获设备105可以包括用于结合红外捕获的移动来捕获视频的相机。捕获的移动可以包括视频。
系统100可以与真实治疗师(例如，治疗师102)交互，或者可以包括在系统100内显示的虚拟治疗师103。系统100可以由患者104使用。系统100包括AR设备108。在示例中，系统100可以包括参考壁106、物理对象112、虚拟对象116或相机110。在示例中，物理对象112可以包括传感器114。在另一示例中，传感器可以嵌入患者104的植入物中。在示例中，相机可以被耦合到AR设备108。AR设备108可以包括耳机、眼镜、护目镜、触点、投影仪等。在示例中，可以在对AR设备108的配置或校准期间识别参考壁106。
AR设备108可以包括相机110。相机110可以包括红外相机、红外滤光器、可见光滤光器、多个相机，深度相机等。AR设备108可以在真实环境的表示上投影虚拟项目，所述虚拟项目可以被患者104观察到。在示例中，真实环境可以包括地板、房间和物理道具等的显示。治疗师102可以存在于真实环境中，并且虚拟方面可以被叠加在由AR设备108生成的AR环境中的治疗师102上。在另一示例中，虚拟治疗师103可以包括虚拟方面，例如，身体部位的突出显示、移动箭头、用于示出运动的模糊等。虚拟治疗师103可以被放置在真实环境中的预定位置处，例如真实环境中的对于患者104或AR设备108可见的区内的位置处。例如，虚拟治疗师103可以位于对于患者104是可见的系统100内的AR设备108的前面，使得患者104可以观察到虚拟治疗师103。当患者104转动AR设备108时，虚拟治疗师103可以被设计为从视图中消失，类似于在患者的头部转动的情况下真实治疗师102将消失的方式。
在示例中，虚拟治疗师103可以被示为被叠加在真实环境上以展示锻炼。在示例中，例如用于锻炼的道具或对象的虚拟显示可以被叠加在真实环境上。例如，虚拟对象116可以表示物理对象112。AR设备108可以用于通过显示例如虚拟对象116向患者104发出指令以在房间中寻找物理对象112。在示例中，虚拟对象116可以在由虚拟治疗师103使用时进行显示，或者可以被显示在真实治疗师102附近、上方或者被显示为在附近漂浮。
物理对象112可以包括传感器114。传感器114可以用于跟踪患者进展，例如，患者104完成的持续时间或重复次数。在示例中，传感器114可以用于为AR设备108识别物理对象112。一旦被识别，AR设备108就可以选择对应于物理对象112的虚拟对象116。例如，如果患者104具有10磅的重量和5磅的重量可用，则这些重量可以经由重量方面的传感器来识别，并且AR设备108可以确定5磅的重量将用于锻炼，并且虚拟对象116可以类似于5磅的重量。虚拟对象116在另一锻炼中或者当增加重量以增加锻炼难度时可以改变为类似于10磅的重量。在示例中，AR设备108可以显示肢体或虚拟锻炼的虚拟移动，或者可以显示虚拟气泡以用于指示移动或锻炼的开始位置、结束位置或路径。
在示例中，植入物传感器可以嵌入到患者104中的植入物中。植入物传感器可以用于跟踪患者104的移动(例如，重复次数)、非移动等。这种跟踪的移动可以用于增强由相机110或面向患者的移动捕获装置(例如，传感器、传感器阵列、相机、红外相机、两个或更多个相机、深度相机等)捕获的移动。可以使用面向患者的移动捕获装置、相机110、植入物传感器或任何移动捕获装置等来跟踪患者104的移动。在示例中，可以基于来自植入物传感器的传感器数据来改变或更新所规定的治疗输出或治疗。例如，对于全膝关节置换术，膝关节假体(植入物)可以包括用于监测移动期间产生的压力的传感器，并且当植入物的一侧存在太大压力时，可以使用AR设备108来显示对容易移动，改变移动或停止移动的指示。在患者104进行移动，完成安排的疗程或执行安排的治疗的至少部分之后，治疗师102或其他护理人员(例如，外科医生)可以使用植入物传感器或AR设备108数据(例如，患者104是否成功地进行移动，成功执行的百分比，与重复次数有关的度量，使用的重量等)。该数据可以用于调整处方治疗、移动、锻炼、用药、手术时间表等。患者104和真实治疗师102能够使用AR设备108或多个AR设备来共享增强的体验。例如，真实治疗师102可以具有AR设备，并且治疗师102的AR设备可以在与AR设备108共享的环境中显示被叠加在相同的真实环境中的增强和虚拟方面。真实治疗师102可以操纵共享环境的虚拟方面或真实方面，使得患者104可以看到这种操纵。例如，真实治疗师102可以使虚拟气泡爆裂或使虚拟对象升高，其中，虚拟气泡或虚拟对象对于患者104和真实治疗师102可以是可见的，如下面参考图2进一步讨论的和如下文中的段落和其他地方所描述的。
图2图示了根据一些实施例的增强的现实(AR)显示200。AR显示200可以由患者201用于在真实环境中显示虚拟方面。AR显示200可以包括患者201的关节202的虚拟标识、在真实环境中显示的参考壁218或者多个虚拟参考指示。参考指示可以包括虚拟开始气泡206、虚拟结束气泡210、虚拟运动路径208、到路径区域的虚拟边缘214和216、虚拟开始肢体位置204或虚拟结束肢体位置212。在示例中，参考指示可以包括虚拟示例开始气泡220、虚拟示例结束气泡222或虚拟示例路径区域224。虚拟示例开始气泡220、虚拟示例结束气泡222或虚拟示例路径区域224可以被显示为在AR环境中被叠加在真实环境中存在的治疗师的表示上。在另一示例中，虚拟示例开始气泡220、虚拟示例结束气泡222或虚拟示例路径区域224可以被显示为被叠加在虚拟治疗师上。在又一示例中，虚拟示例开始气泡220、虚拟示例结束气泡222或虚拟示例路径区域224可以与虚拟肢体(例如，虚拟治疗师的身体部位，但不显示整个虚拟治疗师)一起显示。在另一示例中，虚拟示例开始气泡220、虚拟示例结束气泡222或虚拟示例路径区域224可以在没有虚拟的情况下进行显示或者在真实环境中不存在治疗师的情况下进行显示。
在示例中，可以虚拟地显示虚拟开始气泡206、虚拟结束气泡210、虚拟运动路径208或到路径区域的虚拟边缘214或216。虚拟开始气泡206、虚拟结束气泡210、虚拟运动路径208或到路径区域的虚拟边缘214或216可以使用颜色或多种变化的颜色来显示，可以按顺序显示等。在示例中，如果患者进行对应于虚拟表示的移动，则可以通过“爆裂”或以其他方式从视图中移除虚拟开始气泡206、虚拟结束气泡210、虚拟运动路径208或到路径区域的虚拟边缘214或216。例如，如果患者通过虚拟开始气泡206将身体部位物理地放置在AR中的占据位置中，则虚拟开始气泡206可以爆裂。在示例中，当身体部位从虚拟开始气泡206移动到虚拟结束气泡210时，虚拟运动路径208可以包括要爆裂的多个气泡。
在示例中，AR设备可以用于生成AR显示200。AR设备可以包括投影屏幕、护目镜、眼镜等。在示例中，AR设备可以围绕患者201投射动画，从而允许患者201看到虚拟开始气泡206、虚拟结束气泡210、虚拟运动路径208、到路径区域的虚拟边缘214和216、虚拟开始肢体位置204或虚拟结束肢体位置212。当患者201移动时，AR设备可呈现化身(例如，虚拟治疗师)以呈现虚拟治疗体验。虚拟治疗师可以由治疗师实时预编程或控制。在示例中，患者201可以有机会使用AR显示200或AR设备108内的输入设备向虚拟治疗师询问问题。可以基于问题、答案或与患者201的交互来改变对患者201的治疗。例如，基于患者201相互作用的情况，可以减少锻炼或增加难度或持续时间。在示例中，患者201可以要求治疗师重复或描述锻炼。化身可以将患者201引导到物理位置，对锻炼进行建模，提供鼓励、校正、修改，显示成功或失败等。在示例中，化身可以占据虚拟物理存在(例如，房间中的(例如相对于参考壁218的)静态位置)。
AR显示200可以允许患者201选择AR化身上的关节或位置。通过选择AR化身上的关节或位置，患者201可以在患者201上指示哪里受伤或需要关注，选择身体的一侧，提示疼痛水平等。在另一示例中，患者201可以从AR显示200内的用户接口选择选项，例如，用于选择疼痛的比例尺。AR显示200可以包括用于患者回答的问卷，使得治疗师可以评价进展或者确定患者的锻炼。
在示例中，患者201可以具有个性化的移动简档。AR设备可以应用个性化的移动简档以使得AR显示200被个性化。个性化的AR显示200可以包括针对患者201定制的特定锻炼、移动、限制等。例如，如果患者201已经接收有植入物(例如在全膝关节镜检查、髋关节置换、心脏设备植入手术等期间接收的植入物)，则AR显示200可以包括考虑到这些植入物或手术而设计的锻炼。AR显示200可以包括针对患者201的教育，以例如改善结果或减轻可能伤害患者的移动。
在示例中，AR显示200可以包括虚拟镜像。虚拟镜像可以用于镜像盒(mirrorboxing)技术。镜像盒可以用于对肢体建立镜像，例如当镜像肢体不存在时可以用于对肢体建立镜像。例如，如果患者201已经失去了膝盖以下的左腿，则可以在AR显示200中对右腿建立镜像，使得AR显示200可以通过对右腿建立镜像来显示膝盖以下的左腿。在另一示例中，可以基于右腿来虚拟显示膝盖以下的左腿，或者根据虚拟部件来构造膝盖以下的左腿。镜像盒可以用于使患者201免受体模肢体疼痛，允许患者尝试重新获得对肢体的使用，减轻肢体疼痛等。虚拟显示的肢体可以用于映射患者201的大脑中的移动，例如通过重叠肢体并向患者201发出指令以虚拟地移动肢体来映射患者201的大脑中的移动。例如，患者201无法控制右臂但是可以移动左臂。当左臂在真实环境中移动时，这可以引起右臂在AR显示200中虚拟地移动。患者201的大脑可以通过移动左臂并观察右臂移动来映射路径以实际控制右臂。该技术可以用于治愈或修复右臂的移动能力。
图3图示了根据一些实施例的自动手势显示系统300。自动手势显示系统300包括用户接口302。用户接口302包括视频/动画自动手势显示部件304。视频/动画自动手势显示部件304可以用于手动或自动地添加移动气泡(例如，308或314)或路径区域。在示例中，可以将移动气泡(例如，308或314)自动地添加到运动路径312。例如，可以将包括成功参数或失败参数的参数添加到运动路径212以创建路径区域(例如，围绕边缘318与边缘320之间的运动路径312的区域)。路径区域可以用于向患者显示如何进行临床移动。路径区域可以用于确定患者进行的移动是否成功。在示例中，路径区域或路径运动可以被显示在显示器(例如，屏幕、AR显示、VR显示等)上。
在示例中，路径区域可以用于确定患者是否已经成功完成锻炼。例如，如果患者在路径区域内完成锻炼，则可以确定成功完成锻炼。如果患者在尝试完成锻炼时移动到路径区域之外，则可以确定未能成功完成锻炼。在另一示例中，移动气泡可以用于分析患者视频以确定患者是否已经正确地进行了锻炼。例如，如果患者能够在进行锻炼时使气泡(例如，锻炼中的所有气泡)爆裂，则可以确定成功完成锻炼。在示例中，如果使一个或多个气泡爆裂，则可以部分地完成锻炼。在另一示例中，路径区域和气泡可以用于确定是否已经成功完成锻炼。
路径区域可以以二维或三维形式来表示。例如，路径区域可以包括运动路径312的二维扩展。在另一示例中，路径区域可以包括运动路径312的三维扩展。例如，路径区域可以包括远离运动路径312的(例如二维或三维)径向距离内的区。在示例中，可以针对运动路径312指示开始位置或结束位置。开始位置或结束位置可以包括分别远离运动路径312的开始点或结束点的(例如二维或三维)径向距离。例如，开始位置可以包括围绕运动路径312的开始点的圆形或球体。可以由治疗师指示开始点或者可以自动检测开始点。
视频/动画自动手势显示部件304包括开始位置处的开始气泡308(例如对应于图2的开始位置208)和结束位置处的结束气泡314(例如对应于图2的结束位置214)。视频/动画自动手势显示部件304包括捕获的视频显示或动画关节306以及分别对应于开始和结束的肢体位置310和316。视频/动画自动手势显示部件304可以自动生成开始气泡308、结束气泡314、边缘318或边缘320。在示例中，可以在距运动路径312的预定距离(例如，多个像素，使用捕获的视频的缩放或动画距离确定的距离)处自动生成边缘318和320。
在示例中，可以稍后对从治疗师捕获的临床移动进行动画处理，并且可以将动画与路径区域一起用于创建手势视频。在另一示例中，治疗师可以选择先前生成的动画以创建手势视频。在另一示例中，治疗师可以选择先前捕获的视频以创建手势视频。为了创建手势视频，治疗师可以选择移动的关节(例如，关节306)，例如，膝关节、髋关节、肘关节、肩关节、颈关节等。关节306可以是在捕获的视频中自动检测到的，并且路径区域可以应用于从关节306伸展的移动(例如，如果选择了膝关节，则当膝关节伸展时，路径区域可以用于人行进时的脚，或者在另一示例中，所选择的关节可以用作路径区域)，例如，沿着从开始气泡308到结束气泡314的边缘318与320之间的运动路径312的移动。
在示例中，移动捕获装置可以用于捕获视频，并且开始气泡308和结束气泡314可以被自动添加到所捕获的视频。开始气泡308或结束气泡314可以是颜色协调的，例如，绿色开始气泡308指示移动的开始点，而红色结束气泡314指示移动的结束点。在示例中，颜色可以随着移动的进行而改变。例如，开始气泡308可以是第一颜色，然后随着特定身体部位或对象被放置在开始气泡308内而改变，此时开始气泡308可以改变为第二颜色以指示放置是正确的。边缘318或320可以类似地基于移动是在边缘318或320内还是在边缘318或320之外来改变颜色。当身体部位或对象被放置在结束气泡314中时，结束气泡314可以类似地改变颜色。在示例中，开始气泡308或结束气泡314可以“爆裂”(例如，产生动画以消失)，例如，当用户将身体部位或对象(例如，预定的特定身体部位或对象)放置在开始气泡308或结束气泡314内时，开始气泡308或结束气泡314可以“爆裂”。在示例中，一系列气泡可以被放置在开始气泡308与结束气泡314之间，例如沿着运动路径312被放置在开始气泡308与结束气泡314之间。一系列气泡可以如上文针对开始气泡308或结束气泡314所描述地改变颜色或爆裂。在另一示例中，开始气泡308和结束气泡314可以在相同的位置中或彼此靠近。例如，运动路径312可以包括远离开始气泡308的往返行程或移动，然后朝向或靠近开始气泡308返回，其可以在移动期间转变为结束气泡314。
在示例中，治疗师可以选择手势标签以识别患者必须移动的关节以便满足锻炼条件。移动捕获装置可以用于确定是否捕获到移动以及所识别的关节是否以(一个或多个)手势标签所指示的方式移动。例如，治疗师选择的手势标签可以对应于由移动捕获装置识别的关节标签。
在示例中，气泡可以用于指示对移动的限制。例如，特定移动可以包括将头部移动限制到特定气泡内以确保患者正确地进行移动。
根据一些实施例，图3的用户接口302可以用作视频/动画创建显示系统。用户接口302可以包括视频/动画创建部件。可以沿着运动路径312完成移动。视频/动画创建部件可以用于编辑或显示捕获的视频，编辑或显示动画，或者编辑或显示运动的位置或路径(例如，自动生成的位置或运动路径)。在示例中，治疗师可以使用移动捕获装置(例如，红外传感器或相机)来记录临床移动。记录可以使用多个相机。可以分析所记录的临床移动以确定运动路径312。
自动手势显示系统300可以包括AR创作工具。AR创作工具可以用于增强检测到的手势或临床移动的各个方面。例如，AR创作工具可以用于改变手势或移动。在示例中，AR创作工具可以用于创建针对手势或移动的多个不同的视图。在另一示例中，AR创作工具可以用于增强运动路径或目标对象的部分。例如，可以用颜色来增强运动路径，可以选择距运动路径的中心的距离(例如，扩展或收缩围绕运动路径的区域)，或者沿着运动路径设置航路点以指示或识别沿着运动路径的进展。可以用形状、颜色、样式(例如，闪烁、脉动、发光等)、透明度等来增强目标对象。
在示例中，患者使用增强的现实设备来观看在增强的现实显示中呈现的三维动画。例如，动画可以包括治疗师的虚拟表示，该虚拟表示在被叠加在真实环境上的增强的现实环境中执行临床移动。在另一示例中，动画可以是虚拟现实动画。在另一示例中，动画可以是增强的动画，其增强由在真实环境中的患者面前的治疗师执行的临床移动。例如，可以例如用颜色、轮廓、箭头等来增强治疗师的手臂或腿或其他移动肢体，并且在治疗师执行临床移动时增强治疗师的手臂或腿或其他移动肢体。
在示例中，可以利用目标运动范围(例如，基于诊断的目标运动范围)来自动创建运动路径或目标对象。例如，治疗师可以执行完整的临床移动，其可以包括沿着完整临床移动的一个或多个航路点，航路点表示进展点。航路点可以包括与沿着运动路径的第一目标对象相对应的初始部分临床移动、与沿着运动路径的第二目标对象相对应的第二部分临床移动等。最终目标可以被放置在运动路径的结束处。以这种方式，可以建立表示完整运动范围的多个运动路径目标。可以将完整运动范围分解成部分运动范围段，其可以在增强的现实环境中被(例如逐步地)显示给患者。这些段可以被耦合以逐渐增加运动范围目标(例如，每天添加具有更宽运动范围的另一目标)。运动范围可以包括可以由患者实现的功能度量。在示例中，可以基于患者的身高、体重、运动范围、比例等来改变运动范围。
在示例中，创建运动路径或目标对象可以包括自动化，例如基于家中、诊所中、工作中的预期体验等来自动创建运动路径或目标对象。例如，宠物、光滑的地毯或由日常生活中的患者执行的其他活动可以被自动添加到增强的现实环境中以反映治疗环境中的日常活动。这些预期的体验可以包括可以单独操纵的固定协议，或者可以来自共同活动的数据库。
在示例中，治疗师可以为患者创建复杂路径。例如，可以创建具有使患者在移动期间停止的特定航路点的多步移动。例如，复杂路径可以包括在第一航路点处结束的第一路径和在第二航路点处结束的第二路径，在第一航路点处，患者将手臂抬起90度，然后在第二航路点处，患者将手臂移动90度。可以单独创建路径并且由治疗师将这些路径一起添加以创建复杂路径，或者可以创建复杂路径作为逐步过程。
图4图示了根据一些实施例的患者评价显示系统400。患者评价显示系统400包括用户接口402。在示例中，用户接口202、302和402可以是具有不同视图的单个用户接口。在另一示例中，可以使用凭证来访问用户接口202、302和402，该凭证允许访问用户接口202、302和402中的一个或多个，并且任选地拒绝访问用户接口202、302或402中的一个或多个。用户接口402包括视频/动画评价部件404。视频/动画评价部件404包括患者的关节406(例如使用捕获的患者的视频或患者的实况记录)以及开始410和结束416处的肢体位置。视频/动画评价部件404包括患者执行的实际路径，其具有实际开始位置408、实际结束位置414和实际运动路径412。视频/动画评价部件404包括针对患者的预期路径，其具有预期的开始位置422(例如，图3的开始气泡308)、预期的结束位置426(例如，图3的结束气泡314)和预期的运动路径424(例如，运动路径312)。预期的路径可以包括预期的路径区域的预期的边缘418和420。在示例中，如果实际运动路径412落在预期的边缘418与420之间，则可以确定患者对临床移动的尝试是成功的。在另一示例中，如果实际运动路径412落在预期的边缘418与420之外，则可以确定患者对临床移动的尝试是失败的。在另一示例中，可以容忍一定量的误差，例如在预期的边缘418和420之外的短暂移动。
在示例中，可以将实际开始位置408与预期开始位置422进行比较。如果实际开始位置408与预期开始位置422对准，落入预期开始位置422内，与预期开始位置422叠加等，则可以确定实际开始位置408是成功的。可以对实际结束位置414和预期的结束位置426进行类似的对准确定。
利用先前创建和选择的手势视频或新创建的手势视频，可以为患者确定对应的路径区域(例如，由边缘418和420包围的路径区域)。例如，移动关节的治疗师的视频可以包括开始位置、路径区域和结束位置。治疗师的大小可以与患者不同，并且可以针对患者自动调整开始位置、路径区域或结束位置以适配患者的大小。开始位置、路径区域和结束位置可以分别被转换成预期的开始位置422、预期的运动路径424和预期的结束位置426，例如使用治疗师的大小或患者的大小来进行这种转换。例如，如果治疗师很矮而患者很高，并且视频示出治疗师抬起手臂到头部以上，则患者的手臂可能会抬高到更高的高度。可以基于检测到的患者的大小将结束位置自动移动到该更高的高度。可以自动检测治疗师的大小，并且可以将治疗师的大小与视频一起存储。在示例中，可以改变开始位置、路径区域或结束位置的大小。这些对位置或大小的改变可以自动完成并且可以是按比例改变的，使得患者要进行的运动类似于治疗师所进行的运动。
在示例中，患者评价显示系统400可以用于自动检测或识别患者相对于移动捕获装置的取向。可以将该取向与用于显示锻炼的捕获的视频或动画的取向进行比较。例如，可以使用用户接口402向患者指示转动指定的度数，坐下，站立等，使得患者处于正确的开始位置中。在另一示例中，一个或多个开始气泡(例如，预期的开始位置422)可以用于将患者引导到开始位置。例如，预期的开始位置422可以用作在锻炼期间要移动的身体部位的初始放置位置。可以使用额外的开始位置，例如，头部位置、躯干位置、腿部位置、手臂位置等，或者可以显示诸如方向箭头之类的视觉指示以向患者提供开始锻炼的起始取向。在另一示例中，可以识别患者的取向，并且可以旋转所显示的视频或动画以与患者的取向相对应。
在示例中，预期的开始位置422、预期的运动路径424、预期的结束位置426或其他气泡可以自动改变。例如，可以改变气泡以创建下一级别以例如增加压力，增加对患者的挑战(例如通过将气泡进一步远离患者，改变锻炼等)。可以基于进展(例如，由治疗师预先选择的进展)来进行自动调整。在示例中，治疗师可以选择开始点和结束点，并且视频/动画评价部件404可以在开始点与结束点之间自动插入点以调整气泡来改变患者行进的方式。例如，进展可以基于患者当前成功或当前移动模式(例如，活动水平)的独特开始点，然后可以自动创建预期的运动路径424以达到患者的独特完成目标或中间目标。在示例中，可以改变预期的运动的难度，例如通过改变气泡的位置，改变气泡的大小，改变来自关节406的预期的开始位置408与预期的结束位置426之间的角度等来改变预期的运动的难度。
在示例中，视频/动画评价部件404可以示出进行移动的患者的捕获的视频或直播。捕获的视频可以示出患者完成的表示(例如基于激活、到达、爆裂的气泡等自动确定的表示)、持续时间、心率等。视频捕获可以包括患者或患者的骨架，并且可以使任何其他背景变黑。在另一示例中，患者可以自我报告表示或持续时间。
在示例中，增强的现实设备501可以用于显示患者在执行临床移动时的一个或多个先前尝试。例如，相机506可以捕获患者在第一时间内执行临床移动，包括第一运动范围(例如，直到第一目标对象或第一患者特异性航路点的运动范围)。第一临床移动尝试可以被存储在存储器504或数据库511中。然后，例如当患者在第二时间或更晚的时间尝试临床移动时，可以在增强的现实显示510中向患者示出第一次尝试。可以以特定效果(例如，重影效果(例如，褪色、暗淡或缥缈))示出患者进行的一次或多次先前尝试。当患者在稍后的时间尝试临床移动时，可以在增强的现实显示510中示出先前的尝试(例如将先前的尝试与患者尝试的临床移动一起实时显示)。在另一示例中，可以在显示器510上将先前的尝试显示给治疗师以示出患者的进展。在示例中，可以更微弱地示出距当前时间更远的尝试。在另一示例中，可以对先前的尝试进行颜色编码或编号。在示例中，治疗师可以使用前后叠加来向患者显示患者正在进行的临床移动的运动范围的进展。可以使用第一人称视图向患者示出先前的尝试，从而显示可以对患者进行个性化的具有进展的运动范围。
图5图示了根据一些实施例的用于显示增强的现实临床移动的系统500。系统500包括手势分析器设备503。手势分析器设备503可以包括处理器和存储器，或者可以连接到设备，例如，包括处理器502和存储器504的增强的现实设备501。在示例中，手势分析器设备503可以包括移动捕获装置(例如，相机或体感器)503。增强的现实设备501可以包括反馈控制器508或显示器510。手势分析器设备503可以与数据库511通信。数据库511可以包括视频存储设备512或动画存储设备514。在示例中，增强的现实设备501可以是由华盛顿州的雷蒙德市的微软公司制造的全息眼镜。
处理器502可以用于接收关于治疗师的临床移动(例如，使用移动捕获装置503捕获的临床移动)的信息。处理器502可以分析临床移动以确定临床移动的运动路径(例如，由移动捕获装置503捕获的视频上的运动路径)。处理器502可以例如通过使用运动路径来自动定义路径区域。处理器502可以接收关于患者沿着运动路径的移动(例如，使用移动捕获装置503捕获的患者的移动)的信息。处理器502可以确定移动是否在路径区域内。在示例中，处理器502可以向例如反馈控制器508或显示器510发送反馈。反馈可以指示移动是否在路径区域内。显示器510可以例如通过(例如在用户接口上的)视觉指示来显示关于移动是在路径区域之内还是在路径区域之外或者移动可能已经在路径区域之外的什么地方的反馈。反馈控制器508可以用于向显示器510发送反馈，发出声音警报，提供触觉反馈等。在示例中，显示器510可以是屏幕、增强的现实显示、虚拟现实显示等。
处理器502可以自动确定临床移动的开始位置或结束位置，并且开始位置或结束位置可以被包括在路径区域中。例如，为了确定移动是否在路径区域内可以包括确定移动是否在开始位置处开始以及是否在结束位置处结束。治疗师可以(例如在治疗师用户接口上)使用显示器510来修改路径区域、开始位置或结束位置。处理器502可以用于使用路径区域和关于临床移动的信息来创建视频或动画。例如，视频可以包括被重叠在捕获的视频或临床移动的动画上的路径区域。视频可以在显示器510上播放。在显示器510上播放视频时，移动捕获装置503可以用于捕获患者的移动。所捕获的视频可以被存储在视频存储设备512中。动画可以被存储在动画存储设备514中。在示例中，可以从视频存储设备512中检索视频。检索到的视频可以包括自动添加的路径区域、开始位置或结束位置。在另一示例中，可以从动画存储设备514中检索动画。检索到的动画可以包括自动添加的路径区域、开始位置或结束位置。
增强的现实设备501的处理器502包括增强的现实建模器518。增强的现实设备501可以包括相机506。系统500可以包括数据库511，数据库511可以与增强的现实设备501通信。
处理器502可以例如通过处理使用相机506接收到的信息来识别真实环境中的对象。例如，处理器502可以从相机506接收诸如图像或图像系列之类的信息并且在图像或图像中识别对象。处理器502可以在增强的现实(AR)环境中创建虚拟目标(例如，线、气泡等)。虚拟目标可以具有固定位置，例如相对于对象具有固定位置。例如，虚拟目标可以被定位在AR环境中，使得当AR设备501移动时虚拟目标保持固定。在示例中，虚拟目标可以是固定的，但不是相对于被呈现给AR设备的用户的视图是固定的。在示例中，虚拟目标可以是在相对于患者固定的位置中在真实环境中表示的球体(例如，气泡)。例如，患者可以坐着并被指示伸开腿(例如从屈曲位置伸膝)。球体可以被放置在患者在进行伸膝时的脚的最终目的地处(例如在患者前面大致在患者膝盖的高度处大致距患者腿部的长度)。当患者的脚进入球体(或接近球体)时，球体会消失。球体的消失可以指示成功执行的移动。在另一示例中，可以虚拟地显示例如沿着从屈曲的膝盖位置到伸开的膝盖位置的脚的路径的一系列球体，并且当脚进入每个后续球体时，上述一系列球体会消失(其可以叠加以显示预期的移动路径)。
显示器510可以显示被叠加在真实环境上的AR环境。显示器510可以使用AR设备501在AR环境中的固定位置中示出虚拟目标。在示例中，显示器501可以响应于检测到与虚拟目标的用户交互而从AR环境中的显示中移除虚拟目标。例如，当虚拟目标是线或气泡时，当用户与虚拟目标交互时(例如，踢出气泡，将身体部位移动通过线等)，可以移除虚拟目标(例如，淡出、爆裂、爆炸等)。
在示例中，相机506可以用于识别真实环境中的对象。相机506可以向处理器502发送关于对象的信息(例如，图像)，并且处理器502可以使用原始信息(例如，原始图像)来识别真实环境中的对象。增强的现实设备501可以包括传感器516，例如，红外传感器。在另一示例中，传感器可以在对象上。在示例中，处理器502可以从对象上的传感器516接收信息以识别对象。相机506或传感器516可以用于检测可以由处理器502解读为用户与虚拟目标的尝试的或预期的交互的移动。
处理器502可以使用增强的现实建模器518来创建增强的现实环境。例如，增强的现实建模器518可以例如从相机506或传感器516接收房间的尺寸并且创建增强的现实环境以适配房间的物理结构。在另一示例中，物理对象可以存在于房间中，并且增强的现实建模器518可以使用物理对象来在增强的现实环境中呈现虚拟对象。例如，增强的现实建模器518可以使用或检测房间中存在的桌子并且将虚拟对象呈现为搁在桌子上。在示例中，用户可以使用多个物理项目来与虚拟目标交互。用户可以使用虚拟对象来完成物理治疗移动。
图6图示了根据一些实施例的示出用于远程康复的技术600的流程图。技术600包括操作602以用于分析临床移动以确定临床移动的运动路径。可以从移动捕获装置接收临床移动，该移动捕获装置捕获由治疗师执行的临床移动。分析临床移动可以包括确定开始位置或结束位置。
技术600包括操作604以用于使用运动路径来自动定义路径区域。自动定义路径区域可以包括定义开始区域或结束区域，例如通过使用开始位置或结束位置(例如，开始区域可以是包围开始位置的区，或者结束区域可以是包围结束位置的区)来定义开始区域或结束区域。可以根据视频中的治疗师的肢体位置来确定开始位置或结束位置。在示例中，路径区域可以包括包围运动路径的预定区。技术600包括操作606以用于接收关于患者沿着运动路径的移动的信息。该信息可以包括移动是否保持在运动路径内，移动到运动路径之外，跟随运动路径(例如，在围绕运动路径的误差范围内)等。在示例中，接收信息包括捕获和分析视频。在示例中，接收信息可以包括分析患者的实况视频，将实况视频重叠在包括运动路径和路径区域的动画上以向患者提供关于正在执行的锻炼/手势的即时视觉反馈。
技术600包括操作608以用于确定移动是否在路径区域内。确定移动是否在路径区域内可以包括确定移动是否在开始区域中开始以及是否在结束区域中结束。在示例中，确定移动是否在路径区域内包括确定移动在路径区域之外。在示例中，确定移动是否在路径区域内包括确定移动在路径区域内。
在示例中，技术600可以包括监测患者移动。可以将患者移动与路径区域进行比较以确定移动是否在路径区域内，移动是否在开始区域中开始，以及移动是否在结束区域中结束。技术600可以包括发送包括患者的移动的实时描绘的反馈。实时描绘可以包括在显示器上显示移动，例如利用开始区域、结束区域或路径区域的视觉指示符在显示器上显示移动。例如，气泡可以用于表示开始区域。路径区域可以由路径区域的边缘的一系列气泡或视觉指示符来表示。在示例中，患者移动的实时描绘包括表示包括路径区域的临床移动的动画。在另一示例中，实时描绘包括包含路径区域的临床移动的视频。表示临床移动的动画或视频可以包括经颜色编码的视觉效果以指示患者移动与临床移动的遵从性或不遵从性。例如，路径区域的边缘可以响应于检测到患者已经移动到路径区域之外而变为红色。当患者移动在路径区域内时，边缘可以是绿色。当移动接近路径区域的边缘的指定距离内时，边缘会变为黄色。在示例中，开始区域和结束区域可以由气泡表示，该气泡可以持续直到患者移动到开始区域或结束区域中为止。当患者移动到开始区域或结束区域中时，气泡会爆裂。在示例中，路径区域可以由一系列气泡表示(例如，沿着运动路径在开始区域气泡之后开始并且在结束区域气泡之前结束)。通过一系列气泡的患者移动在完成移动时可以使这一系列气泡按顺序爆裂。
技术600包括操作610以用于发送指示移动是否在路径区域内的反馈。发送反馈可以包括当确定移动在路径区域之外时向患者或治疗师提供警报。反馈可以包括要重复移动的指示。反馈可以包括患者未能完成移动的警报。发送反馈可以包括当移动落入路径区域内时向患者或治疗师提供移动成功摹拟临床移动的指示。反馈可以包括患者成功完成移动的指示。反馈可以包括视觉反馈、听觉反馈、触觉反馈、非接触式反馈等。可以在显示器上的用户接口上呈现反馈。用户接口可以包括用于修改路径区域的选项。治疗师可以选择对路径区域、开始区域或结束区域的修改。
在示例中，技术600包括使用路径区域和关于临床移动的信息来创建视频或动画。视频或动画可以包括被重叠在捕获的视频或临床移动的动画上的路径区域。视频或动画可以在显示器上播放。在示例中，可以在显示器上播放视频或动画，同时使用移动捕获装置来捕获患者的移动。可以在显示器上显示移动。
图7图示了根据一些实施例的用于在增强的现实环境中显示与针对患者的治疗移动有关的方向的技术700的流程图。技术700包括操作702以用于显示增强的现实环境，诸如，被叠加在真实环境上的AR环境。操作702可以由AR设备来执行。可以使用增强的现实建模器来创建AR环境。技术700包括操作704以用于识别真实环境中的对象。可以使用AR设备的相机来识别对象。在示例中，可以使用对象上的传感器来识别对象。
技术700包括操作706以用于在增强的现实环境中创建虚拟目标。虚拟目标相对于真实环境中的对象可以具有固定位置。虚拟目标可以是固定的，但不是相对于被呈现给增强的现实设备的用户的视图是固定的。例如，当AR设备移动时，虚拟目标在真实环境中可以保持在固定位置处。例如，用户可以使用虚拟目标来完成物理治疗移动。在固定位置中显示虚拟目标可以包括显示气泡，例如在要由用户完成的物理治疗移动的结束时的位置中显示气泡。响应于与气泡的用户交互(例如，完成治疗移动)，可以通过显示动画来使气泡爆裂。在示例中，在固定位置中显示虚拟目标包括使用虚拟化身来显示虚拟物理治疗移动，虚拟物理治疗移动对应于要由用户完成的物理治疗移动。在示例中，虚拟化身是物理治疗师的虚拟表示。
技术700包括操作708以用于在增强的现实环境中显示虚拟目标。可以在固定位置中显示虚拟目标以供增强的现实设备在增强的现实环境中的治疗移动中使用。固定位置可以被定位在治疗移动的预期的开始位置、结束位置或中间位置。技术700包括操作710以用于从增强的现实环境中的显示中移除虚拟目标。操作710可以包括响应于检测到与虚拟目标的用户交互而从显示中移除虚拟目标，其中，用户指示可以指示治疗移动的完成。检测与虚拟目标的用户交互可以包括使用相机或传感器(例如，AR设备上的相机或传感器)。
技术700可以包括在AR环境中显示要由用户使用以与虚拟目标交互的多个物理项目。在示例中，可以识别AR环境中的多个物理项目，例如利用物理项目上方或附近的视觉指示符或者通过显示物理项目的虚拟表示来识别AR环境中的多个物理项目。技术700可以包括在增强的现实环境中显示指示，该指示包括关于用户交互的临床信息。
图8图示了根据一些实施例的示出用于显示增强的现实临床移动的技术的流程图。技术800包括操作802以分析关于临床移动的信息(例如，治疗师进行的临床移动)，以确定表示临床移动的至少部分的运动路径。在示例中，临床移动可以包括针对锻炼、例行、伸展、职业治疗移动、物理治疗移动等的移动。可以使用移动捕获装置来捕获治疗师的临床移动。在示例中，移动捕获装置包括红外传感器，并且运动路径是根据一系列快照来确定的，所述快照包括来自红外传感器的红外传感器数据。
技术800包括操作804以用于使用运动路径在被叠加在真实环境上的增强的现实环境中自动定义路径区域和虚拟目标。虚拟目标相对于真实环境中的对象可以具有固定位置。例如，虚拟目标相对于房间(例如，地板、墙壁、天花板等)、固定物(例如，桌子、椅子等)、移动的对象(例如，人、宠物、滑板等)的方面可以具有固定位置。在示例中，路径区域被定义为包括围绕运动路径的指定距离的区域。操作804可以包括在显示器的用户接口上接收来自治疗师的对路径区域的修改。
技术800包括操作806以在增强的现实环境中的固定位置处显示路径区域和虚拟目标。可以使用增强的现实设备来显示路径区域和虚拟目标。在示例中，固定位置可以被定位在路径区域的预期的结束位置处。
在示例中，显示虚拟目标包括显示表示在职业治疗或物理治疗中使用的现实世界对象的移动任务对象。例如，真实世界对象可以包括餐具，并且与餐具相关联的移动任务可以包括显示要在增强的现实环境中虚拟地“移动”的餐具的虚拟表示，以摹拟放置该餐具的现实世界任务。在另一示例中，现实世界对象可以是宠物(例如，猫或狗)，并且可以在增强的现实环境中模拟的真实世界任务可以包括踩踏宠物。在又一示例中，可以增加框以显示为楼梯，并且任务可以包括踩到框上以模拟爬楼梯。其他示例可以包括用于避免某事、用于日常任务等的其他现实世界对象，这些任务例如为踩油门/制动踏板，提起一杯咖啡，拍照，打字，刷牙，打开门进入汽车等。
增强的现实设备可以用于在增强的现实环境中显示要在与虚拟目标的用于交互中使用的多个物理项目。例如，可以显示重量的虚拟表示，重量对应于要在临床移动中提升的重量。在另一示例中，可以以包括例如颜色的方式示出阻力带以供在临床移动中使用。
在示例中，技术800可以包括在增强的现实环境中显示指示，该指示包括关于用户交互的临床信息。例如，可以向用户显示指示以指示临床移动已经成功执行或者未能完成。向用户显示的信息可以包括鼓励或建议(例如，“稍微抬起腿”)。在另一示例中，可以向治疗师显示指示以在患者的技术、成功、失败、进展、用力程度等方面更新治疗师的了解内容。
在显示虚拟目标的同时，用户可以在增强的现实环境中与虚拟目标交互。用户在真实环境中的动作可以在增强的现实环境中触发效果。例如，响应于检测到用户与虚拟目标的交互(例如，临床移动的完成)，可以从增强的现实环境中的显示中移除虚拟目标。移除虚拟目标可以指示临床移动的完成。在示例中，可以使用相机来检测与虚拟目标的用户交互，该用户交互使得虚拟目标从增强的现实环境中被移除。例如，相机和增强的现实显示设备可以进行通信(或者与第三设备进行通信)以确定所显示的虚拟目标是否被叠加在真实环境中以及真实环境中的用户交互是否占据真实环境中的叠加空间。
在示例中，技术800包括发送反馈，该反馈包括沿着路径区域朝向虚拟目标的移动的实时描绘，该移动对应于试图使用增强的现实设备重现临床移动的患者移动。在示例中，患者移动的实时描绘包括表示包括路径区域的临床移动的动画。例如，可以对表示临床移动的动画进行颜色编码，以指示患者移动与临床移动的遵从性或不遵从性。
在示例中，技术800包括接收关于用户沿着运动路径到虚拟目标的移动的信息。该信息可以用于确定移动是否在路径区域内，例如基于对关于用户的移动的信息的分析来确定移动是否在路径区域内。响应于确定出移动在路径区域内，技术800可以包括使用增强的现实设备来显示指示移动在路径区域内的反馈。
在示例中，外科医生或患者可以在术后使用AR设备。例如，外科医生或患者可以使用AR设备来观察植入物或手术的各个方面，例如，使用植入物传感器，医学成像(例如，X射线、MRI、CT扫描等)或者手术期间拍摄的图像或视频来观察植入物或手术的各个方面。AR设备可以在术后将存储的植入物或手术的各个方面的视频显示为被叠加在真实环境上的三维虚拟对象。外科医生或患者(或其他用户)可以以三维方式观察虚拟对象，使得虚拟对象看起来与外科医生或患者在一个房间中，并且当外科医生或患者围绕虚拟对象移动AR设备时，可以从多个不同角度观察虚拟对象。例如，虚拟对象可以是静止的，或者可以与被固定到真实环境的一个方面的一个或多个点一起移动(例如，虚拟对象可能看起来被搁在桌子上)。在示例中，外科医生和患者可以一起观察虚拟对象，并且外科医生可以控制虚拟对象以示出正在移动的虚拟对象或者可以指出虚拟对象的某些方面。
图9总体上图示了机器900的框图的示例，根据一些实施例，可以在机器900上执行本文所讨论的技术(例如，方法)中的任何一种或多种技术(例如，方法)。在备选实施例中，机器900可以作为独立设备进行操作或者可以连接(例如，联网)到其他机器。在联网部署中，机器900可以在服务器-客户端网络环境中以服务器机器、客户端机器或这两者的能力进行操作。机器900可以是个人计算机(PC)、平板PC、个人数字助理(PDA)、移动电话、网络设备、网络路由器、交换机或桥接器或能够(按顺序或以其他方式)执行指定该机器要采取的动作的指令的任何机器。另外，虽然仅图示了单个机器，但是术语“机器”还应被视为包括单独或联合执行一组(或多组)指令以执行本文所讨论的方法中的任何一种或多种方法的任何机器集合，例如，云计算、软件即服务(SaaS)、其他计算机集群配置。
如本文所述，示例可以包括逻辑单元或多个部件、模块或类似机构，或者可以对上述项目进行操作。这种机构是能够在操作时执行指定操作的有形实体(例如，硬件)。在示例中，硬件可以被具体配置为执行特定操作(例如，硬连线)。在示例中，硬件可以包括可配置执行单元(例如，晶体管、电路等)和包含指令的计算机可读介质，其中，指令将执行单元配置为在操作时执行特定操作。配置可以在执行单元或加载机构的指导下进行。因此，当设备运行时，执行单元通信地耦合到计算机可读介质。例如，在操作下，执行单元可以由第一组指令配置为在一个时间点时实施第一组特征并且由第二组指令重新配置以实施第二组特征。
机器(例如，计算机系统)900可以包括硬件处理器902(例如，中央处理单元(CPU)、图形处理单元(GPU)、硬件处理器核心或其任何组合)、主存储器904和静态存储器906，上述部件中的一些或全部可以经由互连链路(例如，总线)908彼此通信。机器900还可以包括显示单元910、字母数字输入设备912(例如，键盘)和用户接口(UI)导航设备914(例如，鼠标)。在示例中，显示单元910、字母数字输入设备912和UI导航设备914可以是触摸屏显示器。显示单元910可以包括护目镜、眼镜或其他AR或VR显示部件。例如，显示单元可以被佩戴在用户的头上并且可以向用户提供平视显示。字母数字输入设备912可以包括虚拟键盘(例如，以VR或AR设置虚拟显示的键盘。
机器900可以额外地包括存储设备(例如，驱动单元)916、信号生成设备918(例如，扬声器)、网络接口设备920以及一个或多个传感器921(例如，全球定位系统(GPS)传感器、指南针、加速度计或其他传感器)。机器900可以包括用于与一个或多个外围设备进行通信或控制一个或多个外围设备的输出控制器928(例如，串行连接(例如，通用串行总线(USB)、并行连接或其他有线连接或无线连接(例如，红外(IR)连接、近场通信(NFC)连接等)。
存储设备916可以包括非瞬态的机器可读介质922，其上存储有由本文描述的技术或功能中的任何一种或多种实施或使用的一组或多组数据结构或指令924(例如，软件)。指令924还可以完全地或至少部分地驻留在主存储器904内，在静态存储器906内，或者在由机器900执行期间在硬件处理器902内。在示例中，硬件处理器902、主存储器904、静态存储器906或存储设备916中的一个或任何组合可以构成机器可读介质。
虽然机器可读介质922被图示为单个介质，但是术语“机器可读介质”可以包括被配置为存储一个或多个指令924的单个介质或多个介质(例如，集中式数据库或分布式数据库或者相关联的高速缓冲存储器和服务器)。
术语“机器可读介质”可以包括以下情况的任何介质：该介质能够存储、编码或携带用于由机器900执行的指令并且使得机器900执行本公开内容的技术中的任何一种或多种技术，或者能够存储、编码或携带由这些指令使用的或与这些指令相关联的数据结构。非限制性机器可读介质示例可以包括固态存储器以及光学介质和磁性介质。机器可读介质的具体示例可以包括：非易失性存储器(例如，半导体存储器设备(例如，电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM))以及闪速存储器设备)、磁盘(例如，内部硬盘和可移动磁盘)、磁光盘以及CD-ROM和DVD-ROM盘。
还可以利用多种传输协议中(例如，帧中继、网际协议(IP)、传输控制协议(TCP)、用户数据报协议(UDP)、超文本传输协议(HTTP)等)的任何一种，使用传输介质经由网络接口设备920在通信网络926上传输或接收指令924。示例通信网络可以包括局域网(LAN)、广域网(WAN)、分组数据网络(例如，互联网)、移动电话网络(例如，蜂窝网络)、普通老式电话(POTS)网络以及无线数据网络(例如，被称为
Figure BDA0002115316670000251
的电气和电子工程师协会(IEEE)802.11标准系列，其作为由蓝牙特别兴趣小组、对等(P2P)网络等公布的被称为
Figure BDA0002115316670000252
的个域网标准系列)。在示例中，网络接口设备920可以包括一个或多个物理插孔(例如，以太网、同轴插孔或电话插孔)或用于连接到通信网络926的一个或多个天线。在示例中，网络接口设备920可以包括用于使用单输入多输出(SIMO)技术、多输入多输出(MIMO)技术或多输入单输出(MISO)技术中的至少一种来进行无线通信的多个天线。术语“传输介质”应被视为包括能够存储、编码或携带由机器900执行的指令的任何无形介质，并且包括数字或模拟通信信号或其他无形介质以促进这种软件的通信。
各种说明和示例
这些非限制性示例中的每个示例可以独立存在，或者可以以与其他示例中的一个或多个示例的各种排列组合的方式进行组合。
示例1是一种用于显示增强的现实临床移动的方法，所述方法包括：分析关于使用移动捕获装置捕获的治疗师的临床移动的信息，以确定表示所述临床移动的至少部分的运动路径；使用所述运动路径在被叠加在真实环境上的增强的现实环境中自动定义路径区域和虚拟目标，所述虚拟目标相对于所述真实环境中的对象具有固定位置；并且使用增强的现实设备在所述增强的现实环境中的所述固定位置处显示所述路径区域和所述虚拟目标，所述固定位置被定位在所述路径区域的预期的结束位置处。
在示例2中，示例1的主题任选地包括：接收关于用户沿着所述运动路径到所述虚拟目标的移动的信息。
在示例3中，示例2的主题任选地包括：基于对关于所述用户的所述移动的所述信息的分析来确定所述移动是否在所述路径区域内，并且响应于确定出所述移动在所述路径区域内，使用所述增强的现实设备来显示指示所述移动在所述路径区域内的反馈。
在示例4中，示例1-3中的任何一个或多个的主题任选地包括：响应于检测到与所述虚拟目标的用户交互指示复现所述临床移动的用户移动的完成，从所述增强的现实环境中的显示中移除所述虚拟目标。
在示例5中，示例1-4中的任何一个或多个的主题任选地包括：其中，所述移动捕获装置包括红外传感器，并且所述运动路径是根据一系列快照来确定的，所述快照包括来自所述红外传感器的红外传感器数据。
在示例6中，示例5的主题任选地包括：其中，所述路径区域被定义为包括围绕所述运动路径的指定距离的区域。
在示例7中，示例1-6中的任何一个或多个的主题任选地包括：在显示器的用户接口接收来自所述治疗师的对所述路径区域的修改。
在示例8中，示例1-7中的任何一个或多个的主题任选地包括：发送反馈，所述反馈包括沿着所述路径区域朝向所述虚拟目标的移动的实时描绘，所述移动对应于试图使用所述增强的现实设备重现所述临床移动的患者移动。
在示例9中，示例8的主题任选地包括：其中，所述患者移动的所述实时描绘包括表示包括所述路径区域的所述临床移动的动画。
在示例10中，示例9的主题任选地包括：其中，对表示所述临床移动的所述动画进行颜色编码，以指示所述患者移动与所述临床移动的遵从性或不遵从性。
在示例11中，示例1-10中的任何一个或多个的主题任选地包括：在所述增强的现实环境中显示要在与所述虚拟目标的所述用户交互中使用的多个物理项目。
在示例12中，示例1-11中的任何一个或多个的主题任选地包括：检测与从相机接收的数据中的所述虚拟目标的用户交互，所述用户交互使得所述虚拟目标从所述增强的现实环境中被移除。
在示例13中，示例1-12中的任何一个或多个的主题任选地包括：其中，显示所述虚拟目标包括显示表示在职业治疗中使用的现实世界对象的移动任务对象。
在示例14中，示例1-13中的任何一个或多个的主题任选地包括：在所述增强的现实环境中显示指示，所述指示包括关于用户交互的临床信息。
示例15是一种用于在增强的现实环境中显示与针对患者的临床移动有关的方向的增强的现实设备，包括：处理器，其用于：分析关于使用移动捕获装置捕获的治疗师的临床移动的信息，以确定表示所述临床移动的至少部分的运动路径；并且使用所述运动路径在被叠加在真实环境上的增强的现实环境中自动定义路径区域和虚拟目标，所述虚拟目标相对于所述真实环境中的对象具有固定位置；以及显示器，其用于：使用增强的现实设备在所述增强的现实环境中的所述固定位置处显示所述路径区域和所述虚拟目标，所述固定位置被定位在所述路径区域的预期的结束位置处。
在示例16中，示例15的主题任选地包括：其中，所述处理器还用于接收关于用户沿着所述运动路径到所述虚拟目标的移动的信息。
在示例17中，示例16的主题任选地包括：其中，所述处理器还用于基于对关于所述用户的所述移动的所述信息的分析来确定所述移动是否在所述路径区域内，并且响应于确定出所述移动在所述路径区域内，所述显示器还用于使用所述增强的现实设备来显示指示所述移动在所述路径区域内的反馈。
在示例18中，示例15-17中的任何一个或多个的主题任选地包括：其中，所述显示器还用于响应于检测到与所述虚拟目标的用户交互指示复现所述临床移动的用户移动的完成，从所述增强的现实环境中的显示中移除所述虚拟目标。
在示例19中，示例15-18中的任何一个或多个的主题任选地包括：其中，所述移动捕获装置还包括红外传感器，并且所述运动路径是根据一系列快照来确定的，所述快照包括来自所述红外传感器的红外传感器数据。
在示例20中，示例19的主题任选地包括：其中，所述路径区域被定义为包括围绕所述运动路径的指定距离的区域。
在示例21中，示例15-20中的任何一个或多个的主题任选地包括：其中，所述处理器还用于在所述显示器的用户接口上接收来自所述治疗师的对所述路径区域的修改。
在示例22中，示例15-21中的任何一个或多个的主题任选地包括：其中，所述处理器还用于生成反馈，所述反馈包括沿着所述路径区域朝向所述虚拟目标的移动的实时描绘，所述移动对应于试图使用所述增强的现实设备重现所述临床移动的患者移动。
在示例23中，示例22的主题任选地包括：其中，所述患者移动的所述实时描绘包括表示包括所述路径区域的所述临床移动的动画。
在示例24中，示例23的主题任选地包括：其中，对表示所述临床移动的所述动画进行颜色编码，以指示所述患者移动与所述临床移动的遵从性或不遵从性。
在示例25中，示例15-24中的任何一个或多个的主题任选地包括：其中，所述显示器还用于在所述增强的现实环境中显示要在与所述虚拟目标的所述用户交互中使用的多个物理项目。
在示例26中，示例15-25中的任何一个或多个的主题任选地包括：其中，所述处理器还用于检测与从相机接收的数据中的所述虚拟目标的用户交互，所述用户交互使得所述虚拟目标从所述增强的现实环境中被移除。
在示例27中，示例15-26中的任何一个或多个的主题任选地包括：其中，为了显示所述虚拟目标，所述显示器还用于显示表示在职业治疗中使用的现实世界对象的移动任务对象。
在示例28中，示例15-27中的任何一个或多个的主题任选地包括：其中，所述显示器还用于在所述增强的现实环境中显示指示，所述指示包括关于用户交互的临床信息。
示例29是一种系统，包括：移动捕获装置，其包括用于捕获关于治疗师的临床移动的信息的相机；以及处理器，其用于：分析所述信息以确定表示所述临床移动的至少部分的运动路径；并且使用所述运动路径在被叠加在真实环境上的增强的现实环境中自动定义路径区域和虚拟目标，所述虚拟目标相对于所述真实环境中的对象具有固定位置；以及增强的现实显示设备，其用于在所述增强的现实环境中的所述固定位置处显示所述路径区域和所述虚拟目标，所述固定位置被定位在所述路径区域的预期的结束位置处。
在示例30中，示例29的主题任选地包括用于捕获关于用户沿着所述运动路径到所述虚拟目标的移动的信息的相机。
在示例31中，示例30的主题任选地包括：其中，所述处理器还用于基于对关于所述用户的所述移动的所述信息的分析来确定所述移动是否在所述路径区域内，并且响应于确定出所述移动在所述路径区域内，所述增强的现实显示设备还用于显示指示所述移动在所述路径区域内的反馈。
在示例32中，示例29-31中的任何一个或多个的主题任选地包括：其中，所述增强的现实显示设备还用于：响应于检测到与所述虚拟目标的用户交互指示复现所述临床移动的用户移动的完成，从所述增强的现实环境中的显示中移除所述虚拟目标。
在示例33中，示例29-32中的任何一个或多个的主题任选地包括：其中，所述移动捕获装置还包括红外传感器，并且所述运动路径是根据一系列快照来确定的，所述快照包括来自所述红外传感器的红外传感器数据。
在示例34中，示例33的主题任选地包括：其中，所述路径区域被定义为包括围绕所述运动路径的指定距离的区域。
在示例35中，示例29-34中的任何一个或多个的主题任选地包括：其中，所述处理器还用于在所述增强的现实显示设备的用户接口上接收来自所述治疗师的对所述路径区域的修改。
在示例36中，示例29-35中的任何一个或多个的主题任选地包括：其中，所述处理器还用于生成反馈，所述反馈包括沿着所述路径区域朝向所述虚拟目标的移动的实时描绘，所述移动对应于试图使用所述增强的现实设备重现所述临床移动的患者移动。
在示例37中，示例36的主题任选地包括：其中，所述患者移动的所述实时描绘包括表示包括所述路径区域的所述临床移动的动画。
在示例38中，示例37的主题任选地包括：其中，对表示所述临床移动的所述动画进行颜色编码，以指示所述患者移动与所述临床移动的遵从性或不遵从性。
在示例39中，示例29-38中的任何一个或多个的主题任选地包括：其中，所述增强的现实显示设备还用于在所述增强的现实环境中显示要在与所述虚拟目标的所述用户交互中使用的多个物理项目。
在示例40中，示例29-39中的任何一个或多个的主题任选地包括：其中，所述处理器还用于检测与从相机接收的数据中的所述虚拟目标的用户交互，所述用户交互使得所述虚拟目标从所述增强的现实环境中被移除。
在示例41中，示例29-40中的任何一个或多个的主题任选地包括：其中，为了显示所述虚拟目标，所述增强的现实显示设备还用于显示表示在职业治疗中使用的现实世界对象的移动任务对象。
在示例42中，示例29-41中的任何一个或多个的主题任选地包括：其中，所述增强的现实显示设备还用于在所述增强的现实环境中显示指示，所述指示包括关于用户交互的临床信息。
示例43是至少一种机器可读介质，包括用于显示增强的现实临床移动的指令，所述指令当由机器执行时使得所述机器执行以下操作：分析关于使用移动捕获装置捕获的治疗师的临床移动的信息，以确定表示所述临床移动的至少部分的运动路径；使用所述运动路径在被叠加在真实环境上的增强的现实环境中自动定义路径区域和虚拟目标，所述虚拟目标相对于所述真实环境中的对象具有固定位置；并且使用增强的现实设备在所述增强的现实环境中的所述固定位置处显示所述路径区域和所述虚拟目标，所述固定位置被定位在所述路径区域的预期的结束位置处。
在示例44中，示例43的主题任选地包括用于接收关于用户沿着所述运动路径到所述虚拟目标的移动的信息的指令。
在示例45中，示例44的主题任选地包括用于以下操作的指令：基于对关于所述用户的所述移动的所述信息的分析来确定所述移动是否在所述路径区域内，并且响应于确定出所述移动在所述路径区域内，使用所述增强的现实设备来显示指示所述移动在所述路径区域内的反馈。
在示例46中，示例43-45中的任何一个或多个的主题任选地包括用于以下操作的指令：响应于检测到与所述虚拟目标的用户交互指示复现所述临床移动的用户移动的完成，从所述增强的现实环境中的显示中移除所述虚拟目标。
在示例47中，示例43-46中的任何一个或多个的主题任选地包括：其中，所述移动捕获装置包括红外传感器，并且所述运动路径是根据一系列快照来确定的，所述快照包括来自所述红外传感器的红外传感器数据。
在示例48中，示例47的主题任选地包括：其中，所述路径区域被定义为包括围绕所述运动路径的指定距离的区域。
在示例49中，示例43-48中的任何一个或多个的主题任选地包括用于在显示器的用户接口上接收来自所述治疗师的对所述路径区域的修改的指令。
在示例50中，示例43-49中的任何一个或多个的主题任选地包括用于生成反馈的指令，所述反馈包括沿着所述路径区域朝向所述虚拟目标的移动的实时描绘，所述移动对应于试图使用所述增强的现实设备重现所述临床移动的患者移动。
在示例51中，示例50的主题任选地包括：其中，所述患者移动的所述实时描绘包括表示包括所述路径区域的所述临床移动的动画。
在示例52中，示例51的主题任选地包括：其中，对表示所述临床移动的所述动画进行颜色编码，以指示所述患者移动与所述临床移动的遵从性或不遵从性。
在示例53中，示例43-52中的任何一个或多个的主题任选地包括用于在所述增强的现实环境中显示要在与所述虚拟目标的所述用户交互中使用的多个物理项目的指令。
在示例54中，示例43-53中的任何一个或多个的主题任选地包括用于以下操作的指令：检测与从相机接收的数据中的所述虚拟目标的用户交互，所述用户交互使得所述虚拟目标从所述增强的现实环境中被移除。
在示例55中，示例43-54中的任何一个或多个的主题任选地包括：其中，用于显示所述虚拟目标的指令包括用于显示表示在职业治疗中使用的现实世界对象的移动任务对象的指令。
在示例56中，示例43-55中的任何一个或多个的主题任选地包括用于以下操作的指令：在所述增强的现实环境中显示指示，所述指示包括关于用户交互的临床信息。
实施例57是一种用于远程康复的方法，所述方法包括：接收关于使用移动捕获装置捕获的治疗师的临床移动的信息；分析所述临床移动以确定表示所述临床移动的至少部分的运动路径；使用所述运动路径来自动定义路径区域；接收关于患者沿着所述运动路径的移动的信息；基于对关于所述患者的所述移动的所述信息的分析，确定所述移动是否在所述路径区域内；并且发送指示所述移动是否在所述路径区域内的反馈。
在示例58中，示例57的主题任选地包括：其中，分析所述临床移动包括确定所述临床移动的开始位置和结束位置。
在示例59中，示例58的主题任选地包括：其中，自动定义所述路径区域包括使用所述开始位置和所述结束位置来自动定义开始区域和结束区域。
在示例60中，示例59的主题任选地包括：其中，确定所述移动是否在所述路径区域内包括确定所述移动是否在所述开始区域中开始以及是否在所述结束区域中结束。
在示例61中，示例57-60中的任何一个或多个的主题任选地包括：其中，所述移动捕获装置包括红外传感器，并且所述运动路径是根据一系列快照来确定的，所述快照包括来自所述红外传感器的红外传感器数据。
在示例62中，示例61的主题任选地包括：其中，所述路径区域被定义为包括围绕所述运动路径的指定距离的区域。
在示例63中，示例57-62中的任何一个或多个的主题任选地包括：其中，所述路径区域包括包围所述运动路径的预定区。
在示例64中，示例57-63中的任何一个或多个的主题任选地包括：其中，确定所述移动是否在所述路径区域内包括确定所述移动在所述路径区域之外。
在示例65中，示例64的主题任选地包括：其中，发送所述反馈包括向所述患者提供所述移动在所述路径区域之外并且所述移动将被重复的警报。
在示例66中，示例64-65中的任何一个或多个的主题任选地包括：其中，发送所述反馈包括向所述治疗师提供所述患者未能完成所述移动的警报。
在示例67中，示例57-66中的任何一个或多个的主题任选地包括：其中，确定所述移动是否在所述路径区域内包括确定所述移动在所述路径区域内。
在示例68中，示例67的主题任选地包括：其中，发送所述反馈包括向所述患者提供所述移动成功摹拟所述临床移动的指示。
在示例69中，示例67-68中的任何一个或多个的主题任选地包括：其中，发送所述反馈包括向所述治疗师提供所述患者成功完成所述移动的指示。
示例70是至少一种机器可读介质，包括用于接收信息的指令，所述指令在由机器执行时使得所述机器执行以下操作：接收关于使用移动捕获装置捕获的治疗师的临床移动的信息；分析所述临床移动以确定所述临床移动的运动路径；使用所述运动路径来自动定义路径区域；接收关于患者沿着所述运动路径的移动的信息；确定所述移动是否在所述路径区域内；并且发送指示所述移动是否在所述路径区域内的反馈。
在示例71中，示例70的主题任选地包括：其中，所述反馈是视觉的、听觉的或触觉的。
在示例72中，示例70-71中的任何一个或多个的主题任选地包括用于在显示器的用户接口上接收来自所述治疗师的对所述路径区域的修改的指令。
在示例73中，示例70-72中的任何一个或多个的主题任选地包括用于以下操作的指令：使用所述路径区域和关于所述临床移动的所述信息来创建视频，所述视频包括被重叠在所述临床移动的捕获的视频上的所述路径区域。
在示例74中，示例73的主题任选地包括用于以下操作的指令：在使用所述移动捕获装置捕获所述患者的所述移动的同时在显示器上播放所述视频。
示例75是一种系统，包括：移动捕获装置；存储器；以及处理器，其被连接到所述存储器，所述处理器用于：接收关于由治疗师执行的并且使用所述移动捕获装置捕获的临床移动的信息；分析所述临床移动以确定所述临床移动的运动路径；使用所述运动路径来自动定义路径区域；接收关于患者沿着所述运动路径的移动的信息，所述信息是由所述移动捕获装置产生的；确定移动是否在所述路径区域内；并且发送指示所述移动是否在所述路径区域内的反馈。
在示例76中，示例75的主题任选地包括：其中，为了自动定义所述路径区域，所述处理器还用于使用开始位置和结束位置来自动定义开始区域和结束区域。
在示例77中，示例76的主题任选地包括：其中，为了确定所述移动是否在所述路径区域内，所述处理器还用于确定所述移动是否在所述开始区域中开始以及是否在所述结束区域中结束。
在示例78中，示例75-77中的任何一个或多个的主题任选地包括：其中，所述处理器用于生成包括所述患者的所述移动的实时描绘的反馈。
在示例79中，示例78的主题任选地包括：其中，所述患者移动的所述实时描绘包括表示包括所述路径区域的所述临床移动的动画。
在示例80中，示例78-79中的任何一个或多个的主题任选地包括：其中，对表示所述临床移动的所述动画进行颜色编码，以指示所述患者移动与所述临床移动的遵从性或不遵从性。
示例81是一种用于在增强的现实环境中显示与针对患者的治疗移动有关的方向的方法，所述方法包括：使用增强的现实设备来显示被叠加在真实环境上的所述增强的现实环境；识别所述真实环境中的对象；在所述增强的现实环境中创建虚拟目标，所述虚拟目标相对于所述对象具有固定位置；使用所述增强的现实设备在所述固定位置处显示所述虚拟目标，以供在所述增强的现实环境中的所述治疗移动中使用，所述固定位置被定位在所述治疗移动的预期的结束位置处；并且响应于检测到与所述虚拟目标的用户交互指示复现所述治疗移动的用户移动的完成，从所述增强的现实环境中的显示中移除所述虚拟目标。
在示例82中，示例81的主题任选地包括：在所述增强的现实环境中显示要在与所述虚拟目标的所述用户交互中使用的多个物理项目。
在示例83中，示例81-82中的任何一个或多个的主题任选地包括：其中，在所述固定位置中显示所述虚拟目标包括在所述预期的结束位置中显示气泡。
在示例84中，示例83的主题任选地包括：其中，移除所述虚拟目标包括显示所述气泡爆裂的动画。
在示例85中，示例81-84中的任何一个或多个的主题任选地包括：其中，所述虚拟目标相对于所述对象是固定的，但不是相对于被呈现给所述增强的现实设备的用户的视图是固定的。
在示例86中，示例81-85中的任何一个或多个的主题任选地包括：其中，识别所述真实环境中的所述对象包括使用所述增强的现实设备的相机。
在示例87中，示例81-86中的任何一个或多个的主题任选地包括：其中，识别所述真实环境中的所述对象包括使用所述对象上的传感器来识别所述对象。
在示例88中，示例81-87中的任何一个或多个的主题任选地包括使用所述增强的现实建模器来创建所述增强的现实环境。
在示例89中，示例81-88中的任何一个或多个的主题任选地包括：其中，检测与所述虚拟目标的所述用户交互包括使用相机。
在示例90中，示例81-89中的任何一个或多个的主题任选地包括：其中，在所述固定位置中显示所述虚拟目标包括使用虚拟化身来显示虚拟物理治疗移动，所述虚拟物理治疗移动对应于要由所述用户完成的所述物理治疗移动。
在示例91中，示例90的主题任选地包括：其中，所述虚拟化身是物理治疗师的虚拟表示。
在示例92中，示例81-91中的任何一个或多个的主题任选地包括：在所述增强的现实环境中显示指示，所述指示包括关于所述用户交互的临床信息。
示例93是一种用于在增强的现实环境中显示与针对患者的治疗移动有关的方向的增强的现实设备，所述增强的现实设备包括：处理器，其用于：识别真实环境中的对象；并且在增强的现实环境中创建虚拟目标，所述虚拟目标相对于所述对象具有固定位置；以及显示器，其用于：显示被叠加在真实环境上的所述增强的现实环境；使用所述增强的现实设备在所述固定位置处显示所述虚拟目标，以供在所述增强的现实环境中的所述治疗移动中使用，所述固定位置被定位在所述治疗移动的预期的结束位置处；响应于检测到与所述虚拟目标的用户交互指示复现所述治疗移动的用户移动的完成，从所述增强的现实环境中的显示中移除所述虚拟目标。
在示例94中，示例93的主题任选地包括：其中，所述虚拟目标是固定的，但不是相对于被呈现给所述增强的现实设备的用户的视图是固定的。
在示例95中，示例93-94中的任何一个或多个的主题任选地包括：用于识别所述真实环境中的所述对象的相机。
在示例96中，示例93-95中的任何一个或多个的主题任选地包括：其中，为了识别所述真实环境中的所述对象，所述处理器还用于从所述对象上的传感器接收信息以识别所述对象。
在示例97中，示例93-96中的任何一个或多个的主题任选地包括：其中，所述处理器还用于使用增强的现实建模器来创建所述增强的现实环境。
在示例98中，示例93-97中的任何一个或多个的主题任选地包括：用于检测与所述虚拟目标的所述用户交互的相机。
在示例99中，示例93-98中的任何一个或多个的主题任选地包括：其中，所述显示器还用于在所述增强的现实环境中显示要由用户用于与所述虚拟目标进行交互的多个物理项目。
在示例100中，示例93-99中的任何一个或多个的主题任选地包括：其中，用户使用所述虚拟目标来完成物理治疗移动。
在示例101中，示例1-99中的任何一个或多个的主题可以任选地包括包含显示部件的技术或系统以允许治疗师选择对象并将所述对象放置在AR环境中。
在示例102中，示例101的主题可以任选地包括：当检测到与所放置的对象的用户交互时生成反馈。
在示例103中，示例101-102中的任何一个或多个的主题任选地包括：其中，检测与所放置的对象的用户交互包括从相机接收数据，所述用户交互使得所放置的对象从所述AR环境中被移除。
本文描述的方法示例可以至少部分地是机器或计算机实施的。一些示例可以包括编码有指令的计算机可读介质或机器可读介质，所述指令能操作用于配置电子设备以执行如以上示例中描述的方法。这种方法的实施方式可以包括代码，例如，微代码、汇编语言代码、更高级的语言代码等。这种代码可以包括用于执行各种方法的计算机可读指令。代码可以形成计算机程序产品的部分。另外，在示例中，代码可以例如在被执行期间或在其他时间被有形地存储在一个或多个易失性、非瞬态计算机可读介质或非易失性有形计算机可读介质上。这些有形计算机可读介质的示例可以包括但不限于硬盘、可移动磁盘、可移动光盘(例如，光盘和数字视频盘)、磁带、存储卡或棒、随机存取存储器(RAM)、只读存储器(ROM)等。

Claims (20)

1.一种用于评价临床移动的方法，所述方法包括：
接收指示治疗师的临床移动的临床移动数据，所述临床移动数据是使用移动捕获装置来捕获的，所述临床移动包括治疗师身体部位移动以展示要由病人执行的康复锻炼；
分析所述临床移动数据以确定表示所述临床移动的部分的三维运动路径；
使用所述三维运动路径来自动定义三维路径区域；
创建所述临床移动的所述部分的动画，所述动画包括所述三维路径区域的视觉表示；
显示包括所述三维路径区域的所述视觉表示的所述动画；
接收指示患者沿着所述三维运动路径的移动的患者移动数据；
基于对关于所述患者的所述移动的所述患者移动数据的分析来确定所述移动是否在所述三维路径区域内；并且
发送指示所述移动是否在所述三维路径区域内的反馈。
2.根据权利要求1所述的方法，其中，分析所述临床移动数据包括确定所述临床移动的开始位置和结束位置，其中，自动定义所述三维路径区域包括使用所述开始位置和所述结束位置来自动定义开始区域和结束区域，并且其中，确定所述移动是否在所述三维路径区域内包括确定所述移动是否在所述开始区域中开始以及是否在所述结束区域中结束。
3.根据权利要求1所述的方法，其中，接收所述临床移动数据包括从包括红外传感器的所述移动捕获装置接收多个快照；并且其中，分析所述临床移动数据以确定所述三维运动路径包括分析包括来自所述红外传感器的红外传感器数据的所述多个快照。
4.根据权利要求1所述的方法，其中，定义所述三维路径区域包括定义围绕所述三维运动路径的指定距离。
5.根据权利要求1所述的方法，其中，确定所述移动是否在所述三维路径区域内包括确定所述移动在所述三维路径区域之外。
6.根据权利要求5所述的方法，其中，发送所述反馈包括向所述患者提供所述移动在所述三维路径区域之外并且所述移动将被重复的警报。
7.根据权利要求5所述的方法，其中，发送所述反馈包括向所述治疗师提供所述患者未能完成所述移动的警报。
8.根据权利要求1所述的方法，其中，确定所述移动是否在所述三维路径区域内包括确定所述移动在所述三维路径区域内，并且其中，发送所述反馈包括：向所述患者提供所述移动成功摹拟所述临床移动的指示，或者向所述治疗师提供所述患者成功完成所述移动的指示。
9.根据权利要求1所述的方法，还包括：在显示器的用户接口上接收来自所述治疗师的对所述三维路径区域的修改。
10.根据权利要求1所述的方法，其中，在所述临床移动的所述部分的所述动画内对所述三维路径区域的所述视觉表示进行颜色编码，以指示所述患者的所述移动与所述临床移动的遵从性或不遵从性。
11.一种机器可读介质，包括用于接收信息的指令，所述指令在由机器执行时使得所述机器执行以下操作：
接收指示治疗师的临床移动的临床移动数据，所述临床移动数据是使用移动捕获装置来捕获的；
分析所述临床移动数据以确定表示所述临床移动的部分的三维运动路径；
使用所述三维运动路径来自动定义三维路径区域；
创建所述临床移动的所述部分的动画，所述动画包括所述三维路径区域的视觉表示；
使得显示包括所述三维路径区域的所述视觉表示的所述动画；
接收指示患者沿着所述三维运动路径的移动的患者移动数据；
基于对关于所述患者的所述移动的所述患者移动数据的分析来确定所述移动是否在所述三维路径区域内；并且
发送指示所述移动是否在所述三维路径区域内的反馈。
12.根据权利要求11所述的机器可读介质，其中，为了分析所述临床移动数据，所述指令还用于使得所述机器确定所述临床移动的开始位置和结束位置，其中，为了自动定义所述三维路径区域，所述指令还用于使得所述机器使用所述开始位置和所述结束位置来自动定义开始区域和结束区域，并且其中，为了确定所述移动是否在所述三维路径区域内，所述指令还用于使得所述机器确定所述移动是否在所述开始区域中开始以及是否在所述结束区域中结束。
13.根据权利要求11所述的机器可读介质，其中，为了定义所述三维路径区域，所述指令还用于使得所述机器定义围绕所述三维运动路径的指定距离。
14.根据权利要求11所述的机器可读介质，其中，在所述临床移动的所述部分的所述动画内对所述三维路径区域的所述视觉表示进行颜色编码，以指示所述患者的所述移动与所述临床移动的遵从性或不遵从性。
15.根据权利要求11所述的机器可读介质，其中，为了发送所述反馈，所述指令还用于使得所述机器：向所述患者提供所述移动在所述三维路径区域之外并且所述移动要被重复的警报，或者向所述治疗师提供所述患者未能完成所述移动的警报。
16.一种系统，包括：
显示设备；
存储器；以及
处理器，其被连接到所述存储器，所述处理器用于：
接收指示治疗师的临床移动的临床移动数据，所述临床移动数据是使用移动捕获装置来捕获的；
分析所述临床移动数据以确定表示所述临床移动的部分的三维运动路径；
使用所述三维运动路径来自动定义三维路径区域；
创建所述临床移动的所述部分的动画，所述动画包括所述三维路径区域的视觉表示；
发送要被显示在所述显示设备上的所述动画，所述动画包括所述三维路径区域的所述视觉表示；
接收指示患者沿着所述三维运动路径的移动的患者移动数据；
基于对关于所述患者的所述移动的所述患者移动数据的分析来确定所述移动是否在所述三维路径区域内；并且
发送指示所述移动是否在所述三维路径区域内的反馈。
17.根据权利要求16所述的系统，其中，为了确定所述移动是否在所述三维路径区域内，所述处理器还用于确定所述移动在所述三维路径区域内，并且其中，为了发送所述反馈，所述处理器还用于：向所述患者提供所述移动成功摹拟所述临床移动的指示，或者向所述治疗师提供所述患者成功完成所述移动的指示。
18.根据权利要求16所述的系统，其中，所述处理器还用于在显示器的用户接口上接收来自所述治疗师的对所述三维路径区域的修改。
19.根据权利要求16所述的系统，其中，在所述临床移动的所述部分的所述动画内对所述三维路径区域的所述视觉表示进行颜色编码，以指示所述患者的所述移动与所述临床移动的遵从性或不遵从性。
20.根据权利要求16所述的系统，其中，所述系统还包括移动捕获装置，所述移动捕获装置包括红外传感器，所述红外传感器用于捕获包括要用于确定所述三维运动路径的红外传感器数据的一系列快照。
CN201780081935.9A 2016-11-03 2017-11-03 增强的现实治疗移动显示和手势分析器 Active CN110121748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210186477.8A CN114550874A (zh) 2016-11-03 2017-11-03 增强的现实治疗移动显示和手势分析器

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662416869P 2016-11-03 2016-11-03
US62/416,869 2016-11-03
US201662421001P 2016-11-11 2016-11-11
US62/421,001 2016-11-11
US201662440588P 2016-12-30 2016-12-30
US62/440,588 2016-12-30
PCT/US2017/059991 WO2018085691A1 (en) 2016-11-03 2017-11-03 Augmented reality therapeutic movement display and gesture analyzer

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210186477.8A Division CN114550874A (zh) 2016-11-03 2017-11-03 增强的现实治疗移动显示和手势分析器

Publications (2)

Publication Number Publication Date
CN110121748A CN110121748A (zh) 2019-08-13
CN110121748B true CN110121748B (zh) 2022-03-11

Family

ID=60413279

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780081935.9A Active CN110121748B (zh) 2016-11-03 2017-11-03 增强的现实治疗移动显示和手势分析器
CN202210186477.8A Pending CN114550874A (zh) 2016-11-03 2017-11-03 增强的现实治疗移动显示和手势分析器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210186477.8A Pending CN114550874A (zh) 2016-11-03 2017-11-03 增强的现实治疗移动显示和手势分析器

Country Status (6)

Country Link
US (3) US10621436B2 (zh)
EP (2) EP3535645B1 (zh)
CN (2) CN110121748B (zh)
AU (3) AU2017355505B2 (zh)
CA (2) CA3153493C (zh)
WO (1) WO2018085691A1 (zh)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
CN109310476B (zh) 2016-03-12 2020-04-03 P·K·朗 用于手术的装置与方法
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
CA3153493C (en) 2016-11-03 2023-12-12 Zimmer Us, Inc. Augmented reality therapeutic movement display and gesture analyzer
US10269116B2 (en) * 2016-12-26 2019-04-23 Intel Corporation Proprioception training method and apparatus
WO2018132804A1 (en) 2017-01-16 2018-07-19 Lang Philipp K Optical guidance for surgical, medical, and dental procedures
US20190005699A1 (en) * 2017-06-30 2019-01-03 Intel Corporation Technologies for generating a motion model for a virtual character
US11771958B2 (en) * 2017-07-07 2023-10-03 Rika TAKAGI Instructing process management system for treatment and/or exercise, and program, computer apparatus and method for managing instructing process for treatment and/or exercise
KR101992919B1 (ko) * 2017-08-08 2019-06-26 유의식 관절 검진 시스템
US11801114B2 (en) 2017-09-11 2023-10-31 Philipp K. Lang Augmented reality display for vascular and other interventions, compensation for cardiac and respiratory motion
FR3071723B1 (fr) * 2017-10-04 2022-08-26 Dessintey Dispositif pour la mise en œuvre de la therapie miroir et procede correspondant
US11857335B1 (en) * 2017-10-25 2024-01-02 Mindmaze Group Sa Systems, methods, and apparatuses for rehabilitation and training
US10842967B2 (en) 2017-12-18 2020-11-24 Ifgcure Holdings, Llc Augmented reality therapy for treating mental health and developmental disorders
WO2019148154A1 (en) 2018-01-29 2019-08-01 Lang Philipp K Augmented reality guidance for orthopedic and other surgical procedures
SG10201800833TA (en) * 2018-01-31 2019-08-27 Nec Asia Pacific Pte Ltd Method and system to quantitatively monitoring a patient’s functional abilities and determining progressof rehabilitation
SG10201800971RA (en) * 2018-02-05 2019-09-27 Nec Asia Pacific Pte Ltd Method and system for motor function rehabilitation and monitoring a patient’s recovery
US20200008734A1 (en) * 2018-05-07 2020-01-09 Rajneesh Bhandari Method and system for navigating a user for correcting a vestibular condition
CN108682048B (zh) * 2018-05-15 2022-05-17 杭州三坛医疗科技有限公司 导向通道的姿态显示方法、装置和系统、可读存储介质
CN112584791A (zh) 2018-06-19 2021-03-30 托尼尔公司 用于诊断肩部疾患的神经网络
KR20210035243A (ko) * 2018-07-23 2021-03-31 엠브이아이 헬스 인크. 물리 치료를 위한 시스템 및 방법
US10706347B2 (en) 2018-09-17 2020-07-07 Intel Corporation Apparatus and methods for generating context-aware artificial intelligence characters
EP3644322B1 (en) * 2018-10-25 2023-12-27 Tata Consultancy Services Limited Method and system for interpreting neural interplay involving proprioceptive adaptation during a dual task paradigm
SG11202104815WA (en) * 2018-11-13 2021-06-29 Univ Illinois Portable systems and methods for ankle rehabilitation
US20200254310A1 (en) * 2019-02-13 2020-08-13 Triad Labs, LLC Adaptive virtual rehabilitation
US11553969B1 (en) 2019-02-14 2023-01-17 Onpoint Medical, Inc. System for computation of object coordinates accounting for movement of a surgical site for spinal and other procedures
US11857378B1 (en) 2019-02-14 2024-01-02 Onpoint Medical, Inc. Systems for adjusting and tracking head mounted displays during surgery including with surgical helmets
WO2020185556A1 (en) * 2019-03-08 2020-09-17 Musara Mubayiwa Cornelious Adaptive interactive medical training program with virtual patients
US11521735B2 (en) * 2019-06-23 2022-12-06 University Of Rochester Delivering individualized mental health therapies via networked computing devices
US11145126B1 (en) * 2019-06-27 2021-10-12 Facebook Technologies, Llc Movement instruction using a mirror in an artificial reality environment
US11036987B1 (en) 2019-06-27 2021-06-15 Facebook Technologies, Llc Presenting artificial reality content using a mirror
AU2020315171A1 (en) * 2019-07-12 2022-02-24 Orion Corporation Electronic arrangement for therapeutic interventions utilizing virtual or augmented reality and related method
US11524210B2 (en) * 2019-07-29 2022-12-13 Neofect Co., Ltd. Method and program for providing remote rehabilitation training
JP6714285B1 (ja) * 2019-07-31 2020-06-24 株式会社ｍｅｄｉＶＲ リハビリテーション支援装置及びリハビリテーション支援方法
CA3149888A1 (en) * 2019-09-06 2021-03-11 Geoffrey S EICH Pre-therapeutic and therapeutic digital medical device and method
JP7339604B2 (ja) * 2019-11-12 2023-09-06 オムロン株式会社 動作認識装置、動作認識方法、動作認識プログラム及び動作認識システム
US11837349B2 (en) 2020-01-10 2023-12-05 Playing Forward, Inc. Systems and methods for evaluating environmental and entertaining elements of digital therapeutic content
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
WO2021231612A1 (en) * 2020-05-13 2021-11-18 Sin Emerging Technologies, Llc Systems and methods for augmented reality-based interactive physical therapy or training
WO2021260843A1 (ja) * 2020-06-24 2021-12-30 日本電信電話株式会社 位置覚矯正装置、方法、およびプログラム
CN111859336A (zh) * 2020-06-30 2020-10-30 东莞市易联交互信息科技有限责任公司 Ar数据处理方法、系统及ar眼镜
US20220020219A1 (en) * 2020-07-15 2022-01-20 Orthosoft Ulc Augmented reality bone landmark display
CA3193419A1 (en) * 2020-08-28 2022-03-03 Band Connect Inc. System and method for remotely providing and monitoring physical therapy
US11893698B2 (en) * 2020-11-04 2024-02-06 Samsung Electronics Co., Ltd. Electronic device, AR device and method for controlling data transfer interval thereof
CN112230824B (zh) * 2020-12-14 2021-03-16 长沙树根互联技术有限公司 人机交互系统的数据处理方法、装置及电子设备
WO2022152971A1 (en) * 2021-01-13 2022-07-21 Orion Corporation Method of providing feedback to a user through controlled motion
US20220254514A1 (en) * 2021-02-11 2022-08-11 Nuance Communications, Inc. Medical Intelligence System and Method
EP4304490A1 (en) 2021-03-10 2024-01-17 Onpoint Medical, Inc. Augmented reality guidance for imaging systems and robotic surgery
CA3218037A1 (en) * 2021-04-27 2022-11-03 Zimmer Us, Inc. Augmented reality patient assessment module
US20220362631A1 (en) * 2021-05-14 2022-11-17 Megan Hong Virtual tastings and guided tours for augmented reality experiences
US20230256297A1 (en) * 2022-01-26 2023-08-17 Ilteris Canberk Virtual evaluation tools for augmented reality exercise experiences
CN114217723B (zh) * 2022-02-22 2022-05-31 龙旗电子(惠州)有限公司 信息显示方法、装置、设备及存储介质
US20240028106A1 (en) * 2022-07-19 2024-01-25 Aviv Elor System and Method for Utilizing Immersive Virtual Reality in Physical Therapy
US11687152B1 (en) 2022-09-08 2023-06-27 International Business Machines Corporation Directional recommendations based on movement tracking while performing an activity
CN116382487B (zh) * 2023-05-09 2023-12-12 北京维艾狄尔信息科技有限公司 一种陪跑墙体感交互系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106020437A (zh) * 2015-03-24 2016-10-12 诺基亚技术有限公司 增强现实

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110054870A1 (en) 2009-09-02 2011-03-03 Honda Motor Co., Ltd. Vision Based Human Activity Recognition and Monitoring System for Guided Virtual Rehabilitation
US20120108909A1 (en) 2010-11-03 2012-05-03 HeadRehab, LLC Assessment and Rehabilitation of Cognitive and Motor Functions Using Virtual Reality
CA2816955A1 (en) * 2010-11-04 2012-05-10 Mordechai Shani Computer aided analysis and monitoring of mobility abnormalities in human patients
US9283429B2 (en) * 2010-11-05 2016-03-15 Nike, Inc. Method and system for automated personal training
US20120296235A1 (en) 2011-03-29 2012-11-22 Rupp Keith W Automated system and method for performing and monitoring physical therapy exercises
CN103732297B (zh) * 2011-06-30 2016-11-02 奥林奇实验室 增强现实活动范围的治疗系统及其操作方法
US11133096B2 (en) * 2011-08-08 2021-09-28 Smith & Nephew, Inc. Method for non-invasive motion tracking to augment patient administered physical rehabilitation
US8771206B2 (en) 2011-08-19 2014-07-08 Accenture Global Services Limited Interactive virtual care
WO2013059227A1 (en) * 2011-10-17 2013-04-25 Interactive Physical Therapy, Llc Interactive physical therapy
US20140371633A1 (en) 2011-12-15 2014-12-18 Jintronix, Inc. Method and system for evaluating a patient during a rehabilitation exercise
US20130252216A1 (en) 2012-03-20 2013-09-26 Microsoft Corporation Monitoring physical therapy via image sensor
US9892655B2 (en) * 2012-11-28 2018-02-13 Judy Sibille SNOW Method to provide feedback to a physical therapy patient or athlete
US20160023046A1 (en) 2013-03-14 2016-01-28 Jintronix, Inc. Method and system for analysing a virtual rehabilitation activity/exercise
TWI591569B (zh) * 2014-01-20 2017-07-11 Univ Kaohsiung Medical Rehabilitation action editing and graphical evaluation system
US10216904B2 (en) 2014-04-16 2019-02-26 Carkmh, Llc Cloud-assisted rehabilitation methods and systems for musculoskeletal conditions
CA3153493C (en) 2016-11-03 2023-12-12 Zimmer Us, Inc. Augmented reality therapeutic movement display and gesture analyzer

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106020437A (zh) * 2015-03-24 2016-10-12 诺基亚技术有限公司 增强现实

Also Published As

Publication number Publication date
US20180120947A1 (en) 2018-05-03
CA3153493A1 (en) 2018-05-11
US10621436B2 (en) 2020-04-14
EP3535645B1 (en) 2023-07-26
CA3042535A1 (en) 2018-05-11
AU2017355505A1 (en) 2019-05-30
AU2020203489A1 (en) 2020-06-18
WO2018085691A1 (en) 2018-05-11
US10572733B2 (en) 2020-02-25
CN114550874A (zh) 2022-05-27
AU2022201300A1 (en) 2022-03-24
CA3042535C (en) 2022-05-17
CN110121748A (zh) 2019-08-13
AU2022201300B2 (en) 2023-04-27
EP3535645A1 (en) 2019-09-11
US20180121728A1 (en) 2018-05-03
CA3153493C (en) 2023-12-12
AU2020203489B2 (en) 2021-12-09
US20200279112A1 (en) 2020-09-03
AU2017355505B2 (en) 2020-02-27
US11176376B2 (en) 2021-11-16
EP4254146A1 (en) 2023-10-04

Similar Documents

Publication Publication Date Title
CN110121748B (zh) 增强的现实治疗移动显示和手势分析器
US20210272376A1 (en) Virtual or augmented reality rehabilitation
JP6938542B2 (ja) 組込みセンサと外界センサとを組み合わせる多関節トラッキングのための方法およびプログラム製品
CN107111894B (zh) 用于专业和教育训练的增强或虚拟现实模拟器
US20140371633A1 (en) Method and system for evaluating a patient during a rehabilitation exercise
US20210349529A1 (en) Avatar tracking and rendering in virtual reality
US20150004581A1 (en) Interactive physical therapy
US20140188009A1 (en) Customizable activity training and rehabilitation system
Borghese et al. An intelligent game engine for the at-home rehabilitation of stroke patients
Vogiatzaki et al. Serious games for stroke rehabilitation employing immersive user interfaces in 3D virtual environment
Moya et al. Animation of 3D avatars for rehabilitation of the upper limbs
WO2021163334A1 (en) Adaptive virtual rehabilitation
US20200111376A1 (en) Augmented reality training devices and methods
US11436806B1 (en) Dual perspective rendering in virtual reality
Silva Spatial augmented reality in serious games for cognitive rehabilitation of the elderly
Vogiatzaki et al. Rehabilitation system for stroke patients using mixed-reality and immersive user interfaces
Vogiatzaki et al. Rehabilitation after stroke using immersive user interfaces in 3D virtual and augmented gaming environments
Chung Home-based Lower Limb Immersive Serious Game for Phantom Pain Management
Brodbeck et al. Augmented feedback system to support physical therapy of non-specific low back pain
Wattanasoontorn Serious games for health and medicine. A cardiopulmonary resuscitation (CPR) case study
TW201606693A (zh) 具遠距監控之物理肢體復健系統及方法
Wojciechowski et al. Immersive rehabilitation monitoring system supported with Augmented Reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant