CN103732297B

CN103732297B - 增强现实活动范围的治疗系统及其操作方法

Info

Publication number: CN103732297B
Application number: CN201280031947.8A
Authority: CN
Inventors: 亚当·奥德斯基; 拉施德·克拉克
Original assignee: Orange SA
Current assignee: Orange SA
Priority date: 2011-06-30
Filing date: 2012-06-28
Publication date: 2016-11-02
Anticipated expiration: 2032-06-28
Also published as: CN103732297A; WO2013001358A1; US20140347392A1; US9600934B2; EP2726164A1; EP2726164B1

Abstract

用于对用户执行选定疗法的服务器。该系统可以包括：处理器，该处理器可以获得活动信息（AI），活动信息包括与增强现实（AR）活动信息、AR解剖学特征信息和活动范围（ROM）信息中的一个或多个相关的信息；获得用户信息，用户信息包括与用户的解剖学和生理学中的一个或多个相关的信息；根据AI和用户信息确定预期活动范围（EROM）；追踪与AR解剖学特征信息对应的用户的选定身体部位（SBPs）；和/或在系统的显示器上呈现与用户的一个或多个相应的SBP关联的一个或多个增强现实肢体（ARLs）。

Description

增强现实活动范围的治疗系统及其操作方法

技术领域

本系统涉及治疗系统，尤其是涉及增强现实活动范围的治疗系统以及其操作方法，其中该系统确定用户的解剖学的活动范围以及治疗进展。

背景技术

最近，虚拟实体追踪系统已在如视频游戏等多种应用中变得流行起来。一些系统与如由Kinect^TM提供的第三方人体追踪应用结合，该第三方人体追踪应用可以与如OpenNI^TM的开源库结合。因此，可以捕捉到用户的图像信息，之后使用选定的人体追踪应用进行处理，并且可以通过开源库返回用户位置和/或用户部位的数据指示以供进一步处理。尽管存在有如用于视频游戏的人体追踪应用的多种人体追踪应用，但是缺乏虚拟现实人体追踪治疗系统以向一个或多个用户提供自动化疗程。

发明内容

本系统的目的在于克服缺点和/或改善现有技术。

本系统提供系统、设备、方法和计算机程序部分（除非另有所指，否则在下文中系统、设备、方法和计算机程序部分中的每个可被称为系统），系统、设备、方法和计算机程序部分配置成向用户提供一个或多个增强现实（augmented-reality，AR）肢体（包括反馈给用户），例如为了用于疗程。

根据本系统的一方面，公开了一种对用户执行治疗的方法，该方法包括通过处理器执行的行为，该方法可以包括一个或多个行为：获得活动信息（activity information，AI），活动信息包括与增强现实（augmented-reality，AR）活动信息、增强现实解剖学特征信息和活动范围（range-of-motion，ROM）信息中的一个或多个相关的信息；获得用户信息，用户信息包括与用户的解剖学和生理学中的一个或多个相关的信息；根据活动信息和用户信息，确定预期活动范围（预期range-of-motion，EROM）信息；追踪与增强现实解剖学特征信息对应的用户的选定身体部位（selected body part，SBP）；以及呈现与用户的一个或多个相应的选定身体部位关联的一个或多个增强现实肢体（augmented-reality limb，ARL）。

此外，根据该方法，呈现行为可以包括：根据一个或多个增强现实活动信息和预期活动范围信息，驱动一个或多个增强现实肢体。此外，一个或多个增强现实肢体还可链接到用户的一个或多个选定身体部位中的相应的选定身体部位。该方法还可以包括：确定用户的一个或多个追踪到的选定身体部位的实际活动范围。此外，该方法可以包括：基于用户的一个或多个追踪到的选定身体部位的实际活动范围与相应的预期活动范围信息的比较，确定活动范围中的差异。该方法还可以包括：确定差异是否大于阈值活动范围值，并且呈现确定的结果。

根据本系统的另一方面，公开了一种用于对用户执行治疗的系统，该系统可以包括处理器，处理器可用于：获得活动信息（activity information，AI），活动信息包括与增强现实（augmented-reality，AR）活动信息、增强现实解剖学特征信息和活动范围（range-of-motion，ROM）信息中的一个或多个相关的信息；获得用户信息，用户信息包括与用户的解剖学和生理学中的一个或多个相关的信息；根据活动信息和用户信息，确定预期活动范围（预期range-of-motion，EROM）信息；追踪与增强现实解剖学特征信息对应的用户的选定身体部位（selected body part，SBP）；和/或在系统的显示器上呈现与用户的一个或多个相应的选定身体部位关联的一个或多个增强现实肢体（augmented-reality limb，ARL）。

根据本系统，呈现可以包括：根据一个或多个增强现实活动信息和预期活动范围信息，驱动一个或多个增强现实肢体。此外，可以预想到，处理器可以将一个或多个增强现实肢体中的一个或多个链接到用户的一个或多个选定身体部位中的相应的选定身体部位。此外，处理器可以确定用户的一个或多个追踪到的选定身体部位的实际活动范围。还可以预想到，处理器还可以基于用户的一个或多个追踪到的选定身体部位的实际活动范围与相应的预期活动范围信息的比较，确定活动范围中的差异。此外，处理器可以确定差异是否大于阈值活动范围值，并且呈现确定的结果。

根据本系统的又一方面，公开了一种存储在计算机可读存储介质上的计算机程序，该计算机程序配置成对用户执行治疗处理，该计算机程序包括：程序部分，配置成获得活动信息（activity information，AI），活动信息包括与增强现实（augmented-reality，AR）活动信息、增强现实解剖学特征信息和活动范围（range-of-motion，ROM）信息中的一个或多个相关的信息；获得用户信息，用户信息包括与用户的解剖学和生理学中的一个或多个相关的信息；根据活动信息和用户信息，确定预期活动范围（预期range-of-motion，EROM）信息；追踪与增强现实解剖学特征信息对应的用户的选定身体部位（selected bodypart，SBP）；以及在显示器上呈现与用户的一个或多个相应的选定身体部位关联的一个或多个增强现实肢体（augmented-reality limb，ARL）。

还可以预想到，程序部分可以配置成当呈现一个或多个增强现实肢体时根据一个或多个增强现实活动信息和预期活动范围信息，在显示器上驱动一个或多个增强现实肢体。此外，程序部分还可以配置成将一个或多个增强现实肢体链接到用户的一个或多个选定身体部位中的相应的选定身体部位，以便一个或多个增强现实肢体与一个或多个选定身体部位中的相应的选定身体部位的一部分重合。此外，可以预想到，程序部分还可以配置成确定用户的一个或多个追踪到的选定身体部位的实际活动范围。此外，程序部分还可以配置成基于用户的一个或多个追踪到的选定身体部位的实际活动范围与相应的预期活动范围信息的比较，确定活动范围中的差异。此外，程序部分可以配置成确定差异是否大于阈值活动范围值，并且呈现确定的结果。

附图说明

将通过参照附图以示例的方式对本发明进行详细描述，在附图中：

图1是根据本系统的实施方式的增强现实（augmented-reality，AR）系统的示意图；

图2是示出根据本系统的实施方式的方法的流程图；

图3A是示出根据本系统的实施方式与患者的相应选定身体部位（selected bodypart，SBP）重合的增强现实肢体（augmented-reality limb，ARL）的屏幕截图；

图3B是示出根据本系统实施方式的根据预期活动范围（range-of-motion，EROM）的封包与期望的位置对应的增强现实肢体（ARL）的屏幕截图，该增强现实肢体（ARL）与患者的相应身体部位局部重合；

图3C是示出患者尝试取得由图3B的增强现实肢体（ARL）所示的期望的增强现实肢体（ARL）位置的屏幕截图；以及

图4示出根据本系统的实施方式的系统的一部分。

具体实施方式

下面是关于示例性实施方式的描述，当结合下面的附图时该示例性实施方式将获得上述以及进一步的特征和优点。下面的描述是以解释而不是限制为目的，在下面的描述中，详细说明记载了诸如体系结构、接口、技术、元件属性等。然而，本领域普通技术人员将明确，背离这些细节的其他实施方式也将被理解为落入所附权利要求书的范围内。此外，为了清晰起见，将省略公知设备、电路、工具、技术和方法的详细描述以便不混淆本系统的描述。应明确理解，附图是以说明性目的示出的，而不是代表本系统的范围。在附图中，不同附图中的相同附图标记可以表示相似元件。

如本文中所使用的呈现术语及其形式旨在提供内容，如数字媒体，可以包括例如疗程、疗程的结果、图像信息、通过本系统生成和/或访问的信息、菜单选项、菜单项目、消息、状态信息、设置、音频信息、视听信息等，该数字媒体是可以通过如视觉感官和/或听觉感官的至少一个用户感官感知到的。例如，本系统可以在显示设备上提供用户界面（userinterface，UI）以便用户可以观察到本系统并与其互动。

此外，为了清晰起见，如本文所用的术语医疗记录（medical record，MR）涉及与用户相关的多种信息，诸如相应的用户或患者（为了清晰起见，一般是指患者）的电子医疗记录（electronic medical record，EMR）、个人健康记录（personal health record，PHR）、电子健康记录（electronic health record，EHR）、治疗记录、医疗记录、心理记录、生理记录和/或与专业护理（例如，医疗服务提供者的护理、治疗护理、按摩师护理等）、治疗护理等相关的其他信息。

图1是根据本系统的实施方式的增强现实（augmented-reality，AR）系统100的示意图。AR系统100可以包括医疗记录资源（medical record resource，MRR）102（即，与一个或多个患者相关的医疗记录（MR）源）、日程资源104、服务器106、存储器108、传感器110、一个或多个用户站（user station，US）112-x和治疗资源118中的一个或多个。

服务器106可以包括一个或多个处理器120，处理器120可设置于本地和/或与服务器彼此远程设置，并且可以控制系统100的整体操作。因此，服务器106可以与MRR 102、日程资源104、存储器108、传感器110、一个或多个US 112-x和治疗资源118中的一个或多个进行通信以传送和/或接收信息。例如，服务器106可以从一个或多个传感器110请求传感信息，可以从MRR 102请求与用户相关的医疗记录，可以从UI 112-x请求用户输入等。此外，服务器106可将其接收或生成的信息（例如，医疗记录（MR）信息、日程、用户信息、账目信息、疗程的结果等）存储在存储器（例如，存储器108）中。可以通过使用本地设置和/或相对于彼此远程设置的一个或多个处理器、逻辑设备或类似设备执行通过处理器120执行的操作。例如，可以通过使用例如在一个或多个US 112-x、传感器110等内的一个或多个处理器执行通过处理器120执行的一个或多个处理（例如，这是通过存储在存储器108中的一个或多个程序部分编程的）。

网络114可以包括一个或多个网络，并且通过使用诸如有线和/或无线通信方案的任何合适的传输方案使得MRR 102、日程资源104、服务器106、存储器108、传感器110、一个或多个US 112-x和治疗资源118彼此或多个部分之间进行通信。因此，网络114可以包括一个或多个网络，诸如广域网（WAN）、局域网（LAN）、互联网、电话网络（例如，公共交换式电话网络（PSTN）、3G网络、4G网络、5G网络、码分多址（CDMA）网络、全球移动通信服务（GSM）网络、普通老式电话服务（POT）网络等）、对等（P2P）网络、无线保真（Wi-Fi^TM）网络、蓝牙（Bluetooth^TM）网络、专有网络和/或其他通信网络。

存储器108可以包括任何合适的设备，在该任何合适的设备中可以存储系统100的多种信息。因此，存储器108可以包括非临时性存储器，非临时性存储器可以对通过系统100生成的信息进行存储，诸如与疗法、药物治疗、医疗症状、医疗状况、用户信息、专业信息、日程、操作程序、应用、设置、历史相关的信息和/或系统100的其他信息。存储器108可以包括本地设置和/或彼此远程设置的部分（例如，临时性和非临时性）。因此，存储器108可以包括表面区域网络（surface area network，SAN）或类似的分布式存储器。此外，可以通过本地连接或通过网络（例如，网络114）远程访问存储器108。根据本系统的实施方式，存储器108可以包括传输介质。

MRR 102可以包括系统的医疗信息存储器（medical information memory，MIM）并且可由此包括医疗记录（MR），如一个或多个用户（为了清晰起见下文中将称为患者，除非另有明确指示）的MR，并且MRR 102可以设置在可以是本地和/或彼此远程的一个或多个位置中。MIM可以包括分布式存储器，分布式存储器可以包括一个或多个医疗提供者（诸如医生、医院等）、健康专家（例如，脊椎治疗师、心理学家、针灸师、医学检测中心等）、保险公司、医疗机构、国家或个人的医疗数据库、私人医疗记录（例如，存储在患者的个人存储器上的患者的医疗记录）等的医疗记录，这些医疗记录可以单独和/或共同地形成一个或多个用户的MR。由此，系统100可以查询多个MIM以获得一个或多个用户的MR。因此，可以通过例如服务器106、US 112-x等查询（例如，访问）MRR 102以获得与查询相关的MR。例如，系统可以确定用户191的任何当前测试结果是否可用，并且从MIM获得这些结果。MRR 102可以根据访问规则进一步过滤或以其他方式限制访问MR以便加强用户和/或系统100的隐私和/或保密性设置。例如，MRR 102还可以包括与用户可服用的药物相关的信息。

在第61/418,395号美国专利中已公开了用户医疗记录的选择、访问和/或检索，该专利的内容通过引用并入本文。

传感器110可以包括多种传感器，诸如可以感知并生成相应的传感信息的传感器110-1至传感器110-N（一般为110-x）。例如，传感器100-x可以包括一个或多个医疗设备，该一个或多个医疗设备可以提供诸如脉搏传感器、血压传感器、血糖水平传感器、血氧水平传感器、脉搏速率传感器、心电图仪（ECG或EKG）传感器、成像传感器、温度传感器、生物识别传感器、指纹传感器、虹膜传感器、基因传感器（例如，DNA测试仪、编码器/解码器等）、声音传感器（例如，麦克风等）等，并可以感知与患者相关的信息并且报告如原传感信息（例如，血压=100mm Hg）或经处理的传感器信息（例如，血压高）的信息。由此，传感信息可以包括诸如与患者的解剖学、生理学、生命本征、图像、姿势（例如，站立姿势、保持手位等）、身体动作（例如，揉肚子等）、抬起右前臂、位置和/或与患者相关的其他信息。这种信息可以被称为患者的体监测读数，并且可以是在本系统例如追踪患者的选定身体部位（selected bodypart，SBP）时获得的，这将在下面进行描述。传感器110-x可以包括有线和/或无线传感器，有线和/或无线传感器可以是设置于本地和/或彼此远程设置的。

根据本系统的实施方式，传感器110-x可以包括如摄像机的成像设备，成像设备可以通过如无线设备（例如，无线US 112-x等）以二维或三维（分为为2-D或3D）方式捕捉与患者相关的图像和/或视频信息。因此，传感器可以确定用户的移动（诸如运动范围、门等）是否正常、是否需要注意等。可以对传感信息（例如，图像信息或患者的其他生物识别信息）进行处理以识别（identify，ID）患者、患者的症状、患者的医疗状况等。在第61/388,515号美国专利申请中已公开了用于确定患者的医疗状况和/或症状的方法，该申请的内容通过引用并入本文。

US 112-1至US 112-M（一般为112-x）可以包括任何合适的通信设备，通过通信设备用户可以与系统互动，和/或通信设备可从MRR 102、日程资源104、服务器106、存储器108、传感器110、US 112-x和/或治疗资源118中的一个或多个接收信息和/或传送信息。US112-x可以包括用户界面（user interface，UI）113（例如，呈现式UI），通过UI 113用户可以与US 112-x和/或诸如麦克风、摄像机等的传感器互动。因此，US 112-x可以包括例如电话设备（例如，移动站（mobile station，MS）、蜂窝电话、智能电话、软电话（即，互联网协议（IP）电话）、传统电话等）的设备、个人数字助理（PDA）（例如，PALM^TM、RIM^TM、iPhone^TM、iPod^TM,iPad^TM和其他类似类型的设备）、个人电脑（PC）、笔记本电脑、上网本、平板电脑和/或其他类型的通信设备。此外，US 112-x可以包括医疗设备（例如，医疗成像设备、EKG、血压监测仪等），医疗设备可以包括传感器110-x并且可以报告多种信息，如将传感信息以原形式和/或经处理的形式报告给服务器106。此外，US 112-x可以包括2-D或3-D显示器，为了患者的方便起见，2-D或3-D显示器可以呈现通过AR系统100生成的信息，诸如患者图像、AR肢体等。

日程资源104可以包括与一个或多个专业服务提供者（provider ofprofessional service，POPS）的日程116-1至日程116-M（一般为116-x）相关的日程信息，诸如医疗服务（例如，医生、医生办公室、医院、诊所等）或其他相关服务（例如，按摩师办公室等）的应由本系统指示的需要进行的后续预约，这将在本文中进行进一步描述。此外，日程资源可以提供与可使用的治疗、疗法、测试、资源、专家等相关的信息，并且可被实时访问并且受访问规则支配，访问规则可以定义隐私和/或访问限制，这可以通过系统和/或相应的POPS设置。由此，服务器106可以请求相应的POPS和/或在某日（例如，2015年1月25日）可用的资源的日程116-x，并且可以接收相应的日程信息。然后，可以根据通过日程系统100确定的一个或多个预约对日程116-x进行更新并且存储在系统的存储器中（例如，日程资源102和/或存储器108）以供以后使用。

治疗资源118可以包括与一个或多个疗法相关的信息，如可包括与疗法和/或疗程相关的活动信息（activity information，AI）的治疗信息，以及可包括与一个或多个增强现实（augmented-reality，AR）活动（例如，肘部伸展）、AR解剖学特征和/或活动范围（range-of-motion，ROM）信息等相关的信息的治疗信息，这将在下面参照图2进行描述。服务器106可以访问治疗资源118以获得期望的信息，如与选定的疗法（或疗程）相关的信息。

图2示出了根据本系统的实施方式的方法200的流程图。本方法200可通过使用在网络（例如，网络114）上通信的一个或多个计算机来执行。方法200可以包括以下行为中的一个或多个。此外，如果期望，则这些行为中的一个或多个可以被组合和/或拆分成子行为。在方法200中，为了清晰起见，可以讨论单一用户（如患者（为了清晰起见）），然而，执行方法200的操作行为可容易地用于多个患者。在操作中，方法200可以在行为201期间开始，然后继续至行为203。

在行为203期间，本方法可以通过使用任何合适的方法来识别患者。例如，可以通过使用与患者相关的信息的生物识别分析来识别患者。因此，本方法可以使用任何合适的生物识别方法来识别患者，诸如面部识别（例如，使用面部识别应用等）、指纹识别、虹膜识别等。例如，为了使用面部分析识别患者，本方法可以从图像捕捉设备获得患者的面部图像信息并且在面部图像信息上执行面部识别以识别患者。然而，也可以预想到手动（例如，输入与患者相关的识别（ID）信息（如患者的身份证号或名字）、扫描与患者相关的标识符（如识别（ID）卡、医疗证明等）等）来识别患者。可以进一步预想到在其他实施方式中，根据需要患者可以不进行识别或可以保持匿名。在完成行为203后，本方法可以继续至行为205。

在行为205期间，本方法可以确认是否已对患者选定疗法（例如，包括可以通过疗法识别的一个或多个疗程）（即，选定的疗法）。本方法可以确定是否已对患者选定疗法，例如，通过检查与患者相关的合适的信息源（例如，治疗信息源），诸如治疗形式（例如，参见上述行为203）、用户界面（UI）（例如，直接由专家输入的信息等），以便确定是否已对患者选定疗法。因此，如果可用，则本方法可以从治疗信息源获得与对患者的一个或选定的疗法相关的信息（例如，每周进行一次右手康复治疗，持续二十周，目前处于第二疗程（即，第二周），还剩十八个疗程等）。

因此，如果根据本系统的实施方式确定已对患者选定疗法时，则本方法可以继续至行为211。然而，如果确定未对患者选定疗法时，则本方法可以继续至行为207。在行为207期间，如果可用，则本方法可以从系统的MRR获得患者的MR。因此，本方法可以形成对与患者的MC相关的请求信息（例如，该信息可以根据当前MC、最近MC（例如，最后月份等）等进行过滤）的查询，并且可以从系统的存储器（例如，MRR）获得相应的信息（例如，与患者的MC相关的信息）并且获得查询（或多个查询）的结果。在完成行为207后，本方法可以继续至行为209。

在行为209期间，本方法可以基于MC选择一个或多个疗法。例如，如果患者的MC指出患者ACL撕裂，则本方法可以选择待被执行在患者身上或待由患者执行的ACL相关的疗法（或疗程）。此外，当疗法包括多个疗程时，本方法可以（例如，响应于如存储在系统的存储器中的MR的历史信息）确定多个疗程中待执行的一个或多个疗程。例如，如果方法可以确定患者的ACL是在上周撕裂的，则本方法可以选择第一疗程，而如果方法确定患者的ACL是在两个月前撕裂的，则本方法可以选择不同的疗程。此外，本方法可以确定在治疗期间患者进行的进程，并且基于患者确定进行的进程来指定疗法或疗程，并且可以将获得的使用信息存储在例如MRR（如MR）中。在完成行为209后，本方法可以继续至行为211。

在行为211期间，本方法可以获得与选定的疗法和/或疗程相关的活动信息（AI），活动信息（AI）可以包括与一个或多个增强现实（AR）活动（例如，肘部伸展）、AR解剖学特征和/或活动范围（ROM）信息相关的信息。一个或多个AR解剖学特征可以与患者的选定身体部位（SBP）对应，并且可以具有由ROM信息限定的相应的活动范围。与AR解剖学特征相关的信息还可以包括可被处理以呈现一个或多个AR肢体（ARL）的信息，一个或多个AR肢体（ARL）可与患者的一个或多个SBP对应。此外，本方法可以确定一个或多个ARL之间的关系（例如，前臂ARL通过肘部与臂ARL相连）。ROM信息可以包括预期活动范围（expected range-of-motion，EROM）的信息指示，可以根据与患者相关的多种因素（例如，本方法可用于调节ROM以便形成EROM的解剖学因素、生理因素和/或其他信息（治疗史信息））确定预期ROM（EROM）的信息指示，EROM对于患者而言可以是唯一的。例如，为了确定对于患者的EROM，本方法可以根据与患者相关的信息（例如，身高、解剖学尺寸（例如，臂长度、前臂长度、手长度、手腕长度、肘部长度等）、体重、体质、年龄、MC、医疗程序或操作（例如，右肘部植入等）调节“默认ROM”，其可以影响SBP的患者移动，并由此相应地形成EROM。EROM还可以包括速度信息，速度信息可用于确定患者是否以预期的速度（例如，患者应能够在0.75秒内将他/她的手从竖直位置抬起至水平位置）移动一个或多个身体部位（例如，SPB）。可以是实时算出（例如，通过内插法）或者从系统的存储器中获得EROM和/或速度信息。例如，ROM可以是从系统的存储器（如查找表）中获得的，其中可以根据性别（例如，男性）、年龄、体重等对ROM进行索引，然后本方法可以对ROM进行细化以根据与患者相关的其他生理或解剖学因素（如病史（例如，肘部负伤等）、体质（肌肉发达程度、均衡性）等）确定EROM。在完成行为211后，本方法可以继续至行为213。

在行为213期间，本方法可以追踪患者。因此，本方法可以获得图像信息并且对该信息进行处理以实时追踪患者。例如，根据本系统的实施方式，本方法可以获得二维和/或三维（分别为2-D或3-D）的、用户的图像序列（例如，多个图像帧，如视频序列等），并且可以使用任何合适的坐标系对该信息（例如，使用图像识别应用等）进行处理以确定用户的一个或多个身体部位的位置和/或朝向信息等（例如用户的朝向（面向左侧30度等））。此外，本方法可以确定患者身体的一个或多个部位的位置，该位置与一个或多个患者的选定的解剖学特征对应，例如在当前示例中与右前臂和肘部对应。

根据本系统的实施方式，合适的图像识别应用可以包括2-D图像识别技术，诸如使用Haar Cascades（哈尔瀑布）、OpenCV的技术和其他识别技术和/或使用与深度传感（例如，使用“立体感”、“飞行时间”、“结构光”和其他技术）结合的2-D识别的3-D图像识别技术。

根据本系统的实施方式，图像识别应用可以返回以下数据中的一个或多个以供进一步处理：

1.包括患者的关节和身体部位坐标的骨骼数据；

2.包含在任意给定时间间隔被患者占用的空间的所有的点的3-D身体图；

3.关于患者和周围环境的颜色信息；和/或

4.在患者的周围环境中的其他对象及其坐标。

根据本系统的实施方式，用户身体部位的位置和/或朝向可通过使用可用信息（例如，通过OpenNI/Kinect）确定。在这些实施方式中，OpenNI/Kinect可以发送包括用户的多个关节位于3-D空间中的信息。通过这种关节信息，可以算出关节之间的朝向。例如，给出了肩关节和肘关节，则可以算出形成在这两个关节之间的线。之后，可以测出线的角度，例如与预定参照朝向的偏向。例如，通过这种技术，可以算出患者肌腱套角度。

无论如何，之后本方法可以实时追踪患者的一个或多个身体部位（或选定身体部位）和/或其位置。在完成行为213后，本方法可以继续至行为215。在本示例中，将假设本疗法对患者的选定身体部位（SBP）进行定义，诸如患者的右手、臂、肘部和肩膀。接着，本方法可以包括智能图像识别，智能图像识别可以（例如，通过使用从患者的MR获得的信息、图像识别等）识别假体设备（例如，假肢等）、缺陷（例如，切除膝盖以下的右腿等）等。

在行为215期间，本方法可以呈现与患者的相应的身体部位（例如，SBP）重合的ARL，在本示例中为右手、前臂、肘部、臂和肩膀。因此，本方法可以形成AR解剖学特征，如与用户的SBP对应的一个或多个ARL。为了构建一个或多个ARL，本系统可以：

·通过深度知觉摄像机观察该人，并且识别人的肢体，包括肢体的长度、宽度和厚度；

·对于目标肢体而言，基于上述指标使其近似肢体的尺寸和形状；

·生成肢体的计算机化图像，即ARL，并且使ARL在视频中重合到与人的肢体（即，相应的身体部位）初始位置相同的位置处；

·ARL将包含与人的实际物理关节对应的数个轴关节。

ARL可以在那些关节上枢转以与患者遵照的运动路径对应。

然后，本方法将ARL与患者的实时图像序列（通过使用如系统的摄像机的图像捕捉设备而获得患者的视频序列）进行整合。本方法可以使ALR重合到患者的图像（即，实时图像）上，（如果需要）以便ALR显示连接到患者，（如果需要）并且随着患者移动可以将ARL保持在与相应的选定身体部位对应的位置。因此，本方法可以缩放ARL以与患者的选定身体部位的形状和/或尺寸对应，并且实时地使近似的ARL特征局部地或完全地重合在患者的SBP上。

图3A是示出根据本系统的实施方式的与患者301的相应的SBP重合的ARL 302的屏幕截图300。在本示例中，ARL（一般为302）可以包括臂ARL 306、前臂ARL 308、肩膀307、肘部ARL 310和手ARL 312。本方法可以进一步确定一个或多个关节（例如，通过从如上所述的OpenNI/Kinect直接返回的关节数据提供的诸如肘部311和肩膀307的与SBP关联的关节）的近似关节位置（approximate joint location，AJL）。本方法可以使ARL 302（例如，肘部ARL310）重合在患者的图像中的相应的AJL的预期位置上，患者的图像呈现在UI上（例如，系统的显示器）。本方法可以实时追踪患者并且相应地对一个或多个ARL 302的重合进行更新。根据本系统的实施方式，可以通过使用已知为“前向运动学（forward kinematics）”的技术确定增强现实关节的位置。根据这些实施方式，开发者可以提供描述姿势的一组关节角度（通过JavaScript提供）。之后，本系统可以插入那些角度以生成用于引入更新位置的动画。由此，根据本系统的实施方式，ARL 302的重合可以随着患者移动相应地移动。

此外，本方法可以长时间追踪患者和/或ARL 302的移动，并且将该信息存储在系统的存储器中以供以后使用。此外，可以通过使用音频信息和/或视觉信息（如信息盒314和/或推荐体位316所示）为患者提供指示，其中音频信息和/或视觉信息可以是根据选定疗法（或其疗程）通过本方法生成的。在完成行为215后，本方法可以继续至行为217。在行为217期间，可以告知患者保持在放松姿势和/或本方法可以呈现优选姿势的ARL。因此，本方法可以使用指示通知用户，例如可以使用如音频和/或视觉输入（例如，分别为扬声器和显示器）的任何合适的方法呈现的“请以如图所示的姿势站立，使您的双臂放松在您的两侧”、“请呈现休息姿势，并使您的手位于您的臀部上”、“请保持当前姿势”等。

在行为217期间，本方法可以根据预期ROM信息驱动ARL。因此，可以基于患者的算出的生理特征（例如，可能影响患者的ROM的体重、肌肉量）调节ARL动画。例如，根据本系统的实施方式，可以将演算法（例如，边缘检测算法）与用户的深度数据结合利用以使各个肢体独立。之后，可以确定对于各个肢体的3-D碰撞区。通过这种方法，本系统可以算出例如肢体将在哪个角度与身体碰撞。因此，本方法可以移动ARL至期望的位置，例如，可与EROM的封包内的期望位置对应的位置。

图3B是示出根据本系统的实施方式的根据EROM的封包与期望的位置对应的ARL302B的屏幕截图300B，该ARL 302B与患者301的相应的身体部位局部重合。在本示例中，如图3B的ARL 302B所示，期望的位置可以与EROM的上限对应。本方法可以进一步呈现从患者301的SBP的当前位置移动至如由ARL 302B示意性示出的期望位置的期望方向的指示（箭头303）、和/或推荐体位316B。在完成行为217后，本方法可以继续至行为219。

在行为219期间，本方法可以确定患者的SBP（例如，在本示例中为患者的前臂）实际伸展与期望的ARL位置（例如，与EROM的封包对应的行为217的位置或者如图3C所示的另一个期望的位置（或姿势），图3C是示出患者301尝试取得由图3B的ARL 302B所示的期望的ARL位置的屏幕截图）之间的位置差异。因此，本方法可以追踪患者的SPB的实际运动并且使用任何合适的坐标系统确定SBP的实际位置相对于相应的ARL位置的差异。例如，在本实施方式中，呈角度的肘关节运动中的差异被期望如AI记载的那样。这种差异可以由角度（β）代表并且可以通过使用任何合适的方法算出。例如，本方法可以确定第一轴线LA1和第二轴线LA2，其中第一轴线LA1与相应的SBP（例如，患者的前臂的纵向轴线）的轴线对应，第二轴线LA2与相应的ARL（例如，前臂ARL）的纵向轴线对应。然后，本方法可以确定第一轴线与第二轴线的交点，该交点与如通过本方法确定的相应AJL（例如，肘部ARL 310）的位置对应。本方法可以进一步确定β的角度，β的角度可源于AJL的β的角度并且可通过第一轴线和第二轴线限定。由此，本方法可以确定患者的肘部相对于期望的位置的实际角度和/或如通过与肘部对应的ARL定义的肘部角度之间的差异。

相似地，本方法可以确定ARL的位置与患者身体的相应部位的实际移动之间的差异。在本示例中，本方法可以对差异（例如，本示例中为β）与相应的阈值（例如，β′）进行比较以确定差异是否大于相应的阈值。因此，如果确定差异大于相应的阈值时，本方法可以设置指示例如次优运动的标签。然而，如果确定差异小于或等于相应阈值时，本方法可以设置指示例如最佳运动的标签。此外，当确定EROM时，本方法可以相应地检查该标签并且设置EROM。此外，本方法可以呈现诸如任何确定的差异（例如，β）和相应的差异是否在（例如，小于或等于）相应的阈值内的信息以便于用户。例如，在本示例中，假设β在阈值β′内时，则本方法可以呈现如检查标记320的图像标识以将确定的结果通知给患者。相反，如果确定的结果超出阈值，则可以示出“x”以指示确定的结果。根据本系统的实施方式，可以通过与上述描述类似的方法检测出运动范围超出另一阈值，并且指示为异常运动。

此外，本方法可以实时向患者提供指示，如向患者提供信息以进行某个动作（例如，“保持您的姿势”、“进一步伸展”（例如，请设法接近EROM）、“改变您的姿势”、“您可以放松”等）。在完成行为219后，本方法可以继续至行为221。然而，如果期望，则本方法可以以期望的次数重复行为215至行为219和/或可以根据随着行为219至行为221的每次重复而确定的患者能力来调节EROM。本方法还可以向患者或其他用户（例如，专家）提供菜单以访问信息和/或选择多种信息，诸如患者是否希望开始、停止、继续、重复、安排预约专家、输入关于患者感受的信息（例如，“在最大伸展处肘关节感到疼痛”）等，并且可以根据输入信息采取行动。例如，一旦确定患者在治疗期间（例如，因治疗而导致）经历疼痛时，本方法可以对经历的疼痛进行考虑而调节EROM，如在治疗期间减小图示的ROM以缓解疼痛。

在行为221期间，本方法可以使用系统的UI（例如，显示器）呈现确定的结果。例如，在当前的示例中，本方法可以指示患者的ROM在预期的范围内。然而，还可以预想到，本方法可以呈现可指示患者的ROM超出或达不到如本文所述的EROM的结果。此外，本方法可以确定患者的进程，并且呈现相应的结果以便于患者和/或POP。此外，可以预想到，本方法可以安排患者进行与疗程相关的预约服务，例如预约专家（如医生等），例如，因无法多次获得EROM而需要医生检查患者。因此，例如，当本方法确定（例如，通过当前疗程与一个或多个先前疗程确定）患者的实际ROM不在预期范围内或者患者尚未进行疗程中的进程时，本方法可以为患者确定（例如，更新）疗程并且可以根据选定疗程安排患者与专业服务的提供者见面。在完成行为221后，本方法可以继续至行为223，在行为223中本方法可以根据处理结果对与患者对应的MR进行更新和/或对与患者相关的日程信息进行更新。然后，本方法可以继续至行为225，行为225示意着结束。

图4示出根据本系统的实施方式的系统400的部分（例如，控制部分、检索部分、目标识别部分、图像捕捉部分、US等）。例如，本系统的部分包括处理器410，处理器410可操作地耦合到存储器420、显示器430、传感器460和用户输入部分470。传感器460可以包括任何合适的传感器，如可以提供二维和/或三维的一个或多个患者的一个或多个图像（例如，图像的序列等）的成像传感器（例如，一个或多个摄像机、摄影机、x光、计算机断层扫描（computed tomography，CT scan）、声波图和/或成像扫描仪等）。此外，传感器可以包括其他传感器，如可以提供与患者的重要器官或其他生理状况（脉率、呼吸率、血压、体电活动（例如，EKG）等）相关的反馈的医疗传感器。传感器可以提供传感信息，传感信息可以由系统分析以确定患者的医疗状况（呼吸水平、血压、医疗症状或状况等）、实际ROM等。存储器420可以是用于存储应用数据以及与描述的操作相关的其他数据的任何类型的设备（例如，临时性和/或非临时性）。应用数据和其他数据被处理器410接收以将处理器410配置（例如，编码）成执行根据本系统的行为。处理器410从而被配置成特别合适于根据本系统执行的专用机。

操作行为可以包括请求、提供和/或呈现患者的MR或疗程相关信息（例如，身体运动等）或者其经过滤的部分。用户输入部分470可以包括键盘、鼠标、轨迹球或包括触摸显示器的其他设备，键盘、鼠标、轨迹球或包括触摸显示器的其他设备可以为独立的和/或成为系统（例如，个人电脑、个人数字助理（PDA）、移动电话、智能电话、机顶盒、电视或通过任何操作链接与处理器410进行通信的其他设备）的部分。用户输入部分470可被操作为与处理器410互动，包括能够在如本文所述UI内互动。显然，处理器410、存储器420、显示器430和/或用户输入设备470都可以或者部分地可以是计算机系统或其他设备（如本文所述的US和/或服务器）的部分。

本系统的方法特别适合于由计算机软件程序携带，这种程序包含与由本系统设想和/或描述的一个或多个独立步骤或行为对应的模块。这种程序当然可以实施在计算机可读介质中，诸如集成芯片、外部设备或存储器（例如，存储器420或耦合到处理器410的其他存储器）。

包含在存储器420中的程序和/或程序部分使处理器410配置成执行本文中公开的功能、操作行为和方法。存储器可以是分布式的，例如在客户端和/或服务器（或者本地）之间，或者是本地的，并且处理器410（其中可以提供附加的处理器）也可以是分布式或者可以是单独的。存储器可以实施成电、磁或光存储器或者电、磁或光存储器的任何组合或者其它类型的存储设备。此外，术语“存储”应足够广泛地解释成包含能够从可寻址空间中的地址读取或写入的任何信息，可寻址空间是可通过处理器410访问的。通过这种定义，可通过网络访问的信息仍在存储器内，例如，因为处理器410可以从根据本系统进行操作的网络中检索信息。

处理器410可操作为用于提供控制信号和/或响应于来自用户输入部分470、图像捕捉部分460的输入信号以及响应于网络的其他装置来执行操作，并且执行存储在存储器420中的指令。处理器410可以是特定应用电路或通用集成电路。此外，处理器410可以是用于根据本系统执行的专用处理器或者可以是通用处理器，其中只是许多功能中的一个功能进行操作以根据本系统来执行。处理器410可以利用程序部分、多个程序段操作，和/或可以是利用专用或多用途集成电路的硬件设备。

由此，根据本系统的实施方式，增强现实肢体（ARL）可以与图像（例如，患者的直播视频）互动。ARL可被定位以连接到患者，并且可以随着患者的到处移动或改变姿势而保持其相对于患者的姿势。本系统的实施方式可用于加强康复测试和/或过程，如关节康复过程。例如，ARL可以被呈现以示出可用于测试关节自由度的特定程度的运动，并且可以要求患者通过使用相应的身体部分尝试获得图示ROM。系统可以追踪患者的移动，并可以确定运动中的差异。然后，可以呈现确定的结构以便于用户和/或存储以供以后使用。

还可以预想到，本系统的实施方式可以测量患者能够复制与通过系统确定的活动范围对应的运动的程度。此外，系统可以确定在测试与测试之间患者的移动性是否得到了任何改善。此外，系统可以包括软件应用，软件应用可以设计成允许身体的任何部位被选择成选定身体部位并且系统可以生成相应ARL以驱动选定身体部位。此外，可以预想到，本系统的实施方式可以提供ARL动画，其运动可以根据患者的算出特征（例如，可能影响患者ROM的身高、体重、肌肉量等）进行调节。此外，可以预想到，如果患者具有包含主动控制系统（例如，数字控制系统等）的假肢，则该系统可能检测脉冲或其他控制机制并且（例如，实时）确定和呈现假肢的相应运动（例如，无需将肢体连接到患者）。还可以预想到，本系统的实施方式可以呈现指导性身体动作，指导性身体动作可以提供为教导患者用于武术运动、瑜伽训练等的正确站姿。此外，可以预想到，本系统的实施方式可以呈现与患者的身体重合的附加的肢体（例如，两组臂、前臂等）以用于视频游戏等。

关于物理疗法，本系统的实施方式可以提供AR方法以监控用户肢体（例如，患者的臂、腿、肘部等）的活动范围。因此，当通过使用本系统的实施方式，通过例如直观地观察相对于EROM或正常肢体的患者的活动范围时，患者能够测量进程。通常，本系统的实施方式可以提供将运动呈现给患者然后系统可以捕捉运动的常用方法。然后，系统可以根据存储在系统的存储器中的信息（例如，活动范围数据库，活动范围数据库可包括基于与患者的生理学相关的信息（例如，身高、体重、年两、肌肉量、医疗状况等）的、正常的预期活动范围）确定EROM。此外，系统可以获得患者的MR（例如，PHR）并且可以根据MR信息（例如，肢体长度、躯干尺寸/宽度、臀部位置等）确定患者的EROM。此外，系统可以根据从MR获得的信息调节EROM。例如，如果MR指示患者具有不良的臀部，则系统可以根据该信息调节EROM，并且可以限制对于不良的臀部的EROM。根据本系统的实施方式，当例如设置新的EROM时可以存储用于患者的EROM以供以后使用，以用于确定疗程的进程等。由此，系统可以基于从患者的MR（例如，因髋关节置换术导致患者具有右臀部运动受限）和经确定的患者的生理特征（例如，通过使用图像识别系统等确定的肢体长度、躯干尺寸、臀部位置等）获得的信息确定正常的活动范围。然后，系统可以相应地适于治疗或训练，并且通过使用AR技术呈现治疗或训练的运动。

最后，上述讨论仅仅旨在说明本系统，并且不应被解释成将所附权利要求书限制于任何特定实施方式或实施方式的组合。由此，虽然已参照示例性实施方式描述了本系统，但是还应理解的是，在不背离如所附权利要求中记载的本系统的更广泛且预期的精神和范围的情况下，本领域的普通技术人员可以设计多种修改和替代性实施方式。此外，包含在本文中的摘要旨在便于回顾，而不是旨在限制本系统的范围。因此，说明书和附图应被认为是示意性的而不是在限制所附权利要求书的范围。

在解释所附权利要求书时，应理解：

a）用词“包括”并不是排除除了所附权利要求书中列出的元件或行为以外的其他元件或者行为的存在；

b）用在元件之前的用词“a”或“an”并不排除多个这种元件的存在；

c）权利要求书中的附图标记并不限制其范围；

d）多个“装置”可以由实现结构或功能的相同物件或硬件或软件代表；

e）所公开元件中的任何元件可以由硬件部件（例如，包括分离和集成电路）、软件部件（例如，计算机编程）及其任何组合构成；

f）硬件部件可以由模拟和数字部件中的一个或两个构成；

g）除非特别声明，否则所公开装置或其部分中的任何装置或其部分可以组合成一体或者拆分成另外的部分；

h）除非特别声明，否则旨在要求行为或步骤的非特定顺序；以及

i）术语“多个”元件包括两个或更多的所要求元件，并不意味着元件数量的任何特定范围；即，多个元件可以少至两个元件，并且可以包括无限数量的元件。

Claims

1.一种向用户呈现增强现实肢体的方法，所述方法包括通过处理器执行的行为，所述方法包括：

获得增强现实解剖学特征信息；

获得用户信息，所述用户信息包括与所述用户的解剖学和生理学中的一个或多个相关的信息；

追踪与所述增强现实解剖学特征信息对应的所述用户的选定身体部位；

通过使用所述增强现实解剖学特征信息和所述用户信息，构建与所追踪到的选定身体部位对应的一个或多个增强现实肢体；以及

呈现与所述用户的一个或多个追踪到的选定身体部位关联的所述一个或多个增强现实肢体。

2.如权利要求1所述的方法，还包括：

根据所述增强现实解剖学特征信息和所述用户信息，确定预期活动范围信息，其中所述呈现包括：根据一个或多个所述增强现实解剖学特征信息和所述预期活动范围信息，驱动所述一个或多个增强现实肢体。

3.如权利要求1所述的方法，其中所述一个或多个增强现实肢体还链接到所述用户的一个或多个所述选定身体部位中的相应的选定身体部位。

4.如权利要求2所述的方法，还包括：

确定所述用户的所述一个或多个追踪到的选定身体部位的实际活动范围。

5.如权利要求4所述的方法，还包括：

基于所述用户的所述一个或多个追踪到的选定身体部位的所述实际活动范围与相应的预期活动范围信息的比较，确定活动范围中的差异。

6.如权利要求5所述的方法，还包括：

确定所述差异是否大于活动范围值的阈值，并且呈现所确定的结果。

7.如前述权利要求中任一项所述的方法，其中所述一个或多个增强现实肢体通过使用增强现实活动信息和/或活动范围信息来进一步确定。

8.一种向用户呈现增强现实肢体的系统，所述系统包括处理器，其中所述处理器用于：

获得增强现实解剖学特征信息；

通过使用所述增强现实解剖学特征信息和所述用户信息，确定与所追踪到的选定身体部位对应的一个或多个增强现实肢体；以及

在所述系统的显示器上呈现与所述用户的一个或多个追踪到的选定身体部位关联的所述一个或多个增强现实肢体。

9.如权利要求8所述的系统，其中所述处理器还根据所述增强现实解剖学特征信息和所述用户信息确定预期活动范围信息，并且所述呈现包括根据一个或多个所述增强现实解剖学特征信息和所述预期活动范围信息在所述系统的显示器上驱动所述一个或多个增强现实肢体。

10.如权利要求8所述的系统，其中所述处理器将所述一个或多个增强现实肢体链接到所述用户的一个或多个所述选定身体部位中相应的选定身体部位。

11.如权利要求9所述的系统，其中所述处理器确定所述用户的一个或多个追踪到的选定身体部位的实际活动范围。

12.如权利要求11所述的系统，其中所述处理器还基于所述用户的所述一个或多个追踪到的选定身体部位的所述实际活动范围与相应的预期活动范围信息的比较，来确定活动范围中的差异。

13.如权利要求12所述的系统，其中所述处理器确定所述差异是否大于活动范围值的阈值，并且呈现所确定的结果。

14.如权利要求8-13中任一项所述的系统，其中所述一个或多个增强现实肢体通过使用增强现实活动信息和/或活动范围信息来进一步确定。