CN113614847A - 用于医疗装置的基于增强现实的培训和故障排除 - Google Patents

用于医疗装置的基于增强现实的培训和故障排除 Download PDF

Info

Publication number
CN113614847A
CN113614847A CN202080022047.1A CN202080022047A CN113614847A CN 113614847 A CN113614847 A CN 113614847A CN 202080022047 A CN202080022047 A CN 202080022047A CN 113614847 A CN113614847 A CN 113614847A
Authority
CN
China
Prior art keywords
user
medical device
component
executable instructions
components
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080022047.1A
Other languages
English (en)
Inventor
K·S·普拉西
S·A·麦钱特
J·彼德森
H·科恩
M·布拉切恩斯基
J·E·特伦布莱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fresenius Medical Care Holdings Inc
Original Assignee
Fresenius Medical Care Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fresenius Medical Care Holdings Inc filed Critical Fresenius Medical Care Holdings Inc
Publication of CN113614847A publication Critical patent/CN113614847A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

用于医疗装置的基于增强现实的培训和故障排除。电子移动装置可以配备有AR应用程序，所述AR应用程序在执行时使所述电子移动装置提供关于如何设置医疗装置的一个或多个部件或对其进行维护的基于增强现实的培训。AR应用程序在执行时还可以使电子移动装置为医疗装置的一个或多个部件提供基于增强现实的故障排除。

Description

用于医疗装置的基于增强现实的培训和故障排除
技术领域
本公开总体上涉及为医疗装置的设置、维护和故障排除提供培训的系统和方法。特别地，本描述总体上涉及为医疗装置的设置、维护和故障排除提供基于增强现实的培训的系统和方法。
背景技术
诸如透析机器的医疗装置可能很复杂，并且可能需要用户(例如，医疗保健专业人员和/或患者)了解有关各种部件的存储、使用、处置和/或再处理的信息。通常，医疗装置的制造商随其医疗装置提供使用说明(IFU：Instructions-For-Use)，除其它外，通常提供关于如何设置医疗装置的各种部件并对其进行故障排除的说明。如果医疗装置需要复杂的动作、有混乱的设置程序或有可能伤害医疗装置的用户，则使用说明的设计考虑可能很重要。使用说明的设计考虑传统上侧重于文本内容和布局。此外，设计家用医疗装置变得越来越流行。设计家用医疗装置的方法通常涉及简化装置的机械装置，使得缺乏技术技能的患者更容易操作装置。然而，即使装置可以简化以供家庭使用，这些装置可能仍需要培训和说明以确保装置被配置用于安全操作。
发明内容
在本公开的至少一个方面，提供了一种系统。所述系统包括具有一个或多个标签的医疗装置。一个或多个标签中的每个标签分别与医疗装置的一部件相关联。所述系统包括电子移动装置。所述电子移动装置包括计算机可读介质，所述计算机可读介质被配置成能够存储对应于与每个标签相关联的部件的信息，所述信息包括与所述部件相关联的一个或多个用户可执行指令，所述计算机可读介质包括计算机可执行指令。所述计算机可执行指令包括操作系统和被配置成能够由操作系统执行的增强现实应用程序。所述电子移动装置包括被配置成能够执行计算机可执行指令的一个或多个处理器、被配置成能够通信地耦合到所述一个或多个处理器的用户界面、以及被配置成能够通信地耦合到所述一个或多个处理器并且进一步被配置成能够捕获图像数据的一个或多个传感器。当所述操作系统正在执行所述增强现实应用程序时，所述一个或多个处理器执行操作以：使所述一个或多个传感器开始捕获图像数据；确定所述图像数据是否包括所述一个或多个标签中的至少一个；如果所述图像数据包括所述一个或多个标签中的至少一个，则确定医疗装置的与所述至少一个标签相关联的部件；从所述计算机可读介质中检索与所述部件相关联的信息，所述部件是所述医疗装置的与所述至少一个标签相关联的部件；以及使所述用户界面显示对应于与所述部件相关联的信息的一个或多个指示符，所述一个或多个指示符包括静态图像、动画图像或两者中的一个或多个。
当操作系统正在执行增强现实应用程序时，对应于与所述部件相关联的信息的所述一个或多个指示符可以包括：指示部件被正确设置或正确操作的第一指示符或指示所述部件被不正确设置或不正确操作的第二指示符中的一个或多个。所述第二指示符可以包括指示用于所述部件的正确设置或用于修改所述部件的不正确操作的过程的信息。
当操作系统正在执行增强现实应用程序时，所述一个或多个处理器可以进一步执行操作以使所述用户界面提示用户执行用户可执行指令，该用户可执行指令被包括在对应于医疗装置的与所述至少一个标签相关联的部件的信息中。所述用户可执行指令可以包括以下中的至少一个：与设置医疗装置的部件有关的指令、与对医疗装置的部件执行维护有关的指令、以及与对医疗装置的部件进行故障排除有关的指令。
当所述操作系统正在执行所述增强现实应用程序时，所述一个或多个处理器可以进一步执行操作以：使所述一个或多个传感器捕获与用户执行用户可执行指令相关联的图像数据，基于与用户执行用户可执行指令相关联的数据生成反馈，以及使用户界面向用户显示反馈。生成的反馈可以对应于用户是否正确执行了用户可执行指令。
所述增强现实应用程序可以包括新手模式。所述一个或多个处理器可以被进一步配置成能够与医疗装置的控制器电路通信地耦合。当操作系统在新手模式下执行所述增强现实应用程序时，所述一个或多个处理器可以进一步执行操作以向医疗装置的控制器电路发送空闲控制信号，其中响应于接收到所述空闲控制信号，控制器电路可以使医疗装置在空闲模式下操作，使传感器捕获与用户执行用户可执行指令相关联的图像数据，基于与用户执行用户可执行指令相关联的图像数据确定医疗装置是否被正确地配置成能够执行医疗操作，以及如果所述一个或多个处理器确定医疗装置被正确地配置成能够执行医疗操作，则向医疗装置的控制器电路发送操作控制信号，其中，响应于接收到所述操作控制信号，所述控制器电路使医疗装置在功能模式下操作。当所述装置在空闲模式下操作时，所述医疗装置可以被禁用执行医疗操作，并且当所述装置在功能模式下操作时，所述医疗装置能够执行医疗操作。
所述医疗装置可以是透析机器。
所述系统可以包括远程定位的数据库，所述远程定位的数据库被配置成能够存储与以下中的至少一个相关联的历史数据：所述医疗装置或基本类似于所述医疗装置的至少一个远程装置。当所述操作系统正在执行所述增强现实应用程序时，所述一个或多个处理器可以进一步执行操作以接收历史数据。所检索的与医疗装置的与所述至少一个标签相关联的部件相关联的信息可以至少部分地基于接收的历史数据。
在本公开的至少一个其它方面，提供了一种方法。所述方法包括：使一个或多个传感器捕获图像数据；确定所述图像数据是否包括一个或多个标签中的至少一个，其中，所述一个或多个标签中的每一个分别与医疗装置的一部件相关联；如果所述图像数据包括至少一个标签，则确定医疗装置的与所述至少一个标签相关联的部件；检索与所述部件相关联的信息，所述部件是所述医疗装置的与所述至少一个标签相关联的部件，其中，所述信息包括与所述部件相关联的一个或多个用户可执行指令；以及显示对应于与所述部件相关联的信息的一个或多个指示符，所述部件是所述医疗装置的与所述至少一个标签相关联的部件，所述一个或多个指示符包括静态图像、动画图像或两者中的一个或多个。
所述方法可以进一步包括提示作为医疗保健的主体的患者执行被包括在对应于医疗装置的部件的信息中的用户可执行指令，其中，所述用户可执行指令包括以下中的至少一个：与设置医疗装置的部件有关的指令、与对医疗装置的部件执行维护有关的指令以及与对医疗装置的部件执行故障排除有关的指令。所述方法可以进一步包括：使所述一个或多个传感器捕获与患者执行用户可执行指令相关联的图像数据；基于与用户执行用户可执行指令相关联的数据生成反馈；以及将所述反馈显示给患者。所述方法可以进一步包括：使医疗装置在空闲模式下操作，使所述一个或多个传感器捕获与患者执行用户可执行指令相关联的图像数据，基于与执行用户执行指令的患者相关联的图像数据来确定医疗装置是否被正确地配置成能够执行医疗操作，以及如果确定医疗装置被正确地配置成能够执行医疗操作，则使医疗装置在功能模式下操作。
生成的反馈可以向患者通知：患者是否正确执行了用户可执行指令。使医疗装置在空闲模式下操作可以包括禁用医疗装置执行医疗操作的能力，使医疗装置在功能模式下操作可以包括使医疗装置能够执行医疗操作。
在本公开的至少一个其它方面，提供了一种系统。所述系统包括医疗装置。所述医疗装置包括：一个或多个部件，所述一个或多个部件中的每个部件都具有一个或多个操作参数；以及一个或多个监测装置，所述一个或多个监测装置被配置成能够检测所述一个或多个部件中的至少一个部件的一个或多个操作参数。所述系统包括电子移动装置。所述电子移动装置包括：具有计算机可执行指令的计算机可读介质，所述计算机可执行指令包括操作系统，以及被配置成能够由操作系统执行的增强现实应用程序。所述电子移动装置包括一个或多个处理器，所述处理器被配置成能够：执行计算机可执行指令，通信地耦合到所述一个或多个监测装置，以及接收与所述至少一个部件的所述一个或多个操作参数相关联的操作数据。所述电子移动装置包括通信地耦合到所述一个或多个处理器的用户界面。当操作系统正在执行所述增强现实应用程序时，所述一个或多个处理器被配置成能够执行操作以：接收与所述至少一个部件的所述一个或多个操作参数相关联的操作数据；以及基于所述操作数据确定所述至少一个部件是否正在经历至少部分故障；基于所述确定所述至少一个部件是否正在经历至少部分故障来生成一个或多个用户可执行指令；以及使用户界面显示用户可执行指令。
所述用户可执行指令可以包括关于如何确认所述至少一个部件正在经历所述至少部分故障的信息。当所述操作系统正在执行所述增强现实应用程序时，所述一个或多个处理器可以进一步执行操作以使所述用户界面提示所述用户确认所述至少部分故障。所述用户可执行指令可以包括与如何修复所述至少部分故障有关的信息。
当所述操作系统正在执行所述增强现实应用程序时，所述一个或多个处理器可以进一步执行操作以：生成用于确定所述至少一个部件正在经历所述至少部分故障的置信度值；以及如果置信度值大于第一置信度值阈值且小于第二置信度值阈值，则使用户界面提示用户确认所述至少部分故障；如果置信度值大于第二置信度值阈值，则使用户界面提示用户修复所述至少部分故障。
所述一个或多个处理器可以包括至少一种机器学习算法，所述机器学习算法确定所述至少一个部件是否正在经历所述至少部分故障并生成所述一个或多个用户可执行指令。所述电子移动装置可以被配置成能够基于所述至少部分故障的程度发起与专家技术人员的实时视频会议。
当所述操作系统正在执行所述增强现实应用程序时，所述一个或多个处理器可以进一步执行操作以提示用户确认多个用户经验水平中的一个，并且所述电子移动装置被配置成能够基于用户确认的用户经验水平发起与专家技术人员的实时视频会议。
所述系统可以进一步包括远程定位的数据库，所述远程定位的数据库被配置成能够存储与以下中的至少一个相关联的历史数据：医疗装置或基本类似于所述医疗装置的至少一个远程装置。当所述操作系统正在执行所述增强现实应用程序时，所述一个或多个处理器可以进一步进行操作以接收历史数据。确定所述至少一个部件是否正在经历至少部分故障可以至少部分地基于接收的历史数据。
在本公开的至少一个其它方面，提供了一种方法。所述方法包括：接收与医疗装置的至少一个部件的一个或多个操作参数相关联的操作数据，基于所述操作数据确定所述至少一个部件是否正在经历至少部分故障，基于所述确定所述至少一个部件是否正在经历至少部分故障来生成一个或多个用户可执行指令，以及显示所述一个或多个用户可执行指令。
所述用户可执行指令可以包括关于如何确认所述至少一个部件正在经历所述至少部分故障的信息，所述方法进一步包括提示患者确认所述至少部分故障。所述用户可执行指令可以包括与如何修复所述至少部分故障有关的信息。
所述方法可以包括：生成用于确定所述至少一个部件正在经历至少部分故障的置信度值，如果所述置信度值大于第一置信度值阈值且低于第二置信度值阈值，则提示患者确认所述至少部分故障，以及如果所述置信度值大于所述第二置信度值阈值，则提示用户修复所述至少部分故障。所述方法可以包括基于所述至少部分故障的程度发起与专家技术人员的实时视频会议。所述方法可以包括提示患者确认多个用户经验水平中的一个并且基于用户确认的用户经验水平发起与专家技术人员的实时视频会议。
在本公开的至少一个其它方面，提供了一种系统。所述系统包括医疗装置。所述医疗装置包括：一个或多个部件，所述一个或多个部件中的每个部件都具有一个或多个操作参数；以及一个或多个显示器，所述一个或多个显示器被配置成能够显示与所述一个或多个部件中的至少一个部件的一个或多个操作参数相关联的一个或多个数值。所述系统包括电子移动装置。所述电子移动装置包括包含计算机可执行指令的计算机可读介质。所述计算机可执行指令包括操作系统和被配置成能够由所述操作系统执行的增强现实应用程序。所述电子移动装置包括：被配置成能够执行计算机可读指令的一个或多个处理器、被配置成能够通信地耦合到所述一个或多个处理器的用户界面、以及被配置成能够通信地耦合到所述一个或多个处理器并且进一步被配置成能够捕获图像数据的一个或多个传感器。当所述操作系统正在执行所述增强现实应用程序时，所述一个或多个处理器执行操作以：使所述一个或多个传感器开始检测与所述一个或多个操作参数相关联的一个或多个数值，其中，所述一个或多个传感器被配置成能够进一步检测与所述一个或多个数值相关联的变化，并使所述用户界面显示与检测的一个或多个数值相关联的说明性表示。
所述一个或多个显示器可以包括一个或多个LED显示器。所述说明性表示可以包括表盘显示器。所述说明性表示可以包括仪表显示器。当所述操作系统正在执行所述增强现实应用程序时，所述一个或多个处理器可以进一步执行操作以实时生成图表，所述图表表示与检测的一个或多个数值相关联的趋势数据。当所述操作系统正在执行所述增强现实应用程序时，所述一个或多个处理器可以进一步执行操作以将所述趋势数据与阈值进行比较并确定至少一个部件是否正在经历至少部分故障。当所述操作系统正在执行所述增强现实应用程序时，所述一个或多个处理器可以进一步执行操作以在确定至少一个部件正在经历至少部分故障时警告患者。警告可以包括一个或多个处理器使电子移动装置振动或产生可听声音中的至少一种。
这些和其它方面、特征和实施方式可以被表示为用于执行功能的方法、设备、系统、部件、程序产品、装置或步骤，以及以其它方式。
这些和其它方面、特征和实现将从包括权利要求在内的以下描述中变得显而易见。
附图说明
图1示出了根据本公开的一个或多个实施例的用于为医疗装置提供基于增强现实的培训的系统的一个示例。
图2A示出了描绘根据本公开的一个或多个实施例的用于为医疗装置提供基于增强现实的培训的方法的一个示例的流程图。
图2B示出了描绘根据本公开的一个或多个实施例的用于为医疗装置提供基于增强现实的培训和分析的方法的一个示例的流程图。
图2C示出了描绘根据本公开的一个或多个实施例的分析在用于为医疗装置提供基于增强现实的培训和分析的方法中使用的医疗装置的设置的一个示例的流程图。
图3示出了根据本公开的一个或多个实施例的用于为医疗装置提供基于增强现实的故障排除的系统的一个示例。
图4A示出了描绘根据本公开的一个或多个实施例的用于为医疗装置提供基于增强现实的故障排除的方法的一个示例的流程图。
图4B示出了描绘根据本公开的一个或多个实施例的用于为医疗装置提供基于置信度驱动的基于增强现实的故障排除的方法的一个示例的流程图。
图4C示出了描绘根据本公开的一个或多个实施例的用于为医疗装置的基于增强现实的故障排除提供虚拟辅助的方法的一个示例的流程图。
图5示出了根据本公开的一个或多个实施例的用于为医疗装置提供基于增强现实的诊断的系统的一个示例。
图6示出了描绘根据本公开的一个或多个实施例的用于为医疗装置提供基于增强现实的诊断的方法的一个示例的流程图。
图7A-7B是示出根据本公开的一个或多个实施例的基于分析医疗装置的设置向用户提供视觉反馈的移动装置的图示。
具体实施方式
现有的IFU设计往往是静态的和基于纸张的，这可能会限制培训和装置故障排除的有效性。这些传统的IFU会在很多方面限制有效性，特别是，例如，与在医疗装置的复杂培训期间的困难的用户经验有关。这些困难的培训经历可能会导致较低的治疗采用率和保留率，尤其是在家庭用户的情况下。此外，即使采用更简化的设计，许多医疗装置可能仍然需要IFU来进行用户指导。
增强现实(AR：Augmented Reality)技术允许将计算机生成的图形叠加在人对现实世界的看法上。AR技术可以成为提供动态的、用户友好的和交互式的培训方法的有效工具。因此，可能期望提供基于AR的系统来培训人们使用医疗装置并对其进行故障排除，使得改善整体培训经验。培训经验的这种改进可能有助于更高的治疗采用率和保留率。
在下面的描述中，出于解释的目的，为了提供对本发明的透彻理解，阐述了许多具体细节。然而，很明显，本发明可以在没有这些具体细节的情况下实践。在其它情况下，众所周知的结构和装置以框图形式示出，以便避免不必要地混淆本发明。
在附图中，为了便于描述，示出了示意性元素的特定布置或排序，例如那些代表装置、模块、指令块和数据元素的元素。然而，本领域技术人员应当理解，附图中示意性元素的特定排序或布置并不意味着需要特定的处理排序或顺序，或者过程的分离。此外，在附图中包括示意性元素并不意味着在所有实施例中都需要这样的元素，或者在一些实施例中由这样的元素表示的特征可能不包括在其它元素中或与其它元素组合。
此外，在使用诸如实线或虚线或箭头的连接元素来说明两个或多个其它示意性元素之间的连接、关系或关联的附图中，不存在任何这样的连接元素并不意味着不存在任何连接、关系或关联。换句话说，元素之间的一些连接、关系或关联并未在附图中示出，以免混淆本公开。此外，为了便于说明，使用单个连接元素来表示元素之间的多个连接、关系或关联。例如，在连接元素表示信号、数据或指令的通信的情况下，本领域技术人员应该理解，这种元素根据需要表示一个或多个信号路径(例如，总线)以影响通信。
现在将详细参考实施例，其示例在附图中说明。在下面的详细描述中，为了提供对各种描述的实施例的透彻理解，阐述了许多具体细节。然而，对于本领域的普通技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践各种描述的实施例。在其它情况下，没有详细描述众所周知的方法、程序、部件、电路和网络，以免不必要地affect实施例的各方面。
下文描述了多个特征，每个特征可以彼此独立地使用或与其它特征的任何组合一起使用。然而，任何单独的特征都可能无法解决上面讨论的任何问题或可能仅解决上面讨论的问题中的一个问题。上面讨论的一些问题可能无法通过本文中描述的任何特征来完全解决。尽管提供了标题，但与特定标题相关但未在具有该标题的部分中找到的数据也可以在本描述的其它地方找到。
图1示出了根据本公开的一个或多个实施例的用于为医疗装置提供基于增强现实的培训的系统100的一个示例。系统100包括移动装置110、医疗装置120和远程定位的数据库130。移动装置110包括传感器111和用户界面112。移动装置110还包括计算机可读介质113和计算机处理器117。计算机可读介质包括计算机可执行指令114。计算机可执行指令114包括操作系统115和增强现实(AR)应用程序116。医疗装置120包括多个部件121、多个人类可读指令122和控制器电路123。
医疗装置120被配置成能够执行医疗功能。如本文中所使用的，医疗功能指的是以下中的一项或多项：(1)疾病的诊断、预防、监测、治疗和/或缓解；(2)对伤害或者残疾的诊断、监测、治疗、缓解或补偿；(3)解剖结构和/或生理过程的调查、替换和/或修改。出于说明性目的，所示实施例中的医疗装置120是被配置成能够提供诸如血液透析或腹膜透析等的透析治疗和/或诸如血液滤过或血液透析滤过等的其它肾脏替代疗法的透析机器。医疗装置120包括一起工作以允许医疗装置120执行医疗功能的多个部件121。例如，在所示实施例中，医疗装置120的部件121包括多个透析机器部件。透析机器部件可以包括例如透析器、血液泵、脱气罐、血压袖带、监测器、制动器、分流联锁装置、压力计、流量计、透析液泵、夹具等。
多个人类可读指令122中的每一个与多个部件121中的至少一个部件相关联。在下文中，术语人类可读指的是可以由人类自然地解释的数据和/或信息的表示，例如可视化(例如，图形、地图、图像等)、来自人类使用的语言(例如，英语、法语、日语、阿拉伯语等)中的数字/符号和/或被总结/抽象到人类理解的适当水平的数据(例如，视觉警告、听觉警告等)，并暗示对人类有意义的信息。多个人类可读指令122包括文本、图像和/或全息设计。多个人类可读指令122包括关于如何使用、设置和/或故障排除与人类可读指令122相关联的部件121的部分或全部指令。例如，在一个实施例中，多个部件121包括透析器并且多个人类可读指令122包括部分描述如何配置透析器和将透析器设置在医疗装置120的容纳室中的文本和/或图像。在一个实施例中，多个部件120包括医疗管线并且多个人类可读指令122包括部分描述如何安装医疗管线的文本和/或图像。在一个实施例中，多个人类可读指令122中的每一个都包括一个或多个视觉标签。在一个实施例中，一个或多个视觉标签可由CMOS和/或CCD相机识别。尽管多个人类可读指令122被描述为人类可读的，但视觉标签可以是人类可读的、机器可读的或两者。例如，视觉标签可以包括字母数字文本、条形码、射频(RF)标签、共振标签和/或红外标签(例如，红外信标)。视觉标签可以是打印的或非打印的。在一个实施例中，被包括在多个人类可读指令122中的所有视觉标签都是可打印的。然而，多个人类可读指令122可以仅包括不可打印标签(例如，RF标签和/或红外信标)，或者多个人类可读指令122可以包括可打印标签和不可打印标签的组合。
移动装置110可以是多种类型的移动装置中的一种。例如，在所示实施例中，移动装置110是蜂窝电话(例如，智能电话)。在一个实施例中，移动装置110是平板个人计算机(PC)。移动装置110还可以是无线可穿戴接口装置，例如腕戴式显示器和/或头戴式显示器。移动装置110被配置成能够提供各种功能。例如，在一个实施例中，移动装置110被配置成能够提供语音呼叫和文本消息收发。在一个实施例中，移动装置110被配置成能够显示照片和/或视频。在一个实施例中，移动装置110被配置成能够播放音乐和其它形式的音频。移动装置110还可以被配置成能够发送和接收电子邮件、捕获和显示照片、捕获和显示视频、访问网站和显示网站。
在一个实施例中，传感器111被配置成能够捕获图像数据。在一个实施例中，传感器111是相机。相机可以捕获静止图像和/或视频形式的图像数据。图像数据可以采用多种图像数据格式的形式，例如RAW、JPEG、PNG等。在一个实施例中，传感器111是使用电荷耦合器件(CCD：Charged-Coupled Device)和/或互补金属氧化物半导体(CMOS：ComplementaryMetal Oxide Semiconductor)将光子转换为电子以进行数字处理的数码相机。在一个实施例中，传感器111是激光扫描仪。传感器111还可以是LED扫描仪、成像扫描仪和/或射频识别(RFID：Radio Frequency Identification)扫描仪。尽管移动装置110被示出为仅具有一个传感器111，但是移动装置110可以包括多种类型的多个传感器111。例如，在一个实施例中，移动装置110包括作为相机和激光扫描仪的传感器111。
在一个实施例中，用户界面112是图形用户界面(GUI：Graphical UserInterface)。用户界面112被配置成能够允许移动装置110的用户通过图形图标和视觉指示符与移动装置110交互。用户界面112可以使用窗口、图标、菜单、指针范例(WIMP)来允许用户与移动装置110交互。在一个实施例中，用户界面112是触摸屏GUI。用户界面112还可以使用通常在基于触摸屏的GUI中找到的后WIMP范例。用户界面112被配置成能够以静止照片和/或视频的形式显示图像。
计算机可读介质113(或计算机可读存储器)可以包括适合本地技术环境的任何数据存储技术类型，包括但不限于基于半导体的存储器装置、磁存储器装置和系统、光学存储器装置和系统、固定存储器、可移除存储器、磁盘存储器、闪存、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、电子可擦除可编程只读存储器(EEPROM)以及诸如此类。在一个实施例中，计算机可读介质113包括具有可执行指令的代码段。在一个实施例中，计算机可读介质113存储对应于医疗装置120的部件121的信息。所述信息包括与医疗装置120的多个部件121相关联的设置、维护和/或故障排除指令(即，用户可执行指令)。例如，在一个实施例中，所述多个部件121包括透析器并且所述信息包括关于如何在医疗装置120的容纳室内设置透析器的用户可执行指令。在一个实施例中，所述多个部件121包括医疗管线并且所述信息包括关于如何对医疗管线进行维护的用户可执行指令。在一个实施例中，所述多个部件121包括血液泵并且所述信息包括关于如何对血液泵进行故障排除的用户可执行指令。
计算机处理器117通信地耦合到传感器111。在一个实施例中，计算机处理器117包括通用处理器。在一个实施例中，计算机处理器117包括中央处理单元(CPU)。在一个实施例中，计算机处理器117包括至少一个专用集成电路(ASIC)。计算机处理器117还可以包括通用可编程微处理器、专用可编程微处理器、数字信号处理器(DSP)、可编程逻辑阵列(PLA)、现场可编程门阵列(FPGA)、专用电子电路等，或其组合。计算机处理器117被配置成能够执行诸如计算机可执行指令114之类的程序代码器件。在一个实施例中，计算机处理器117包括神经网络处理器。神经网络处理器可以执行多种机器学习算法，例如深度学习技术(例如，卷积、径向基函数、递归和/或模块化神经网络处理技术)和/或贝叶斯学习技术。
在一个实施例中，远程定位的数据库130通信地耦合到移动装置110(例如，经由计算机处理器117)和医疗装置120。远程定位的数据库130远离移动装置110和/或医疗装置120。远程定位是指远程定位的数据库没有集成在移动装置110和/或医疗装置120中的情况。例如，远程定位的数据库可以与医疗装置120在同一房间中，但不与医疗装置120集成。在一些情况下，远程定位的数据库130可能不位于医疗装置120附近。例如，远程定位的数据库可以与医疗装置120相比位于不同的建筑物、不同的城市或甚至不同的国家。在一个实施例中，远程定位的数据库130被嵌入在云计算环境中。医疗装置120能够将关于医疗装置的信息传送到远程定位的数据库130。在一个实施例中，医疗装置120传送关于与部件121中的一个或多个相关联的历史操作数据的信息(例如，部件故障数据、部件生命周期数据、部件维护状态数据等)。例如，如果部件121中的一个在过去经历过故障，则医疗装置120可以将与故障相关的数据传送到远程定位的数据库130。作为另一个示例，如果部件121中的一个已经被使用了一定次数(例如，已经在30次或更多次治疗中使用)，则医疗装置120可以将该信息传送到远程定位的数据库130。医疗装置120还可以将与部件121中的一个的维护性能相关联的信息传送到远程定位的数据库130(例如，何时发生维护、维护的性质、维护的程度、维护的严重性、维护是否全部或部分完成等)。
远程定位的数据库130还可以从其它来源接收和存储与医疗装置120相关的历史信息。在一个实施例中，远程定位的数据库130接收和存储来自远离医疗装置120的其它医疗装置的维护信息、来自呼叫中心(例如，客户服务中心)的关于基本类似于医疗装置120的医疗装置的操作和维护的信息，诸如此类。例如，如果呼叫中心接收多个关于特定部件121的故障(或设置中的错误)的多个呼叫，则远程定位的数据库130可以接收与这些呼叫相关联的数据。因此，远程定位的数据库130可以存储与来自诸如呼叫中心之类的来源的基本类似于医疗装置120的医疗装置相关的历史信息，所述信息指示部件121中的一个或多个的设置和维护的常见问题。在一个实施例中，远程定位的数据库130可以将随远程定位的数据库130存储的信息中的一些或全部传送到计算机处理器117。
在一个实施例中，操作系统115被配置成能够执行AR应用程序116。操作系统115可以被配置成能够在出现用户发起的命令时执行AR应用程序116。例如，用户可以通过点击和/或触摸用户界面112上表示AR应用程序116的图标来命令操作系统115开始执行AR应用程序116。操作系统115可以在前景状态和/或背景状态下执行AR应用程序116。AR应用程序116可以包括一种或多种操作模式。例如，在一个实施例中，AR应用程序116包括新手模式。在一个实施例中，AR应用程序116包括专家模式。
当操作系统115正在执行AR应用程序116时，计算机处理器117执行一个或多个操作。在一个实施例中，当操作系统115正在执行AR应用程序116时，计算机处理器117执行操作以使传感器111开始捕获与人类可读指令122相关联的图像数据。为了便于捕获与人类可读指令122相关联的图像数据，计算机处理器117可以执行操作以使用户界面112向用户显示提示用户将传感器111指向人类可读指令122的消息。
在一个实施例中，在AR应用程序116的执行期间，计算机处理器117执行操作以确定捕获的图像数据是否包括人类可读指令122中所包括的视觉标签中的至少一个。如果捕获的图像数据包括一个或多个标签，则计算机处理器117执行操作以识别医疗装置120的多个部件121中的哪些特定部件与被包括在捕获的图像数据中的一个或多个标签相关联。在一个实施例中，如果捕获的图像数据包括与多个部件121中的一个以上部件相关联的一个或多个标签，则提示用户选择多个部件121中的与用户感兴趣的所捕获的一个或多个标签相关联的特定部件。如前所述，视觉标签可以包括例如字母数字文本、条形码、射频(RF)标签、共振标签和红外标签(例如，红外信标)。在一个实施例中，视觉标签是与医疗装置120的特定部件121(例如，透析机器的透析器)相关联的条形码。在检测到该条形码时，计算机处理器117确定多个部件121中的哪个特定部件与该条形码相关联。在一个实施例中，视觉标签是与多个部件121中的特定部件(例如，透析机器的血液泵)相关联的字母数字文本的特定序列。在一个实施例中，计算机处理器117使用例如光学字符识别(OCR：OpticalCharacter Recognition)来检测字母数字文本的特定序列，并确定多个部件121中的哪个特定部件与字母数字文本的该特定序列相关联。
在一个实施例中，在AR应用程序116的执行期间，计算机处理器117执行操作以从计算机可读介质113检索与多个部件121中的与检测的一个或多个标签相对应的确定的部件相关联的信息。如前所述，该信息包括关于如何对多个部件121的确定的部件进行设置、执行维护和/或故障排除的用户可执行指令。在一个实施例中，检索到的信息的类型(即，设置指令、维护指令和故障排除指令)是基于用户选择的模式。例如，在一个实施例中，提示用户选择设置模式、维护模式和/或故障排除模式中的一个。在一个实施例中，如果用户选择设置模式，则计算机处理器117将检索具有用户可执行指令的信息，用户可执行指令对应于多个部件121中的识别的部件的设置。在一个实施例中，如果用户选择故障排除模式，则计算机处理器117检索具有对应于识别的部件122的故障排除的用户可执行指令的信息。在一个实施例中，如果用户选择维护模式，则计算机处理器117检索具有对应于对多个部件121中的确定的部件执行维护的用户可执行指令的信息。
在一个实施例中，计算机处理器117基于从远程定位的数据库130接收的信息来检索信息。例如，如果从远程定位的数据库130接收的信息是指示与部件121中的特定部件的设置相关联的常见错误的呼叫中心信息(或从远程医疗装置传送的信息)，则计算机处理器117可以检索包括与该特定部件相关联的增强设置指令的信息。在一个实施例中，如果呼叫中心信息(或远程装置信息)指示空气管线通常被插入错误端口中，则检索的指令可以包括关于如何确保空气管线不被插入错误端口中的指令。
在一个实施例中，在AR应用程序116的执行期间，计算机处理器117执行操作以使用户界面112显示与多个部件121中的确定的部件相关联的信息。在一个实施例中，计算机处理器117使用户界面112以静态图像的形式显示用户可执行指令。静态图像可以包括图片、图画和/或文本。例如，在一个实施例中，多个部件121中的确定的部件是血液泵，并且计算机处理器117使用户界面112显示示出了如何对血液泵进行故障排除的一系列图片。在一个实施例中，该系列图片附有支持文本以帮助用户理解如何对多个部件121中的确定的部件(例如，血液泵)进行故障排除。在一个实施例中，计算机处理器117使用户界面112以动画图像的形式显示信息。动画图像可以包括动画图画、预先录制的视频和/或文本。例如，在一个实施例中，多个部件121中的确定的部件是透析器并且计算机处理器117使用户界面112显示示出了为医疗功能设置透析器的步骤的动画图画。在一个实施例中，计算机处理器117使用户界面112以静态和动画图像的形式显示信息(例如，用户可执行指令)。
在一个实施例中，在AR应用程序116的执行期间，计算机处理器117执行操作以使用户界面112提示用户执行被包括在显示的信息中的用户可执行指令。在一个实施例中，在AR应用程序116的执行期间，计算机处理器117执行操作以使传感器111捕获与用户执行用户可执行指令相关联的图像数据。为了便于捕获与用户执行用户可执行指令相关联的图像数据，计算机处理器117可以使用户界面112提示用户将传感器111聚焦在多个部件121中的与显示的用户可执行指令相关联的部件上。
在一个实施例中，在AR应用程序116的执行期间，计算机处理器117执行操作以基于与用户执行用户可执行指令相关联的数据来生成反馈，然后使用户界面112向用户显示反馈。例如，在一个实施例中，在用户相信他们已经完成了用户可执行指令之后，提示用户将传感器111聚焦在多个部件121中的与显示的用户可执行指令相关联的部件(“关联部件”)上。在一个实施例中，计算机处理器117然后基于由传感器111捕获的图像数据来确定多个部件121中的关联部件是否已经被正确设置。
如果计算机处理器117确定多个部件121中的关联部件已经被正确设置，则计算机处理器117可以使用户界面112通知用户多个部件121中的关联部件被正确设置。如果计算机处理器117确定多个部件121中的关联部件没有被正确设置，则计算机处理器117可以使用户界面112通知用户多个部件121中的关联部件没有被正确设置。计算机处理器117还可以使用户界面112重新显示用户可执行指令或显示。在一个实施例中，计算机处理器117确定多个部件121中的关联部件的不正确设置的特定问题，然后基于识别的特定问题生成目标反馈。例如，计算机处理器117可以确定透析机器的静脉管线连接到机器的透析器的错误端口，在这种情况下，计算机处理器117可以生成通知用户静脉管线连接到错误端口的反馈。反馈可以包括文本和/或图像。
在一个实施例中，计算机处理器117与控制器电路123通信地耦合。如前所述，AR应用程序116可以在新手模式下执行。在一个实施例中，AR应用程序116基于医疗装置120的用户的选择在新手模式下执行。在一个实施例中，AR应用程序116基于与医疗装置120的用户相关联的历史设置信息在新手模式下执行。例如，计算机处理器117可以基于用户先前设置医疗装置120的尝试从远程定位的数据库130接收关于用户经验水平的信息。
在一个实施例中，当AR应用程序116在新手模式下被执行时，计算机处理器117执行操作以向控制器电路123发送空闲控制信号。响应于接收到空闲控制信号，控制器电路123使医疗装置120在空闲模式下操作。当在空闲模式下操作时，控制器电路123禁用医疗装置120执行医疗功能的能力。例如，控制器电路123可以在接收到空闲控制信号时关闭医疗装置120的电源，或者禁用医疗装置120的多个部件121中的一个或多个部件。
在一个实施例中，当AR应用程序116在新手模式下被执行时，计算机处理器117执行操作以分析与用户执行用户可执行指令相关联的图像数据并确定医疗装置120是否已被正确配置以执行医疗功能。为了便于实现这一点，计算机处理器117可以使用户界面112提示用户将传感器111聚焦在多个部件121中的一个或多个部件上。然后，计算机处理器117可以确定多个部件121的一个或多个部件中的每一个是否被正确设置。在一个实施例中，当AR应用程序116在新手模式下被执行时，当计算机处理器117确定医疗装置120被正确地配置成能够执行医疗功能时，计算机处理器117执行操作以向控制器电路123发送操作控制信号。响应于接收到操作控制信号，控制器电路123使医疗装置120在功能模式下操作。当在功能模式下操作时，控制器电路123使医疗装置120能够执行医疗功能。例如，控制器电路123可以在接收到操作控制信号时接通医疗装置120的电源，或启用医疗装置120的多个部件121中的一个或多个部件。因此，当在新手模式下操作时，AR应用程序116可以确保：除非医疗装置120被正确地配置成能够以安全的方式执行其相关联的医疗功能，否则用户就不操作医疗装置120。
图2A示出了描绘根据本公开的一个或多个实施例的用于为医疗装置提供基于增强现实的培训的方法200a的一个示例的流程图。出于说明性目的，用于为医疗装置提供基于增强现实的培训的系统100执行方法200a。然而，方法200a可以由允许在医疗装置上进行基于增强现实的培训和故障排除的其它系统执行。方法200a包括捕获图像数据(框201)和确定图像数据是否包括标签(框202)。如果图像数据不包括标签，则方法200a包括结束该方法或继续图像数据的捕获(框201)。如果图像数据确实包括标签，则方法200a包括确定医疗装置的部件(框203)、检索与该部件相关联的信息(框204)以及显示与该部件相关联的信息(框205)。
方法200a包括捕获图像数据(框201)。计算机处理器117执行操作以使传感器111开始捕获与人类可读指令122相关联的图像数据。为了便于该图像数据的捕捉，计算机处理器117可以执行操作以使用户界面112提示用户(例如，以基于文本的消息或图形图标的形式)将传感器111聚焦到医疗装置120上的人类可读指令122。
方法200a包括确定图像数据是否包括标签(框202)。如前所述，人类可读指令122可以包括一个或多个视觉标签，每个视觉标签与医疗装置120的多个部件121中的特定部件相关联。计算机处理器117执行操作以确定捕获的图像数据(来自框201)是否包括人类可读指令122内所包括的视觉标签中的至少一个。
如果图像数据不包括标签，则方法200a包括结束该方法或继续图像数据的捕获(框201)。在一个实施例中，如果图像数据不包括至少一个视觉标签，则计算机处理器117将使传感器111继续捕获图像数据(框201)预定时间量(例如，10秒、20秒、30秒等)，并且如果捕获的图像数据在预定时间量内不包括至少一个视觉标签，则操作系统115将停止执行增强现实应用程序116。预定时间量可以是基于例如节能考虑而给出的用户选择和/或制造的设计选择。
如果图像数据确实包括标签，则方法200a包括确定医疗装置的部件(框203)。计算机处理器117执行操作以识别医疗装置120的多个部件121中的哪些部件与被包括在捕获的图像数据中的一个或多个视觉标签相关联。如前面参考图1所示，视觉标签可以包括例如字母数字文本、条形码、射频(RF)标签、共振标签和红外标签(例如，红外信标)。视觉标签可以是与多个部件121中的特定部件(例如，透析机器的透析器)相关联的条形码。在这种情况下，一旦检测到条形码，计算机处理器117就确定医疗装置120的多个部件121中的哪个特定部件与条形码相关联(“关联部件”)。作为另一个示例，标签可以是与多个部件121中的特定部件(例如，透析机器的血液泵)相关联的字母数字文本的特定序列。在这种情况下，计算机处理器117使用例如光学字符识别(OCR：Optical Character Recognition)来检测字母数字文本的特定序列并确定多个部件121中的哪个特定部件与字母数字文本的该特定序列相关联。如果多个部件121中的两个或更多个部件与检测到的一个或多个视觉标签相关联，则可以提示用户选择多个部件121中的用户感兴趣的特定部件。例如，假设捕获的图像数据包括与血液泵相关联的视觉标签和与透析器相关联的视觉标签。可以提示用户基于用户感兴趣的特定部件(例如，用于执行设置、维护和/或故障排除)来选择血液泵或透析器。
如果图像数据确实包括标签，则方法200a包括检索与部件相关联的信息(框204)。如前所述，计算机可读介质113存储与医疗装置120的多个部件121中的一个或多个部件相关联的信息。该信息可以包括对应于医疗装置120的多个部件121中的每个部件的设置、维护和/或故障排除的用户可执行指令。计算机处理器117从计算机可读介质113中检索与在框203中识别的多个部件121中的部件相关联(“关联部件”)的信息。例如，如果在框203中识别的多个部件121中的关联部件是透析器，则计算机处理器117可以检索与透析器相关联的信息。检索到的信息的类型(即，设置指令、维护指令和故障排除指令)可以基于用户选择的模式。例如，用户可以选择设置模式，并且计算机处理器117将检索具有对应于多个部件121中的关联部件的设置的用户可执行指令的信息。用户可以选择故障排除模式，并且计算机处理器117将检索具有对应于多个部件121中的关联部件的故障排除的用户可执行指令的信息。用户可以选择维护模式，并且计算机处理器117将检索具有对应于对多个部件121中的关联部件执行维护的用户可执行指令的信息。
如果图像数据确实包括标签，则方法200a包括显示与部件相关联的信息(框205)。计算机处理器117执行操作以使用户界面112显示对应于多个部件121中的关联部件的信息。在一个实施例中，计算机处理器117使用户界面112以静态图像的形式显示用户可执行指令。静态图像可以包括图片、图画和/或文本。例如，在一个实施例中，计算机处理器117使用户界面112显示示出了如何对透析机器的血液泵进行故障排除的一系列图片。该系列图片可以附有支持文本，以帮助用户了解如何对血液泵进行故障排除。在一个实施例中，计算机处理器117使用户界面112以动画图像的形式显示信息。动画图像可以包括动画图画、预先录制的视频和/或文本。例如，在一个实施例中，多个部件中的关联部件是透析器，并且计算机处理器117使用户界面112显示示出了设置透析器的步骤的动画图画。在一个实施例中，多个部件121中的关联部件是医疗管线并且计算机处理器117使用户界面112显示示出了将医疗管线连接到透析器的步骤的预先录制的视频。计算机处理器117还可以使用户界面112以静态和动画图像的形式显示信息。
图2B示出了描绘根据本公开的一个或多个实施例的用于为医疗装置提供基于增强现实的培训和分析的方法200b的一个示例的流程图。出于说明性目的，用于为医疗装置提供基于增强现实的培训的系统100执行方法200b。然而，方法200b可以由允许在医疗装置上进行基于增强现实的培训和故障排除的其它系统执行。方法200b包括捕获图像数据(框201)、确定图像数据是否包括标签(框202)、确定医疗装置的部件(框203)、检索与该部件相关联的信息(框204)以及显示与该部件相关联的信息(框205)。框201-205先前在参考图2A的用于为医疗装置提供基于增强现实的培训的方法200a中进行了描述。方法200b进一步包括提示患者执行指令(框206)、引起空闲模式(框207)和分析装置设置(框208)。
方法200b包括提示用户执行指令(框206)。计算机处理器117使用户界面112提示用户执行在框204-205中检索和显示的用户可执行指令。在一个实施例中，提示包括基于文本的消息、图形图标、振动和/或警告声音。
方法200b包括引起空闲模式(框207)。如前面参考图1所示，计算机处理器117可以通信地耦合到医疗装置120的控制器电路123。在一个实施例中，计算机处理器117向控制器电路123发送空闲控制信号。在一个实施例中，一旦空闲控制信号被控制器电路123接收，控制器电路123就使医疗装置120在空闲模式下操作。使医疗装置120在空闲模式下操作可以包括关闭医疗装置120的电源和/或禁用医疗装置120的多个部件121中的一个或多个部件。例如，在一个实施例中，一旦控制器电路123接收到空闲控制信号就关闭整个医疗装置120的电源。在一个实施例中，控制器电路123禁用多个部件121中的一个或多个部件(例如，禁用透析机器的血液泵)。
方法200b包括分析装置的设置(框208)。图2C示出了描绘根据本公开的一个或多个实施例的分析在用于为医疗装置提供基于增强现实的培训和分析的方法200b中使用的医疗装置的设置(框208)的一个示例的流程图。分析装置的设置(框208)包括捕获进一步的图像数据(框209)。在一个实施例中，分析装置的设置(框208)包括生成反馈(框210)和显示反馈(框211)。在一个实施例中，分析装置的设置(框208)包括确定医疗装置是否被正确配置(框212)。如果确定医疗装置被正确配置，则分析医疗装置的设置(框208)包括引起功能模式(框213)。在一个实施例中，如果确定医疗装置没有被正确配置，则分析医疗装置的设置(框208)包括生成反馈(框210)和显示反馈(框211)。
分析装置的设置(框208)包括捕获进一步的图像数据(框209)。计算机处理器117执行操作以捕获与用户执行用户可执行指令相关联的图像数据。为了促进这一点，计算机处理器117可以使用户界面112提示用户将传感器111聚焦在医疗装置120的多个部件121中的一个或多个部件上。例如，在一个实施例中，在用户确认显示的与多个部件121中的一个或多个部件(“关联部件”)相关联的用户可执行指令完成之后，用户界面112提示用户聚焦在多个部件121中的一个或多个部件上。在一个实施例中，提示用户将传感器111聚焦在医疗装置120的多个部件121的所有部件上。在一个实施例中，提示用户将传感器111聚焦在医疗装置120的多个部件121中的选择数量的部件上。可以基于用户偏好或基于例如安全考虑(例如，部件在医疗功能的安全性能方面的重要性)的设计来选择部件的选择数量。
在一个实施例中，分析装置的设置(框208)包括生成反馈(框210)。计算机处理器117可以分析与用户执行用户可执行指令相关联的捕获的图像数据，并且基于该分析为用户生成反馈。例如，基于多个部件121中的相关联的一个或多个部件的捕获的图像数据，计算机处理器117可以分析捕获的图像数据以确定用户可执行指令是否被正确执行。如果用户正确执行了用户可执行指令，则计算机处理器117可以生成确认用户可执行指令被正确遵循的反馈。如果计算机处理器117确定没有正确遵循用户可执行指令，则计算机处理器117可以生成确认用户可执行指令没有被正确地遵循的反馈。在一个实施例中，计算机处理器117基于对图像数据的分析生成目标反馈。例如，在一个实施例中，计算机处理器117可以确定用户在执行用户可执行指令时具体做错了什么，并且基于具体的错误行为生成反馈。
作为一个示例，图7A-7B是示出根据本公开的一个或多个实施例的基于分析装置的设置向用户提供视觉反馈的移动装置110的图示。参考图7A，当计算机处理器117确定部件121a被正确设置时，移动装置110经由用户界面112向用户提供确认医疗装置120的部件121a被正确设置的说明性反馈。参考图7B，当计算机处理器117确定部件121a设置不正确时，移动装置110经由用户界面112向用户提供通知用户医疗装置120的部件121a设置不正确的说明性反馈。在不正确设置的情况下，通过经由用户界面112的说明性反馈来指示用户如何基于识别的具体的错误行为来修复不正确设置的部件121a(例如，部件121a被设置反了)。作为另一个示例，假设在设置透析机器的透析器时，用户将静脉管线连接到透析器的错误侧。基于接收的图像数据，计算机处理器117可以确定静脉管线已经附接到透析器的错误端部并且生成详细说明如何将静脉管线连接到透析器的适当端部的反馈。
在一个实施例中，分析装置的设置(框208)包括显示反馈(框211)。计算机处理器117使用户界面112显示在框210中生成的反馈。在一个实施例中，显示反馈包括显示一个或多个静止图像。在一个实施例中，如果生成的反馈确认医疗装置120的多个部件121中的一个或多个部件的正确设置，则显示的反馈包括表示对正确设置的确认的文本消息、图形图标和/或声音警告。在一个实施例中，如果生成的反馈确认医疗装置120的一个或多个部件121的不正确设置，则显示的反馈包括表示对不正确设置的确认的文本消息、图形图标或声音警告。在一个实施例中，如果生成的反馈确认医疗装置120的多个部件121中的一个或多个部件的不正确设置，则显示的反馈可以包括多个部件121中的一个或多个部件的捕获图像上的叠加，以引导用户了解关于特定部件的设置具体出了什么问题。例如，假设用户将诸如动脉管线的医疗管线连接到透析机器的透析器上的错误端口。显示的反馈可以包括动脉管线连接到错误端口的透析器的捕获的图像、框出连接到错误端口的动脉管线的图形矩形以及将用户引导到用于动脉管线连接的正确端口的其它图形特征(例如，箭头、线等)。在一个实施例中，如果生成的反馈确认医疗装置120的多个部件121中的一个或多个部件的设置不正确，则显示的反馈可以包括显示医疗装置120的多个部件121中的一个或多个部件的正确设置的预先录制的视频和/或预先捕获的图像。
在一个实施例中，分析医疗装置的设置(框208)包括确定该装置是否被正确配置(框212)。一旦计算机处理器117确定医疗装置120的多个部件121中的每个部件(或替代性地，医疗装置120的多个部件121中的预定的量的和/或类型的部件)被正确设置，计算机处理器117就确定医疗装置120被正确地配置成能够执行医疗功能。在一个实施例中，如果计算机处理器117确定多个部件121中的一个或多个部件没有被正确设置，则计算机处理器117生成并显示指示用户如何正确设置不正确配置的部件121的反馈(框210和211)。在一个实施例中，计算机处理器117将继续执行框209、210和211，直到计算机处理器确定医疗装置120被正确配置用于执行医疗功能。
在一个实施例中，分析医疗装置的设置(框208)包括引起功能模式(框213)。在一个实施例中，当计算机处理器117确定医疗装置120被正确配置成能够执行医疗功能时，计算机处理器117执行操作以向控制器电路123发送操作控制信号。在一个实施例中，响应于接收到操作控制信号，控制器电路123使医疗装置120在功能模式下操作。在一个实施例中，当在功能模式下操作时，控制器电路123使医疗装置120能够执行医疗功能。例如，控制器电路123可以在接收到操作控制信号时接通医疗装置120的电源，和/或启用(例如，接通)医疗装置120的多个部件121中的一个或多个部件。
图3示出了根据本公开的一个或多个实施例的用于为医疗装置提供基于增强现实的故障排除的系统300的一个示例。系统300包括移动装置310、医疗装置320和远程定位的数据库330。移动装置310包括传感器311和用户界面312。移动装置310还包括计算机可读介质313和计算机处理器317。计算机可读介质包括计算机可执行指令314。计算机可执行指令314包括操作系统315和增强现实(AR)应用程序316。医疗装置320包括多个部件321和多个监测装置322。在一个实施例中，远程定位的数据库330基本上类似于先前参考图1讨论的远程数据库130。
医疗装置320被配置成能够执行医疗功能。出于说明性目的，所示的医疗装置320是被配置成能够提供诸如血液透析或腹膜透析等的透析治疗和/或诸如血液滤过或血液透析滤过等的其它肾脏替代疗法的透析机器。医疗装置320包括一起工作以允许医疗装置320执行医疗功能的多个部件321。例如，在所示实施例中，医疗装置的部件321包括多个透析机器部件。透析机器部件可以包括例如透析器、血液泵、脱气罐、血压袖带、监测器、制动器、分流联锁装置、压力计、流量计、透析液泵、夹具等。
多个监测装置322中的每个监测装置与多个部件321中的一个或多个部件相关联。多个监测装置322中的每个监测装置被配置成能够测量、监测和/或检测多个部件321中的至少一个部件的一个或多个操作参数。多个监测装置322中的每个检测装置可以是被配置成能够监测医疗装置的部件的多种类型的装置中的一种。在一个实施例中，多个监测装置322包括温度计、压力计、运动检测器、化学检测器、pH读取器、电导率传感器、红外传感器和/或光传感器。在一个实施例中，例如，多个部件321包括透析器并且监测装置322包括位于透析器下游的红外传感器。例如，红外传感器可以被配置成能够检测穿过透析器的血液/透析液膜的血液量(即，操作参数)。在一个实施例中，多个部件321包括透析液隔室和/或血液隔室，并且监测装置322包括被配置成能够测量透析液隔室和/或血液隔室中的压力(即，操作参数)的压力传感器。在一个实施例中，多个部件321包括加热元件并且多个监测装置322包括温度传感器以测量与加热元件相关联的操作温度(即，操作参数)。在一个实施例中，多个部件321包括透析器，并且多个监测装置322包括透析器的入口和/或出口侧的流量传感器，所述流量传感器被配置成能够测量去往透析器和/或来自透析器的透析液的流量(即，操作参数)。
在一个实施例中，监测装置322包括显示装置。在一个实施例中，显示装置呈现与多个部件321中的至少一个部件的一个或多个操作参数相关联的特定图像。例如，显示装置可以呈现与加热元件的温度、来自透析器的透析液的流量等相关联的图像。在一个实施例中，监测装置322包括被配置成能够产生与一个或多个操作参数相关联的听觉和/或视觉警告(例如，蜂鸣声和/或闪烁的红灯)的一个或多个警告模块。例如，如果加热元件的温度超过阈值温度值，则警告模块可以产生蜂鸣声(例如，使用扬声器)和/或闪烁的红灯(例如，使用LED灯信标)。在一个实施例中，音频和/或视觉警告特定于操作参数和/或操作参数的大小。例如，警告模块可以在操作参数超过第一阈值时产生具有第一音调的音频警告，并且在操作参数超过第二阈值时产生具有不同于第一音调的第二音调的音频警告。所有监测装置322可以使用相同的警告模块或者每个监测装置可以包括它们自己的警告模块。
移动装置310可以是多种类型的移动装置中的一种。例如，在所示实施例中，移动装置310是蜂窝电话(例如，智能电话)。在一个实施例中，移动装置是平板个人计算机(PC)。移动装置310也可以是无线可穿戴接口装置，例如头戴式显示器。移动装置310被配置成能够提供各种功能。在一个实施例中，移动装置310被配置成能够提供语音呼叫和文本消息收发。在一个实施例中，移动装置310被配置成能够显示照片和/或视频。在一个实施例中，移动装置310被配置成能够播放音乐和其它形式的音频。移动装置310还可以被配置成能够发送和接收电子邮件、捕获和显示照片、捕获和显示视频、访问网站和显示网站。
在一个实施例中，传感器311被配置成能够捕获图像数据。在一个实施例中，传感器311是相机。相机可以捕获静止图像和/或视频形式的图像数据。图像数据可以采用多种图像数据格式的形式，例如RAW、JPEG、PNG等。在一个实施例中，传感器311是使用电荷耦合器件(CCD)和/或互补金属氧化物半导体(CMOS)将光子转换为电子以进行数字处理的数码相机。在一个实施例中，传感器311是激光扫描仪。传感器311还可以是LED扫描仪、成像扫描仪和/或射频识别(RFID)扫描仪。尽管移动装置310被示出为仅具有一个传感器311，但是移动装置310可以包括多种类型的更多传感器311。例如，在一个实施例中，传感器311是相机和激光扫描仪。替代性地或附加性地，传感器311被配置成能够捕获音频数据。在一个实施例中，传感器311包括麦克风。
在一个实施例中，用户界面312是图形用户界面(GUI)。用户界面312被配置成能够允许移动装置310的用户通过图形图标和/或视觉指示符与移动装置310交互。用户界面312可以使用窗口、图标、菜单、指针范例(WIMP)来允许用户与移动装置310交互。在一个实施例中，用户界面312是基于触摸屏的GUI。因此，用户界面312还可以使用通常在基于触摸屏的GUI中找到的后WIMP范例。用户界面312被配置成能够以静止照片和/或视频的形式显示图像。
计算机可读介质313(或计算机可读存储器)可以包括适合本地技术环境的任何数据存储技术类型，包括但不限于基于半导体的存储器装置、磁存储器装置和系统、光学存储器装置和系统、固定存储器、可移除存储器、磁盘存储器、闪存、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、电子可擦除可编程只读存储器(EEPROM)等。在一个实施例中，计算机可读介质313包括具有可执行指令的代码段。在一个实施例中，计算机可读介质313存储对应于医疗装置320的多个部件321中的一个或多个部件的信息。该信息包括与医疗装置320的多个部件321相关联的设置、维护和/或故障排除指令(即，用户可执行指令)。例如，在一个实施例中，多个部件包括透析器并且该信息包括关于当透析器例如破膜时如何对透析器执行维护的用户可执行指令。在一个实施例中，多个部件321包括动脉管线，并且该信息包括关于当动脉管线经历流体流量减少时如何对动脉管线执行维护的用户可执行指令。在一个实施例中，多个部件321包括血液泵，并且该信息包括关于当血液泵经历低操作压力时如何对血液泵执行维护的用户可执行指令。
计算机处理器317通信地耦合到传感器311。计算机处理器317还通信地耦合到医疗装置320。在一个实施例中，计算机处理器317包括通用处理器。在一个实施例中，计算机处理器317包括中央处理单元(CPU)。在一个实施例中，计算机处理器317包括至少一个专用集成电路(ASIC)。计算机处理器317还可以包括通用可编程微处理器、专用可编程微处理器、数字信号处理器(DSP)、可编程逻辑阵列(PLA)、现场可编程门阵列(FPGA)、专用电子电路等，或其组合。计算机处理器317被配置成能够执行诸如计算机可执行指令314之类的程序代码措施。在一个实施例中，计算机处理器317包括神经网络处理器。神经网络处理器可以执行多种机器学习算法，例如深度学习技术(例如，卷积、径向基函数、递归和/或模块化神经网络处理技术)和/或贝叶斯学习技术。
操作系统315被配置成能够执行AR应用程序316。在一个实施例中，操作系统315被配置成能够在出现用户发起的命令时执行AR应用程序316。例如，用户可以通过在用户界面312上点击或触摸表示AR应用程序316的图标来命令操作系统315开始执行AR应用程序316。操作系统315可以在前景状态和/或背景状态下执行AR应用程序316。AR应用程序316可以包括一种或多种操作模式。例如，在一个实施例中，AR应用程序316包括新手模式。在一个实施例中，AR应用程序包括专家模式。
当操作系统315正在执行AR应用程序316时，计算机处理器317执行一个或多个操作。在一个实施例中，当操作系统315正在执行AR应用程序316时，计算机处理器317执行操作以从监测装置322接收与多个部件321中的一个或多个部件的一个或多个操作参数(例如，温度、压力、流体量、电导、流量等)相关联的操作数据。例如，在一个实施例中，多个部件321包括一个或多个泵，并且计算机处理器317从监测装置322接收与一个或多个泵的流体压力水平(即，操作参数)相关联的压力数据。在一个实施例中，多个部件包括透析器，并且计算机处理器317从监测装置322接收与离开透析器的血液量(即操作参数)相关联的血液检测数据。在一个实施例中，多个部件321包括一个或多个加热元件，并且计算机处理器317从监测装置322接收与一个或多个加热元件的操作温度(即操作参数)相关联的温度数据。
在一个实施例中，通过直接传输从医疗装置320接收操作数据。在一个实施例中，从远程定位的数据库330接收操作数据。在一个实施例中，操作数据由传感器311接收。例如，如前所述，监测装置322可以产生与一个或多个操作参数相关联的特定图像。在一些情况下，传感器311能够捕获特定图像，并且计算机处理器317能够基于捕获的特定图像来确定与一个或多个操作参数相关联的值。此外，如前所述，监测装置可以产生与一个或多个操作参数相关联的音频警告。在一些情况下，传感器311能够捕获音频警告，并且计算机处理器317能够基于捕获的音频警告来确定与一个或多个操作参数相关联的值。使用特定图像/音频警告以及传感器311来捕获一个或多个参数可以通过使系统300不易受到外部威胁(例如，黑客)的影响来提高系统300的安全性，因为信息不是通过易受网络渗透的通信门户(例如，蓝牙和/或WiFi门户)发送的。
在一个实施例中，在AR应用程序316的执行期间，计算机处理器317执行操作以基于接收的操作数据来确定多个部件321中的一个或多个部件是否正在经历故障。故障可以是完全的或部分的。例如，在一个实施例中，多个部件包括透析器。如果操作数据指示在透析器下游检测到血液，则计算机处理器317确定该透析器正在经历故障。在一个实施例中，如果血液检测数据指示检测到超过阈值量的血液(例如，5ml、10ml等)，则计算机处理器317确定该透析器正在经历完全故障。作为另一个示例，在一个实施例中，多个部件包括一个或多个加热元件。如果接收的操作数据指示流过医疗装置320的流体低于阈值温度，则计算机处理器317确定一个或多个加热元件中的至少一个正在经历故障。计算机处理器317还可以进一步分析操作数据以确定一个或多个加热元件中的哪些特定加热元件正在经历故障，或者是否所有加热元件都正在经历故障。
在一个实施例中，计算机处理器317使用从远程定位的数据库130接收的信息来确定多个部件321中的一个部件是否正在经历故障。例如，计算机处理器317可以从远程定位的数据库130接收指示特定部件的寿命和该特定部件已经被使用多少次的信息。计算机处理器317还可以从远程定位的数据库330接收指示与类似于医疗装置320的远程医疗装置的部件相关的常见问题的信息。例如，该信息可以从呼叫中心或远程医疗装置传送到远程定位的数据库330。然后，计算机处理器可以使用该历史信息来帮助确定部件故障的程度。例如，如果呼叫中心在40次治疗期之后接收指示特定部件正在经历完全故障的多次呼叫，并且多个部件321中的相应部件已经在40次治疗中使用并且正在经历故障，则计算机处理器317可以确定相应的部件正在经历完全故障。
在一个实施例中，在AR应用程序316的执行期间，计算机处理器317执行操作以针对多个部件321中的一个部件正在经历故障的每个确定生成置信度值。例如，在一个实施例中，多个部件321包括泵。如果操作数据包括指示泵正在经历压力从期望压力值略微降低的数据，则计算机处理器317生成指示该泵可能正在经历故障的置信度值(例如，计算机处理器31735％确保泵正在经历故障)。在一个实施例中，如果操作数据包括指示泵正在经历压力从最佳压力值大幅下降的数据，则计算机处理器317生成指示该泵很可能正在经历故障的置信度值(例如，计算机处理器317 85％确保泵正在经历故障)。如前所述，计算机处理器317可以利用机器学习技术。在一个实施例中，计算机处理器317使用机器学习技术基于例如历史数据和/或共享数据(例如，从远程定位的数据库330检索的)来生成置信度值。例如，如果操作数据包括指示医疗装置320的泵在低于最佳压力值5％的情况下操作的数据，以及指示泵在低于最佳压力值5％的情况下操作时很可能正在经历故障的历史数据和/或共享数据(例如，从呼叫中心接收的数据或从类似于医疗装置320的其它医疗装置接收到数据)，则计算机处理器317可以生成指示泵很可能正在经历故障的置信度值(例如，90％)。
在一个实施例中，在AR应用程序316的执行期间，如果计算机处理器317确定多个部件321中的一个或多个部件正在经历故障(“故障部件”)，则计算机处理器317执行操作以生成用户可执行指令。用户可执行指令对应于多个部件321中的故障部件。在一个实施例中，用户可执行指令包括与多个部件321的故障部件相关联的一般故障排除指令。例如，响应于指示透析回路中回流泵的高回流压力的操作数据，用户可执行指令可以包括关于如何对回路的每个特征执行一般视觉检查的指令。在一个实施例中，用户可执行指令包括与如何至少部分地基于接收的操作数据来修复多个部件321的故障部件相关联的特定指令。例如，响应于指示与医疗装置320的过滤器相关联的高过滤器压力的操作数据，用户可执行指令可以包括基于指示的高过滤器压力的大小如何确保过滤器管线没有扭结(例如，弯折、弯曲、打结等)、如何确保过滤器管线不包括夹具、和/或如何确保已经选择了适当的流体流动速率(例如，基于安全考虑是适当的)。
在一个实施例中，计算机处理器317包括机器学习处理器和/或深度学习神经网络以促进确定多个部件321中的一个或多个部件是否正在经历故障。在一个实施例中，机器学习处理器和/或深度学习神经网络学习基于来自监测装置322的操作数据来识别故障。在一个实施例中，机器学习处理器使用贝叶斯模型技术基于操作数据来学习和确定故障。深度学习神经网络可以是例如卷积神经网络、递归神经网络、前馈神经网络、径向基函数神经网络等。
在一个实施例中，计算机处理器317至少部分地基于从远程定位的数据库330接收的历史信息生成用户可执行指令。例如，如果来自呼叫中心或类似远程医疗装置的信息指示多个部件321中的特定部件的常见故障是该特定部件包括某些缺陷(例如，空气管线中的空气阻塞)，则生成的用户可执行指令可以包括关于如何补救某些缺陷的指令。
在一个实施例中，在AR应用程序316的执行期间，计算机处理器317执行操作以使用户界面312显示与多个部件321中的故障部件相关联的信息。在一个实施例中，计算机处理器317使用户界面312以静态图像的形式显示用户可执行指令。静态图像可以包括图片、图画和/或文本。例如，在一个实施例中，计算机处理器317使用户界面312显示示出了如何对透析机器的血液泵进行故障排除的一系列图片。该系列图片可以附有支持文本，以帮助用户了解如何对血液泵进行故障排除。在一个实施例中，计算机处理器317使用户界面312以动画图像的形式显示信息。动画图像可以包括动画图画、预先录制的视频和/或文本。例如，在一个实施例中，计算机处理器317使用户界面312显示示出了对医疗装置320的透析器进行故障排除的步骤的动画图画。在一个实施例中，计算机处理器317使用户界面312以静态和动画图像的形式显示信息。
在一个实施例中，在AR应用程序316的执行期间，计算机处理器317执行操作以使用户界面312提示用户执行包括在显示的信息中的用户可执行指令。如前所述，用户可执行指令可以包括关于如何修复多个部件321中的故障部件的故障的指令。在一个实施例中，计算机处理器317提示用户确认多个部件321中的故障部件确实正在经历故障。
在一个实施例中，用户可执行指令包括关于如何确认多个部件321中的故障部件确实正在经历故障的指令。例如，如果多个部件321的故障部件是血液泵，则用户可执行指令可以包括关于如何确认正在监测血液泵的多个监测装置322中的特定监测装置(例如，压力传感器)被正确地连接和/或操作的指令。如果多个监测装置322中的特定监测装置被正确地连接和/或操作，则用户可以例如使用用户界面312确认多个部件321中的故障部件确实正在经历故障。在一个实施例中，在确认多个部件321中的故障部件正在经历故障时，计算机处理器317使用户界面312显示关于如何修复故障的进一步的用户可执行指令。
如前所述，计算机处理器317可以生成与确定多个部件321中的故障部件确实正在经历故障相关联的置信度值。在一个实施例中，在使用户界面312提示用户修复故障之前，当置信度值超过第一置信度值阈值但不超过第二置信度值阈值时，计算机处理器317使用户界面312提示用户确认多个部件321中的故障部件确实正在经历故障。例如，在一个实施例中，如果生成的置信度值超过35％但不超过75％，则计算机处理器317在使用户界面312提示用户修复故障之前提示用户确认确定的故障的存在。在一个实施例中，当生成的置信度值超过第二置信度值阈值(例如，75％)时，计算机处理器317使用户界面312提示用户修复故障而不提示用户确认故障。第一和第二置信度值阈值可以是用户选择的或基于例如精确度、功率效率和安全考虑的设计选择。
如前所述，AR应用程序316可以包括多种模式。在一个实施例中，多种模式中的每一种都可以对应于用户对医疗装置320的经验水平。例如，AR应用程序316可以包括新手模式和专家模式。在一个实施例中，当AR应用程序316正在执行时，计算机处理器317使用户界面312提示用户选择对应于用户的经验水平的模式。例如，如果用户是新患者或新学员，则用户可以选择新手模式。如果用户具有使用医疗装置320的丰富经验，则用户可以选择专家模式。在一个实施例中，在计算机处理器317确定多个部件321中的一个或多个部件正在经历故障之后，计算机处理器317基于用户确认的经验水平发起与专家技术人员的实时视频会议。在一个实施例中，计算机处理器317使用户界面312提示用户确认用户想要发起与专家技术人员的实时视频会议。只有在根据用户确认的经验水平正在执行AR应用程序316时，或者在确定多个部件321中的一个部件正在经历故障的任何时候，才可以选择发起与专家技术人员的实时视频会议。发起与专家技术人员的实时视频会议的决定也可以至少部分地基于被确定为正在经历故障的多个部件321中的一个或多个部件的复杂性或故障的严重性。例如，在一个实施例中，当被确定为正在经历故障的多个部件中的一个或多个部件包括高度技术性特征时，发起专家技术人员视频会议。在一个实施例中，如果多个部件321中的一个或多个故障部件正在经历完全故障，则发起专家技术人员视频会议。
图4A示出了描绘根据本公开的一个或多个实施例的用于为医疗装置提供基于增强现实的故障排除的方法400a的一个示例的流程图。出于说明性目的，方法400a被示出为由系统300执行，用于为医疗装置提供基于增强现实的故障排除，如先前参考图3所描述的。方法400a包括接收操作数据(框401)和确定部件是否正在经历故障(框402)。如果确定部件正在经历故障，则方法400a包括生成指令(框403)和显示指令(框404)。
方法400a包括接收操作数据(框401)。当操作系统315正在执行AR应用程序316时，计算机处理器317执行操作以从监测装置322接收与多个部件321的操作参数相关联的操作数据。例如，在一个实施例中，多个部件321包括一个或多个泵，并且计算机处理器317从监测装置322接收与一个或多个泵的流体压力水平(即，操作参数)相关联的压力数据。在一个实施例中，多个部件包括透析器，并且计算机处理器317从监测装置322接收与离开透析器的血液量(即操作参数)相关联的血液检测数据。在一个实施例中，多个部件321包括一个或多个加热元件，并且计算机处理器317从监测装置322接收与一个或多个加热元件的操作温度(即操作参数)相关联的温度数据。
方法400a包括确定部件是否正在经历故障(框402)。在AR应用程序316的执行期间，计算机处理器117执行操作以基于接收的操作数据确定多个部件321中的一个或多个部件正在经历故障。故障可以是完全的或部分的。例如，在一个实施例中，如果操作数据指示在医疗装置320的透析器下游检测到血液，则计算机处理器317确定透析器正在经历故障。在一个实施例中，如果血液检测数据指示检测到超过阈值量的血液(例如，5ml、10ml等)，则计算机处理器317确定透析器正在经历完全故障。在一个实施例中，如果接收的操作数据指示流过医疗装置320的流体低于阈值温度，则计算机处理器317确定医疗装置320的一个或多个加热元件正在经历故障。
如果没有确定部件正在经历故障，则方法400a包括继续接收操作数据(框401)或结束操作。在一个实施例中，方法400a包括如果在预定时间间隔期间没有确定多个部件321中的一个部件正在经历故障，则结束操作。例如，如果在一分钟时间间隔(或三十秒、两分钟、三分钟等)期间没有确定多个部件321中的一个部件正在经历故障，则操作系统315可以停止AR应用程序的执行。该时间间隔可以是用户选择的或基于移动装置310的期望功率节省的制造设计选择。
如果确定部件正在经历故障，则方法400a包括生成指令(框403)。在AR应用程序316的执行期间，如果计算机处理器317确定多个部件321中的一个或多个部件正在经历故障(“故障部件”)，则计算机处理器317执行操作以生成用户可执行指令。用户可执行指令对应于多个部件321中的一个或多个故障部件。在一个实施例中，用户可执行指令包括与多个部件321中的一个或多个故障部件相关联的通用故障排除指令。例如，响应于指示透析回路中回流泵的高回流压力(例如，高于回流压力阈值)的操作数据，用户可执行指令可以包括关于如何对该回路的每个特征执行一般视觉检查的指令。
在一个实施例中，用户可执行指令包括与如何至少部分地基于接收的操作数据来修复多个部件321中的一个或多个故障部件相关联的特定指令。例如，响应于指示与医疗装置320的过滤器相关联的高过滤压力的操作数据，基于指示的高过滤器压力的大小，用户可执行指令可以包括以下中的一个：如何确保过滤器管线没有扭结(例如，弯折、弯曲、打结等)；如何确保过滤器管线不包括夹具；和/或如何确保已经选择了适当的流体流动速率。在一个实施例中，计算机处理器317包括机器学习处理器和/或深度学习神经网络以便于确定多个部件321中的一个或多个部件是否正在经历故障。在一个实施例中，机器学习处理器和/或深度学习神经网络学习基于来自监测装置322的操作数据来识别故障。在一个实施例中，机器学习处理器使用贝叶斯模型技术基于操作数据来学习和确定故障。深度学习神经网络可以是例如卷积神经网络、递归神经网络、前馈神经网络、径向基函数神经网络等。
如果确定部件正在经历故障，则方法400a包括显示指令(框404)。在AR应用程序316的执行期间，计算机处理器317执行操作以使用户界面312显示与多个部件321中的一个或多个故障部件相关联的用户可执行指令。在一个实施例中，计算机处理器317使用户界面312以静态图像的形式显示用户可执行指令。静态图像可以包括图片、图画和/或文本。例如，在一个实施例中，计算机处理器317使用户界面312显示示出了如何对透析机器的血液泵进行故障排除的一系列图片。该系列图片可以附有支持文本，以帮助用户了解如何对血液泵进行故障排除。在一个实施例中，计算机处理器317使用户界面312以动画图像的形式显示信息。动画图像可以包括动画图画、预先录制的视频和/或文本。例如，在一个实施例中，计算机处理器317使用户界面312显示示出了对医疗装置320的透析器进行故障排除的步骤的动画图画。在一个实施例中，计算机处理器317使用户界面312以静态和动画图像的形式显示信息。
图4B示出了描绘根据本公开的一个或多个实施例的用于为医疗装置提供置信驱动的基于增强现实的故障排除的方法400b的一个示例的流程图。出于说明性目的，方法400b被示出为由系统300执行，用于为医疗装置提供基于增强现实的故障排除，如先前参考图3所描述的。方法400b包括接收操作数据(框401)和确定部件是否正在经历故障(框402)，如先前参考图4A的用于为医疗装置提供基于增强现实的故障排除的方法400a所描述的那样。如果确定部件正在经历故障，则方法400b包括生成置信度值(框405)和确定置信度值是否超过第一阈值(框406)。如果确定置信区间超过第一阈值，则方法400b包括生成指令(框403)、显示指令(框404)以及确定置信度值是否超过第二阈值(框407)。框403和404先前参考图4A在用于为医疗装置提供基于增强现实的故障排除的方法400a中进行了描述。如果确定置信度值没有超过第二阈值，则方法400b包括提示用户确认故障(框408)。如果确定置信度值超过第二阈值(例如，置信区间大于或等于第二阈值)，则方法400b包括提示用户修复故障(框409)。
方法400b包括生成置信度值(框405)。如前所述，在AR应用程序316的执行期间，计算机处理器317可以执行操作以确定多个部件321中的一个或多个部件是否正在经历故障。如果确定多个部件321中的一个或多个部件正在经历故障，则计算机处理器317生成与围绕多个部件321中的一个或多个部件正在经历故障的确定的确定性量相关联的置信度值。例如，计算机处理器317可以生成指示多个部件321中的特定部件确实经历故障的可能性为60％的值，这可以意味着该特定部件更有可能经历故障。计算机处理器317可以生成指示多个部件321中的特定部件正在经历故障的可能性为90％的值，这可以意味着该特定部件很可能正在经历故障。计算机处理器317可以生成指示多个部件321中的特定部件正在经历故障的可能性为25％的值，这可以意味着该特定部件可能实际上不正在经历故障。
在一个实施例中，置信度值至少部分地基于接收的操作数据。例如，在一个实施例中，如果操作数据包括指示医疗装置320的泵正在经历压力从最佳压力值(例如，基于安全考虑的期望压力值)略微降低的数据，则计算机处理器317生成指示泵可能正在经历故障的置信度值(例如，计算机处理器317 35％确定泵正在经历故障)。在一个实施例中，如果操作数据包括指示医疗装置320的泵正在经历压力从最佳压力值大幅下降的数据，则计算机处理器317生成指示泵很可能正在经历故障的置信度值(例如，计算机处理器317 90％确定泵正在经历故障)。
方法400b包括确定置信度值是否高于第一阈值(框406)。计算机处理器317将框405中生成的置信度值与第一置信度值阈值进行比较。第一置信度值阈值可以是用户选择的或基于例如精确度、安全性和效率考虑的设计选择。在一个实施例中，如果生成的置信读值没有超过第一阈值，则方法400b包括结束操作。例如，在一个实施例中，如果确定多个部件321中没有一个部件正在经历置信度值超过第一置信度阈值的故障，则计算机处理器317执行操作以停止AR应用程序316的执行。在一个实施例中，如果确定多个部件321中没有一个部件正在经历置信度值超过第一置信度阈值的故障，则计算机处理器317执行操作以提示用户选择停止AR应用程序316的执行。
在一个实施例中，如果确定置信度值高于第一阈值，则方法400b包括如先前在参考图4A的用于为医疗装置提供基于增强现实的故障排除的方法400a中描述的那样生成指令(框403)和显示指令(框404)。
如果确定置信度值高于第一阈值，则方法400b还包括确定置信区间是否低于第二阈值(框407)。计算机处理器317将框405中生成的置信度值与第二置信度值阈值进行比较。在一个实施例中，第二置信度值阈值大于第一置信度值阈值。例如，第二置信度值阈值可以是90％，而第一置信度值阈值可以是60％。第二置信度值阈值可以是用户选择的或基于例如精确度、安全性和效率考虑的设计选择。
如果确定置信度值超过第二置信度值阈值，则方法400b包括提示用户修复故障(框409)。如前所述，用户可执行指令可以包括关于如何修复多个部件321中的一个或多个故障部件(例如，被确定为正在经历故障的部件)的故障的指令。计算机处理器317执行操作以使用户界面312提示用户通过遵循用户可执行指令来修复多个部件321中的一个或多个故障部件的故障。
如果确定置信度值没有超过第二置信度值阈值，则方法400b包括提示用户确认故障(框408)。如先前参考图3所示，用户可执行指令可以包括关于如何确认多个部件321中的一个或多个故障部件确实正在经历故障的指令。计算机处理器317通过执行用户可执行指令提示用户确认多个部件321中的一个或多个故障部件的故障。例如，如果多个部件321中的一个或多个故障部件包括血液泵，则用户可执行指令可以包括关于如何确认监测血液泵的监测装置322(例如，压力传感器)被正确地连接和操作的指令。如果监测装置322被正确地连接和操作，则用户可以使用例如用户界面312来确认故障部件确实正在经历故障。在一个实施例中，一旦确认故障部件正在经历故障，则计算机处理器317使用户界面312显示关于如何修复故障的进一步用户可执行指令。
图4C示出了描绘根据本公开的一个或多个实施例的用于为医疗装置的基于增强现实的故障排除提供虚拟辅助的方法400c的一个示例的流程图。出于说明性目的，方法400c被示出为由系统300执行，用于为医疗装置提供基于增强现实的故障排除，如先前参考图3所描述的。用于为医疗装置的基于增强现实的故障排除提供虚拟辅助的方法400c可以与用于为医疗装置提供基于现实的故障排除的方法一起使用。例如，在一个实施例中，方法400c与先前参考图4A描述的用于为医疗装置提供基于增强现实的故障排除的方法400a一起使用。
在一个实施例中，方法400c与先前参考图4B描述的用于为医疗装置提供置信度驱动的基于增强现实的故障排除的方法400b一起使用。方法400c包括接收操作数据(框401)和确定部件是否正在经历故障(框402)。框401和402先前参考图4A在用于为医疗装置提供基于增强现实的故障排除的方法400a中进行了描述。如果确定部件正在经历故障，则方法400c包括确定用户是否是新手(框410)。如果确定用户是新手，则方法400c包括启动虚拟助理(框411)。如果确定用户不是新手，则方法400c包括生成指令(框403)和显示指令(框404)。框403和404先前参考图4A在用于为医疗装置提供基于增强现实的故障排除的方法400a中进行了描述。
方法400c包括确定用户是否是新手(框410)。在一个实施例中，在AR应用程序316的执行期间，计算机处理器317执行操作以确定用户是否是新手。如前所述，AR应用程序316可以包括多种模式。在一个实施例中，多种模式中的每一种都可以对应于用户对医疗装置320的经验水平。例如，AR应用程序316可以包括新手模式和专家模式。在一个实施例中，当AR应用程序316正在执行时，计算机处理器317使用户界面312提示用户选择对应于用户的经验水平的模式。例如，如果用户是新患者或新学员，则用户可以选择新手模式。如果用户具有使用医疗装置320的丰富经验，则用户可以选择专家模式。基于用户的选择，计算机处理器317可以确定用户是医疗装置320的新手用户还是有经验的用户。在一个实施例中，使用从远程定位的数据库330接收的历史数据来确定用户的经验水平。例如，远程定位的数据库330可以存储与用户先前的设置和维护尝试相关联的信息。计算机处理器317可以使用该信息来确定例如成功设置的次数(例如，几乎没有错误的设置尝试)或用户对特定部件执行特定故障排除/维护的次数。基于该确定，计算机处理器317可以确定用户例如是新手用户还是有经验的用户。
如果确定用户有经验，则方法400c包括如先前参考图4A在用于为医疗装置提供基于增强现实的故障排除的方法400a中所描述的那样生成指令(框403)和显示指令(框404)。
如果确定用户是新手，则该方法包括启动虚拟助理(框411)。在一个实施例中，在计算机处理器317确定多个部件321中的一个或多个部件正在经历故障之后，计算机处理器317基于用户确认的经验水平发起与专家技术人员的实时视频会议。在一个实施例中，计算机处理器317使用户界面312提示用户确认用户想要发起与专家技术人员的实时视频会议。只有在根据用户确认的经验水平正在执行AR应用程序316时，才可以选择发起与专家技术人员的实时视频会议。然而，在一个实施例中，发起与专家技术人员的实时视频会议的选择发生在确定部件321正在经历故障的任何时候。发起与专家技术人员的实时视频会议的决定也可以至少部分地基于被确定为正在经历故障的多个部件321中的一个或多个部件的复杂性或故障的严重性。例如，在一个实施例中，当多个部件321中的故障部件包括高度技术性特征时，发起专家技术人员视频会议。在一个实施例中，如果故障部件正在经历完全故障，则发起实时专家技术人员视频会议。
图5示出了根据本公开的一个或多个实施例的用于为医疗装置提供基于增强现实的诊断的系统500的一个示例。系统500包括移动装置510和医疗装置520。移动装置510包括传感器511和用户界面512。移动装置510还包括计算机可读介质513和计算机处理器517。计算机可读介质包括计算机可执行指令514。计算机可执行指令514包括操作系统515和增强现实(AR)应用程序516。医疗装置520包括多个部件521和多个显示单元522。
医疗装置520被配置成能够执行医疗功能。如本文中所使用的，医疗功能指的是以下中的一项或多项：(1)疾病的诊断、预防、监测、治疗和/或缓解；(2)对伤害或残疾的诊断、监测、治疗、缓解或补偿；(3)解剖结构和/或生理过程的调查、替换和/或修改。出于说明性目的，所示实施例中的医疗装置120是被配置成能够提供诸如血液透析或腹膜透析等的透析治疗和/或诸如血液滤过或血液透析滤过等的其它肾脏替代疗法的透析机器。
医疗装置520包括一起工作以允许医疗装置520执行医疗功能的多个部件521。例如，在所示实施例中，医疗装置520的多个部件521包括多个透析机器部件。透析机器部件可以包括例如透析器、血液泵、脱气罐、血压袖带、监测器、制动器、分流联锁装置、压力计、流量计、透析液泵、夹具等。
多个显示单元522中的每个显示单元与医疗装置520的部件521相关联。在所示实施例中，多个显示单元522包括至少一个发光二极管(LED)显示器。在一个实施例中，多个显示单元包括至少一个液晶显示器(LCD)。在一个实施例中，多个显示单元522中的每个显示单元被配置成能够显示对应于多个部件521中的一个部件的一个或多个操作参数的字符(例如，字母数字文本)。例如，在一个实施例中，多个部件521包括透析液泵，并且多个显示单元522中的至少一个显示单元显示与透析液泵的测量压力(即，操作参数)相关联的数值。在一个实施例中，多个部件521包括静脉管线并且多个显示单元522中的至少一个显示单元显示与静脉管线的测量压力(即，操作参数)相关联的数值。在一个实施例中，多个显示单元522中的一个或多个显示单元包括与多个部件521中的与多个显示单元中的每个显示单元相关联的部件相关联的视觉标签(例如，IR标签、条形码等)。例如，如果多个显示单元522中的特定显示单元与透析器对应，则该特定显示单元可以包括对应于透析器的视觉标签。
移动装置510可以是多种类型的移动装置中的一种。例如，在所示实施例中，移动装置510是蜂窝电话(例如，智能电话)。在一个实施例中，移动装置510是平板个人计算机(PC)。移动装置510还可以是无线可穿戴接口装置，例如腕戴式显示器和/或头戴式显示器。移动装置510被配置成能够提供各种功能。例如，在一个实施例中，移动装置510被配置成能够提供语音呼叫和文本消息收发。在一个实施例中，移动装置510被配置成能够显示照片和/或视频。在一个实施例中，移动装置510被配置成能够播放音乐和其它形式的音频。移动装置510还可以被配置成能够发送和接收电子邮件、捕获和显示照片、捕获和显示视频、访问网站和显示网站。
在一个实施例中，传感器511被配置成能够捕获图像数据。在一个实施例中，传感器511是相机。相机可以捕获静止图像和/或视频形式的图像数据。图像数据可以采用多种图像数据格式的形式，例如RAW、JPEG、PNG等。在一个实施例中，传感器511是使用电荷耦合器件(CCD)和/或互补金属氧化物半导体(CMOS)将光子转换为电子以进行数字处理的数码相机。在一个实施例中，传感器511是激光扫描仪。传感器511还可以是LED扫描仪、成像扫描仪和/或射频识别(RFID)扫描仪。尽管移动装置510被示出为仅具有一个传感器511，但是移动装置510可以包括多种类型的多个传感器511。例如，在一个实施例中，移动装置510包括作为相机和激光扫描仪的传感器511。在一个实施例中，传感器511被配置成能够检测多个显示器522中的显示器中的至少一个的显示的字符。
在一个实施例中，用户界面512是图形用户界面(GUI)。用户界面512被配置成能够允许移动装置110的用户通过图形图标和视觉指示符与移动装置510交互。用户界面512可以使用窗口、图标、菜单、指针范例(WIMP)来允许用户与移动装置510交互。在一个实施例中，用户界面512是触摸屏GUI。用户界面512还可以使用通常在基于触摸屏的GUI中找到的后WIMP范例。用户界面512被配置成能够以静止照片和/或视频的形式显示图像。
计算机可读介质513(或计算机可读存储器)可以包括适合本地技术环境的任何数据存储技术类型，包括但不限于基于半导体的存储器装置、磁存储器装置和系统、光学存储器装置和系统、固定存储器、可移除存储器、磁盘存储器、闪存、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)或电子可擦除可编程只读存储器(EEPROM)等。在一个实施例中，计算机可读介质513包括具有可执行指令的代码段。在一个实施例中，计算机可读介质513存储对应于医疗装置520的部件521的信息。该信息包括与医疗装置520的部件521相关联的设置、维护和/或故障排除指令(即，用户可执行指令)。例如，在一个实施例中，医疗装置520包括透析器(即，部件521)并且该信息包括关于如何在医疗装置520的容纳室内设置透析器的用户可执行指令。在一个实施例中，医疗装置520包括动脉管线，并且该信息包括关于如何对动脉管线进行维护的用户可执行指令。在一个实施例中，医疗装置520包括血液泵，并且该信息包括关于如何对血液泵进行故障排除的用户可执行指令。
计算机处理器517通信地耦合到传感器511。在一个实施例中，计算机处理器517包括通用处理器。在一个实施例中，计算机处理器517包括中央处理单元(CPU)。在一个实施例中，计算机处理器517包括至少一个专用集成电路(ASIC)。计算机处理器517还可以包括通用可编程微处理器、专用可编程微处理器、数字信号处理器(DSP)、可编程逻辑阵列(PLA)、现场可编程门阵列(FPGA)、专用电子电路等，或其组合。计算机处理器517被配置成能够执行诸如计算机可执行指令5114之类的程序代码措施。在一个实施例中，计算机处理器517包括神经网络处理器。神经网络处理器可以执行多种机器学习算法，例如深度学习技术(例如，卷积、径向基函数、递归和/或模块化神经网络处理技术)和/或贝叶斯学习技术。
操作系统515被配置成能够执行AR应用程序516。在一个实施例中，操作系统515被配置成能够执行AR应用程序516。在一个实施例中，操作系统515被配置成能够在出现用户发起的命令时执行AR应用程序516。例如，用户可以通过点击和/或触摸用户界面512上表示AR应用程序516的图标来命令操作系统515开始执行AR应用程序516。操作系统515可以在前景状态和/或背景状态下执行AR应用程序516。AR应用程序516可以包括一种或多种操作模式。例如，在一个实施例中，AR应用程序516包括新手模式。在一个实施例中，AR应用程序516包括专家模式。
当操作系统515正在执行AR应用程序516时，计算机处理器517执行一个或多个操作。在一个实施例中，当操作系统515正在执行AR应用程序516时，计算机处理器517执行操作以使传感器511开始检测由多个显示单元522显示的数值。为了便于检测所显示的数值，计算机处理器517可以执行操作以使用户界面512向用户显示消息，以提示用户将传感器511指向多个显示单元522中的至少一个显示单元。如前所述，多个显示单元522中的每个显示单元可以包括与多个部件521中的与特定显示单元相关联的部件相关联的视觉标签。在一个实施例中，传感器511捕获这些视觉标签，使得检测到的数值与它们对应的部件相关联。在一个实施例中，传感器511被配置成能够检测数值的变化。
在一个实施例中，当操作系统515正在执行AR应用程序516时，计算机处理器517执行操作以使用户界面512显示与多个显示单元522中的至少一个显示单元的数值相关联的说明性表示。在一个实施例中，计算机处理器517被配置成能够使用OCR技术来识别检测到的显示的数字。在一个实施例中，说明性表示是示出多个显示单元522中的至少一个显示单元的检测到的数值的表盘显示器。在一个实施例中，说明性表示是示出了多个显示单元522中的至少一个显示单元的检测到的数值的仪表显示器。在一个实施例中，用户界面512为多个部件中的每个部件显示相同的说明性表示(例如，每个部件对应于表盘显示器或每个部件对应于仪表显示器)。在一个实施例中，用户界面512显示对一些部件的一些说明性表示和对一些部件的其它说明性表示(例如，一些部件具有仪表显示器，而一些部件具有表盘显示器)。说明性表示的类型可以由用户选择或作为制造商设计选择来实现，并且可以基于与多个显示单元522的显示单元相关联的部件和/或操作参数的类型。
在一个实施例中，当操作系统515正在执行AR应用程序516时，计算机处理器517执行操作以生成表示与多个显示单元522中的至少一个显示单元的检测到的数值相关联的趋势数据的图表。在一个实施例中，图表是实时生成的。例如，在一个实施例中，多个部件521包括静脉管线，并且检测到的数值对应于在给定时间测量的静脉管线的压力量(即，操作参数)。随着时间的推移，静脉管线的测量的压力可能会发生变化。计算机处理器517执行操作以生成显示随着时间的推移检测到的静脉管线的数值的图表，因此可以映射压力随时间的变化(即，趋势数据)。在一个实施例中，计算机处理器517使用户界面512显示生成的图表。
在一个实施例中，在AR应用程序516的执行期间，计算机处理器517执行操作以将趋势数据与阈值进行比较并确定多个部件521中对应于该趋势数据的部件是否正在经历至少部分故障。例如，静脉管线可以具有被优化以在透析操作期间高效且安全地将血液返回输送到患者的期望的阈值压力值。在一个实施例中，如果生成的图表显示静脉管线的压力值低于阈值，则计算机处理器517确定静脉管线正在经历故障。故障可以是部分的或完全的。例如，低于阈值的轻微下降可能表示静脉管线正在经历部分的故障但仍在运行。因此，透析治疗可以完成并且在透析治疗之后可以修复静脉管线。然而，例如，如果图表显示低于阈值的大幅下降，则可能表明当前的透析治疗是不安全的，应该立即停止。作为另一个示例，如果静脉管线的压力值在阈值时间段内低于阈值，则可能表示部分的或完全的故障。
在一个实施例中，当确定部件正在经历故障时，计算机处理器517被配置成能够生成警告以通知用户部件正在经历故障。在一个实施例中，警告是由用户界面512显示的视觉警告。在一个实施例中，警告包括计算机处理器517使移动装置510振动或发出可听声音。
图6示出了描绘根据本公开的一个或多个实施例的用于为医疗装置提供基于增强现实的诊断的方法600的一个示例的流程图。方法600包括检测数值(框601)、检测数值的变化(框602)、生成说明性表示(框603)、显示说明性表示(框604)、生成趋势数据(框605)和显示趋势数据(框606)。
方法600包括检测数值(框601)。当操作系统515正在执行AR应用程序516时，计算机处理器517执行操作以使传感器511开始检测由多个显示单元522显示的数值。为了便于检测显示的数值，计算机处理器517可以执行操作以使用户界面512向用户显示提示用户将传感器511指向多个显示单元522中的至少一个显示单元的消息。如前所述，多个显示单元522中的每个显示单元可以包括与多个部件521中的与特定显示单元相关联的部件相关联的视觉标签。在一个实施例中，传感器511捕获这些视觉标签，使得检测到的数值与它们对应的部件相关联。在一个实施例中，传感器511被配置成能够检测数值的变化。
方法600包括检测数值的变化(框602)。如前所述，多个部件521中的每个部件的操作参数可以随着时间的推移变化。因此，相应的显示的数值将随着时间的推移而变化。在一个实施例中，当操作系统515正在执行AR应用程序516时，计算机处理器517执行操作以使传感器511继续检测由多个显示单元522显示的数值。因此，传感器511被配置成能够检测数值随着时间的推移的变化。
方法600包括生成说明性表示(框603)。当操作系统515正在执行AR应用程序516时，计算机处理器517执行操作以基于多个显示单元522的对应显示单元的检测到的数值为多个部件521中的至少一个部件生成说明性表示。说明性表示可以是表盘显示器和/或仪表显示器。例如，如果多个部件521包括静脉管线，则可以基于与静脉管线的测量的压力相关联的检测到的数值生成仪表和/或表盘显示。
方法600包括显示说明性表示(框604)。当操作系统515正在执行AR应用程序516时，计算机处理器517执行操作以使用户界面512显示与多个显示单元522中的至少一个显示单元的数值相关联的说明性表示。在一个实施例中，计算机处理器517被配置成能够使用OCR技术来识别检测到的显示的数字。在一个实施例中，用户界面512为多个部件中的每个部件显示相同的说明性表示(例如，每个部件对应于表盘显示器或每个部件对应于仪表显示器)。在一个实施例中，用户界面512显示对一些部件的一些说明性表示和对一些部件的其它说明性表示(例如，一些部件具有仪表显示器而一些部件具有表盘显示器)。说明性表示的类型可以由用户选择或作为制造商设计选择来实现，并且可以基于与多个显示单元522的显示单元相关联的部件和/或操作参数的类型。
方法600包括生成趋势数据(框605)。在一个实施例中，当操作系统515正在执行AR应用程序516时，计算机处理器517执行操作以生成表示与多个显示单元522中的至少一个显示单元的检测到的数值相关联的趋势数据的图表。在一个实施例中，图表是实时生成的。例如，在一个实施例中，多个部件521包括静脉管线，并且检测到的数字对应于在给定时间测量的静脉管线的压力量(即，操作参数)。随着时间的推移，静脉管线的测量的压力可能会发生变化。计算机处理器517执行操作以生成显示随着时间的推移检测到的静脉管线的数值的图表，因此可以映射压力随时间的变化(即，趋势数据)。
在一个实施例中，计算机处理器517执行操作以将趋势数据与阈值进行比较，并且确定多个部件521中对应于趋势数据的部件是否正在经历至少部分故障。例如，静脉管线可以具有被优化以在透析操作期间高效且安全地将血液返回输送到患者的期望的阈值压力值。在一个实施例中，如果生成的图表显示静脉管线的压力值低于阈值，则计算机处理器517确定静脉管线正在经历故障。故障可以是部分的或完全的。例如，低于阈值的轻微下降可能表明静脉管线正在经历部分故障但仍在运行。因此，透析治疗可以完成并且在透析治疗之后可以修复静脉管线。然而，例如，如果图表显示低于阈值的大幅下降，则可能表明当前的透析治疗是不安全的，应该立即停止。作为另一个示例，如果静脉管线的压力值在阈值时间段内低于阈值，则它可以表示部分或完全故障。
方法600包括显示趋势数据(框606)。在一个实施例中，计算机处理器517使用户界面512显示生成的图表。在包括将趋势数据与阈值进行比较以确定部件是否正在经历故障的实施例中，还可以使用户界面512显示警告以通知用户部件正在经历故障。
在前面的描述中，本发明的实施例已经参考可能因实施方式而异的许多具体细节进行了描述。因此，描述和附图被认为是说明性的而不是限制性的意义。本发明范围的唯一和排他性指标，以及申请人旨在成为本发明范围的内容，是本申请所发布的权利要求集的字面和等效范围，其形式为此类权利要求发布的特定形式，包括任何后续更正。在此对包含在此类权利要求中的术语的任何明确阐述的定义将支配在权利要求中使用的此类术语的含义。此外，当我们在前面的描述或后面的权利要求中使用术语“进一步包括”时，该短语后面的内容可以是附加步骤或实体，或先前引用的步骤或实体的子步骤/子实体。

Claims (41)

1.一种系统，其包括：
具有一个或多个标签的医疗装置，所述一个或多个标签中的每个标签分别与所述医疗装置的一部件相关联；
电子移动装置，所述电子移动装置包括：
计算机可读介质，其被配置成能够存储对应于与每个标签相关联的部件的信息，所述信息包括与所述部件相关联的一个或多个用户可执行指令，所述计算机可读介质包括计算机可执行指令，所述计算机可执行指令包括
操作系统；和
被配置成能够由操作系统执行的增强现实应用程序；
一个或多个处理器，其被配置成能够执行计算机可执行指令；
用户界面，其被配置成能够通信地耦合到所述一个或多个处理器，一个或多个传感器，其被配置成能够通信地耦合到所述一个或多个处理器并且还被配置成能够捕获图像数据；以及
其中，当所述操作系统正在执行增强现实应用程序时，所述一个或多个处理器执行操作以：
使所述一个或多个传感器开始捕获图像数据；
确定所述图像数据是否包括所述一个或多个标签中的至少一个；
如果所述图像数据包括所述一个或多个标签中的至少一个，则确定医疗装置的与所述至少一个标签相关联的部件；
从所述计算机可读介质中检索与所述部件相关联的信息，所述部件是所述医疗装置的与所述至少一个标签相关联的部件；以及
使所述用户界面显示对应于与所述部件相关联的信息的一个或多个指示符，所述一个或多个指示符包括静态图像、动画图像或两者中的一个或多个。
2.根据权利要求1所述的系统，其中，对应于与所述部件相关联的信息的所述一个或多个指示符包括：指示所述部件被正确设置或正确操作的第一指示符，或者指示所述部件被不正确设置或不正确操作的第二指示符。
3.根据权利要求2所述的系统，其中，所述第二指示符包括：指示用于纠正所述部件的设置或用于修改所述部件的不正确操作的过程的信息。
4.根据权利要求1-3中任一项所述的系统，其中，当所述操作系统正在执行增强现实应用程序时，所述一个或多个处理器还执行操作以使用户界面提示用户执行用户可执行指令，该用户可执行指令被包括在对应于医疗装置的与所述至少一个标签相关联的部件的信息中。
5.根据权利要求1-3中任一项所述的系统，其中，所述用户可执行指令包括以下中的至少一个：与设置所述医疗装置的部件有关的指令、与对所述医疗装置的部件执行维护有关的指令、以及与对所述医疗装置的部件进行故障排除有关的指令。
6.根据权利要求1-5中任一项所述的系统，其中，当所述操作系统正在执行增强现实应用程序时，所述一个或多个处理器还执行操作以：
使所述一个或多个传感器捕获与用户执行用户可执行指令相关联的图像数据，
基于与用户执行用户可执行指令相关联的数据生成反馈，以及
使用户界面向用户显示所生成的反馈。
7.根据权利要求6所述的系统，其中，所生成的反馈指示用户是否正确地执行了用户可执行指令。
8.根据权利要求1-6中任一项所述的系统，其中，所述增强现实应用程序包括新手模式，所述一个或多个处理器还被配置成能够与所述医疗装置的控制器电路通信地耦合。
9.根据权利要求8所述的系统，其中，当所述操作系统在新手模式下执行增强现实应用程序时，所述一个或多个处理器还执行操作以：
向所述医疗装置的控制器电路发送空闲控制信号，其中，响应于接收到空闲控制信号，所述控制器电路使所述医疗装置在空闲模式下操作，
使传感器捕获与用户执行用户可执行指令相关联的图像数据，
基于与用户执行用户可执行指令相关联的图像数据，确定医疗装置是否被正确地配置成能够执行医疗操作，
如果所述一个或多个处理器确定医疗装置被正确地配置成能够执行医疗操作，则向医疗装置的控制器电路发送操作控制信号，其中，响应于接收操作控制信号，所述控制器电路使医疗装置在功能模式下操作。
10.根据权利要求9所述的系统，其中，当所述医疗装置在空闲模式下操作时，所述医疗装置被禁止执行医疗操作，当所述医疗装置在功能模式下操作时，所述医疗装置能够执行医疗操作。
11.根据权利要求1-10中任一项所述的系统，其中，所述医疗装置是透析机器。
12.根据权利要求1-11中任一项所述的系统，其中，所述系统还包括远程定位的数据库，所述远程定位的数据库被配置成能够存储与以下中的至少一个相关联的历史数据：所述医疗装置或基本类似于所述医疗装置的至少一个远程装置，
其中，当操作系统正在执行增强现实应用程序时，所述一个或多个处理器还执行操作以接收历史数据，其中，所检索的、与医疗装置的与所述至少一个标签相关联的部件相关联的信息至少部分地基于所接收的历史数据。
13.一种方法，其包括：
使一个或多个传感器捕获图像数据；
确定图像数据是否包括一个或多个标签中的至少一个，其中，所述一个或多个标签中的每一个分别与医疗装置的一部件相关联；
如果图像数据包括至少一个标签，则确定医疗装置的与所述至少一个标签相关联的部件；
检索与所述部件相关联的信息，所述部件是医疗装置的与所述至少一个标签相关联的部件，其中，所述信息包括与所述部件相关联的一个或多个用户可执行指令；以及
显示对应于与所述部件相关联的信息的一个或多个指示符，所述部件是所述医疗装置的与所述至少一个标签相关联的部件，所述一个或多个指示符包括静态图像、动画图像或两者中的一个或多个。
14.根据权利要求13所述的方法，其中，所述方法还包括提示作为医疗保健的主体的患者执行用户可执行指令，该用户可执行指令被包括在对应于医疗装置的部件的信息中，其中，所述用户可执行指令包括以下中的至少一个：与设置医疗装置的部件有关的指令、与对医疗装置的部件执行维护有关的指令、以及与对医疗装置的部件进行故障排除有关的指令。
15.根据权利要求14所述的方法，其中，所述方法还包括：
使所述一个或多个传感器捕获与患者执行用户可执行指令相关联的图像数据；
基于与用户执行用户可执行指令相关联的数据生成反馈；以及
将所生成的反馈显示给患者。
16.根据权利要求15所述的方法，其中，所生成的反馈通知患者所述患者是否正确地执行了用户可执行指令。
17.根据权利要求15-16中任一项所述的方法，其中，所述方法还包括：
使医疗装置在空闲模式下操作；
使所述一个或多个传感器捕获与患者执行用户可执行指令相关联的图像数据；
基于与患者执行用户可执行指令相关联的图像数据来确定医疗装置是否被正确地配置成能够执行医疗操作，
如果确定医疗装置被正确地配置成能够执行医疗操作，则使医疗装置在功能模式下操作。
18.根据权利要求17所述的方法，其中，使医疗装置在空闲模式下操作包括禁用医疗装置执行医疗操作的能力，使医疗装置在功能模式下操作包括使医疗装置能够执行医疗操作。
19.一种系统，其包括：
医疗装置，其包括：
一个或多个部件，所述一个或多个部件中的每个部件分别具有一个或多个操作参数；和
一个或多个监测装置，其被配置成能够检测所述一个或多个部件中的至少一个部件的所述一个或多个操作参数；
电子移动装置，所述电子移动装置包括：
包括计算机可执行指令的计算机可读介质，所述计算机可执行指令包括：
操作系统；和
被配置成能够由操作系统执行的增强现实应用程序；
一个或多个处理器，其被配置成能够：
执行计算机可执行指令，
通信地耦合到所述一个或多个监测装置，以及
接收与所述至少一个部件的所述一个或多个操作参数相关联的操作数据；
用户界面，其通信地耦合到所述一个或多个处理器；以及
其中，当操作系统正在执行增强现实应用程序时，所述一个或多个处理器执行操作以：
接收与所述至少一个部件的所述一个或多个操作参数相关联的操作数据；
基于所述操作数据确定所述至少一个部件是否正在经历至少部分故障；
基于确定所述至少一个部件是否正在经历至少部分故障来生成一个或多个用户可执行指令；以及
使用户界面显示用户可执行指令。
20.根据权利要求19所述的系统，其中，所述用户可执行指令包括关于如何确认所述至少一个部件正在经历至少部分故障的信息，其中，当操作系统正在执行增强现实应用程序时，所述一个或多个处理器还执行操作以使用户界面提示用户确认所述至少部分故障。
21.根据权利要求19-20中任一项所述的系统，其中，所述用户可执行指令包括与如何修复所述至少部分故障有关的信息。
22.根据权利要求19-21中任一项所述的系统，其中，当操作系统正在执行增强现实应用程序时，所述一个或多个处理器还执行操作以：
生成用于确定所述至少一个部件正在经历至少部分故障的置信度值；
如果所述置信度值大于第一置信度值阈值且小于第二置信度值阈值，则使用户界面提示用户确认所述至少部分故障；以及
如果所述置信度值大于第二置信度值阈值，则使用户界面提示用户修复所述至少部分故障。
23.根据权利要求19-22中任一项所述的系统，其中，所述一个或多个处理器包括至少一个机器学习算法，所述机器学习算法确定所述至少一个部件是否正在经历至少部分故障并生成所述一个或多个用户可执行指令。
24.根据权利要求19-23中任一项所述的系统，其中，所述电子移动装置被配置成能够基于所述至少部分故障的程度发起与专家技术人员的实时视频会议。
25.根据权利要求19-24中任一项所述的系统，其中，当操作系统正在执行增强现实应用程序时，所述一个或多个处理器还执行操作以提示用户确认多个用户经验水平中的一个，所述电子移动装置被配置成能够基于用户所确认的用户经验水平发起与专家技术人员的实时视频会议。
26.根据权利要求19-25中任一项所述的系统，其中，所述系统还包括远程定位的数据库，所述远程定位的数据库被配置成能够存储与以下中的至少一个相关联的历史数据：医疗装置或基本类似于所述医疗装置的至少一个远程装置，
其中，当操作系统正在执行增强现实应用程序时，所述一个或多个处理器还执行操作以接收历史数据，其中，确定所述至少一个部件是否正在经历至少部分故障是至少部分地基于所接收的历史数据。
27.根据权利要求19-25中任一项所述的系统，其中，所述系统还包括远程定位的数据库，所述远程定位的数据库被配置成能够存储与以下中的至少一个相关联的历史数据：医疗装置或基本类似于所述医疗装置的至少一个远程装置，
其中，当操作系统正在执行增强现实应用程序时，所述一个或多个处理器还执行操作以接收历史数据，其中，生成所述一个或多个用户可执行指令是至少部分地基于所接收的历史数据。
28.一种方法，其包括：
接收与医疗装置的至少一个部件的一个或多个操作参数相关联的操作数据；
基于所述操作数据确定所述至少一个部件是否正在经历至少部分故障；
基于确定所述至少一个部件是否正在经历至少部分故障来生成一个或多个用户可执行指令；以及
显示所述一个或多个用户可执行指令。
29.根据权利要求28所述的方法，其中，所述用户可执行指令包括关于如何确认所述至少一个部件正在经历至少部分故障的信息，所述方法还包括提示患者确认所述至少部分故障。
30.根据权利要求28-29中任一项所述的方法，其中，所述用户可执行指令包括与如何修复所述至少部分故障有关的信息。
31.根据权利要求28-30中任一项所述的方法，其中，所述方法还包括：
生成用于确定所述至少一个部件正在经历至少部分故障的置信度值；
如果所述置信度值大于第一置信度值阈值且低于第二置信度值阈值，则提示患者确认所述至少部分故障；以及
如果所述置信度值大于第二置信度值阈值，则提示用户修复所述至少部分故障。
32.根据权利要求28-31中任一项所述的方法，其中，所述方法还包括基于所述至少部分故障的程度发起与专家技术人员的实时视频会议。
33.根据权利要求28-32中任一项所述的方法，其中，所述方法还包括提示患者确认多个用户经验水平中的一个并且基于用户确认的用户经验水平发起与专家技术人员的实时视频会议。
34.一种系统，其包括：
医疗装置，其包括：
一个或多个部件，所述一个或多个部件中的每个部件分别具有一个或多个操作参数；和
一个或多个显示器，其被配置成能够显示与所述一个或多个部件中的至少一个部件的一个或多个操作参数相关联的一个或多个数值；
电子移动装置，所述电子移动装置包括：
包括计算机可执行指令的计算机可读介质，所述计算机可执行指令包括：
操作系统；和
被配置成能够由操作系统执行的增强现实应用程序；
一个或多个处理器，其被配置成能够执行计算机可读指令；
用户界面，其被配置成能够通信地耦合到所述一个或多个处理器；
一个或多个传感器，被配置成能够通信地耦合到所述一个或多个处理器并且还被配置成能够捕获图像数据；以及
其中，当操作系统正在执行增强现实应用程序时，所述一个或多个处理器执行操作以：
使所述一个或多个传感器开始检测与所述一个或多个操作参数相关联的一个或多个数值，其中，所述一个或多个传感器被配置成还能够检测与所述一个或多个数值相关联的变化；以及
使所述用户界面显示与所检测的一个或多个数值相关联的说明性表示。
35.根据权利要求34所述的系统，其中，所述一个或多个显示器包括一个或多个LED显示器。
36.根据权利要求34-35中任一项所述的系统，其中，所述说明性表示包括表盘显示器。
37.根据权利要求34-35中任一项所述的系统，其中，所述说明性表示包括仪表显示器。
38.根据权利要求34-37中任一项所述的系统，其中，当操作系统正在执行增强现实应用程序时，所述一个或多个处理器还执行操作以实时生成图表，所述图表表示与所检测的一个或多个数值相关联的趋势数据。
39.根据权利要求38所述的系统，其中，当操作系统正在执行增强现实应用程序时，所述一个或多个处理器还执行操作以将所述趋势数据与阈值进行比较并确定所述至少一个部件是否正在经历至少部分故障。
40.根据权利要求39所述的系统，其中，当操作系统正在执行增强现实应用程序时，所述一个或多个处理器还执行操作以在确定所述至少一个部件正在经历至少部分故障时警告患者。
41.根据权利要求40所述的系统，其中，警告患者包括使所述电子移动装置振动或产生可听声音中的至少一种。
CN202080022047.1A 2019-01-25 2020-01-07 用于医疗装置的基于增强现实的培训和故障排除 Pending CN113614847A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/258,020 US11031128B2 (en) 2019-01-25 2019-01-25 Augmented reality-based training and troubleshooting for medical devices
US16/258,020 2019-01-25
PCT/US2020/012479 WO2020154091A1 (en) 2019-01-25 2020-01-07 Augmented reality-based training and troubleshooting for medical devices

Publications (1)

Publication Number Publication Date
CN113614847A true CN113614847A (zh) 2021-11-05

Family

ID=69411573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080022047.1A Pending CN113614847A (zh) 2019-01-25 2020-01-07 用于医疗装置的基于增强现实的培训和故障排除

Country Status (5)

Country Link
US (3) US11031128B2 (zh)
EP (1) EP3891759A1 (zh)
CN (1) CN113614847A (zh)
CA (1) CA3126924A1 (zh)
WO (1) WO2020154091A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114157913A (zh) * 2021-12-24 2022-03-08 北京泽桥医疗科技股份有限公司 基于画面识别的视频培训方法、终端、服务器和系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11031128B2 (en) 2019-01-25 2021-06-08 Fresenius Medical Care Holdings, Inc. Augmented reality-based training and troubleshooting for medical devices
US11875365B2 (en) 2020-10-23 2024-01-16 Fresenius Medical Care Holdings, Inc. User experience computing system for gathering and processing user experience information
US11295857B1 (en) 2021-03-30 2022-04-05 Fresenius Medical Care Deutschland Gmbh Connected health system having an instant user feedback interface
US20230274659A1 (en) * 2022-02-25 2023-08-31 Chudi Adi Systems and methods for providing guided dialysis training and supervision
US20230284036A1 (en) * 2022-03-07 2023-09-07 Juniper Networks, Inc. Network monitoring and troubleshooting using augmented reality

Family Cites Families (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7242988B1 (en) 1991-12-23 2007-07-10 Linda Irene Hoffberg Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US6169789B1 (en) 1996-12-16 2001-01-02 Sanjay K. Rao Intelligent keyboard system
US8043224B2 (en) 2000-07-12 2011-10-25 Dimicine Research It, Llc Telemedicine system
WO2003017745A2 (en) 2001-08-23 2003-03-06 Sciperio, Inc. Architecture tool and methods of use
US7418120B2 (en) * 2004-09-22 2008-08-26 General Electric Company Method and system for structuring dynamic data
US9344612B2 (en) 2006-02-15 2016-05-17 Kenneth Ira Ritchey Non-interference field-of-view support apparatus for a panoramic facial sensor
WO2007131932A2 (en) 2006-05-12 2007-11-22 Universite Paris 13 Graphical representation of medical knowledge
US9697556B2 (en) 2007-09-06 2017-07-04 Mohammad A. Mazed System and method of machine learning based user applications
WO2009117122A2 (en) 2008-03-19 2009-09-24 Existence Genetics Llc Genetic analysis
CA2722773C (en) * 2008-05-07 2015-07-21 Lawrence A. Lynn Medical failure pattern search engine
US8690155B2 (en) 2008-06-24 2014-04-08 Dionne Riley Pathology game and method of playing same
US8848974B2 (en) * 2008-09-29 2014-09-30 Restoration Robotics, Inc. Object-tracking systems and methods
US9526586B2 (en) * 2013-08-12 2016-12-27 Z Microsystems, Inc. Software tools platform for medical environments
US8971936B2 (en) 2009-09-01 2015-03-03 Adidas Ag Multimodal method and system for transmitting information about a subject
US20110307079A1 (en) 2010-04-29 2011-12-15 Board Of Trustees Of Michigan State University, The Multiscale intra-cortical neural interface system
US10074024B2 (en) * 2010-06-07 2018-09-11 Affectiva, Inc. Mental state analysis using blink rate for vehicles
US10096161B2 (en) * 2010-06-15 2018-10-09 Live Nation Entertainment, Inc. Generating augmented reality images using sensor and location data
US20120138533A1 (en) 2010-12-01 2012-06-07 Curtis James R Dialysis system control system with user interface
US20120323590A1 (en) 2011-06-17 2012-12-20 Sanjay Udani Methods and systems for electronic medical source
US8606595B2 (en) 2011-06-17 2013-12-10 Sanjay Udani Methods and systems for assuring compliance
US8655796B2 (en) 2011-06-17 2014-02-18 Sanjay Udani Methods and systems for recording verifiable documentation
US20120323805A1 (en) 2011-06-17 2012-12-20 Sanjay Udani Methods and systems for electronic medical protocol
US20140243652A1 (en) 2011-09-16 2014-08-28 Steven Pashko Llc Bodily self-image and methods for predicting placebo response or response shift
US9805624B2 (en) 2011-09-30 2017-10-31 Regents Of The University Of Minnesota Simulated, representative high-fidelity organosilicate tissue models
US20130117040A1 (en) 2011-11-03 2013-05-09 Omada Health, Inc. Method and System for Supporting a Health Regimen
US20140058755A1 (en) 2011-11-23 2014-02-27 Remedev, Inc. Remotely-executed medical diagnosis and therapy including emergency automation
US9355309B2 (en) * 2012-01-09 2016-05-31 Emory University Generation of medical image series including a patient photograph
US8989465B2 (en) * 2012-01-17 2015-03-24 Mayo Foundation For Medical Education And Research System and method for medical image reconstruction and image series denoising using local low rank promotion
WO2013170204A1 (en) 2012-05-11 2013-11-14 Siemens Healthcare Diagnostics Inc. Augmented reality for workflow assistance
EP2850559B1 (en) * 2012-05-14 2021-02-24 Gauss Surgical, Inc. System and method for estimating a quantity of a blood component in a fluid canister
EP2849634B1 (en) 2012-05-14 2019-05-01 Gauss Surgical, Inc. Method for managing blood loss of a patient
US9042596B2 (en) 2012-06-14 2015-05-26 Medibotics Llc Willpower watch (TM)—a wearable food consumption monitor
EP2941753A4 (en) * 2013-01-05 2016-08-17 Foundation Medicine Inc SYSTEM AND METHOD FOR MONITORING AND ANALYZING RESULTS
EP2948049B1 (en) 2013-01-24 2024-04-24 Alio, Inc. Prosthesis for measuring fluid flow through a lumen
US9173987B2 (en) * 2013-02-01 2015-11-03 Medtronic, Inc. Degassing module for a controlled compliant flow path
US10010663B2 (en) * 2013-02-01 2018-07-03 Medtronic, Inc. Fluid circuit for delivery of renal replacement therapies
US10850016B2 (en) * 2013-02-01 2020-12-01 Medtronic, Inc. Modular fluid therapy system having jumpered flow paths and systems and methods for cleaning and disinfection
US8751039B1 (en) 2013-02-22 2014-06-10 Remedev, Inc. Remotely-executed medical therapy device
CA2902550A1 (en) 2013-02-26 2014-09-04 Butterfly Network, Inc. Transmissive imaging and related apparatus and methods
US10288881B2 (en) 2013-03-14 2019-05-14 Fresenius Medical Care Holdings, Inc. Wearable interface for remote monitoring and control of a medical device
US9721086B2 (en) 2013-03-15 2017-08-01 Advanced Elemental Technologies, Inc. Methods and systems for secure and reliable identity-based computing
US10296722B2 (en) 2013-03-26 2019-05-21 Vivify Health, Inc. Virtual rehabilitation system and method
US20160125765A1 (en) * 2013-05-06 2016-05-05 Attila Meretei Systems and methods for interactive product training
US20150335288A1 (en) 2013-06-06 2015-11-26 Tricord Holdings, Llc Modular physiologic monitoring systems, kits, and methods
US10231704B2 (en) * 2013-12-20 2019-03-19 Raghu Raghavan Method for acquiring ultrasonic data
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
CN111084626B (zh) 2014-01-29 2023-07-11 贝克顿·迪金森公司 用于在临床使用点确保患者用药和流体输送的系统和方法
US20150320357A1 (en) 2014-02-20 2015-11-12 GraftWorx, LLC Methods for assessing fluid flow through a conduit
US20220027629A1 (en) * 2014-05-15 2022-01-27 Fenwal, Inc. Determining characteristic of blood component with handheld camera
US10235567B2 (en) 2014-05-15 2019-03-19 Fenwal, Inc. Head mounted display device for use in a medical facility
US11348178B2 (en) 2014-07-14 2022-05-31 Rerankable LLC Educational decision-making tool
WO2016075656A1 (en) 2014-11-13 2016-05-19 Mobiltron, Inc. Systems and methods for real time detection and reporting of personal emergencies
US10667736B2 (en) 2014-12-17 2020-06-02 Medtronic Ardian Luxembourg S.A.R.L. Systems and methods for assessing sympathetic nervous system tone for neuromodulation therapy
WO2016127050A1 (en) 2015-02-05 2016-08-11 Mc10, Inc. Method and system for interacting with an environment
US9924905B2 (en) 2015-03-09 2018-03-27 Graftworx, Inc. Sensor position on a prosthesis for detection of a stenosis
NZ773813A (en) 2015-03-16 2022-07-29 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
US10410066B2 (en) * 2015-05-29 2019-09-10 Arb Labs Inc. Systems, methods and devices for monitoring betting activities
US9840003B2 (en) * 2015-06-24 2017-12-12 Brain Corporation Apparatus and methods for safe navigation of robotic devices
US10176642B2 (en) 2015-07-17 2019-01-08 Bao Tran Systems and methods for computer assisted operation
CN108024718A (zh) * 2015-07-21 2018-05-11 代表亚利桑那大学的亚利桑那校董会 健康信息(数据)医学收集、处理和反馈的连续性系统和方法
US10150040B2 (en) 2015-08-14 2018-12-11 Jennifer H. Kraly Video game for enabling reversal of potentially-reversible real-world health conditions of players
EP3362878A4 (en) 2015-10-12 2019-06-12 The Arizona Board of Regents On Behalf of the University of Arizona VIRTUAL REALITY SYSTEMS AND METHODS FOR IMPROVED CLINICAL RESULTS
US10932672B2 (en) 2015-12-28 2021-03-02 Dexcom, Inc. Systems and methods for remote and host monitoring communications
US20170212769A1 (en) 2016-01-26 2017-07-27 Ge Yang Wearable clothing accessory incorporating an open computing platform
US9610476B1 (en) 2016-05-02 2017-04-04 Bao Tran Smart sport device
US10726744B2 (en) 2016-02-05 2020-07-28 ReaLifeSim, LLC Apparatus and method for simulated health care procedures in combination with virtual reality
WO2017160920A1 (en) 2016-03-17 2017-09-21 Becton, Dickinson And Company Medical record system using a patient avatar
JP6824299B2 (ja) 2016-06-29 2021-02-03 ピッコロ・メディカル，インコーポレーテッド 血管のナビゲーション、評価および／または診断を行うための機器および方法
US10709521B2 (en) 2016-07-11 2020-07-14 Covidien Lp Method and apparatus to account for transponder tagged objects used during clinical procedures, employing a shielded receptacle
AU2017295835A1 (en) 2016-07-11 2018-12-06 Covidien Lp Method and apparatus to account for transponder tagged objects used during clinical procedures employing a shielded receptacle with antenna
EP3481326A4 (en) 2016-07-11 2020-03-18 Covidien LP METHOD AND DEVICE FOR TAKING TRANSPONDER-MARKED OBJECTS INTO CLINICAL INTERVENTIONS WITH A TROCAR
WO2018013414A1 (en) 2016-07-11 2018-01-18 Covidien Lp Method and apparatus to account for transponder tagged objects used during clinical procedures, for example including count in and/or count out and presence detection
CA3031771A1 (en) 2016-07-25 2018-02-01 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
US10265854B2 (en) 2016-08-04 2019-04-23 Synaptive Medical (Barbados) Inc. Operating room safety zone
US11434534B2 (en) 2016-09-08 2022-09-06 Curematch, Inc. Optimizing therapeutic options in personalized medicine
US20180092698A1 (en) 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use
US10231784B2 (en) 2016-10-28 2019-03-19 Medtronic Ardian Luxembourg S.A.R.L. Methods and systems for optimizing perivascular neuromodulation therapy using computational fluid dynamics
US11382513B2 (en) 2016-11-08 2022-07-12 Palo Alto Investors Methods and compositions for treating a condition in a subject
AU2016265973A1 (en) 2016-11-28 2018-06-14 Big Picture Medical Pty Ltd System and method for identifying a medical condition
US20210327303A1 (en) * 2017-01-24 2021-10-21 Tienovix, Llc System and method for augmented reality guidance for use of equipment systems
EP3574504A1 (en) 2017-01-24 2019-12-04 Tietronix Software, Inc. System and method for three-dimensional augmented reality guidance for use of medical equipment
US10010379B1 (en) 2017-02-21 2018-07-03 Novarad Corporation Augmented reality viewing and tagging for medical procedures
US10969583B2 (en) 2017-02-24 2021-04-06 Zoll Medical Corporation Augmented reality information system for use with a medical device
US20170173262A1 (en) 2017-03-01 2017-06-22 François Paul VELTZ Medical systems, devices and methods
CN111386511A (zh) * 2017-10-23 2020-07-07 皇家飞利浦有限公司 基于自扩展的增强现实服务指令库
WO2019113134A1 (en) * 2017-12-04 2019-06-13 Enertiv Inc. Technologies for fault related visual content
US20190254753A1 (en) * 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US11031128B2 (en) 2019-01-25 2021-06-08 Fresenius Medical Care Holdings, Inc. Augmented reality-based training and troubleshooting for medical devices
US20220188545A1 (en) * 2020-12-10 2022-06-16 International Business Machines Corporation Augmented reality enhanced situational awareness

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114157913A (zh) * 2021-12-24 2022-03-08 北京泽桥医疗科技股份有限公司 基于画面识别的视频培训方法、终端、服务器和系统
CN114157913B (zh) * 2021-12-24 2024-06-18 北京泽桥医疗科技股份有限公司 基于画面识别的视频培训方法、终端、服务器和系统

Also Published As

Publication number Publication date
WO2020154091A1 (en) 2020-07-30
US11783940B2 (en) 2023-10-10
EP3891759A1 (en) 2021-10-13
US11031128B2 (en) 2021-06-08
CA3126924A1 (en) 2020-07-30
US20210249129A1 (en) 2021-08-12
US20200243193A1 (en) 2020-07-30
US20230410999A1 (en) 2023-12-21

Similar Documents

Publication Publication Date Title
US11783940B2 (en) Augmented reality-based training and troubleshooting for medical devices
CN108292524B (zh) 用于透析机的语音界面
EP3248121B1 (en) Remote monitoring interface device and mobile application for medical devices
US8992777B2 (en) Systems and methods for providing notifications in dialysis systems
US20140205981A1 (en) Dialysis treatment simulation systems and methods
CN113841153A (zh) 光学字符识别（ocr）之前的智能图像分割
CN111009310A (zh) 一种医疗系统、医疗设备及其控制方法
EP4065188A1 (en) User interface monitoring and verification thereof in medical treatment systems
US20230173151A1 (en) Medical device with time-controlled start function
JP2010238013A (ja) 遠隔診断装置及び遠隔診断方法及び遠隔診断システム
JPWO2015141622A1 (ja) 警報装置、体外循環装置及び警報装置の制御方法
JP2005341115A (ja) 分散型制御装置
US11948445B2 (en) Secure processing of alarm messages for a medical device
EP2659919B1 (en) Method for safety relevant parameter setting in a medical apparatus and medical apparatus
KR102256346B1 (ko) 한약 추출기 자동제어 시스템
US10556051B2 (en) Medical device with operator support
US20160132197A1 (en) Blood purification device feedback method
CN111324150A (zh) 一种电机自动识别方法、装置及摄像设备
JP2024072920A (ja) 血液浄化装置用情報確認システム及び血液浄化装置
CN112748979B (zh) 一种医疗设备的图形用户界面的生成方法及生成装置
JP2013190894A (ja) プラント監視制御システム
JP2016171925A (ja) 輸液ポンプ誤操作防止システムおよび誤操作防止方法
WO2024141389A2 (en) Medical device remote screen view methods, apparatus, and system
CN116115844A (zh) 血液透析设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination