CN107004044A - 增强现实设备的用户引导系统和方法、使用 - Google Patents

增强现实设备的用户引导系统和方法、使用 Download PDF

Info

Publication number
CN107004044A
CN107004044A CN201580062837.1A CN201580062837A CN107004044A CN 107004044 A CN107004044 A CN 107004044A CN 201580062837 A CN201580062837 A CN 201580062837A CN 107004044 A CN107004044 A CN 107004044A
Authority
CN
China
Prior art keywords
mark
medical
user
augmented reality
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580062837.1A
Other languages
English (en)
Inventor
J·P·查亚迪宁拉特
赵沛然
J·H·M·瑞吉马克思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN107004044A publication Critical patent/CN107004044A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3325—Reformulation based on results of preceding query
    • G06F16/3326—Reformulation based on results of preceding query using relevance feedback from the user, e.g. relevance feedback on documents, documents sets, document terms or passages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Bioethics (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本公开涉及用于多步骤医学流程的基于增强现实的用户引导系统，该系统包括：增强现实设备(10、30)，其包括被布置为呈现能够被叠加在原始场景上的人工信息的显示单元(14、34)、传感器单元(18、38)、处理单元(22、42)；至少一个第一标志(142、144、146、148)，其能够由所述增强现实设备(10、30)检测到，其中，所述至少一个第一标志(142、144、146、148)与要在所述医学流程的定义的步骤中使用的对象(132、134、136、138)相关联，其中，所述医学流程包括要求用户动作的至少一个步骤，其中，所述增强现实设备(10、30)被布置为：监视场景并检测和跟踪所述至少一个第一标志(142、144、146、148)，提供用户引导以执行所述医学流程；基于所述至少一个第一标志(142、144、146、148)的检测到的状态来检测用户动作是否符合所述医学流程；并且当所述增强现实设备(10、30)检测到错误的用户动作时，向用户提供校正性用户反馈。本公开还涉及对应的方法和增强现实设备(10、30)在用于用户引导的系统中的用途。

Description

增强现实设备的用户引导系统和方法、使用
技术领域
本公开涉及用于多步骤医学流程的基于增强现实的用户引导系统以及对应的方法。本公开还涉及增强现实设备在用于医学流程中的用户引导的系统中的用途。本公开还涉及对应的计算机程序。
背景技术
US 2012/0184252 A1公开了移动电话式电子设备，该设备包括：显示器；处理器资源；至少一个计算机可读介质，其能够接收和存储信息，与处理器资源进行通信；在介质上的指令，其当被处理器资源执行时能操作用于计算补充信息并在显示器处示出的对象的视觉表示上显示补充信息。例如，从US 2011/0213664 A1、US 8,705,177 B1和US 2013/0278485 A1可以获知类似的增强现实设备，尤其是头戴式设备。一般而言，增强现实设备可以被称为可穿戴设备，并且可以包含手持设备、光学头戴式显示器、等等。
增强现实(AR)可以被称为物理的现实世界环境的实况直接视图或间接视图，其元素可以通过计算机生成的传感输入(例如，声音、视频、图形或GPS数据)进行增强(或者换句话说，补充)。换句话说，可以叠加包含人工信息的层来表示包含现实世界信息的层。一般而言，可以将增强信息直接或间接地视觉呈现给观察现实生活场景的用户。然而，在增强现实环境中可以在现实世界感知上叠加音频信息、语音信息、触觉信息等。
在一般意义上，增强现实可以涉及更一般的概念，其可以被称作介导现实。介导现实一般涉及现实的表示或视图被计算设备修改。在该上下文中的修改可能涉及强调、削弱或甚至隐藏现实世界信息元素。
增强现实设备因此可以影响(优选增强)用户对现实的当前感知。一般而言，增强现实涉及实时或接近实时的信息增强或叠加。
医学流程是意图实现在可能具有健康情况或甚至健康问题的人的护理中的结果的动作的过程。一般地，医学流程可以包含医学测试、医学监视、医学处置、医学治疗、康复措施等。一般在意图确定、测量或诊断患者状况或参数的情况下进行医学测试。治疗措施通常包含处置、治愈或恢复患者的功能或结构。
在增强现实领域中还存在改善的空间。更特别地，基于增强现实的技术在医学领域或者更具体的用户引导或患者引导领域存在特定的应用潜力。
发明内容
鉴于以上所述，本发明的目标是提供一种用于多步骤医学流程的基于加强的增强现实的用户引导系统，其可以在医学流程的过程期间引导用户并且尤其适于不一定有专业资格的业余用户或外行来执行和完成相对复杂的医学流程和/或医学协议。
此外，将有利的是提供基于加强的增强现实的用户引导系统，其便于家庭用户处置和/或门诊处置。还将有利的是，提供相应的系统，其使得能够进行加强的用户引导，并能够进一步利用增强现实技术。
此外，将有利的是提供对应的用于多步骤医学流程的基于增强现实的用户引导方法，以及增强现实设备在用于医学流程中的用户引导的系统中的优选用途。优选地，还提出了对应的计算机程序。
在本发明的第一方面中，提出了一种用于多步骤医学流程的基于增强现实的用户引导系统，所述系统包括：
-增强现实设备，其包括：
-显示单元，其被布置为呈现能够被叠加在原始场景上的人工信息，
-传感器单元，
-处理单元，
-至少一个第一标志，其能够由所述增强现实设备检测到，其中，所述至少一个第一标志与要在所述医学流程的定义的步骤中使用的对象相关联，其中，所述医学流程包括要求用户动作的至少一个步骤，所述用户动作尤其包含手动处置所述对象；
其中，所述增强现实设备被布置为：
-监视场景并检测和跟踪所述至少一个第一标志；
-提供用户引导以执行医学流程；
-基于所述至少一个第一标志的检测到的状态来检测用户动作是否符合所述医学流程；并且
-当所述设备检测到错误的用户动作时，向用户提供校正性用户反馈。
该方面基于以下洞察：相对复杂的医学流程(其也可以被称作医学协议)通常要求有经验的、受过教育的医务人员。然而，存在一种趋势是将医学服务从医院重新部署到患者的家中。这可能具有以下优点：减少成本，以及可以待在熟悉环境中的患者的增加的安康。然而，这通常仍需要执行相对复杂的医学流程，例如，血液采样、血糖测量等，这通常是重复的(一天一次、一周一次等)。
在传统的环境中，这要求对患者或照顾患者的亲戚/朋友的大量训练。即使当进行大量训练时，仍存在错误操作的风险，这可能危害到患者或医学流程的结果。因此，尤其对于老年人，可能要求派送其他有资格的人员的护士到患者的处所，或者甚至让患者留在医院环境中。
可以看到另一显著优点在于该系统能够在进行医学领域中的任务时帮助资格较低的或经验少的人员。因此，可以由医学实习生(例如，护士实习生等)使用基于增强现实的用户引导系统。还可以发现另一应用：将任务从资格高的专家委托给资格低的人员，以便将专家从医学领域中相当普通的任务中解脱出来。医学设施通常面临资格高的医学从业者和护士的短缺。因此，基于增强现实的用户引导系统可以便于甚至在有资格的人员短缺的情况下也能维持质量标准。
如本文使用的，基于增强现实(AR)的用户引导系统一般可以称作AR支持系统和/或AR加强系统。基于AR的用户引导系统可以在(例如，患者自身进行的)自我处置环境中是有用的，而且在包含处置患者的用户(协助人员)的环境中也是有用的。
在高级AR技术的帮助下(例如，向现实生活表示添加计算机视觉和对象识别)，关于用户的周围真实世界的信息变得可交互且可数字化操纵。关于环境及其对象的人工信息可以叠加在真实世界上。这可以具有以下优点：可以提供可以呈现校正性用户反馈的进一步加强的交互式指导手册。一般而言，可以提供积极的反馈(即，成功完成了流程或其子步骤)。此外，在发生错误的情况下，系统可以致力于成功完成意图的流程。
特别地，在所谓的家庭环境的医院中(也称作医院到家庭(H2H)环境)，患者越来越多地被要求自己运行相对复杂的医学协议，而无需专业医学人员的辅助。通常，医学协议可以包括在物理世界中使用多个单独的物理设备和消耗品的动作。例如，进行血液分析的化疗患者可能必须以特定次序和方式使用刺血针、酒精擦片、创可贴和血液盒。处置至少一个对象可以包括移动(尤其是手动移动)对象。处置对象还可以包括打开或拆开对象的包装。要在医学流程的过程期间使用的对象中的至少一些可以被初始地容纳在无菌商品包装中。因此，处置至少一个对象还可以包括使无菌容器或包破裂。
可以提供多个对象。(一个或多个)对象可以包括(制药)药物、物质或药品。此外，对象可以包括医学器械，尤其是一次性医学器械。医学器械可以包括刺血针、注射器、温度计、血压装置、药瓶等。另外或替代地，(一个或多个)对象可以包括通常在医学流程中使用的另外的材料/装备。通过举例的方式，医学材料可以包括(外科)包扎材料、(外科)擦片、(外科)标签、胶布绷带、贴片、消毒剂、防腐剂、杀菌剂等。
一般而言，至少一个第一标志可以被附接到要被使用的对象，和/或可以被附接到容纳对象的相应容器或包装。至少一个第一标志可以包含描述对象的类型的信息。此外，至少一个第一标志可以包含指示序列号、生产批次、生产期限等的信息。对象可以被标记有至少一个标志。至少一个标志可以被布置为被附接到对象或对象的包装的标签或标注。
然而，上述方面不限于家庭中的医院应用。通过举例的方式，在紧急护理(例如，患者遭受心脏病发作、道路事故后果的急救)中，急救人员可能必须向受伤的无意识人员的面部应用卫生口罩，向胸部应用除颤贴片，并将他们的手正确放置并进行严格序列的动作。可以想到其他应用，其中即使相对有经验的、受过教育的医学专家也可能得益于基于AR的引导系统。
AR设备可以被布置为可穿戴计算设备，例如，便携式设备、手持设备、头戴式设备等。一般而言，AR设备可以包括显示器，其被布置为将信息叠加在现实生活表示上。现实生活表示对用户可以直接或间接可感知。可以捕捉并(或多或少)即时地在显示器上呈现间接呈现的现实生活图像。优选地，将相应的传感器(成像单元或相机)和显示单元对齐，使得当用户查看设备的显示器时现实生活图像的表示基本上匹配“真实的”现实生活环境。在替代例中，可以通过补充信息来丰富或加强用户的眼睛可直接感知到的现实生活环境。这可以包含在显示单元处提供的可能的显示元件是基本上透明的或半透明的。这种显示单元可以被布置为所谓的微显示器，其包括用于在用户的视野内投影图像数据的单元。如上所述，用户可以是患者他自己/她自己或在医学流程的过程期间帮助和/或处置患者的另一人员。因此，在一些实施例中，AR设备由患者穿戴。在一些实施例中，AR设备由另一人员持有或穿戴。
在系统的示例性实施例中，至少一个第二标志被提供，所述至少一个第二标志被布置在被分配给医学流程的定义的步骤的位置处，其中，医学流程包括如下的至少一个步骤：要求将对象(尤其是其至少一个第一标志)放置在所述第二标志的附近以完成医学流程的步骤。
因此，AR设备可以通过监视和跟踪至少一个第一标志相对于第二标志的位置来控制医学流程的进展。通过举例的方式，可以在布置至少一个第二标志处提供板或类似的基底元件。此外，基底元件可以视觉地指示医学流程的要求的步骤。AR设备然后可以突出显示当前要被使用的第一标志和对应的第二标志。AR设备可以被布置为检测第一标志是被布置在第二标志的附近、顶部还是在第二标志处。这可以被视为医学流程的(子)步骤已完成的指示。AR设备可以被布置为检测第一标志与对应的第二标志的(本地)匹配。AR设备可以被布置为检测第一标志是否与对应的第二标志一致、符合和/或配准。这可以涉及当AR设备检测第一标志被错误放置在例如错误的第二标志和/或其中在第一标志与对应的第二标志之间的距离太大时生成错误消息。
在系统的另一示例性实施例中，至少一个第一标志被布置为覆盖标志，其中，至少一个第二标志被布置为基底标志，并且其中，至少一个第一标志被附接到一次性对象或可消耗对象，尤其是被附接到一次性对象或可消耗对象的包装或防篡改元件。通过举例的方式，可以指导用户移除密封，打开盖子和/或弄破包装。因此，相应的第一标志可以被布置在对象或其包装的当解开对象的包装、打开和/或激活对象时要被移除的部分处。
换句话说，增强现实标志可以被布置在基本固定的元件(框架、板、外包装的部分)处和可移动的分离的物理对象处。AR设备可以跟踪物理对象的(空间)2D或3D坐标，包括在相应的传感器单元(例如，相机)的视野内的固定元件。此外，描述医学流程和/或协议的算法可以被实现在软件代码中并被提供在AR设备处。因此，AR设备“知道”哪些对象应当在何时处于何处。因此，由于它们的标志，对象是可跟踪的，AR设备能够检测到何时用户正在处置错误的对象或者何时用户将正确的对象放置在错误的地方。因此，当用户(例如，通过移动电话、平板计算机或AR手机)利用增强现实技术来查看物理场景时，AR设备可以直接指向被处置的对象，并显示和告知用户这是错误的地方或对象。此外，可以向用户推荐校正性动作，例如，他/她应当拾取另一对象或者他/她应当将对象放在不同的位置处。
在该上下文中，对US 2007/0098234 A1进行引用，其公开了多种不同的AR标志和用于检测所述标志的对应方法。一般而言，AR标志可以以纸基或片基方式布置，其中，印刷在其上的2D代码相对简单且容易检测和使用。一般而言，AR标志对传感器(例如，相机)是可视觉感知的。AR标志可以被编码(例如，条形码)，或者更一般地，可以包括1D光学机器可读表示或2D光学机器可读表示。AR标志可以例如被布置为标签、标注。此外，AR标志可以包括多数字信息，例如，通用产品代码(UPC)和/或国际物品数字代码(EAN)。至少一些实施例可以包括3D(三维)标志的检测。此外，一些实施例可以包括对象识别和跟踪，而无需明确需要将不同的标签或标注附接到对象。因此，对象本身可以形成标志，例如，对象的外形、颜色和外部印刷。
然而，还可以设想到不可见编码标志技术。通过举例的方式，AR标志可以包括射频识别标签(RDIF标签)。此外，AR标志可以被布置为应答机。取决于AR标志的类型(例如，有源的或无源的)，可以使用相应的传感器(读取器)。此外，在相应的AR辅助/支持环境中可以实现和使用不同类型的AR标志。
在本系统的另一示例性实施例中，至少一个第一标志是非固定标志，其被附接到在医学流程的过程期间要被移动的对象，其中，至少一个第二标志是固定标志，其指示为医学流程的主体的医学装备处的特性位置；并且其中，所述系统能够检测其中至少一个非固定标志接近相应的固定标志以完成医学流程的步骤的状态。固定标志指示在医学流程的过程期间需要接近的特性位置。
一般而言，增强现实应用允许用户感知作为在物理对象的表示顶部上的叠加的虚拟内容。当传感器(例如，相机)检测到相应的标志时，虚拟内容可以被自动显示。一般地，增强现实标志被应用为信息线索，并且因此不常用作位置传感器。相反地，本公开提出了通过定义几种类型的标志，以及通过跟踪标志的位置以便检测在不同类型的标志对之间的相对位置，来加强增强现实标志的应用和能力，这可以用作监视医学流程的相对简单但有力的方式，并用于提供用于医学流程的加强的用户引导。
优选地，所述系统还被布置为向用户提供导航支持，尤其是通过在接近相应的固定标志的过程期间跟踪至少一个可移动标志。换句话说，AR设备可以显示信息和暗示(例如，光束或着陆波束)，其指示用于当前使用的对象和/或其相应标志的正确的目标位置(固定标志)。
例如，可以提供基底板，其以可视觉感知(即，用户的眼睛直接可见)的方式示出了医学流程的步骤。为此，例如可以提供相应的流程图。因此，在现实世界环境中，用户可以被(视觉)提示将对应的覆盖标志放置在其指定配对物的附近或处。然而，可以通过提供指示医学流程的步骤或门并可以被视觉突出显示的相应基底标志来加强现实世界的流程图。因此，在组合增强现实环境中，可能甚至更明确地提示和引导用户。此外，增强现实环境可以向用户提供视觉反馈、音频反馈等，从而指示是否已经成功完成(子)步骤或是否发生错误。在错误的情况下，AR设备可以即时地或者接近即时地推荐校正性动作。这可能具有的优点在于通常能够成功地完成整体医学流程，即，在错误的情况下，也不一定要求重复整个流程。
在系统的再一示例性实施例中，增强现实设备被布置为通过虚拟地突出显示与后续步骤相关联的至少一个标志来指示所述后续步骤。此外，AR设备可以被布置为通过在利用覆盖标志接近基底标志的过程期间提供方向信息来对用户进行导航。
在系统的又一示例性实施例中，所述系统还被布置为监视医学流程，并相对于从包括以下的组中选择的至少一个特性检测用户动作是否是错误的：时间约束、持续时间约束、次序约束、序列约束、方向约束、位置约束、目标约束、以及其组合。尤其在时间关键的协议中，当用户犹豫或发生错误时，这使得他/她在动作上比预期花费更多的时间，AR设备可以警告用户及时完成协议可能是有问题的。因此，AR设备可以推荐终止执行医学设备的实际尝试并重新开始流程。
以下表格说明相应的医学流程的范例：
AR设备可以处理相应的软件代码/算法，以便引导用户通过流程。AR设备能够因此指导用户。此外，AR设备布置为监视和控制执行流程的(子)步骤。
在系统的另一示例性实施例中，所述增强现实设备适于门诊处置，其中，所述医学流程包括能够由业余用户或由患者自身执行的医学协议。由于用户在执行流程时在一定程度上依赖于系统，所以还可以减少关于门诊处置的相应预约。系统能够提供正面反馈(步骤成功完成)以及负面/校正性反馈(由于错误的动作而需要重新执行步骤)。此外，系统可以不仅指示发生了错误，而且可以解释实际上发生了什么(例如，错过时间限制、使用错误的对象、偏离步骤的定义的次序)。AR设备能够检测用户所犯的错误，即，“基底标志”的事件被不正确的“覆盖标志”掩盖。作为响应，AR设备可以在“覆盖标志”的顶部提供基于AR的实况反馈，其立即通知患者所述错误，并引导患者校正错误。此外，AR设备可以验证场景的完成，即，“基底标志”被掩盖有正确的“覆盖标志”的事件。在该情况下，可以触发在执行流程中的下一状态/步骤。
在系统的另一示例性实施例中，所述医学流程包括医学协议，所述医学协议包括一系列步骤，所述步骤中的每个步骤包括从包括以下的组中选择的至少一个特性：定义的动作、定义的对象、定义的目标、定义的持续时间、定义的许可总计时间、以及其组合。通过举例的方式，应用的领域可以涉及用于化疗患者的血液分析。应用的领域还可以涉及糖尿病患者的血糖测量。两个流程都要求执行可以包含消毒、探测、样本收集、样本处置、探测点的处置、将探针放置在分析单元中等的多个步骤。
在另一示例性实施例中，该系统包括至少一个参考标志，其能够由所述增强现实设备检测到，其中，所述至少一个参考标志指示要被执行的医学流程。优选地，至少一个参考标志还可以指示至少一个基底标志的定义的位置，更优选地，至少一个覆盖标志的定义的开始位置。
通过举例的方式，相应的参考标志可以被附接到或被布置在要在医学流程中使用的医学集合的外包装处。参考标志和基底标志可以被布置在同一板或基底元件处。参考标志可以用于不同目的。首先，参考标志可以提供参考位置信息，其可以便于检测和监视基底标志。换句话说，参考标志可以“告诉”AR设备基底标志应当被定位在何处。参考标志可以定义包含基底标志的基底元件的垫的整体方向。第二，参考标志可以识别要被应用的医学例程或流程。这可以是有利的，因为AR设备基本上能够引导用户通过不同的医学流程。因此，当前要被应用的流程的预先选择可以是有利的。因此，AR设备可以被称为多用途医学流程用户引导AR设备。
假定该系统可以实现基底标志、覆盖标志和参考标志，则可以使用三种不同类型的标志。该系统被布置为验证用户已经将物理对象放置在特定位点处。该机构可以允许没有物理或图形用户接口按钮的用户接口来确认物理对象的位置。相反，可以在AR领域中提供成功(子)步骤的确认和/或错误(子)步骤的指示。在AR领域中还可以暗示校正性动作。当参考标志被布置为指示医学流程的类型时，不需要或只需要一点(触觉)用户输入，这对于许多用户是非常有利的，尤其是对于老年人或病人。
根据上述实施例，AR设备可以被布置为检测参考标志，这可以是医学流程的初始化和执行的先决条件。当感测到和检测到覆盖标志和相应的基底标志的可能匹配(例如，将一个放在另一个顶部上)时，还可以要求参考标志总是或至少临时对传感器单元“可见”。这样，可以进一步加强安全级别。可以进一步减少误操作、误用等的风险。优选地，参考标志和基底标志在物理上(例如，机械地)相互连接，例如被放置在同一板或基底元件上。
根据至少一些实施例，AR设备能够同时检测和监视三个或更多个AR标志。因此，可以执行要求处置多个元件的相对复杂的操作。一般而言，AR设备可以基本上恒定地或间歇地验证用作全局参考的参考标志是否在视线内。优选地，AR设备能够同时检测甚至更多的标志。这样，系统足够灵活以在早期检测可能的操作错误，并提供早期的反馈，优选在发生例如“消耗”随后需要被替换或单独处置以便能够进一步进行流程的对象的不可逆错误之前。
在又一示例性实施例中，该系统还被布置为在医学流程的过程期间向用户提供包含协议内校正的校正性用户反馈。协议内校正尤其可以包括从包括以下的组中选择的动作：中止并重新执行步骤；完成并重新执行步骤；返回并重新执行一系列步骤，并且完成多个步骤；在错误的情况下，返回到起始点而不完成所述医学流程并重新执行多个步骤；以及其组合。
因此，可以通常在不需要完全终止先前尝试的情况下完成医学流程。相反，流程内或协议内校正动作使得能够保留在当前医学流程内。这可以具有以下优点：可以避免过度浪费(一次性和/或可消耗)对象和时间。在由于错误而需要重新执行完整的医学流程的情况下，通常应当使用和消耗新的(医学)对象。
一般而言，系统(尤其是AR设备)可以在对象被误放置时提供校正性反馈。这可能涉及方向和/或位置的指示，其指示在对象被误放置的情况下将对象放置在何处的目标。优选地，可以相对于检测到的错误位置提供校正性反馈。因此，AR设备能够响应于实际情形并提供情形特定(上下文)校正性动作。由于AR设备能够(即时地)监视标志，所以这是可以实现的。因此，通常校正性动作是智能且可管理的，因为其通常不需要执行固定的预定义的校正性动作(例如，“返回到前一步骤…”)，其在用户没有完全意识到当前(处置)错误时可能是有问题的。
此外，AR设备可以在医学流程的(子)步骤已经被处理得太慢时提供校正性反馈，例如，在覆盖标志仅在与预定义的时间限制到期之后被放置在其对应的基底标志处时。因此，该系统可以能操作用于提供时间监控。然而，AR设备还可以被布置为指示在超过实际时间限制之前的适当的时间中可能发生时间相关或持续时间相关的错误。因此，可以鼓励用户加速医学流程和/或相应的(子)步骤的执行。在超过了医学流程的总计时间限制的情况下，AR设备还可以指示哪个(子)步骤应当比在错误尝试中执行得更快。
换句话说，根据本文公开的至少一些实施例的引导系统能够提供关于错误动作的上下文反馈，并能够提供对应的上下文引导。优选地，引导系统被布置为提供用户引导，而无需(或只需要一点)明确的用户输入(在AR设备的级别)。换句话说，优选在执行医学流程时从用户的实际动作导出用户“输入”。因此，没有明确要求在核对列表中手动勾出项目，因为引导系统自动监视和检查步骤的完成。这优选在医学领域中是有利的，因为用户可以基本上在流程的过程期间免手持地操作AR设备，而无需接触用户输入。这用于卫生目的，并防止AR设备、患者他自己/她自己和/或要在医学流程中使用的对象的相互污染。
为此，AR设备在特定的“基底标志”已经由另一特定“覆盖标志”掩盖(或覆盖)时检测物理对象的正确定位。换句话说，根据本公开的一方面，提出一种用户接口，其基本上没有物理或图形用户接口按钮，用于确认现实世界对象的正确定位和/或触发应用以进行到流程的下一步骤。
在基于手持的AR应用中，这基本上支持免手持交互，并且因此还解决与触摸屏交互的卫生问题。在基于头戴式的AR应用中，可以克服对用于触发/确认准备就绪以进入流程的下一步骤的额外手势或语音交互的需要。
在本公开的另一方面中，提出一种增强现实设备在用于医学流程中的用户引导的系统中的用途，所述增强现实设备包括：
-显示单元，其被布置为呈现能够被叠加在原始场景上的人工信息，
-传感器单元，
-处理单元，
-所述系统还包括：
-至少一个第一标志，其能够由所述增强现实设备检测到，其中，所述至少一个第一标志与要在所述医学流程的定义的步骤中使用的对象相关联，其中，所述医学流程包括要求用户动作的至少一个步骤，所述用户动作尤其包含手动处置所述对象；
其中，所述增强现实设备能操作用于：
-监视场景并检测和跟踪所述至少一个第一标志；
-提供用户引导以执行医学流程；
-基于所述至少一个第一标志的检测到的状态来检测用户动作是否符合所述医学流程；并且
-当所述设备检测到错误的用户动作时，向用户提供校正性用户反馈。
在用途方面的另一示例性实施例中，所述用途可以包括增强现实设备在家庭环境的医院中的用途，其中，所述在家庭环境的医院优选包括从包括以下的组中选择的至少一个特定用途：家庭化疗、家庭血液分析、家庭血液采样、家庭样本收集、家庭胰岛素疗法、家庭接种疫苗、以及其组合。在家庭的医院可以被视为在患者的家里通过健康护理专家提供对状况的积极处置的服务，否则该状况将尤其是在有限的时间要求严重的住院患者护理。
在用途方面的另一示例性实施例中，所述用途可以包括增强现实设备在用于急诊处置环境中的用户引导的系统中的用途，尤其是在用于自动外部除颤器(AED)布置的系统中的用途。尽管已确认自动或半自动AED设备是公知的，但是正确地使用这种设备仍然对许多人是一种挑战，这限制了AED的进一步的分布以及尤其应用。在紧急情况下，许多人仍然害怕使用AED。根据本公开的至少一些方面的系统还可以在紧急情况下降低抑制水平或甚至对使用AED的反感，因为该系统可以引导急救人员并可以支持和支援救治人员。例如，该系统可以确保用户以正确的方式和正确的次序使用正确的对象，同时保持要求的时间约束。
可以在训练或教育医学人员和/或外行的领域中发现本系统的进一步有利用途。为此，该系统可以被布置为帮助用户实践紧急情况以为真实的紧急情况做准备。因此，该系统可以包括训练模式，其中引导用户通过训练情形以变得熟悉医学设备，例如AED和类似的复杂医学设备，而无需面对伤害可能的患者的风险。另外，在如上所述的医院到家庭环境中，包括测试运行的训练过程可以进一步加强用户的能力。
在本公开的另一方面中，提出了一种提供用于多步骤医学流程的基于增强现实的用户引导的方法，所述方法包括：
-提供增强现实设备，所述增强显示设备包括：
-显示单元，其被布置为呈现能够被叠加在原始场景上的人工信息，
-传感器单元，
-处理单元，以及
-提供至少一个第一标志，所述至少一个第一标志能够由所述增强现实设备检测到，其中，所述至少一个第一标志与要在所述医学流程的定义的步骤中使用的对象相关联，其中，所述医学流程包括要求用户动作的至少一个步骤，所述用户动作尤其包含手动处置所述对象；
-监视场景，检测和跟踪所述至少一个第一标志；
-提供用户引导以执行所述医学流程；
-基于所述至少一个第一标志的检测到的状态来检测用户动作是否符合所述医学流程；并且
-当所述增强现实设备检测到错误的用户动作时，向用户提供校正性用户反馈。
在本发明的又一方面中，提供了一种包括程序代码单元的计算机程序，当所述计算机程序在计算设备上执行时，所述程序代码单元用于使计算机执行上述方法的步骤。
如本文使用的，术语“计算机”表示多种数据处理设备。换句话说，具有相当大的计算能力的医学设备和/或移动设备也可以被称作计算设备，即使它们提供比标准台式计算机少的处理功率资源。此外，术语“计算机”还可以是指分布式计算设备，其可以包含或利用在云环境中提供的计算能力。优选地，计算机被实现在AR设备中或耦合到AR设备。
本发明的优选实施例被限定在从属权利要求中。应当理解的是，要求保护的用途、方法和要求保护的计算机程序可以具有与要求保护的系统和在从属系统权利要求中限定的类似的优选实施例。
附图说明
本发明的这些和其他方面将从下文描述的实施例变得显而易见并参考下文描述的实施例得以阐述。在以下附图中：
图1示出了可以在本公开的一些实施例中用作AR设备的便携式手持设备的前视图；
图2示出了可以在本公开的一些实施例中用作AR设备的便携式可头戴设备的透视图；
图3示出了根据本公开的一些实施例的AR设备的总体布局的示意性图示；
图4示出了可以在根据本公开的一些实施例的AR支持的医学流程中使用的示例性医学箱的透视图；
图5示出了根据本公开的一些实施例的示例性用户引导系统的透视图，该系统实现AR设备；
图6示出了图5中示出的用户引导系统的另一状态；
图7示出了图5中示出的用户引导系统的又一状态；
图8示出了要在医学流程中使用的示例性对象；
图9示出了要在医学流程中使用的另一示例性对象；
图10示出了要在医学流程中使用的又一示例性对象；
图11示出了包括要在医学流程中使用的对象的医学装备的布置；
图12示出了指示可以由AR支持的用户引导系统促进的示例性医学流程的透视图；
图13示出了图示涉及可以在AR支持的环境中使用的医学箱的布置的流程的若干步骤的示意性框图；
图14示出了图示根据本公开的示例性用户引导方法的若干步骤的示意性框图；以及
图15示出了表示根据本公开的AR支持的监视和用户引导方法的若干示例性步骤的说明性框图。
具体实施方式
在近些年中，增强现实(AR)已经取得了重大进展并满足了若干领域的应用。通过举例的方式，AR技术可以应用于为行人进行街道上导航。用户可以查看AR设备的显示器，并感知由对其增强的额外信息所加强的现实世界环境的实况呈现。
如图1和图2所示，可以设想不同类型的AR设备。图1示出了可以被布置为移动设备(尤其是移动电话、平板计算机、智能电话等)的手持便携式设备10。图2示出了头戴式或可头戴设备30。手持式设备10和头戴式设备30可以允许基于AR的应用，该应用可以用于医学领域，尤其用于在医学流程的过程期间引导用户。
至少在一定程度上，手持式设备10和头戴式设备30以类似方式布置。如图1所示，AR设备10可以包括壳体12，其容纳显示单元14、音频输出单元16、传感器单元18(在AR环境中通常布置在显示单元的相反侧)、输入单元20、以及处理单元22(在图1中未明确示出)。
类似地，图2中图示的头戴式AR设备30包括框架或支撑件32，其支持显示单元34、音频输出单元36、传感器单元38、输入单元40以及处理单元42(在图2中未明确示出)。此外，可以提供玻璃或帽檐44。
传感器单元18、38可以包括至少一个图像传感器，尤其是相机传感器。至少在一些实施例中，传感器单元18、38可以包括无线通信传感器，例如，近场通信(NFC)传感器、电磁传感器，如射频识别(FRID)传感器等。还可以设想各个传感器类型的组合。音频输出单元16、36可以包括至少一个音频扬声器。输入单元20、40可以包括触敏或接近度敏感传感器垫或表面。因此，AR设备10的输入单元20可以被实现在其显示单元14中。AR设备10可以包括触敏显示器14。如图2中可见，输入单元40可以与显示单元34分离布置。因此，输入单元40可以包括不同的触敏垫或表面。输入单元20、40还可以包括分立的输入元件，例如，按钮、键等。另外的输入元件可以解决手势检测、语音识别等。
图1的设备10被布置为表示由传感器单元18(尤其是其相机)捕获的现实世界场景的视图。因此，设备10可以被布置为在显示单元14处显示由传感器单元18感测的现实世界环境的“副本”。所述表示可以叠加有人工(“增强”)信息，以在执行医学流程时对正在查看显示单元14的用户进行引导/导航。
相反地，图2的设备40可以被布置为使得能够进行现实世界场景的或多或少的“直接”视图。因此，不一定要求显示单元34显示现实世界场景的“副本”。相反，显示单元34可以主要用于显示额外的信息，该信息视觉地叠加在现实世界场景上以引导/导航用户通过医学流程。
图3示意性示出了根据本公开的至少一些实施例的能够被布置为AR设备10、30的手持器具的示例性布置。一般而言，图3示出了示例性电子设备(尤其是例如如图1和图2所示的便携式电子设备10或可穿戴电子设备30)的框图。主要出于说明的目的提供了以下部分，因此不能在限制的意义上对其进行理解。因此可以理解的是，在本公开的范围内的许多实施例中，不是图3中示出的每个元件或模块都必须被实现。
如图3所示，设备10、30可以包括处理器单元22、42，其包括控制电子设备302的操作的至少一个微处理器54。此外，可以提供通信子系统50，其可以执行与无线网络52的通信发送和接收。
通信子系统50可以包括接收器58和发送器60。接收器58可以耦合到接收天线62。此外，可以提供数字信号处理器66，其用作通信子系统50的处理模块。
处理器单元22、42还可以与AR设备10、30的多个部件(例如，输入/输出(I/O)子系统56)通信地耦合。输入/输出(I/O)子系统56可以包括或耦合到相机传感器68、显示器70、另外的传感器72(例如，加速度计传感器)、内部系统存储器74(例如，随机存取存储器)、标准通信端口76(例如，通用总线端口(USB端口))、非标准通信端口78(例如，专用端口)、输入元件78(例如，键盘)、(物理或虚拟)按钮和/或触敏元件、扬声器82、麦克风84等。
除此之外，还存在另一子系统，例如额外的通信子系统86、另外的设备子系统88等。通信子系统86的范例是短程无线通信系统和相关联的电路和部件。其他设备子系统88的范例可以包括额外的传感器，其可以用于实现本公开的另外的方面。
一般而言，处理器54能够执行操作系统功能，并使得能够执行电子设备10、30上的程序。在一些实现方式中，不是所有上述部件都被包含在电子设备10、30中。
在设备10、30被布置用于移动网络或电话服务的情况下，处理单元22、42还可以与非易失性计算机存储介质90(例如，闪存)耦合，并与用户识别模块(SIM)接口92耦合。
在本文公开的至少一些实施例的上下文内，存储介质90可以包含永久或临时存储的数据和应用，例如，操作系统94、数据和程序管理应用96、关于设备状态的信息98、关于服务状态的信息100、用户联系人(地址簿)102、其他信息104、以及用户引导程序/应用104。
用户识别模块(SIM)接口92可以与可以包含标识、用户相关信息108以及另外的总体(网络)配置数据110的相应的SIM卡耦合。
进一步参考图4至图7，示出并进一步解释了本公开的总体概念内的用户引导系统120。图4示出了可以在医学流程中使用(并且在一些情况下至少部分地消耗)的示例性医学箱122。医学流程一般包括要求以预定义的次序定义的(一个或多个)用户动作的一系列步骤。根据AR设备10、30，医学箱122可以定义用户引导系统120，参考图5至图7。
图4示出了医学箱122的现实世界视图。图5至图7示出了医学箱122的增强视图。换句话说，在图4中，用户可以直接查看医学箱122。在图5至图7中，可以向设备10、30的用户呈现由引导信息叠加的医学箱122的介导视图。在该方面，可以特别回忆图2的头戴式AR设备30被配置为使得能够进行现实世界场景的直接实况视图。也就是说，在一些实施例中，仅仅额外的增强信息的表示通过AR设备30来生成，并被叠加在“真实的”现实世界场景上。
通过举例的方式，医学箱122可以被布置为例如用于化疗患者的血液采样箱。此外，医学箱122可以被布置为用于糖尿病患者的血糖水平测量箱。一般而言，医学箱122可以采取适于不同应用的不同形式和组成。作为另一范例，医学箱122可以被布置为妊娠测试箱。
医学箱122可以包括基底、垫或板124。此外，医学箱122可以包括医学装备126，其可以与基底124耦合或被布置在基底124处。通过举例的方式，医学设备126可以包括血液分析仪、血糖仪等。因此，医学箱126可以使得能够进行医学领域中相对复杂的操作，尤其是在门诊环境中，例如在家庭环境的医院中。当然，还存在医学箱122的另外的实施例，其不需要内部分析/测量装置。通过举例的方式，医学设备126然后可以包括样本准备单元，其用于准备可以被发送给外部样本分析服务的样本(例如，血样)。
医学箱122可以包括壳体或容器128，其可以被布置为容纳医学装备126。因此，医学箱122可以被布置为集成箱，其包括完成医学流程所需的所有或大部分对象。可以利用可消耗材料重新填充或补充医学箱122。如上所述，医学箱122通常包括多个对象132、134、136、138，其在图5至图7中由相应框表示。对象132、134、136、138可以包括可消耗对象、一次性对象和/或可重用对象。对象132、134、136、138中的至少一些被装备有所谓的覆盖标志142、144、146、148。对象132、134、136、138的范例被图示在后文图8至图11中。
在医学箱122的定义的位置处，可以提供可由AR设备10、30识别的参考标记130。此外，医学箱122(尤其是其基底124)可以被提供有可以被附接到基底124的多个所谓的基底标志152、154、156、158。
标志130、142-148、152-158一般可以被称作AR标志或标签。标志130、142-148、152-158可以包括编码数据，例如，一维或二维光学机器可读图案。此外，标志130、142-148、152-158可以包括可以由传感器单元18、38感测的数字存储的数据，例如，RFID数据、NFC数据等。
参考标志130可以允许关于参考位置/方向的结论。此外，参考标志130可以指示医学流程的类型。这样，参考标志130实际上可以在AR设备10、30处触发正确的应用和协议。更特别地，基于参考标志的检测，AR设备10、30可以导出基底标志152、154、156、158的定义的位置(或设定位置)。由参考标志130对流程的类型的指示可以具有AR设备10、30可以用于不同医学流程的额外优点。
对象132、134、136、138可以被标记或标注相应的对象标志或覆盖标志142、144、146、148。这可能涉及覆盖标志142、144、146、148被布置在对象的包装处。因此，在执行医学流程或协议的过程中，每个对象132、134、136、138可以由设备10、30通过检测其覆盖标志142、144、146、148来识别。本公开的主要方面是在基底标志152、154、156、158和覆盖标志142、144、146、148之间的匹配的检测。为此，为了完成多步骤流程的步骤，指导用户将覆盖标志142、144、146、148放置在其配对基底标志152、154、156、158的顶部上。这基本上需要以特定次序执行。这可以涉及在消耗对象时从对象132、134、136、138移除覆盖标志142、144、146、148。在替代例中，这可以涉及将对象132、134、136、138放置在基底标志152、154、156、158的顶部上，而覆盖标志142、144、146、148仍被附接到对象132、134、136、138，例如用于医学仪器。
参考在现实世界环境中可见的视觉引导162，基底标志152、154、156、158可以以特定次序或图案被布置在基底124处。换句话说，可以稍微类似于提供现实世界视觉引导的“播放板”布置基底124。视觉引导162可以包括相应的引导箭头。
根据本文讨论的至少一些实施例，在用户执行医学流程同时查看显示单元14、34的场景时，通过对用户可见的人工引导信息补充视觉引导162。在图5至图7中示出相应的视觉增强场景，其包含图4所示的医学箱122的间接视图。
用户引导系统120组合AR设备10、30和医学箱122，其适于AR支持的用户引导方法。AR设备10、30能够生成可以叠加在现实世界场景上的虚拟信息。AR设备10、30能够引导用户通过医学协议，如图5至图7中的框图序列168所指示的。因此，用户总是可以注意要被处理的医学流程的当前状态或步骤。因此，参考图5中的附图标记170，可以突出显示当前步骤。此外，AR设备10、30可以被布置为检测和突出显示在流程中使用的标志142-148、152-158。例如，给定协议168的当前步骤170，AR设备10、30可以监视并跟踪视线内的标志142-148、152-158，并突出显示在当前阶段必须使用的标志142、152(参考图6和图7)。在图5中通过附图标记172(检测到的覆盖标志)、174(检测到的基底标志)来指示成功检测到的一对标志142、152。AR设备10、30然后可以(视觉地)在显示单元14、34处突出显示标志172、174，参考图5中的示例性突出显示元件178、180。
AR设备10、30可以提供另外的信息，例如，标志142、152的标识符。利用AR技术，AR设备10、30可以生成并显示增强的视觉引导元件，例如如图5所示的引导箭头184。因此，可以强调导航路径或方向，这便于在其相应的配对基底标志152的顶部(或至少附近)定位检测到的覆盖标志142。以这种方式可以大大减少误操作或操作员错误的风险。即使用户不是良好训练的专家，医学流程也可以以相对小的努力来成功完成。
医学流程或其至少一个(子)步骤可能受制于时间约束。AR设备10、30因此还可以被配置为跟踪用户动作的时间或持续时间，参考图5中的示例性时间符号186。因此，AR设备可以指示步骤可以在适当的时间中完成，或者步骤处于时间关键的阶段。在错过时间限制的情况下，可以相应地通知用户，AR设备10、30可以中止流程的当前步骤。在快要到达时间限制之前，AR设备10、30可以相应地通知并鼓励用户以在适当的时间中完成时间关键的动作。
一般而言，用户引导系统120还可以被布置为在检测到操作错误或至少可能即将到来或即将来临的操作错误的情况下提供校正性用户引导。相应的情形在图6和图7中示出。AR设备10、30能够检测何时用户捡起或移动完成当前(子)步骤170不需要的错误对象132、134、136、138的情形。此外，AR设备10、30能够检测用户误放置覆盖标志142、144、146、148的情形。因此，AR设备10、30可以提供错误反馈192，其引起用户的注意，参考图6。在图6中，用户错误地将覆盖标志132放置在基底标志154的顶部，而不是在其意图的配对物152上。可以检测到该错误的处置。因此，可以提供校正性引导190。校正性引导190可以包括通过突出显示其覆盖标志142、144、146、148来指示正确的对象132、134、136、138。校正性引导还可以包括将用户导航到与当前使用的覆盖标志142匹配的正确基底标志152，如图6由相应的引导箭头190所指示的。当用户能够改正错误时，AR设备10、30可以提供正面反馈，以便指示用户在执行医学流程中重回正轨。因此，AR设备10、30可以进行下一(子)步骤，例如，处置下一对象134及其对应的标志144、154。
具体参考图8至图10，示出了可以在医学流程中使用并且可以被标记或标注有相应标志的若干对象。图8示出了示例性一次性对象200，其可以被布置为酒精擦片、石膏等，其可以被成形为垫212。图9示出了另一示例性一次性对象204，其可以被布置为刺血针，例如用于收集血样。被布置为药瓶的另一示例性对象204被示出在图10中。图8的对象200包括一次性包装206，其可以包括封盖或盖子208。对象200(特别是其包装206)可以被标记或标注有覆盖标志210，其可以如图4至图7所示被AR设备10、30检测和跟踪。因此，用户可以在医学流程的(子)步骤中拆开对象200的包装并使用垫212。为了确认和完成(子)步骤的执行，用户将覆盖标志210放置在可以由AR设备10、30检测到的相应的基底标志(图8中未示出)处。
图9的对象202也可以是一次性的。刺血针状的对象202可以包括密封和容纳刺血针218的一次性包装216。通过举例的方式，识别刺血针218的覆盖标志220可以被直接附接到刺血针218。因此，可以指导用户将刺血针218放置在对应的基底标志的顶部上，以便指示流程的(子)步骤的完成。如图10所示，对象204可以被布置为药瓶。对象204可以包括瓶子或有塞小瓶状的壳体224，其可以容纳要在医学流程期间使用的物质226。在替代例中，对象204可以用于容纳在医学流程的过程期间获得的样本材料。瓶子状壳体224可以包括盖子或帽盖228。在壳体224处或在帽盖228处，可以布置覆盖标志230，其允许利用AR设备10、30检测和跟踪对象204。
进一步参考图11，其示出了示例性的医学装备的集合240。集合240可以包括用于医学流程/在医学流程中使用的材料、物质、仪器等。集合240可以被布置为多功能集合，其被设置用于多于一种医学流程。此外，集合240可以被布置用于重复执行医学流程，例如，可重用装备或多个可消耗装备，并且可以提供足够量的物质。例如，集合240可以包括至少一个止血带242、至少一个纱布244、至少一个导管246、至少一个敷料/绷带248、垫臂板、至少一个注射器252、至少一个酒精擦片254、手套256、胶带258、其部件、以及相应的替换材料。元件242-258中的每个可以因此被标注或标记有AR标志。
图12例示了在本公开的范围内的用户引导系统的另一应用领域。图12示出了需要使用自动体外除颤器(AED)280的紧急情形。例如，患者284可能遭受心律不齐。遗憾的是，受过良好训练的(医学)专家通常在紧急情况下不能到达。通常，急救人员282非常没有经验。尽管已确认在标准训练情形下容易使用特定的自动体外除颤器280，但是紧急情况通常更麻烦。通常，急救人员282承受巨大的压力。因此，基于AR的用户引导系统可以支援急救人员282，并便于正确处置自动体外除颤器280，其可以涉及激活自动体外除颤器280，将电极286、288放置在患者284处，以及至少一定程度地控制自动体外除颤器280的操作。因此，自动体外除颤器280也可以形成用户引导系统的部分。为此，可以附接相应的覆盖标志和基底标志，尤其是附接到电极286、288和AED的壳体。此外，可以提供在紧急医学程序中用户正在使用的AR设备10、30(参考图1和图2)处触发和初始化相应程序的参考标志。
在已经展示了由本公开覆盖的若干替代的示例性方法之后，参考图13，其示意性地示出了涉及能够在根据本公开的至少一些方面的AR支持的环境中使用的医学箱的布置的方法。该方法包括步骤S100，其涉及提供基底，尤其是基底片、基底垫、基底板等。所述基底被布置为可以附接AR标志的基底层。AR标志可以被AR设备检测和跟踪/追踪。通过举例的方式，在步骤S102中，所谓的参考标志可以被附接到基底层。参考标志可以提供位置参考，这可以便于和改善可以被附接到基底层的另外的标志的检测。在检测到参考标志之后，AR设备可以导出(预)定义的位置，假设相应的另外的标志被放置在其处。此外，参考标志可以指示要被准备的医学箱被布置用于的医学流程的类型。
在另一步骤S104中，可以在基底层处布置多个基底标志。优选地，以特定图案和/或次序布置基底标志，以便反映意图的医学流程的过程或序列。基底标志可以对AR设备(尤其是其传感器单元)而言是可检测的。基底标志可以表示用户可以放置对应的覆盖标志以完成意图的医学流程的步骤的目标。因此，AR设备可以检测在基底标志与覆盖标志之间的交叠。该事件可以指示相应的(子)步骤的完成。
被装备的基底层可以被视为构成医学流程的动作序列的现实世界的表示。然而，由于基底层被装备有AR标志，所以AR设备可以检测和跟踪所述层，并在相应显示器上提供被叠加在现实世界场景上的补充的虚拟信息。
另外的步骤S106可以包括提供被布置为要在执行医学流程的过程期间使用或消耗的多个医学对象。例如，对象可以包括仪器、物质、可消耗物品、一次性物品等。对象通常由用户至少部分地手动处置。关于其医学效果和特征，对象可以类似于传统的医学对象。
然而，在另一步骤S108中，AR标志可以被附接到对象。附接AR标志可以涉及直接将AR标志附接到对象和/或将AR标志附接到对象的包装。至少在一些实施例中，在步骤S108中处理的AR标志可以被称作覆盖标志。对象可以被标记或标注有AR标志。覆盖标志可以由AR设备检测和跟踪/追踪。AR设备可以尤其适于检测覆盖标志何时靠近基底标志，优选检测覆盖标志何时覆盖(隐藏)基底标志。这可以发生在覆盖标志被放置在基底标志的顶部时。在方法的又一步骤S110中，在共同的封装单元中将被装备的医学对象和被装备的基底层组合为例如医学箱。因此，医学箱可以被提供为可以基本上在没有利用虚拟(人工)信息增强的现实环境中被处理。然而，医学箱还被布置为要在AR增强环境中使用，因为提供了相应的(机器可读)标志，至少基底标志和覆盖标志。优选地，还提供了参考标志。
进一步参考图14，示出了图示根据本公开的用户引导方法的若干步骤的示意性框图。首先，在步骤S200中，可以提供在本公开的上下文内的便携式增强现实设备，其被装备用于医学领域的AR应用，尤其用于AR支持的用户引导应用以引导非专业的用户(尤其是患者自身)通过相对复杂的医学流程。为此，AR设备可以被装备有相应的部件，例如，至少一个(图像)传感器、显示器和处理单元。此外，AR设备可以包括永久的和暂时的存储器，其包括相应的软件代码(软件应用或app)。另外，AR设备可以利用提供在远程位置处(例如，在云环境中)的软件代码。软件代码还可以包括描述AR设备被装备用于的医学流程或协议的算法。
后面可以跟随另一步骤S202，其可以包括提供被布置用于AR支持的用户引导的医学箱。如以上结合图13所示的方法所解释的，医学箱可以包括能够由AR设备检测和跟踪的多个AR标志(也称作AR标签或AR标记)。可以存在多个类型的AR标志。例如，可以提供所谓的基底标志和覆盖标志。覆盖标志可以关联于(尤其是附接到)在执行医学流程时必须使用(尤其是手动处置或移除)的医学对象。可以以可以反映医学流程的若干步骤的预定义的图案或次序布置基底标志。用户可以通过将覆盖标志放置靠近其指定的配对基底标志(优选在其顶部)来生成核对信号。AR设备能够检测相应的匹配，这指示已经成功完成医学流程的(子)步骤。
优选地，医学箱还包括可以相对于基底标志布置在基本预定义的位置中的参考标志。在后续步骤S204中，AR设备可以检测参考标志。参考标志可以指示计划的医学流程的类型。因此，可以触发或选择在AR设备处的正确的对应(软件)算法。优选地，为此不需要明确的用户输入或仅需要一点用户输入。此外，参考标志可以指示(或允许关于如下的结论)距离在执行医学流程时将放置覆盖标志的目标位置的基底标志的预期位置。
后面可以跟随另一步骤S206，其包括提供AR补充的用户引导以执行医学流程。步骤S206可以包括检测和跟踪标志，以及突出显示当前要被处理的标志以及它们的配对物。此外，用户引导可以涉及对用户进行导航以将覆盖标志放置在其配对的基底标志的顶部，同时符合期望的次序/序列。
在可以与步骤S206相关联的监视步骤S208中，AR设备可以监视场景，从而基于检测到的标志和它们被处置和/或对准的方式来监视和控制用户的活动。AR设备还可以被装备为检测有缺陷的用户动作或至少可能有缺陷的用户动作(例如，偏离医学流程的期望次序，将覆盖标志放置在错误的基底标志的顶部上，等等)。此外，AR设备可以被布置用于时间跟踪，以便控制和验证用户是否能够在给定时间约束内完成要求的动作。
通过判定菱形来指示另一步骤S210。判定步骤S210可以包括关于用户是否成功完成医学流程的(子)步骤的判定。在检测到有缺陷的或可能易于出错的用户动作的情况下，AR设备可以提供校正性反馈，参考步骤S212。校正性反馈可以涉及通知用户错误已发生并且突出显示可能的补救以将用户返回到过程中。优选地，可以提供即时或准及时的过程内反馈，这可以避免重复整个医学流程。校正性反馈可以包括为当前处置的覆盖标志突出显示正确目标，突出显示要在当前(子)步骤中使用的正确的覆盖标志，指示时间约束并鼓励用户以更快的节奏执行流程等。
在检测到用户成功完成流程的相应(子)步骤时，所述方法可以进行到另一步骤S214。在用户成功完成流程的每个步骤的情况下，方法可以在S214处结束。
参考图15，示出了表示根据本公开的AR支持的监视和用户引导方法的若干步骤的另一说明性框图。更具体地，图15示出了可以在AR设备中实现的监视和引导算法，如上所述。在可以被布置为判定步骤的初始步骤S300中，可以验证是否检测到参考标志，例如参考标志是否在AR设备的传感器的视线内。如果没有参考标志可检测到，则步骤S302可以跟随，其中AR设备继续查找或寻找参考标志。如上已经指示的，参考标志可以实际上触发医学流程的执行，并且还可以指示在医学流程中使用的医学箱的初始设置。换句话说，AR设备可以被提供有关于医学流程的要求步骤以及包括其覆盖标志和相关联的基底标志的对应对象的信息。因此，AR设备可以意识到基底标志的定义的位置以及它们意图的次序。
如果检测到参考标志，则算法可以进行到步骤S304，其可以包括检查基底标志是否在视线中。步骤S304可以集中于与医学流程的正确的(子)步骤相关联的基底标志。在图15中示出的算法的示例性实施例使用对应基底标志和覆盖标志的匹配来验证已经完成特定的(子)步骤。这可以涉及将覆盖标志放置在基底标志的顶部上，使得基底标志基本上不再对AR设备的传感器单元可见。相反地，如果基底标志仍在传感器单元的视线内，则(子)步骤尚未完成。因此，算法可以进行到步骤S306，其可以包括查找和检测当前要被处理的覆盖标志。系统因此还可以检测实际上接近其配对基底标志的覆盖标志。
如果感兴趣标志的基底标志不在视线内或者不再在视线内，则算法可以进行到步骤S308，其包括检测是否已经将正确的覆盖标志放置在基底标志的顶部。如果是这种情况，则存在当前(子)步骤已经成功完成的强烈指示。算法可以进行到步骤S314，其可以包括根据图15的算法的医学流程的另一(子)步骤的算法或执行的结束。
如果在步骤S308中确定尚未成功检测到期望的覆盖标志，则算法可以进行到步骤S310，其包括确定在基底标志的顶部是否可以检测到另一错误的覆盖标志。如果是这种情况，则算法可以进行到步骤S316，并提供校正性反馈，其指示显然已经使用了附接了错误覆盖标志的错误对象。在替代例中，如果在步骤S310中根本没有检测到并识别为覆盖基底标志的任何覆盖标志，则算法可以进行到步骤S312，并提供显然已经将不可识别的对象放置在基底标志的顶部上的反馈。
在后文中，将提出并解释在本公开的范围内的示例性实施例的另外的特性和优点。
在一个实施例中，提供了一种包括被放置在物理上下文中并且可以被布置为指示目标位置的增强现实标志的系统，其中，可移动对象应当在要被执行的医学流程的过程中结束。为此，增强现实标志可以被放置在可移动物理对象上。提供了包括显示单元的AR设备，例如，智能电话、平板电脑或增强现实耳机。可以定义指定哪个可移动对象应当走到何处以及以何种次序的协议。AR设备可以被布置为在对象被误放置时提供反馈。特别地，AR设备可以被布置为在对象已经被误放置的情况下相对于错误位置提供指示关于放置对象的位置的反馈的导航反馈或路线，以便使得能够进行协议内校正。此外，当处置和/或放置对象进行得太慢而不能满足完成总协议的期限时，AR设备可以被布置为提供反馈。如果用户太慢，则可以提供关于下次应当更快地执行哪个步骤的指示。
至少一些实施例可以包括在2D或3D空间中跟踪可移动物理对象的位置和取向。如果实际检测到的情形不同于由协议指定的情形，则可以借助于增强现实来在场景中直接示出什么是错误的以及如何改正该情形。通过举例的方式，当用户处置对象B而不是对象A时，在对象A被分配给的指定时间或步骤，AR设备可以(例如，在显示单元处)指示对象B被处置，而相反用户应当处理对象A。类似地，当用户在对象A被分配给的位置处放下了对象B而不是对象A时，AR设备可以指示对象B是错误对象，在此刻感兴趣的对象反而是对象A，对象B应当被放置在被分配有对象B的特定目标位置处。此外，当用户超过时间限制(最后许可时间)时，对于特定的步骤，AR设备可以指示总流程不再能够被及时完成，并鼓励用户加速。
在家庭医院领域中的一个应用领域可以是用于化疗患者(尤其是相应的门诊病人)的血液分析。对应地，可以提供医学箱或医学设备包括血液分析仪。血液分析仪是允许经受化疗或类似治疗的患者在家测试其血液的设备。相应的血液测试流程(本文也称作医学流程)可以包括包含必须以特定次序执行的多个动作的协议。通过举例的方式，相应的(子)步骤可以包括：
-温暖患者的手；
-对皮肤进行消毒；
-刺破手指；
-将一滴血放入盒中；
-将盒插入到血液分析设备中；以及
-将创可贴放在手指上。
因此，协议的执行要求多个消耗品(刺血针、酒精擦片、血液盒、创可贴)。此外，协议基本上是时间关键的：在刺破和将具有血液的盒放到血液分析仪之间，例如应当小于45秒。如果用户没有符合这个期限，则可能总协议需要再次执行。这可能引起不适(再次刺破)，浪费时间以及还浪费材料(新的一次性针、新的一次性酒精擦片、新的血液盒)。因此，尽可能最好地引导用户通过协议以及通过类似医学流程是重要的。
另一应用领域可以在急救护理领域中。如上所述，可以结合自动体外除颤器单元(AED)使用根据本文公开的至少一些实施例的系统。AED用于紧急护理中使用以使心脏停止纤颤，并确保所有的心脏肌肉再次同步收缩。当使用AED时，使用多个元件，每个元件需要(在次序、位置等方面)被正确地放置。例如，这些元件和对象可以被布置为电极片。相应的医学流程必须被严格符合。基本上，同样应用于针对复苏的潜在的协议。应用AED是尤其时间关键的。因此，在紧急护理领域中AED和相关的或类似的医学流程也可以受益于增强现实引导，这可以由根据本文公开的至少一些实施例的系统提供。
在权利要求中，词语“包括”不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个元件或其他单元可以完成在权利要求中记载的若干项的功能。事实上，在相互不同的从属权利要求中记载的特定措施不指示不能有利地使用这些措施的组合。
计算机程序可以存储/分布在适当的(非瞬态)介质上，例如，与其他硬件一起或作为其他硬件的一部分供应的光学存储介质或固态介质，但是还可以以其他形式分布，例如经由互联网或其他有线或无线电信系统。此外，不同的实施例可以采取计算机程序产品的形式，其可以从计算机可用或计算机可读介质访问，提供用于由计算机或执行指令的任何设备或系统使用或结合其使用的程序代码。出于本公开的目的，计算机可用或计算机可读介质一般可以是任何有形装置，其可以包含、存储、通信、传播或传输用于由指令执行设备使用或结合其使用的程序。
此外，不同的实施例可以采用从计算机可用或计算机可读介质可访问的计算机程序产品的形式，其提供用于由计算机或执行指令的任何设备或系统使用或结合其使用的程序代码。出于本公开的目的，计算机可用或计算机可读介质一般可以是任何有形设备或装置，其可以包含、存储、通信、传播或传输用于由指令执行设备使用或结合其使用的程序。
目前本公开的实施例已经被描述为至少部分地由软件控制的数据处理设备实现，将认识到，承载这种软件的非瞬态机器可读介质(例如，光盘、磁盘、半导体存储器等)也被认为表示本公开的实施例。
计算机可用或计算机可读介质可以是例如但不限于电子的、磁的、光学的、电磁的、红外的或半导体的系统或传播介质。计算机可读介质的非限制性范例包括半导体或固态存储器、磁带、可移除计算机磁带盒、随机存取存储器(RAM)、只读存储器(ROM)、刚性磁盘、以及光盘。光盘可以包括压缩盘-只读存储器(CD-ROM)、压缩盘-读/写(CD-R/W)、以及DVD。
此外，计算机可用或计算机可读介质可以包含或存储计算机可读或可用程序代码，使得当计算机可读或可用程序代码在计算机上执行时，对该计算机可读或可用程序代码的执行使计算机通过通信链路发送另一计算机可读或可用程序代码。该通信链路可以使用例如但不限于物理或无线的介质。
适于存储和/或执行计算机可读或计算机可用程序代码的数据处理系统或设备将包括一个或多个处理器，其通过通信结构(例如，系统总线)直接或间接耦合到存储器元件。存储器元件可以包括在程序代码的实际执行期间采用的本地存储器、大容量存储设备以及高速缓存存储器，其提供对至少一些计算机可读或计算机可用程序代码的临时存储，以减少在执行代码期间从大容量存储设备取回代码的次数。
输入/输出或I/O设备可以直接或通过中介I/O控制器耦合到系统。这些设备可以包括例如但不限于：键盘、触摸屏显示器和指点设备。不同的通信适配器还可以耦合到系统以使得数据处理系统通过中介私有或公共网络耦合到其他数据处理系统、远程打印机、或存储设备。非限制性范例是调制解调器和网络适配器，并且少数是当前可用类型的通信适配器。
出于说明和描述的目的已经提出了不同说明性实施例的描述，并且所述描述不旨在是穷尽的或受限于所公开的形式的实施例。对本领域普通技术人员而言许多修改和变型是显而易见的。此外，与其他说明性实施例相比，不同的说明性实施例可以提供不同的优点。选择并描述了所选的一个或多个实施例，以便最好地解释实施例的原理、实际应用，并使得本领域其他普通技术人员能够理解具有各种修改的各种实施例的公开适于预见到的特定用途。通过研究附图、说明书和随附权利要求，本领域技术人员在实践要求保护的本发明时可以理解和实现公开实施例的其他变型。
权利要求书中的任何附图标记不应被解释为对范围的限制。

Claims (15)

1.一种用于多步骤医学流程的基于增强现实的用户引导系统，所述系统包括：
增强现实设备(10、30)，其包括：
-显示单元(14、34)，其被布置为呈现能够被叠加在原始场景上的人工信息，
-传感器单元(18、38)，
-处理单元(22、42)，
至少一个第一标志(142、144、146、148)，其能够由所述增强现实设备(10、30)检测到，其中，所述至少一个第一标志(142、144、146、148)与要在所述医学流程的定义的步骤中使用的对象(132、134、136、138)相关联，其中，所述医学流程包括要求用户动作的至少一个步骤，所述用户动作尤其包含手动处置所述对象(132、134、136、138)；
其中，所述增强现实设备(10、30)被布置为：
-监视场景并检测和跟踪所述至少一个第一标志(142、144、146、148)；
-提供用户引导以执行所述医学流程；
-基于所述至少一个第一标志(142、144、146、148)的检测到的状态来检测用户动作是否符合所述医学流程；并且
-当所述增强现实设备(10、30)检测到错误的用户动作时，向用户提供校正性用户反馈。
2.根据权利要求1所述的系统，
其中，至少一个第二标志(152、154、156、158)被提供，所述至少一个第二标志被布置在被分配给所述医学流程的定义的步骤的位置处，其中，所述医学流程包括如下的至少一个步骤：要求将所述对象(132、134、136、138)，尤其是所述对象的所述至少一个第一标志(142、144、146、148)，放置在所述第二标志(152、154、156、158)的附近以完成所述医学流程的步骤。
3.根据权利要求2所述的系统，
其中，所述至少一个第一标志(142、144、146、148)被布置为覆盖标志；
其中，所述至少一个第二标志(152、154、156、158)被布置为基底标志；并且
其中，所述至少一个第一标志(142、144、146、148)被附接到一次性对象(132、134、136、138)或可消耗对象(132、134、136、138)，尤其是被附接到所述一次性对象或所述可消耗对象的包装或防篡改元件。
4.根据权利要求3所述的系统，
其中，所述至少一个第一标志(142、144、146、148)是非固定标志，其被附接到在所述医学流程的过程期间要被移动的对象(132、134、136、138)；
其中，所述至少一个第二标志(152、154、156、158)是固定标志，其指示为所述医学流程的主体的医学装备处的特性位置；并且
其中，所述系统能够检测其中至少一个非固定标志(142、144、146、148)接近相应的固定标志(152、154、156、158)以完成所述医学流程的步骤的状态。
5.根据权利要求1所述的系统，
其中，所述增强现实设备(10、30)被布置为通过虚拟地突出显示与后续步骤相关联的至少一个标志(142、144、146、148、152、154、156、158)来指示所述后续步骤。
6.根据权利要求1所述的系统，
其中，所述系统还被布置为监视所述医学流程，并且相对于从包括以下的组中选择的至少一个特性检测用户动作是否是错误的：
-时间约束、持续时间约束、次序约束、序列约束、方向约束、位置约束、目标约束、以及其组合。
7.根据权利要求1所述的系统，
其中，所述增强现实设备(10、30)适于门诊处置；并且
其中，所述医学流程包括能够由业余用户或由患者自身执行的医学协议。
8.根据权利要求1所述的系统，
其中，所述医学流程包括医学协议，所述医学协议包括一系列步骤，所述步骤中的每个步骤包括从包括以下的组中选择的至少一个特性：定义的动作、定义的对象、定义的目标、定义的持续时间、定义的许可总计时间、以及其组合。
9.根据权利要求1所述的系统，
其中，所述系统包括能够由所述增强现实设备(10、30)检测到的至少一个参考标志(130)，其中，所述至少一个参考标志(130)指示要被执行的所述医学流程。
10.根据权利要求1所述的系统，
其中，所述系统还被布置为在所述医学流程的过程期间向所述用户提供包含协议内校正的校正性用户反馈；
其中，协议内校正可以尤其包括从包括以下的组中选择的动作：
-中止并重新执行步骤；
-完成并重新执行步骤；
-返回并重新执行一系列步骤，并且完成多个步骤；
-在错误的情况下，返回到起始点而不完成所述医学流程并重新执行所述多个步骤；以及
-其组合。
11.一种增强现实设备(10、30)在用于医学流程中的用户引导的系统中的用途，所述增强现实设备(10、30)包括：
-显示单元(14、34)，其被布置为呈现能够被叠加在原始场景上的人工信息，
-传感器单元(18、38)，
-处理单元(22、42)，
-所述系统还包括：
-至少一个第一标志(142、144、146、148)，其能够由所述增强现实设备(10、30)检测到，其中，所述至少一个第一标志(142、144、146、148)与要在所述医学流程的定义的步骤中使用的对象(132、134、136、138)相关联，其中，所述医学流程包括要求用户动作的至少一个步骤，所述用户动作尤其包含手动处置所述对象(132、134、136、138)；
其中，所述增强现实设备(10、30)能操作用于：
-监视场景并检测和跟踪所述至少一个第一标志(142、144、146、148)；
-提供用户引导以执行所述医学流程；
-基于所述至少一个第一标志(142、144、146、148)的检测到的状态来检测用户动作是否符合所述医学流程；并且
-当所述增强现实设备(10、30)检测到错误的用户动作时，向用户提供校正性用户反馈。
12.根据权利要求11所述的用途，包括所述增强现实设备(10、30)在家庭环境的医院中的用途，其中，所述在家庭环境的医院优选包括从包括以下的组中选择的至少一个特定用途：家庭化疗、家庭血液分析、家庭血液采样、家庭样本收集、家庭胰岛素疗法、家庭接种疫苗、以及其组合。
13.根据权利要求11所述的用途，包括所述增强现实设备(10、30)在用于急诊处置环境中的用户引导的系统中的用途，尤其是在用于自动外部除颤器布置的系统中的用途。
14.一种提供用于多步骤医学流程的基于增强现实的用户引导的方法，所述方法包括：
-提供增强现实设备(10、30)，所述增强现实设备包括：
-显示单元(14、34)，其被布置为呈现能够被叠加在原始场景上的人工信息，
-传感器单元(18、38)，
-处理单元(22、42)，以及
-提供至少一个第一标志(142、144、146、148)，所述至少一个第一标志能够由所述增强现实设备(10、30)检测到，其中，所述至少一个第一标志(142、144、146、148)与要在所述医学流程的定义的步骤中使用的对象(132、134、136、138)相关联，其中，所述医学流程包括要求用户动作的至少一个步骤，所述用户动作尤其包含手动处置所述对象(132、134、136、138)；
-监视场景，检测和跟踪所述至少一个第一标志(142、144、146、148)；
-提供用户引导以执行所述医学流程；
-基于所述至少一个第一标志(142、144、146、148)的检测到的状态来检测用户动作是否符合所述医学流程；并且
-当所述增强现实设备(10、30)检测到错误的用户动作时，向用户提供校正性用户反馈。
15.一种包括程序代码单元的计算机程序，当所述计算机程序在计算设备上执行时，所述程序代码单元用于使计算设备执行根据权利要求14所述的方法的步骤。
CN201580062837.1A 2014-11-18 2015-11-05 增强现实设备的用户引导系统和方法、使用 Pending CN107004044A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14193597 2014-11-18
EP14193597.3 2014-11-18
PCT/EP2015/075762 WO2016078919A1 (en) 2014-11-18 2015-11-05 User guidance system and method, use of an augmented reality device

Publications (1)

Publication Number Publication Date
CN107004044A true CN107004044A (zh) 2017-08-01

Family

ID=52100986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580062837.1A Pending CN107004044A (zh) 2014-11-18 2015-11-05 增强现实设备的用户引导系统和方法、使用

Country Status (5)

Country Link
US (1) US20170323062A1 (zh)
EP (1) EP3221809A1 (zh)
JP (1) JP2018503416A (zh)
CN (1) CN107004044A (zh)
WO (1) WO2016078919A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107784885A (zh) * 2017-10-26 2018-03-09 歌尔科技有限公司 基于ar设备的操作培训方法及ar设备
CN108226404A (zh) * 2017-12-27 2018-06-29 广州安食通信息科技有限公司 一种智能食品检测系统及其实现方法
CN111091732A (zh) * 2019-12-25 2020-05-01 塔普翊海（上海）智能科技有限公司 一种基于ar技术的心肺复苏指导器及指导方法
CN111143004A (zh) * 2019-12-25 2020-05-12 上海联影医疗科技有限公司 一种场景引导方法、装置、电子设备及存储介质
CN111315484A (zh) * 2018-04-24 2020-06-19 株式会社日立产机系统 安全柜
CN111433711A (zh) * 2017-11-07 2020-07-17 皇家飞利浦有限公司 设备的增强现实触发
CN112041911A (zh) * 2018-05-04 2020-12-04 易希提卫生与保健公司 用于卫生设备的训练系统
CN112584790A (zh) * 2018-06-19 2021-03-30 托尼尔公司 用于骨科外科手术的虚拟检查清单
CN113204306A (zh) * 2021-05-12 2021-08-03 同济大学 一种基于增强现实环境下的物体交互信息提示方法及系统
TWI757824B (zh) * 2020-08-10 2022-03-11 宏碁股份有限公司 擴增實境螢幕系統及擴增實境螢幕顯示方法
CN114371819A (zh) * 2020-10-15 2022-04-19 宏碁股份有限公司 扩增实境屏幕系统及扩增实境屏幕显示方法

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
DE102015216917A1 (de) * 2015-09-03 2017-03-09 Siemens Healthcare Gmbh System zur Darstellung einer erweiterten Realität über eine Bedienperson
US10403019B2 (en) * 2015-12-16 2019-09-03 Lucasfilm Entertainment Company Multi-channel tracking pattern
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
US10839707B2 (en) * 2016-09-08 2020-11-17 Wayne State University Augmented reality system and method for exposure therapy and motor skills training
WO2018052966A1 (en) * 2016-09-16 2018-03-22 Zimmer, Inc. Augmented reality surgical technique guidance
US20180092698A1 (en) * 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use
CN116230153A (zh) * 2017-01-11 2023-06-06 奇跃公司 医疗助理
US11250947B2 (en) * 2017-02-24 2022-02-15 General Electric Company Providing auxiliary information regarding healthcare procedure and system performance using augmented reality
US10489651B2 (en) 2017-04-14 2019-11-26 Microsoft Technology Licensing, Llc Identifying a position of a marker in an environment
EP3470006B1 (en) 2017-10-10 2020-06-10 Holo Surgical Inc. Automated segmentation of three dimensional bony structure images
EP3445048A1 (en) 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
US20190057548A1 (en) * 2017-08-16 2019-02-21 General Electric Company Self-learning augmented reality for industrial operations
US11385146B2 (en) 2017-09-21 2022-07-12 Becton, Dickinson And Company Sampling systems and techniques to collect hazardous contaminants with high pickup and shedding efficiencies
JP7277442B2 (ja) 2017-09-21 2023-05-19 ベクトン・ディキンソン・アンド・カンパニー 有害汚染物質検査のための拡張現実デバイス
CN209400540U (zh) 2017-09-21 2019-09-17 贝克顿·迪金森公司 危险污染检测系统和收集装置
CN209400538U (zh) 2017-09-21 2019-09-17 贝克顿·迪金森公司 引导从表面收集有害污染物样品的模板和包括其的系统
US11391748B2 (en) 2017-09-21 2022-07-19 Becton, Dickinson And Company High dynamic range assays in hazardous contaminant testing
EP3685139B1 (en) 2017-09-21 2023-12-13 Becton, Dickinson and Company Reactive demarcation template and method for hazardous contaminant testing
US11199529B2 (en) 2017-09-21 2021-12-14 Becton, Dickinson And Company Hazardous contaminant collection kit and rapid testing
US10403046B2 (en) * 2017-10-20 2019-09-03 Raytheon Company Field of view (FOV) and key code limited augmented reality to enforce data capture and transmission compliance
WO2019111077A1 (en) * 2017-11-12 2019-06-13 Aleph Bot Ltd. Systems, methods, devices, circuits and computer executable code for tracking evaluating and facilitating a medical procedure
EP3720554B1 (en) * 2017-12-07 2021-07-07 Brainlab AG Patient positioning using a skeleton model
KR20200103061A (ko) * 2017-12-21 2020-09-01 비전헬스 게엠베하 흡입기 훈련 시스템 및 방법
DE102018101893A1 (de) 2018-01-29 2019-08-01 Fresenius Medical Care Deutschland Gmbh Überwachung von Bedienaktionen für ein Dialysegerät
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US10318811B1 (en) * 2018-04-22 2019-06-11 Bubbler International Llc Methods and systems for detecting objects by non-visible radio frequencies and displaying associated augmented reality effects
US10511881B1 (en) 2018-05-31 2019-12-17 Titan Health & Security Technologies, Inc. Communication exchange system for remotely communicating instructions
US11200811B2 (en) 2018-08-03 2021-12-14 International Business Machines Corporation Intelligent recommendation of guidance instructions
EP3608870A1 (en) 2018-08-10 2020-02-12 Holo Surgical Inc. Computer assisted identification of appropriate anatomical structure for medical device placement during a surgical procedure
EP3640767A1 (de) * 2018-10-17 2020-04-22 Siemens Schweiz AG Verfahren zum bestimmen mindestens eines bereichs in mindestens einem eingabemodell für mindestens ein zu platzierendes element
WO2020154448A1 (en) * 2019-01-23 2020-07-30 Eloupes, Inc. Aligning pre-operative scan images to real-time operative images for a mediated-reality view of a surgical site
CN212748381U (zh) 2019-01-28 2021-03-19 贝克顿·迪金森公司 一种有害污染物检测系统和一种有害污染物收集装置
US10983672B2 (en) * 2019-02-12 2021-04-20 Caterpilar Inc. Augmented reality model alignment
US11373400B1 (en) * 2019-03-18 2022-06-28 Express Scripts Strategic Development, Inc. Methods and systems for image processing to present data in augmented reality
US11355242B2 (en) 2019-08-12 2022-06-07 International Business Machines Corporation Medical treatment management
US20210153959A1 (en) * 2019-11-26 2021-05-27 Intuitive Surgical Operations, Inc. Physical medical element affixation systems, methods, and materials
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
JP7269902B2 (ja) * 2020-06-04 2023-05-09 ユニ・チャーム株式会社 表示制御装置、表示制御方法および表示制御プログラム
WO2021252482A1 (en) * 2020-06-09 2021-12-16 Avail Medsystems, Inc. Systems and methods for machine vision analysis
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US11963683B2 (en) 2020-10-02 2024-04-23 Cilag Gmbh International Method for operating tiered operation modes in a surgical system
US11830602B2 (en) 2020-10-02 2023-11-28 Cilag Gmbh International Surgical hub having variable interconnectivity capabilities
US11748924B2 (en) 2020-10-02 2023-09-05 Cilag Gmbh International Tiered system display control based on capacity and user operation
US11992372B2 (en) 2020-10-02 2024-05-28 Cilag Gmbh International Cooperative surgical displays
US11877897B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Situational awareness of instruments location and individualization of users to control displays
US11672534B2 (en) 2020-10-02 2023-06-13 Cilag Gmbh International Communication capability of a smart stapler
US11911030B2 (en) 2020-10-02 2024-02-27 Cilag Gmbh International Communication capability of a surgical device with component
US11883022B2 (en) 2020-10-02 2024-01-30 Cilag Gmbh International Shared situational awareness of the device actuator activity to prioritize certain aspects of displayed information
US11877792B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Smart energy combo control options
US11883052B2 (en) 2020-10-02 2024-01-30 Cilag Gmbh International End effector updates
US20220104896A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Interactive information overlay on multiple surgical displays
US11295460B1 (en) 2021-01-04 2022-04-05 Proprio, Inc. Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene
EP4275214A1 (en) * 2021-01-08 2023-11-15 Expanded Existence, Inc. System and method for medical procedure optimization
EP4278366A1 (en) 2021-01-12 2023-11-22 Emed Labs, LLC Health testing and diagnostics platform
US11709553B2 (en) * 2021-02-25 2023-07-25 International Business Machines Corporation Automated prediction of a location of an object using machine learning
US11429406B1 (en) * 2021-03-08 2022-08-30 Bank Of America Corporation System for implementing auto didactic content generation using reinforcement learning
US11373756B1 (en) 2021-05-24 2022-06-28 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11929168B2 (en) 2021-05-24 2024-03-12 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11615888B2 (en) 2021-03-23 2023-03-28 Emed Labs, Llc Remote diagnostic testing and treatment
US11418609B1 (en) 2021-06-16 2022-08-16 International Business Machines Corporation Identifying objects using networked computer system resources during an event
GB2623461A (en) 2021-06-22 2024-04-17 Emed Labs Llc Systems, methods, and devices for non-human readable diagnostic tests
US11696011B2 (en) 2021-10-21 2023-07-04 Raytheon Company Predictive field-of-view (FOV) and cueing to enforce data capture and transmission compliance in real and near real time video
US11792499B2 (en) 2021-10-21 2023-10-17 Raytheon Company Time-delay to enforce data capture and transmission compliance in real and near real time video
US11700448B1 (en) 2022-04-29 2023-07-11 Raytheon Company Computer/human generation, validation and use of a ground truth map to enforce data capture and transmission compliance in real and near real time video of a local scene
WO2023215395A2 (en) * 2022-05-03 2023-11-09 Noble International, Llc Ar marker for injection
KR20240057712A (ko) * 2022-10-25 2024-05-07 가톨릭대학교 산학협력단 가상 현실 기반의 정량식 흡입기 사용 훈련 서비스를 제공하기 위한 서버, 방법 및 프로그램
KR102625552B1 (ko) * 2023-02-11 2024-01-16 (주)유오더 테이블 결합형 태블릿 거치대 구조체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090275805A1 (en) * 2008-04-30 2009-11-05 Welch Allyn, Inc. On demand help/in-service for a medical device
US20140081659A1 (en) * 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
CN103970265A (zh) * 2013-01-15 2014-08-06 英默森公司 具有触觉反馈的增强现实用户接口

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090275805A1 (en) * 2008-04-30 2009-11-05 Welch Allyn, Inc. On demand help/in-service for a medical device
US20140081659A1 (en) * 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
CN103970265A (zh) * 2013-01-15 2014-08-06 英默森公司 具有触觉反馈的增强现实用户接口

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107784885A (zh) * 2017-10-26 2018-03-09 歌尔科技有限公司 基于ar设备的操作培训方法及ar设备
CN111433711A (zh) * 2017-11-07 2020-07-17 皇家飞利浦有限公司 设备的增强现实触发
CN108226404A (zh) * 2017-12-27 2018-06-29 广州安食通信息科技有限公司 一种智能食品检测系统及其实现方法
CN111315484A (zh) * 2018-04-24 2020-06-19 株式会社日立产机系统 安全柜
US11830374B2 (en) 2018-05-04 2023-11-28 Essity Hygiene And Health Aktiebolag Training system for hygiene equipment
CN112041911A (zh) * 2018-05-04 2020-12-04 易希提卫生与保健公司 用于卫生设备的训练系统
CN112584790A (zh) * 2018-06-19 2021-03-30 托尼尔公司 用于骨科外科手术的虚拟检查清单
CN111091732B (zh) * 2019-12-25 2022-05-27 塔普翊海（上海）智能科技有限公司 一种基于ar技术的心肺复苏指导器及指导方法
CN111143004A (zh) * 2019-12-25 2020-05-12 上海联影医疗科技有限公司 一种场景引导方法、装置、电子设备及存储介质
CN111091732A (zh) * 2019-12-25 2020-05-01 塔普翊海（上海）智能科技有限公司 一种基于ar技术的心肺复苏指导器及指导方法
CN111143004B (zh) * 2019-12-25 2024-02-27 上海联影医疗科技股份有限公司 一种场景引导方法、装置、电子设备及存储介质
TWI757824B (zh) * 2020-08-10 2022-03-11 宏碁股份有限公司 擴增實境螢幕系統及擴增實境螢幕顯示方法
US11328493B2 (en) 2020-08-10 2022-05-10 Acer Incorporated Augmented reality screen system and augmented reality screen display method
US11836875B2 (en) 2020-08-10 2023-12-05 Acer Incorporated Augmented reality screen system and augmented reality screen display method
CN114371819A (zh) * 2020-10-15 2022-04-19 宏碁股份有限公司 扩增实境屏幕系统及扩增实境屏幕显示方法
CN114371819B (zh) * 2020-10-15 2023-10-17 宏碁股份有限公司 扩增实境屏幕系统及扩增实境屏幕显示方法
CN113204306A (zh) * 2021-05-12 2021-08-03 同济大学 一种基于增强现实环境下的物体交互信息提示方法及系统

Also Published As

Publication number Publication date
JP2018503416A (ja) 2018-02-08
EP3221809A1 (en) 2017-09-27
WO2016078919A1 (en) 2016-05-26
US20170323062A1 (en) 2017-11-09

Similar Documents

Publication Publication Date Title
CN107004044A (zh) 增强现实设备的用户引导系统和方法、使用
TWI588675B (zh) 用於藥物輸送裝置的資訊提供器系統
CN108135772B (zh) 用于基于具有身体测量结果的在线存储资料的个性化治疗指导的便携式医疗设备和方法
US10152150B2 (en) Facilitating user input via arm-mounted peripheral device interfacing with head-mounted display device
CN110301012A (zh) 使用增强现实提供关于医疗保健程序和系统性能的辅助信息
CN107249441A (zh) 用于测量生物信息的电子装置和方法
CN107278138A (zh) 能够自动识别待测量的身体部位的电子装置以及电子装置的身体组分测量方法
JP7005305B2 (ja) 静脈発見および患者識別のための赤外光吸収の使用
JP2016509938A (ja) バーコードリーダーを備える除細動器及びデータを記録する方法
US20160015272A1 (en) Palpation evaluation or diagnosis device, system and method
US20220125378A1 (en) Systems and Methods for Detecting and Characterizing Pain
KR20200130944A (ko) 통증 모니터링 장치 및 방법
JP2007179339A (ja) 医療情報システム及び医療情報処理プログラム
CN108475479A (zh) 药物训练装置和系统
JP7427111B2 (ja) 薬剤送達装置に取り付けられた補助装置の起動および検出システム
CN107657196A (zh) 医嘱执行的监控方法及装置、存储介质、终端、监控系统
TWM640769U (zh) 防護衣穿脫人工智慧引導系統
Meshram et al. SmartMedBox: A smart medicine box for visually impaired people using IoT and computer vision techniques
KR20170053019A (ko) 원격진료환자 본인확인을 위한 사용자 인증가능 산소포화도 측정 기능을 구비한 모바일기기 및 이를 이용한 산소포화도 측정 방법
KR102179223B1 (ko) 발침 카운트 계측기 및 이를 이용한 발침 회수방법
RU2521104C2 (ru) Мобильный телефон с лечебно-диагностическими функциями
KR100728605B1 (ko) 수술환자 자동식별장치
US20210338400A1 (en) Dental treatment assistance device, dental treatment assistance system, dental treatment assistance method, dental treatment assistance program, and dental product sales promotion device
Tanbeer et al. MiVitals–Mixed Reality Interface for Vitals Monitoring: A HoloLens based Prototype for Healthcare Practices
TWI830342B (zh) 防護衣穿脫人工智慧引導系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170801