CN108352195A - 具有用于经由增强现实眼镜远程协助空间放置任务的用户界面的远程协助工作站、方法和系统 - Google Patents

具有用于经由增强现实眼镜远程协助空间放置任务的用户界面的远程协助工作站、方法和系统 Download PDF

Info

Publication number
CN108352195A
CN108352195A CN201680063774.6A CN201680063774A CN108352195A CN 108352195 A CN108352195 A CN 108352195A CN 201680063774 A CN201680063774 A CN 201680063774A CN 108352195 A CN108352195 A CN 108352195A
Authority
CN
China
Prior art keywords
scene
long
pane
remote assistance
respondent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680063774.6A
Other languages
English (en)
Inventor
J·P·查亚迪宁拉特
赵沛然
吕颖琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN108352195A publication Critical patent/CN108352195A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/332—Portable devices specially adapted therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H31/00—Artificial respiration or heart stimulation, e.g. heart massage
    • A61H31/004—Heart stimulation
    • A61H31/007—Manual driven
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/38—Applying electric currents by contact electrodes alternating or intermittent currents for producing shock effects
    • A61N1/39—Heart defibrillators
    • A61N1/3993—User interfaces for automatic external defibrillators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A62—LIFE-SAVING; FIRE-FIGHTING
    • A62B—DEVICES, APPARATUS OR METHODS FOR LIFE-SAVING
    • A62B99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/20—Linear translation of a whole image or part thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Abstract

一种远程协助工作站12包括通信模块54、用户界面(UI)模块52和控制器56，以耦合到便携式设备14，所述便携式设备包括一副增强现实(AR)眼镜36，所述一副增强现实眼镜由第一响应者佩戴以使用在场景处的物体与对象执行动作。UI模块52绘制远程助理图形用户界面(GUI)100，所述远程助理图形用户界面包括(i)用于显示远程协助请求的实况视频流的第一窗格96以及(ii)用于显示在场景处的物体的2D表示的第二窗格98，所述2D表示可通过远程助理输入在所述场景中移动。GUI 100相对于参考点在第一窗格内绘制对应的3D虚拟内容项。控制器56向便携式设备14输出远程协助信号，以在场景的实况视图中在AR眼镜上显示3D虚拟内容项38，其出现在由在第二窗格98内移动2D表示以协助在场景处的第一响应者的远程助理输入所确定的位置处。

Description

具有用于经由增强现实眼镜远程协助空间放置任务的用户界 面的远程协助工作站、方法和系统
技术领域
本发明实施例总体上涉及远程协助的提供，更具体地，涉及具有用于经由增强现实眼镜对空间放置任务提供远程协助的用户界面的远程协助工作站、方法和系统。
背景技术
本领域已知各种方法和系统，其中，远程助理或专家使用某种形式的视频协作或其他远程协助工具向需要协助的人提供指导。一种已知的方法包括与诸如增强现实眼镜的增强现实显示器进行交互，并且经由从第一用户的增强现实设备接收视野的可视记录并将其显示在远程助理的显示设备上来促进。所述方法还包括接收对远程助理的显示设备的触摸输入的指示，并且由处理器确定图像内的输入的位置，并且使关于输入的位置信息被提供给增强现实设备，使得可以将指示(即，箭头图标)强加于由在输入位置处的增强现实提供的视图。然而，在一些情况下，例如在医疗紧急情况下，通过这种方法和系统提供箭头图标是非常不足的。
换言之，显示器上的箭头图标的使用受到限制，尤其是对于第一响应者需要的不仅仅是简单的二维(2D)协助，而是三维(3D)引导的紧急情况。例如，为了传送高质量的CPR，第一响应者不仅需要将他或她的双手定位在受害者胸部的适当位置上，而且第一响应者还需要以正确的深度(即受害者胸部的按压)和速度(即按压的频率)进行动作。指南建议2英寸(2in)的深度。按压使血液通过身体移动以保持重要器官的氧合。另外，足够的深度实质上使胸骨和脊柱之间的心脏陷下去(traps)，并有效地挤出血液。否则，出现CPR不足。
此外，在紧急情况下，第一响应者能够正在使用当前已知的CPR节拍器，其引导第一响应者为瘦的和胖的人部署(deploying)相同的按压深度。问题存在于，部署太小的深度是无效的，并且部署太深的深度潜在地导致对于被按压的结构的损坏，例如尤其是相对于儿童的CPR胸部按压深度。而且，已知在CPR期间偶然发生肋骨骨折，其继而引起其他并发症。在施用CPR中的另一个问题是不完全的胸腔释放。尽管按压的深度，即将胸部按压得足够深，是重要的，但是充分地释放受害者胸部上的压力也很重要。如果第一响应者没有充分地抬起他的双手，则受害者的胸部保持被按压，并且对心脏的泵送效应减弱。
除了用于紧急护理的CPR之外，自动体外除颤器(AED)也是已知的。使用AED时，必须根据严格且时间关键的方案进行复苏。通常，受害者的复苏由非正式护理人员(例如，同事、家庭成员、旁观者)开始，因为紧急情况的第一分钟是至关重要，并且需要时间让某人带着AED赶到。为了复苏(即在受害者胸部上的泵送动作，与口对口交替)至正确地运行，非正式护理人员需要以正确的深度(即受害者胸部的按压)和速度(即按压频率)进行动作。
此外，与具有AED的除颤和紧急情况护理结合，应当注意，当心脏正在原纤化时，紊乱的电信号破坏心脏肌肉的同步收缩。AED设备能够通过施用电击来帮助将心脏的电信号带回同步。为了施用这种电击，需要以特定位置和取向将两个粘性电极衬垫定位到受害者的身体上。具体地，电极衬垫需要沿身体的对角线放置，心脏定位在电极衬垫之间。用于成人患者的最佳放置涉及第一衬垫附接至右上胸部，并且然后第二衬垫附接至受害者的左下侧。对于专业护理人员来说，这可能很容易，但对于非正式护理人员来说，这能够很棘手。一些AED可以提供逐步的口头指示和/或图示，其帮助非正式护理人员正确地使用电极衬垫和设备。然而，对于仅由电极衬垫本身上的图示引导的外行人员，将衬垫放置在需要紧急护理的受害者上的最佳位置中可能是困难的。
除了以上相对于施用CPR所讨论的问题以外，使用AED的另一个问题是在受害者上的不正确的电极衬垫放置。为了最佳除颤，应当将两个电极衬垫正确放置在受害者的身体上。医学专业人员通常知道如何相对于诸如乳头、肚脐和肋骨线的身体特征来放置衬垫。然而，外行第一响应者通常不知道这些信息，对于产品而言要在紧急情况下以非动态2D图形快速传递该复杂的医疗信息是困难的。通常被发现图示在每个AED电极衬垫上的非动态2D图形很难与受害者的身体有关。
在心脏停搏期间每秒钟进行计数。因此，期望提供具有图形用户界面的远程协助工作站、方法和系统，以用于经由增强现实眼镜向具有空间放置任务的第一响应者提供远程协助，例如用于减少开始复苏或其他紧急处置所需的时间，并且因此改进受害者的生存机会。因此，期望一种用于克服现有技术中的问题的改进的方法和装置。
发明内容
根据本公开的一个方面，随着增强现实头戴式耳机的出现，对于佩戴这种增强现实头戴式耳机或眼镜的“在场景处出现的人员”而言连接到远程专家成为可能。远程专家然后能够看到由AR眼镜中的相机捕获的实况流，并且“通过在场景处出现的人员”的“眼睛看到”。可能的使用情况是紧急情况下的第一响应者由911呼叫中心的医学专家协助，以及进行维护或维修的现场技术人员或工程师咨询对具体的机器、特定流程和部件的可用性等有更多了解的后台的远程专家。第一个使用情况与紧急护理高度相关，最值得注意的是应急响应团队能够远程支持第一响应者的产品-服务组合。第二个使用情况与例如医疗保健业务高度相关，其中，该领域的维护工程师必须在专业医学装备(例如MRI、CT、iXR和超声扫描器、患者监测器等)上进行工作。第二个使用情况也与相对于照明系统(例如办公照明、街道照明等)的照明业务相关联。对于这种类型的应用至关重要的是，远程专家使用根据本实施例的图形用户界面如何能够在由在场景处的人员佩戴的AR眼镜中提供虚拟2D和3D图形引导。
根据本公开的一个实施例，由远程专家使用以经由增强现实眼镜提供远程协助的图形用户界面包括至少两个窗格。第一窗格包括从增强现实眼镜中的相机获得的实况视频流视图。第二窗格包括图示远程场景的给定取向的2D视图(例如俯视图或其他取向)的表示和与正在被呈现的远程协助相关的3D虚拟物体的各种可移动2D表示，并且更具体地，所述表示图示能够相对于3D场景中的参考点选择和移动的虚拟内容的2D视图。虚拟物体可经由专家助理在至少第二窗格内选择和移动。
远程助理图形用户界面GUI向远程专家提供至少两种模式，以用于向“在场景处出现的人员”传递信息。在第一种模式中，远程专家能够通过例如经由触摸具有显示在其中的第一窗格中的实况视频流的触摸屏显示器选择(x，y)坐标来突出显示第一窗格中的实况视频流中的任何部分，并且完全相同的部分将在立体AR眼镜中突出显示，以供佩戴AR眼镜的人看到。虚拟突出显示相对于实况视图窗格的框架(即，用于专家的)以及相对于AR眼镜是固定的。因此，该第一模式仅当在场景处的人员暂时保持他或她的头部静止时进行工作，否则在场景上的视图将相对于虚拟突出显示“滑动”。在第二模式中，远程专家能够在如显示在第二窗格中的场景的2D表示中选择并来回移动(即拖动)虚拟内容。因为如由远程助理在用户界面的第二窗格中移动的虚拟内容相对于3D场景中的固定参考点被定位，因此在佩戴AR眼镜的人移动他或她的头部时没有关系：远程专家能够在虚拟内容不会随着增强现实眼镜的移动而跳动的情况下移动虚拟内容。
最重要地，当第一响应者正在移动他或她的头部时，远程助理不能简单地移动第一窗格内的内容(即，实况视频流)。后一种情况使得对于远程专家而言保持3D虚拟内容稳定，即在第一窗格的实况视频流内是不可能的。因此，远程协助工作站经由第二窗格(即，2D俯视图或其他期望的2D取向视图)利用3D虚拟内容的间接应用。远程助理选择并移动在场景处的对象或第二物体的2D俯视图内的3D虚拟内容的2D表示。在通过远程助理将3D虚拟内容放置在2D俯视图内的期望位置中之后，远程协助工作站的控制器产生远程协助信号，以使3D虚拟内容显示在实况视频流内并相对于实况视频流中的参考点保持稳定。
根据一个实施例，远程协助工作站被配置用于操作性地耦合到便携式设备，所述便携式设备包括至少一副立体增强现实眼镜，所述便携式设备由第一响应者使用，以与在场景处的对象和第二物体中的至少一个结合使用在场景处的第一物体来执行至少一个动作。远程协助工作站包括通信模块、用户界面模块和控制器。通信模块被配置用于响应于从便携式设备发起的远程协助请求而与便携式设备进行通信；远程协助请求至少包括经由在场景处的立体增强现实眼镜的相机捕获的实况视频流。
用户界面模块被配置用于(a)在显示设备上绘制远程助理图形用户界面和(b)从远程助理接收远程助理输入。远程助理图形用户界面至少包括(i)用于显示远程协助请求的实况视频流的第一窗格，和(ii)用于显示在场景处的第一物体的2D表示的第二窗格。所呈现的2D表示可响应于一个或多个远程助理输入而在第二窗格内移动。远程助理图形用户界面还被配置用于相对于第一窗格内的至少参考点，在第一窗格内绘制对应于在场景处的第一物体的2D表示的对应的至少一项3D虚拟内容。参考点基于实况视频流的内容。
控制器被配置用于生成经由通信模块输出至便携式设备的一个或多个远程协助信号，所述便携式设备用于在立体增强现实眼镜上向由AR眼镜的相机捕获的场景的实况视图内的第一响应者显示至少一项3D虚拟内容。至少一项3D虚拟内容响应于在远程助理图形用户界面的第二窗格内移动在场景处的第一物体的2D表示的一个或多个远程助理输入而出现在相对于实况视图内的参考点的正确位置处，以协助第一响应者与在场景处的对象或第二物体结合使用第一物体执行至少一个动作。
在另一实施例中，便携式设备包括便携式医学设备，所述便携式医学设备包括自动体外除颤器(AED)、心肺复苏(CPR)节拍器和心电图(ECG)监测器中的至少一个。此外，在场景处的第一物体包括以下中的一个或多个：(i)第一响应者的手、双手或其他第一响应者身体部分，以及(ii)便携式设备的至少一个项(item)。
在又一实施例中，至少一项3D虚拟内容包括表示(i)第一响应者的手、双手或其他第一响应者身体部分，和(ii)便携式设备的至少一个项中的至少一个的至少一个虚拟表示轮廓。
根据另一实施例，远程协助工作站还包括以下中的一个或多个：视频绘制模块、2D图形视图绘制模块、参考点模块和XY坐标模块。视频绘制模块可操作用于在第一窗格内至少呈现远程协助请求的实况视频流。2D图形视图绘制模块可操作用于在第二窗格内至少呈现(i)在场景处的对象或第二物体的2D表示，以及(ii)在场景处的第一物体的2D表示。参考点模块可操作用于建立在远程协助请求的实况视频流的内容内并被显示在第一窗格中的参考点。最后，XY坐标模块可操作用于至少基于用于远程协助请求的实况视频流的参考点在第一窗格中建立XY坐标系。
在额外的实施例中，参考点包括以下中的至少一个：(i)经由应用于实况视频流中的对象的图像的面部识别算法确定的对象的面部，以及(ii)在绘制在第一窗格中的实况视频流的内容中的远程助理选择的参考点。此外，远程助理选择的参考点能够包括以下中的至少一个：(i)在场景处的对象或第二物体上的参考点、(ii)便携式设备上的参考点，以及(iii)第一物体上的参考点。此外，远程助理选择的参考点还能够包括垂直方向，其中，垂直方向通过旋转第二窗格的视图修改视图来选择，使得视图的垂直方向与在场景处的对象或第二物体的中心轴相对应。
在又一实施例中，一个或多个远程协助信号被配置用于在立体增强现实眼镜上向由AR眼镜的相机捕获的场景的实况视图内的第一响应者显示至少一个突出显示。响应于至少一个远程助理输入而显示至少一个突出显示，所述远程助理输入包括远程助理选择显示在远程专家图形用户界面的第一窗格中的实况视频流中的XY坐标。在该实施例中，在增强现实眼镜中的匹配XY坐标处显示至少一个突出显示，如由第一响应者所看到的。
在又一实施例中，远程助理图形用户界面的第二窗格包括针对要与在场景处的对象或第二物体结合来执行的多种类型的动作中的每种的至少一个选项卡。响应于远程助理经由远程助理图形用户界面在第二窗格中选择给定的选项卡，2D图形视图绘制模块在第二窗格内绘制与给定的选项卡相关联的第一物体的一个或多个2D表示，所述给定的选项卡可用于相对于对应的给定类型的动作由远程助理使用。例如，一个选项卡可以特定于AED和诸如电极放置的相关动作，而其他选项卡可以特定于CPR、分诊等。
在一个实施例中，便携式设备包括便携式医学设备，所述便携式医学设备包括自动体外除颤器(AED)、心肺复苏(CPR)节拍器和心电图(ECG)监测器中的至少一个。第一物体的一个或多个2D表示可以对应于以下中的一个或多个：(i)第一响应者的手、双手或其他第一响应者身体部分，以及(ii)便携式设备的至少一个项。此外，便携式设备的至少一个项的一个或多个2D表示还能够表示从包括以下项的组中所选择的至少一个：AED衬垫放置、CPR按压放置和ECG传感器放置。此外，远程协助工作站能够包括显示设备，其中，显示设备包括用于接收远程协助输入的触摸屏设备。
根据另一方面，一种方法包括经由远程协助工作站和便携式设备提供远程协助的步骤，其中，便携式设备包括至少一副立体增强现实眼镜。便携式设备由第一响应者使用，以与在场景处的对象和第二物体中的至少一个结合使用在场景处的第一物体来执行至少一个动作。具体地，方法至少包括操作性地耦合、绘制和接收、以及生成三个步骤。
第一步骤包括响应于从便携式设备发起的远程协助请求而经由通信模块将远程协助工作站操作性地耦合到便携式设备。远程协助请求至少包括经由在场景处的立体增强现实眼镜的相机捕获的实况视频流。
第二步骤包括经由用户界面模块在显示设备上绘制远程助理图形用户界面并且从远程助理接收远程助理输入。远程助理图形用户界面至少包括(i)用于显示远程协助请求的实况视频流的第一窗格，以及(ii)用于显示在场景处的第一物体的2D表示的第二窗格。所绘制的2D表示能够响应于一个或多个远程助理输入而在第二窗格内移动，其中，远程助理图形用户界面还相对于第一窗格内的至少参考点，在第一窗格内绘制对应于在场景处的第一物体的2D表示的对应的至少一项3D虚拟内容。参考点基于实况视频流的内容。
第三步骤包括经由控制器生成要经由通信模块输出至便携式设备的一个或多个远程协助信号，所述便携式设备用于在立体增强现实眼镜上向在如由相机捕获的场景的实况视图内的第一响应者显示至少一项3D虚拟内容。至少一项3D虚拟内容响应于在远程助理图形用户界面的第二窗格内移动在场景处的第一物体的2D表示的一个或多个远程助理输入而出现在相对于实况视图内的参考点的正确位置处，以协助第一响应者与在场景处的对象或第二物体结合执行至少一个动作。
在另一方面中，方法包括：其中，经由控制器的生成还包括生成一个或多个远程协助信号，以用于响应于至少一个远程助理输入而向在由相机捕获的场景的实况视图内的第一响应者在立体增强现实眼镜上显示至少一个突出显示，所述至少一个远程助理输入包括远程助理选择显示在远程专家图形用户界面的第一窗格中的实况视频流中的XY坐标，此外其中，至少一个突出显示被显示在增强现实眼镜中的匹配XY坐标处，如由第一响应者看到的。
在又一方面中，方法包括，其中，参考点包括从包括以下项的组中选择的一个：(i)经由被应用于在第一窗格中绘制的实况视频流中的对象的图像的面部识别算法确定的对象的面部的参考点，以及(ii)在第一窗格中绘制的实况视频流的内容内的远程助理选择的参考点。远程助理选择的参考点还包括以下中的至少一个：(i)在场景处的对象或第二物体上的参考点、(ii)便携式设备上的参考点，以及(iii)第一物体上的参考点，并且其中，选择远程助理参考点还包括通过旋转第二窗格的视图来修改所述视图，使得视图的垂直方向与在场景处的对象或第二物体的中心轴对应。
在本公开的另外的实施例中，一种非暂态计算机可读介质具有指令，所述指令当由处理器运行时使处理器执行如本文中所讨论的方法。
在又一实施例中，远程协助系统包括如本文中所讨论的远程协助工作站；以及便携式设备。便携式设备包括至少一副立体增强现实眼镜，并且在场景处的第一物体包括以下中的一个或多个：(i)第一响应者的手、双手或其他第一响应者身体部分，以及(ii)至少一个项，此外其中，便携式设备由第一响应者使用，以与在场景处的对象和第二物体中的至少一个结合执行至少一个动作。便携式设备还包括被配置为与远程协助工作站进行通信的通信模块。此外，至少一个项包括由第一响应者使用以与在场景处的对象或第二物体中的至少一个结合执行至少一个动作的至少一个工件。此外，要由第一响应者佩戴的至少一副立体增强现实眼镜包括用于捕获在场景处的对象或第二物体的实时图像的相机。
在阅读和理解了下面的详细描述之后，其他的优点和益处对于本领域的普通技术人员而言将变得显而易见。
附图说明
本公开的实施例可以采取各种部件和部件布置以及各种步骤和各步骤安排的形式。因此，附图是为了图示各种实施例的目的，而不应被解释为对实施例的限制。在附图中，相似的附图标记表示相同的元件。此外，应当注意，这些图形能够不是按比例绘制的。
图1是根据本公开实施例的具有用于提供具有空间放置任务的远程协助的用户界面的远程协助工作站和便携式设备的框图，其中，便携式设备包括由第一响应者使用以与在场景处的对象或第二物体结合使用在场景处的第一物体来执行至少一个动作的至少一副立体增强现实(AR)眼镜；
图2是根据本公开实施例的更详细的具有用于具有空间放置任务的远程协助的用户界面的远程协助工作站的框图；
图3是根据本公开实施例的由第一响应者使用以与在场景处中的对象或第二物体结合使用在场景处的第一物体来执行至少一个动作的便携式设备的框图；
图4是根据本公开实施例的远程协助工作站图形用户界面的第一和第二窗格的组合图像和对应注释视图，其示出了在图形用户界面的第二窗格内选择和移动的3D内容的可移动2D表示的远程协助输入；
图5是根据本公开的实施例的具有在场景处的对象的如在使用便携式设备的第一响应者的增强现实眼镜中所显示的组合图像和对应注释视图，其示出了在图4的图形用户界面的第二窗格中的每个远程助理输入的3D虚拟内容的放置；
图6是根据本公开的实施例的远程协助工作站图形用户界面的第一和第二窗格的组合图像和对应注释视图，其示出了在图形用户界面的第一窗格内所接收的(x，y)坐标选择的远程协助输入；
图7是根据本公开的实施例的具有在场景处的对象的如在使用便携式设备的第一响应者的增强现实眼镜中所显示的组合图像和对应注释视图，其示出了在图6的图形用户界面的第一窗格中的每个远程助理输入的对应(x，y)坐标处的突出显示的放置；并且
图8是根据本公开的实施例的用于经由远程协助工作站的用户界面和便携式设备提供具有空间放置任务的远程协助的方法的流程图，其中，便携式设备包括至少一副立体增强现实眼镜，其由第一响应者使用以与在场景处的对象或第二物体结合使用在场景处的第一物体来执行至少一个动作。
具体实施方式
参考在附图中并且在以下描述中详细描述和/或图示的非限制性范例来更全面地解释本公开的实施例及其各种特征和有利的细节。应当指出，附图中图示的特征不一定按比例绘制，并且如本领域技术人员所知道的，一个实施例的特征可以与其他实施例一起被采用，即使本文中没有明确说明。公知的部件和处理技术的描述可以被省略，以免不必要地模糊本公开的实施例。本文中使用的范例仅旨在便于理解本发明的实施例可以被实践的方式并且还使本领域技术人员能够实践相同的方式。因此，本文中的范例不应被解释为对本公开的实施例的范围的限制，所述范围仅由权利要求和适用的法律限定。
应当理解，本公开的实施例不限于本文中所描述的具体方法论、协议、设备、装置、材料、应用等，因为这些可以变化。还应当理解，本文中所使用的术语仅用于描述具体实施例的目的，而不旨在限制所要求保护的实施例的范围。必须注意，如本文和权利要求中所使用的，单数形式的“一”、“一个”和“所述”包括多个引用，除非上下文另有明确说明。
除非另外定义，否则本文中所使用的所有技术和科学术语具有与本公开的实施例所属的领域中的普通技术人员通常所理解的相同的含义。描述了优选的方法、设备和材料，但是在实施例的实践或测试中能够使用与本文中描述的那些类似或等价的任何方法和材料。
如从本文的公开内容意识到的，随着增强现实(AR)眼镜的出现，对允许佩戴者咨询远程专家的应用存在很大的兴趣。由于增强现实眼镜以相机为特征，因此能够经由互联网链接或其他合适的通信链接将这种相机的实况视图转发给远程专家。通常，AR眼镜的佩戴者是出现在场景处“亲自动手”的人。远程专家不能在物理上亲身在场景处做任何事情；然而，远程专家通常具有更多的知识或对资源的接触。因此，例如在医疗紧急情况下，远程专家能够要求的出现在场景处的人做特定事情，并且通过流程引导他或她。
经由具有本公开的用户界面的远程协助工作站、方法和系统，经由增强现实眼镜向具有空间放置任务的第一响应者提供远程协助存在多个有益之处。这些有益之处包括以下中的一个或多个：出现在场景处的人员能够是“未经培训过的”；远程专家能够提供任务支持；远程专家能够提供情感支持；并且利用远程专家的帮助，问题可以得到解决，而无需第二次访问场景。在一个范例中，紧急情况下第一响应者能够经由AR眼镜和远程专家用户界面连接到911紧急响应团队的专家。在另一范例中，执行维护或修理工作的现场工程师能够连接到办公室，以咨询对某种机器、某个流程、部件的可用性等有更多了解的专家。
如从本文的公开所理解的，本公开的实施例利用与“具有辅助显示器的眼镜”不同的立体增强现实(AR)眼镜。相对于“具有辅助显示器的眼镜”(例如GoogleTM眼镜)，通常定位在视野右上角的辅助显示器能够示出由眼镜中的相机捕获的视频流。显示器存在于真实世界的用户的实际视图旁边：不能将虚拟物体直接放置到真实世界的用户的视图中。因此，对于远程专家，能够突出显示相机图像中的元素，但对于佩戴眼镜的人员，这些出现在辅助显示器中，而不是真实世界的他或她的直接视图中。然后，缺点是存在“间接性”：用户需要在辅助显示器处检查以查看哪个元素由远程专家突出显示，并且之后，在他或她的实际的、物理的环境中查找对应的元素。
现在相对于立体增强现实(AR)眼镜，立体AR眼镜的本质是通过直接显示在用户眼睛前面，虚拟内容能够与物理世界同位。即，能够以虚拟内容出现在他或她的实际环境中的具体位置处这种方式向用户显示虚拟内容，如计算机生成的全息图。这种AR眼镜的优点在于，远程助理或专家能够将虚拟内容移动到具体的3D位置(即，将虚拟内容移动到3D场景的2D表示中的具体位置，其然后被呈现或者在第一响应者的AR眼镜中可见)，以针对具体的远程协助应用(例如，在紧急情况下)以引导在场景处的人员的注意力、指示方向、示出什么应当去哪儿等等。一个问题是，当来自AR眼镜中的相机的实况视频馈送作为图像显示在远程专家的显示器上时，其随着在场景处的人员的头部位置而移动。这使得远程专家不能直接在实况视图中操纵虚拟内容。同时，对于远程助理或专家来说，将虚拟光标指向实况视图中的某个事物是非常有用的，完全相信在场景处的人员看到了在其视野中的相同元素的顶部的虚拟指针。
鉴于以上，发明人已经发明了包含两个窗格的用于远程助理或专家的远程助理图形用户界面(GUI)。第一窗格示出来自AR眼镜的实况视图。第二窗格示出3D场景的二维(2D)视图，其中，远程助理或专家能够移动虚拟内容。即，第二窗格示出具有远程场景的2D视图(即，针对给定取向的，诸如俯视图、侧视图等)和各种可移动虚拟物体的图形表示。远程助理GUI优选地向远程助理提供至少两种模式，以将信息传递给出现在场景处的人员或第一响应者。
在一种模式中，远程助理能够通过例如经由触摸具有显示在其上的第一窗格中的实况视频流的触摸屏显示器选择(x，y)坐标来突出显示在第一窗格的实况视频流中的任何部分，并且完全相同的部分将在立体AR眼镜中突出显示，以供佩戴AR眼镜的人查看。虚拟突出显示相对于实况视图窗格的框架(即，针对专家)以及相对于AR眼镜的是固定的。但是，只有当“在场景处的人员”暂时保持他或她的头部静止时，这种模式才工作，否则在场景上的视图将相对于虚拟突出显示“滑动”。
在另一种模式中，远程助理能够在场景的2D表示中选择并来回移动(即，拖动)一个或多个期望的虚拟内容。因为当由远程助理在用户界面的第二窗格中移动时，虚拟内容相对于3D场景中的固定参考点被定位，所以佩戴AR眼镜的人是否移动他或她的头部并不重要：远程助理能够在第二窗格内移动虚拟内容，而虚拟内容不会随着增强现实眼镜的移动而在第一窗格的实况视频视图内跳动。当远程助理在第二窗格中移动虚拟内容时，远程助理能够看到虚拟内容将如何呈现给“在场景处的人员”，即，经由示出具有包括在其中的3D虚拟内容的实况视频流的第一窗格。
根据本公开的另一实施例，远程协助系统包括在一端的增强现实护目镜(例如AR头戴式耳机)，以及在另一端的计算机显示器(例如，远程处理设备、工作站等)。计算机显示器具有示出在一端的视频的3D窗格和具有在3D窗格中的物件的图形表示的2D窗格(例如，表示在场景处的物件、在场景处的医学装备或在场景处的便携式医学装置)。远程助理操纵2D窗格中的物件，所述物件在3D窗格中自动应用并相对于3D窗格中显示的视频的场景内的给定参考点被维持在正确的位置上，并且对应于在场景处的实际的点或位置。
在另一实施例中，一种用于使用连接到远程助理的增强现实头戴式耳机(AR头戴式耳机)的出现在场景处的人员(例如，第一响应者)的方法包括远程助理利用远程助理图形用户界面。远程助理图形用户界面(GUI)包括两个窗格：具有来自AR眼镜中的相机的实况视频流视图的第一窗格；以及示出具有远程场景的2D视图的表示和各种可移动虚拟物体的第二窗格。远程助理GUI向远程助理或专家提供两种模式来将信息传递给“出现在场景处的人员”。在一种模式中，远程助理能够突出显示在第一窗格中的实况视频流视图中的任何部分，并且完全相同的部分将会在佩戴AR眼镜的人员的眼镜中突出显示。在另一种模式中，远程助理能够在场景处的2D表示中选择并来回移动(即，拖动)一个或多个期望的虚拟内容。因为虚拟内容相对于场景的实况视频图像中的固定参考点被定位，所以在这种情况下佩戴AR眼镜的人员是否移动了他或她的头部并不重要。
在参考图1-8的以下讨论中，将在涉及在心脏骤停情况下的远程协助的实际使用情况的背景下讨论本公开的实施例。然而，本公开的实施例也能够应用于其他类型的远程协助情况，如针对给定情况的适合的。
现在转到图1，其示出了远程协助系统10的框图视图，远程协助系统10包括经由通信链路16彼此耦合的远程协助工作站12和便携式设备14。通信链路16能够包括用于在远程协助工作站12与便携式设备14之间直接或间接进行通信的任何合适的网络，例如无线网络、因特网或其他已知的或以后开发的网络。例如，通信链路16能够直接耦合在远程协助工作站12和便携式设备14之间，如由附图标记18和20所指示的。类似地，通信链路16能够例如经由位于便携式医学设备14的给定的紧邻附近(immediate proximity)的智能电话22间接耦合在远程协助工作站12和便携式设备14之间，如附图标记18、24和26所指示的。如本文中所讨论的各种设备和部件之间的通信的具体细节优选地使用本领域已知的合适技术来实现，因此在此不再进一步讨论。
远程协助工作站12包括由远程助理32使用的至少一个输入/输出设备28(例如，键盘、鼠标、触摸输入等)和显示器30。远程协助工作站12还包括如将在本文下面进一步讨论的用户界面，其用于使用便携式设备14向具有空间放置任务的第一响应者34提供远程协助。
仍然参考图1，便携式设备14包括至少一副立体增强现实(AR)眼镜36，其用于由第一响应者34使用，以与在场景处的对象42(例如受害者)或第二物体(未示出)结合使用在场景40处的第一物体38(例如，一对AED电极、第一响应者的手、双手等)来执行至少一个动作。在一个实施例中，便携式设备14包括便携式医学设备，所述便携式医学设备包括自动体外除颤器(AED)、心肺复苏(CPR)节拍器和心电图(ECG)监测器中的至少一个。此外，在场景40处的第一物体38能够包括以下中的一个或多个：(i)第一响应者的手、双手或其他第一响应者身体部分，以及(ii)便携式设备的至少一个项(即，电极或CPR节拍器)。在图1中，便携式设备14还能够包括CPR节拍器44。增强现实眼镜36和便携式设备14之间的通信由附图标记46指示。类似地，便携式设备14和CPR节拍器44之间的通信由附图标记48指示。此外，在AED电极38的情况下，AED电极经由合适的信号/电力线50耦合到便携式设备14。如本文所讨论的各种设备和部件之间的通信和信号/电力线的具体细节优选地使用本领域已知的合适技术来实现，并且因此本文中不再进一步讨论。
在操作中，“场景处的人员”或第一响应者34佩戴立体增强现实眼镜36。在AR眼镜36和由远程专家或助理32出席的远程协助工作站12之间建立数据连接。如将在本文中进一步讨论的，远程助理32利用远程助理图形用户界面，其包括至少两个窗格，第一窗格示出来自AR眼镜36的实况视频流，并且第二窗格示出场景的图形2D视图(或其部分并且针对给定取向，例如俯视图、侧视图等)，其中，3D虚拟物体的2D表示能够被选择和来回移动。换言之，第二窗格包含相对于在场景中的实际对象或物体的场景的说明性2D图形视图和在场景中的实际对象或物体上的参考点。此外如将在本文中进一步讨论的，3D虚拟物体的2D表示能够由远程助理在第二窗格内选择和来回移动。
现在参考图2，更详细地示出了远程协助工作站12的框图，远程协助工作站12具有用于具有空间放置任务的远程协助的用户界面。远程协助工作站12至少包括用户界面52、通信模块54(例如，被配置用于与便携式医学设备14和定位在便携式设备的给定紧邻附近的智能手机22中的一个或多个进行通信)和控制器56。在一个实施例中，用户界面52被配置用于至少从远程助理32(图1)，即经由输入/输出设备28获得远程助理输入。用户界面52至少包括图形用户界面，所述图形用户界面经由信号线58操作性地耦合到控制器56，以例如在紧急情况期间与给定的远程协助情况结合使用，如将在本文中进一步讨论的。此外，用户界面52还能够包括根据给定的远程协助实施方式和/或应用的要求确定为适当的从包括以下项的组中选择的至少一个：输入/输出设备、触觉设备、触摸屏、光学显示器、麦克风、小键盘、键盘、指向设备、图像捕获设备、摄像机、音频输入/输出设备以及其任何组合。此外，在一个实施例中，还根据给定的便携式医学设备实施方式和/或应用的要求，控制器56包括用于执行本文中所讨论的各种功能的一个或多个微处理器、微控制器、场景可编程门阵列(FPGA)、集成电路、分立模拟或数字电路部件、硬件、软件、固件或其任何组合。控制器56还能够包括如本文中所讨论的各种模块中的一个或多个。在下文中将参考附图提供关于控制器56的其他细节。
仍然参考图2，远程助理工作站12还能够包括视频绘制模块60、2D图形视图绘制模块62、参考点模块64和XY坐标模块66中的一个或多个。视频绘制模块60可操作用于在远程助理图形用户界面的第一窗格内至少呈现远程协助请求的实况视频流。2D图形视图绘制模块62可操作用于在第二窗格内至少呈现(i)在场景处的对象或第二物体的2D表示，以及(ii)在场景处的第一物体的2D表示。参考点模块64可操作用于建立在远程协助请求的实况视频流的内容内并显示在第一窗格中的参考点。最后，XY坐标模块66可操作用于至少基于用于远程协助请求的实况视频流的参考点在第一窗格中建立XY坐标系。远程协助工作站12仍然还能够包括数据库68和存储器70中的一个或多个。数据库68和存储器70中的每个至少例如经由信号线58操作性地耦合到控制器56。在一个实施例中，还根据给定的远程助理工作站实施方式/或应用的要求，模块60-70能够包括集成电路、分立的模拟或数字电路部件、硬件、软件、固件或其任何组合中的一个或多个，以执行本文中所讨论的各种功能。此外，一个或多个模块60-70还能够包括各种模块中的一个或多个的各种组合。
现在参考图3，示出了根据本公开的实施例的便携式设备14的框图视图，便携式设备14由第一响应者34使用，以与在场景处的对象42或第二物体结合使用在场景40处的第一物体来执行至少一个动作。在一个实施例中，便携式设备14包括便携式医学设备，所述便携式医学设备至少包括用户界面72、通信模块74和控制器76。用户界面72被配置用于至少发起对远程协助的请求并且包括经由信号线78操作性地耦合到至少控制器76的用户界面，以在紧急情况期间与接收远程协助结合来使用，如在本文中进一步讨论的。例如，用户界面72能够包括根据给定的便携式医学设备实施方式和/或应用的要求确定为适当的从包括以下项的组中所选择的至少一个：输入/输出设备、触觉输出设备、触摸屏、光学显示器、麦克风、小键盘、键盘、指向设备、图像捕获设备、摄像机、音频输出设备及其任何组合。
通信模块74被配置用于与(i)远程协助工作站12和(ii)定位在便携式医学设备的给定紧邻附近的智能电话22中的至少一个进行通信。通信模块74还用于响应于第一响应者的远程协助请求，经由远程协助工作站12或与远程助理工作站进行通信的智能手机22中的至少一个接收来自远程协助工作站12的一个或多个远程协助信号。来自远程协助工作站12的一个或多个远程协助信号包含用于在立体增强现实眼镜36上向在由AR眼镜36的相机捕获的场景40的实况视图内的第一响应者34显示至少一项3D虚拟内容的信息。此外，响应于在远程协助工作站12的远程助理图形用户界面的对应2D表示窗格内移动在场景处的第一物体的2D表示的一个或多个远程助理输入，至少一项3D虚拟内容出现在相对于实况视图内的参考点的正确位置处，如本文中进一步讨论的，以协助第一响应者与在场景处的对象或第二物体结合使用第一物体来执行至少一个动作。
便携式医学设备14的通信模块74和远程协助工作站12之间的通信由附图标记18和20指示，包括网络16(图1)。便携式医学设备14的通信模块74和远程协助工作站12之间的通信也能够经由智能电话22发生，并且由附图标记18、24和26指示，包括网络16(图1)。便携式医学设备14的通信模块74和AR眼镜36之间的通信由附图标记46指示。便携式医学设备14的通信模块74和AR眼镜36之间的通信由附图标记46指示。便携式医学设备14的通信模块74和CPR节拍器44之间的通信由附图标记48指示。在每种情况下，如本文中所讨论的各种设备和部件之间的通信优选地使用本领域已知的合适技术来实现，本文中不进一步讨论。
控制器76经由由附图标记78指示的适当的信号线操作性地耦合到用户界面72和通信模块74。控制器76被配置用于响应于来自远程助理工作站12的一个或多个远程协助信号而生成输出到AR眼镜36的控制信号，以向在如由AR眼镜的相机部分捕获的场景40的实况视图内的第一响应者34显示AR眼镜36上的至少一项3D虚拟内容。相应地，第一响应者接收远程协助，以与在场景处的对象或第二物体结合使用第一物体来执行至少一个动作。在一个实施例中，还根据给定便携式医学设备实施方式和/或应用的要求，控制器76包括微处理器、微控制器、场景可编程门阵列(FPGA)、集成电路、分立模拟或数字电路部件、硬件、软件、固件或其任何组合中的一个或多个，以用于执行如本文中所讨论的各种功能。控制器76还能够包括如本文中所讨论的各种模块中的一个或多个。下文将参考附图提供关于控制器76的其他细节。
仍然参考图3，便携式医学设备14还能够包括开/关开关80、虚拟突出显示绘制模块82、虚拟内容绘制模块84、电池86、能量源88、存储器90、电击按钮92(例如，用于经由AED衬垫电极启用电击的施用)和GPS模块94中的一个或多个。开/关开关80、虚拟突出显示绘制模块82、虚拟内容绘制模块84、电池86、能量源88、存储器90、电击按钮92和GPS模块94中一个或多个中的每项例如经由信号线78操作性地耦合到至少控制器76。开/关开关80包括用于在打开和关闭之间给便携式医学装置70供电的任何合适的开关。虚拟突出显示绘制模块82包括用于在AR眼镜36上向在如由AR眼镜36的相机部分所捕获的场景40的实况视图内的第一响应者34绘制虚拟突出显示的任何合适的计算机程序模块。虚拟内容绘制模块82包括用于在AR眼镜36上向在如由AR眼镜36的相机部分捕获的场景40的实况视图内的第一响应者34绘制至少一项3D虚拟内容的任何合适的计算机程序模块。应当理解，所描述的模块可以是在非暂态计算机可读介质中提供的计算机程序模块。便携式医学设备14还能够包括用于给定的实施方式和/或便携式医学设备应用的音频扬声器(未示出)。
在一个实施例中，电池86能够包括用于给定的便携式医学设备实施方式和/或应用的任何合适的电源或电力供应。此外，能量源88能够包括用于给定的便携式医学设备实施方式和/或应用的任何合适的电源或电力供应。例如，对于包括AED设备的便携式医学设备，能量源88能够包括适合于存储对除颤电击有效的能量的高压电容器，其中，电容器通过充电电路(未示出)由电池86进行充电。此外，存储器90能够包括操作性地耦合到至少控制器76的任何合适的存储器设备，其用于至少将信息存储到其中，并且还用于至少随后从其检索信息。
全球定位系统模块94包括被配置用于确定便携式紧急医学装置14的全球位置的任何合适的GPS模块。控制器76还被配置用于基于便携式紧急医学装置14的全球位置和智能手机22的全球位置确定智能电话被定位在便携式紧急医疗装置的给定紧邻附近。
便携式医学装置14还能够包括操作性地耦合到能量源88的一对AED衬垫电极38，以用于作为AED设备在便携式医学设备14的使用期间施用电击。便携式医学装置14还能够包括例如在紧急处置期间执行AED和/或CPR中要由第一响应者或抢救者佩戴的一副增强现实眼镜36。增强现实眼镜36经由合适的通信链路46(例如，近场通信(NFC)、蓝牙TM或其它合适的短程通信链路)与便携式医学设备14的通信模块74操作性地耦合。
更进一步地，便携式医学装置14能够包括要在紧急处置期间执行CPR由第一响应者或救助者使用的CPR节拍器44。CPR节拍器经由合适的通信链路48(例如，近场通信(NFC)、蓝牙TM或其它合适的短程通信链路)与便携式医学装置14的通信模块74操作性地耦合。在一个实施例中，CPR节拍器44包括基于加速计的CPR节拍器。CPR节拍器被配置用于将胸部深度考虑在内，以引导第一响应者按压多深。在另一实施例中，CPR节拍器44能够包括具有CPRapp的装备有加速计的智能手机，其将胸部深度考虑在内，以通过AR眼镜36的实况视图上的信息和/或通过音频引导来引导第一响应者要按压多深。注意，尽管上面参考基于加速度计的节拍器设备，但这种设备并不总是需要基于加速度计。实质上，节拍器设备相对于身体是深度感知的。因此，在另一实施例中，增强现实眼镜36能够用于经由远程协助协助第一响应者确立CPR节拍器或用于施加压力的第一响应者的双手的位置。
为了获得对实施例的更好的理解，参考图1、2和3，让我们考虑一种涉及心脏骤停情况的远程协助的使用情况。在紧急情况场景40处的第一响应者34佩戴立体AR眼镜36。远程医学专家32处于911紧急响应团队中。第一响应者34的AR眼镜36经由因特网连接至远程医学专家32的工作站12。远程医学专家32操作包括具有两个窗格的图形用户界面(如还将在本文中参考图4讨论的)的工作站12。第一窗格示出了从第一响应者的立体AR眼镜捕获的实况视频流，并且其包括受害者(即，实况视频流的3D场景中的对象或物体)和周围环境(即，实况视频流的3D场景中的环境)的示出。GUI的第二窗格包括受害者的2D俯视图的图形表示(即，实况视频流的3D场景中的对象或物体的2D表示)，其包含能够由远程医学专家使用触摸或指向设备在第二窗格内进行选择和来回移动的虚拟内容。根据另一实施例，一旦被选择并移动，虚拟内容还能够由远程专家经由用户输入和工作站控制器56启用/停用，以分别在第一窗格的3D视图内出现/消失。
远程医学专家能够以至少两种模式(突出显示模式和虚拟内容模式)向第一响应者传递信息。在突出显示模式中，远程医学专家能够触摸第一窗格中的实况视频流，从而使突出显示出现在第一响应者的AR眼镜中(如本文下面还将参考图6和图7所讨论的)。换言之，在突出显示模式中，响应于远程医学专家触摸(即选择)显示在第一窗格中的实况视频内的点，工作站12至少经由控制器56和X，Y坐标模块66在出现在第一响应者的AR眼镜中的3D场景内的对应点处输出突出显示。远程医学专家还能够至少经由控制器56和参考点模块64使用该突出显示模式以例如经由包括参考点的场景的快照为虚拟内容模式建立参考点。
在虚拟内容模式中，远程医学专家能够选择和来回移动虚拟内容并启用/停用(例如，使其出现/消失)2D窗格中的虚拟内容，即远程助理图形用户界面的第二窗格中的虚拟内容。换言之，在虚拟内容模式中，响应于远程医学专家选择并相对于3D场景参考点移动图形用户界面的第二窗格内的虚拟内容，存在实况视频窗格内的以3D绘制的虚拟内容的对应移动。此外，如本文中所使用的，短语“3D虚拟内容的可移动2D表示”应当做如下理解。响应于远程专家在2D图形视图内选择和移动3D虚拟内容的2D表示，在被映射为(i)在场景处的对象或物体的2D表示和(ii)在2D表示(在第二窗格中)和实况视频(在第一窗格中)内的一个或多个对应参考点的函数的位置处，存在实况视频窗格(即，第一窗格)内的以3D绘制的虚拟内容的对应移动。
在一个实施例中，3D虚拟内容的2D表示包括特定于(即，相关于)给定的远程协助情况(例如，医学急救-心脏骤停情况)的内容。此外，3D虚拟内容相对于第一窗格的实况视频内的参考点(例如，参考点是受害者的面部)移动。一个范例包括选择和移动虚拟轮廓(即交叠轮廓)，其指示自动体外除颤器(AED)的电极衬垫应当放置的在医学急救场景处的受害者上的何处。另一个范例包括选择和移动手图标以指示第一响应者应当在受害者的胸部上的何处施加压力以施用CPR按压/除压。
现在参考图4，示出了根据本公开的实施例的分别由附图标记96和98指示的远程协助工作站图形用户界面100的第一和第二窗格的组合图像和对应的注释视图，其示出了在图形用户界面100的第二窗格98中所接收的由附图标记102指示的3D内容的可移动2D表示的远程助理输入。提供被注释的视图来分别更清楚地图示第一和第二窗格(96和98)的划定。在第一窗格96的实况视频中，当第一响应者34准备将AED电极38附接至受害者的胸部时，远程助理32查看可能需要除颤的受害者42。如本文所讨论的，第二窗格98包括例如在场景处的受害者的2D图形视图和在第二窗格98内的例如表示每个AED电极的3D内容102的可移动2D表示。
此外，仍然参考图4，在另一实施例中，远程助理图形用户界面100的第二窗格98包括至少一个选项卡(99、101和/或103)，以用于要与在场景处的对象或第二个物体结合执行的多种类型的动作(例如，各种折页或动作类型的选项卡)中的每个。响应于远程助理经由远程助理图形用户界面在第二窗格中选择给定的选项卡(99、101或103)，2D图形视图绘制模块在第二窗格内绘制与给定选项卡(99、101或103)相关联的第一物体的一个或多个2D表示，所述一个或多个2D表示可用于由远程助理相对于对应的给定类型的动作来使用。例如，在图4中，2D图形视图98示出特定于AED和诸如电极放置的相关动作的活动选项卡101，而其他选项卡可以特定于CPR(选项卡103)、分诊(选项卡99)等。
如图4中所示，远程助理32在第二窗格98的2D图形视图内选择并移动电极38中的每个。在第二窗格内例如经由第二窗格98内的触摸屏控制移动3D内容的2D表示实现第一窗格96的实况视频上的可移动物体的3D轮廓或交叠的对应放置，从而向在场景处的具有对应空间放置任务的第一响应者34提供远程协助。换言之，图4图示了被定位于具有两个窗格的工作站处的远程专家、示出来自在场景处的AR眼镜的视频馈送的实况视频窗格以及具有3D虚拟内容的2D表示的图形2D窗格。
在另一实施例中，第二窗格能够包括分级区域(例如，在2D图形视图98的上部)，从所述分级区域中选择3D虚拟内容并且将选定的3D虚拟内容移动到活动区域(例如，在2D图形视图98的下部)，在所述活动区域中，选定和移动的3D虚拟内容变为活动的并且也出现在实况视频窗格内。还能够应用额外的特征，例如，一旦3D虚拟内容被选定并移动到活动区域，则能够使用额外的远程助理输入来切换实况视频窗格内的3D虚拟内容的出现/消失。
此外，第一窗格96还可以包括位置信息插入104，其中，插入104响应于经由便携式医学设备14的GPS模块94获得的GPS信号而指示受害者42的实际地址和/或位置。另外，远程助理图形用户界面100能够包括另一窗格106，所述另一窗格将受害者识别信息和医学记录信息从便携式医学设备14或者从其他合适的源呈现给远程助理32(如果可用的话)。
现在转到图5，示出了具有在场景40处的对象42的如被显示在使用便携式设备14的第一响应者34的增强现实眼镜36中的组合图像和对应的注释视图。根据本公开的实施例，响应于图4的图形用户界面100的第二窗格98中的远程助理输入，AR眼镜36中的显示器108向第一响应者34示出远程助理对3D虚拟内容381在远程助理图形用户界面100的第一窗格96的实况视频视图上的放置。换言之，响应于远程专家在2D窗格(即，第二窗格)中选择并移动虚拟内容，然后虚拟内容以透视图恰当地出现在第一响应者的AR眼镜中。在图5的图像视图中，能够看到第一响应者的手握住AED电极中的一个，以准备将其放置在受害者的胸部上，使用远程助理对将3D虚拟内容38在实况视频视图上的放置来进行空间放置引导和/或协助。
现在参考图6，图示了远程协助工作站图形用户界面110的分别由附图标记96和112指示的第一和第二窗格的组合图像和对应的注释视图。在该实施例中，第二窗格112包括可用于在给定的远程协助应用期间由远程助理选择的一个或多个选项卡105、107和109，所述选项卡类似于上文中参考图4的选项卡99、101和103所讨论的那些，或者是除了那些之外的。例如，响应于在图6中的选项卡105的选择，向远程助理提供类似于图4的窗格106的关于受害者的识别和医学记录信息的信息。此外，第一窗格96还包括如参考图4所讨论的位置信息插入104。另外，图形用户界面110能够包括另一窗格114，其呈现示出来自适当的地图源的受害者的地理位置的地图(如果可用的话)。
仍然参考图6，在第一窗格96的实况视频中，远程助理32指向实况视频内的一个位置，以识别或突出显示用于第一响应者34的实况场景内的期望位置116。具体地，图6示出了根据本公开实施例的包括在图形用户界面110的第一窗格96中接收的(x，y)坐标选择的远程助理输入。在一个实施例中，突出显示包括圆形的轮廓，或者其还能够包括适于给定的远程协助应用的任何几何形状的突出显示。
现在转到图7，示出了具有在场景40处的对象42的如显示在使用便携式设备14的第一响应者34的增强现实眼镜36中的组合图像和对应的注释视图。根据本公开的实施例，AR眼镜36中的显示器118示出了在图6的图形用户界面110的第一窗格96中的每个远程助理输入的对应(x，y)坐标处的突出显示116的放置。换言之，远程助理能够触摸视频窗格(即，第一窗格)中的(x，y)坐标(即，选择(x，y)坐标)，使突出显示出现在第一响应者的AR眼镜中的相同的(x，y)坐标处。
图8是根据本公开的实施例的用于经由远程协助工作站的用户界面和便携式设备提供具有空间布置任务的远程协助的方法150的流程图。在第一步骤中，在场景处提供便携式设备，其中，便携式设备包括至少一副立体增强现实眼镜，所述至少一副立体增强现实眼镜由第一响应者使用，以与在场景处的对象或第二物体结合使用在场景处的第一物体来执行至少一个动作(步骤152)。
在下一步骤(步骤154)中，方法包括响应于从便携式设备发起的远程协助请求而将远程协助工作站可操作地耦合到便携式设备。例如，第一响应者能够经由选择便携式设备上的一个或多个指定按钮或软键来请求远程协助，所述便携式设备被配置用于向远程协助工作站发送对远程协助的请求。在一个实施例中，对远程协助的请求包括向远程协助工作站提供如从增强现实眼镜的相机所看到的实况视频。
在下一步骤(步骤156)中，方法包括在远程协助工作站的显示设备上呈现远程助理图形用户界面(GUI)，并且接收远程助理输入，远程助理GUI包括用于显示远程协助请求的实况视频流的第一窗格和用于显示在场景处的第一物体的2D表示的第二窗格。
在下一步骤(步骤158)中，方法包括生成要输出到便携式设备的一个或多个远程协助信号，所述便携式设备用于响应于在远程协助GUI的第二窗格内选择和移动第一物体的2D表示的一个或多个远程助理输入而在立体增强现实眼镜上向在实况视图内的第一响应者显示至少一项3D虚拟内容。
本公开的实施例有利地使得能够快速且直观地选择和移动3D虚拟内容。例如，远程助理能够选择并移动悬停在受害者上方的2D平面中的虚拟内容(即，悬停在受害者的俯视图2D表示上方的第二窗格中的虚拟内容)。根据面部识别，可以导出受害者身体的取向，并且屏幕的2D XY坐标系(即，在第二个窗格中的)能够与身体的XY坐标系(即，在第一窗格中的)对齐，其中，Y轴是身体的中线，使得当远程助理在屏幕上(即，在第二窗格中)在Y方向上移动3D虚拟物体的2D表示时，虚拟物体平行于受害者的中线移动。
在紧急情况下，第一响应者的透视图能够在第一响应者向受害者提供紧急协助时改变。当第一响应者移动他或她的头部(并且他或她将因为任务的性质)时，引导者(远程专家/助理)能够在2D屏幕上(即，在第二个窗格中)选择和移动3D虚拟内容，并且该选定的虚拟内容将依照透视画法稳定在第一响应者的AR眼镜中。换言之，响应于在2D屏幕内选定和定位的3D虚拟内容，3D虚拟内容的透视定位不受第一响应者或远程专家/助理的移动的干扰(当然，除非远程专家/助理主动地、有目的地或肯定地选择并移动3D虚拟内容的2D表示)。
尽管上面仅详细描述了一些示范性实施例，但本领域普通技术人员将能够容易意识到，在示范性实施例中能够进行许多修改而不实质上脱离本公开的实施例的新颖性教导和优点。例如，尽管本公开的实施例已经在本文中在紧急护理的背景下进行了描述，但是实施例同样适用于涉及使用增强现实(AR)的远程协助的其他使用情况。因此，所有这些修改旨在被包括在如以下权利要求定义的本公开的实施例的范围内。在权利要求中，模块加功能的条款旨在覆盖执行所记载的功能的本文中所描述的功能，并且不仅包括结构等价物，而且包括等价结构。
另外，置于一个或多个权利要求的括号中的任何附图标记不应被解释为对权利要求的限制。词语“包括”和“包含”等并不排除除了在任何权利要求或说明书中作为整体列出的元件或步骤之外的元件或步骤的存在。元件的单数引用并不排除这样的元件的复数引用，并且反之亦然。实施例中的一个或多个可以借助于包括若干不同元件的硬件和/或借助于适当编程的计算机来实施。在列举若干模块的设备权利要求中，这些模块中的若干可以由同一项硬件来实现。尽管在相互不同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。

Claims (20)

1.一种远程协助工作站(12)，其被配置用于操作性地耦合到包括至少一副立体增强现实眼镜(36)的便携式设备(14)，所述便携式设备由第一响应者(34)使用，以与场景(40)处的对象(42)和第二物体中的至少一个结合使用所述场景处的第一物体(38)来执行至少一个动作，所述远程协助工作站(12)包括：
通信模块(54)，其被配置用于响应于从所述便携式设备发起的远程协助请求而与所述便携式设备(14)进行通信；所述远程协助请求至少包括经由所述场景处的所述立体增强现实眼镜(36)的相机捕获的实况视频流；
用户界面模块(52)，其被配置用于(a)在显示设备上绘制远程助理图形用户界面(100)并且(b)接收来自远程助理(32)的远程助理输入，其中，所述远程助理图形用户界面至少包括：
(i)第一窗格(96)，其用于显示所述远程协助请求的所述实况视频流，以及
(ii)第二窗格(98)，其用于显示所述场景处的所述第一物体(38)的2D表示，其中，所绘制的2D表示能够响应于一个或多个远程助理输入而在所述第二窗格内移动，所述远程助理图形用户界面(100)还用于相对于所述第一窗格(96)内的至少参考点，在所述第一窗格(96)内绘制对应于所述场景处的所述第一物体(38)的所述2D表示的对应的至少一项3D虚拟内容，其中，所述参考点基于所述实况视频流的内容；以及
控制器(56)，其用于生成一个或多个远程协助信号，所述一个或多个远程协助信号要经由所述通信模块(54)输出到所述便携式设备(14)，所述便携式设备用于在所述立体增强现实眼镜(36)上向如由所述相机捕获的所述场景的实况视图内的所述第一响应者(34)显示所述至少一项3D虚拟内容，使得所述至少一项3D虚拟内容响应于在所述远程助理图形用户界面(100)的所述第二窗格(98)内移动所述场景处的所述第一物体(38)的所述2D表示的所述一个或多个远程助理输入而出现在相对于所述实况视图内的所述参考点的正确的位置处，以协助所述第一响应者(34)与所述场景(40)处的所述对象(42)或所述第二物体结合使用所述第一物体(38)来执行所述至少一个动作。
2.根据权利要求1所述的远程协助工作站(12)，其中，所述便携式设备(14)包括便携式医学设备，所述便携式医学设备包括以下中的至少一个：自动体外除颤器(AED)、心肺复苏(CPR)节拍器以及心电图(ECG)监测器(40)；并且其中，所述场景(40)处的所述第一物体(38)包括以下中的一个或多个：(i)第一响应者的手、第一响应者的双手或其他第一响应者身体部分，以及(ii)所述便携式设备(14)的至少一个项。
3.根据权利要求2所述的远程协助工作站(12)，此外其中，所述至少一项3D虚拟内容包括至少一个虚拟表示轮廓，所述至少一个虚拟表示轮廓表示以下中的至少一个：(i)所述第一响应者的手、所述第一响应者的双手或其他第一响应者身体部分，以及(ii)所述便携式设备的所述至少一个项。
4.根据权利要求1所述的远程协助工作站(12)，还包括以下中的一个或多个：
视频绘制模块(60)，其中，所述视频绘制模块能用于在所述第一窗格(96)内至少绘制所述远程协助请求的所述实况视频流；
2D图形视图绘制模块(62)，其中，所述2D图形视图绘制模块能用于在所述第二窗格(98)内至少绘制(i)所述场景(40)处的所述对象(42)或所述第二物体的2D表示，以及(ii)所述场景处的所述第一物体(38)的所述2D表示；
参考点模块(64)，其中，所述参考点模块能用于建立在所述远程协助请求的所述实况视频流的所述内容内并且被显示在所述第一窗格(96)中的所述参考点；以及
XY坐标模块(66)，其中，所述XY坐标模块能用于至少基于针对所述远程协助请求的所述实况视频流的所述参考点来建立所述第一窗格(96)中的XY坐标系。
5.根据权利要求4所述的远程协助工作站(12)，其中，所述参考点包括以下中的至少一个：(i)经由被应用于所述实况视频流中的所述对象的图像的面部识别算法确定的所述对象的面部，以及(ii)所述第一窗格(96)中绘制的所述实况视频流的所述内容内的远程助理选择的参考点。
6.根据权利要求5所述的远程协助工作站(12)，此外其中，所述远程助理选择的参考点包括以下中的至少一个：(i)所述场景(40)处的所述对象(42)或所述第二物体上的参考点、(ii)所述便携式设备(14)上的参考点，以及(iii)所述第一物体(38)上的参考点。
7.根据权利要求6所述的远程协助工作站(12)，其中，所述远程助理选择的参考点还包括垂直方向，其中，通过旋转所述第二窗格(98)的视图修改所述视图来选择所述垂直方向，使得所述视图的所述垂直方向与所述场景(40)处的所述对象(42)或所述第二物体的中心轴对应。
8.根据权利要求4所述的远程协助工作站(12)，其中，所述一个或多个远程协助信号还被配置用于响应于至少一个远程助理输入而在所述立体增强现实眼镜(36)上向由所述相机捕获的所述场景的所述实况视图内的所述第一响应者(34)显示至少一个突出显示(116)，所述远程助理输入包括所述远程助理选择被显示在所述远程专家图形用户界面(100、110)的所述第一窗格(96)中的所述实况视频流中的XY坐标，此外其中，所述至少一个突出显示(116)被显示在如由所述第一响应者(34)看到的所述增强现实眼镜(36)中的匹配XY坐标处。
9.根据权利要求4所述的远程协助工作站(12)，此外其中，所述第二窗格(98)包括至少一个选项卡(99、101、103)，所述至少一个选项卡用于要与所述场景(40)处的所述对象(42)或所述第二物体结合执行的多个类型的动作中的每个，其中，响应于远程助理(32)经由所述远程助理图形用户界面(100)选择所述第二窗格(98)中的给定选项卡(99、101、103)，所述2D图形视图绘制模块(62)在所述第二窗格(98)内绘制与所述给定选项卡(99、101、103)相关联的所述第一个物体(38)的一个或多个2D表示，所述一个或多个2D表示可由远程助理(32)相对于对应的给定类的动作来使用。
10.根据权利要求9的远程协助工作站(12)，其中，所述便携式设备(14)包括便携式医学设备，所述便携式医学设备包括以下中的至少一个：自动体外除颤器(AED)、心肺复苏(CPR)节拍器以及心电图(ECG)监测器；此外其中，所述第一物体(38)的所述一个或多个2D表示与以下中的一个或多个对应：(i)第一响应者的手、第一响应者的双手或其他第一响应者身体部分，以及(ii)所述便携式设备(14)的至少一个项。
11.根据权利要求10所述的远程协助工作站(12)，其中，所述便携式设备(14)的所述至少一个项的所述一个或多个2D表示还表示从包括以下项的组中选择的至少一个：AED衬垫放置、CPR按压放置，以及ECG传感器放置。
12.根据权利要求1所述的远程协助工作站(12)，还包括所述显示设备(30)，其中，所述显示设备包括用于接收所述远程协助输入的触摸屏设备。
13.一种用于经由远程协助工作站和便携式设备提供远程协助的方法(150，152)，其中，所述便携式设备包括至少一副立体增强现实眼镜，所述便携式设备由第一响应者使用，以与场景处的对象和第二物体中的至少一个结合使用所述场景处的第一物体来执行至少一个动作，所述方法包括：
响应于从所述便携式设备发起的远程协助请求而经由通信模块将所述远程协助工作站操作性地耦合(154)到所述便携式设备；所述远程协助请求至少包括经由所述场景处的所述立体增强现实眼镜的相机捕获的实况视频流；
经由用户界面模块在显示设备上绘制(156)远程助理图形用户界面并且接收来自远程助理的远程助理输入，其中，所述远程助理图形用户界面至少包括：
(i)第一窗格，其用于显示所述远程协助请求的所述实况视频流，以及
(ii)第二窗格，其用于显示所述场景处的所述第一物体的2D表示，其中，所绘制的2D表示能够响应于一个或多个远程助理输入而在所述第二窗格内移动，其中，远程助理图形用户界面还相对于所述第一窗格内的至少参考点，在所述第一窗格内绘制对应于所述场景处的所述第一物体的所述2D表示的对应的至少一项3D虚拟内容，其中，所述参考点基于所述实况视频流的内容；并且
经由控制器生成(158)一个或多个远程协助信号，所述一个或多个远程协助信号要经由所述通信模块输出到所述便携式设备，所述便携式设备用于在所述立体增强现实眼镜上向如由所述相机捕获的所述场景的实况视图内的所述第一响应者显示所述至少一项3D虚拟内容，使得所述至少一项3D虚拟内容响应于在所述远程助理图形用户界面的所述第二窗格内移动所述场景处的第一物体的所述2D表示的所述一个或多个远程助理输入而出现在相对于所述实况视图内的所述参考点的正确的位置处，以协助所述第一响应者与所述场景处的所述对象或所述第二物体结合执行所述至少一个动作。
14.根据权利要求13所述的方法(150)，其中，所述便携式设备包括便携式医学设备，所述便携式医学设备包括以下中的至少一个：自动体外除颤器(AED)、心肺复苏(CPR)节拍器以及心电图(ECG)监测器；并且其中，所述场景处的所述第一物体包括以下中的一个或多个：(i)第一响应者的手、第一响应者的双手或其他第一响应者身体部分，以及(ii)所述便携式设备的至少一个项。
15.根据权利要求14所述的方法(150)，其中，所述至少一项3D虚拟内容包括至少一个虚拟表示轮廓，所述至少一个虚拟表示轮廓表示以下中的至少一个：(i)所述第一响应者的手、所述第一响应者的双手或其他第一响应者身体部分，以及(ii)所述便携式设备的所述至少一个项。
16.根据权利要求13所述的方法(150)，其中，经由所述控制器的生成还包括响应于至少一个远程助理输入而在所述立体增强现实眼镜上向由所述相机捕获的所述场景的所述实况视图内的所述第一响应者显示至少一个突出显示，所述至少一个远程助理输入包括所述远程助理选择被显示在所述远程专家图形用户界面的所述第一窗格中的所述实况视频流中的XY坐标，此外其中，所述至少一个突出显示被显示在如由所述第一响应者看到的所述增强现实眼镜中的匹配XY坐标处。
17.根据权利要求13所述的方法(150)，其中，所述参考点包括从包括以下项的组中选择的一个：
(i)经由被应用于所述第一窗格中绘制的在所述实况视频流中的所述对象的图像的面部识别算法确定的所述对象的面部的参考点；以及
(ii)所述第一窗格中绘制的所述实况视频流的所述内容内的远程助理选择的参考点。
18.根据权利要求17所述的方法(150)，此外其中，所述远程助理选择的参考点包括以下中的至少一个：(i)所述场景处的所述对象或所述第二物体上的参考点、(ii)所述便携式设备上的参考点，以及(iii)所述第一物体上的参考点；并且其中，选择所述远程助理参考点还包括通过旋转所述第二窗格的视图来修改所述视图，使得所述视图的垂直方向与所述场景处的所述对象或所述第二物体的中心轴对应。
19.一种具有指令的非暂态计算机可读介质，所述指令在由处理器运行时使所述处理器执行根据权利要求13所述的方法。
20.一种远程协助系统(10)，包括：
根据权利要求1所述的远程协助工作站(12)；以及
便携式设备(14)，其中，所述便携式设备包括至少一副立体增强现实眼镜(36)，并且所述场景处的所述第一物体(38)包括以下中的一个或多个：(i)第一响应者的手、第一响应者的双手或其他第一响应者身体部分，以及(ii)至少一个项；此外其中，所述便携式设备由第一响应者(34)使用，以与场景(40)处的对象(42)和第二物体中的至少一个结合执行至少一个动作，其中，所述便携式设备还包括通信模块(76)，所述通信模块被配置用于与所述远程协助工作站(12)进行通信，其中，所述至少一个项包括至少一个工件，所述至少一个工件由所述第一响应者(34)与在所述场景(40)处的所述对象(42)或所述第二物体上执行所述至少一个动作结合使用，并且其中，要由所述第一响应者(34)佩戴的所述至少一副立体增强现实眼镜(36)包括用于捕获所述场景(40)处的所述对象(42)或所述第二物体的实时图像的相机。
CN201680063774.6A 2015-10-29 2016-10-12 具有用于经由增强现实眼镜远程协助空间放置任务的用户界面的远程协助工作站、方法和系统 Pending CN108352195A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562247797P 2015-10-29 2015-10-29
US62/247,797 2015-10-29
PCT/IB2016/056084 WO2017072616A1 (en) 2015-10-29 2016-10-12 Remote assistance workstation, method and system with a user interface for remote assistance with spatial placement tasks via augmented reality glasses

Publications (1)

Publication Number Publication Date
CN108352195A true CN108352195A (zh) 2018-07-31

Family

ID=57349091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680063774.6A Pending CN108352195A (zh) 2015-10-29 2016-10-12 具有用于经由增强现实眼镜远程协助空间放置任务的用户界面的远程协助工作站、方法和系统

Country Status (5)

Country Link
US (1) US10431008B2 (zh)
EP (1) EP3369021B1 (zh)
JP (1) JP6636629B2 (zh)
CN (1) CN108352195A (zh)
WO (1) WO2017072616A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112751977A (zh) * 2020-12-17 2021-05-04 青岛地铁集团有限公司运营分公司 呼叫处理方法、装置、系统及存储介质
TWI804294B (zh) * 2022-04-28 2023-06-01 中華電信股份有限公司 用於擴增實境協作之遠端設備控制系統、方法及電腦可讀媒介

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US10469803B2 (en) * 2016-04-08 2019-11-05 Maxx Media Group, LLC System and method for producing three-dimensional images from a live video production that appear to project forward of or vertically above an electronic display
US11056022B1 (en) * 2016-11-29 2021-07-06 Sproutel, Inc. System, apparatus, and method for creating an interactive augmented reality experience to simulate medical procedures for pediatric disease education
US10748450B1 (en) * 2016-11-29 2020-08-18 Sproutel, Inc. System, apparatus, and method for creating an interactive augmented reality experience to simulate medical procedures for pediatric disease education
CN106980379B (zh) * 2017-03-30 2020-05-19 联想(北京)有限公司 一种显示方法及终端
DE102017108235A1 (de) * 2017-04-18 2018-10-18 Bredent Medical Gmbh & Co. Kg Brille mit wenigstens einem teiltransparenten Bildschirm und Verfahren zum Betrieb einer Brille
US20180338119A1 (en) * 2017-05-18 2018-11-22 Visual Mobility Inc. System and method for remote secure live video streaming
NL2019059B1 (en) * 2017-06-13 2018-12-19 Maritime Medical Applications B V Wireless communication system for remote medical assistance
EP3438859A1 (en) * 2017-08-01 2019-02-06 Predict Srl Method for providing remote assistance services using mixed and/or augmented reality visors and system for implementing it
US10785269B2 (en) * 2017-11-20 2020-09-22 Streem, Inc. Augmented reality platform for professional services delivery
US11323657B2 (en) * 2017-11-20 2022-05-03 Streem, Inc. Initiation of two-way AR sessions using physical markers
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US11585672B1 (en) * 2018-04-11 2023-02-21 Palantir Technologies Inc. Three-dimensional representations of routes
US10511881B1 (en) 2018-05-31 2019-12-17 Titan Health & Security Technologies, Inc. Communication exchange system for remotely communicating instructions
US10810758B2 (en) * 2018-06-27 2020-10-20 General Electric Company Method and system using augmentated reality for positioning of ECG electrodes
EP3815104A4 (en) * 2018-06-28 2022-03-16 Ositech Communications Inc. SYSTEM AND METHOD FOR MANAGING A DEFIBRILLATOR
CN109243622A (zh) * 2018-09-18 2019-01-18 宁波众鑫网络科技股份有限公司 一种基于互联网的医疗保健的方法及装置
US11810202B1 (en) 2018-10-17 2023-11-07 State Farm Mutual Automobile Insurance Company Method and system for identifying conditions of features represented in a virtual model
US11024099B1 (en) 2018-10-17 2021-06-01 State Farm Mutual Automobile Insurance Company Method and system for curating a virtual model for feature identification
US11556995B1 (en) 2018-10-17 2023-01-17 State Farm Mutual Automobile Insurance Company Predictive analytics for assessing property using external data
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
KR102638956B1 (ko) * 2018-11-26 2024-02-22 삼성전자주식회사 전자 장치 및 증강 현실 서비스를 제공하는 증강 현실 장치와 그 동작 방법
US10873724B1 (en) 2019-01-08 2020-12-22 State Farm Mutual Automobile Insurance Company Virtual environment generation for collaborative building assessment
DE102019000067A1 (de) * 2019-01-09 2020-07-09 Thomas Lipp Audio-Videokonferenzsystem der Telemedizin
CN109768997B (zh) * 2019-03-07 2023-06-16 贵州电网有限责任公司 一种电力现场巡检远程监控设备及其监控方法
US11049072B1 (en) 2019-04-26 2021-06-29 State Farm Mutual Automobile Insurance Company Asynchronous virtual collaboration environments
US11032328B1 (en) 2019-04-29 2021-06-08 State Farm Mutual Automobile Insurance Company Asymmetric collaborative virtual environments
US11816800B2 (en) * 2019-07-03 2023-11-14 Apple Inc. Guided consumer experience
FR3098317B1 (fr) * 2019-07-03 2021-05-28 Psa Automobiles Sa Procédé et système pour gérer une tâche de maintenance d’un véhicule automobile
FR3102255B1 (fr) 2019-10-17 2022-01-21 Endel Système de communication pour la maintenance d’un site
JP2022554312A (ja) 2019-10-31 2022-12-28 テルモ カーディオバスキュラー システムズ コーポレイション 拡張現実ディスプレイを有する人工心肺装置
US11087552B2 (en) 2019-11-26 2021-08-10 Rufina Shatkina Collaborative on-demand experiences
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11724098B2 (en) 2020-01-30 2023-08-15 Terumo Cardiovascular Systems Corporation Stepper motor drive systems and tubing occluder system
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11043038B1 (en) 2020-03-16 2021-06-22 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method of three-dimensional interaction for augmented reality remote assistance
US20210308007A1 (en) * 2020-04-06 2021-10-07 Keith G. Lurie Location guidance-enabled cpr assist device
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
NL2026677B1 (en) 2020-10-15 2022-06-14 B V Maritime Medical Applications Wireless communication system for medical assistance
CN112153267B (zh) * 2020-10-22 2022-02-22 国网江苏省电力有限公司镇江供电分公司 基于ar智能眼镜的人眼视角局限空间作业远程监护系统
US20220202493A1 (en) * 2020-12-30 2022-06-30 Novarad Corporation Alignment of Medical Images in Augmented Reality Displays
US11354868B1 (en) * 2021-02-26 2022-06-07 Zebra Technologies Corporation Method to map dynamically drawn augmented reality (AR) scribbles using recognition of discrete spatial anchor(s)
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US11948265B2 (en) 2021-11-27 2024-04-02 Novarad Corporation Image data set alignment for an AR headset using anatomic structures and data fitting
EP4319170A1 (en) * 2022-08-04 2024-02-07 Koninklijke Philips N.V. Vendor-agnostic remote-controlled screen overlay for collaboration in a virtualized radiology environment
WO2024028235A1 (en) * 2022-08-04 2024-02-08 Koninklijke Philips N.V. Vendor-agnostic remote-controlled screen overlay for collaboration in a virtualized radiology environment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130237811A1 (en) * 2012-03-07 2013-09-12 Speir Technologies Inc. Methods and systems for tracking and guiding sensors and instruments
KR20140019519A (ko) * 2012-08-06 2014-02-17 주식회사 유코리아 근거리 무선개인통신망을 활용한 원격진단 보조기기 인터페이스 시스템
CN103765426A (zh) * 2011-07-05 2014-04-30 沙特阿拉伯石油公司 通过增强现实显示为雇员提供健康信息的系统、计算机介质和计算机实现方法
CN103890765A (zh) * 2011-09-07 2014-06-25 皇家飞利浦有限公司 用于医疗设备的非接触式远程控制系统和方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8319631B2 (en) * 2009-03-04 2012-11-27 Cardiac Pacemakers, Inc. Modular patient portable communicator for use in life critical network
US9067080B2 (en) * 2009-03-16 2015-06-30 Gilad Einy Method and apparatus of remotely-operated automated external defribrallator incorporated into a handheld device
US20120299962A1 (en) 2011-05-27 2012-11-29 Nokia Corporation Method and apparatus for collaborative augmented reality displays
EP2920683A1 (en) 2012-11-15 2015-09-23 Iversen, Steen Svendstorp Method of providing a digitally represented visual instruction from a specialist to a user in need of said visual instruction, and a system therefor
US10013531B2 (en) 2012-12-20 2018-07-03 Accenture Global Services Limited Context based augmented reality
US9395810B2 (en) 2013-05-28 2016-07-19 The Boeing Company Ubiquitous natural user system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103765426A (zh) * 2011-07-05 2014-04-30 沙特阿拉伯石油公司 通过增强现实显示为雇员提供健康信息的系统、计算机介质和计算机实现方法
CN103890765A (zh) * 2011-09-07 2014-06-25 皇家飞利浦有限公司 用于医疗设备的非接触式远程控制系统和方法
US20130237811A1 (en) * 2012-03-07 2013-09-12 Speir Technologies Inc. Methods and systems for tracking and guiding sensors and instruments
KR20140019519A (ko) * 2012-08-06 2014-02-17 주식회사 유코리아 근거리 무선개인통신망을 활용한 원격진단 보조기기 인터페이스 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BOTTECCHIA S, ET AL.: "A New AR Interaction Paradigm for Collaborative TeleAssistance system: The P.O.A", 《INTERNATIONAL JOURNAL ON INTERACTIVE DESIGN & MANUFACTURING》 *
STEFFEN GAUGLITZ, ET AL.: "Integrating the Physical Environment into Mobile Remote Collaboration", 《PROCEEDINGS OF THE 14TH INTERNATIONAL CONFERENCE ON HUMAN-COMPUTER INTERACTION WITH MOBILE DEVICES AND SERVICES》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112751977A (zh) * 2020-12-17 2021-05-04 青岛地铁集团有限公司运营分公司 呼叫处理方法、装置、系统及存储介质
TWI804294B (zh) * 2022-04-28 2023-06-01 中華電信股份有限公司 用於擴增實境協作之遠端設備控制系統、方法及電腦可讀媒介

Also Published As

Publication number Publication date
US20180322702A1 (en) 2018-11-08
WO2017072616A1 (en) 2017-05-04
EP3369021A1 (en) 2018-09-05
US10431008B2 (en) 2019-10-01
JP6636629B2 (ja) 2020-01-29
JP2018531731A (ja) 2018-11-01
EP3369021B1 (en) 2023-08-16

Similar Documents

Publication Publication Date Title
CN108352195A (zh) 具有用于经由增强现实眼镜远程协助空间放置任务的用户界面的远程协助工作站、方法和系统
JP6675462B2 (ja) 動作情報処理装置
US20230029639A1 (en) Medical device system for remote monitoring and inspection
CN108135772B (zh) 用于基于具有身体测量结果的在线存储资料的个性化治疗指导的便携式医疗设备和方法
US10642046B2 (en) Augmented reality systems for time critical biomedical applications
CN104887312B (zh) 辅助装置的交互方法、辅助装置、辅助系统、单元和系统
JP2018503416A (ja) ユーザガイダンスシステム及び方法、拡張現実デバイスの使用
US20120256950A1 (en) Medical support apparatus, medical support method, and medical support system
US20190146653A1 (en) Image display system, and control apparatus for head-mounted display and operation method therefor
JP2017515623A (ja) 医療機器配置システム、及びその使用方法
EP3286675A1 (en) Wearable posture advisory system
CN102301312A (zh) 用于娱乐、教育或通信的便携式引擎
JP2018180840A (ja) ヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム、並びに画像表示システム
CN107910073A (zh) 一种急诊预检分诊方法及装置
CN106846496A (zh) 基于混合现实技术的dicom影像查看系统及操作方法
CN109558004B (zh) 一种人体辅助机器人的控制方法及装置
WO2021073743A1 (en) Determining user input based on hand gestures and eye tracking
CN105277208B (zh) 用于检测腕步的设备和方法
EP3745237A1 (en) Rendering an image on a virtual user interface of an augmented or virtual reality device
WO2014104357A1 (ja) 動作情報処理システム、動作情報処理装置及び医用画像診断装置
EP4325343A1 (en) Navigating a user interface using in-air gestures detected via neuromuscular-signal sensors of a wearable device, and systems and methods of use thereof
CN109998674A (zh) 医学成像计算机断层摄影设备和基于成像进行介入的方法
CN211432869U (zh) 一种智能医疗手持移动护理信息系统
US20220265160A1 (en) Patient controlled medical system
CN117590936A (zh) 使用经由可穿戴设备的神经肌肉信号传感器检测的空中手势来导航用户界面，及其系统和使用方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination