CN111386511A - 基于自扩展的增强现实服务指令库 - Google Patents

基于自扩展的增强现实服务指令库 Download PDF

Info

Publication number
CN111386511A
CN111386511A CN201880075940.3A CN201880075940A CN111386511A CN 111386511 A CN111386511 A CN 111386511A CN 201880075940 A CN201880075940 A CN 201880075940A CN 111386511 A CN111386511 A CN 111386511A
Authority
CN
China
Prior art keywords
content
display
mobile device
live video
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880075940.3A
Other languages
English (en)
Inventor
S·P·普雷弗尔哈尔
J·萨巴奇恩斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN111386511A publication Critical patent/CN111386511A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/18—Details relating to CAD techniques using virtual or augmented reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

增强现实(AR)服务引导使用带有显示器和摄像头的移动设备(30、90)。执行诸如同时定位和映射(SLAM)的计算机视觉(CV)处理(102)，以将AR内容(80)与由摄像头捕获的实况视频馈送(96)对齐。经对齐的AR内容被显示在所述移动设备的显示器上。在一个示例中，所述移动设备是具有透明显示器(92、94)和摄像头(20)的抬头显示器(HUD)(90)。在另一示例中，所述移动设备是具有前显示器(34)和后置摄像头(36)的手机或平板计算机(30)。通过CV处理(54)生成所述AR内容(80)，以将所述AR内容与服务呼叫的记录的视频(40)对齐(70)。所述对齐(72)包括对齐由用户输入在服务呼叫的记录的视频中识别的的感兴趣位置(LOI)。

Description

基于自扩展的增强现实服务指令库
技术领域
以下总体涉及现场服务领域，并且更具体地涉及医学成像设备和系统服务领域，涉及增强视觉领域以及相关领域。
背景技术
医学成像设备包括非常复杂的系统，例如磁共振成像(MRI)设备，透射计算机断层摄影(CT)成像设备，发射成像系统(例如正电子发射断层摄影(PET)成像设备和用于单光子发射计算机断层摄影(SPECT)的伽马摄像头)成像，在单个设备中提供多种模式的混合系统(例如PET/CT或SPECT/CT成像设备)，以及设计用于引导活检或其他介入性医学流程的成像设备，通常称为图像引导治疗(iGT)设备。这些仅仅是说明性的示例。
从维护的角度来看，现代医学成像设备和系统提出了不同寻常的挑战。它们通常包括用于广泛变化的目的的大量子系统，例如：机械和机电系统，用于装载患者，运输到成像检查区域，以及随后卸载；在CT成像设备的情况下的X射线管组件和X射线探测器阵；再次，在CT的情况下，旋转机架；在PET成像设备的情况下，辐射探测器模块的环形环；在伽玛摄像头的情况下，辐射探测器头和用于围绕患者操纵所述辐射探测器头相关联的机器人硬件；在MRI情况下，超导磁体和相关联的液氦罐和/或其他低温恒温器硬件；用户接口部件，例如计算机控制器、控制按钮、开关、触敏显示器等；等等。通常必须在现场，即在部署了医学成像设备的医院或其他医学机构中执行医学成像设备的维护。此外，由于医院和其他医学机构期望这些设备几乎连续可用以向患者提供成像或图像引导疗法，因此非常需要使维修停机时间最小化。
从维修的角度来看，进一步的困难是，医学成像设备通常由制造商进行近乎不断的开发，并且以各种任选的部件和部件包进行市场销售，因此，医学成像设备的相同制造/型号的不同部署的安装，取决于它们的制造时间和客户选择购买的选项，然而可能具有不同的部件。
这些考虑因素使服务人员要全面了解该领域可能遇到的每项潜在维护任务，尤其具有挑战性。服务人员可以查阅书面服务手册和/或计算机辅助设计(CAD)制图；然而，这些可能会随着时间的流逝而过时，或者可能无法包括特定任选部件。对于CAD制图，服务人员可能难以确定应参考的正确制图(部件，版本等)。此外，如果该服务手册不是由现场服务人员撰写的，则该手册可能无法解决仅在执行现场服务时才显而易见的方面：例如，特定部件在现场可能难以访问，但是起草该服务手册的设计工程师可能不会意识到这一困难。
对于该领域的服务人员而言，另一资源可以是电话或视频会议，其访问专门针对正在接受服务的特定部件、设备等的专家。这占用了专家的宝贵时间，并且需要现场服务人员和专家之间进行协调——要么必须在服务时间内“专家”处于待命状态，要么必须提前安排呼叫的日期/时间。此外，专家可能在有限的信息基础上提供帮助。该信息通常包括由服务人员提供的部件及其环境的口头描述，并且也许还包括使用蜂窝电话(手机)或其他移动设备的内置摄像头提供的部件的视频。在将情境数据从服务人员传输到专家和/或将专家的建议传达给服务人员时，可能丢失重要信息。
以下公开了新的和改进的系统和方法。
发明内容
在一个公开的方面中，一种基于增强现实(AR)的服务引导设备包括：移动设备，其包括显示器和摄像头；以及电子处理器，其被编程为执行计算机视觉(CV)处理，以将AR内容与由所述移动设备的所述摄像头捕获的实况视频馈送对齐，并在所述移动设备的显示器上显示与所述实况视频馈送对齐的AR内容。
在另一个公开的方中面，一种基于增强现实的服务指导方法，包括：使用计算机，创作AR内容，包括以下操作：在计算机上接收用户输入，所述用户输入识别服务呼叫的记录视频中的至少一个感兴趣位置(LOI)，并执行CV处理以将AR内容与服务呼叫的记录视频对齐，包括使所述AR内容的部分与所述至少一个LOI对齐；并且使用电子处理器和包括显示器和摄像头的移动设备，呈现创作的AR内容，包括使用电子处理器执行CV处理，以将所创作的AR内容与由移动设备的摄像头产生的实况视频馈送对齐，并且在移动设备的显示屏上显示与实况视频馈送对齐的所创作的AR内容。
在另一个公开方面中，公开了一种AR内容创作设备，其用于创作用于服务引导的AR内容。该设备包括计算机以及存储计算机可读和可执行以执行AR内容创作方法的指令的非瞬态存储介质，所述方法包括：在计算机上接收用户输入，所述用户输入识别服务呼叫的记录的视频中的至少一个LOI；并且执行CV处理以将所述AR内容与所述服务呼叫的记录视频对齐，包括将所述AR内容的部分与所述至少一个LOI对齐。
一个优点在于为服务人员提供实时自动化辐助。
另一个优点在于提供实时增强现实(AR)内容以协助服务呼叫。
另一个优点在于提供实时AR内容以协助从服务人员的视角提出的服务呼叫，所述服务呼叫与要执行的服务操作紧密集成。
另一个优点在于，结合切换到并入了AR内容的预览模式的能力，提供实时AR内容以协助服务呼叫。
另一个优点在于利用实况视频馈送提供实时AR内容以自动确定适当的AR内容。
另一个优势在于利用现有服务调用来提供用于创作基于AR的服务指令的数据。
另一个优点在于利用现有的服务调用来提供数据，以有效地创作现有的基于AR的服务指令的更新。
给定实施例可以不提供前述优点，提供前述优点中的一个、两个、更多或全部，和/或可以提供其它优点，对于本领域普通技术人员而言，在阅读和理解了本公开后，这将变得显而易见。
附图说明
本发明可以采取各种部件和各部件的布置以及各种步骤和各步骤的安排的形式。附图仅出于图示优选的实施例的目的并且不应被解释为对本发明的限制。
图1图解地图示了用于利用服务呼叫在医学成像设备上执行维护以便提供用于创作基于增强现实(AR)的服务指令的数据的实施例，以及使用该数据的AR内容创作设备的示意图。
图2图解地图示了图1的AR内容创作设备的更详细的实施例。
图3图解地图示了基于AR的服务指令递送设备，用于递送由图1和2的AR内容创作设备创作的AR内容。
具体实施方式
在本文公开的改进中，用于在医学成像设备上执行维护的服务呼叫的视频记录(任选地包括音频)被利用来为基于AR的服务引导提供创作增强现实(AR)内容的基础。可以使用常规相机来记录该服务呼叫，或者可以使用立体相机和/或测距相机来提供深度信息。如果使用单(非测距)相机，则随着技术人员四处移动，可以从不同的有利位置提取深度信息。相机可以是头戴式的，以便提供服务人员的“第一人称”视图。在服务呼叫期间，可以任选地使用一个指示器来标记感兴趣位置(LOI)，和/或可以提供进行的的语音注释进行记录。
创作系统用于将服务呼叫的记录视频转换为AR内容，以支持针对相同或相似维护任务的未来服务呼叫。创作系统可以使用计算机视觉(CV)技术(例如同时定位和映射(SLAM)算法)来同时映射服务人员的位置和显著环境(例如，服务部件以及可能的邻近部件)。提取的图可用于将记录视频中的部件与计算机辅助设计(CAD)制图对齐，并将在三维空间中空间地定位LOI。然后，人类编辑者可以添加口头解释叠加(或可以使用书面服务手册的文本到语音转录来完成)。人类编辑者还可以适当地添加显示LOI标记的叠加，并且可以任选地添加其他有助于服务技术人员的AR内容，例如零件编号，显示CAD制图的弹出窗口，CAD动画或其他视觉效果，关键零件的彩色突出显示，等等。为了便于在现场使用，可以将各种停止点添加到AR内容，和/或可以将AR内容分割为可以以不同顺序回放的场景(即非线性播放)，以允许处理服务可以按不同顺序执行步骤的调用。
要使用已授权的基于AR的服务手册内容，服务技术人员必须佩戴具有透明显示屏的抬头显示器(HUD)(例如，透视显示器)，其将AR叠加层显示在HUD的透明屏幕上，以便叠加在服务人员对所服务部件的实际视图上。HUD还包括摄像头，其捕获技术人员的视线，并应用SLAM算法将AR内容与该实时视频馈送对齐，从而使AR内容叠加(和音频播放，如果提供了的话)与服务人员的实时视图相匹配。
服务人员可以选择预览模式，其中，显示用于创作AR内容的服务呼叫的预记录的视频，以及叠加的AR内容。以这种方式，服务人员可以预览维护任务的步骤是如何执行的。有利的是，AR处理在此预览模式下保持不变，除了：(i)执行SLAM处理，以使AR内容与预览视频而不是实况视频馈送对齐，以及(ii)在透明显示器上作为底层显示预先记录的视频内容。
在另一个预期的变体中，可以处理实况视频馈送以识别特定部件或子部件，以便自动检索并呈现适当的AR内容。
在说明性实施例中，HUD使用透视显示器，除了AR内容叠加之外，所述显示器有利地是透明的，从而使服务人员能够直接实时地观察部件。在一个变体实施例中，HUD采用不透明显示器，在其上实况视频被显示为AR内容的底层(称为视频增强现实)——在此变体中，服务人员借助于查看实况视频馈送显示来间接地“看到”正在被服务的部件。
作为另一种预期的变体，代替HUD，可以利用大多数手机和其他移动设备提供的内置摄像头，将AR内容显示在手机或其他移动设备的显示器上，以生成实况视频馈送。在这种情况下，所述设备通过在手机显示屏上显示实况视频作为底层而在视频增强现实中运行。
所公开的方法也可以用于更新基于AR的服务手册。例如，如果服务人员遇到意外问题，例如由于要在正被服务的特定部署的医学成像设备的部件中使用替代零件，则可以将由HUD相机提供的实况馈送与创作系统结合以产生适合该替代零件的经更新的AR内容。
参考图1，图示了用于记录服务呼叫的系统。说明性服务呼叫的对象是成像设备10，在该说明性示例中，所述成像设备是包括透射计算机断层摄影(CT)成像机架12和正电子发射断层成像(PET)成像机架14的混合成像设备，即说明性成像设备是CT/PET成像设备10。更一般而言，服务呼叫的对象可以是任何类型的成像设备，例如独立的PET或独立的CT成像设备，磁共振成像(MRI)设备，用于单光子发射计算机断层摄影(SPECT)成像的伽马摄像头，图像引导的治疗(iGT)设备等。更加一般地，所公开的基于AR的服务引导设备和方法可以应用于在现场执行的任何类型的系统或设备维修，例如可以应用于辐射治疗输送设备、诸如磁体的研究设备、低温系统、工厂机器人系统、处理炉等。使用能够记录视频并且优选地具有便利的形状因子的移动相机18来记录该服务呼叫。在说明性示例中，移动摄像头18包括安装在眼镜21上的立体摄像头20。立体摄像头20包括左眼摄像头22和右眼摄像头24，并且因此有利地采集立体视频，以模拟双眼人类视觉。通过将立体相机20安装在眼镜21上，移动相机18提供了“第一人称”——如果眼镜21被执行(或参与执行)服务的服务人员佩戴，则记录的服务呼叫视频有利地从服务人员的视点或有利的角度来看。代替使用眼镜21作为结构支撑件的说明性移动摄像头18，可以使用另一种眼镜形状因子，例如护目镜，或者安装在头带或头盔等上的摄像头可以提供类似的优势来记录服务视频呼叫。通过使用立体摄像头20，所记录的视频本质上有利地是双目的，并且可以提供用于提取三维(3D)信息的深度信息。但是，在替代的实施例中，使用了单眼摄像头——在这种情况下，计算机视觉通常可以基于通过摄像头的自然运动(由于服务人员在维护过程中头部的运动)提供的不同有利点来提取3D信息。作为另一种预期的变型，常规的光学摄像头可以通过测距摄像头来扩展以提供深度信息。
说明性的安装在眼镜上的摄像头20的移动摄像头18的困难在于，它可能提供用于安装电子处理器的有限的支撑结构，也就是说，可能难以将具有足够处理能力的微处理器或微控制器集成到眼镜21上以处理视频生成和任选的处理。在说明性实施例中，通过使移动摄像头18与移动设备30进行无线通信来解决该问题，所述移动设备30例如是说明性蜂窝电话(当装备有执行应用程序或“app”时，有时称为智能手机)或平板电脑。无线连接32可以通过非局限性说明是蓝牙TM无线连接，WiFi连接或其他短程或中程无线连接。还预期有线连接，例如USB线缆可以物理地将移动摄像头18与移动设备30连接。说明性的移动设备30包括典型的部件，例如设置在移动设备30的正面上的不透明显示器34，以及布置在移动设备30相对的背面上的后视摄像头36(在图1中从视图中被遮挡，因此以虚线示出)。如对于这种移动设备典型的那样，显示器34优选地是触敏显示器，例如电容式触敏显示器或表面声波(SAW)显示器，使得用户可以通过与移动设备30的触摸来交互，以运行应用程序(“app”)，提供输入，操作“软”键盘等。
记录的视频40经由无线连接32从基于眼镜的移动摄像头18传输到移动设备30。移动设备30通常还包括麦克风38，所述麦克风可以用于提供所记录的视频40的音频分量，或者可以将麦克风安装在眼镜21上(未示出)；作为另一替代，所记录的视频40可以不具有所记录的声音(仅视频)。在服务呼叫的记录期间，移动设备30可以任选地例如通过运行其他app来执行其他任务。例如，手机形式的移动设备30可以用于与远程专家42(例如，具有关于所执行的特定服务和/或特定设备10或正在经历服务的设备的部件的专门知识的人类专家)以电话方式讨论服务呼叫。
如下所述，记录的视频40提供了创作增强视觉(AR)内容以在随后的服务呼叫期间使用的基础。为此，如图1所示，将记录的视频40以来自非瞬态存储介质(未示出——例如硬盘驱动器，RAID或其他磁存储介质；闪存，固态驱动器或其他电子存储介质；光盘或其他光学存储介质；其各种组合；等等)的计算机52可读的指令的形式传输到AR内容创作设备50，以执行AR内容创作方法54。AR内容创作例如可以使用计算机视觉(CV)处理(例如，同时定位和映射(SLAM)处理)来将AR内容(例如，从CAD图56中提取的零件编号注释，图中图(PIP)窗口，其示出CAD制图或其部分，或从CAD制图56生成的动画，等等)与记录的视频40对齐，从而使所记录的视频40与计算机辅助设计(CAD)图56在空间上配准。
应当理解，图1仅示出了用于捕获服务呼叫的视频40的一种说明性布置。如已经提到的，其他类型的眼镜或头饰(例如，护目镜，头带，头盔等)可以用作移动摄像头18的支撑结构，以便提供维修过程的第一人称视角；另外，如已经提到的，立体相机20可以由另一类型的相机代替，例如单目相机，相机加测距相机的组合等。在其他实施例中，服务呼叫的记录视频可能不是从服务人员的第一人称视角来看的。例如，在替代实施例中，移动摄像头包括移动设备30，其后置摄像头36被布置在移动设备30的背面上，用作用于记录服务呼叫的摄像头。在这种情况下，优势将不会是第一人称但是服务人员(或助手)可以握住移动设备30，以便适当地引导后视摄像头36记录整个服务过程或仅记录感兴趣的服务过程的一部分(例如，困难部分)。
为了帮助创作AR内容，在一些实施例中，执行由服务呼叫的记录的视频40捕获的服务的服务人员可以使用指示器62或其他独特的指向机制(在一些示例中，可能仅仅是服务人员的手指或手)主动地指向感兴趣位置(LOI)60。在其他实施例中，在记录所记录的视频40之后标记LOI，例如通过由用户操作计算机52的一个或多个用户输入设备(例如，说明性的键盘64和/或鼠标66)以在记录的视频40的帧中标记LOI。
现在参考图2，描述了AR内容创作设备50的说明性实施例由计算机52执行从非瞬态存储介质(未示出)读取的指令来实现。AR创作过程54接收记录的视频40和要从其生成AR内容的信息作为输入，例如CAD绘图56(其可以任选地包括诸如部件的零件编号、3D绘制、动画和/或诸如此类的数据)。在操作70中，使用计算机视觉(CV)处理将成像设备10的各种部件(参见图1；更一般而言，正在经历服务的系统或设备的各个部件)映射到记录的视频40。在优选实施例中，使用同时定位和映射(SLAM)处理来执行映射操作70，所述处理采用贝叶斯推理或另一种机器学习技术来最佳地映射服务人员的位置(假设第一人称视频；或者，如果所记录的视频40是由移动设备30采集的，则为移动设备的位置)和部件或设备10上参考点，另一方面，映射到由记录的视频40相继的帧提供的观察序列的内容。任选地，可以使用诸如CAD图56提供的部件参考点的空间布局之类的先验已知信息来改善映射70。SLAM处理任务可以通过概率公式P(c1(t),c2(t),…,cn(t),p(t)|f1,…,ft)来数学公式化，其中，c1(t),c2(t),…,cn(t)是在时间t部件或设备10的参考点的位置(其中，不失一般性假设n个参考点)，p(t)是在时间t服务人员所在的位置，并且f1,…,ft是到时间t为止记录的视频40的帧。已知适用于机器人视觉映射，自动驾驶车辆导航技术等的各种SLAM算法以实施映射操作70。在操作72中，LOI中经由(一个或多个)用户接口设备64、66来从用户接收(例如，通过显示来自所记录的视频40的视频帧，并提供用于用户使用鼠标66单击的LOI)或在SLAM处理70期间从记录的视频40中自动提取。后一种方法需要计算机52执行SLAM或其他CV处理以检测由所记录的视频40捕获的用户操作(例如，使用指针62进行指向，请参见图1)，其指示所记录的视频40中的至少一个LOI捕获(例如在图1指示的说明性LOI 60)。该指示的LOI 60随后成为参考点之一((cLOI(t))将被映射到SLAM处理70中。
在操作74中，使用SLAM处理70和LOI指定72的结果，使AR内容与记录的视频40对齐。例如，可以在LOI处或紧邻LOI处添加注释(例如，零件编号注释，显示为PIP窗口的CAD绘图或CAD绘图部分，或显示为PIP窗口的CAD动画)，从而用CAD信息的零件纺号“标记”LOI。在更高级的方法中，可以从CAD图56中提取关键零件或零件组合或组件的线框图，并将其作为AR内容覆盖，再次使用SLAM处理70和LOI指定72的映射输出与记录的视频40中示出的(一个或多个)部分的实际图像对齐。由此创作的AR内容可以任选地被颜色编码(例如，使用不同的颜色来区分零件部件的不同零件)或以其他方式突出显示。还可以添加口头叙述形式的AR内容。在这种情况下，假定AR内容具有与构成所记录的视频40的帧的时间序列一致的时间序列，并且添加了叙述以与在视频中执行各种服务任务时及时地进行同步。在任选操作76中，可以通过添加停止点和/或将AR内容分段成独立的情节来对AR内容进行时间分段。例如，如果维修涉及从设备10移除第一部件以便露出需要维修的第二部件，则第一部件的移除可以是一片段，而所露出的第二部件的维修可以是单独和不同的片段。可以添加停止点，以停止AR内容的时间变化，以便进行手动操作——例如，如果零件需要在安装前上油，则在上油过程中添加一个停止点可能是意义的。
所得的创作的AR内容形成维护过程AR库部件80。在一些实施例中，如本文后面将描述的，AR库部件80可以包括或可以访问所存储的记录的视频40(任选地，在分割和/或添加类似于AR内容创作操作76的停止点之后)作为预览视频41，如图2中图解地指示。该预览视频41，如果被提供的话，被用于根据服务人员的请求提供包括叠加的AR内容的服务过程的预览。
作为整个AR维护流程库的一部分，AR库部件80可以任选地在操作82中与其他AR库部件进行各种链接，以为合理的服务操作序列提供AR支持。例如，考虑更换图1的CT机架12的X射线管的过程。维修需要打开CT机架12以访问X射线管，移除X射线管，也许对新的X射线管进行一些设置或配置，安装新的X射线管，然后重新组装CT机架12。在一种方法中，每个步骤都可以由单独的AR库部件支持，然后将其适当地链接在一起。因此，服务人员可以初始加载并查看CT机架打开的AR内容库部件——在其完成后，下一个库部件(例如，配置新的X射线管)可以被自动链接和调用，等等。在变型实施例中，可以基于视频内容来自动进行链接操作82，例如，在AR内容的回放期间，可以使用CV处理来分析实况视频馈送(在下文中参考图3的讨论)以检测正在进行服务的特定型号、类型或其他特定部件，并且然后可以为该特定型号、类型或其他特定部件调用正确的AR库部件。
参考图3，由参考图2描述的AR内容创作生成的AR库部件80被适当地呈现给执行后续服务调用的服务人员(即，在随后的服务调用之后执行的服务调用，其被记录以生成记录的视频40，如参考图1所所述)。使用合适的移动设备来呈现AR内容，诸如眼镜21形式的说明性抬头显示器(HUD)90，其上安装有立体摄像头20。因此，HUD 90类似于已经参考图1所述的基于眼镜的移动摄像头18。然而，HUD 90还包括透明显示器，在说明性情况下包括安装在眼镜21的左眼帧的左透明显示器92和安装在眼镜21的左眼帧的右透明显示器94。该HUD 90因此构成一个透视AR显示器，其中，用户(例如服务人员)直接通过查看通过透明显示器92而看到实际的场景94，而AR内容可以通过在透明显示器92、94上显示AR内容而被叠加在该实际看到场景上。示例性的基于眼镜的HUD 90是一个示例，并且预期许多其他的HUD设计。在一个变型实施例中，HUD采用具有在左眼和右眼之间延伸的单个镜片的护目镜——在该实施例中，透明显示器可以是同样在左眼和右眼之间延伸的单个透明显示器。
透明的AR显示器具有显著的优势，因为服务人员可以直接看到实际的场景(例如，实际看到正在维修的部件)，从而具有由所述人的视力所提供的最大视敏度。(如果服务人眼睛近视或以其他方式需要处方眼镜或接触眼镜，则服务人员适当地要么穿结合处方接触眼镜结合使用HUD 90，或任选地可以使眼镜形成被修改为并入眼科处方的透明显示器92、94的一部分)。然而，在替代实施例中，设想采用视频AR显示器。在该替代实施例中，透明显示器92、94由不透明的显示器，其显示由立体摄像头20拍摄的实际场景的视频馈送代替。然后，显示的视频源将作为显示的AR内容的基础。使用视频AR显示器的这种方法的缺点在于，与由说明性透视HUD90提供的直接观看实际场景相比，视频显示器通常将具有较粗的分辨率和/或可能具有其他光学性能下降。
为了提供用于支持服务过程的AR内容，实况视频馈送96通过蓝牙TM或另一种短程至中程无线通信协议(或者，替代地，查看有线USB或其他有线连接)传输到移动设备30(例如，手机或平板电脑)并且移动设备30继而将实况视频馈送96中继到服务器计算机100，例如通过蜂窝通信协议(例如4G)或通过WiFi链接到互联网服务提供商(ISP)/或医院电子网络，等等。服务器计算机100执行存储在非瞬态计算机存储介质上的指令(未示出——例如硬盘驱动器，RAID或其他磁存储介质；闪存，固态驱动器或其他电子存储介质；光盘或其他光学存储介质；其各种组合；等等)来执行对齐102，以将AR库部件80的AR内容映射到实况视频馈送96并定位代理(在此实施例中为HUD 90)。可以通过类似于先前描述的映射70(见图2)的SLAM处理来执行对齐102。映射到实况视频馈送96的AR内容适当地包括在AR库部件80中定义的AR内容，例如，零件编号注释，带注释的图中图(PIP)窗口，其中显示了CAD图或其部分和/或CAD动画，伴随的口头叙述等。例如，对齐的AR内容可以包括与通过SLAM处理在实况视频馈送96中识别的LOI对齐的标记。作为另一示例，对齐的AR内容可以包括与通过CV处理102在实况视频96馈送中识别的LOI对齐的注释(例如，零件编号注释、CAD绘图或CAD绘图部分或CAD动画)。
将得到的AR内容104经由4G、WiFi/ISP/因特网或其它通信路径发送到移动设备30，并继而从移动设备30经由蓝牙TM或其它近程到中程无线通信发送到HUD 90。在HUD 90，AR内容104在透明显示器92、94被显示为不透明或半透明的文本和/或图像，服务人员在视觉上将其感知为被叠加在由所述服务者在透过透明显示器92、94察看时看到的实际场景的视图中。(在采用视频AR显示的替代实施例中，实况视频馈送96被显示为底层，其上叠加有AR内容104)。
HUD 90任选地包括用于控制的用户接口。在一个说明性实施例中，这是通过可以在移动设备30上运行的AR用户界面(UI)应用程序(“AR UIapp”)106来实现的。通过AR UIapp 106，服务人员可以执行各种控制操作，例如：打开或关闭AR内容(例如，如果服务人员确信他或她不需要AR内容的帮助，和/或如果AR内容遮挡了被服务的部件的视图，则后者很有用)；选择执行特定的AR内容片段；暂停AR内容(再次，其通常被呈现为与实况视频馈送96同步的时间序列)；调整AR内容的亮度、透明度和/或其他显示特性；打开或关闭音频旁白；等等。在一些实施例中，AR UIapp 106可以为服务人员提供一种或多种与AR内容交互的机制，例如，如果HUD 90包括注视跟踪技术，则合适的控制机制可以是将注视指向AR内容元素(例如PIP窗口，零件号注释，等等)，并且然后说出命令，所述命令由麦克风38检测并且由语音识别处理以解释口头命令。代替经由口头命令，用户命令可以代替地经由显示在移动设备30的触敏显示器34上的软控件(按钮、开关、软键盘等)输入。这些仅仅是说明性的用户接口功能和控制输入机制；更一般而言，可以采用适合用于控制AR内容的呈现的基本上任何类型的用户接口能力和/或控制输入机制。
继续参考图3，在一些实施例中，可以提供服务预览。如已经指出的，可以为此目的提供预览视频41，其包括记录的视频40，所述记录的视频40被用作通过一些任选的处理(例如插入停止点和/或分割为片断，请参见图2的操作76)来创作AR内容80(如先前参考图2所描述的)的基础。为了采用预览模式，用户在操作110中例如使用AR UI应用106请求预览。在响应操作112中，指示服务器计算机100切换到预览模式(例如，沿着相同的4G或用于将实况视频馈送96传送到服务器100的其他通信路径发送的命令；任选地当切换到预览模式时，将关闭实况视频馈送到服务器的该通信)。命令112使服务器对AR对齐过程102执行修改114。该修改包括将预览视频41替换为实况视频馈送96，以使得AR内容与预览视频41对齐，并且添加预览视频41作为AR内容的基础。然后，与预览视频对齐的AR内容与底层预览视频的这种组合成为AR内容104，所述AR内容104被发送回移动设备30。在移动设备30处，在操作116中，具有叠加的AR内容的预览视频被显示在移动设备的显示器34上(同时，关闭向HUD 90馈送的AR内容)。然后，服务人员可以查看预览移动设备30的显示器34上，而不被通过显示在透明显示92、94上外来AR内容的阻碍。通常优选地在移动设备30的显示器34上显示预览，因为该内容不再与来自立体相机20的实况视频馈送在空间上对齐；然而，在另一个实施例中，可以预期在透明显示92、94上显示该预览。
图3的说明性实施例采用服务器计算机100来执行计算上复杂的SLAM处理102，如果移动设备30和HUD 90具有有限的处理能力，则这是有益的。同样地，使用运行AR UI app106的移动设备30来提供用户接口利用了触敏显示器34以及移动设备30的任选地其他特征(例如麦克风38)来提供用户友好的接口。在替代实施例中，可以以其他方式分布这些操作/处理。在一个预期的实施例中，所有处理和用户接口都与HUD集成在一起，在该预期的实施例中，HUD包括闪存等来存储AR库部件80(或从云服务器下载此内容)以提供基于单个单元AR的服务引导设备。作为另一变体，可以使用AR库部件80在整体下载到移动设备30或者从云服务器AR库部件80在移动设备30处执行操作102。这些也仅仅是说明性的变型。
此外，说明性HUD 90可以由呈现AR内容的另一移动设备代替。例如，移动设备30，例如手机或平板电脑，可以用来呈现AR内容(在该变型实施例中，省略了HUD 90)。为了使用移动设备30来呈现支持服务呼叫的AR内容，服务人员将后置摄像头36指向正在被服务的部件，并且实况视频馈送96被后置摄像头36记录。服务器计算机如已经描述的经由操作102处理实况视频馈送以生成AR内容，并且将其发送回移动设备30，所述移动设备30显示实况视频馈送96，其中AR内容被叠加(或者替代地，AR内容在实况视频馈送96上的叠加在在服务器计算机100上执行，然后服务器计算机100将AR内容与底层实况视频馈送组合起来发送回来)。有利的是，维修人员可以在后置相机36指向要维修的部件的情况下查看移动设备30的显示器34，从而使移动设备30用作视频AR显示器。
通过比较参考图1和图3，将认识到，在一些实施例中，在AR内容支持中使用的HUD90也可以用作用于记录图1的记录的视频40的移动相机18，即HUD 90可以代替图1的移动摄像头18。这种互操作性具有宝贵的优势：由HUD 90在服务呼叫期间捕获的实况视频馈送96可以任选地用作图1的记录的视频40，以用作根据图2执行进一步的AR创作以生成更新的或附加的AR内容的基础。例如，在替换CT机架12的X射线管的先前示例中，假设服务人员使用HUD 90提供AR内容时，具有新型号X射线管，其与被记录以用于创建AR内容的服务呼叫中安装的模型不同的。在这种情况下，服务人员可以在安装新型号X射线管时记录实况视频馈送96。如先前参考图1所述，这可能涉及从远程专家42获得电话建议。新型号X射线管的安装的记录的实况视频馈送96然后变为用作用于执行图2的AR内容创作的基础记录的视频40。此后，当新型号X射线管在后续服务呼叫中安被装，适合于新型号X射线管的新创作的AR内容可用于提供基于AR的指导。在执行根据图2的更新AR内容创作时，在操作82中，可以添加链接，其针对给定的后续服务调用，加载用于支持旧版本的安装的AR内容或者支持新型号X射线管的安装的AR内容，取决于哪个型号的X射线管正在被安装。此链接可能是手动的(例如，用户输入X射线管型号来经由AR UI 106加载正确的AR支持内容)或自动生成(例如，当服务人员第一次注视X射线管时，型号或型号区别特征通过CV处理而被检测，并且被用于链接针对正在被安装的X射线管的正确AR内容)。
在说明性实施例中，图2的AR内容创作方法54处理被执行以修理或维护医学成像设备的服务呼叫的记录的视频40，以便生成AR内容80以用于随后在基于AR的服务指令的传递中使用，如参考图3所述。然而，图2的AR内容创作方法54可以额外地或替代地应用于处理记录视频40以用于其他目的，例如创建带注释的AR日志条目以反映在成像设备10上执行的维护或修理动作。编写的AR内容可以用作维护检查的记录，以便验证维护并提供用于关联计划维护需求的工具。
在维护或维修记录应用中，AR内容日志条目典型地包括与在操作72、74中创建AR内容的注释所记录的视频40一起，并且AR内容日志条目(包括所记录的视频40和AR注解)被适当地存储在成像设备10的电子服务日志中。LOI指定操作72可以由服务人员在完成服务呼叫之后立即执行以识别他或她服务的位置，并且操作74可以要求服务人员添加AR内容，例如零件编号注释，口头和/或文本的(可选的语音转文字)和/或对所执行服务的文字说明和/或该服务的任何不正常方面的，服务人员所做的检查观察，以补充检查部件的记录视频，和/或等等。在这些实施例中，用户操作72、74可以，例如，是平板计算机、蜂窝电话，或由服务人员携带的其它便携电子设备上执行。可以自动生成一些带注释的AR内容，例如，添加时间戳信息，识别服务人员(或者可以手动添加AR内容)，基于CV的部件或出现在记录的视频40中的其他对象的自动标识，等等。
己经参考优选实施例描述了本发明。通过阅读和理解前述的详细描述，本领域技术人员可以想到各种修改和变型。目的是，本发明被理解为包括所有这样的修改和变动，只要它们落了权利要求书或其等价方案的范围之内。

Claims (21)

1.一种基于增强现实(AR)的服务引导设备，包括：
移动设备(30、90)，其包括显示器(34、92、94)和摄像头(20、36)；以及
电子处理器(30、100)，其被编程为执行计算机视觉(CV)处理(102)，以将AR内容(80)与由所述移动设备的所述摄像头捕获的实况视频馈送(96)对齐，并在所述移动设备的所述显示器上显示与所述实况视频馈送对齐的所述AR内容。
2.根据权利要求1所述的基于AR的服务引导设备，其中，经对齐的AR内容包括与通过所述CV处理(102)在所述实况视频馈送(96)中识别的感兴趣位置(LOI)对齐的标记。
3.根据权利要求1-2中的任一项所述的基于AR的服务引导设备，其中，经对齐的AR内容包括与通过所述CV处理(102)在所述实况视频(96)馈送中识别的感兴趣位置(LOI)对齐的注释。
4.根据权利要求3所述的基于AR的服务引导设备，其中，所述注释是零件编号注释、计算机辅助设计(CAD)制图、或CAD制图部分、或CAD动画。
5.根据权利要求1-4中的任一项所述的基于AR的服务引导设备，其中，
所述移动设备(30、90)包括抬头显示器(HUD)(90)，在所述抬头显示器中，所述显示器(92、94)是透明显示器，并且所述摄像头(20)被布置为捕获所述实况视频馈送(96)，所述实况视频馈送对应于所述HUD的用户透过所述透明显示器观看的视点；以及
处理器(30、100)，其被编程为在所述HUD的所述透明显示器上显示与所述实况视频馈送对齐的所述AR内容，而不在所述透明显示器上显示所述实况视频馈送。
6.根据权利要求1-4中的任一项所述的基于AR的服务引导设备，其中，
所述移动设备(30)包括蜂窝电话(手机)或平板计算机，其中，所述显示器是设置在所述手机或平板计算机的正面上的不透明显示器(34)，并且所述摄像头是后置摄像头(36)，所述后置摄像头被布置在所述手机或平板电脑的相对的背面上；并且
所述处理器(30、100)被编程为在所述手机或平板电脑的所述不透明显示器上显示与由所述后置摄像头(36)捕获的所述实况视频馈送(96)对齐的所述AR内容以及作为所述AR内容的底层的所述实况视频馈送。
7.根据权利要求1-6中的任一项所述的基于AR的服务引导设备，其中，所述电子处理器(30、100)还被编程为通过执行所述CV处理(102)将所述AR内容(80)与替换由所述移动设备(30、90)的所述相机(20、36)产生的所述实况视频馈送(96)的预览视频(41)对齐并且同时在所述移动设备的所述显示器(34)上显示与所述预览视频对齐的所述AR内容以及被显示为所述AR内容底层的所述预览视频两者来执行服务预览。
8.根据权利要求1-7中的任一项所述的基于AR的服务引导设备，其中，所述电子处理器(30、100)包括：
服务器计算机(100)，其被编程为执行所述CV处理(102)以将所述AR内容(80)与由所述移动设备(30、90)的所述摄像头(20、36)产生的所述实况视频馈送(96)对齐；以及
所述移动设备的处理器，其被编程为将由所述移动设备的所述摄像头产生的所述实况视频馈送传输到所述服务器计算机，并且从所述服务器计算机接收与所述实况视频馈送对齐的所述AR内容(104)，并且在所述移动设备的所述显示器(34、92、94)上显示与所述实况视频馈送对齐的所述AR内容。
9.根据权利要求1-8中的任一项所述的基于AR的服务引导设备，其中，CV处理(102)包括同时定位和映射(SLAM)处理，以将所述AR内容(80)与由所述移动设备(30、90)的所述摄像头(20、36)产生的所述实况视频馈送(96)对齐。
10.根据权利要求1-9中的任一项所述的基于AR的服务引导设备，还包括：
计算机(52)，其被编程为执行CV处理(54)，以通过以下操作来生成所述AR内容(80)，所述操作包括将所述AR内容与服务呼叫的记录的视频(40)对齐(70)，包括将所述AR内容的至少部分与通过用户输入在所述服务呼叫的所述记录的视频中识别的至少一个感兴趣位置(LOI)对齐(72)。
11.一种基于增强现实(AR)的服务引导方法，包括：
使用计算机(52)，创作AR内容(80)，包括以下操作：在所述计算机处接收用户输入，所述用户输入识别服务呼叫的记录的视频(40)中的至少一个感兴趣位置(LOI)，并且执行计算机视觉(CV)处理(54)，以将AR内容与服务呼叫的记录的视频对齐，包括将所述AR内容的部分与所述至少一个LOI对齐；并且
使用电子处理器(30、100)和包括显示器(34、92、94)和摄像头(20、36)的移动设备(30、90)，呈现所创作的AR内容，包括使用所述电子处理器执行计算机视觉(CV)处理(102)，以将所创作的AR内容(80)与由所述移动设备的所述摄像头产生的实况视频馈送(96)对齐，并且在所述移动设备的所述显示器上显示与所述实况视频对齐的所创作的AR内容。
12.根据权利要求11所述的基于AR的服务引导方法，其中，与所述至少一个LOI对齐的所述AR内容(80)的所述部分包括零件编号注释、计算机辅助设计(CAD)绘图注释和CAD动画注释中的一个或多个。
13.根据权利要求11-12中的任一项所述的基于AR的服务引导方法，其中，所述移动设备(30、90)包括抬头显示器(HUD)(90)，在所述抬头显示器中，所述显示器是透明显示器(92、94)，并且所述摄像头(20)被布置为捕获与所述UD的用户透过所述透明显示器观看的视点相对应的所述实况视频馈送(96)，并且对所创作的AR内容的所述呈现包括：
在所述HUD的所述透明显示器上显示与所述实况视频馈送相对应的所述AR内容(80)而不在所述透明显示器上显示所述实况视频馈送。
14.根据权利要求11-12中的任一项所述的基于AR的服务引导方法，其中，所述移动设备(30)包括蜂窝电话(手机)或平板计算机，其中，所述显示器是设置在所述手机或平板计算机的正面上的不透明显示器(34)，并且所述摄像头是后置摄像头(36)，所述后置摄像头被布置在所述手机或平板电脑的相对的背面上，并且对所创作的AR内容的所述呈现包括：
在所述手机或平板电脑的所述不透明显示器上显示与由所述后置摄像头(36)捕获的所述实况视频馈送(96)对齐的所述AR内容(80)和作为所述AR内容的底层的所述实况视频馈送两者。
15.根据权利要求11-14中的任一项所述的基于AR的服务引导方法，还包括：
使用所述电子处理器(30、100)和所述移动设备(30、90)，通过执行CV处理(102)来将所创作的AR内容(80)与替换由移所述动设备的所述相机(20、36)产生的所述实况视频馈送(96)的预览视频(41)对齐并且同时在所述移动设备的所述显示器(34)上显示与所述预览视频对齐的所创造的AR内容以及被显示为所述AR内容的底层的所述预览视频两者来执行服务预览。
16.根据权利要求11-15中的任一项所述的基于AR的服务引导方法，其中，所述电子处理器(30、100)包括：服务器计算机(100)，其被使用以执行所述CV处理(102)以将所创作的AR内容(80)与由所述相机(20、36)产生的所述实况视频馈送(96)对齐；以及所述移动设备的处理器，其被使用以在所述移动设备的所述显示器(34、92、94)上显示与所述实况视频馈送对齐的所创作的AR内容，所述基于AR的服务引导方法还包括：
将所述实况视频馈送(96)从所述移动设备传送到所述服务器计算机；并且
将与所述实况视频馈送对齐的所创作的AR内容(104)从所述服务器计算机传送到所述移动设备。
17.根据权利要求11-16中的任一项所述的基于AR的服务引导方法，其中，
被执行用于将所述AR内容与所述服务呼叫的所述记录的视频相对齐的所述CV处理(54)包括同时定位和映射(SLAM)处理；并且
被执行用于将所创作的AR内容与由所述移动设备的所述摄像头产生的所述实况视频馈送对齐的所述CV处理(102)包括SLAM处理。
18.一种用于创作用于服务引导的AR内容的增强现实(AR)内容创作设备，所述设备包括：
计算机(52)；以及
非瞬态存储介质，其存储能够由所述计算机读取和运行的指令以执行AR内容创作方法(54)，所述AR内容创作方法包括：
在所述计算机处接收用户输入，所述用户输入识别服务呼叫的记录的视频(40)中的至少一个感兴趣位置(LOI)；并且
执行计算机视觉(CV)处理(70)以将AR内容与所述服务呼叫的所述记录的视频对齐，包括将所述AR内容的部分与所述至少一个LOI对齐(72)。
19.根据权利要求18所述的AR内容创作设备，其中，对识别至少一个LOI的用户输入的所述接收包括：
在所述服务呼叫的所述记录的视频(40)中接收所述用户输入，其中，由所述计算机执行CV处理(72)，以检测由所述记录的视频捕获的用户操作，所述用户操作指示所述记录的视频中的至少一个LOI(60)。
20.根据权利要求18-19中的任一项所述的AR内容创作设备，其中，所述CV处理(54)包括同时定位和映射(SLAM)处理。
21.根据权利要求18-20中的任一项所述的AR内容创作设备，其中，所述AR内容创作方法(54)还包括将所述服务呼叫的所述记录的视频(40)和经对齐的AR内容存储为以下之一：
维护流程AR库部件(80)，其包括预览视频(41)，或者
AR服务日志条目，其包括存储在医学成像设备电子服务日志中的经对齐的AR内容和所述记录的视频(40)。
CN201880075940.3A 2017-10-23 2018-10-18 基于自扩展的增强现实服务指令库 Pending CN111386511A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762575553P 2017-10-23 2017-10-23
US62/575,553 2017-10-23
PCT/EP2018/078635 WO2019081350A1 (en) 2017-10-23 2018-10-18 SERVICE INSTRUCTION LIBRARY BASED ON SELF-EXPANSION ENHANCED REALITY

Publications (1)

Publication Number Publication Date
CN111386511A true CN111386511A (zh) 2020-07-07

Family

ID=63921550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880075940.3A Pending CN111386511A (zh) 2017-10-23 2018-10-18 基于自扩展的增强现实服务指令库

Country Status (5)

Country Link
US (1) US11861898B2 (zh)
EP (1) EP3701355A1 (zh)
JP (1) JP2021500690A (zh)
CN (1) CN111386511A (zh)
WO (1) WO2019081350A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113404318A (zh) * 2021-07-06 2021-09-17 中建八局第三建设有限公司 基于bim、uwb和ar技术的临边洞口施工管控方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021500690A (ja) * 2017-10-23 2021-01-07 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 自己展開型拡張現実ベースのサービス命令ライブラリ
US11804679B2 (en) 2018-09-07 2023-10-31 Cilag Gmbh International Flexible hand-switch circuit
US11896279B2 (en) 2018-09-07 2024-02-13 Cilag Gmbh International Surgical modular energy system with footer module
US11923084B2 (en) 2018-09-07 2024-03-05 Cilag Gmbh International First and second communication protocol arrangement for driving primary and secondary devices through a single port
US11031128B2 (en) * 2019-01-25 2021-06-08 Fresenius Medical Care Holdings, Inc. Augmented reality-based training and troubleshooting for medical devices
USD939545S1 (en) 2019-09-05 2021-12-28 Cilag Gmbh International Display panel or portion thereof with graphical user interface for energy module
US11830602B2 (en) 2020-10-02 2023-11-28 Cilag Gmbh International Surgical hub having variable interconnectivity capabilities
US11963683B2 (en) 2020-10-02 2024-04-23 Cilag Gmbh International Method for operating tiered operation modes in a surgical system
US11672534B2 (en) 2020-10-02 2023-06-13 Cilag Gmbh International Communication capability of a smart stapler
US11877897B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Situational awareness of instruments location and individualization of users to control displays
US11748924B2 (en) 2020-10-02 2023-09-05 Cilag Gmbh International Tiered system display control based on capacity and user operation
US11992372B2 (en) 2020-10-02 2024-05-28 Cilag Gmbh International Cooperative surgical displays
US11963727B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for system architecture for modular energy system
US11968776B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for mechanical packaging for modular energy system
US11950860B2 (en) 2021-03-30 2024-04-09 Cilag Gmbh International User interface mitigation techniques for modular energy systems
US11978554B2 (en) 2021-03-30 2024-05-07 Cilag Gmbh International Radio frequency identification token for wireless surgical instruments
US11980411B2 (en) 2021-03-30 2024-05-14 Cilag Gmbh International Header for modular energy system
US11857252B2 (en) 2021-03-30 2024-01-02 Cilag Gmbh International Bezel with light blocking features for modular energy system
US20220331048A1 (en) * 2021-04-14 2022-10-20 Cilag Gmbh International Utilization of surgical data values and situational awareness to control the overlay in surgical field view
US20240045491A1 (en) * 2022-08-05 2024-02-08 Alexander Sourov Medical image overlays for augmented reality experiences

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060241792A1 (en) * 2004-12-22 2006-10-26 Abb Research Ltd. Method to generate a human machine interface
CN104274247A (zh) * 2014-10-20 2015-01-14 上海电机学院 医学手术导航方法
WO2015093130A1 (ja) * 2013-12-17 2015-06-25 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN105264572A (zh) * 2013-04-04 2016-01-20 索尼公司 信息处理设备、信息处理方法和程序

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE50003531D1 (de) * 1999-03-02 2003-10-09 Siemens Ag System und verfahren zur situationsgerechten unterstützung der interaktion mit hilfe von augmented-reality-technologien
US8489408B2 (en) * 2002-10-18 2013-07-16 Kabushiki Kaisha Toshiba Medical equipment management apparatus which predicts future status of medical equipment
US10387612B2 (en) * 2006-06-14 2019-08-20 Koninklijke Philips N.V. Multi-modality medical image layout editor
US20080123910A1 (en) * 2006-09-19 2008-05-29 Bracco Imaging Spa Method and system for providing accuracy evaluation of image guided surgery
US20100159434A1 (en) * 2007-10-11 2010-06-24 Samsun Lampotang Mixed Simulator and Uses Thereof
US20100257252A1 (en) * 2009-04-01 2010-10-07 Microsoft Corporation Augmented Reality Cloud Computing
US8400548B2 (en) * 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US20110316845A1 (en) * 2010-06-25 2011-12-29 Palo Alto Research Center Incorporated Spatial association between virtual and augmented reality
US9424371B2 (en) * 2010-11-05 2016-08-23 Autodesk, Inc. Click to accept as built modeling
JP2012108711A (ja) * 2010-11-17 2012-06-07 Nec Casio Mobile Communications Ltd 端末装置、端末装置の動作方法、及び拡張現実システム
US20120166462A1 (en) * 2010-12-28 2012-06-28 Microsoft Corporation Automated image data processing and visualization
WO2012142250A1 (en) * 2011-04-12 2012-10-18 Radiation Monitoring Devices, Inc. Augumented reality system
US8832233B1 (en) * 2011-07-20 2014-09-09 Google Inc. Experience sharing for conveying communication status
EP2560145A3 (en) 2011-08-18 2017-03-15 Layar B.V. Methods and systems for enabling the creation of augmented reality content
US20150040074A1 (en) 2011-08-18 2015-02-05 Layar B.V. Methods and systems for enabling creation of augmented reality content
US9235819B2 (en) * 2011-11-04 2016-01-12 Canon Kabushiki Kaisha Printing system, image forming apparatus, and method
JPWO2013094366A1 (ja) * 2011-12-22 2015-04-27 村田機械株式会社 産業機械システムおよび産業機械システム用情報処理機器
US11397462B2 (en) * 2012-09-28 2022-07-26 Sri International Real-time human-machine collaboration using big data driven augmented reality technologies
US9953618B2 (en) * 2012-11-02 2018-04-24 Qualcomm Incorporated Using a plurality of sensors for mapping and localization
JP6016268B2 (ja) * 2012-12-20 2016-10-26 Kddi株式会社 フィールド作業支援装置、方法及びプログラム
US20140320529A1 (en) 2013-04-26 2014-10-30 Palo Alto Research Center Incorporated View steering in a combined virtual augmented reality system
US9269003B2 (en) * 2013-04-30 2016-02-23 Qualcomm Incorporated Diminished and mediated reality effects from reconstruction
WO2014179745A1 (en) * 2013-05-02 2014-11-06 Qualcomm Incorporated Methods for facilitating computer vision application initialization
US9495761B2 (en) * 2013-11-04 2016-11-15 The Regents Of The University Of California Environment mapping with automatic motion model selection
US9740935B2 (en) * 2013-11-26 2017-08-22 Honeywell International Inc. Maintenance assistant system
US20150219767A1 (en) * 2014-02-03 2015-08-06 Board Of Regents, The University Of Texas System System and method for using global navigation satellite system (gnss) navigation and visual navigation to recover absolute position and attitude without any prior association of visual features with known coordinates
US20150262412A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Augmented reality lighting with dynamic geometry
US20150325047A1 (en) * 2014-05-06 2015-11-12 Honeywell International Inc. Apparatus and method for providing augmented reality for maintenance applications
EP3146729A4 (en) * 2014-05-21 2018-04-11 Millennium Three Technologies Inc. Fiducial marker patterns, their automatic detection in images, and applications thereof
US9723109B2 (en) * 2014-05-28 2017-08-01 Alexander Hertel Platform for constructing and consuming realm and object feature clouds
US20160133230A1 (en) * 2014-11-11 2016-05-12 Bent Image Lab, Llc Real-time shared augmented reality experience
US20170243403A1 (en) * 2014-11-11 2017-08-24 Bent Image Lab, Llc Real-time shared augmented reality experience
US20160140868A1 (en) * 2014-11-13 2016-05-19 Netapp, Inc. Techniques for using augmented reality for computer systems maintenance
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
GB2534359A (en) * 2015-01-15 2016-07-27 Corin Ltd System and method for patient implant alignment
US11150482B2 (en) * 2015-02-25 2021-10-19 Facebook Technologies, Llc Augmented reality content creation
US9846972B2 (en) * 2015-04-06 2017-12-19 Scope Technologies Us Inc. Method and apparatus for sharing augmented reality applications to multiple clients
US20160358383A1 (en) * 2015-06-05 2016-12-08 Steffen Gauglitz Systems and methods for augmented reality-based remote collaboration
US10037627B2 (en) * 2015-08-14 2018-07-31 Argis Technologies Llc Augmented visualization system for hidden structures
US10430040B2 (en) * 2016-01-18 2019-10-01 Microsoft Technology Licensing, Llc Method and an apparatus for providing a multitasking view
US10187686B2 (en) * 2016-03-24 2019-01-22 Daqri, Llc Recording remote expert sessions
GB2568426B (en) * 2016-08-17 2021-12-15 Synaptive Medical Inc Methods and systems for registration of virtual space with real space in an augmented reality system
US20180082414A1 (en) * 2016-09-21 2018-03-22 Astralink Ltd. Methods Circuits Assemblies Devices Systems Platforms and Functionally Associated Machine Executable Code for Computer Vision Assisted Construction Site Inspection
US20210327303A1 (en) * 2017-01-24 2021-10-21 Tienovix, Llc System and method for augmented reality guidance for use of equipment systems
US10140773B2 (en) * 2017-02-01 2018-11-27 Accenture Global Solutions Limited Rendering virtual objects in 3D environments
US20180239313A1 (en) * 2017-02-22 2018-08-23 Stellar Vdc Residential, Llc Building model with virtual capture of as built features and objective performance tracking
US10659768B2 (en) * 2017-02-28 2020-05-19 Mitsubishi Electric Research Laboratories, Inc. System and method for virtually-augmented visual simultaneous localization and mapping
US9892564B1 (en) * 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
US10249095B2 (en) * 2017-04-07 2019-04-02 Microsoft Technology Licensing, Llc Context-based discovery of applications
US10692287B2 (en) * 2017-04-17 2020-06-23 Microsoft Technology Licensing, Llc Multi-step placement of virtual objects
US20180324229A1 (en) * 2017-05-05 2018-11-08 Tsunami VR, Inc. Systems and methods for providing expert assistance from a remote expert to a user operating an augmented reality device
WO2018222756A1 (en) * 2017-05-30 2018-12-06 Ptc Inc. Object initiated communication
US10127290B1 (en) * 2017-07-19 2018-11-13 Facebook, Inc. Systems and methods for distributing augmented-reality effects
US10212000B1 (en) * 2017-07-25 2019-02-19 Daqri, Llc Computer vision based activation
EP3438859A1 (en) * 2017-08-01 2019-02-06 Predict Srl Method for providing remote assistance services using mixed and/or augmented reality visors and system for implementing it
JP2021500690A (ja) * 2017-10-23 2021-01-07 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 自己展開型拡張現実ベースのサービス命令ライブラリ
US10699165B2 (en) * 2017-10-30 2020-06-30 Palo Alto Research Center Incorporated System and method using augmented reality for efficient collection of training data for machine learning
US10854006B2 (en) * 2018-11-15 2020-12-01 Palo Alto Research Center Incorporated AR-enabled labeling using aligned CAD models
US20200210967A1 (en) * 2018-12-31 2020-07-02 Palo Alto Research Center Incorporated Method and system for rule-based augmentation of perceptions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060241792A1 (en) * 2004-12-22 2006-10-26 Abb Research Ltd. Method to generate a human machine interface
CN105264572A (zh) * 2013-04-04 2016-01-20 索尼公司 信息处理设备、信息处理方法和程序
WO2015093130A1 (ja) * 2013-12-17 2015-06-25 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN104274247A (zh) * 2014-10-20 2015-01-14 上海电机学院 医学手术导航方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113404318A (zh) * 2021-07-06 2021-09-17 中建八局第三建设有限公司 基于bim、uwb和ar技术的临边洞口施工管控方法

Also Published As

Publication number Publication date
US11861898B2 (en) 2024-01-02
WO2019081350A1 (en) 2019-05-02
JP2021500690A (ja) 2021-01-07
EP3701355A1 (en) 2020-09-02
US20200342228A1 (en) 2020-10-29

Similar Documents

Publication Publication Date Title
US11861898B2 (en) Self-expanding augmented reality-based service instructions library
US10372751B2 (en) Visual search in real world using optical see-through head mounted display with augmented reality and user interaction tracking
US11819273B2 (en) Augmented and extended reality glasses for use in surgery visualization and telesurgery
US20180144425A1 (en) System and method for augmenting healthcare-provider performance
JP6165846B2 (ja) 目のトラッキングに基づくディスプレイの一部の選択的強調
US20160357267A1 (en) System and Methods of Camera-Based Fingertip Tracking
CA2899006A1 (en) System and method for augmenting healthcare-provider performance
US20120256950A1 (en) Medical support apparatus, medical support method, and medical support system
CN113168906A (zh) 用于增强现实-增强现场维修支持的系统和方法
US11830614B2 (en) Method and system for optimizing healthcare delivery
JP6407526B2 (ja) 医用情報処理システム、医用情報処理方法及び情報処理システム
US11277358B2 (en) Chatbot enhanced augmented reality device guidance
US20190311796A1 (en) Color analysis and control using an electronic mobile device transparent display screen integral with the use of augmented reality glasses
CN104969547A (zh) 用于3d视觉内容的自动化评估的技术
US20200234809A1 (en) Method and system for optimizing healthcare delivery
US10580382B2 (en) Power and processor management for a personal imaging system based on user interaction with a mobile device
US11710278B2 (en) Predictive virtual reconstruction of physical environments
CN110618749A (zh) 一种基于增强/混合现实技术的医疗活动辅助系统
EP4250193A1 (en) Ghost mode glasses for use in servicing medical devices and servicing workflows using same
JP7094759B2 (ja) システム、情報処理方法及びプログラム
US12002578B2 (en) Systems and methods for augmented reality-enhanced field services support
KR20170060761A (ko) 원격 의료 서비스 제공 시스템 및 방법
WO2023180050A1 (en) Ghost mode glasses for use in servicing medical devices and servicing workflows using same
CN111373449B (zh) 用于辅助在产品上执行任务的辅助方法和辅助系统
US20240127560A1 (en) Mixed-reality system and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination