CN109394252A - 用于操作医学成像设备的方法和医学成像设备 - Google Patents

用于操作医学成像设备的方法和医学成像设备 Download PDF

Info

Publication number
CN109394252A
CN109394252A CN201810925534.3A CN201810925534A CN109394252A CN 109394252 A CN109394252 A CN 109394252A CN 201810925534 A CN201810925534 A CN 201810925534A CN 109394252 A CN109394252 A CN 109394252A
Authority
CN
China
Prior art keywords
user
auxiliary line
intelligent glasses
medical imaging
user command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810925534.3A
Other languages
English (en)
Other versions
CN109394252B (zh
Inventor
A.格拉芬贝格
H.施魏策尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN109394252A publication Critical patent/CN109394252A/zh
Application granted granted Critical
Publication of CN109394252B publication Critical patent/CN109394252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/467—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient characterised by special input means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G16H20/17—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered via infusion or injection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Abstract

一种用于操作医学成像设备(1)的方法，所述医学成像设备(1)包括用户接口设备，用于向用户(20)显示与成像过程相关的信息和/或接收与成像过程相关的用户输入，以及根据使用所述用户接口设备输入的用户命令可控制的至少一个部件，其中所述用户接口设备包括至少一对混合现实智能眼镜(6)，由此将指示所述智能眼镜(6)的佩戴者(20)的视线方向的虚拟辅助线(23)投影到所述智能眼镜(6)的视场中，其中在接收到至少一个用户命令时，基于所述用户命令和由所述辅助线(23)限定的方向控制至少一个部件。

Description

用于操作医学成像设备的方法和医学成像设备
技术领域
本发明涉及一种用于操作医学成像设备的方法，所述医学成像设备包括用户接口设备，用于向用户显示与成像过程相关的信息和/或接收与成像过程相关的用户输入，以及根据使用所述用户接口设备输入的用户命令可控制的至少一个部件，其中所述用户接口设备包括至少一对混合现实智能眼镜。本发明也涉及医学成像设备。
背景技术
当前的医学成像设备提供相当多的功能并且因此提供相当多的复杂操作元件，用户可以使用所述操作元件配置和实现这些功能。例如，成像过程的具体实施例以及因此成像参数取决于成像区域和诊断目标而变化很大。尽管常见的成像过程已经难以操作，但是如果医学成像设备在无菌环境中使用，例如在外科介入期间，则该问题变得更严重。例如，具有c形臂和用于c形臂的移动载架的医学成像设备通常用作介入模态。在这样的环境中，必须提供操作部件，其一方面允许复杂功能的符合人体工程学的使用，另一方面满足无菌操作的要求。
在该背景中，已提出使用混合现实智能眼镜作为用户接口设备的操作元件。例如，早期申请DE 10 2017 202 517.4提出将至少一对混合现实智能眼镜作为用户接口设备的一部分。
混合现实智能眼镜配置成显示成像过程相关信息的至少一部分和/或接收成像过程相关用户输入的至少一部分。这样的混合现实智能眼镜已经在现有技术中提出，是一种头戴式显示器，并且也可以称为增强现实智能眼镜。这样的智能眼镜例如作为“HoloLens”(Microsoft)或“MetaVision”可获得。这些设备通常佩戴成覆盖用户的眼睛。通过将附加的计算机生成信息投影到用户的视场中来提供增强现实。这样的一对智能眼镜可以包括多个传感器，特别是3D和/或RGB相机和/或至少一个运动传感器，用于追踪佩戴智能眼镜的头部。它附加地包括提供立体视图的用于每只眼睛的投影单元、控制设备和/或扬声器/麦克风。智能眼镜的控制单元可以配置成将增强现实对象映射到特别是感测的环境几何结构并且使用投影单元显示透视正确和立体图形元件(增强现实对象)。控制单元还可以配置成检测和识别由用户执行的操作手势。应当注意，控制单元或控制单元的至少部分也可以位于智能眼镜的外部，例如在计算设备内部。这也适用于传感器。例如，可以通过外部追踪设备(“由外而内”追踪)支持或替换智能眼镜的通常“由内而外”追踪，例如通过使用智能眼镜上的外部可追踪标记。这可以提高追踪的准确性。
也建议有一个以上的用户佩戴这样的智能眼镜。这些智能眼镜对可以直接或间接通信，允许匹配为每个用户产生的增强现实。因此，所有用户都看到适应他们的相应视点的相同对象/图形元件，。
DE 10 2017 202 517.4考虑到医学成像设备的操作以及通知用户而提出使用这样的一对智能眼镜来改进成像过程。
成像系统中的一般问题是存在多个移动部件以建立不同的成像几何形状。示例再次是c形臂设备。为了提供最佳的医疗信息，必须仔细选择成像方向。特别在3D成像中，另一个问题是在对应的显示设备(例如监视器)上的三维图像数据集的视图的取向。在已知系统中，可以通过使用鼠标或触摸屏来旋转视图，但是这需要长时间来找到最佳方向。已提出在医学成像设备中使用算法，其例如自动检测在微创介入中使用的器械或植入物并且相应地选择三维图像数据集的显示取向。然而，这些方法在用于尚未优化或设计的工作流程中时可能失败，例如当仪器或植入物在图像数据中尚不可见时选择观看方向。
发明内容
本发明的目的是提供一种改进的工具，其用于用户在操作医学成像设备时限定方向。
该目的通过提供根据权利要求1的方法和根据权利要求15的医学成像设备来实现。在从属权利要求中描述了有利的实施例。
在用于操作医学成像设备的方法中，所述医学成像设备包括用户接口设备，用于向用户显示与成像过程相关的信息和/或接收与成像过程相关的用户输入，以及根据使用所述用户接口设备输入的用户命令可控制的至少一个部件，其中所述用户接口设备包括至少一对混合现实智能眼镜，根据本发明，提供将指示所述智能眼镜的佩戴者的视线方向的虚拟辅助线投影到所述智能眼镜的视场中，其中在接收到至少一个用户命令时，基于所述用户命令和由所述辅助线限定的方向控制至少一个部件。
提出在由混合现实智能眼镜产生的增强环境中添加辅助线作为附加工具，其非常适合于在操作成像设备时限定方向。辅助线对应于佩戴智能眼镜的用户的当前观看方向，提供在用户的眼睛之间发出的虚拟矢量或激光射线的错觉，提供方向的清晰指示。虚拟辅助线对应于用户(和即智能眼镜)的移动而移动，使得可以通过调整用户的自身位置和视线对其进行调整。因此可以例如将辅助线与患者的解剖结构和/或微创介入中使用的医疗器械对准。
使用由智能眼镜的控制单元控制的智能眼镜的对应投影单元将作为图形元件/增强现实对象的辅助线投影到视场中。辅助线的正确投影位置/取向可以例如基于智能眼镜的当前位置和取向周期性地更新。也可以使用进一步的信息来细化作为图形元件的辅助线的定位，例如通过考虑眼睛传感器的数据，进一步指示用户的视线方向。总之，提供了由用户限定方向的直观方式。
本发明的优选应用领域是x射线成像设备，使得在优选实施例中，医学成像设备，特别是移动的x射线设备，其特别配置用于过程内成像，其中部件中的至少一个是或构成成像组件，所述成像组件至少包括x射线源和x射线检测器，并且特别地也包括c形臂。这样的移动c形臂x射线设备操作复杂，原因是存在许多自由度，特别是关于成像几何形状。某些部件，优选至少x射线源和检测器，优选地还有c形臂，是可移动的，从而限定成像过程的成像几何形状。在该背景中，用户命令可以限定这样的部件的移动。当然，本发明也可以应用于固定的c形臂。尽管在本说明书中提及的大多数具体实施例可以涉及x射线医学成像设备，但是本发明也可应用于其他医学成像模态，例如超声或磁共振成像。
在具体实施例中，佩戴者的视线方向被限定为在眼睛之间的中心点处、垂直于眼睛的连接轴线。以该方式，虚拟辅助线具有与智能眼镜的预定关系，并且可以在已知智能眼镜的位置和取向时进行计算。如上所述，该位置和取向通常可以通过“由内而外”追踪、“由外而内”追踪或其组合来确定。
优选地，仅当佩戴智能眼镜的用户已激活对应的操作模式时才显示辅助线。例如，该操作模式可以是限定方向的操作模式。每当用户想要限定某个方向时，无论是限定采集参数还是显示参数，他或她都可以激活对应的操作模式。在激活时，将虚拟辅助线作为图形元件添加到增强现实环境。尽管不需要使用辅助线来限定方向，但是当操作由智能眼镜产生的增强现实的其他功能或读取由其提供的信息时，停用对应的操作模式并且虚拟辅助线不会干扰用户。
在特别优选的实施例中，提供固定用户命令，在接收到所述固定用户命令时，投影辅助线的当前位置保持就位而与智能眼镜的任何移动无关。以该方式，用户可以例如使用口头用户命令或手势与用户接口设备交互，以将虚拟辅助线固定在其当前位置和方向。如果用户现在移动他的头部，则智能眼镜使用它们的立体投影单元来产生静止在通过使用固定用户命令固定处的虚拟辅助线的错觉。用户现在可以从多个视线容易地和直观地检查固定方向，判断其对目标功能的适合性。如果用户满足选定的方向，则他可以使用用户命令最终选择由虚拟辅助线限定的当前方向以执行该功能。当然，也可以提供解除固定用户命令，使得固定的虚拟辅助线可以从其固定位置释放并且再次投影为用户的当前视线方向。
优选地，检测该视场中的实体和/或虚拟对象，并且在辅助线与这些对象的至少一部分交互的位置切断辅助线的投影。现代智能眼镜通常具有高质量的3D检测能力，例如使用3D相机，使得可以导出实体对象在用户视场中的位置。可以以一种方式投射虚拟辅助线，使得实体对象(例如患者)被排除在线的投影之外。换句话说，在实体对象(例如患者)处虚拟辅助线是不可见的，在另一端从患者处再次虚拟地出现。因此，更逼真地产生增强现实，特别是在固定虚拟辅助线的情况下。
为了使用当前由虚拟辅助线限定的方向，可以提供至少一个选择用户命令，在检测到所述选择用户命令时，线的当前方向用于执行与检测到的选择用户命令关联的功能。特别地，可以限定多个选择用户命令，使得可以为不同的应用限定方向。尽管选择用户命令(以及固定和/或解除固定用户命令，如果提供)优选地是口头用户命令和/或手势，但是当然也可以提供用于执行这些用户命令的其他操作元件，例如硬件输入设备，如手动或脚踏开关等。通过提供选择用户命令，由当前虚拟辅助线限定的方向可以用于医学成像设备的若干功能/任务。
在实施例中，在检测到对应的选择用户命令时，取决于辅助线的方向选择医学成像设备的至少一个几何采集参数和/或取决于辅助线的方向调整医学成像设备的至少一个介入部件，特别是机器人。因此可以沿着虚拟辅助线限定医学成像设备(即成像系统)和/或医疗仪器(特别是机器人)的对准。例如，特别是在使用安全的另外的输入设备或用户命令之后，可以将医学成像设备的c形臂和/或自动化患者台作为医学成像设备的部件控制以将医学成像设备的中心束与由虚拟辅助线限定的方向对准。特别地，可以提供通过由智能眼镜的传感器感测这些部件的当前位置并且考虑虚拟辅助线的已知位置来计算医学成像设备的部件的所需运动。该实施例不限于在医学成像设备中限定x射线投影方向，而是也可以有利地应用于由医学成像设备检查的微创介入中使用的医疗器械。在具体实施例中，医学成像设备是c形臂设备，其中选择几何采集参数并且调整c形臂使得采集方向对应于辅助线的方向。再次应当注意，优选地在没有人遭受可能的碰撞时，特别是在接收到另外的用户命令时的阶段，随后执行控制c形臂或其他部件以实现采集方向。
如果使用辅助线，例如，作为限定投影方向的虚拟中心光束，则可以在辅助线上提供表示等中心的附加图形元件作为虚拟对象，其位置可以例如使用(手)势和/或其他调整命令进行调整。例如，可以使用固定命令来固定辅助线，之后可以提供和操纵附加图形元件。
如已经指出的，由虚拟辅助线限定的方向也可以用于显示功能。在优选实施例中，在检测到对应的选择用户命令时，取决于虚拟辅助线的方向选择用于在用户接口设备的显示设备上显示图像数据集的至少一个几何显示参数。这有利地允许将用户的视线方向关联到仍然存在于医学成像设备中的患者上，例如在介入期间，并且特别是患者的三维数据集。因此，在特别优选的实施例中，图像数据集是当前用医学成像设备成像并且配准到患者的当前位置的患者的三维图像数据集，其中辅助线的方向限定三维数据集的呈现的视线方向或切片堆叠方向，特别是对于多平面重组(MPR)，作为几何显示参数。替代地，关于MPR，切片堆叠方向也可以限定为例如垂直于虚拟辅助线的当前方向，这是不太优选的。本发明的该实施例优选地允许用户沿着由虚拟辅助线限定的方向滚动MPR切片。也可以对准患者的三维图像数据集，使得用户可以在显示设备上正好在相关查看方向上查看图像数据集，或者用户可以在垂直于该相关视线方向的平面中滚动切片图像。
优选地，在辅助线方向限定切片堆叠方向的情况下，提供附加的滚动用户命令，特别是手势，其中在检测到滚动用户命令时，显示与滚动用户命令关联或从滚动用户命令可导出的滚动方向上的相邻切片。因此，特别是使用MPR滚动切片图像(或截面图像)也可以整合到本文描述的用户接口概念中。
也优选地，智能眼镜可以用作显示设备或显示设备的一部分，其中图像数据是当前用医学成像设备成像并且配准到患者的当前位置的患者的三维图像数据集，并且图像数据集投影到视场中以出现在与图像数据集中所示的患者的区域对应的患者的位置处。特别地，三维图像数据集的该呈现可以实现接触模拟。在该优选实施例中，特定切片图像的交互和显示至少基本上由智能眼镜实现，覆盖在患者的实际采集区域上，使得在需要时为用户提供查看三维图像数据集的错觉。
应当注意，在用户希望编辑或重新调整由虚拟辅助线限定的方向的情况下，可以提供用户接口设备的编辑操作模式，其中，例如通过使用手势和/或口头命令，用户可以调整由虚拟辅助线限定的方向的位置和取向。
在本发明的另一个优选实施例中，作为编辑操作模式的特殊情况，用户接口设备的远程控制模式是可用的，其可以由用户激活，一旦激活，检测用户的视线方向的变化，并且根据检测到的变化移动特别是先前通过使用固定命令固定的辅助线，其不指示用户的视线方向，而是以其他方式定位在用户的视场中。在该情况下，通过改变用户的视线方向，特别是通过佩戴智能眼镜的用户的头部的移动，可以操纵不对应于用户的视线方向的辅助线。特别地，远程可控辅助线可以具有其起源的另一原点或视点。该远程可控辅助线的方向及其视点可以由用户操纵，移动他的头部和/或以其他方式可检测地改变他自己的视点/视线方向。
这有利地允许也限定否则将不会或仅仅令人不舒服地可限定的方向。例如，如果用户想要限定通过患者的竖直方向，则他必须将他的头部移动到患者上方(或下方)，这是不希望的。通过提供远程控制模式，用户可以特别地以舒适的方式将辅助线定位为他的视线方向，通过使用固定命令来固定辅助线，并且通过相应地移动他的头部激活远程控制模式以控制现在可远程控制的辅助线的几何形状。在如上所述的具体示例中，辅助线可以例如被锁定在患者的45°位置，可以相对于固定辅助线激活远程控制模式，并且检测头部移动/滚动以调整它的位置。换句话说，由智能眼镜测量用户头部的相对移动并且用于根据用户的需要对准辅助线。这使头部成为辅助线的操作元件，类似于操纵杆。
应当注意，该远程控制特征也可以用于其他虚拟对象/图形元件，例如等中心位置，如上所述，其也可以使用头部作为操作元件远程操纵。
在本发明的优选实施例中，同时投影多个辅助线，其对应于佩戴智能眼镜的不同用户和/或包括由于对应的固定用户命令而保持就位的辅助线。在本发明的进一步详细阐述中，可以限定多个虚拟辅助线，例如，通过使用固定用户命令将先前的虚拟辅助线固定就位并且基于用户的当前查看方向添加附加的虚拟辅助线。以该方式，例如，将连续使用的多个采集几何形状可以由用户限定为医学成像设备的采集参数，其中这些采集几何形状可以稍后通过医学成像设备的部件的对应控制自动实现。该方法也可以用于使用在微创介入之前已经可用的患者的三维图像数据集来视线这些方向，其配准到医学成像设备中的实际患者位置，使得可以便于在介入期间找到解剖结构。另外或在替代实施例中，佩戴智能眼镜的多个用户可以查看其他用户的虚拟辅助线，使得本文描述的系统也可以用于标记相关点和/或取向并且将其位置传达给其他用户。
在另一优选实施例中，关于至少一个辅助线的至少一个几何信息被计算并且投影到智能眼镜的视场中。这样的几何信息可以特别地描述至少两个线之间的关系，例如平行度，距离，相对角，对称性等。因此，可以向用户提供进一步的几何辅助。这些工具可以相应地用于测量多个虚拟辅助线的长度和/或几何关系，或者从辅助线到视场中存在的其他几何结构，特别是真实对象和/或其他图形元件/增强现实对象。
这样的附加增强现实对象可以包括对准辅助线，使得虚拟辅助线可以与对准辅助线对准，所述对准辅助线可以例如是在介入期间对患者的最佳查看方向。
本发明也包括一种医学成像设备，所述医学成像设备包括用户接口设备，用于向用户显示与成像过程相关的信息和/或接收与成像过程相关的用户输入，根据使用所述用户接口设备输入的用户命令可控制的至少一个部件，以及控制设备，其中所述用户接口设备包括至少一对混合现实智能眼镜，并且所述控制设备配置成执行根据本发明的方法。特别地，配置成执行本发明的方法的控制设备可以是或包括智能眼镜的控制单元。关于本发明方法的所有评论和实施例也可以应用于医学成像设备，使得可以实现相同的优点。
附图说明
本发明的进一步细节和优点可以从结合附图的具体实施例的以下描述获得，其中：
图1示出了根据本发明的医学成像设备的部件的原理图，
图2是一对智能眼镜的第一视图，
图3是智能眼镜的第二视图，
图4示出了佩戴智能眼镜的人和可能的增强现实对象，以及
图5示出了由虚拟辅助线限定的方向的可能使用。
具体实施方式
图1是示出根据本发明的医学成像设备1的主要部件的原理图。成像设备1包括成像装置2。成像装置2又包括图像采集单元3(作为成像组件)和患者台4。医学成像设备1的其他主要部件包括显示推车5(也称为监视器推车)，其是可移动的并且多个显示器安装在其上。显示推车5是用于显示信息和接收与成像过程相关的用户输入的用户接口设备的一部分。用户接口设备还包括至少一对混合现实智能眼镜6和多个可选操作元件7，例如手动和/或脚踏开关、用于接收手势和/或口头命令的麦克风和/或摄像头等。
在该实施例中，医学成像设备1是具有安装到移动载架的c形臂8的x射线设备。x射线检测器和x射线接收器安装在c形臂8的相对端部处，如现有技术中基本上已知的。医学成像设备1适合并配置成在对位于患者台4上的患者的微创介入期间进行成像测量。
医学成像设备1由分布式控制设备10控制，所述分布式控制设备也包括用于智能眼镜6的控制单元11，其可以至少部分地集成到智能眼镜6中。
混合现实智能眼镜6可以是已知的任何类型，例如“Microsoft”的“HoloLens”。在该情况下，智能眼镜6包括用于双眼的投影单元9，用于采集关于环境(智能眼镜6的用户)的移动的用于追踪目的的智能眼镜6和/或其他信息的传感器数据的传感器12，以及可选的声学设备13，其包括扬声器和麦克风。传感器12通常包括至少一个3D相机。
控制单元11配置成将增强现实对象(在该情况下是包括信息元件和交互式虚拟操作元件的图形元件)映射到使用传感器12测量的环境几何结构，使得可以通过投影单元9使用正确的透视精确地投影增强现实对象。控制单元11还评估传感器12的传感器数据以检测用户与虚拟操作元件的交互和/或可被解释为用户命令的其他手势。由于这样的智能眼镜6原则上在现有技术中已为人所知，因此将不再进一步讨论它们。
图2示出了智能眼镜6的透视图。智能眼镜6包括遮阳板(visor)14，用户可以通过所述遮阳板看到他的视场中的环境，并且所述遮阳板也用作投影单元9的投影表面。智能眼镜6包括还安装托架形式的保持设备15，其保持附件16。在该情况下可以是放大附件，过滤器附件和/或保护附件的附件16使用磁性快速紧固件18可拆卸地安装到保持设备15。定位设备17便于使保持设备15在枢轴上转动(pivot)，允许附件16摆动到用户的视场之外，如图3中所示。
定位设备17可以包括马达19，其允许附件16自动在枢轴上转动到用户的视场之外和进入用户的视场。通过评估传感器12的传感器数据，在检测到用户命令，特别是手势和/或语音命令之后，可以实现该自动移动。
应当注意，智能眼镜6可以附加地或替代地包括另外的保持设备，例如用于作为附件的头灯的保持设备。
根据本发明，图形元件(增强现实对象)用于帮助用户(特别是执行微创介入的人)直观地限定用于医学成像设备1的功能的方向。该图形元件是与用户的视线方向对应的虚拟辅助线，如图4中示意性所示。在该图中，示出了佩戴智能眼镜6并且站在患者台4附近的用户20，其中将对位于患者台21上的患者21进行微创介入。用户20使用医疗器械22，例如针。
在通过执行对应的用户命令激活用户接口设备的方向限定操作模式时，使用投影单元9将虚拟辅助线23投影到他的视场中。虚拟辅助线23被限定为在眼睛之间的中心点处、垂直于眼睛的连接轴线。在其他实施例中，如果智能眼镜6也具有眼睛传感器，则可想到使用用户20的实际视线方向。
虚拟辅助线23随着用户的头部移动，使得提供在三维空间中限定方向的直观方式。如果用户想要更仔细地检查虚拟辅助线23的当前方向，则他或她可以使用固定用户命令来“冻结”虚拟辅助线23在空间中的当前位置和取向，并且从多个不同的视点评估限定的方向，所述固定用户命令特别可以是口头命令和/或手势。图4中所示的附加虚拟线24可以是在增强现实空间中快速保持的这样的线，其中通过对应的用户命令添加了新的当前虚拟辅助线23。虚拟线24也可以是对准辅助线，或者可以由佩戴附加智能眼镜的另一用户限定，因此也能够限定可以在其他用户20的增强现实中示出的虚拟辅助线。
线23也可以是另一参考线，例如提供几何信息作为水平线等。描述所示的任何虚拟线23、24之间的关系的附加几何信息也可以被导出并添加为对应的图形元件/增强现实对象，例如图4中所示的线23、24之间的角25。
在图4中也通过线23、24的虚线部分26指示当确定线23、24与实体(在该示例中为患者21)相交时它们被隐藏，即未示出。一旦它们的路线离开对应的实体对象，可以再次显示线23、24。
如果多个选择用户命令中的一个由用户20给出并且因此由用户接口设备检测到，则虚拟辅助线23的当前方向(无论它是否固定在空间中)用于执行与检测到的选择用户命令关联的功能。
在第一示例中，虚拟辅助线23的方向可以用于限定医学成像设备1的几何采集参数，在该情况下例如通过c形臂8和/或患者台4的对应移动实现的采集方向(投影方向)。另外，可以提供选择用户命令以通过使用机器人(未示出)对准例如医疗器械22。然而，提供仅在给出选择用户命令时选择几何采集参数，其中对应部件的调整仅在执行另一用户命令时受到影响，特别是使用操作元件7中的一个指示用户20已移动到安全位置并且不会受到与部件的可能碰撞。
由虚拟辅助线23限定的方向的另一应用领域是图像数据集的显示，其可以使用或不使用医学成像设备1采集，但是与位于患者台4上的患者21配准，智能眼镜6以及因此虚拟辅助线23也与其配准。
在图5中，示出了患者21的头部28的三维图像数据集27。为了显示该三维图像数据集27，执行多平面重组(MPR)，导致在垂直于选定MPR方向的平面中延伸的一系列切片29/截面图像。通过使用对应的选择用户命令，MPR方向可以被限定为相对于患者台4上的真实患者21所示的虚拟辅助线23的方向，如上所述，其配准到三维图像数据集27。在该实施例中，也提供了使用智能眼镜6，特别是投影单元9作为显示设备，用于在从患者21采集三维图像数据集27的位置处显示三维图像数据集27，为用户20提供进入患者的“窗口”的错觉。
当然，可想到显示图像数据集27和限定几何显示参数的其他方式。
尽管已参考优选实施例详细描述了本发明，但是本发明不限于本领域技术人员能够在不脱离本发明的范围的情况下导出其他变型的公开示例。

Claims (16)

1.一种用于操作医学成像设备(1)的方法，所述医学成像设备(1)包括用户接口设备，用于向用户(20)显示与成像过程相关的信息和/或接收与成像过程相关的用户输入，以及根据使用所述用户接口设备输入的用户命令可控制的至少一个部件，其中所述用户接口设备包括至少一对混合现实智能眼镜(6)，其特征在于，将指示所述智能眼镜(6)的佩戴者(20)的视线方向的虚拟辅助线(23)投影到所述智能眼镜(6)的视场中，其中在接收到至少一个用户命令时，基于所述用户命令和由所述辅助线(23)限定的方向控制至少一个部件。
2.根据权利要求1所述的方法，其特征在于，佩戴者(20)的视线方向被限定为在眼睛之间的中心点处、垂直于眼睛的连接轴线。
3.根据权利要求1或2所述的方法，其特征在于，仅当佩戴所述智能眼镜(6)的用户(20)已激活对应的操作模式时才显示所述辅助线(23)。
4.根据前述权利要求之一所述的方法，其特征在于，提供固定用户命令，在接收到所述固定用户命令时，所述投影辅助线(23)的当前位置保持就位而与所述智能眼镜(6)的任何移动无关。
5.根据前述权利要求之一所述的方法，其特征在于，检测视场中的实体和/或虚拟对象，并且在所述辅助线与这些对象的至少一部分交互的位置切断所述辅助线(23)的投影。
6.根据前述权利要求之一所述的方法，其特征在于，提供至少一个选择用户命令，在检测到所述至少一个选择用户命令时，将所述辅助线(23)的当前方向用于执行与检测到的选择用户命令关联的功能。
7.根据权利要求6所述的方法，其特征在于，在检测到对应的选择用户命令时，取决于所述辅助线(23)的方向选择所述医学成像设备(1)的至少一个几何采集参数和/或取决于所述辅助线(23)的方向调整所述医学成像设备(1)的至少一个介入部件，特别是机器人。
8.根据权利要求7所述的方法，其特征在于，所述医学成像设备(1)是c形臂设备，其中选择所述几何采集参数并且调整所述c形臂使得采集方向对应于所述辅助线(23)的方向。
9.根据权利要求6至8中任一项所述的方法，其特征在于，在检测到对应的选择用户命令时，取决于所述辅助线(23)的方向选择用于在所述用户接口设备的显示设备上显示图像数据集(27)的至少一个几何显示参数。
10.根据权利要求9所述的方法，其特征在于，所述图像数据集是当前用所述医学成像设备(1)成像并且配准到患者(21)的当前位置的患者(21)的三维图像数据集(27)，其中所述辅助线(23)的方向限定所述三维图像数据集(27)的呈现的观看方向或切片堆叠方向，特别是对于多平面重组，作为所述几何显示参数。
11.根据权利要求10所述的方法，其特征在于，在所述辅助线(23)方向限定切片堆叠方向的情况下，提供附加的滚动用户命令，特别是手势，其中在检测到滚动用户命令时，显示与所述滚动用户命令关联或从所述滚动用户命令可导出的滚动方向上的相邻切片。
12.根据权利要求9至11中任一项所述的方法，其特征在于，所述智能眼镜(6)用作所述显示设备或所述显示设备的一部分，其中所述图像数据集(27)是当前用所述医学成像设备(1)成像并且配准到患者(21)的当前位置的患者(21)的三维图像数据集(27)，并且所述图像数据集(27)投影到视场中以出现在与所述图像数据集(27)中所示的患者(21)的区域对应的患者(21)的位置处。
13.根据前述权利要求之一所述的方法，其特征在于，同时投影多个辅助线(23、24)，其对应于佩戴智能眼镜(6)的不同用户(20)和/或包括由于对应的固定用户命令而保持就位的辅助线(23)。
14.根据前述权利要求之一所述的方法，其特征在于，关于至少一个辅助线(23)的至少一个几何信息被计算并且投影到所述智能眼镜(6)的视场中。
15.根据前述权利要求之一所述的方法，其特征在于，在激活远程控制模式时，检测用户的视线方向的变化，并且根据检测到的变化移动特别是先前固定的辅助线，其不指示用户的视线方向。
16.一种医学成像设备(1)，所述医学成像设备(1)包括用户接口设备，用于向用户显示与成像过程相关的信息和/或接收与成像过程相关的用户输入，根据使用所述用户接口设备输入的用户命令可控制的至少一个部件，以及控制设备(10)，其中所述用户接口设备包括至少一对混合现实智能眼镜(6)，并且所述控制设备(10)配置成执行根据前述权利要求之一所述的方法。
CN201810925534.3A 2017-08-15 2018-08-14 用于操作医学成像设备的方法和医学成像设备 Active CN109394252B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17186303.8A EP3336848B1 (en) 2017-08-15 2017-08-15 Method for operating a medical imaging device and medical imaging device
EP17186303.8 2017-08-15

Publications (2)

Publication Number Publication Date
CN109394252A true CN109394252A (zh) 2019-03-01
CN109394252B CN109394252B (zh) 2022-07-08

Family

ID=59677050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810925534.3A Active CN109394252B (zh) 2017-08-15 2018-08-14 用于操作医学成像设备的方法和医学成像设备

Country Status (3)

Country Link
US (1) US10682767B2 (zh)
EP (1) EP3336848B1 (zh)
CN (1) CN109394252B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113648073A (zh) * 2020-05-12 2021-11-16 西门子医疗有限公司 对增强现实和/或虚拟现实的调整

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101119680A (zh) * 2005-02-18 2008-02-06 皇家飞利浦电子股份有限公司 医疗设备的自动控制
CN102958464A (zh) * 2010-04-07 2013-03-06 索发有限公司 具有改进的控制器的自动化外科手术系统
US20130057660A1 (en) * 2011-09-02 2013-03-07 Samsung Electronics Co., Ltd. User health monitoring system comprising 3d glasses and display apparatus, and display apparatus and control method thereof
CN103180893A (zh) * 2011-08-23 2013-06-26 索尼公司 用于提供三维用户界面的方法和系统
US20140022283A1 (en) * 2012-07-20 2014-01-23 University Health Network Augmented reality apparatus
CN103845071A (zh) * 2012-12-03 2014-06-11 三星电子株式会社 控制设备和具有该控制设备的医学成像设备
CN104706422A (zh) * 2013-12-13 2015-06-17 Ge医疗系统环球技术有限公司 一种头戴式医疗装置、医疗系统及其操作方法
CN104771232A (zh) * 2015-05-05 2015-07-15 北京汇影互联科技有限公司 一种电磁定位系统及其三维影像视角的选取方法
CN104808797A (zh) * 2015-05-08 2015-07-29 杨晨 一种便捷的互动式眼镜配试方法及装置
EP2926733A1 (de) * 2014-03-31 2015-10-07 Siemens Aktiengesellschaft Triangulationsbasierte Tiefen- und Oberflächen-Visualisierung
EP2978218A1 (en) * 2014-07-25 2016-01-27 Hiroyuki Ikeda Computer display device mounted on eyeglasses
CN105395252A (zh) * 2015-12-10 2016-03-16 哈尔滨工业大学 具有人机交互的可穿戴式血管介入手术三维立体图像导航装置
US9538962B1 (en) * 2014-12-31 2017-01-10 Verily Life Sciences Llc Heads-up displays for augmented reality network in a medical environment
CN205942153U (zh) * 2016-07-29 2017-02-08 广州市和佳电子科技有限公司 一种医疗智能眼镜
CN106407641A (zh) * 2015-07-29 2017-02-15 西门子保健有限责任公司 在医学网络与使用者之间通信的方法和移动式数据眼镜
US20170206691A1 (en) * 2014-03-14 2017-07-20 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US20130241805A1 (en) * 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
CN105593787B (zh) * 2013-06-27 2019-07-05 视力移动科技公司 用于与数字设备交互的直接指向检测的系统和方法
KR20150137799A (ko) * 2014-05-30 2015-12-09 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US9684172B2 (en) * 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
US9643314B2 (en) * 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
US10055888B2 (en) * 2015-04-28 2018-08-21 Microsoft Technology Licensing, Llc Producing and consuming metadata within multi-dimensional data
US20170046483A1 (en) * 2015-04-30 2017-02-16 D.R. Systems, Inc. Database systems and interactive user interfaces for dynamic interaction with, and comparison of, digital medical image data
BR112018007473A2 (pt) * 2015-10-14 2018-10-23 Surgical Theater LLC navegação cirúrgica de realidade aumentada
DE102017202517A1 (de) 2017-02-16 2018-08-16 Siemens Healthcare Gmbh Bedienvorrichtung und Bedienverfahren zum Bedienen eines medizinischen Geräts
US10578869B2 (en) * 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101119680A (zh) * 2005-02-18 2008-02-06 皇家飞利浦电子股份有限公司 医疗设备的自动控制
CN102958464A (zh) * 2010-04-07 2013-03-06 索发有限公司 具有改进的控制器的自动化外科手术系统
CN103180893A (zh) * 2011-08-23 2013-06-26 索尼公司 用于提供三维用户界面的方法和系统
US20130057660A1 (en) * 2011-09-02 2013-03-07 Samsung Electronics Co., Ltd. User health monitoring system comprising 3d glasses and display apparatus, and display apparatus and control method thereof
CN102984535A (zh) * 2011-09-02 2013-03-20 三星电子株式会社 包括3d眼镜的用户健康监测系统、显示设备及其控制方法
US20140022283A1 (en) * 2012-07-20 2014-01-23 University Health Network Augmented reality apparatus
CN103845071A (zh) * 2012-12-03 2014-06-11 三星电子株式会社 控制设备和具有该控制设备的医学成像设备
CN104706422A (zh) * 2013-12-13 2015-06-17 Ge医疗系统环球技术有限公司 一种头戴式医疗装置、医疗系统及其操作方法
US20170206691A1 (en) * 2014-03-14 2017-07-20 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
EP2926733A1 (de) * 2014-03-31 2015-10-07 Siemens Aktiengesellschaft Triangulationsbasierte Tiefen- und Oberflächen-Visualisierung
EP2978218A1 (en) * 2014-07-25 2016-01-27 Hiroyuki Ikeda Computer display device mounted on eyeglasses
US9538962B1 (en) * 2014-12-31 2017-01-10 Verily Life Sciences Llc Heads-up displays for augmented reality network in a medical environment
CN104771232A (zh) * 2015-05-05 2015-07-15 北京汇影互联科技有限公司 一种电磁定位系统及其三维影像视角的选取方法
CN104808797A (zh) * 2015-05-08 2015-07-29 杨晨 一种便捷的互动式眼镜配试方法及装置
CN106407641A (zh) * 2015-07-29 2017-02-15 西门子保健有限责任公司 在医学网络与使用者之间通信的方法和移动式数据眼镜
CN105395252A (zh) * 2015-12-10 2016-03-16 哈尔滨工业大学 具有人机交互的可穿戴式血管介入手术三维立体图像导航装置
CN205942153U (zh) * 2016-07-29 2017-02-08 广州市和佳电子科技有限公司 一种医疗智能眼镜

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113648073A (zh) * 2020-05-12 2021-11-16 西门子医疗有限公司 对增强现实和/或虚拟现实的调整

Also Published As

Publication number Publication date
US20190054632A1 (en) 2019-02-21
EP3336848C0 (en) 2023-09-27
EP3336848A1 (en) 2018-06-20
EP3336848B1 (en) 2023-09-27
US10682767B2 (en) 2020-06-16
CN109394252B (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN109394252A (zh) 用于操作医学成像设备的方法和医学成像设备
US20230334800A1 (en) Surgeon head-mounted display apparatuses
CN113259584B (zh) 摄像机跟踪系统
JP7216768B2 (ja) 三次元のエクステンデットリアリティアプリケーションでの医療画像における二次元のデジタル撮像の活用および通信
US20180275755A1 (en) Method of interaction by gaze and associated device
US6741948B2 (en) Method and apparatus for fixing a location
JP3651204B2 (ja) 立体画像表示装置、立体画像表示方法及び記録媒体
RU2621488C2 (ru) Укрепляемый на голове дисплей и способ управления для укрепляемого на голове дисплея
US8708490B2 (en) Method and a device for automatically measuring at least one refractive characteristic of both eyes of an individual
US20170131764A1 (en) Systems and methods for eye vergence control
Hennessey et al. Noncontact binocular eye-gaze tracking for point-of-gaze estimation in three dimensions
KR20170136413A (ko) 입체 뷰어를 위한 눈 시선 추적을 통합하는 의료 디바이스, 시스템, 및 방법
US20200320768A1 (en) Method and apparatus for acquiring a spatial map of auditory perception of a subject
WO2017213070A1 (ja) 情報処理装置および方法、並びに記録媒体
CN104869922A (zh) 用于与眼部外科手术操作台一起使用的可佩戴用户接口
US11922581B2 (en) Systems and methods of controlling an operating room display using an augmented reality headset
US9968320B2 (en) X-ray diagnostic apparatus
JP6488546B2 (ja) 眼鏡装用画像解析装置、眼鏡装用画像解析方法、及び眼鏡装用画像解析プログラム
EP4329660A1 (en) Graphical user interface for a surgical navigation system
CN117012342A (zh) 用于基于估计的外科医生姿态确定造影的技术

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant