CN109426348A - 用于选择虚拟对象或图像参数值的方法和选择单元 - Google Patents

用于选择虚拟对象或图像参数值的方法和选择单元 Download PDF

Info

Publication number
CN109426348A
CN109426348A CN201810968683.8A CN201810968683A CN109426348A CN 109426348 A CN109426348 A CN 109426348A CN 201810968683 A CN201810968683 A CN 201810968683A CN 109426348 A CN109426348 A CN 109426348A
Authority
CN
China
Prior art keywords
hand
virtual objects
user
image
data glasses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810968683.8A
Other languages
English (en)
Inventor
J·森布德纳
S·库特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Siemens Healthcare GmbH
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN109426348A publication Critical patent/CN109426348A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种在虚拟现实中从多个虚拟对象中选择虚拟对象的方法，其中，所述方法包括以下步骤：‑在虚拟现实中借助于数据眼镜显示多个虚拟对象中的虚拟对象，使得虚拟对象相对于数据眼镜所在空间的位置是独立于数据眼镜相对于空间的取向而定义的，‑检测数据眼镜相对于空间的取向，‑基于数据眼镜相对于空间的取向而从多个虚拟对象中选择虚拟对象。

Description

用于选择虚拟对象或图像参数值的方法和选择单元
技术领域
本发明涉及一种用于选择虚拟对象的方法和选择单元。本发明还涉及选择图像参数值的方法和选择单元、计算机程序产品和计算机可读介质。
背景技术
在分析和查看医疗数据集时，通常会与医疗数据集进行一次或多次交互，例如选择多平面重构、滚动、加窗、距离测量或注释。到目前为止，通常使用2D屏幕上的鼠标交互和键盘交互来控制这些工具。不同地，在虚拟现实中，还有其他交互可行方式，例如头部跟踪或手部跟踪。
US 7559038 B2公开了一种用于通过医学图像信息借助于用于在屏幕上移动指针元件的操作装置进行导航的方法。
US 9652668 B2公开了一种通过分析捕获的图像来识别手的方法。
US 9672625 B2公开了一种用于从一组医学测量数据自动生成选择图像数据集的方法。
US 2007/0149846A1公开了一种实时计算机辅助观察系统，其具有预先存在的软件对象的数据库，其中，至少一个软件对象对应于要由系统查看的物理结构。
US 2016/0004315 A1公开了一种具有计算机可执行指令的计算机可读存储装置，指令被配置成控制处理模块，以根据特定帧速率从传感器接收手位置，矢量或姿势信息。
US 2017/0186157A1公开了一种用于输出关于医疗设备和/或患者的医学检查的增强现实信息的方法。
发明内容
本发明的任务是实现与虚拟现实中显示的医学图像数据集的改进的交互。独立权利要求的每个主题都解决了这个任务。在从属权利要求中考虑了本发明的进一步有利的方面。
本发明涉及一种在虚拟现实中从多个虚拟对象中选择虚拟对象的方法，其中，方法包括以下步骤：
-在虚拟现实中借助于数据眼镜显示多个虚拟对象中的虚拟对象，使得虚拟对象相对于数据眼镜所在空间的位置是独立于数据眼镜相对于空间的取向而定义的，
-检测数据眼镜相对于空间的取向，
-基于数据眼镜相对于空间的取向而从多个虚拟对象中选择虚拟对象。
本发明的实施方式规定，从多个虚拟对象中选择数据眼镜所对准的虚拟对象。
本发明的实施方式规定，检测数据眼镜对准虚拟对象的时间，并且当时间超过阈值时，从多个虚拟对象中选择数据眼镜所对准的虚拟对象。
特别地，多个虚拟对象中的虚拟对象可以分别具有医学图像。
本发明还涉及一种用于为了在虚拟现实中显示医学图像而选择图像参数的图像参数值的方法，其中，方法包括以下步骤：
-在虚拟现实中借助于数据眼镜显示医学图像，
-提供关于用户的手相对于数据眼镜的位置的数据，
-借助于数据眼镜在虚拟现实中显示用户的手的示意，
-在虚拟现实中检测用户的手的位置变化，
-基于用户的手的位置变化选择图像参数的图像参数值。
特别是，可以检测虚拟现实中的用户的手相对于医学图像的位置变化。
本发明的实施方式规定，
-提供图像参数的初始图像参数值，利用初始图像参数值借助于数据眼镜在虚拟现实中显示医学图像，
-基于用户的手的位置变化而确定图像参数值变化，
-基于图像参数的初始图像参数值和图像参数值变化而选择图像参数的图像参数值。
本发明的实施方式规定，
-确定用户的手的位置变化的速度，
-基于用户的手的位置变化的速度而确定图像参数值变化。
特别地，基于用户的手的位置变化的速度可以确定图像参数值变化，使得在从用户的手的位置变化中得到的用户的手的相同的位置变化时，用户的手的位置变化速度越高，图像参数值变化就越大。
特别地，可以从图像参数组中选择图像参数，图像参数组包括医学图像的剖面图像平面的位置、医学图像的灰度值窗口的位置以及医学图像的灰度值窗口的宽度。
特别地，基于用户的手的位置变化可以从多个图像参数中选择图像参数。
本发明的实施方式规定，
-检测用户的手的姿势，
-基于用户的手的姿势从多个图像参数中选择图像参数。
本发明的实施方式规定，
-检测用户的手是用户的左手还是右手，
-基于用户的手是用户的左手还是右手，从多个图像参数中选择图像参数。
本发明还涉及一种选择单元，用于在虚拟现实中从多个虚拟对象中选择虚拟对象，该选择单元具有：
-显示单元，被构造成在虚拟现实中借助于数据眼镜显示多个虚拟对象中的虚拟对象，使得虚拟对象相对于数据眼镜所在空间的位置是独立于数据眼镜相对于空间的取向而定义的，
-检测单元，被构造成检测数据眼镜相对于空间的取向，
-虚拟对象选择单元，被构造成基于数据眼镜相对于空间的取向而从多个虚拟对象中选择虚拟对象。
本发明还涉及一种用于为了在虚拟现实中显示医学图像而选择图像参数的图像参数值的选择单元，其中，方法包括以下步骤：
-图像显示单元，被构造成借助于数据眼镜在虚拟现实中显示医学图像，
-提供单元，被构造成提供关于用户的手相对于数据眼镜的位置的数据，
-手显示单元，被构造成借助于数据眼镜在虚拟现实中显示用户的手的示意，
-检测单元，被构造成检测用户的手的位置变化，
-图像参数值选择单元，被构造成基于用户的手的位置变化而选择图像参数的图像参数值。
本发明还涉及一种具有计算机程序的计算机程序产品，计算机程序能够直接加载到计算机的存储设备中，计算机程序具有程序部分，用于当在计算机中执行计算机程序时，执行根据根据这里方面中的一个方面的方法的所有步骤。
本发明还涉及一种计算机可读介质，在计算机可读介质上存储有由计算机可读和可执行的程序部分，用于当由计算机执行程序部分时，执行根据这里方面中的一个方面的方法的所有步骤。
选择单元和/或选择单元的一个或多个组件可以由数据处理系统形成。数据处理系统可以例如具有以硬件形式的一个或多个组件和/或以软件形式的一个或多个组件。
例如，数据处理系统可以至少部分地由云计算系统形成。
数据处理系统可以是和/或包括例如云计算系统、计算机网络、计算机、平板计算机、智能电话、数据眼镜等或其组合。
例如，硬件可以与软件协作和/或借助于软件可配置的。该软件可以例如借助于硬件被执行。
硬件例如可以是存储系统、FPGA系统(现场可编程门阵列)、ASIC系统(专用集成电路)、微控制器系统、处理器系统以及其组合。处理器系统可以包括例如微处理器和/或多个协作的微处理器。
特别地，选择单元的组件根据在本申请中公开的方面中的一个方面可以以硬件的形式实现，该组件被构造成执行根据在本申请中公开的方面中的一个方面的方法的给定步骤，硬件被配置为执行给定步骤和/或硬件被配置为执行计算机可读指令，使得硬件可以被配置为借助于计算机可读指令而执行给定步骤。特别地，系统可以具有例如以计算机可读介质的形式的存储区域，在存储区域中存储有例如以计算机程序的形式的计算机可读指令。
数据处理系统的组件之间的数据传送例如可以分别借助于合适的数据传送接口来执行。用于数据传送到数据处理系统的组件和/或从数据处理系统的组件进行数据传送的数据传送接口可以至少部分地以软件的形式和/或至少部分地以硬件的形式实现。数据传送接口可以例如被构造成将数据存储在存储系统的区域中和/或用于从存储系统的区域中加载数据，其中，数据处理系统的一个或多个组件可以访问存储系统的这个区域。
特别地，可以提供关于例如医学图像的数据，这通过例如加载数据(从存储系统的区域加载)和/或生成数据(例如借助于医学成像装置生成)进行。
计算机程序可以加载到数据处理系统的存储系统中并且可以由数据处理系统的处理器系统执行。数据处理系统可以例如借助计算机程序被构造成使得当由数据处理系统执行计算机程序时，数据处理系统可以执行根据本申请中公开的实施方式中的一个实施方式的方法的步骤。
计算机程序产品可以例如是计算机程序或除了计算机程序之外还包括至少一个附加组成部分。计算机程序产品的至少一个附加组成部分可以被构造为硬件和/或软件。该计算机程序产品可以例如具有存储了计算机程序产品的至少一部分的存储介质，和/或特别是以加密狗的形式的用于验证计算机程序产品的用户的密钥。
计算机程序产品和/或计算机程序可以例如包括云应用程序，云应用程序被构造成将计算机程序的程序部分分配到云计算系统的不同处理单元，特别是不同计算机，其中每个处理单元被构造成执行计算机程序的一个或多个程序部分。
例如根据本申请中公开的实施方式中的一个实施方式的计算机程序产品可以存储在计算机可读介质上，和/或根据本申请中公开的实施方式中的一个实施方式的计算机程序可以存储在计算机可读介质上。该计算机可读介质可以是例如记忆棒、硬盘或其他数据载体，该数据载体尤其可解除地连接到数据处理系统或固定集成到数据处理系统中。例如计算机可读介质可以形成数据处理系统的存储系统的区域。
特别地，可以基于医学成像数据重构医学图像。医学成像数据尤其可以借助于医学成像装置获取。可以例如从成像模态组中选择医学成像装置，医学成像装置包括X射线装置，C型拱臂X射线装置，计算机断层摄影扫描仪(CT扫描仪)，分子成像装置(MI元件)，单光子发射计算机断层摄影装置(SPECT装置)，正电子发射断层摄影装置(PET装置)，磁共振断层造影设备(MR设备)及其组合，特别是PET-CT设备和PET-MR设备。
特别地，虚拟对象的显示可以被理解为向数据眼镜的显示装置提供显示控制信号，其中，数据眼镜的显示装置基于显示控制信号可以为用户生成可见的光信号，利用该光信号显示虚拟对象。虚拟对象的显示尤其可以包括借助于数据眼镜的显示设备为用户生成可见的光信号。
检测数据眼镜相对于空间的取向可以特别被理解为提供取向数据，取向数据涉及数据眼镜相对于空间的取向并且例如借助于数据眼镜取向测量装置来测量该取向数据。检测数据眼镜相对于空间的取向可以特别地包括借助于数据眼镜取向测量装置来测量数据眼镜的取向。
在本发明的范围内关于本发明的不同实施方式和/或不同权利要求类别(方法、用途、装置、系统、布置等)描述的特征可以组合到本发明的其他实施方式。例如，涉及装置的权利要求也可以利用结合方法描述或要求保护的特征来改型，并且反之亦然。方法的功能特征在此可以通过相应构造的具体组件执行。除了在本申请中明确描述的本发明的实施方式之外，能够考虑本领域技术人员可以达到的本发明的多个其他实施方式，而在通过权利要求预设的情况下不脱离本发明的范围。
在本申请的上下文中，术语“基于”可以特别在表达“使用”的意义下被理解。特别是，基于第二特征产生(备选地：检测、确定等)第一特征所依据的表述不排除的是，可以基于第三特征产生(备选地：求取、确定等)第一特征。
在下文中，参考附图借助于实施例解释本发明。附图中的表示是示意性的、大幅简化并且不一定按比例。
附图说明
图示：
图1示出了具有数据眼镜的布置，
图2示出了数据眼镜，
图3示出了用于选择虚拟对象的方法的实施例的流程图，
图4-6示出了用于选择虚拟对象的交互方案，
图7示出了用于选择图像参数值的方法的实施例的流程图，
图8-10示出了用于选择图像参数值的交互方案，
图11示出了用于选择虚拟对象的选择单元的实施例的示意图，
图12示出了用于选择图像参数值的选择单元的实施例的示意图。
具体实施方式
图1示出了在空间3中具有数据眼镜5的布置。利用两个传感器55可以检测数据眼镜5相对于空间3的位置。数据眼镜5具有取向传感器单元51，利用该取向传感器单元可以检测数据眼镜5相对于空间3的取向。数据眼镜5连接到计算机30，计算机具有计算机可读介质32。
在数据眼镜5处布置有手跟踪传感器单元50。手跟踪传感器单元50可以包括例如一个或多个红外摄像头。借助于手跟踪传感器单元50，可以在虚拟现实中显示用户U1的手60的虚拟示意V60。特别地，手60的虚拟示意V60可以在虚拟现实中被显示，使得当用户U1可以穿过数据眼镜5看到手60时，虚拟示意V60基本上与用户U1的手60重合。
这种布置允许用户U1的头部6的头部跟踪和用户U1的手部，特别是手部60，的手部跟踪。图2示出了数据眼镜5和手跟踪传感器单元50。
图3示出了用于在虚拟现实中从多个虚拟对象VOL，VOR中选择虚拟对象的方法的实施例的流程图，其中，方法包括以下步骤：
-在虚拟现实中借助于数据眼镜5显示DVO多个虚拟对象VOL，VOR中的虚拟对象，使得虚拟对象相对于数据眼镜5所在空间3的位置是独立于数据眼镜5相对于空间3的取向而定义的，
-检测DO5数据眼镜5相对于空间3的取向，
-基于数据眼镜5相对于空间3的取向而从多个虚拟对象VOL，VOR中选择SVO虚拟对象。
在图4-6中示出了在虚拟现实中选择虚拟对象的交互方案。为了在虚拟现实中选择虚拟对象，在该方案中使用数据眼镜5的取向。为用户U1在虚拟现实中显示多个不同的虚拟对象。虚拟对象在此是虚拟显示器VOL和VOR。还可以显示两个以上的虚拟显示器，特别是彼此相邻和/或彼此相叠。
例如，在虚拟显示器VOL和VOR中可以显示多平面重构。例如，在虚拟显示器VOL中可以显示纵向的剖面图像平面并且在虚拟显示器VOR中显示轴向的剖面图像平面。
用户U1可以选择这些虚拟对象中的一个虚拟对象，例如虚拟对象VOL，这通过该用户用其头部向着待选择的虚拟对象的方向指示来进行。在此，数据眼镜对准到待选择的虚拟对象VOL。可以通过以下方式防止意外选择虚拟对象，即，在超过特定阈值的时间期间，用户U1必须维持其对虚拟对象的头部对准以选择虚拟对象。
图7示出了用于选择用于在虚拟现实中显示医学图像MI的图像参数的图像参数值的方法的实施例的流程图，其中，方法包括以下步骤：
-在虚拟现实中借助于数据眼镜5显示DI医学图像MI，
-提供PLH关于用户U1的手60相对于数据眼镜5的位置的数据，
-借助于数据眼镜5在虚拟现实中显示DRH用户U1的手60的示意V60，
-在虚拟现实中检测DCH用户U1的手60的位置变化，
-基于用户U1的手60的位置变化选择SI图像参数的图像参数值。
在图8-10中示出了用于选择在虚拟现实中显示医学图像的剖面图像平面或另一个图像参数值的交互方案。
医学图像MI在虚拟现实中借助于虚拟显示器VO示出。虚拟显示器VO相对于虚拟空间V3的位置独立于数据眼镜5相对于空间3的取向。虚拟空间V3相对于空间3的取向也独立于数据眼镜5相对于空间3的取向。
剖面图像平面的选择可以尤其以滚动通过医学图像数据集的多个剖面图像平面的方式进行。对于滚动，存在尤其基于不同的手部交互并且在下面解释的三个交互方案。
在用于选择剖面图像平面的第一交互方案中，用户U1可以作用到医学图像MI中，该医学图像在用户前面在虚拟显示器VO中在虚拟现实中显示，并且然后通过手60相对于医学图像MI的移动来触发该滚动。该移动在此可以例如平行于医学图像MI和/或虚拟显示器VO的侧面中的一个侧面进行。被滚动的剖面图像平面的数量在此还可以取决于手60相对于医学图像MI移动的速度。更高的移动速度在此触发相应更高的滚动速度。低移动速度触发相应较低的滚动速度。用户U1的手60的可能的位置变化相对于图8中的医学图像MI利用箭头示出。
在剖面图像平面的第二交互方案中，虚拟对象在医学图像旁边具有滚动条。用户可以作用到滚动条并且沿着滚动条移动手60。基于手60沿着滚动条的位置，选择医学图像数据集的相应剖面图像平面并且显示在虚拟显示器VO中。特别地，手60沿着滚动条的连续移动可以导致连续滚动通过医学图像数据集的剖面图像平面。
在用于选择剖面图像平面的第三交互方案中，用户可以通过利用手60进行位置改变来执行滚动，而用户同时利用该手60进行实施姿势。姿势可以是例如捏合手势。在捏合手势中，同一只手60的拇指和食指被放在一起，同一只手60的其他手指保持轻微地分开。图10示出了手60的示意V60，用户U1利用该示意执行捏合手势。特别地，垂直于虚拟显示器VO的运动可以引起滚动。滚动速度在这里也再次取决于手60的移动速度并且相应引起快速运动时的快速高滚动速度和在缓慢的手移动时的低滚动速度。
备选或附加于选择剖面图像平面，用户可以选择图像参数的图像参数值，图像参数值例如涉及在虚拟显示器VO中显示的医学图像MI的灰度值窗口。这种图像参数值的选择在下面称为加窗。在下文中，解释了用于加窗的三个交互方案。
在用于加窗的第一交互方案中，用户U1可以作用到医学图像MI中，为用户在虚拟显示器VO中在虚拟现实中显示该医学图像，并且然后通过手60相对于医学图像MI的移动来触发该图像参数值的变化。例如，通过手60的水平移动，可以改变窗口宽度加窗宽度。例如，通过手60的垂直移动，可以改变窗口的位置，特别是窗口中心加窗中心的位置。
为了仅实现改变宽度或中心，还使用栏栅。也就是说，只要手移动在垂直或水平移动中超过特定阈值，则就仅还改变该轴垂直或水平。如果垂直和水平移动相似，那么也允许同时改变两个参数。
在用于加窗的第二交互方案中，为加窗中心和/或加窗宽度显示滚动条，用户可以操作该滚动条以选择图像参数值。基于手60沿滚动条的位置，选择相应的图像参数值。
在用于加窗的第三交互方案中，图像参数值的选择在捏合手势的帮助下发生。在保持捏合手势的同时，水平或垂直手势影响加窗宽度或加窗中心。为了仅改变两个值中的一个并保持其他值不变，这里也可以使用栏栅技术，如在与选择剖面图像平面的第三交互中已经描述的那样。
在虚拟现实中，可以借助数据眼镜为用户显示操作元件或指令。
例如可以借助于符号N1S，N2S，N3S，N4S，N5S，N6S，N7S和N8S分别说明特定的移动和/或姿势。由此还可以说明是否应该用左手或右手执行移动和/或姿势。借助于与符号相关联的文本区N1t，N2T，N3T，N4T，N5T，N6T，N7T和N8T，可以描述利用相应的符号所示的移动和/或姿势的效果。
例如，用户U1可以通过符号N6S和文本区N6T识别的是，执行捏合手势的右手的水平移动引起滚动。例如，用户U1可以通过符号N7S和文本区N7T识别的是，执行捏合手势的左手的水平移动引起加窗中心的改变。例如，用户U1可以通过符号N8S和文本区N8T识别的是，执行捏合手势的左手的垂直移动引起加窗中心的改变。
使用借助于虚拟按钮W0和S0，用户U1可以激活各种运行模式。通过按下虚拟按钮W0，可以激活运行模式，其中基于手60的位置变化选择灰度值窗口的图像参数值。通过按下虚拟按钮S0，可以激活其中基于手60的位置变化选择剖面图像平面的运行模式。在文本区WD中显示灰度值窗口的当前图像参数值。在文本区SD中显示数字形式的图像参数值，图像参数值指示当前显示的剖面图像平面的位置。
借助于虚拟按钮W1、W2和W3，用户U1可以激活用于灰度值窗口的各种设置。例如，用按钮W1设置的灰度值窗口对于肺的解释是最佳的。例如，用按钮W2设置的灰度值窗口对于软组织的解释是最佳的。例如，用按钮W3设置的灰度值窗口对于骨骼的解释是最佳的。
另外，捏合手势可以用于与医学图像数据集的进一步交互，例如用于测量医学图像中的距离或用于注释医学图像。
距离线是常用的测量工具。该工具在此测量空间中两点之间的距离。距离线的两个端点可以例如通过捏合手势来确定。一旦用户用双手执行捏合手势，就在空间中显示线和相关联的距离测量。一旦手中的一个手再次释放并且由此结束姿势，则相应的端点被固定并且可以利用手例如通过再度捏合被再次移动。
例如，可以通过显示指向医学图像中的区域的箭头和与箭头相关联的标签来注释医学图像。这种注释也可以借助于捏合手势来完成。通过在虚拟3D空间中的一点处捏一次，将生成指向该点的箭头。在此，可以打开环境菜单，环境菜单中显示用于可能标签的选项的列表。然后可以选择选项中的一个选项，并且然后在注释上显示为标签。
图11示出了选择单元1-U的实施例的示意图，该选择单元用于在虚拟现实中从多个虚拟对象VOL，VOR中选择虚拟对象，具有：
-显示单元DVO-U，被构造成在虚拟现实中借助于数据眼镜5显示DVO多个虚拟对象VOL，VOR中的虚拟对象，使得虚拟对象相对于数据眼镜5所在空间3的位置是独立于数据眼镜5相对于空间3的取向而定义的，
-检测单元DO5-U，被构造成检测DO5数据眼镜5相对于空间3的取向，
-虚拟对象选择单元SVO-U，被构造成基于数据眼镜5相对于空间3的取向而从多个虚拟对象VOL，VOR中选择SVO虚拟对象。
图12示出了选择单元2-U的一个选择图像参数值的图像参数的实施例的用于医疗图像MI的在虚拟显示的示意性表示现实，其中，方法包括以下步骤：
-图像显示单元DI-U，被构造成借助于数据眼镜5在虚拟现实中显示DI医学图像MI，
-提供单元PLH-U，被构造成提供PLH关于用户的手60相对于数据眼镜5的位置的数据，
-手显示单元DRH-U，被构造成借助于数据眼镜5在虚拟现实中显示DRH用户U1的手60的示意V60，
-检测单元DCH-U，被构造成检测DCH用户U1的手60的位置变化，
-图像参数值选择单元SI-U，被构造成基于用户U1的手60的位置变化而选择SI图像参数的图像参数值。
这里描述的方面实现了用户与医疗数据集的直观交互。此外，由此可以省去传统的解释工作站，这需要相对复杂的技术设备，特别是与照明相关的技术设备。使用数据眼镜来解释医学图像在同时较小成本时实现更大的移动性。

Claims (15)

1.一种用于在虚拟现实中从多个虚拟对象(VOL，VOR)中选择一个虚拟对象的方法，其中，所述方法包括以下步骤：
-借助于数据眼镜(5)显示(DVO)所述虚拟现实中的所述多个虚拟对象(VOL，VOR)中的一些虚拟对象，使得所述一些虚拟对象相对于所述数据眼镜(5)所处空间(3)的位置是独立于所述数据眼镜(5)相对于所述空间(3)的取向而被定义的，
-检测(DO5)所述数据眼镜(5)相对于所述空间(3)的取向，
-基于所述数据眼镜(5)相对于所述空间(3)的所述取向来从所述多个虚拟对象(VOL，VOR)中选择(SVO)所述一个虚拟对象。
2.根据权利要求1所述的方法，
-其中从所述多个虚拟对象(VOL，VOR)中选择所述数据眼镜(5)所对准的所述虚拟对象。
3.根据权利要求1所述的方法，
-其中检测所述数据眼镜(5)与所述虚拟对象对准的时间，
-其中当所述时间超过阈值时，从所述多个虚拟对象(VOL，VOR)中选择所述数据眼镜(5)所对准的所述虚拟对象。
4.根据权利要求1至3中任一项所述的方法，
-其中，所述多个虚拟对象(VOL，VOR)中的所述虚拟对象分别具有医学图像(MI)。
5.一种选择用于虚拟现实中的医学图像(MI)显示的图像参数的图像参数值的方法，其中，所述方法包括以下步骤：
-借助于数据眼镜(5)在虚拟现实中显示(DI)所述医学图像(MI)，
-提供(PLH)关于用户(U1)的手(60)相对于所述数据眼镜(5)的位置的数据，
-借助于所述数据眼镜(5)在所述虚拟现实中显示(DRH)所述用户(U1)的手(60)的示意(V60)，
-在所述虚拟现实中检测(DCH)所述用户(U1)的所述手(60)的位置变化，
-基于所述用户(U1)的所述手(60)的所述位置变化来选择(SI)所述图像参数的图像参数值。
6.根据权利要求5所述的方法，
-其中，提供所述图像参数的初始图像参数值，利用所述初始图像参数值借助于所述数据眼镜(5)在所述虚拟现实中显示所述医学图像(MI)，
-其中，基于所述用户(U1)的所述手(60)的所述位置变化来确定图像参数值变化，
-其中，基于所述图像参数的所述初始图像参数值和所述图像参数值变化来选择所述图像参数的所述图像参数值。
7.根据权利要求5或6所述的方法，
-其中，确定所述用户(U1)的所述手(60)的所述位置变化的速度，
-其中，基于所述用户(U1)的所述手(60)的所述位置变化的所述速度来确定所述图像参数值变化。
8.根据权利要求7所述的方法，
-其中，基于所述用户(U1)的所述手(60)的所述位置变化的所述速度来确定所述图像参数值变化，使得在从所述用户(U1)的所述手(60)的所述位置变化中得到的所述用户(U1)的所述手(60)的位置变化相同的情况下，所述用户(U1)的手(60)的位置变化速度越高，所述图像参数值变化就越大。
9.根据权利要求5至8中任一项所述的方法，
-其中，所述图像参数是从图像参数组中选择的，所述图像参数组包括所述医学图像(MI)的剖面图像平面的位置、所述医学图像(MI)的灰度值窗口的位置以及所述医学图像(MI)的灰度值窗口的宽度。
10.根据权利要求5至9中任一项所述的方法，
-其中，基于所述用户(U1)的所述手(60)的所述位置变化从多个图像参数中选择所述图像参数。
11.根据权利要求5至10中任一项所述的方法，
-其中，检测所述用户(U1)的所述手(60)的姿势，
-其中，基于所述用户(U1)的所述手(60)的所述姿势从多个图像参数中选择所述图像参数。
12.一种用于从虚拟现实中的多个虚拟对象(VOL，VOR)中选择虚拟对象的选择单元(1-U)，所述选择单元具有：
-显示单元(DVO-U)，被构造成借助于数据眼镜(5)显示(DVO)所述虚拟现实中的所述多个虚拟对象(VOL，VOR)中的虚拟对象，使得所述虚拟对象相对于所述数据眼镜(5)所处空间(3)的位置是独立于所述数据眼镜(5)相对于所述空间(3)的取向而被定义的，
-检测单元(DO5-U)，被构造成检测(DO5)所述数据眼镜(5)相对于所述空间(3)的取向，
-虚拟对象选择单元(SVO-U)，被构造成基于所述数据眼镜(5)相对于所述空间(3)的所述取向而从所述多个虚拟对象(VOL，VOR)中选择(SVO)所述虚拟对象。
13.一种选择用于在虚拟现实中的医学图像(MI)显示的图像参数的图像参数值的选择单元(2-U)，其中，所述方法包括以下步骤：
-图像显示单元(DI-U)，被构造成借助于数据眼镜(5)在所述虚拟现实中显示(DI)所述医学图像(MI)，
-提供单元(PLH-U)，被构造成提供(PLH)关于用户的手(60)相对于所述数据眼镜(5)的位置的数据，
-手显示单元(DRH-U)，被构造成借助于所述数据眼镜(5)在所述虚拟现实中显示(DRH)所述用户(U1)的所述手(60)的示意(V60)，
-检测单元(DCH-U)，被构造成检测(DCH)所述用户(U1)的所述手(60)的位置变化，
-图像参数值选择单元(SI-U)，被构造成基于所述用户(U1)的所述手(60)的所述位置变化来选择(SI)所述图像参数的所述图像参数值。
14.一种具有计算机程序的计算机程序产品，所述计算机程序能够直接加载到计算机(30)的存储设备中，所述计算机程序具有程序段，所述程序段用于当在所述计算机(30)中执行所述计算机程序时，执行根据权利要求1至11中任一项所述的方法的所有步骤。
15.一种计算机可读介质(32)，在所述计算机可读介质上存储有由计算机(30)可读和可执行的程序段，所述程序段用于当由所述计算机(30)执行所述程序段时，执行根据权利要求1至11中任一项所述的方法的所有步骤。
CN201810968683.8A 2017-08-29 2018-08-23 用于选择虚拟对象或图像参数值的方法和选择单元 Pending CN109426348A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017215074.2A DE102017215074A1 (de) 2017-08-29 2017-08-29 Verfahren und Auswahleinheit zum Auswählen eines virtuellen Objekts oder eines Bildparameterwerts
DE102017215074.2 2017-08-29

Publications (1)

Publication Number Publication Date
CN109426348A true CN109426348A (zh) 2019-03-05

Family

ID=65321136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810968683.8A Pending CN109426348A (zh) 2017-08-29 2018-08-23 用于选择虚拟对象或图像参数值的方法和选择单元

Country Status (2)

Country Link
CN (1) CN109426348A (zh)
DE (1) DE102017215074A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667526A (zh) * 2019-03-07 2020-09-15 西门子医疗有限公司 用于确定环境中的多个对象的尺寸和距离的方法和设备
CN113157084A (zh) * 2020-01-14 2021-07-23 苹果公司 基于肢体跟踪信息和眼睛跟踪信息来定位受用户控制的空间选择器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750079A (zh) * 2011-03-31 2012-10-24 索尼公司 终端设备、对象控制方法以及程序
CN104914993A (zh) * 2015-05-15 2015-09-16 北京航空航天大学 一种手势控制民机客舱座椅调整的体验式设计方法
CN105359076A (zh) * 2013-06-18 2016-02-24 微软技术许可有限责任公司 多步骤虚拟对象选择
CN106462247A (zh) * 2014-06-05 2017-02-22 三星电子株式会社 用于提供增强现实信息的可穿戴设备和方法
CN106681479A (zh) * 2015-11-05 2017-05-17 丰唐物联技术（深圳）有限公司 基于虚拟现实的用户交互方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6702736B2 (en) 1995-07-24 2004-03-09 David T. Chen Anatomical visualization system
DE102005061848A1 (de) 2005-12-23 2007-06-28 Siemens Ag Verfahren zum Navigieren durch eine medizinische Bildinformation
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
DE102013210252A1 (de) 2013-06-03 2014-12-04 Siemens Aktiengesellschaft Automatische Generierung eines Auswahl-Bilddatensatzes
DE102014107211A1 (de) * 2014-05-22 2015-11-26 Atlas Elektronik Gmbh Vorrichtung zum Anzeigen einer virtuellen Realität sowie Messgerät
US20160004315A1 (en) 2014-07-03 2016-01-07 PACSPoint Inc. System and method of touch-free operation of a picture archiving and communication system
JP6684559B2 (ja) * 2015-09-16 2020-04-22 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
DE102015226669B4 (de) 2015-12-23 2022-07-28 Siemens Healthcare Gmbh Verfahren und System zum Ausgeben einer Erweiterte-Realität-Information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750079A (zh) * 2011-03-31 2012-10-24 索尼公司 终端设备、对象控制方法以及程序
CN105359076A (zh) * 2013-06-18 2016-02-24 微软技术许可有限责任公司 多步骤虚拟对象选择
CN106462247A (zh) * 2014-06-05 2017-02-22 三星电子株式会社 用于提供增强现实信息的可穿戴设备和方法
CN104914993A (zh) * 2015-05-15 2015-09-16 北京航空航天大学 一种手势控制民机客舱座椅调整的体验式设计方法
CN106681479A (zh) * 2015-11-05 2017-05-17 丰唐物联技术（深圳）有限公司 基于虚拟现实的用户交互方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667526A (zh) * 2019-03-07 2020-09-15 西门子医疗有限公司 用于确定环境中的多个对象的尺寸和距离的方法和设备
CN111667526B (zh) * 2019-03-07 2023-07-28 西门子医疗有限公司 用于确定环境中的多个对象的尺寸和距离的方法和设备
CN113157084A (zh) * 2020-01-14 2021-07-23 苹果公司 基于肢体跟踪信息和眼睛跟踪信息来定位受用户控制的空间选择器

Also Published As

Publication number Publication date
DE102017215074A1 (de) 2019-02-28

Similar Documents

Publication Publication Date Title
US10229753B2 (en) Systems and user interfaces for dynamic interaction with two-and three-dimensional medical image data using hand gestures
Gallo et al. 3D interaction with volumetric medical data: experiencing the Wiimote
US10210667B2 (en) Displaying 3D image with a plurality of surface images at depths of interest
US20170193289A1 (en) Transform lightweight skeleton and using inverse kinematics to produce articulate skeleton
US10310618B2 (en) Gestures visual builder tool
US20050289472A1 (en) 3D display system and method
US20140324400A1 (en) Gesture-Based Visualization System for Biomedical Imaging and Scientific Datasets
US20180310907A1 (en) Simulated Fluoroscopy Images with 3D Context
CN105723423B (zh) 体积图像数据可视化
Li et al. Evaluation of cursor offset on 3D selection in VR
CN107209946A (zh) 图像数据分割和显示
EP3203914B1 (en) Radiation dose applied to different anatomical stages
Bornik et al. A hybrid user interface for manipulation of volumetric medical data
WO2016128040A1 (en) Preview visualisation of tracked nerve fibers
CN109426348A (zh) 用于选择虚拟对象或图像参数值的方法和选择单元
US20050285844A1 (en) 3D display system and method
JP6933522B2 (ja) 医用画像処理装置、医用画像処理装置の制御方法、及びプログラム
US20200193595A1 (en) Medical information processing apparatus and medical information processing system
CN104541183B (zh) 用于利用连续的床移动的分布式列表模式飞行时间重建的虚拟框架
US11409422B2 (en) Device, system and method for interacting with vessel images
Mossel et al. Large scale cut plane: An occlusion management technique for immersive dense 3d reconstructions
Liu et al. An Improved Kinect-Based Real-Time Gesture Recognition Using Deep Convolutional Neural Networks for Touchless Visualization of Hepatic Anatomical Mode
Opromolla et al. A usability study of a gesture recognition system applied during the surgical procedures
JP2008067915A (ja) 医用画像表示装置
CN104704449A (zh) 用户界面设备和用户界面方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination