CN106491206B - 用于关于操作人员显示扩展现实的系统 - Google Patents
用于关于操作人员显示扩展现实的系统 Download PDFInfo
- Publication number
- CN106491206B CN106491206B CN201610797890.2A CN201610797890A CN106491206B CN 106491206 B CN106491206 B CN 106491206B CN 201610797890 A CN201610797890 A CN 201610797890A CN 106491206 B CN106491206 B CN 106491206B
- Authority
- CN
- China
- Prior art keywords
- operator
- information
- visual
- medical imaging
- imaging apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/70—Means for positioning the patient in relation to the detecting, measuring or recording means
- A61B5/704—Tables
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Radiology & Medical Imaging (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Human Computer Interaction (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- High Energy & Nuclear Physics (AREA)
Abstract
本发明涉及用于关于操作人员显示扩展现实的系统。本发明涉及一种用于在处理具有多个运行步骤的运行协议时自动辅助操作人员(15)的方法,利用运行协议在医学成像装置中对受检人员(12)进行检查,该方法具有以下步骤:确定要对受检人员执行的运行协议;采集图像数据,其从操作人员的角度显示医学成像装置(10)的周围和受检人员中的至少一个的视野(16);确定运行协议的下一个运行步骤,其中要由操作人员执行操作步骤;产生视觉信息(31),利用所述视觉信息通知操作人员关于要执行的操作步骤;以及将所述视觉信息投影到用于向操作人员显示扩展现实的视觉装置(120)中,在所述扩展现实中显示扩展了所述视觉信息的视野。
Description
技术领域
本发明涉及一种用于关于操作人员显示扩展现实的系统。
背景技术
医学成像装置、例如计算机断层成像(CT)或磁共振装置(MR装置)向应用者提供非常宽范围的可能性,用于从检查对象、例如患者产生图像。然而这样的成像装置的运行强烈取决于,能够正确操作这样的装置的有经验的操作人员是否在场。尤其是,在操作MR装置时必须注意不同的方面,诸如HF线圈的定位、受检人员的位置、用于生理学上监视患者的附加设备(EKG/呼吸皮带)的安装和连接、成像序列的选择等。
此外结合医学成像装置,执行治疗措施或介入应用,例如用于切除组织或用于执行小手术。执行人员为此可能还需要其他物品。所有这些物品必须处于随手可取的正确位置,由此可以保证检查平稳进行。
对于检查的平稳进行重要的是经过培训的操作人员,其中必须进行持续的培训。
附加地,已知纸质或电子形式的手册,其能够在操作成像装置时帮助操作人员。然而这样的操作指导在实践中在成像的准备中是不实用的,因为必须携带该操作指导。为了操作人员的健康和出于经济的原因,值得期望的是,最小化成像装置中受检人员的停留时间以及操作中的错误。
发明内容
由此本发明的任务是,进一步改进医学成像装置的操作。尤其是操作人员应该能够快速识别,必须执行具有多个运行步骤的运行协议中的哪个下一个操作步骤,从而在操作中出现更少的错误。
按照第一方面,提供一种用于在处理具有多个运行步骤的运行协议时自动辅助操作人员的方法,其中利用运行协议在医学成像装置中对受检人员进行检查。该方法具有确定要对受检人员执行的运行协议的步骤。此外采集图像数据,其从操作人员的角度显示医学成像装置的周围和受检人员中的至少一个的视野。确定运行协议的下一个运行步骤,其中由操作人员执行操作步骤。此外产生视觉信息,利用所述视觉信息通知操作人员关于待执行的操作步骤。该视觉信息在用于显示扩展现实的视觉装置中投影到操作人员的视野中,其中显示扩展了视觉信息的视野。
通过使用具有用于显示扩展现实的视觉装置的系统,可以直观地和简单地向操作人员通知下一个步骤。下一个要执行的操作步骤作为视觉信息被投影到视野中。通过遵照视觉信息,操作人员于是可以正确地执行下一个操作步骤。从操作人员的角度显示视野的图像数据例如可以包含医学成像装置,其中医学成像装置的位置和取向在图像数据中被确定。此外采集操作人员的视觉位置,从该视觉位置,操作人员看到所述视野,其中视觉位置在考虑所确定的医学成像装置的位置和取向的条件下被确定。为了将视觉信息对于操作人员正确地投影到视野中,有利的是,识别精确的视觉位置,即,操作人员查看发生的事件的位置。为此必须识别所采集的图像数据中的物品或标记,以便从识别的物品的方位推断出视觉位置和视野。医学成像装置本身是与众不同的对象,其中从成像装置的位置和取向可以很好地推断出视觉位置。尤其是,尽可能确定成像装置的形状,从而可以从成像装置的方位推断出视觉位置和视野。
此外可以从待执行的运行协议自动确定受检人员相对于医学成像装置的定位,其中将受检人员相对于医学成像装置的定位作为视觉信息投影到视觉装置中。通常可以从对于成像装置的运行协议中获悉,应当检查受检人员的哪个部位。如果例如应当拍摄膝盖或头部的图像,则这是可以从运行协议中识别的。当识别了待检查的区域时,也可以推断出,必须如何相对于成像装置定位受检人员。这可以作为视觉信息例如投影到视野中,从而操作人员可以正确执行受检人员的放置。
除了视觉信息,还可以确定人员相关信息,所述信息是关于受检人员的,其中该人员相关信息也被投影到视野中。作为人员相关信息,例如可以将受检人员的姓名投影到视野中。该信息可以帮助操作人员改进整个运行,因为该信息在一些操作步骤中是有用的。
也可以从确定的运行协议中自动确定,运行协议的执行需要哪些附加设备。为此可以产生关于附加地所需的设备的设备信息并且投影到视觉装置中。例如检查可能需要监视一定的生理参数,诸如心跳或呼吸,或者需要注射造影剂。为此所需的设备从运行协议得到。通过设备信息,操作人员立即知道,对于检查的运行,哪些附加设备是需要的。在此例如可以根据采集的图像数据或从成像装置的信息确定,哪些附加设备已经准备好被布置在操作人员的视野中。于是可以确定仍然缺少的设备,其中投影的设备信息还仅提供关于仍然缺少的或尚没有位于正确的位置的设备的信息。
根据所采集的成像装置的环境的图像数据,还可以检查该图像数据,是否在图像数据中包含了操作错误,其中操作错误相应于医学成像装置或受检人员中与运行协议不一致的情形。如果在图像数据中发现这样的情形,则可以确定错误信息并且投影到视野中。如果例如识别到受检人员的放置不正确,例如脚朝前而不是头朝前,则这可以通过视觉装置在视野中强调并且作为错误标记出来,或者可以通过视觉装置将正确的方位投影到视野中。
下一个待执行的操作步骤也可以转换为音频信息并且向操作人员播放。
此外可以确定医学成像装置的当前状态,其中从该当前状态确定状态信息,其与视觉信息并列投影到视野中。例如根据图像数据可以识别,协议的哪些操作步骤或运行步骤已经被执行了并且哪些步骤还缺乏。已经执行的或还缺乏的步骤可以相应地被投影到操作人员的视野中。
当医学成像装置是MR装置时,可以的是,作为下一个待执行的操作步骤,需要将HF线圈定位在受检人员上。投影到视野中的视觉信息于是可以包含HF线圈相对于MR装置和受检人员的定位。线圈在受检人员上和相对于MR装置的定位形成通常的错误源。该错误可以通过视觉地显示应当如何将线圈固定在受检人员和MR装置上来改进。
本发明还涉及一种用于显示如上所述的扩展现实的系统,所述系统具有用于操作人员的视觉装置,视觉信息投影到所述视觉装置中。此外设置用于采集图像数据的图像采集单元和构造为执行上述步骤的处理器单元。
附图说明
以下结合附图详细解释本发明。
图1示意性地示出了在MR装置中使用用于显示扩展现实的系统的装置。
图2示意性地示出了对MR装置和受检人员进行查看的操作人员的视野。
图3示出了图2的例子中操作人员的视野。
图4示出了操作人员的视野,视觉信息被投影到所述视野中,以改善对下一个操作步骤的识别。
图5示出了具有在用于显示扩展现实的系统中可以执行的步骤的流程图。
图6示出了具有用于操作图1的使用用于显示扩展现实的系统的MR装置的步骤的流程图。
具体实施方式
以下说明如何能够借助用于显示扩展现实的系统来简化医学成像装置的操作,从而尤其是出现更少的操作错误和最小化操作的持续时间。
以下对实施方式的描述结合作为医学成像装置的MR装置进行。但是当然,本发明也可以在其他医学成像装置中、诸如在CT或任何其他医学成像装置、诸如X射线装置中使用。
图1示意性地示出了具有用于产生极化场B0的磁体11的MR装置10,其中位于卧榻13上的受检人员12可以被推入磁体11中。MR装置10具有控制单元20,所述控制单元具有用于控制HF脉冲的入射的HF控制器21以及用于在成像期间控制磁场梯度的接通的梯度控制器22。图像序列控制器23用于根据选择的成像序列控制HF脉冲和磁场梯度的使用的时间序列,从而图像序列控制器23也监视和控制HF控制器21和梯度控制器22。此外设置有输入单元24,操作人员可以利用所述输入单元控制MR装置,其中输入单元例如具有键盘、触敏屏、鼠标等。在显示器25上可以规划检查以及显示产生的MR图像。MR装置10可以通过输入/输出单元26与其他单元通信,例如与后面还要详细描述的用于显示扩展现实的系统100通信。在存储器单元27中可以存储拍摄不同的解剖区域的MR图像所需的不同的运行协议。
如何能够在MR装置中通过接通HF脉冲、磁场梯度和检测MR信号产生MR图像,是专业人员公知的,并且在此不详细解释。用于显示扩展现实的系统100具有输入和输出单元110,系统可以利用其与其他装置、诸如MR装置10通信。在系统100和MR装置10之间的通信连接可以是有线通信或无线通信,而在中央的控制单元20和磁体附近的部件之间的连接优选有线地进行。系统100还具有视觉装置。例如视觉装置可以是操作人员佩戴并且如后面还要详细解释的、视觉信息可以投影到其中的眼镜或类似装置。系统还包括具有一个或多个处理器的处理器单元130。处理器单元负责系统的工作方式并且控制各个功能部件的彼此之间的运行以及系统总体上的工作方式。在存储器140中例如可以存储程序代码,其中在通过处理器单元130执行程序代码时可以执行上面已经解释的或后面还要详细解释的系统100的步骤。图像采集单元150设置为采集显示操作人员的视野的图像数据。图像采集单元,例如CCD照相机等,例如可以是固定在操作人员头部的照相机,其产生与操作人员的视野类似的图像数据,从而可以推断出操作人员的视野。此外系统可以具有用于输出音频信号的至少一个扬声器160,例如用于向操作人员不仅视觉地而且还通过音频信息通知下一个要执行的操作步骤。系统100优选是便携式系统,尤其是,视觉装置120和图像采集单元150作为便携式系统构造并且可以由操作人员作为头盔或眼镜佩戴。全部功能单元110至150不一定综合在单个物理单元中,也可以的是,处理器和存储器单元在空间上包含在另一个壳体中并且不同的单元互相有线或无线地通信。
处理器单元130尤其是负责图像处理、在采集的图像数据中识别对象和将视觉信息投影到操作人员的视野中。当然,系统100还可以包含其他部件,诸如用于更精确地确定系统的位置的单元,诸如加速度传感器、磁场传感器、超声波传感器、例如与光电探测器组合的光源、或例如与HF线圈组合的HF源。可以的是,处理器单元130构造为,用于接收按照前面提到的传感器类型的一个或多个传感器的相应的传感器数据。于是,处理器单元130可以构造为,例如在图像数据中至少部分地基于传感器数据确定系统的位置和/或取向。例如借助磁场传感器可以测量MR装置10的磁体11的事先在校准例程中预先测量的杂散场。其典型地具有特征性的位置依赖性并且可以用于精确定位。从测量的数据与从校准例程获得的参考数据的比较,于是可以推断出瞬时位置。替换地或附加地,借助磁场传感器可以确定照相机的方向改变/旋转;这例如可以在3D磁场传感器情况下通过改变测量的磁场的方向或例如在2D磁场传感器的情况下通过改变磁场的强度,例如结合加速度传感器来实现。在MR装置和系统100位于其中的空间中,可以布置其他光学辅助,例如条形码、标志等,其可以由图像采集单元150采集并且其简化对图像采集单元150或操作人员的精确定位。
这样的用于显示扩展现实的系统、即所谓的增强现实系统,原则上如何精确工作,以将信息投影到应用者的视野中,是专业人员公知的并且在此不详细解释。
除了示出的功能单元,系统100还可以具有麦克风、操作元件等。
可以在考虑医学成像装置的元件、诸如卧榻13和其形状是系统100已知的MR装置或壳体的条件下,确定系统100在空间中的取向和定位,由此确定操作人员的视野。当通过后处理在图像数据中识别出MR装置的位置和取向时,可以推断出操作人员的位置和视野。为此可以附加地使用位置传感器,诸如超声波、光或高频和/或加速度传感器和/或磁场传感器。尤其是,可以通过加速度传感器或位置传感器借助超声波、光或高频来确定运动,即,视野的位置改变。操作人员的精确的定位和取向和由此视觉位置的识别是重要的,以便将视觉信息投影到视野中,使得其定位在相应于操作人员的视觉角度的位置中。如果例如在下一个处理步骤中应当将特定的设备定位在特定的地点,则可以作为视觉信息将该设备投影到图像数据中。然而为了操作人员在正确的位置看见该设备,必须已知视觉位置,即操作人员的视野,以及对象在视野中的位置。
图2示意性地示出了操作人员15如何处理对受检人员12的测量,其中该受检人员已经位于卧榻13上。此外显示操作人员15的视野16,其中该视野包括MR装置10、受检人员12和患者卧榻13中的一部分。在图3中此时从操作人员的角度示出操作人员如何看见MR装置10和位于卧榻13上的受检人员12的情形。该视野也由图像采集单元150采集。虽然图像采集单元150的视野稍微转移,因为图像采集单元150相对于眼睛移位地例如布置在操作人员的头部上或头部旁边,但是尽管如此还可以的是,从图像采集单元150相对于操作人员的已知的位置推断出操作人员的视觉位置和视野。
图4此时示出了如何能够借助系统100来辅助操作人员处理MR测量。
在图4中此时示出了,系统100如何能够通过将不同的信息插入到操作人员的视野中,来辅助操作人员。在示出的例子中,要对受检人员12的心脏进行血管造影检查。在示出的例子中已知受检人员的姓名,姓名例如已经由操作人员输入到MR系统中或已经从患者信息系统中提取了姓名。此外已知要执行哪一个运行协议。该运行协议可以从医学问题中得到,在该情况中应当拍摄心脏的MR图像,尤其是血管造影图像,即,显示血流的MR图像。对于不同的医学问题,在存储器单元27中存储不同的运行协议。通过调用和选择运行协议,确定应当执行哪些MR检查,其中由此也确定所需的MR线圈和受检人员在MR装置中的位置。MR系统此时可以向系统100提供状态信息,例如关于卧榻位置、线圈的存在或关于运行协议的信息。在图4中在左上方的图像边缘示出了人员相关信息30,其包含患者姓名和患者信息,其中在右上方的图像边缘作为状态信息32示出了具有不同的运行步骤的运行协议。关于运行协议和与之相关联的状态信息32,还示出了已经执行了哪些运行步骤,在示出的例子中步骤1和2作为已经处理的示出。该信息可以来自于MR装置或者该信息通过系统100确定,例如通过对采集的图像数据的图像后处理,从所述图像数据中例如可以识别,受检人员12已经位于卧榻上。在右上角示出的状态信息32此时告知操作人员,要执行运行协议的下一个运行步骤3。该步骤3包含正确的HF线圈在MR装置中的正确位置上和在受检人员12的正确位置上的安装。系统100此时识别下一个待执行的运行步骤,并且通过由图像采集单元150拍摄的图像数据识别操作人员的视野。由此系统100知道,在图像数据中在哪个位置上操作人员看到受检人员。系统100例如还从MR装置获得信息,下一个步骤是必须由操作人员执行的HF线圈的定位。系统100,尤其是处理器单元130,此时计算,在图像数据中的何处,线圈作为操作人员的视觉信息必须投影到操作人员的视野中,由此操作人员立即识别,必须如何进行线圈在受检人员12和MR装置10上的正确安装。由此视觉信息31被投影到视野中的特定位置,即如下位置,在该位置,从操作人员的角度,线圈必须被安装到受检人员上。此外示出了线圈与MR装置、在此与卧榻13的连接。
作为其他信息,系统100确定MR装置的当前状态,其中该信息例如可以由MR装置提供,或者可以由系统100通过图像后处理和识别采集的图像数据中的对象来确定。该状态信息32在图4中在左下方和右下方的图像边缘处示出,并且例如包含运行协议的名称和MR装置的一些部件的当前状态、诸如HF线圈是否连接,卧榻13的位置等。
在示出的情况中,状态信息32和人员相关信息30被放置为,使得其尽可能少干扰操作人员的视野并且或多或少与对象在视野中的位置无关。状态信息和人员相关信息优选在采集的图像数据的边缘区域中、即在预先确定的固定的子区域中显示,而对于视觉信息31的定位,必须知道受检人员12的和MR装置10的精确方位和位置,由此线圈和线圈与MR装置10的连接元件可以正确地投影到图像数据中。这意味着,产生的视觉信息相对于在图像数据中识别的对象的相对方位是有意义的。处理器单元130计算视觉信息相对于在图像数据中识别的物品、诸如人员12和卧榻13的方位,而进一步投影的状态信息和系统信息基本上与识别的对象在图像数据中的位置无关。
图5总结由系统100为了产生对于操作人员的视觉信息而执行的步骤。该方法在步骤S50开始,并且在步骤S51确定在成像装置中应当执行的运行协议。运行协议具有多个步骤,诸如受检人员的定位,对象、诸如HF线圈在受检人员上的安装,或者其他设备、诸如用于测量心率的EKG电极或用于确定呼吸运动的装置等的安装。在步骤S52,进一步通过图像采集单元150采集图像数据并且从中确定操作人员的视野,由此系统100知道操作人员如何感知周围。由此在视野中也确定在图像数据中对象的位置。在此,确定操作人员的视觉位置和视野。此外在步骤S53,确定哪个操作步骤必须作为下一个由操作人员执行。为此确定运行协议的实际状态,即,哪些运行步骤可能已经被执行。然后确定运行步骤,尤其是操作人员要用来执行操作步骤的运行步骤。如果已知该下一个操作步骤,则然后在步骤S54中可以确定所属的视觉信息。在图4的例子中,下一个操作步骤是HF线圈的安装。对于视觉信息的确定,还必须已知MR装置、受检人员和卧榻13的位置。另一个例子是EKG电极的安装。如果下一个操作步骤是电极的安装,则可以作为视觉信息标记EKG电极在受检人员12上的位置与电极。这可以通过对采集的图像数据的图像后处理确定。当此时确定了,受检人员和患者卧榻位于图像数据中的何处和由此操作人员的视野中的何处时,可以确定待投影的视觉信息的位置,然后将视觉信息投影到操作人员的视野中的计算的位置上(步骤S55)。
该方法在步骤S56结束。
视觉信息也可以作为电影播放,例如产生视觉信息,使得操作人员识别,HF线圈如何布置在受检人员12上和HF线圈如何与MR装置相连。该动画显示使操作人员对操作步骤的正确执行简单和简化。除了视觉信息,例如还可以产生向操作人员播放的音频信息,其中音频信息例如可以包含要如何执行下一个操作步骤的指示。
如果下一个要执行的操作步骤例如是按下成像装置上的特定的操作元件,则该操作按键可以视觉地在视野中被强调地显示,例如通过该操作按键的闪烁或其他方式突出,由此操作人员知道,下一个应当执行哪个操作步骤。
对于一些检查或运行协议,需要附加的设备,例如用于监视诸如心跳的生理参数的设备或用于注射造影剂的装置、用于确定呼吸运动的呼吸带等。系统100可以从采集的图像数据中识别,这些设备是否已经布置在视野中的正确的位置上,该位置是按照运行协议其应当所在的位置。如果否,则还可以通知操作人员,还缺乏这些设备中的哪个,其中可以产生被投影到视野中的设备信息,其作为还缺乏哪些设备的一般的信息,或者具体地在哪个位置还缺乏设备的信息。也可以使示出的状态信息与有效的运行协议匹配,从而仅显示在选择的运行协议下可能的选项。
当运行协议被处理完时,最后可以作为状态信息的另一个可能性显示列表,其显示所有要执行的步骤是否都已经正确地执行。
此外可以的是,系统在采集的图像数据中识别何时发生了操作错误。例如需要的子部件诸如HF线圈被错误地定位,或者受检人员被错误地定位在卧榻上。这可以通过模式识别和图像后处理由系统100识别,其中系统然后产生错误信息,其向操作人员显示,在操作中在何处发生了错误,例如可以突出地显示错误布置的部件,以通知在所突出的部件处存在错误。关于错误的信息也可以由成像装置检测并且传输到系统100。
系统100还可以具有输入装置,操作人员可以利用所述输入装置控制MR装置,其可以是触敏表面或其他操作元件如操纵杆或手柄,利用其可以控制成像装置的各部分,例如卧榻的运动。
结合图6示出,如何能够在使用系统100的条件下执行MR测量。该方法在步骤S60开始,并且在步骤S61登记受检人员。在下一个步骤S62收集不同的信息。该信息可以来自于MR设备的存储器单元27,例如对期望的运行协议的选择。由图像采集单元150产生的图像数据也提供信息,其可以被评估,以收集将视觉信息投影到正确的位置所需的信息。此外MR系统本身可以提供信息。如结合图5详细地描述的,然后可以在步骤S63产生视觉信息并且对操作人员显示,由此得到具有扩展了视觉信息的现实的视野。这是其中附加地投影了视觉信息的图像数据。在步骤S64中检验,运行协议是否结束。如果否,则系统返回到步骤S62,并且重复步骤S62至S64,直到执行了所有步骤为止。如果是,则可以在步骤S65开始MR测量。
图6示出了两个系统、即MR系统10和用于显示扩展现实的系统100的协作。
如上所述,本发明实现了一种用于显示扩展现实的系统,利用其,没有太多培训的操作人员也可以正确执行要执行的操作步骤。由此可以降低在执行运行协议时的错误率并且总体上可以加速成像。用于显示扩展现实的系统具有处理器单元和存储器单元,其中在存储器单元中存储命令,所述命令在通过处理器单元执行时使得系统执行上面描述的步骤。
在另一个实施中,系统具有用于确定待执行的运行协议,用于采集图像数据,用于确定下一个运行步骤和所属的操作步骤的装置。此外存在用于产生视觉信息和将视觉信息投影到视野中的装置。
利用上面描述的系统,可以去除在成像装置本身上存在的显示和控制信息,或者可以减小其范围,因为所需信息通过系统100提供给操作人员。
Claims (20)
1.一种用于在处理具有多个运行步骤的运行协议时自动辅助操作人员(15)的方法,利用运行协议在医学成像装置中对受检人员(12)进行检查,该方法具有以下步骤:
-确定要对受检人员执行的运行协议,
-采集图像数据,其从操作人员的角度显示医学成像装置(10)的周围和受检人员(12)中的至少一个的视野(16),
-确定运行协议的下一个运行步骤,其中要由操作人员(15)执行操作步骤,
-产生视觉信息(31),利用所述视觉信息通知操作人员(15)关于要执行的操作步骤,
-将所述视觉信息(31)投影到用于向操作人员显示扩展现实的视觉装置(120)中,在所述扩展现实中显示扩展了所述视觉信息的视野,
其中,图像数据包含医学成像装置(10),其中医学成像装置(10)在图像数据中的位置和取向被确定,并且在考虑所确定的医学成像装置的位置和取向的条件下确定操作人员(15)的视觉位置,从该视觉位置操作人员采集视野(16),
其中,所述方法还包括以下步骤:
-接收传感器的传感器数据,所述传感器从以下组中选择:加速度传感器;磁场传感器;超声波传感器;光电检测器;和HF线圈;
其中基于所述传感器数据,确定医学成像装置(10)在图像数据中的位置、医学成像装置(10)在图像数据中的取向和操作人员(15)的视觉位置中的至少一个。
2.根据权利要求1所述的方法,其特征在于,自动地从待执行的运行协议中确定受检人员(12)相对于医学成像装置(10)的定位,并且将受检人员(12)相对于医学成像装置(10)的定位作为视觉信息(31)投影到视野中。
3.根据权利要求1所述的方法,其特征在于,除了视觉信息(31),还确定提供受检人员的信息的人员相关信息(30),其中人员相关信息(30)被投影到视野(120)中。
4.根据权利要求1所述的方法,其特征在于,从所确定的运行协议中自动确定,运行协议的执行还需要哪些附加设备,其中产生关于附加地需要的设备的设备信息并且投影到视野(120)中。
5.根据权利要求4所述的方法,还包括:
-根据所采集的图像数据确定,所述附加设备中的哪些已经准备好并且布置在操作人员的视野中,
-确定仍然缺少的设备,
-产生设备信息,使得操作人员被告知,仍然缺少哪些设备。
6.根据权利要求1所述的方法,其特征在于,检验图像数据,是否在图像数据中包含了操作错误,在所述操作错误情况下在医学成像装置或在受检人员方面发现与运行协议不一致的情形,其中从该情形确定错误信息并且投影到视野中。
7.根据权利要求1所述的方法,其特征在于,将下一个要执行的操作步骤转换为音频信息并且向操作人员播放该音频信息。
8.根据权利要求1所述的方法,其特征在于,医学成像装置(10)是MR装置。
9.根据权利要求8所述的方法,其特征在于,下一个待执行的运行步骤是HF线圈到受检人员(12)上的定位,其中投影的视觉信息具有HF线圈相对于MR装置(10)和受检人员(12)的定位。
10.根据权利要求1至9中任一项所述的方法,其特征在于,确定医学成像装置的当前状态并且从所述当前状态确定状态信息(32),除了视觉信息(31)之外,还将所述状态信息投影到视野中。
11.根据权利要求1至9中任一项所述的方法,其特征在于,确定图像数据中相对于图像数据中包含的至少另一个对象的位置,视觉信息布置在图像数据中的所述位置,其中视觉信息在所确定的位置被投影到视野中。
12.一种用于显示扩展现实的系统(100),其构造为,在执行具有多个运行步骤的运行协议时辅助操作人员(15),在医学成像装置中利用所述运行协议对受检人员(12)进行检查,所述系统具有:
-图像采集单元(150),其构造为,采集图像数据,所述图像数据从操作人员的角度显示医学成像装置(10)的周围和受检人员中的至少一个的视野(16),
-用于操作人员的视觉装置(120),
-处理器单元(130),其构造为,
-确定要对受检人员执行的运行协议,
-确定运行协议的下一个要执行的运行步骤,其中操作人员(15)要执行操作步骤,
-确定视觉信息(31),利用其向操作人员(15)通知要执行的操作步骤,
-将所述视觉信息(31)投影到操作人员的用于显示扩展现实的视觉装置(120)中,在所述扩展现实中显示扩展了视觉信息(31)的视野,
其中,所述图像数据包含医学成像装置(10),其中处理器单元(130)构造为,在考虑确定的医学成像装置的位置和取向的条件下确定医学成像装置(10)在图像数据中的位置和取向以及操作人员(15)的视觉位置,从所述视觉位置,操作人员采集视野(16),
其中,所述处理器单元(130)构造为,基于传感器数据确定医学成像装置(10)在图像数据中的位置、医学成像装置(10)在图像数据中的取向和操作人员(15)的视觉位置中的至少一个,所述传感器数据从自以下组中选择的传感器接收:加速度传感器;磁场传感器;超声波传感器;光电检测器;和HF线圈。
13.根据权利要求12所述的系统(100),其特征在于,所述处理器单元(130)构造为,从要执行的运行协议中自动确定受检人员(12)相对于医学成像装置(10)的定位,并且将受检人员相对于医学成像装置(10)的定位作为视觉信息在视觉装置中投影到视野(120)中。
14.根据权利要求12所述的系统(100),其特征在于,所述处理器单元(130)构造为,除了视觉信息(31),还确定提供受检人员的信息的人员相关信息(30),并且将人员相关信息(30)在视觉装置中投影到视野中。
15.根据权利要求12所述的系统(100),其特征在于,所述处理器单元(130)构造为,
-从所确定的运行协议自动确定,运行协议的执行需要哪些附加设备,
-产生关于附加地需要的设备的设备信息并且在视觉装置中投影到视野中。
16.根据权利要求15所述的系统(100),其特征在于,所述处理器单元构造为,
-根据所采集的图像数据确定,附加设备中的哪些已经准备好并且布置在操作人员的视野中,
-确定仍然缺少的设备,
-产生设备信息,使得操作人员被告知,仍然缺少哪些设备。
17.根据权利要求12至16中任一项所述的系统(100),其特征在于,所述处理器单元(130)构造为,检验图像数据,是否在图像数据中包含操作错误,在所述操作错误情况下在医学成像装置或者在受检人员方面发现与运行协议不一致的情形,从所述情形确定错误信息并且在视觉装置中投影到视野中。
18.根据权利要求12至16中任一项所述的系统(100),还包括至少一个扬声器(160),其中所述处理器单元构造为,将下一个要执行的操作步骤转换为音频信息,其中所述扬声器向操作人员播放该音频信息。
19.根据权利要求12至16中任一项所述的系统(100),其特征在于,医学成像装置(10)是MR装置,所述下一个要执行的运行步骤是HF线圈在受检人员(12)上的定位,其中所述处理器单元构造为,将HF线圈相对于MR装置和受检人员的定位作为视觉信息在视觉装置(120)中投影到视野中。
20.根据权利要求12至16中任一项所述的系统(100),其特征在于,所述处理器单元构造为,确定医学成像装置的当前状态,并且从当前状态中确定状态信息(32),除了视觉信息(31)之外,还将所述状态信息在视觉装置中被投影到视野中。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102015216917.0A DE102015216917A1 (de) | 2015-09-03 | 2015-09-03 | System zur Darstellung einer erweiterten Realität über eine Bedienperson |
DE102015216917.0 | 2015-09-03 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106491206A CN106491206A (zh) | 2017-03-15 |
CN106491206B true CN106491206B (zh) | 2019-10-08 |
Family
ID=58054989
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610797890.2A Active CN106491206B (zh) | 2015-09-03 | 2016-08-31 | 用于关于操作人员显示扩展现实的系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10055870B2 (zh) |
CN (1) | CN106491206B (zh) |
DE (1) | DE102015216917A1 (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111010865B (zh) | 2017-02-24 | 2023-07-25 | 梅西莫股份有限公司 | 用于显示医疗监测数据的系统 |
US11024064B2 (en) * | 2017-02-24 | 2021-06-01 | Masimo Corporation | Augmented reality system for displaying patient data |
US11369440B2 (en) * | 2017-04-17 | 2022-06-28 | The John Hopkins University | Tactile augmented reality for medical interventions |
US20190018085A1 (en) * | 2017-07-11 | 2019-01-17 | Lockheed Martin Corporation | Magnetometer with thermal electric cooling of the excitation light source |
EP3441004B1 (de) * | 2017-08-11 | 2019-12-11 | Siemens Healthcare GmbH | Verfahren zur aufnahme eines bilddatensatzes mit einem röntgenbildgebungssystem und röntgenbildgebungssystem |
DE102017220529A1 (de) * | 2017-11-17 | 2019-05-23 | Siemens Healthcare Gmbh | Verfahren zur Bedienung einer Blendeneinrichtung einer Röntgeneinrichtung und Röntgeneinrichtung |
EP3720554B1 (en) * | 2017-12-07 | 2021-07-07 | Brainlab AG | Patient positioning using a skeleton model |
EP3689229A1 (en) * | 2019-01-30 | 2020-08-05 | DENTSPLY SIRONA Inc. | Method and system for visualizing patient stress |
US10885338B2 (en) | 2019-05-23 | 2021-01-05 | International Business Machines Corporation | Identifying cable ends using augmented reality |
DE102021206761A1 (de) | 2021-06-29 | 2022-12-29 | Siemens Healthcare Gmbh | Vorrichtung, System und Verfahren zur Unterstützung eines Vorgangs einer Bildgebungsuntersuchung |
WO2024038031A1 (en) * | 2022-08-18 | 2024-02-22 | Koninklijke Philips N.V. | Methods and systems for augmented reality display within the mri environment |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101347330A (zh) * | 2007-07-18 | 2009-01-21 | 株式会社东芝 | 磁共振成像装置、设置辅助装置及设置辅助方法 |
CN101930125A (zh) * | 2009-06-22 | 2010-12-29 | 索尼公司 | 头戴型显示器以及头戴型显示器中的图像显示方法 |
CN104470458A (zh) * | 2012-07-17 | 2015-03-25 | 皇家飞利浦有限公司 | 用于手术仪器引导的增强现实成像系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6847336B1 (en) * | 1996-10-02 | 2005-01-25 | Jerome H. Lemelson | Selectively controllable heads-up display system |
WO2002029700A2 (en) * | 2000-10-05 | 2002-04-11 | Siemens Corporate Research, Inc. | Intra-operative image-guided neurosurgery with augmented reality visualization |
US20140081659A1 (en) * | 2012-09-17 | 2014-03-20 | Depuy Orthopaedics, Inc. | Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking |
EP3221809A1 (en) * | 2014-11-18 | 2017-09-27 | Koninklijke Philips N.V. | User guidance system and method, use of an augmented reality device |
-
2015
- 2015-09-03 DE DE102015216917.0A patent/DE102015216917A1/de active Pending
-
2016
- 2016-08-31 CN CN201610797890.2A patent/CN106491206B/zh active Active
- 2016-09-02 US US15/255,191 patent/US10055870B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101347330A (zh) * | 2007-07-18 | 2009-01-21 | 株式会社东芝 | 磁共振成像装置、设置辅助装置及设置辅助方法 |
CN101930125A (zh) * | 2009-06-22 | 2010-12-29 | 索尼公司 | 头戴型显示器以及头戴型显示器中的图像显示方法 |
CN104470458A (zh) * | 2012-07-17 | 2015-03-25 | 皇家飞利浦有限公司 | 用于手术仪器引导的增强现实成像系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106491206A (zh) | 2017-03-15 |
DE102015216917A1 (de) | 2017-03-09 |
US10055870B2 (en) | 2018-08-21 |
US20170069120A1 (en) | 2017-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106491206B (zh) | 用于关于操作人员显示扩展现实的系统 | |
US11275249B2 (en) | Augmented visualization during surgery | |
US20220351380A1 (en) | Image processing apparatus, medical image diagnostic apparatus, and blood pressure monitor | |
EP3627514B1 (en) | System and method for optimised monitoring of joints in physiotherapy | |
RU2454198C2 (ru) | Система и способ позиционирования электродов на теле пациента | |
JP5919717B2 (ja) | 動態医用画像生成システム | |
US20170322484A1 (en) | X-ray pre-exposure control device | |
US20150042677A1 (en) | Image-generating apparatus | |
CN106687046A (zh) | 用于定位进行医学成像的患者的引导系统 | |
US8295911B2 (en) | Motion correction for tomographic medical image data of a patient | |
US9142015B2 (en) | Medical imaging system and method for providing an image representation supporting accurate guidance of an intervention device in a vessel intervention procedure | |
JP2004533889A (ja) | 予測的生理学的ゲート駆動のための方法およびシステム | |
US20140221812A1 (en) | Medical Imaging Apparatus with a Movement Detection Unit and a Method for Detecting Patient Movement | |
WO2018167275A1 (en) | Cardiac motion signal derived from optical images | |
CN109381206A (zh) | 图像处理装置及其工作方法 | |
CN107106059A (zh) | 灌注成像 | |
US20150362566A1 (en) | Medical imaging apparatus with optimized operation | |
CN111419254A (zh) | 医学影像设备的复位检测方法和医学影像系统 | |
JP7229349B2 (ja) | 患者キャリアの位置決め | |
US20180140376A1 (en) | Method and arrangement for electromagnetic radiation based non-invasive monitoring of a performance of an anatomic object during an operation or medical intervention | |
JP2022526698A (ja) | 同期化デバイス、及び患者の呼吸周期の瞬間を判定する方法、及び医療ロボットを含む組立体 | |
CN107743380A (zh) | 确定针对瓣膜定位的c型臂成角 | |
CN103295246A (zh) | 通过ecg分析对介入放射学图像的处理 | |
CN103908293B (zh) | 用于测量医学图像的医学成像系统和方法 | |
EP4092684A1 (en) | Method for providing feedback data in a medical imaging system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |