CN103443799B - 3d图像导航方法 - Google Patents
3d图像导航方法 Download PDFInfo
- Publication number
- CN103443799B CN103443799B CN201280016577.0A CN201280016577A CN103443799B CN 103443799 B CN103443799 B CN 103443799B CN 201280016577 A CN201280016577 A CN 201280016577A CN 103443799 B CN103443799 B CN 103443799B
- Authority
- CN
- China
- Prior art keywords
- navigator
- rendering
- sectioning image
- plane
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Processing Or Creating Images (AREA)
Abstract
通过如下步骤来通过3D图像进行导航的方法：在空间中操纵带有合并的显示单元的导航设备并在空间中确定导航设备的位置和方向，从而定义视点和截面平面，虚拟地将3D图像与所述平面交叉，计算表示所述3D图像与所述平面的交叉的切片图像的数据，并且在导航设备的所述显示单元部分上显示所述切片图像。
Description
技术领域
本发明涉及医学3D成像，更特别地，它涉及用来浏览之前由图像采集设备获得的医学3D图像的方法。
背景技术
以无创方式检查患者内部的需求带来如MR、CT或PET的多种体积扫描物理治疗设备的发明。这些扫描仪产生在叠加在研究中的主体上的精细体积网格上测量的身体属性的大体积数据集。
为了容易地可视地检查该体积数据集，已经发明了体积渲染方法来直接以3D表示显示所述体积。那些方法包括直接体积渲染、最大强度投影（MIP）、最小强度投影（MinIP）、平均强度投影、数字放射成像重建（DRR）、双对比钡剂造影仿真（DCBE）等等。这些体积渲染方法使检查者能够以3D显示、旋转、放大且摇摄（pan）体积数据集。
这种体积成像提供了增强的解剖学细节的可视化，并且方便了医师的观察，并且给他更好的进入患者体内的结构的内部视图。
也经常在通过被计算且可视化的体积数据集对2D切片图像（分段）执行多维图像的检查。可以计算在空间以6维的切片。用于计算这样的切片的技术是例如多平面重组（MPR）技术。
为了给医师最佳的进入患者体内的结构的可能的洞察力，医师浏览3D体积并且评估上述切片图像。对于用户与显示的3D图像的交互作用而目前可得的导航工具是相当复杂的。
为了探究3D数据，例如，3D鼠标可以用作导航工具。然而，这些设备是昂贵的且需要大量的努力来学习与所述设备一起工作，因为用户界面不是完全直观的。
在文章‘Explore in 3D: a new virtual image navigation tool’, Michael Teisler, 1 August
2006, SPIE newsroom, DOI: 10.117/2.1200607.0222中已经意识到这个问题。
为了克服这个问题，在该文章中已经提出了解决方案，其基于模仿超声检查的思想，在所述超声检查中，患者身体的切片图像是用手持式3D鼠标生成的。全体积数据集的3D视图与任意定位的切片图像和可选的切割平面一起在显示设备上示出。在第二显示设备上，2D视图与作为2D图像的一个选定切片图像一起示出。取代传统的2D鼠标，手持式3D鼠标用作用户的交互设备。3D鼠标在空间中的位置和方向用来定义切片图像的或整个虚拟体积的位置和方向。
即使利用上述导航方法，导航仍是特别地困难，因为用户必须一方面在空间中操纵3D鼠标且必须另一方面跟随并评估该操纵在显示屏幕上的效果，并且这些显示经常将在不同的平面和方向上。因为被观察的“对象”明显不同于被操纵的“对象”，所以需要在鼠标在空间中的移动与该移动的所显示的结果之间的精神和身体的协调，并且通常是高要求的。
由此本发明的目标是提供一种克服上述缺点的用来浏览之前获得的3D图像的导航方法。
发明内容
上文提及的方面是通过以下方法来实现的。根据本发明的用来浏览由数字信号表示所表示的对象的3D图像的方法，包括如下步骤：在空间中操纵包括显示设备的导航工具，确定所述导航设备的显示设备部分在空间中所位于的平面的位置和方向，虚拟地将所述3D图像与所述平面交叉，从所述数字信号表示计算表示所述3D图像与所述平面的交叉的切片图像的数据，在所述导航设备的所述显示设备部分上显示所述切片图像。
本发明的优选实施例在这里给出。通过测量在所述导航设备上的一个或多个位置与参考位置之间的一个或多个距离来计算所述位置和方向。通过确定耦合到所述导航设备的传感器的位置来获取所述位置和方向。在第二显示屏幕上显示所述3D图像的体积表示，并且其中，在所述体积表示上指明所述3D图像与所述平面的交叉。所述导航设备包括布置为计算切片图像的所述数据的信号处理装置。所述导航设备包括用于存储所述数字信号表示的数据储藏库。所述导航设备是平板电脑。所述切片图像的显示分辨率可以适于使可视化质量或导航响应受益。
本发明的方法优于现有技术，因为在现有技术中，导航设备，即3D鼠标在空间中的位置和方向与在显示设备上显示的切片不一致。用户仍需要许多努力来协调鼠标操纵与在显示设备上所看到的内容。
本发明的导航方法直观得多。用本发明的平板操纵，用户看着对象，好像他真的在切割它。虚拟切割操作的结果立即在平板电脑上看到（作为切片图像），借助所述平板电脑，他执行虚拟切割操作。这种形式的操纵不需要3D设备在空间中的移动与切片在显示屏幕上的显示的协调和解释。
虚拟切割平面和执行切片图像的显示所在的平面是相同的，所述虚拟切割平面由定位导航设备（例如平板电脑）所在的平面的位置和方向定义。不需要用来协调导航工具的操纵与操纵（切片图像的显示）效果的努力。
导航工具用作切割通过3D体积的虚拟手术刀平面。用户在平板电脑的屏幕上看到的图像是当他在他利用的位置和方向处对虚拟3D对象切片时他所得到的图像。因此，用户不需要额外的眼手协调努力以将“设想的”移动转化为“需要的”移动。
从以下的描述和相关联的附图中，本发明的进一步的优点和实施例将变得显而易见。
附图说明
图1示出了系统的实施例，借助所述系统可以实施本发明的导航方法。
具体实施方式
图1示出了系统，在所述系统中可以实施本发明的方法。
系统包括导航设备1，所述导航设备1在示出的实施例中被实施为平板电脑。导航设备在空间中可自由移动。
导航设备包括显示屏幕以及用来控制所述显示设备的操作的控制装置，并且优选地与信号处理器和/或数据储藏库进行无线耦合。在替换的实施例中，导航设备自身可以包括信号处理器和/或数据储藏库。
在一个实施例中，导航设备是平板电脑。平板电脑在空间中沿着六个自由度－在三个正交轴中的平移和关于三个正交轴的旋转可自由移动。
系统进一步包括跟踪系统（2a、2b），以确定当用户在空间中操纵导航设备时导航设备所位于的平面的位置和方向。
跟踪系统可以以不同的方式来实施。
在一个实施例中，跟踪系统是能够通过简单计算在导航设备上的特定预定义位置与参考点之间的距离来检测导航设备相对于参考点的位置和方向的系统。
在另一个实施例中，导航设备具有可由跟踪设备用来确定导航设备的位置和方向的传感器。这样的传感器可以是红外或可视光源、磁传感器、声传感器、电容或动感传感器、陀螺仪、加速度计等等。
这样的位置检测设备在电脑游戏的领域中是公知的，这样的系统的示例在Sixense Truemotion系统中实施。
将表示对象的图像的数字体积表示的图像数据存储在数据储藏库3中。所述图像数据可以提前从各种图像采集设备获取，所述图像采集设备生成诸如MR、CT、PET等等的3D图像数据。
将数据储藏库3连接到处理系统4，所述处理系统4能够在所获得的图像的3D表示的基础上计算切片图像的数据，所述图像的3D表示可以从数据储藏库3检索到。
用于从3D数据集计算这样的切片图像的技术在本领域是公知的，并且包括例如多平面重组技术（MPR）。
可选地，系统还包括显示设备5，所述显示设备5在导航设备1的外部并被布置为从处理器4或直接（未示出）从导航设备1接收数据。
根据本发明的上述系统的操作如下。
用户在空间中（6个自由度）移动诸如平板电脑的导航设备1，直至平板电脑所位于的平面与3D图像内的设想的截面平面的位置和方向一致。
在显示器屏幕上可以跟随平面的位置和方向，在所述显示器屏幕上显示对象的3D体积表示，例如3D颅骨图像。
表示对象（例如颅骨）的体积图像的3D数据通常被较早获得并从数据储藏库4检索到。体积表示由信号处理器3计算，并且将数据馈送到显示设备5。3D图像的显示器是可选的。然而，当评估截面平面的位置和对应的切片图像时它可以是高效的（见下文）。
接下来，确定在空间中导航设备所位于的且与用户感兴趣的截面平面相对应的平面的位置和方向。
将定义导航设备的位置和方向的这些坐标传输到信号处理器3（其可以被实施为分开的信号处理设备或者其可以是导航设备的一部分），并且计算表示根据所确定的平面与所述3D图像虚拟交叉的切片图像的数据。
最终在导航设备的显示设备部分上显示与所计算的数据相对应的切片图像。
此外，也可以在额外的显示设备5上显示切片图像，所述显示设备5在导航设备的外部。
导航设备可以被提供有信号处理装置，所述信号处理装置可以适于执行获取表示切片图像的数据所需的计算。
在导航设备中显示的图像可以是质量降低的，以改善响应和/或降低在导航的同时发送高质量图像的需求。
此外，导航工具中的信号处理器可以被提供有图像增强能力。
导航工具可以被提供有用来摇摄虚拟对象的装置，即，使用导航工具“抓取”虚拟对象，移动它的方向和位置，以便进一步方便导航。
此外，导航工具或者连接到导航设备（或到跟踪系统或任何系统部件）的外部控件可以用来“冻结”图像并允许更好的观察和/或图像控制（例如，对比度和/或亮度调节），即便在该调节期间移动导航设备。
系统也可以用来“放大”－扩展比例，好像所感兴趣的区域的扩展意味着虚拟对象的等同的扩展。
此外，系统可以适于允许用户“收缩和放大”，即，选定图像中的至少两个点，并且在导航工具中拉动它们以实现相同的效果。
所述切片图像的显示分辨率可以适于使可视化质量或导航响应受益。
Claims (8)
1.一种用来浏览由数字信号表示所表示的对象的3D图像的方法，其特征在于包括如下步骤：
－在空间中操纵包括显示设备的导航设备，
－确定所述导航设备的显示设备部分在空间中所位于的平面的位置和方向，
－虚拟地将所述3D图像与所述平面交叉，
－从所述数字信号表示计算表示所述3D图像与所述平面的交叉的切片图像的数据，
－在所述导航设备的所述显示设备部分上显示所述切片图像。
2.根据权利要求1所述的方法，其特征在于通过测量在所述导航设备上的一个或多个位置与参考位置之间的一个或多个距离来计算所述位置和方向。
3.根据权利要求1所述的方法，其特征在于通过确定耦合到所述导航设备的传感器的位置来获取所述位置和方向。
4.根据权利要求1所述的方法，其特征在于在第二显示屏幕上显示所述3D图像的体积表示，并且其中，在所述体积表示上指明所述3D图像与所述平面的交叉。
5.根据权利要求1所述的方法，其特征在于所述导航设备包括布置为计算切片图像的所述数据的信号处理装置。
6.根据权利要求1所述的方法，其特征在于所述导航设备包括用于存储所述数字信号表示的数据储藏库。
7.根据权利要求1所述的方法，其特征在于所述导航设备是平板电脑。
8.根据权利要求1所述的方法，其特征在于所述切片图像的显示分辨率可以适于使可视化质量或导航响应受益。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201161471316P | 2011-04-04 | 2011-04-04 | |
| EP11160974.9 | 2011-04-04 | ||
| EP11160974A EP2509013A1 (en) | 2011-04-04 | 2011-04-04 | 3D image navigation method |
| US61/471316 | 2011-04-04 | ||
| PCT/EP2012/055227 WO2012136495A1 (en) | 2011-04-04 | 2012-03-23 | 3d image navigation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103443799A CN103443799A (zh) | 2013-12-11 |
| CN103443799B true CN103443799B (zh) | 2016-09-07 |
Family
ID=44453959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201280016577.0A Expired - Fee Related CN103443799B (zh) | 2011-04-04 | 2012-03-23 | 3d图像导航方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20140055448A1 (zh) |
| EP (2) | EP2509013A1 (zh) |
| CN (1) | CN103443799B (zh) |
| BR (1) | BR112013023694A2 (zh) |
| WO (1) | WO2012136495A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104574485B (zh) * | 2013-10-22 | 2018-05-04 | 上海联影医疗科技有限公司 | 基于手持设备的医学图像重建的控制方法及控制系统 |
| CN104714715A (zh) * | 2013-12-12 | 2015-06-17 | 上海联影医疗科技有限公司 | 一种医学图像浏览控制系统 |
| FR3020485A1 (fr) * | 2014-04-25 | 2015-10-30 | Biomerieux Sa | Procede, systeme et produit-programme d'ordinateur pour afficher une image d'un objet |
| JP2016138816A (ja) * | 2015-01-28 | 2016-08-04 | アルパイン株式会社 | ナビゲーション装置及びコンピュータプログラム |
| JP6891187B2 (ja) * | 2016-03-03 | 2021-06-18 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 医療画像ナビゲーションシステム |
| WO2019109574A1 (zh) * | 2017-12-05 | 2019-06-13 | 北京师范大学 | 面向群体应用的经颅脑图谱生成方法、预测方法及其装置 |
| CN109496338B (zh) * | 2017-12-05 | 2022-06-21 | 北京师范大学 | 基于个体特征的经颅脑图谱导航方法及其系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1748646A (zh) * | 2004-08-12 | 2006-03-22 | 通用电气公司 | 医学介入过程计划、位置和导航的介入工具的方法和装置 |
| WO2008018014A2 (en) * | 2006-08-11 | 2008-02-14 | Koninklijke Philips Electronics N.V. | Anatomy-related image-context-dependent applications for efficient diagnosis |
| CN101868737A (zh) * | 2007-11-16 | 2010-10-20 | 皇家飞利浦电子股份有限公司 | 使用3d对比增强超声的介入导航 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060270417A1 (en) * | 2005-05-27 | 2006-11-30 | Topseed Technology Corp. | Wireless communication system and method for the same |
| US8616974B2 (en) * | 2008-07-10 | 2013-12-31 | Sixense Entertainment, Inc. | Passive and active video game controllers with magnetic position sensing |
| US8802957B2 (en) * | 2010-08-16 | 2014-08-12 | Boardwalk Technology Group, Llc | Mobile replacement-dialogue recording system |
| US8566489B2 (en) * | 2010-12-24 | 2013-10-22 | Lenovo (Singapore) Pte. Ltd. | Systems and methods for sharing a wireless antenna in a hybrid environment |
-
2011
- 2011-04-04 EP EP11160974A patent/EP2509013A1/en not_active Withdrawn
-
2012
- 2012-03-23 WO PCT/EP2012/055227 patent/WO2012136495A1/en active Application Filing
- 2012-03-23 EP EP12711153.2A patent/EP2695095A1/en not_active Ceased
- 2012-03-23 BR BR112013023694A patent/BR112013023694A2/pt not_active IP Right Cessation
- 2012-03-23 CN CN201280016577.0A patent/CN103443799B/zh not_active Expired - Fee Related
- 2012-03-23 US US14/008,121 patent/US20140055448A1/en not_active Abandoned
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1748646A (zh) * | 2004-08-12 | 2006-03-22 | 通用电气公司 | 医学介入过程计划、位置和导航的介入工具的方法和装置 |
| WO2008018014A2 (en) * | 2006-08-11 | 2008-02-14 | Koninklijke Philips Electronics N.V. | Anatomy-related image-context-dependent applications for efficient diagnosis |
| CN101868737A (zh) * | 2007-11-16 | 2010-10-20 | 皇家飞利浦电子股份有限公司 | 使用3d对比增强超声的介入导航 |
Non-Patent Citations (2)
| Title |
|---|
| Alternative User Interface Devices for Improved Navigation of CT Datasets;M.Liden et al.;《Journal of Digital Imaging》;20091201;第24卷(第1期);第126-134页 * |
| Simplifying the Exploration of Volumetric Images:Development of a 3D User Interface for the Radiologist"s Workplace;M.Teistler et al.;《Journal of Digital Imaging》;20070327;第21卷(第1期);第S3页左栏-S11页左栏、图1-图5 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20140055448A1 (en) | 2014-02-27 |
| CN103443799A (zh) | 2013-12-11 |
| WO2012136495A1 (en) | 2012-10-11 |
| BR112013023694A2 (pt) | 2017-01-24 |
| EP2509013A1 (en) | 2012-10-10 |
| EP2695095A1 (en) | 2014-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9561016B2 (en) | Systems and methods to identify interventional instruments | |
| CN103443799B (zh) | 3d图像导航方法 | |
| US6049622A (en) | Graphic navigational guides for accurate image orientation and navigation | |
| US8493437B2 (en) | Methods and systems for marking stereo pairs of images | |
| EP2741107B1 (en) | Medical System and Method for Providing Measurement Information Using Three-Dimensional Caliper | |
| JP5417609B2 (ja) | 医用画像診断装置 | |
| US20100121189A1 (en) | Systems and methods for image presentation for medical examination and interventional procedures | |
| US20120306849A1 (en) | Method and system for indicating the depth of a 3d cursor in a volume-rendered image | |
| WO2007043310A1 (ja) | 画像表示方法及び医用画像診断システム | |
| US9262823B2 (en) | Medical image generating apparatus and medical image generating method | |
| CN109601018A (zh) | 用于根据3d超声数据生成B-模式图像的系统和方法 | |
| US9704284B2 (en) | Medical image diagnostic apparatus, image processing apparatus, and image processing method | |
| EP3469554B1 (en) | Systems and methods for lighting in rendered images | |
| JP6026455B2 (ja) | 医用画像表示装置およびその作動方法並びにプログラム | |
| US20150086956A1 (en) | System and method for co-registration and navigation of three-dimensional ultrasound and alternative radiographic data sets | |
| EP2888993A1 (en) | Image display device and program | |
| WO2009076303A2 (en) | Methods and systems for marking and viewing stereo pairs of images | |
| JP6890677B2 (ja) | ３ｄボリューム内に埋め込まれ、ｍｐｒ図の十字線に結合された仮想光源 | |
| JP2008067915A (ja) | 医用画像表示装置 | |
| CN112241996A (zh) | 用于对体积绘制图像进行着色的方法和系统 | |
| KR102321642B1 (ko) | 입력 장치 및 이를 포함하는 의료 영상 장치 | |
| JP2001101449A (ja) | 三次元画像表示装置 | |
| WO2023032931A1 (ja) | 画像処理装置、画像処理方法、および記録媒体 | |
| WO2017211626A1 (en) | Systems and methods for lighting in rendered images | |
| JP2023004884A (ja) | 拡張現実のグラフィック表現を表示するための表現装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190507 Address after: Belgian Mo Patentee after: Agfa Co.,Ltd. Address before: Belgian Mo Patentee before: AGFA HEALTHCARE |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160907 |