CN101190124A - 交互式四维虚拟内窥镜检查术的方法和设备 - Google Patents
交互式四维虚拟内窥镜检查术的方法和设备 Download PDFInfo
- Publication number
- CN101190124A CN101190124A CNA2007103071780A CN200710307178A CN101190124A CN 101190124 A CN101190124 A CN 101190124A CN A2007103071780 A CNA2007103071780 A CN A2007103071780A CN 200710307178 A CN200710307178 A CN 200710307178A CN 101190124 A CN101190124 A CN 101190124A
- Authority
- CN
- China
- Prior art keywords
- image
- view
- heart
- cardiac cycle
- patient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000001839 endoscopy Methods 0.000 title claims description 24
- 230000002452 interceptive effect Effects 0.000 title claims description 17
- 230000000747 cardiac effect Effects 0.000 claims abstract description 62
- 238000003384 imaging method Methods 0.000 claims abstract description 34
- 230000033001 locomotion Effects 0.000 claims description 18
- 210000000056 organ Anatomy 0.000 claims description 18
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 239000004744 fabric Substances 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 238000003491 array Methods 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims 3
- 230000000007 visual effect Effects 0.000 description 18
- 230000008859 change Effects 0.000 description 10
- 238000002591 computed tomography Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 238000002604 ultrasonography Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000007794 visualization technique Methods 0.000 description 2
- 239000011165 3D composite Substances 0.000 description 1
- 208000012661 Dyskinesia Diseases 0.000 description 1
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000001174 endocardium Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000005246 left atrium Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000003492 pulmonary vein Anatomy 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7285—Specific aspects of physiological measurement analysis for synchronising or triggering a physiological measurement or image acquisition with a physiological event or waveform, e.g. an ECG signal
- A61B5/7289—Retrospective gating, i.e. associating measured signals or images with a physiological event after the actual measurement or image acquisition, e.g. by simultaneously recording an additional physiological signal during the measurement or image acquisition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/13—Tomography
- A61B8/14—Echo-tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/503—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10076—4D tomography; Time-sequential 3D tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
- G06T2207/10136—3D ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Computer Graphics (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
一种执行四维虚拟内窥镜检查术的方法包括：从成像设备捕获患者心脏的心脏图像序列；捕获展示心脏的心动周期的心电图信号；以及利用心电图信号选通所述图像，用于由每个相对应的心动周期共同的经选择的相位点处的相应心脏图像在相对应的心动周期接连地导出相应的三维视图。
Description
相关申请的交叉引用以及要求优先权
在此具体参考发明人HERVE LOMBAERT、FRANK SAUER、YIYONGSUN、CHENYANG XU于2006年11月8日提交的共同待决的美国临时专利申请No.60/857,637(代理人案卷号为No.2006P23957 US)，并且该美国临时专利申请的标题为Interactive 4D Virtual Endoscopy for Cardiac Imaging(用于心脏成像的交互式四维虚拟内窥镜检查术)，而且其公开内容通过引用结合于此，并要求了该美国临时专利申请的优先权的权益。
技术领域
本发明通常涉及交互式四维(4D)成像，并且更特别地涉及用于心脏成像的四维虚拟内窥镜检查术。
背景技术
虚拟内窥镜检查术允许由预先捕获的数据所建立的场景的可视化。利用由用户交互式地操纵的虚拟摄像机来产生图像。下面，首先对目前使用的成像技术以及如何可视化所捕获的数据进行简要回顾。
目前，依照现有技术，计算机断层扫描(CT)和磁共振(MR)成像是用来捕获患者的解剖学图像的两种流行的成像技术。利用CT，由旋转扫描仪所拍摄的不同的X射线图像被用于重建三维体积。不同部分和内部解剖学部分的图像通常会以不同强度的图像呈现。利用MR共振，受激氢分子的弛豫时间被测量。使用正确的参数，能对不同的组织进行成像。这两种技术都提供了适用的分辨率。在另一有前景的三维成像技术中，超声波通过对来自超声波发射器的声回声进行定位而被用来产生图像。最近的硬件设备允许数据的三维捕获。
也能利用二维超声波帧的合成来对三维体积进行内插。所捕获的数据能够在体绘制器中、在虚拟内窥镜检查术中被可视化或被可视化为单个切片。切片可以是任何任意的切片，被称为多平面重建(MPR)。通过操纵这些切片，能得到体积的三维场景。在体绘制器中，数据被直接显示为三维。能围绕该体积旋转，并且能放大或缩小(zoom or pan)该体积。通过绘制某些强度的数据，不同的组织被展现。作为观察内部的附加帮助，体积能够被任意平面切割或截断。
在虚拟内窥镜检查术中，虚拟摄像机被定位在该体积之内。摄像机能够移动或旋转，并且能改变诸如其视野的摄影参数。选择等值面的值用于定义构成体积中的空腔的东西。强度低于这个值会被认为是空腔，而强度高于这个值会被绘制为不透明物。在内窥镜检查视图中，所看见的分界因此取决于等值面的值。
为了绘制虚拟内窥镜检查视图，以下两种方法被使用：光线投射和等值面可视化。第一种方法透射来自虚拟摄像机的光线，并且检测光线何时射中该体积。在分界处，曲面法线被用于计算当前像素的正确的采光。每条光线都在屏幕上生成像素。第二种方法从该体积中提取等值面，例如，利用移动立方体算法来提取等值面。得到的网格被放置在三维世界中，并且虚拟摄像机能够对该网格进行导航。这能够利用OpenGL或任何其他合适的图形语言来有效完成。背景信息可以在文献中被查找到：例如，参见下面引用的文献。
目前的可视化现有技术多数保持静态。对于现有内窥镜检查方法的广泛回顾例如参见，Anna Vilanova i Bartroli的“Visualization Techniques for VirtualEndoscopy(虚拟内窥镜检查术的可视化技术)”(博士论文，维也纳工业大学，2001年9月)。
四维体绘制器和动态MPR目前是可用的：例如参见Kostas Anagnostou、Tim J.Atherton、Andrew E.Waterfall的“4D volume Rendering With The Shear WarpFaaorisation”(Proceedings of the 2000 IEEE Symposium on Volume Visualization.，第129-137页，2000年)；然而，这份材料并没有说明四维虚拟内窥镜检查术系统。
在提供有助于获得对本发明的更好的理解的背景资料方面有用的教科书例如包括《VIRTUAL ENDOSCOPY and RELATED 3D TECHNIQUES(虚拟内窥镜检查术和相关的三维技术)》(P.Rogalla等，Springer，Berlin & New York，2002年)、《FUNDAMENTALS OF IMAGE PROCESSING(图像处理的基本原理)》(Arthur R.Weeks，SPIE Optical Engineering Press & IEEE Press；1996年)、《IMAGE PROCESSING，ANALYSIS，AND MACHINE VISION(图像处理、分析和机器视觉)》(第二版，Milan Sonka等，PWS出版；1999年)以及《DIGITALIMAGE PROCESSING(数字图像处理)》(第二版，Rafael C.Gonzalez等，Prentice Hall；2002年)。
发明内容
依照本发明的方面，其中四维可视化对应于三个维数加上时间，内窥镜检查可视化利用心脏成像数据，诸如利用来自计算机断层扫描(CT)、磁共振(MR)或超声波(US)成像的数据。系统允许对来自心脏内部的动态场景的可视化，并且能被用作诊断工具或用于外科手术规划。与三维静态内窥镜检查可视化比较，所述系统为用户提供更多的视觉信息。
依照本发明的方面，一种用于四维(三维+时间)内窥镜检查可视化的系统利用心脏成像数据，诸如利用计算机断层扫描、磁共振或超声波成像。依照本发明的系统允许如从心脏内部观察到的动态场景的可视化。该系统能被用于诊断或用于外科手术规划。如与三维静态内窥镜检查可视化相比较的那样，该系统为用户提供更多的视觉信息。
依照本发明的方面，一种四维虚拟内窥镜检查术的方法包括从成像设备捕获患者心脏的心脏图像序列；捕获展示心脏的心动周期的心电图信号；以及利用该心电图信号来选通(gate)图像，用于由每个相对应的心动周期共同的经选择的相位点处的相应心脏图像在相对应的心动周期接连地导出相应的三维视图。
依照本发明的另一方面，用于导出相应的三维视图的步骤包括将心脏图像放置在三维空间中并重建体积。
依照本发明的另一方面，捕获心电图信号的步骤包括检测心动周期的步骤和交互式选择相位点的步骤。
依照本发明的另一方面，用于导出相应的三维视图的步骤利用(a)光线投射算法和(b)网格提取算法中的一种。
依照本发明的另一方面，用于导出一系列相应的三维视图的步骤包括修改三维视图，以便以所述顺序产生下幅三维视图。
依照本发明的另一方面，用于导出一系列相应的三维视图的步骤包括感测(sensing)患者的呼吸和排除不在呼吸周期的相同相位中的图像的步骤。
依照本发明的另一方面，用于导出一系列相应的三维视图的步骤包括感测患者体内导管突发移动和排除其中发生这种突发运动的图像的步骤。
依照本发明的另一方面，用于捕获心脏图像序列的步骤包括：利用虚拟摄像机的步骤；和将虚拟摄像机虚拟地附着到患者心脏的壁图像上以便产生基本上稳定的心脏图像的步骤。
依照本发明的另一方面，一种四维(4D)虚拟内窥镜检查术的方法包括：捕获展示患者器官运动周期的该器官的运动信号；从成像设备捕获该器官的三维(3D)图像序列；利用运动信号来选通图像，用于由每个相对应的运动周期共同的经选择的相位点处的相应器官图像在相对应的运动周期接连地导出相应的三维视图。
依照本发明的另一方面，用于捕获三维视图序列的步骤包括以下步骤之一：(a)利用具有多个换能器阵列的实时三维超声波成像设备，和(b)利用在空间上收集数据的被追踪的超声波成像设备。
依照本发明的另一方面，利用在空间上收集数据的被追踪的超声波成像设备的步骤包括利用AcunavTM系统。
依照本发明的另一方面，一种用于执行四维(4D)虚拟内窥镜检查术的系统包括：存储设备，用于存储程序和其他数据；以及与存储设备进行通信的处理器，该处理器运行该程序来执行：从成像设备捕获患者心脏的心脏图像序列；捕获展示心脏的心动周期的心电图信号；和利用心电图信号选通图像，用于由每个相对应的心动周期共同的经选择的相位点处的相应心脏图像在相对应的心动周期接连地导出相应的三维(3D)视图。
依照本发明的另一方面，一种用于执行四维(4D)虚拟内窥镜检查术的系统包括：用于捕获展示患者器官运动周期的该器官的运动信号的设备；用于从成像设备捕获该器官的三维(3D)图像序列的设备；和用于利用运动信号来选通图像的设备，用于由每个相对应的运动周期共同的经选择的相位点处的相应器官图像在相对应的运动周期接连地导出相应的三维视图。
依照本发明的另一方面，计算机程序产品包括具有被记录在其上的、针对程序代码的计算机程序逻辑的计算机可用介质，用于执行四维(4D)虚拟内窥镜检查术，其包括：从成像设备捕获患者心脏的心脏图像序列；捕获展示心脏的心动周期的心电图信号；和利用心电图信号来选通图像，用于由每个相对应的心动周期共同的经选择的相位点处的相应心脏图像在相对应的心动周期接连地导出相应的三维(3D)视图。
附图说明
结合附图，本发明将由下面的详述得到更全面的理解，其中
图1示出依照本发明原理的由相应的心动周期中的相同给定的心脏相位的帧在相对应的不同心动周期重建多个三维体积；
图2示出依照本发明的虚拟内窥镜检查术的接连生成的视图；
图3-7示出依照本发明原理的各步骤的示意性流程图；以及
图8以方框示意图的形式示出数字计算机在本发明中的应用。
具体实施方式
为了更清楚地说明，本发明将根据示例性实施例进行描述；然而，可以理解的是，特定实施例的详细说明并不意图限制本发明，而是帮助说明。可以理解的是，在本上下文中对例如摄像机和摄像机附件的引用通常是指虚拟等价物。
依照本发明的方面，一种用于交互式四维虚拟内窥镜检查术系统的方法和系统的总框架包括：
由三维图像重建四维体积；
绘制动态内窥镜检查场景；
交互式操纵虚拟内窥镜；以及
交互式调整系统参数。
四维CT和MR体积是从扫描仪直接获得的。这些方法的说明可在文献中得到，并且不必在此详细重复。因此，在此对本发明的实施例的说明中，将说明如何使用三维超声波(US)图像来重建四维体积的方式。超声波序列或者利用具有多个换能器阵列的实时三维超声波或者利用在空间上收集数据的被追踪的AcunavTM来捕获。这样捕获的图像被放置于三维空间中，以重建体积。结合可适用的心电图信号(ECG)，US帧被选通且由对应于相同的心脏相位(cardiacphase)的帧创建多个三维体积。结果为被重建的四维体积。
如下面将参考图1和图2说明的那样，动态场景的绘制要求在每个连续帧处使用不同的三维数据集。依照本发明的系统使用单个三维体积来生成内窥镜检查视图，且在每个新时间步长改变三维体积。每个单幅图像生成可以使用任意虚拟内窥镜检查术成像。例如可以是如在前面部分所描述的光线投射算法或者网格提取算法。该算法也可以被硬件加速，用于动态场景的平滑可视化。
如同静态虚拟内窥镜检查术一样，内窥镜可以由用户进行交互式操纵。依照本发明的实施例包括摄像机旋转指令；摄像机平移指令；摄像机倾斜指令和摄像机视野选择指令。
依照本发明的系统的实施例也包括绘制器参数调整项目，诸如包括：
改变等值面的值；
改变等值面的颜色；
改变采光和视野；
改变图像分辨率；和
(例如，通过采用平均过滤器或中值滤波器)平滑所绘制的数据。
这些摄像机和绘制器的固有特性可以被保存和被加载。预置也是可用的。例如，在体积加载之后，摄像机被自动放置在左心房并指向肺静脉。依照本发明的系统可以处理不同的模态，诸如处理CT、MR或者三维复合超声。每种模态都要求参数调整项目，这些项目配备有可用的预置。
另外，依照本发明的系统的实施例提供时间指令，这些时间指令可以包括诸如以下的指令：
时间导航条，其包括播放和暂停按钮、停止按钮、快进按钮和快退按钮。
以电影文件形式记录内窥镜检查视图的指令；以及
改变动态场景的帧频的指令。
这些控制被用于理解场景中包括的动态化。这些控制可以被用于诊断。例如，运动异常可以利用帧通过帧分析而被检测出来。
此外，依照本发明的系统的实施例包括诸如实时虚拟内窥镜检查术的特征；利用超声波，能够实时完成捕获(最新可用的三维体积能被用于绘制算法)。
当场景为动态时，得到快速移动结构的稳定可视化是很困难的。可以设想将摄像机位置与壁上的表面点“绑定”，其中摄像机就可与该点一起运动，以致在屏幕上看来是静态的。
因此，依照本发明的实施例可包括将摄像机附着到图像中的壁或表面的特征，该壁或表面例如在心脏的情况下可以是心内膜。
时间标记也可被提供，其中表面上的点被标记且在之后随时间变化而被追踪，因而允许可视化和分析标记运动。
碰撞检测也可被提供，以致当用户移动摄像机时，系统检测到摄像机与某个体积的等值面碰撞，以致摄像头不能跨越等值面移动。
利用有效的四维路径生成算法供给更简单的心脏内导航，如在任何时候都将摄像机约束在心脏之内那样。
如图1和2中所示，在使用三维超声波图像的情况下，测试通过使用心内回声而被执行。图1示出由相应的心动周期中的相同给定心脏相位的各帧在相对应的不同心动周期重建多个三维体积。参考编号10表示被用于进行选通的心动周期波形，其中箭头状的线指向下面的相应帧12-18。与给定帧相对应的代表性的、被重建的三维体积通过编号20来表示。
图2示出虚拟内窥镜检查术的相继生成的视图(A)、(B)和(C)。尽管前述的说明性实例利用了心内回声，但是明显地，本发明方法也适用于普通的心脏超声心动图。
图3-7提供了对本发明方法的代表性实施例的操作的进一步理解，这些图提供了本发明方法的多个方面的流程图。
图3示出ECG信号源22，该ECG信号源22将波形信号提供给心动周期检测器和相位点选择器30，该心动周期检测器和相位点选择器30被耦合到用于进行相位点选择的交互式控制器32。在24，捕获超声波图像序列，并且在26，这些图像被放置在三维空间中，在该三维空间中，体积图像被重建并且然后在28被选通。与来自选择器30的信号合作，在34，由对应于相应的连续心动周期中的经选择的心脏相位点的帧生成多个三维视图，并且其后在36输出这些三维视图。
图4示出ECG信号源22，该ECG信号源22将波形信号提供给心动周期检测器和相位点选择器30，该心动周期检测器和相位点选择器30被耦合到用于进行相位点选择的交互式控制器32。在46，感测到了相应的连续心动周期中的经选择的心脏相位点的出现。在48，来自选择器30的选通信号能够选通图像，用于生成三维视图。
在图5中，在50，由对应于相应的连续心动周期中的经选择的心脏相位点的帧生成多个三维视图，且在52，存储这些三维视图。在54，在所存储的视图与下幅或接连的视图之间进行比较。在56，所存储的视图被修改来使其与下幅视图一致。
图6在28示出图像的选通，用于生成三维视图。来自呼吸传感器60的信号被施加到呼吸门控电路(respiratory gate)62，用于相对应地选通图像。导管突发移动检测器64在66提供用于选通功能的、代表这种突发移动的信号，使得在68由对应于相应的连续心动周期中的经选择的心脏相位点的帧生成多个三维视图，这些帧不包括未被呼吸门控电路和导管突发移动门控电路选通的帧。这些视图在36被输出到图像处理和查看设备。
图7在70示出多个三维视图的生成，通过使用光线投射算法或网格提取算法由对应于相应的连续心动周期中的经选择的心脏相位点的帧来生成这些三维视图。
显而易见地，本发明最好被意图利用和应用结合被编程的数字计算机的成像设备来实现。图8以基本示意的形式示出用于本发明实施例的数字处理器，该数字处理器被耦合用于与输入设备、输出设备和存储设备进行双向数据通信。在82，数据总线80将诸如ECG、超声波设备或CT扫描设备或MRI扫描设备的输入设备耦合到处理器86和图形卡、存储器84、输出设备88以及交互式用户控制器90。
存储设备通常被用于存储程序和其他数据。依照本发明，输入设备在广义上被如此命名为用于提供适当的一幅或多幅图像用于进行处理的设备。例如，输入可以来自成像设备，该成像设备诸如是被并入CATSCAN的设备、X射线机、MRI或其它设备，或者输入是所存储的图像，或通过与其它计算机或设备利用直连进行通信、调制过的红外光束、无线电波、陆线、传真或卫星如例如通过万维网或因特网那样进行输入，或者输入是任何其它适当的这种数据源。输出设备可以包括使用任意适当设备的计算机型显示设备，这些适当的设备诸如是阴极射线显象管、等离子体显示器、液晶显示器等等，或者输出设备也可包括或不包括用于绘制图像的设备，以及可包括图8的存储设备或该存储设备的部分，用于存储图像，以进行进一步地处理，或用于查看、或评估(如可更方便的那样)，或者输出设备可以利用包括诸如上面关于输入设备所述的连接或耦合。处理器运行依照本发明所设置的程序，用于实现本发明的步骤。这样的被编程的计算机可通过诸如陆线、无线电、因特网等等的通信介质很容易地连接，用于进行图像数据捕获和传输。
本发明可以很容易地(至少部分地)被实现软件存储设备并且被包装在软件存储设备中，该软件存储设备形成为软件产品。这可以是计算机程序产品的形式，该计算机程序产品包括具有被记录在其上的、针对程序代码的计算机程序逻辑的计算机可用介质，用于执行本发明方法。
本发明并不被限于心脏应用。为方便起见，出于说明的目的，实施例被描述为心脏设置，但是本发明也适用于具有诸如呼吸运动的周期性运动的人体其它部分。
本发明也例如使用说明性的示例性实施例部分被说明。可以理解的是，利用示例性实施例的说明并不是为了对其进行限制，而是为了本发明可以广泛地应用，利用示例性实施例也助于说明其原理，而又不失一般性。
也应该理解的是，所属领域的技术人员可以对其进行各种没有在此详细描述的改变和替换。在不偏离由随后的权利要求所限定的本发明的精神和范围的情况下，可以进行这种改变和替换。
Claims (25)
1.一种执行四维虚拟内窥镜检查术的方法，该方法包括：
从成像设备捕获患者心脏的心脏图像序列；
捕获展示所述心脏的心动周期的心电图信号；以及
利用所述心电图信号选通所述图像，用于由每个所述相对应的心动周期共同的经选择的相位点处的相应心脏图像在相对应的心动周期接连地导出相应的三维视图。
2.如权利要求1所述的方法，其中，所述用于导出相应的三维视图的步骤包括将所述心脏图像放置在三维空间中并重建体积。
3.如权利要求1所述的方法，其中，所述捕获心电图信号的步骤包括检测所述心动周期的步骤和交互式选择所述相位点的步骤。
4.如权利要求1所述的方法，其中，所述用于导出相应的三维视图的步骤利用以下算法之一：(a)光线投射算法和(b)网格提取算法。
5.如权利要求1所述的方法，其中，所述用于导出一系列相应的三维视图的步骤包括修改三维视图，以便以所述顺序产生下幅三维视图。
6.如权利要求1所述的方法，其中，所述用于导出相应的三维视图的步骤包括感测所述患者的呼吸并且排除所述图像中受所述呼吸影响的图像的步骤。
7.如权利要求1所述的方法，其中，所述用于导出相应的三维视图的步骤包括感测所述患者的呼吸和呼吸周期并且排除不在呼吸周期的相同相位中的图像的步骤。
8.如权利要求1所述的方法，其中，所述用于导出相应的三维视图的步骤包括感测所述患者体内导管突发移动并且排除所述图像中受所述导管突发移动影响的图像的步骤。
9.如权利要求1所述的方法，其中，所述用于捕获心脏图像序列的步骤包括：
利用虚拟摄像机的步骤；和
将所述虚拟摄像机虚拟地附着到所述患者的心脏的壁图像以便产生所述心脏的基本上稳定的图像的步骤。
10.一种执行四维虚拟内窥镜检查术的方法，该方法包括：
捕获患者器官的运动信号，所述运动信号展示所述器官的运动周期；
从成像设备捕获所述器官的三维图像序列；以及
利用所述运动信号选通所述图像，用于由每个所述相对应的运动周期共同的经选择的相位点处的相应器官图像在相对应的运动周期接连地导出相应的三维视图。
11.如权利要求10所述的方法，其中，所述捕获三维视图序列的步骤包括以下步骤之一：
(a)利用具有多个换能器阵列的实时三维超声波成像设备，和
(b)利用在空间上收集数据的被追踪的超声波成像设备。
12.如权利要求10所述的方法，其中，所述利用在空间上收集数据的被追踪的超声波成像设备的步骤包括利用AcunavTM系统。
13.如权利要求10所述的方法，其中，所述捕获运动信号的步骤包括检测所述运动周期的步骤和交互式选择所述相位点的步骤。
14.如权利要求10所述的方法，其中，所述导出相应的三维视图的步骤包括修改三维视图，以便以所述顺序产生下幅三维视图。
15.如权利要求10所述的方法，其中，所述导出相应的三维视图的步骤包括感测所述患者的呼吸和排除所述图像中受所述呼吸影响的图像的步骤。
16.如权利要求10所述的方法，其中，所述导出相应的三维视图的步骤包括感测所述患者体内导管突发移动和排除所述图像中受所述导管突发移动影响的图像的步骤。
17.如权利要求10所述的方法，其中，所述用于捕获心脏图像序列的步骤包括：
利用虚拟摄像机的步骤；和
将所述虚拟摄像机虚拟地附着到所述患者的器官的壁图像上以便产生所述器官的基本上稳定的图像的步骤。
18.一种用于执行四维虚拟内窥镜检查术的系统，该系统包括：
存储设备，用于存储程序和其他数据；以及
与所述存储设备进行通信的处理器，所述处理器运行所述程序来执行：
从成像设备捕获患者心脏的心脏图像序列；
捕获展示所述心脏的心动周期的心电图信号；和
利用所述心电图信号选通所述图像，用于由每个所述相对应的心动周期共同的经选择的相位点处的相应心脏图像在相对应的心动周期接连地导出相应的三维视图。
19.如权利要求18所述的系统，其中，所述用于导出相应的三维视图的步骤包括将所述心脏图像放置在三维空间中并重建体积。
20.如权利要求18所述的系统，其中，所述捕获心电图信号的步骤包括检测所述心动周期的步骤和交互式选择所述相位点的步骤。
21.如权利要求18所述的系统，其中，所述用于导出相应的三维视图的步骤利用以下算法之一：(a)光线投射算法和(b)网格提取算法。
22.如权利要求18所述的系统，其中，所述用于导出相应的三维视图的步骤包括修改三维视图，以便以所述顺序产生下幅三维视图。
23.一种用于执行四维虚拟内窥镜检查术的系统，该系统包括：
用于捕获患者器官的运动信号的装置，所述运动信号展示所述器官的运动周期；
用于从成像设备捕获所述器官的三维图像序列的装置；和
用于利用所述运动信号选通所述图像的装置，用于由每个所述相对应的运动周期共同的经选择的相位点处的相应器官图像在相对应的运动周期接连地导出相应的三维视图。
24.一种计算机程序产品，其包括计算机可用介质，该计算机可用介质具有被记录在其上的、针对程序代码的计算机程序逻辑，用于执行四维虚拟内窥镜检查术，其包括：
从成像设备捕获患者心脏的心脏图像序列；
捕获展示所述心脏的心动周期的心电图信号；以及
利用所述心电图信号选通所述图像，用于由每个所述相对应的心动周期共同的经选择的相位点处的相应心脏图像在相对应的心动周期接连地导出相应的三维视图。
25.如权利要求24所述的计算机程序产品，其中，所述捕获心电图信号的步骤包括检测所述心动周期的步骤和交互式选择所述相位点的步骤；并且其中，所述用于导出一系列相应的三维视图的步骤包括修改三维视图，以便以所述顺序产生下幅三维视图。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US85763706P | 2006-11-08 | 2006-11-08 | |
| US60/857637 | 2006-11-08 | ||
| US11/874,975 US8007437B2 (en) | 2006-11-08 | 2007-10-19 | Method and apparatus for interactive 4-dimensional (4D) virtual endoscopy |
| US11/874975 | 2007-10-19 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101190124A true CN101190124A (zh) | 2008-06-04 |
| CN101190124B CN101190124B (zh) | 2012-06-20 |
Family
ID=39485431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2007103071780A Active CN101190124B (zh) | 2006-11-08 | 2007-11-08 | 交互式四维虚拟内窥镜检查术的方法和设备 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8007437B2 (zh) |
| CN (1) | CN101190124B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102300505A (zh) * | 2009-06-30 | 2011-12-28 | 株式会社东芝 | 超声波诊断装置以及图像数据显示用控制程序 |
| CN101744631B (zh) * | 2008-11-27 | 2012-09-19 | 株式会社东芝 | 医用图像生成装置、保管装置及医用图像显示系统 |
| US8723925B2 (en) | 2010-06-21 | 2014-05-13 | Shenzhen Mindray Bio-Medical Electronics Co., Ltd | Method for adjusting ROI and 3D/4D imaging apparatus using the same |
| CN104887314A (zh) * | 2015-04-21 | 2015-09-09 | 长春理工大学 | 用于立体内窥镜手术导航的虚拟立体内窥镜显示方法及设备 |
| CN106175750A (zh) * | 2016-08-08 | 2016-12-07 | 江苏金马扬名信息技术股份有限公司 | 一种心电信号远程监控系统及方法 |
| CN106725598A (zh) * | 2016-12-28 | 2017-05-31 | 苏州科技城医院 | 基于多个经皮超声换能器的心脏超声系统及成像方法 |
| CN109195528A (zh) * | 2016-06-20 | 2019-01-11 | 株式会社日立制作所 | 超声波诊断装置 |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8560047B2 (en) | 2006-06-16 | 2013-10-15 | Board Of Regents Of The University Of Nebraska | Method and apparatus for computer aided surgery |
| US8103070B2 (en) * | 2007-11-22 | 2012-01-24 | Toshiba Medical Visualization Systems Europe, Limited | Volume rendering apparatus and method |
| US8200466B2 (en) | 2008-07-21 | 2012-06-12 | The Board Of Trustees Of The Leland Stanford Junior University | Method for tuning patient-specific cardiovascular simulations |
| US9405886B2 (en) | 2009-03-17 | 2016-08-02 | The Board Of Trustees Of The Leland Stanford Junior University | Method for determining cardiovascular information |
| JP6035148B2 (ja) * | 2009-12-08 | 2016-11-30 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | アブレーション治療計画及びデバイス |
| US9295442B2 (en) * | 2010-03-17 | 2016-03-29 | FUJIFILM Corporation ko | Medical image conversion apparatus, method and program |
| US8157742B2 (en) | 2010-08-12 | 2012-04-17 | Heartflow, Inc. | Method and system for patient-specific modeling of blood flow |
| US8315812B2 (en) | 2010-08-12 | 2012-11-20 | Heartflow, Inc. | Method and system for patient-specific modeling of blood flow |
| US9498231B2 (en) | 2011-06-27 | 2016-11-22 | Board Of Regents Of The University Of Nebraska | On-board tool tracking system and methods of computer assisted surgery |
| US11911117B2 (en) | 2011-06-27 | 2024-02-27 | Board Of Regents Of The University Of Nebraska | On-board tool tracking system and methods of computer assisted surgery |
| CN103764061B (zh) | 2011-06-27 | 2017-03-08 | 内布拉斯加大学评议会 | 工具承载的追踪系统和计算机辅助外科方法 |
| US8548778B1 (en) | 2012-05-14 | 2013-10-01 | Heartflow, Inc. | Method and system for providing information from a patient-specific model of blood flow |
| US10105149B2 (en) | 2013-03-15 | 2018-10-23 | Board Of Regents Of The University Of Nebraska | On-board tool tracking system and methods of computer assisted surgery |
| ITGE20130032A1 (it) * | 2013-03-19 | 2014-09-20 | Esaote Spa | Metodo e dispositivo di imaging del sistema cardiovascolare |
| JP2016034451A (ja) * | 2014-08-04 | 2016-03-17 | 株式会社東芝 | Ｘ線診断装置 |
| EP3454734B1 (en) | 2016-05-11 | 2024-04-17 | Affera, Inc. | Anatomical model generation |
| US20170325901A1 (en) | 2016-05-12 | 2017-11-16 | Affera, Inc. | Anatomical model controlling |
| CN107330236B (zh) * | 2017-05-11 | 2021-06-11 | 青岛大学附属医院 | 具有改良漫游效果的虚拟内窥镜系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6443894B1 (en) * | 1999-09-29 | 2002-09-03 | Acuson Corporation | Medical diagnostic ultrasound system and method for mapping surface data for three dimensional imaging |
| US6892090B2 (en) * | 2002-08-19 | 2005-05-10 | Surgical Navigation Technologies, Inc. | Method and apparatus for virtual endoscopy |
| US8021300B2 (en) * | 2004-06-16 | 2011-09-20 | Siemens Medical Solutions Usa, Inc. | Three-dimensional fly-through systems and methods using ultrasound data |
-
2007
- 2007-10-19 US US11/874,975 patent/US8007437B2/en not_active Expired - Fee Related
- 2007-11-08 CN CN2007103071780A patent/CN101190124B/zh active Active
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101744631B (zh) * | 2008-11-27 | 2012-09-19 | 株式会社东芝 | 医用图像生成装置、保管装置及医用图像显示系统 |
| CN102300505A (zh) * | 2009-06-30 | 2011-12-28 | 株式会社东芝 | 超声波诊断装置以及图像数据显示用控制程序 |
| CN102300505B (zh) * | 2009-06-30 | 2013-07-17 | 株式会社东芝 | 超声波诊断装置以及图像数据显示用控制程序 |
| US8723925B2 (en) | 2010-06-21 | 2014-05-13 | Shenzhen Mindray Bio-Medical Electronics Co., Ltd | Method for adjusting ROI and 3D/4D imaging apparatus using the same |
| US9554776B2 (en) | 2010-06-21 | 2017-01-31 | Shenzhen Mindray Bio-Medical Electronics Co., Ltd. | Method for adjusting ROI and 3D/4D imaging apparatus using the same |
| CN104887314A (zh) * | 2015-04-21 | 2015-09-09 | 长春理工大学 | 用于立体内窥镜手术导航的虚拟立体内窥镜显示方法及设备 |
| CN109195528A (zh) * | 2016-06-20 | 2019-01-11 | 株式会社日立制作所 | 超声波诊断装置 |
| CN106175750A (zh) * | 2016-08-08 | 2016-12-07 | 江苏金马扬名信息技术股份有限公司 | 一种心电信号远程监控系统及方法 |
| CN106725598A (zh) * | 2016-12-28 | 2017-05-31 | 苏州科技城医院 | 基于多个经皮超声换能器的心脏超声系统及成像方法 |
| CN106725598B (zh) * | 2016-12-28 | 2023-09-12 | 苏州科技城医院 | 基于多个经皮超声换能器的心脏超声系统及成像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20080270095A1 (en) | 2008-10-30 |
| US8007437B2 (en) | 2011-08-30 |
| CN101190124B (zh) | 2012-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101190124B (zh) | 交互式四维虚拟内窥镜检查术的方法和设备 | |
| JP5639739B2 (ja) | 複数のビューのボリューム・レンダリングのための方法及びシステム | |
| JP4709177B2 (ja) | 三次元画像処理装置および方法並びにプログラム | |
| US7304644B2 (en) | System and method for performing a virtual endoscopy | |
| US20180150929A1 (en) | Method and system for registration of 2d/2.5d laparoscopic and endoscopic image data to 3d volumetric image data | |
| US20180189966A1 (en) | System and method for guidance of laparoscopic surgical procedures through anatomical model augmentation | |
| US8411914B1 (en) | Systems and methods for spatio-temporal analysis | |
| CN107016717A (zh) | 用于患者的透视视图的系统和方法 | |
| CN101336844A (zh) | 医用图像处理装置以及医用图像诊断装置 | |
| US20060235671A1 (en) | Real-time virtual endoscopy | |
| JPH10502194A (ja) | 三次元像の構築及び表示を行う方法及びシステム | |
| US20090219289A1 (en) | Fast three-dimensional visualization of object volumes without image reconstruction by direct display of acquired sensor data | |
| KR20140127635A (ko) | 영상 정합 방법 및 장치 | |
| US20230050857A1 (en) | Systems and methods for masking a recognized object during an application of a synthetic element to an original image | |
| KR20210146283A (ko) | 부분 깊이 맵으로부터의 합성 삼차원 이미징의 생성 | |
| Stolka et al. | A 3D-elastography-guided system for laparoscopic partial nephrectomies | |
| JP4996128B2 (ja) | 医用画像処理装置及び医用画像処理方法 | |
| US20110176715A1 (en) | Four-dimensional volume imaging system | |
| US10102638B2 (en) | Device and method for image registration, and a nontransitory recording medium | |
| CN100583161C (zh) | 用于显示以立体数据组成像的对象的方法 | |
| US20210128243A1 (en) | Augmented reality method for endoscope | |
| JP2018061844A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP4327313B2 (ja) | Ｍｒｉ装置 | |
| WO2016131955A1 (en) | Automatic 3d model based tracking of deformable medical devices with variable appearance | |
| US10049480B2 (en) | Image alignment device, method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |