CN103356155A - 虚拟内窥镜辅助的腔体病灶检查系统 - Google Patents
虚拟内窥镜辅助的腔体病灶检查系统 Download PDFInfo
- Publication number
- CN103356155A CN103356155A CN2013102548389A CN201310254838A CN103356155A CN 103356155 A CN103356155 A CN 103356155A CN 2013102548389 A CN2013102548389 A CN 2013102548389A CN 201310254838 A CN201310254838 A CN 201310254838A CN 103356155 A CN103356155 A CN 103356155A
- Authority
- CN
- China
- Prior art keywords
- module
- dimensional
- organ
- cavity
- imaging probe
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 15
- 210000000056 organ Anatomy 0.000 claims abstract description 69
- 239000000523 sample Substances 0.000 claims abstract description 56
- 238000003384 imaging method Methods 0.000 claims abstract description 44
- 230000003287 optical effect Effects 0.000 claims abstract description 32
- 230000000007 visual effect Effects 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 9
- 238000007689 inspection Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000011002 quantification Methods 0.000 claims description 7
- 238000004040 coloring Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000003325 tomography Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 abstract description 7
- 210000001519 tissue Anatomy 0.000 description 16
- 238000011161 development Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 238000011846 endoscopic investigation Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000001072 colon Anatomy 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 244000144985 peep Species 0.000 description 2
- 108010022579 ATP dependent 26S protease Proteins 0.000 description 1
- 208000032843 Hemorrhage Diseases 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000112 colonic effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007598 dipping method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002357 laparoscopic surgery Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000029052 metamorphosis Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000009394 selective breeding Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Endoscopes (AREA)
Abstract
一种虚拟内窥镜辅助的腔体病灶检查系统，包括：具有第一成像探头的光学内窥镜系统；与第一成像探头的相对位置固定且视野重合的第二成像探头；与第二成像探头及光学内窥镜系统连接的图像工作站，该图像工作站包括：用于重建三维虚拟器官，构造目标器官的虚拟内窥镜环境的第一模块；用于与第二成像探头结合，获取光学内窥镜视野内真实腔体壁的三维内表面的第二模块；用于反向计算第一成像探头的位置和姿态，通过腔体壁内表面配准，在虚拟内窥镜环境中显示第一成像探头在目标器官中的位置和姿态的第三模块；将用于诊断的信息配准、融合到三维虚拟器官的腔体壁内表面的第四模块。本系统能够提供内窥镜探头在目标器官腔体内的位置和姿态。
Description
技术领域
本发明涉及数字医学图像处理、计算机辅助检查和诊断、空间三维信息获取和手术导航技术领域，更具体地说，涉及虚拟内窥镜辅助的腔体病灶检查系统。
背景技术
近年来随着医疗水平的不断提高，人们对诊疗过程的安全性及对病人造成的创伤方面提出了更高的要求，无创和微创诊疗技术也因此得到了越来越多的研究和应用，并成为未来发展的一个大趋势。内窥镜技术使医生可以以一种微创的方式检查原先无法检查的器官和区域。在医学影像技术飞速发展的今天，内窥镜依然因其直观、获取信息丰富、可活检和微创介入手术等优势保持其不可替代的地位。一方面，随着内窥镜技术的进一步发展，更多的检查手段被引入到人体内部，诸如超声内窥镜、共聚焦显微内窥镜、OCT内窥镜等，人们可以得到其他方法无法获取的体腔内部多分辨率、多模态的结构和功能信息，内窥镜技术成为了多种现有诊断方法安全地进入人体内的载体；另一方面，伴随着内窥镜技术的发展，很多新的治疗技术也应运而生。例如结肠镜辅助的腹腔镜手术，可以有效提高结肠手术目标区域定位的准确性，降低手术风险。这些基于内窥镜的新型诊疗技术，大大提升了内窥镜在临床上的发展空间。
然而，目前内窥镜检查和操作依然存在着若干问题，限制了其在临床上的应用和发展。首先是安全性问题，由于内窥镜操作属于微创操作，视野有限，因此医生在操作过程中无法准确定位内窥镜探头、经内窥导入的手术器械与周边组织的相对位置关系；对于一些结构较复杂的器官还会出现无法到达指定部位的情况，甚至造成器官穿孔、出血等损伤，因此检查的安全性和效果严重依赖于医生的经验。其次，现有的光学内窥镜只能看到腔体壁内表面信息，而对于表面以下的组织变化则无法了解，这也给病灶的发现和疾病的诊断带来了一定的不确定性。
发明内容
本发明的一个目的是针对现有内窥镜系统在操作中无法确定探头的位置，使用不安全的技术缺陷，提供一种虚拟内窥镜辅助的腔体病灶检查系统。
本发明进一步的目的是解决现有内窥镜检查不到腔体壁表面以下（即腔体壁内部）组织变化的技术缺陷。
为达到上述的一个目的，本发明提供的虚拟内窥镜辅助的腔体病灶检查系统包括：
具有第一成像探头（即内窥镜探头）的光学内窥镜系统；
第二成像探头，与第一成像探头的相对位置固定且视野重合；和
图像工作站，与第二成像探头及光学内窥镜系统连接，该图像工作站包括：
第一模块，用于重建三维虚拟器官，构造目标器官的虚拟内窥镜环境；
第二模块，用于与第二成像探头结合，获取光学内窥镜视野内真实腔体壁的三维内表面；
第三模块，用于根据第二模块获取的三维内表面，反向计算第一成像探头的位置和姿态，进而通过对第二模块获取的三维内表面和三维虚拟器官的腔体壁内表面配准，在虚拟内窥镜环境中显示第一成像探头在目标器官中的位置和姿态；和
第四模块，用于将用于诊断的信息配准、融合到三维虚拟器官的腔体壁内表面。
为了达到上述的进一步的目的，一种方案是：在上述的腔体病灶检查系统中，所述图像工作站进一步还包括用于基于虚拟内窥镜环境进行病灶初步检查的第五模块，第五模块中用于检查的特征包括目标器官腔体壁内表面的形态信息、以及从原始的断层图像和重建后的三维图形中提取并处理后获得的定量化影像信息。
优选地，所述第五模块包括：
病灶组织和正常组织的特征统计模型；
用于使用特征组合、以及所述特征统计模型或分类器，按设定的基本单元，计算待检查区域中各单元属于病灶组织或正常组织的概率的子模块；
用于将腔体壁内部的点和腔体壁内表面的点建立一一对应关系，并将腔体壁内部点对应的特征值映射到内表面的对应点上，以及将计算得到的概率值沿映射路径积分后进行归一化，在腔体壁内表面由伪彩表达并显示的子模块。
在上述的腔体病灶检查系统中，优选地，所述第二模块包括：
用于基于结构光法获取深度信息的子模块；和
用于基于红外光的立体视觉法获取深度信息的子模块。
在上述的腔体病灶检查系统中，优选地，所述第三模块包括：
用于基于几何特征的分割方法，从三维虚拟器官的腔体壁内表面分割得到至少一个特征结构的三维表面的子模块；
用于以所述特征结构为基本单元，对第二模块获取的三维内表面提取特征点的子模块；
用于使用由三维表面得到的几何特征量作为基础特征，将第二模块获取的真实腔体壁三维内表面与三维虚拟器官内表面进行粗配准的子模块；和
用于使用形变模型、共形映射和互距离等方法进行精细配准的子模块。
在上述的腔体病灶检查系统中，优选地，所述第三模块还包括采用基于时域和空域的跟踪算法对提取的特征点及其表达的特征结构进行实时跟踪的子模块。
在上述的腔体病灶检查系统中，优选地，所述的用于诊断的信息包括检查过程中光学内窥镜获取的二维影像，所述第四模块包括影像配准及融合子模块，用于以虚拟内窥镜中的三维虚拟器官为基础，将所述二维影像向所述三维虚拟器官腔体壁的内表面进行映射、配准和融合。
在上述的腔体病灶检查系统中，优选地，所述的影像配准及融合子模块包括：
用于将光学内窥镜获取的二维影像中的颜色信息映射到第二模块获取的三维内表面的子模块；
用于根据第二模块获取的三维内表面和三维虚拟器官的腔体壁内表面之间的配准关系，将三维内表面的颜色信息映射到所述三维虚拟器官腔体壁的内表面的子模块。
为了达到上述的进一步的目的，另一种方案是：在上述的腔体病灶检查系统中，所述的用于诊断的信息包括从构建三维虚拟器官的断层医学影像中提取的可以反映病灶信息的特征，所述第四模块包括特征配准及融合子模块，用于将提取的可以反映病灶信息的特征映射在三维虚拟器官腔体内表面的对应点，由伪彩表达并显示。
本发明腔体病灶检查系统通过第二成像探头及图像工作站，能够提供内窥镜探头在目标器官腔体内的位置和姿态，从而能够对医生的操作进行精确的导航，降低对医生经验的依赖，提高检查的精准度和安全性。
附图说明
图1为一实施例虚拟内窥镜辅助的腔体病灶检查系统的原理框图。
具体实施方式
下面将结合示意性实施例对本发明的实施方式进行说明。为了清楚起见，在本说明书中并未描述实际实施的所有特征。当然应该理解的是，在任何这种实际实施方案的发展中，必须做出许多实施方案特定的决定以实现开发者的特定目标，例如与设计系统和涉及商业的约束相符，所述约束将根据实施过程的不同而发生变化。此外，应该理解的是，这种开发工作可能是复杂和费时的，但对于受益于本公开内容的本领域普通技术人员来说仍将是所从事的日常工作。
虽然本发明允许各种修改和替代的形式，但已经借助附图中的实例显示了本发明的特定实施方案并在此对其进行详细说明。然而，应该理解的是，此处对特定实施方案的说明并不意欲将本发明限制为所公开的特定形式，而是相反，本发明将覆盖落在如通过所附的权利要求所定义的本发明精神和范围内的所有修改、等价内容和替代方案。
参照图1，本虚拟内窥镜辅助的腔体病灶检查系统包括光学内窥镜系统1、第二成像探头2和图像工作站3。
光学内窥镜系统1用于获取诊断用内窥影像信息，可以是传统的可见光内窥镜，也可以是其他包含诊断信息的影像模态，比如OCT成像内窥镜，荧光内窥镜等，光学内窥镜系统1包括第一成像探头（即内窥镜探头）。
第二成像探头2可以和第一成像探头嵌合成一体，或者安装在第一成像探头附近，要保证第二成像探头2与第一成像探头的相对位置固定且视野重合。第二成像探头2用于实时获取光学内窥镜视野内真实腔体壁的三维内表面。
图像工作站3与光学内窥镜系统1连接，并通过信号采集传输系统4与第二成像探头2连接，该图像工作站包括：
第一模块，用于重建三维虚拟器官，构造目标器官的虚拟内窥镜环境；
第二模块，用于与第二成像探头结合，获取光学内窥镜视野内真实腔体壁的三维内表面；
第三模块，用于根据第二模块获取的三维内表面，反向计算第一成像探头的位置和姿态，进而通过对第二模块获取的三维内表面和三维虚拟器官的腔体壁内表面配准，在虚拟内窥镜环境中显示第一成像探头在目标器官中的位置和姿态；和
第四模块，用于将用于诊断的信息配准、融合到三维虚拟器官的腔体壁内表面；
第五模块，用于基于虚拟内窥镜环境进行病灶初步检查。
下面对各模块详细说明。
1、重建三维虚拟器官，构造目标器官的虚拟内窥镜环境。即第一模块的实现。
三维虚拟器官采用断层医学图像重建，这里的医学图像可以是多种图像模态，需要满足以下基本的要求。1、图像包含足够的结构信息，能够还原目标器官的三维形态；2、图像要有足够高的分辨率，保证存在的病灶能够被足够多的图像体素表达，以被观察者发现；3、图像应该包含能够对病灶进行区分的特异性病理、生理、功能等信息。CT和MR图像是两种较常用的图像模态。
在获得相应图像的基础上，根据图像自身的属性和构建虚拟内窥镜的要求，对图像原始数据进行去噪、增强等预处理，改进图像质量并保留有效图像信息。然后对目标器官的腔体壁进行分割，可以只分割器官壁的内边界，用来构造三维虚拟器官；也可以同时分割器官壁的内外边界，使用内边界构造三维虚拟器官，使用内外边界之间的图像信息进行进一步处理分析，帮助病灶的检查和诊断。虚拟内窥镜环境构建包括如下几个要素：1、三维虚拟器官，是虚拟内窥镜检查的对象；2、检查交互方式的模拟，使医生通过鼠标和键盘等外接输入设备的控制，可以模拟光学内窥镜检查的过程，控制虚拟内窥镜镜头的运动、旋转等操作，实现对器官腔内部的检查；3、影像信息的实时提取和显示，医生从虚拟内窥镜中可以通过三维虚拟器官壁的内表面形态变化，或器官壁内部影像特征的变化来进行病灶的检查和诊断。通过相应的信息确定病灶在三维虚拟器官上的位置。
2、基于虚拟内窥镜的病灶初步检查。即第五模块的实现。
医生通过第五模块，可以使用虚拟内窥镜环境对目标器官进行初步检查，并确定病灶的位置。检查的依据（即第五模块中用于检查的特征）包括目标器官腔体壁内表面的形态信息，以及由计算机处理并获得的定量化影像信息。定量化影像信息是指从原始的断层图像和重建后的三维图形中提取并获得的特征信息，涵盖了分割得到的器官腔体壁内表面的几何信息、腔体壁内部的图像灰度、纹理、以及它们的统计特征等信息。通过计算机处理，这些特征可以定量化表达，并在正常组织和病灶组织之间体现出差异性。进一步，将定量化特征进行可视化表达，以达到让医生可以识别的目的。
一个优选方案如下：1）、使用带有临床结论的数据，从病灶组织和正常组织的影像中提取一系列特征量，构建两者的混合高斯模型，并对模型参数进行估计；2）、使用ROC(ReceiverOperating Characteristics)和fROC(free response ROC)方法来选择最优的特征组合；3）、使用最优的特征组合及混合高斯模型，按设定的基本单元（体素或区域），计算待检查区域中各单元属于病灶组织或正常组织的概率；4）、使用水平集距离场的方法将腔体壁内部的点和腔体壁内表面的点建立一一对应关系，并将腔体壁内部点对应的特征值映射到内表面的对应点上，将3）中得到的概率值沿映射路径积分后进行归一化，在腔体壁内表面由伪彩表达并显示，供医生进行虚拟内窥镜检查。
3、光学内窥镜视野内三维信息获取。即第二模块的实现。
在光学内窥镜检查过程中，第二模块与第二成像探头2结合，实时获取光学内窥镜视野内的空间三维信息，并重建出光学内窥镜视野内真实腔体壁的三维内表面。其目的是为了通过实时获取腔体壁三维信息，来确定内窥镜探头所处的位置和姿态。
一个优选方案是：使用结构光法和基于红外光的立体视觉法获取深度信息，经处理后重建视野内器官壁内表面的三维形态信息。基于红外光的立体视觉法采用三角测量法，使用两个摄像头中同一点的视距差来计算该点在空间中的三维位置。红外光的引入可以帮助在整个视图中更容易分割出器官壁的软组织区域。结构光法采用单色红外光和透射光栅的方案，发射具有固定样式的红外图案。图案从发射面起，不同的深度具有不同的样式分布。在同一位置获得两幅器官壁的内窥视图，分别施加和取消红外结构光，通过对两幅图像进行分析获得当前场景下的红外结构光图案。再将实时图案与预先定义的深度图样进行相关性分析，则可以获得每一点处的深度信息。立体视觉的方法在获得特殊结构边缘的深度信息上具有较高的精度和分辨率，可以将器官壁形变较大的部分以及突起的病灶等结构作为目标，获得其表面三维信息。而结构光法可以获得各个位置的深度信息，但是测量精度受到预设图案的限制，在边缘位置上不如立体视觉的方法精确。因此，优选方案使用立体视觉法和结构光法两者结合的方式，进行深度信息提取和腔体壁三维面重建。
4、内窥镜探头在目标器官中位置和姿态的确定及可视化。即第三模块的实现。
第三模块使用实时获取的光学内窥镜视野内真实腔体壁的三维内表面（即第二模块实时获取的三维内表面），反向计算得到第一成像探头在腔体壁内的位置和姿态，进而通过对第二模块获取的三维内表面和三维虚拟器官的腔体壁内表面配准，在虚拟内窥镜环境中实时绘制并显示第一成像探头在目标器官中的位置和姿态。主要实现如下效果：1、医生在虚拟内窥镜环境中通过观察内窥镜探头的位置和姿态，可以避免内窥镜探头和器官腔体壁发生碰撞，同时对后续操作进行规划；2、可以引导医生操作内窥镜快速、安全到达目标区域，目标区域通常为在虚拟内窥镜检查中初步确定的可疑病灶区域；3、对内窥镜探头行进的路径进行计算和显示，对于诸如直肠镜等比较复杂的内窥镜操作，可以让医生了解内窥镜光纤在体内的状态，防止出现结襻等问题。
一个优选方案如下：在目标器官腔体壁上寻找比较容易识别的特征结构，比如结肠的结肠袋。采用几何特征和水平集的方法，在虚拟内窥镜环境中三维虚拟器官的腔体壁内表面分割得到每一个特征结构的三维表面。对光学内窥镜检查过程中获取的真实腔体壁三维内表面（即第二模块获取的三维内表面），也以特征结构为基本单元，提取特征点。使用由三维表面得到的几何特征量（如曲率、形状指数等）作为基础特征，结合SIFT（Scale-invariant featuretransform)特征进行粗配准；并配合使用形变模型、共形映射和互距离法实现最终精细配准。特征点提取的过程中，优选引入特征结构形状的先验知识作为约束，以降低误差并提高配准速度。由于内窥镜探头一直在运动，因此在配准的同时，还需要对提取的特征点及其表达的特征结构进行实时跟踪，采用改进的卡尔曼滤波法和CamShift结合的算法实现，从时域和空域上对非刚性目标进行快速跟踪。最终，从三维虚拟器官的腔体壁上提取若干采样点，分别获取其在摄像机坐标系和在世界坐标系中的坐标，计算两个坐标系的转换关系，并由此获取镜头在世界坐标系中的位置和姿态，用于在虚拟内窥镜环境中显示。
5、用于诊断的信息（包括影像及特征）的配准、融合。即第四模块的实现。
这里的影像是指在光学内窥镜检查过程中由内窥镜探头产生的二维影像，可以是可见光影像，也可以是其他模态的影像，其特点是三维腔体壁内表面在二维探测器上的投影获得的二维图像，能反映腔体壁内表面的颜色、纹理等信息。影像的配准、融合指以虚拟内窥镜中的三维虚拟器官为基础，将光学内窥镜获得的二维影像向虚拟内窥镜中三维虚拟器官腔体壁（三维腔体壁）的内表面进行配准和融合。要保证进行融合的区域来自于目标器官的相同位置，融合后的影像能够在虚拟内窥镜环境中被医生有效的观察到。
这里的特征指从构建三维虚拟器官的断层医学影像（如CT、MR等）中提取的可以反映病灶信息的特征（如灰度、纹理、以及它们的统计特征等），可以来自于目标器官腔体壁内部的图像，也可以来自于重建后三维虚拟器官腔体壁的内表面。特征的配准、融合是指将从构建三维虚拟器官（或者说构建虚拟内窥镜环境）的断层医学影像（如CT、MR等）中提取的可以反映病灶信息的特征，融合在虚拟内窥镜中的三维虚拟器官腔体壁内表面上，供医生进行检查。具体应用中，需要从断层医学影像或重建后的图形上提取特征，选择出最佳特征组合，定量化处理，然后向腔体壁内表面进行映射，并使用伪彩色等方式在内表面进行表达，从而帮助医生通过视觉检查可以发现并定位病灶。
影像配准、融合的一个优选方案如下：首先，利用第二成像探头和第一成像探头具有固定的空间位置关系，通过坐标转换和投影映射将第一成像探头中二维图像的每一点和由第二成像探头重建的腔体壁三维内表面上的点相对应，进一步将光学内窥镜获取的二维影像中的颜色信息投射到目标器官腔体壁的三维内表面（即第二模块获取的三维内表面）；然后，根据第二模块获取的三维内表面和三维虚拟器官的腔体壁内表面之间的配准关系，将三维内表面的颜色信息映射到三维虚拟器官腔体壁的内表面，并进行显示。
特征的配准和融合优选按第五模块的方法实现。
6、采用专用软件实现多视图显示。
主要提供如下几个视图显示功能：1、单独的虚拟内窥镜视图，模拟光学内窥镜的操作，使医生通过鼠标、键盘等输入设备，对三维虚拟器官的内部进行虚拟内窥检查；2、单独光学内窥镜检查视图，对光学内窥镜检查过程中捕获的视频信息进行显示；3、导航视图，从外部显示三维虚拟器官的全景图或从内部显示虚拟内窥视图，视图中包含内窥镜探头相对于目标器官所处的位置和姿态，以及进入器官的路径，达到对医生操作进行导航的目的；4、融合视图，以虚拟内窥镜中的三维虚拟器官为框架，在虚拟器官腔体壁内表面上融合不同模态的图像以及腔体壁内部的特征，供医生进行检查。以上四种视图可以单独显示也可以分屏显示，由医生人工选择显示视图和显示方式。
Claims (9)
1.虚拟内窥镜辅助的腔体病灶检查系统，包括具有第一成像探头的光学内窥镜系统，其特征在于，还包括：
第二成像探头，与第一成像探头的相对位置固定且视野重合；和
图像工作站，与第二成像探头及光学内窥镜系统连接，该图像工作站包括：
第一模块，用于重建三维虚拟器官，构造目标器官的虚拟内窥镜环境；
第二模块，用于与第二成像探头结合，获取光学内窥镜视野内真实腔体壁的三维内表面；
第三模块，用于根据第二模块获取的三维内表面，反向计算第一成像探头的位置和姿态，进而通过对第二模块获取的三维内表面和三维虚拟器官的腔体壁内表面配准，在虚拟内窥镜环境中显示第一成像探头在目标器官中的位置和姿态；和
第四模块，用于将用于诊断的信息配准、融合到三维虚拟器官的腔体壁内表面。
2.根据权利要求1所述的腔体病灶检查系统，其特征在于，所述图像工作站进一步还包括用于基于虚拟内窥镜环境进行病灶初步检查的第五模块，第五模块中用于检查的特征包括目标器官腔体壁内表面的形态信息、以及从原始的断层图像和重建后的三维图形中提取并处理后获得的定量化影像信息。
3.根据权利要求2所述的腔体病灶检查系统，其特征在于，所述第五模块包括：
病灶组织和正常组织的特征统计模型；
用于使用特征组合、以及所述特征统计模型或分类器，按设定的基本单元，计算待检查区域中各单元属于病灶组织或正常组织的概率的子模块；
用于将腔体壁内部的点和腔体壁内表面的点建立一一对应关系，并将腔体壁内部点对应的特征值映射到内表面的对应点上，以及将计算得到的概率值沿映射路径积分后进行归一化，在腔体壁内表面由伪彩表达并显示的子模块。
4.根据权利要求1所述的腔体病灶检查系统，其特征在于，所述第二模块包括：
用于基于结构光法获取深度信息的子模块；和
用于基于红外光的立体视觉法获取深度信息的子模块。
5.根据权利要求1所述的腔体病灶检查系统，其特征在于，所述第三模块包括：
用于基于几何特征的分割方法，从三维虚拟器官的腔体壁内表面分割得到至少一个特征结构的三维表面的子模块；
用于以所述特征结构为基本单元，对第二模块获取的三维内表面提取特征点的子模块；
用于使用由三维表面得到的几何特征量作为基础特征，将第二模块获取的真实腔体壁三维内表面与三维虚拟器官内表面进行粗配准的子模块；和
用于使用形变模型、共形映射和互距离方法进行精细配准的子模块。
6.根据权利要求5所述的腔体病灶检查系统，其特征在于，所述第三模块还包括：采用基于时域和空域的跟踪算法对提取的特征点及其表达的特征结构进行实时跟踪的子模块。
7.根据权利要求1所述的腔体病灶检查系统，其特征在于，所述的用于诊断的信息包括检查过程中光学内窥镜获取的二维影像，所述第四模块包括影像配准及融合子模块，用于以虚拟内窥镜中的三维虚拟器官为基础，将所述二维影像向所述三维虚拟器官腔体壁的内表面进行映射、配准和融合。
8.根据权利要求7所述的腔体病灶检查系统，其特征在于，所述的影像配准及融合子模块包括：
用于将光学内窥镜获取的二维影像中的颜色信息映射到第二模块获取的三维内表面的子模块；
用于根据第二模块获取的三维内表面和三维虚拟器官的腔体壁内表面之间的配准关系，将三维内表面的颜色信息映射到所述三维虚拟器官腔体壁的内表面的子模块。
9.根据权利要求1所述的腔体病灶检查系统，其特征在于，所述的用于诊断的信息包括从构建三维虚拟器官的断层医学影像中提取的可以反映病灶信息的特征，所述第四模块包括特征配准及融合子模块，用于将提取的可以反映病灶信息的特征映射在三维虚拟器官腔体内表面的对应点，由伪彩表达并显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310254838.9A CN103356155B (zh) | 2013-06-24 | 2013-06-24 | 虚拟内窥镜辅助的腔体病灶检查系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310254838.9A CN103356155B (zh) | 2013-06-24 | 2013-06-24 | 虚拟内窥镜辅助的腔体病灶检查系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103356155A true CN103356155A (zh) | 2013-10-23 |
| CN103356155B CN103356155B (zh) | 2014-12-31 |
Family
ID=49359070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310254838.9A Active CN103356155B (zh) | 2013-06-24 | 2013-06-24 | 虚拟内窥镜辅助的腔体病灶检查系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103356155B (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104887175A (zh) * | 2015-06-03 | 2015-09-09 | 皖南医学院 | 一种虚拟胃镜检查与诊断系统 |
| CN104992603A (zh) * | 2015-07-06 | 2015-10-21 | 嘉恒医疗科技（上海）有限公司 | 人体虚拟漫游展示系统 |
| CN107610109A (zh) * | 2017-09-06 | 2018-01-19 | 艾瑞迈迪医疗科技（北京）有限公司 | 内窥镜微创手术导航的图像显示方法、装置及系统 |
| CN109330563A (zh) * | 2018-10-08 | 2019-02-15 | 浙江自贸区费米善科技发展有限公司 | 一种用于测量阴道内腔结构的系统 |
| WO2019085760A1 (zh) * | 2017-11-01 | 2019-05-09 | 欧阳聪星 | 一种图像处理方法及装置 |
| CN109998450A (zh) * | 2016-03-31 | 2019-07-12 | 柯惠有限合伙公司 | 用于表面扫描的胸部内窥镜 |
| CN110148111A (zh) * | 2019-04-01 | 2019-08-20 | 江西比格威医疗科技有限公司 | 一种视网膜oct图像中多种视网膜病灶的自动检测方法 |
| CN110251047A (zh) * | 2014-03-28 | 2019-09-20 | 直观外科手术操作公司 | 手术植入物的定量三维成像和打印 |
| CN111685711A (zh) * | 2020-05-25 | 2020-09-22 | 中国科学院苏州生物医学工程技术研究所 | 基于3d摄像头的医用内窥镜三维成像系统 |
| CN112315582A (zh) * | 2019-08-05 | 2021-02-05 | 罗雄彪 | 一种手术器械的定位方法、系统及装置 |
| CN112509410A (zh) * | 2020-12-08 | 2021-03-16 | 中日友好医院(中日友好临床医学研究所) | 一种基于虚拟现实的髋关节镜手术辅助教学系统 |
| CN112568864A (zh) * | 2020-12-03 | 2021-03-30 | 牡丹江医学院 | 一种宫腔手术监控系统 |
| CN112741689A (zh) * | 2020-12-18 | 2021-05-04 | 上海卓昕医疗科技有限公司 | 应用光扫描部件来实现导航的方法及系统 |
| CN113302650A (zh) * | 2019-01-14 | 2021-08-24 | 汉莎技术股份公司 | 用于检查难以触及的部件的方法和设备 |
| CN113344984A (zh) * | 2021-06-11 | 2021-09-03 | 四川九洲电器集团有限责任公司 | 一种三维模型配准方法、设备及存储介质 |
| CN113796960A (zh) * | 2021-09-07 | 2021-12-17 | 上海联影医疗科技股份有限公司 | 导管导航方法、装置、设备和存储介质 |
| CN114126531A (zh) * | 2019-06-21 | 2022-03-01 | 索尼集团公司 | 医疗成像系统、医疗成像处理方法及医疗信息处理设备 |
| US11266465B2 (en) | 2014-03-28 | 2022-03-08 | Intuitive Surgical Operations, Inc. | Quantitative three-dimensional visualization of instruments in a field of view |
| US11304771B2 (en) | 2014-03-28 | 2022-04-19 | Intuitive Surgical Operations, Inc. | Surgical system with haptic feedback based upon quantitative three-dimensional imaging |
| CN115578437A (zh) * | 2022-12-01 | 2023-01-06 | 武汉楚精灵医疗科技有限公司 | 肠体病灶深度数据获取方法、装置、电子设备及存储介质 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107456278B (zh) * | 2016-06-06 | 2021-03-05 | 北京理工大学 | 一种内窥镜手术导航方法和系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050024724A1 (en) * | 2002-01-09 | 2005-02-03 | Bo-Hyoung Kim | Apparatus and method for displaying virtual endoscopy display |
| CN101193603A (zh) * | 2005-06-06 | 2008-06-04 | 直观外科手术公司 | 腹腔镜的超声机器人外科手术系统 |
| CN101322652A (zh) * | 2008-07-04 | 2008-12-17 | 浙江大学 | 一种计算机模拟定标活检方法及装置 |
| CN101375805A (zh) * | 2007-12-29 | 2009-03-04 | 清华大学深圳研究生院 | 一种计算机辅助引导电子内窥镜操作的方法和系统 |
| EP2123215A1 (en) * | 2008-05-23 | 2009-11-25 | Olympus Medical Systems Corporation | Medical device |
| JP2011024823A (ja) * | 2009-07-27 | 2011-02-10 | Toshiba Corp | 内視鏡装置及び内視鏡装置制御方法 |
| US20110144432A1 (en) * | 2009-12-15 | 2011-06-16 | Zhejiang University | Device and method for computer simulated marking targeting biopsy |
| CN102821671A (zh) * | 2010-03-31 | 2012-12-12 | 富士胶片株式会社 | 内窥镜观察支持系统、方法、设备和程序 |
-
2013
- 2013-06-24 CN CN201310254838.9A patent/CN103356155B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050024724A1 (en) * | 2002-01-09 | 2005-02-03 | Bo-Hyoung Kim | Apparatus and method for displaying virtual endoscopy display |
| CN101193603A (zh) * | 2005-06-06 | 2008-06-04 | 直观外科手术公司 | 腹腔镜的超声机器人外科手术系统 |
| CN101375805A (zh) * | 2007-12-29 | 2009-03-04 | 清华大学深圳研究生院 | 一种计算机辅助引导电子内窥镜操作的方法和系统 |
| EP2123215A1 (en) * | 2008-05-23 | 2009-11-25 | Olympus Medical Systems Corporation | Medical device |
| CN101322652A (zh) * | 2008-07-04 | 2008-12-17 | 浙江大学 | 一种计算机模拟定标活检方法及装置 |
| JP2011024823A (ja) * | 2009-07-27 | 2011-02-10 | Toshiba Corp | 内視鏡装置及び内視鏡装置制御方法 |
| US20110144432A1 (en) * | 2009-12-15 | 2011-06-16 | Zhejiang University | Device and method for computer simulated marking targeting biopsy |
| CN102821671A (zh) * | 2010-03-31 | 2012-12-12 | 富士胶片株式会社 | 内窥镜观察支持系统、方法、设备和程序 |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11304771B2 (en) | 2014-03-28 | 2022-04-19 | Intuitive Surgical Operations, Inc. | Surgical system with haptic feedback based upon quantitative three-dimensional imaging |
| US11266465B2 (en) | 2014-03-28 | 2022-03-08 | Intuitive Surgical Operations, Inc. | Quantitative three-dimensional visualization of instruments in a field of view |
| CN110251047B (zh) * | 2014-03-28 | 2022-01-18 | 直观外科手术操作公司 | 手术植入物的定量三维成像和打印 |
| CN110251047A (zh) * | 2014-03-28 | 2019-09-20 | 直观外科手术操作公司 | 手术植入物的定量三维成像和打印 |
| CN104887175A (zh) * | 2015-06-03 | 2015-09-09 | 皖南医学院 | 一种虚拟胃镜检查与诊断系统 |
| CN104992603A (zh) * | 2015-07-06 | 2015-10-21 | 嘉恒医疗科技（上海）有限公司 | 人体虚拟漫游展示系统 |
| CN109998450A (zh) * | 2016-03-31 | 2019-07-12 | 柯惠有限合伙公司 | 用于表面扫描的胸部内窥镜 |
| CN107610109A (zh) * | 2017-09-06 | 2018-01-19 | 艾瑞迈迪医疗科技（北京）有限公司 | 内窥镜微创手术导航的图像显示方法、装置及系统 |
| US11107188B2 (en) | 2017-11-01 | 2021-08-31 | Beijing Keeyoo Technologies Co., Ltd | Image processing method and device |
| WO2019085760A1 (zh) * | 2017-11-01 | 2019-05-09 | 欧阳聪星 | 一种图像处理方法及装置 |
| CN109330563A (zh) * | 2018-10-08 | 2019-02-15 | 浙江自贸区费米善科技发展有限公司 | 一种用于测量阴道内腔结构的系统 |
| CN113302650A (zh) * | 2019-01-14 | 2021-08-24 | 汉莎技术股份公司 | 用于检查难以触及的部件的方法和设备 |
| US11995815B2 (en) | 2019-01-14 | 2024-05-28 | Lufthansa Technik Ag | Method and device for inspecting hard-to-reach components |
| CN110148111A (zh) * | 2019-04-01 | 2019-08-20 | 江西比格威医疗科技有限公司 | 一种视网膜oct图像中多种视网膜病灶的自动检测方法 |
| CN114126531A (zh) * | 2019-06-21 | 2022-03-01 | 索尼集团公司 | 医疗成像系统、医疗成像处理方法及医疗信息处理设备 |
| CN112315582B (zh) * | 2019-08-05 | 2022-03-25 | 罗雄彪 | 一种手术器械的定位方法、系统及装置 |
| CN112315582A (zh) * | 2019-08-05 | 2021-02-05 | 罗雄彪 | 一种手术器械的定位方法、系统及装置 |
| CN111685711A (zh) * | 2020-05-25 | 2020-09-22 | 中国科学院苏州生物医学工程技术研究所 | 基于3d摄像头的医用内窥镜三维成像系统 |
| CN112568864B (zh) * | 2020-12-03 | 2022-03-18 | 牡丹江医学院 | 一种宫腔手术监控系统 |
| CN112568864A (zh) * | 2020-12-03 | 2021-03-30 | 牡丹江医学院 | 一种宫腔手术监控系统 |
| CN112509410A (zh) * | 2020-12-08 | 2021-03-16 | 中日友好医院(中日友好临床医学研究所) | 一种基于虚拟现实的髋关节镜手术辅助教学系统 |
| CN112741689A (zh) * | 2020-12-18 | 2021-05-04 | 上海卓昕医疗科技有限公司 | 应用光扫描部件来实现导航的方法及系统 |
| CN112741689B (zh) * | 2020-12-18 | 2022-03-18 | 上海卓昕医疗科技有限公司 | 应用光扫描部件来实现导航的方法及系统 |
| CN113344984A (zh) * | 2021-06-11 | 2021-09-03 | 四川九洲电器集团有限责任公司 | 一种三维模型配准方法、设备及存储介质 |
| CN113796960A (zh) * | 2021-09-07 | 2021-12-17 | 上海联影医疗科技股份有限公司 | 导管导航方法、装置、设备和存储介质 |
| CN113796960B (zh) * | 2021-09-07 | 2023-11-21 | 上海联影医疗科技股份有限公司 | 导管导航装置、设备和存储介质 |
| CN115578437A (zh) * | 2022-12-01 | 2023-01-06 | 武汉楚精灵医疗科技有限公司 | 肠体病灶深度数据获取方法、装置、电子设备及存储介质 |
| CN115578437B (zh) * | 2022-12-01 | 2023-03-14 | 武汉楚精灵医疗科技有限公司 | 肠体病灶深度数据获取方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103356155B (zh) | 2014-12-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103356155B (zh) | 虚拟内窥镜辅助的腔体病灶检查系统 | |
| JP5551957B2 (ja) | 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム | |
| US20230073041A1 (en) | Using Augmented Reality In Surgical Navigation | |
| Sielhorst et al. | Advanced medical displays: A literature review of augmented reality | |
| Maier-Hein et al. | Optical techniques for 3D surface reconstruction in computer-assisted laparoscopic surgery | |
| Hong et al. | 3D reconstruction of virtual colon structures from colonoscopy images | |
| US20160163105A1 (en) | Method of operating a surgical navigation system and a system using the same | |
| EP2452649A1 (en) | Visualization of anatomical data by augmented reality | |
| JP6254053B2 (ja) | 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法 | |
| US20180214006A1 (en) | Image processing apparatus and image processing method | |
| US10342633B2 (en) | Medical image data processing system and method | |
| JPH11104072A (ja) | 医療支援システム | |
| JP5961504B2 (ja) | 仮想内視鏡画像生成装置およびその作動方法並びにプログラム | |
| Kumar et al. | Stereoscopic visualization of laparoscope image using depth information from 3D model | |
| Liu et al. | Toward intraoperative image-guided transoral robotic surgery | |
| Merritt et al. | Real-time CT-video registration for continuous endoscopic guidance | |
| US20230316639A1 (en) | Systems and methods for enhancing medical images | |
| Halabi et al. | Virtual and augmented reality in surgery | |
| JP6145870B2 (ja) | 画像表示装置および方法、並びにプログラム | |
| Ma et al. | Knee arthroscopic navigation using virtual-vision rendering and self-positioning technology | |
| Klein et al. | Visual computing for medical diagnosis and treatment | |
| Rahman et al. | A framework to visualize 3d breast tumor using x-ray vision technique in mobile augmented reality | |
| Karner et al. | Single-shot deep volumetric regression for mobile medical augmented reality | |
| Kirmizibayrak et al. | Interactive visualization and analysis of multimodal datasets for surgical applications | |
| Fried et al. | Landmark based bronchoscope localization for needle insertion under respiratory deformation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 518055 Guangdong city of Shenzhen province Nanshan District Xili of Tsinghua Patentee after: Tsinghua Shenzhen International Graduate School Address before: 518055 Guangdong city of Shenzhen province Nanshan District Xili of Tsinghua Patentee before: GRADUATE SCHOOL AT SHENZHEN, TSINGHUA University |
|
| CP01 | Change in the name or title of a patent holder |