CN107689045A - 内窥镜微创手术导航的图像显示方法、装置及系统 - Google Patents
内窥镜微创手术导航的图像显示方法、装置及系统 Download PDFInfo
- Publication number
- CN107689045A CN107689045A CN201710795485.1A CN201710795485A CN107689045A CN 107689045 A CN107689045 A CN 107689045A CN 201710795485 A CN201710795485 A CN 201710795485A CN 107689045 A CN107689045 A CN 107689045A
- Authority
- CN
- China
- Prior art keywords
- endoscope
- images
- image
- micro
- wound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000004069 differentiation Effects 0.000 claims abstract description 22
- 230000004927 fusion Effects 0.000 claims description 43
- 210000003484 anatomy Anatomy 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 26
- 238000013507 mapping Methods 0.000 claims description 15
- 206010028980 Neoplasm Diseases 0.000 claims description 11
- 238000009877 rendering Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000009434 installation Methods 0.000 claims description 7
- 210000001154 skull base Anatomy 0.000 claims description 6
- 201000011510 cancer Diseases 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 5
- 210000001331 nose Anatomy 0.000 claims description 5
- 210000003695 paranasal sinus Anatomy 0.000 claims description 5
- 239000011521 glass Substances 0.000 abstract 1
- 206010052428 Wound Diseases 0.000 description 27
- 208000027418 Wounds and injury Diseases 0.000 description 27
- 238000010586 diagram Methods 0.000 description 13
- 230000007704 transition Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000000903 blocking effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000000205 computational method Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000002324 minimally invasive surgery Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 201000010536 head and neck cancer Diseases 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000003928 nasal cavity Anatomy 0.000 description 1
- 244000144985 peep Species 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Endoscopes (AREA)
Abstract
本发明公开一种内窥镜微创手术导航的图像显示方法、装置及系统，该图像显示方法包括：获取CT影像；进行CT影像与病人位姿之间的配准；实时获取内窥镜顶端的位置和方向；根据所述窥镜顶端的位置和方向，以及配准后的CT影像，获得内窥镜与病人人体之间的相对位置，以及内窥镜与手术目标之间的距离；根据内窥镜顶端的位置和方向，以及内窥镜与手术目标之间的距离，对配准后的CT影像沿与内窥镜平行和垂直的方向进行正交剖切，并基于距离加权的光线投射方法对正交剖切的数据进行差异化渲染；显示内窥镜与病人人体之间的相对位置视图，以及正交剖切视图。图像显示装置及系统均采用该图像显示方法，实现手术导航过程中的图像显示。
Description
技术领域
本发明涉及医疗技术领域，尤其涉及一种内窥镜微创手术导航的图像显示方法、装置及系统。
背景技术
颅底肿瘤由于其发生位置较深，临近结构复杂难辨，而且诊疗过程涉及神经外科、耳鼻喉科和头颈外科等多学科技术，若要完整的切除肿瘤较为困难。经过百余年的发展，颅底肿瘤诊疗由裸眼开颅手术发展到内窥镜微创手术阶段。内窥镜微创技术术式简洁，术后恢复快，通过内窥镜图像引导能避免手术入路对于面部皮肤结构的破坏，从而降低各种并发症发生的概率。
目前，常规的鼻及鼻窦恶性肿瘤手术以及颅底肿瘤手术采用单纯鼻内窥镜视频图像导航，结合医学影像CT数据引导的手术导航系统基本能够提供较为准确的三视图信息，同时在该三视图中显示内窥镜剖面图。但是，手术导航中采用的CT数据的三视图中给医生提供的辅助信息仍然有限，有待改进。
发明内容
为解决上述技术问题，本发明提出了一种内窥镜微创手术导航的图像显示方法、装置和系统。
本发明实施方式提供一种内窥镜微创手术导航的图像显示方法，包括以下步骤：
S1，获取CT影像；
S2，进行所述CT影像与病人位姿之间的配准，获得配准后的CT影像；
S3，实时获取内窥镜顶端的位置和方向；
S4，根据所述内窥镜顶端的位置和方向，以及所述配准后的CT影像，获得内窥镜与手术目标之间的距离；
S5，根据所述内窥镜顶端的位置和方向，以及内窥镜与手术目标之间的距离，对所述配准后的CT影像沿与所述内窥镜平行和垂直的方向进行正交剖切，并基于距离加权的光线投射方法对正交剖切的数据进行差异化渲染，获得正交剖切数据；
S6，显示正交剖切视图。
可选地，所述步骤S4中根据所述内窥镜顶端的位置和方向，以及所述配准后的CT影像，获得所述内窥镜与手术目标之间的距离的同时，还获得内窥镜与病人人体之间的相对位置；
所述步骤S6中显示正交剖切视图的同时还显示内窥镜与病人人体之间的相对位置视图。
可选地，步骤S2之前进一步包括：
S7，通过基于区域生长和快速行进方法在所述CT影像中对预定关键解剖结构进行3D分割，并对3D分割的关键解剖结构进行标注。
可选地，所述步骤S7之后进一步包括：
S8，对经过3D分割获得的关键解剖结构进行颜色映射。
可选地，所述步骤S4之后进一步包括：
S9，实时获取内窥镜图像；
S10，将配准后的CT影像与所述内窥镜图像进行虚实融合，获得虚实融合图像，并显示。
可选地，所述步骤S10具体包括：
S11，根据所述内窥镜顶端的位置和方向，对所述CT影像进行立方体切割，获得切割后的立方体数据；
S12，基于距离加权的光线投射方法对所述切割后的立方体数据进行差异化渲染，获得渲染后的立方体数据；
S13，将所述渲染后的立方体数据与所述内窥镜图像进行虚实融合，获得虚实融合图像，并显示。
可选地，所述步骤S5之前进一步包括步骤：
S14，对所述内窥镜图像进行基于距离图像中心远近的透明度映射，并对经过透明度映射的内窥镜图像进行边缘衰减处理，以使经过边缘衰减处理后的内窥镜图像与所述切割后的立方体数据进行虚实融合。
可选地，所述步骤S10之前进一步包括：
S15，对所述内窥镜图像进行畸变校正。
本发明实施方式提供的一种内窥镜微创手术导航的图像显示装置，包括显示屏、处理器以及数据接口；其中，所述数据接口用于连接内窥镜和CT设备，以获取内窥镜图像和术前CT影像；所述处理器用于执行上述任一实施方式的内窥镜微创手术导航的图像显示方法，以获得相应的手术导航图像；所述显示屏用于显示所述处理器获得的图像。
可选地，所述处理器包括CPU处理单元以及GPU处理单元，其中所述CPU处理单元用于计算和影像配置，GPU处理单元用于图像处理。
可选地，所述处理器进一步用于根据内窥镜的实时位置，获取相应的内窥镜与病人人体的相对位置视图、正交剖切视图，以及虚实融合图像，并更新至所述显示屏进行显示。
本发明实施方式提供一种内窥镜微创手术导航系统，包括计算机装置以及光学跟踪设备，所述光学跟踪设备用于实时获取内窥镜手术工具的位置以及对病人位姿的跟踪，所述计算机装置用于获取内窥镜图像以及CT影像，并结合光学跟踪设备跟踪的位置信息，以及利用上述任一实施方式的图像显示方法，获取相应的手术导航图像，并显示。
可选地，所述计算机装置包括上述任一实施方式的图像显示装置。
可选地，所述内窥镜微创手术导航系统应用于鼻及鼻窦恶性肿瘤手术以及颅底肿瘤手术导航。
综上，上述内窥镜微创手术导航的图像显示方法，相对传统的内窥镜手术导航显示方法，具有如下优点：
(1)本发明实施方式对CT影像沿与内窥镜平行或垂直的方向进行正交剖切，有效地避免了三视图在距离上的显示缺点，而且对手术器械(例如内窥镜)与病人人体之间的相对位置进行显示，对器械与人体之间的距离关系进行准确提示；另外，采用基于距离加权的渲染方式对正交剖切视图进行差异化渲染，使得内窥镜与目标位置之间的距离显示更加清晰。
(2)本发明实施方式实现了内窥镜与病人人体之间的相对位置视图、以内窥镜为基准对CT影像的正交剖切视图、以及内窥镜图像与CT影像之间的虚实融合显示视图的显示，使得医生能结合各个视图，准确了解内窥镜位置以及术中进程，提升了内窥镜微创手术的安全性；
(3)本发明实施方式的虚实融合图像中不但能实时显示内窥镜探测到的图像，而且采用基于距离加权的渲染方式对切割后的立方体数据进行差异化渲染，能够在降低计算复杂度，加速渲染速度的同时，提供更加准确的深度感知，更有效地提高解剖结构之间的相对关系，使医生对解剖结构的遮挡和前后判断更加明确，为医生提供更加准确的辅助诊疗能力；
(4)采用高斯边缘衰减算法对内窥镜图像进行实时处理，实现内窥镜图像与CT影像进行虚实融合的无缝过渡，在视觉上达到平滑的过渡，能够将内窥镜图像中的肉眼可见结构与重建结构良好的匹配与过渡，相对传统内窥镜图像的外围扩展，能显示更多的结构信息，另外在同一视图中能显示内窥镜图像后面的病灶信息，明显提升了手术导航中实时图像的提示效果；
(5)在内窥镜的视野观察区域进行虚实融合且分层渲染的方式对视野观察区域实现增强现实引导，而且在显示和渲染区域上采用了定位立方体剖，其位置随内窥镜位置和方向的变化而变化，在距离感知和场景沉浸感上均有提升。
附图说明
图1是本发明一实施方式的内窥镜微创手术导航的图像显示方法的流程示意图；
图2是本发明内窥镜手术导航过程中利用光学跟踪设备跟踪内窥镜手术工具的位置示意图；
图3是本发明内窥镜手术导航过程中进行CT影像的正交剖切示意图；
图4是本发明另一实施方式的内窥镜微创手术导航的图像显示方法的流程示意图；
图5是本发明又一实施方式的内窥镜微创手术导航的图像显示方法的流程示意图；
图6是本发明一实施方式中对内窥镜图像及CT影像进行虚实融合处理的细化流程示意图；
图7是本发明一实施方式的内窥镜手术导航过程中根据内窥镜位置进行CT影像的立方体切割的示意图；
图8是本发明一实施方式的内窥镜微创手术导航的图像显示方法中对内窥镜图像进行处理的流程示意图；
图9是本发明一实施方式的内窥镜图像进行边缘高斯衰减与透明度映射的示意图；
图10是本发明一实施方式的内窥镜微创手术导航的图像显示界面示意图；
图11是本发明一实施方式的内窥镜微创手术导航的图像显示装置的功能框图；
图12是本发明一实施方式的内窥镜微创手术导航的图像显示装置中处理器的具体功能框图；
图13是本发明一实施方式的内窥镜微创手术导航系统的结构示意图。
具体实施方式
下面参考附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其他附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件或处理的表示和描述。
下面结合附图对本发明做进一步描述。
本发明实施方式提供了一种内窥镜微创手术导航过程中的图像显示方法，该内窥镜微创手术例如但不限于包括鼻及鼻窦恶性肿瘤手术、颅底肿瘤手术等，当然也可以包括其他利用内窥镜的手术。
具体的，参见图1，图1示出了本发明一实施方式的内窥镜微创手术导航过程中的图像显示方法，该图像显示方法包括以下步骤：
S101，获取CT影像；
利用CT设备对病人的预定部位进行术前扫描，以获取术前CT影像，该CT影像为三维视图。预定部位例如人体头部。
S102，进行CT影像与病人位姿之间的配准，获得配准后的CT影像；
具体地，根据预定的关键解剖结构确定CT影像中与该关键解剖结构对应的位置，并将其作为参考点。光学跟踪设备则根据该参考点，在病人身体上实现对应该参考点的标志点的定位，然后使用3PCHM(3-Points Convex Hull Matching)快速配准计算方法进行CT影像与病人位姿之间的旋转矩阵和平移向量，并获得转换后的CT影像。
S103，获取内窥镜顶端的位置和方向；
内窥镜顶端为内窥镜伸入病人体内的一端，即内窥镜的探测镜头。由于该内窥镜顶端伸入病人体内，顶端位置和方向较难获取，因此通过位于病人人体外的内窥镜手术工具的位置进行换算获得。如图2所示，该内窥镜的手术工具300上设有4个标志点，利用光学跟踪设备200对该4个标志点进行跟踪监测，获取该4个标志点的位置信息。两个体数据之间的坐标转换关系可以通过以下公式进行配准变换：
在上式中，代表CT数据坐标系中点的坐标，代表光学跟踪设备坐标系中对应点的坐标，和则分别是旋转矩阵和平移向量。根据该4个标志点的位置信息，即可使用DLT(Direct Linear Transform)算法计算和另外，该内窥镜顶端的位置和方向将实时获取，以及时跟踪内窥镜的位置变化，便于后面的图像更新。
S104，根据配准后的CT影像以及内窥镜顶端的位置和方向，获得内窥镜与手术目标之间的距离；
由于病人位姿与CT影像经过配准之后已经统一到同一坐标空间中，此时根据光学跟踪设备得到的内窥镜实时位置，即能够获得内窥镜与手术目标(例如，待切除的肿瘤等)之间的距离，以便进行手术器械与手术目标相对位置的显示。进一步地，获得内窥镜与手术目标之间的距离后，还能获得内窥镜与病人之间的相对位置。
S105，根据所述内窥镜顶端的位置和方向，以及内窥镜与手术目标之间的距离，对所述配准后的CT影像沿与所述内窥镜平行和垂直方向进行正交剖切，并基于距离加权的光线投射方法对正交剖切的数据进行差异化渲染，获得正交剖切数据；
通过对CT影像以内窥镜为基准进行正交剖切，实现剖切面上的内窥镜与目标位置之间的距离显示，更有效直观地显示内窥镜及手术工具的位姿状态。另外，利用距离加权的光线投射方法对正交剖切的数据进行差异化渲染，使得内窥镜与目标位置之间的距离显示更加清晰。
具体地，如图3所示，从内窥镜顶端的位置开始，假设沿内窥镜正方向(方向W)的平行平面(平面UW)为其指向方向，以右手坐标系定义得到垂直方向(方向V)的正交平面(平面VW)为正交方向。进行正交剖切时，沿指向方向和正交方向分别剖切得到整个CT影像得到剖切影像数据。同时假设内窥镜前端到手术目标之间的距离为d，随着距离的增加(即d数值的增大)，每条光线上的每个采样点的采样因子与d值相应的透明度值，从而根据该相应的透明度值对立方体数据进行差异化渲染。在CT影像的任意一点的光线投射采样加权因子，距离内窥镜顶端位置越远的体素在光线投射函数中的吸收因素越少，如此使得CT影像数据的不同位置的解剖结构形成差异性区别。
S106，显示正交剖切视图。
本发明实施方式中，对CT影像沿与内窥镜平行或垂直的方向进行正交剖切，有效地避免了三视图在距离上的显示缺点，而且对手术器械(例如内窥镜)与手术目标之间的相对位置进行显示，对器械与人体之间的距离关系进行准确提示。另外，采用基于距离加权的渲染方式对正交剖切视图进行差异化渲染，使得内窥镜与目标位置之间的距离显示更加清晰。进一步地，在显示正交剖切视图的同时，还显示内窥镜与病人人体之间的相对位置视图。
进一步地，如图4所示，上述步骤S102之前进一步包括：
S107，通过基于区域生长和快速行进方法在所述CT影像中对预定关键解剖结构进行3D分割，并对3D分割的关键解剖结构进行标注；
以术前获取的CT影像作为基准，通过基于区域生长和快速行进方法对预定的关键解剖结构进行3D分割，并对3D分割后的关键解剖结构进行标注。该预定的关键解剖结构根据具体的手术部位而确定，例如血管、肿瘤和神经。而且，该关键解剖结构由医生在CT影像中确定关键解剖结构的具体位置。
另外，由于在CT影像中对预定关键解剖结构进行了3D分割，因此该3D分割后的关键解剖结构在进行步骤S105的渲染处理后，从而实现了正交剖切视图中对解剖结构的差异化显示，便于医生术中观察，快速确定手术目标，例如要切除的肿瘤。
S108，对经过3D分割获得的关键解剖结构进行颜色映射。
通过对3D分割获得的关键解剖结构进行颜色映射，例如血管为红色、肿瘤为绿色、神经为黄色，如此使得图像中的关键解剖结构区分更加明显，同时也为虚实融合处理加快了速度，以及为虚实融合处理时距离感知的准确性提供了保证。
进行颜色映射的关键解剖结构在步骤S105的基于距离加权的差异化渲染时，距离内窥镜顶端的位置越远的数据也将进行颜色的衰减渲染，即越远的结构越不易被观察到。如此，更有效地提高关键解剖结构之间的相对关系，使医生对关键解剖结构之间的遮挡和前后关系的判断更加明确，为医生提供更加准确的辅助诊疗能力。
进一步地，如图5所示，上述步骤S104之后还包括：
S109、实时获取内窥镜图像；
利用内窥镜的探测镜头伸入病人体内，以获取内窥镜图像。由于术中内窥镜会发生变化，因此该内窥镜图像为实时获取。
S110、将配准后的CT影像与所述内窥镜图像进行虚实融合，获得虚实融合图像，并显示。
本发明实施方式实现了内窥镜与病人人体之间的相对位置视图、以内窥镜为基准对CT影像的正交剖切视图、以及内窥镜图像与CT影像之间的虚实融合显示视图的显示，使得医生能结合各个视图，准确了解内窥镜位置以及术中进程，提升了内窥镜微创手术的安全性。
进一步地，如图6所示，上述步骤S110包括：
S111，根据所述内窥镜顶端的位置，对配准后CT影像进行立方体切割，获得切割后的立方体数据；
根据内窥镜顶端的位置信息，确定切割的立方体参数，并基于该立方体参数构建的立方体对配准后的CT影像进行切割，获得立方体数据。一实施例中，参照图7，该切割的立方体参数具体为：在CT影像形成的空间OCT内，以内窥镜的焦平面OV为起点，以内窥镜轴向为深度方向且长度为d，形成立方体的一条边；同时，根据内窥镜显示范围的大小设定立方体的另外两条边m和n。如此，基于该确定的立方体参数(即焦平面OV以及3条边)，则构建一立方体。按照该构建的立方体对配准后的CT影像进行切割，即可获得切割后的立方体数据。
S112，基于距离加权的光线投射方法对所述切割后的立方体进行差异化渲染，获得渲染后的立方体数据；
根据图7所示的立方体参数构建的立方体对CT影像进行切割，获得立方体数据后，采用距离加权的光线投射方法对切割后的立方体数据进行差异化渲染。具体地，从数据立方体的前表面(即图7中的内窥镜的焦平面Ov)开始，到数据立方体的后表面之间的距离为d，随着距离的增加(即d数值的增大)，每条光线上的每个采样点的采样因子与d值相应的透明度值，从而根据该相应的透明度值对立方体数据进行差异化渲染。继续参照图7，以深度p的手术目标为例，在数据立方体内任意一点的光线投射采样加权因子，距离焦平面OV越远的体素在光线投射函数中的吸收因素越少，如此使得立方体数据内不同位置的解剖结构形成差异性区别。采样位置与采样因子透明度的映射关系如下：
其中m，n，d分别为数据立方体的边长，采样位置的坐标位置为(x,y,z)。
通过基于距离加权的渲染，能够在精细化渲染结构纹理的同时，有效提高立方体内部的解剖结构之间的相对位置关系，清晰表现解剖结构以及其位置信息。
S113，将所述渲染后的立方体数据与所述内窥镜图像进行虚实融合，获得虚实融合图像，并显示。
获得立方体数据并对其进行渲染后，再将其与步骤S109获得的内窥镜图像进行虚实融合处理，获得虚实融合图像。
本发明实施方式的虚实融合图像中不但能实时显示内窥镜探测到的图像，而且采用基于距离加权的渲染方式对切割后的立方体数据进行差异化渲染，能够在降低计算复杂度，加速渲染速度的同时，提供更加准确的深度感知，更有效地提高解剖结构之间的相对关系，使医生对解剖结构的遮挡和前后判断更加明确，为医生提供更加准确的辅助诊疗能力。
需要说明的是，上述步骤S110中也可以采用其他的虚实融合方式。
进一步地，如图8所示，上述步骤S109中获取内窥镜图像后，将对其进行如下处理：
步骤S114，对所述内窥镜图像进行畸变校正；
获取内窥镜图像后，将对该内窥镜图像畸变校正，使得径向畸变严重的内窥镜图像能快速恢复，以消除虚实融合显示中因图像畸变使得内窥镜图像失真，与实物不匹配。
步骤S115，对所述内窥镜图像进行基于距离图像中心远近的透明度映射，并对经过透明度映射的内窥镜图像进行边缘衰减处理。
对经过畸变校正的内窥镜图像进行基于距离图像中心远近的透明度映射，具体地，以图像中心为圆心，以半径为透明度映射参数，与图像中心距离越远的图像，透明度越高，即越透明。如此，能够保留内窥镜中心区域的图像，从而在对内窥镜图像的边缘进行衰减处理时，能实现分层渲染，能够有效提高融合显示的沉浸感，对虚实融合的前后场景融合更加逼真。
进一步地，该边缘衰减处理例如但不限于利用高斯函数处理。如图9所示，图9示出了一鼻内窥镜图像进行边缘高斯衰减与透明度映射的示意图。对于一个m×n的内窥镜图像，设其画面中任意一点P(i,j)与图像中心的距离为其中0<i≤m-1,0<j≤n-1。则根据其与图像中心的距离，可以设置内窥镜图像中的不透明区域半径为t，图像最大半径为R，即衰减区域则为R-t。衰减区域的透明度则可以定义为：
本发明实施方式中，采用高斯边缘衰减算法对内窥镜图像进行处理，实现内窥镜图像与CT影像虚实融合的无缝过渡，在视觉上达到平滑的过渡，能够将内窥镜图像中的肉眼可见结构与重建结构良好的匹配与过渡，相对传统内窥镜图像的外围扩张，能显示更多的结构信息，另外在同一视图中能显示内窥镜图像后面的病灶信息，明显提升了手术导航中实时图像的提示效果。
如图10所示，图10示出本发明一实施方式的鼻内镜手术导航虚实融合显示界面。图10所示的显示界面包括内窥镜与病人人体相对位置视图、轴向定位剖切视图、径向定位剖切视图，以及对切割的立方体数据经过基于距离加权的差异化渲染后与经过透明度映射及边缘衰减处理的内窥镜图像的虚实融合显示视图。而且该显示界面中的各视图均随内窥镜顶端的位置变化而更新。基于图10所示的显示界面，根据内窥镜与病人人体相对位置视图与轴向径向定位剖切视图中，能够清晰直观的观察到内窥镜与病人人体内的目标结构之间的距离和位置关系。根据虚实融合显示视图，能够同时观察到基于距离加权的差异化渲染的实时剖切立方体数据、边缘高斯衰减与透明度映射的内窥镜图像和颜色映射的关键解剖目标信息，同时对内窥镜图像中的鼻腔等解剖结构自然延伸扩展至虚拟场景中，通过基于距离加权的差异化渲染显示对虚拟场景中的解剖结构提供有效的提示。
需要说明的是，由于附图中无法显示颜色，故用不同的线条表示，实际的显示图像中不同的解剖结构是通过不同的颜色进行显示的。其中图10示出的轴向定位剖切视图和径向定位剖切视图为步骤S105中对CT影像进行正交剖切并渲染后获得的正交剖切视图。
综上，上述内窥镜微创手术导航的虚实融合显示方法，相对传统的内窥镜导航显示方法，具有如下优点：
(1)本发明实施方式对CT影像沿与内窥镜平行或垂直的方向进行正交剖切，有效地避免了三视图在距离上的显示缺点，而且对手术器械(例如内窥镜)与手术目标之间的相对位置进行显示，对器械与手术目标之间的距离关系进行准确提示；另外，采用基于距离加权的渲染方式对正交剖切视图进行差异化渲染，使得内窥镜与目标位置之间的距离显示更加清晰；
(2)本发明实施方式实现了内窥镜与病人人体之间的相对位置视图、以内窥镜为基准对CT影像的正交剖切视图、以及内窥镜图像与CT影像之间的虚实融合显示视图的显示，使得医生能结合各个视图，准确了解内窥镜位置以及术中进程，提升了内窥镜微创手术的安全性；
(3)本发明实施方式的虚实融合图像中不但能实时显示内窥镜探测到的图像，而且采用基于距离加权的渲染方式对切割后的立方体数据进行差异化渲染，能够在降低计算复杂度，加速渲染速度的同时，提供更加准确的深度感知，更有效地提高解剖结构之间的相对关系，使医生对解剖结构的遮挡和前后判断更加明确，为医生提供更加准确的辅助诊疗能力；
(4)采用高斯边缘衰减算法对内窥镜图像进行实时处理，实现内窥镜图像与CT影像进行虚实融合的无缝过渡，在视觉上达到平滑的过渡，能够将内窥镜图像中的肉眼可见结构与重建结构良好的匹配与过渡，相对传统内窥镜图像的外围扩展，能显示更多的结构信息，另外在同一视图中能显示内窥镜图像后面的病灶信息，明显提升了手术导航中实时图像的提示效果；
(5)在内窥镜的视野观察区域进行虚实融合且分层渲染的方式对视野观察区域实现增强现实引导，而且在显示和渲染区域上采用了定位立方体剖，其位置随内窥镜位置和方向的变化而变化，在距离感知和场景沉浸感上均有提升。
对应地，上述内窥镜微创手术导航的虚实融合显示方法可采用硬件结合软件的方式实现，也可以采用纯软件代码的形式，并运行于一计算机中。具体地，如图11所示，图11示出了本发明一实施方式的内窥镜微创手术导航的图像显示装置，该虚实融合装置可包括显示屏10、处理器20以及数据接口30，其中，所述数据接口用于连接内窥镜和CT设备，以获取内窥镜图像和CT影像；所述处理器20用于执行上述任意一实施方式的微创手术导航虚实融合显示方法，以获得虚实融合图像；所述显示屏10用于显示所述处理器20获得的虚实融合图像。
进一步地，如图12所示，上述处理器20包括CPU处理单元21以及GPU处理单元22，其中所述CPU处理单元21主要用于执行数学计算和影像配置等功能，例如CT影像与病人位姿的配准以及关键解剖结构的3D分割。当然，该CPU处理单元还用于执行其他处理，例如从数据接口30读取内窥镜图像以及CT影像，以及从光学跟踪设备200获得内窥镜的实时位置以及病人的位姿等位置信息。
GPU处理单元22用于执行与图形处理有关的功能，例如CT影像的立方体切割、基于距离加权的立方体数据渲染、内窥镜图像的透明度映射及边缘衰减处理、获取内窥镜与病人人体之间的相对位置以及内窥镜与手术目标之间的距离、对CT影像的正交剖切等等。
进一步地，处理器20进一步用于：根据内窥镜的实时位置，获取相应的虚实融合图像、内窥镜与病人人体的相对位置视图、CT影像沿与所述内窥镜平行和垂直的方向进行正交剖切的剖切视图，并更新至所述显示屏10进行显示。
如图13所示，本发明实施方式还提供了一种内窥镜微创手术导航系统，例如但不限于应用于鼻及鼻窦恶性肿瘤手术以及颅底肿瘤手术导航。该手术导航系统具体包括：计算机装置100以及光学跟踪设备200，所述光学跟踪设备200用于实时获取内窥镜手术工具300的位置以及对病人位姿的跟踪，所述计算机装置100用于获取内窥镜图像以及CT影像，并结合光学跟踪设备200跟踪的位置信息，以及利用上述任意一实施方式的图像显示方法，对所述内窥镜图像以及CT影像进行处理，即可获得内窥镜图像与CT影像的虚实融合图像，并显示。
可选地，该计算机装置包括图12所示的图像显示装置。
需要说明的是，上述实施方式中的计算装置可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明实施方式的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，也就是说，通过一系列程序指令来执行上述任一实施方式的计算方法，即执行该计算方法的计算机软件产品存储在一个计算机存储介质(例如但不限定ROM/RAM、磁碟、光盘等)中，包括若干指令，用以使得一台终端设备(可以是计算机、医疗设备、服务器等)执行本发明任一实施方式的计算方法。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (14)
1.一种内窥镜微创手术导航的图像显示方法，其特征在于，包括以下步骤：
S1，获取CT影像；
S2，进行所述CT影像与病人位姿之间的配准，获得配准后的CT影像；
S3，实时获取内窥镜顶端的位置和方向；
S4，根据所述内窥镜顶端的位置和方向，以及所述配准后的CT影像，获得所述内窥镜与手术目标之间的距离；
S5，根据所述内窥镜顶端的位置和方向，以及内窥镜与手术目标之间的距离，对所述配准后的CT影像沿与所述内窥镜平行和垂直的方向进行正交剖切，并基于距离加权的光线投射方法对正交剖切的数据进行差异化渲染，获得正交剖切数据；
S6，显示正交剖切视图。
2.如权利要求1所述的内窥镜微创手术导航的图像显示方法，其特征在于，所述步骤S4中根据所述内窥镜顶端的位置和方向，以及所述配准后的CT影像，获得所述内窥镜与手术目标之间的距离的同时，还获得内窥镜与病人人体之间的相对位置；
所述步骤S6中显示正交剖切视图的同时还显示内窥镜与病人人体之间的相对位置视图。
3.如权利要求1所述的内窥镜微创手术导航的图像显示方法，其特征在于，所述步骤S2之前进一步包括：
S7，通过基于区域生长和快速行进方法在所述CT影像中对预定关键解剖结构进行3D分割，并对3D分割的关键解剖结构进行标注。
4.如权利要求3所述的内窥镜微创手术导航的图像显示方法，其特征在于，所述步骤S7之后进一步包括：
S8，对经过3D分割获得的关键解剖结构进行颜色映射。
5.如权利要求1-4中任意一项所述的内窥镜微创手术导航的图像显示方法，其特征在于，所述步骤S4之后进一步包括：
S9，实时获取内窥镜图像；
S10，将配准后的CT影像与所述内窥镜图像进行虚实融合，获得虚实融合图像，并显示。
6.如权利要求5所述的内窥镜微创手术导航的图像显示方法，其特征在于，所述步骤S10具体包括：
S11，根据所述内窥镜顶端的位置和方向，对所述CT影像进行立方体切割，获得切割后的立方体数据；
S12，基于距离加权的光线投射方法对所述切割后的立方体数据进行差异化渲染，获得渲染后的立方体数据；
S13，将所述渲染后的立方体数据与所述内窥镜图像进行虚实融合，获得虚实融合图像，并显示。
7.如权利要求5所述的内窥镜微创手术导航的图像显示方法，其特征在于，所述步骤S5之前进一步包括步骤：
S14，对所述内窥镜图像进行基于距离图像中心远近的透明度映射，并对经过透明度映射的内窥镜图像进行边缘衰减处理，以使经过边缘衰减处理后的内窥镜图像与所述切割后的立方体数据进行虚实融合。
8.如权利要求7所述的内窥镜微创手术导航的图像显示方法，其特征在于，所述步骤S14之前进一步包括：
S15，对所述内窥镜图像进行畸变校正。
9.一种内窥镜微创手术导航的图像显示装置，其特征在于，包括显示屏、处理器以及数据接口；其中，所述数据接口用于连接内窥镜和CT设备，以获取内窥镜图像和术前CT影像；所述处理器用于执行权利要求1-8中任意一项所述的内窥镜微创手术导航的图像显示方法，以获得相应的手术导航图像；所述显示屏用于显示所述处理器获得的图像。
10.如权利要求9所述的内窥镜微创手术导航的图像显示装置，其特征在于，所述处理器包括CPU处理单元以及GPU处理单元，其中所述CPU处理单元用于计算和影像配置，GPU处理单元用于图像处理。
11.如权利要求9所述的内窥镜微创手术导航的图像显示装置，其特征在于，所述处理器进一步用于根据内窥镜的实时位置，获取相应的内窥镜与病人人体的相对位置视图、正交剖切视图，以及虚实融合图像，并更新至所述显示屏进行显示。
12.一种内窥镜微创手术导航系统，其特征在于，包括计算机装置以及光学跟踪设备，所述光学跟踪设备用于实时获取内窥镜手术工具的位置以及对病人位姿的跟踪，所述计算机装置用于获取内窥镜图像以及CT影像，并结合光学跟踪设备跟踪的位置信息，以及利用权利要求1-8中任意一项所述的图像显示方法，获取相应的手术导航图像，并显示。
13.如权利要求12所述的内窥镜微创手术导航系统，其特征在于，所述计算机装置包括如权利要求9-11中任意一项所述的图像显示装置。
14.如权利要求13所述的内窥镜微创手术导航系统，其特征在于，所述内窥镜微创手术导航系统应用于鼻及鼻窦恶性肿瘤手术以及颅底肿瘤手术导航。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710795485.1A CN107689045B (zh) | 2017-09-06 | 2017-09-06 | 内窥镜微创手术导航的图像显示方法、装置及系统 |
| PCT/CN2018/103929 WO2019047820A1 (zh) | 2017-09-06 | 2018-09-04 | 内窥镜微创手术导航的图像显示方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710795485.1A CN107689045B (zh) | 2017-09-06 | 2017-09-06 | 内窥镜微创手术导航的图像显示方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107689045A true CN107689045A (zh) | 2018-02-13 |
| CN107689045B CN107689045B (zh) | 2021-06-29 |
Family
ID=61155170
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710795485.1A Active CN107689045B (zh) | 2017-09-06 | 2017-09-06 | 内窥镜微创手术导航的图像显示方法、装置及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN107689045B (zh) |
| WO (1) | WO2019047820A1 (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109246419A (zh) * | 2018-09-17 | 2019-01-18 | 广州狄卡视觉科技有限公司 | 手术显微镜双路输出微型图案立体成像显示系统及方法 |
| CN109223177A (zh) * | 2018-07-30 | 2019-01-18 | 艾瑞迈迪医疗科技（北京）有限公司 | 图像显示方法、装置、计算机设备和存储介质 |
| WO2019047820A1 (zh) * | 2017-09-06 | 2019-03-14 | 艾瑞迈迪科技石家庄有限公司 | 内窥镜微创手术导航的图像显示方法、装置及系统 |
| CN109998684A (zh) * | 2019-05-07 | 2019-07-12 | 艾瑞迈迪科技石家庄有限公司 | 基于距离动态量化的引导预警方法及装置 |
| CN110123447A (zh) * | 2019-05-07 | 2019-08-16 | 艾瑞迈迪科技石家庄有限公司 | 应用于影像引导的引导路径规划方法及装置 |
| CN113243877A (zh) * | 2020-02-13 | 2021-08-13 | 宁波思康鑫电子科技有限公司 | 一种用于内窥镜定位的系统及方法 |
| CN113317874A (zh) * | 2021-04-30 | 2021-08-31 | 上海友脉科技有限责任公司 | 一种医学图像处理装置及介质 |
| CN117481753A (zh) * | 2023-12-29 | 2024-02-02 | 北京智愈医疗科技有限公司 | 一种基于内窥镜的水刀运动轨迹的监测方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010016684A1 (en) * | 1996-06-28 | 2001-08-23 | The Board Of Trustees Of The Leland Stanford Junior University | Method and apparaus for volumetric image navigation |
| CN101322652A (zh) * | 2008-07-04 | 2008-12-17 | 浙江大学 | 一种计算机模拟定标活检方法及装置 |
| CN102711650A (zh) * | 2010-01-13 | 2012-10-03 | 皇家飞利浦电子股份有限公司 | 用于内窥镜手术的基于图像整合的配准和导航 |
| CN102727309A (zh) * | 2011-04-11 | 2012-10-17 | 上海优益基医疗器械有限公司 | 结合内窥镜影像的外科手术导航系统和外科手术导航方法 |
| CN102999902A (zh) * | 2012-11-13 | 2013-03-27 | 上海交通大学医学院附属瑞金医院 | 基于ct配准结果的光学导航定位系统及其导航方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101049248A (zh) * | 2007-05-18 | 2007-10-10 | 西安工业大学 | 光磁电复合导航手术定位装置和方法 |
| BRPI1007726A2 (pt) * | 2009-05-18 | 2017-01-31 | Koninl Philips Electronics Nv | método para registro baseado em imagem entre as imagens, sistema para registro baseado em imagem entre imagens, método para calibração de posição de câmera para endoscopia guiada e sistema para calibração de câmera para endoscopia guida |
| JP5865361B2 (ja) * | 2010-06-22 | 2016-02-17 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | リアルタイム内視鏡較正に関するシステム及び方法 |
| US11596292B2 (en) * | 2015-07-23 | 2023-03-07 | Koninklijke Philips N.V. | Endoscope guidance from interactive planar slices of a volume image |
| EP3795061A1 (en) * | 2015-08-14 | 2021-03-24 | Intuitive Surgical Operations, Inc. | Systems and methods of registration for image-guided surgery |
| CN107689045B (zh) * | 2017-09-06 | 2021-06-29 | 艾瑞迈迪医疗科技（北京）有限公司 | 内窥镜微创手术导航的图像显示方法、装置及系统 |
-
2017
- 2017-09-06 CN CN201710795485.1A patent/CN107689045B/zh active Active
-
2018
- 2018-09-04 WO PCT/CN2018/103929 patent/WO2019047820A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010016684A1 (en) * | 1996-06-28 | 2001-08-23 | The Board Of Trustees Of The Leland Stanford Junior University | Method and apparaus for volumetric image navigation |
| CN101322652A (zh) * | 2008-07-04 | 2008-12-17 | 浙江大学 | 一种计算机模拟定标活检方法及装置 |
| CN102711650A (zh) * | 2010-01-13 | 2012-10-03 | 皇家飞利浦电子股份有限公司 | 用于内窥镜手术的基于图像整合的配准和导航 |
| CN102727309A (zh) * | 2011-04-11 | 2012-10-17 | 上海优益基医疗器械有限公司 | 结合内窥镜影像的外科手术导航系统和外科手术导航方法 |
| CN102999902A (zh) * | 2012-11-13 | 2013-03-27 | 上海交通大学医学院附属瑞金医院 | 基于ct配准结果的光学导航定位系统及其导航方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019047820A1 (zh) * | 2017-09-06 | 2019-03-14 | 艾瑞迈迪科技石家庄有限公司 | 内窥镜微创手术导航的图像显示方法、装置及系统 |
| CN109223177A (zh) * | 2018-07-30 | 2019-01-18 | 艾瑞迈迪医疗科技（北京）有限公司 | 图像显示方法、装置、计算机设备和存储介质 |
| CN109246419A (zh) * | 2018-09-17 | 2019-01-18 | 广州狄卡视觉科技有限公司 | 手术显微镜双路输出微型图案立体成像显示系统及方法 |
| CN109998684A (zh) * | 2019-05-07 | 2019-07-12 | 艾瑞迈迪科技石家庄有限公司 | 基于距离动态量化的引导预警方法及装置 |
| CN110123447A (zh) * | 2019-05-07 | 2019-08-16 | 艾瑞迈迪科技石家庄有限公司 | 应用于影像引导的引导路径规划方法及装置 |
| CN113243877A (zh) * | 2020-02-13 | 2021-08-13 | 宁波思康鑫电子科技有限公司 | 一种用于内窥镜定位的系统及方法 |
| CN113317874A (zh) * | 2021-04-30 | 2021-08-31 | 上海友脉科技有限责任公司 | 一种医学图像处理装置及介质 |
| CN113317874B (zh) * | 2021-04-30 | 2022-11-29 | 上海友脉科技有限责任公司 | 一种医学图像处理装置及介质 |
| CN117481753A (zh) * | 2023-12-29 | 2024-02-02 | 北京智愈医疗科技有限公司 | 一种基于内窥镜的水刀运动轨迹的监测方法和装置 |
| CN117481753B (zh) * | 2023-12-29 | 2024-04-05 | 北京智愈医疗科技有限公司 | 一种基于内窥镜的水刀运动轨迹的监测方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019047820A1 (zh) | 2019-03-14 |
| CN107689045B (zh) | 2021-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107689045A (zh) | 内窥镜微创手术导航的图像显示方法、装置及系统 | |
| CN107610109A (zh) | 内窥镜微创手术导航的图像显示方法、装置及系统 | |
| US11883118B2 (en) | Using augmented reality in surgical navigation | |
| US11080934B2 (en) | Mixed reality system integrated with surgical navigation system | |
| Bernhardt et al. | The status of augmented reality in laparoscopic surgery as of 2016 | |
| Bichlmeier et al. | Contextual anatomic mimesis hybrid in-situ visualization method for improving multi-sensory depth perception in medical augmented reality | |
| CN107456278B (zh) | 一种内窥镜手术导航方法和系统 | |
| CN110383345B (zh) | 用于内腔导航的扁平化视图 | |
| Pessaux et al. | Robotic duodenopancreatectomy assisted with augmented reality and real-time fluorescence guidance | |
| RU2707369C1 (ru) | Способ подготовки и выполнения хирургической операции с использованием дополненной реальности и комплекс оборудования для её осуществления | |
| US20140160264A1 (en) | Augmented field of view imaging system | |
| US20200265618A1 (en) | Left-Atrial-Appendage Annotation Using 3D Images | |
| CN109259806A (zh) | 一种用于图像引导的肿瘤精准穿刺活检的方法 | |
| CN103356155A (zh) | 虚拟内窥镜辅助的腔体病灶检查系统 | |
| CN114145846A (zh) | 基于增强现实辅助的手术导航方法及系统 | |
| EP2901934B1 (en) | Method and device for generating virtual endoscope image, and program | |
| JP5934070B2 (ja) | 仮想内視鏡画像生成装置およびその作動方法並びにプログラム | |
| CN114711962A (zh) | 一种增强现实手术规划导航系统及方法 | |
| Zhu et al. | A neuroendoscopic navigation system based on dual-mode augmented reality for minimally invasive surgical treatment of hypertensive intracerebral hemorrhage | |
| Neubauer et al. | STEPS-an application for simulation of transsphenoidal endonasal pituitary surgery | |
| Penza et al. | Enhanced vision to improve safety in robotic surgery | |
| CN114931435B (zh) | 三维模型处理方法、装置和电子设备 | |
| JP7504942B2 (ja) | 拡張現実のグラフィック表現を表示するための表現装置 | |
| Hata et al. | Image guided microscopic surgery system using mutual-information based registration | |
| Zhang et al. | From AR to AI: augmentation technology for intelligent surgery and medical treatments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20180213 Assignee: Ari Mai Di technology Shijiazhuang Co., Ltd. Assignor: Ari Mai Di medical technology (Beijing) Co., Ltd. Contract record no.: 2018440020075 Denomination of invention: Image display method, device and system for transanal endoscopic microsurgery navigation License type: Common License Record date: 20180911 |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |