CN114191078B - 一种基于混合现实的内窥镜手术导航机器人系统 - Google Patents
一种基于混合现实的内窥镜手术导航机器人系统 Download PDFInfo
- Publication number
- CN114191078B CN114191078B CN202111641934.XA CN202111641934A CN114191078B CN 114191078 B CN114191078 B CN 114191078B CN 202111641934 A CN202111641934 A CN 202111641934A CN 114191078 B CN114191078 B CN 114191078B
- Authority
- CN
- China
- Prior art keywords
- endoscope
- image
- navigation
- images
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 claims description 43
- 238000000034 method Methods 0.000 claims description 24
- 230000009466 transformation Effects 0.000 claims description 22
- 238000009877 rendering Methods 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 18
- 238000002674 endoscopic surgery Methods 0.000 claims description 15
- 230000005484 gravity Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 238000002604 ultrasonography Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000001575 pathological effect Effects 0.000 abstract 1
- 238000001356 surgical procedure Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
Abstract
本发明公开一种基于混合现实的内窥镜手术导航机器人系统，包括,混合现实手术导航模块与内窥镜手术机器人模块；所述内窥镜手术机器人模块用于夹持内窥镜和调整内窥镜的空间位置，获取内窥镜图像；所述混合现实手术导航模块用于体绘制图像引导空间影像，将所述内窥镜图像与所述图像引导空间影像进行融合，获得虚实结合的导航影像。本发明能够提供有效的导航信息，以辅助医生更好的掌握手术区域周边环境，区分组织结构，定位病变组织，让手术变得更加安全有效。
Description
技术领域
本发明属于医疗器械技术领域，尤其涉及一种基于混合现实的内窥镜手术导航机器人系统。
背景技术
较之传统外科手术，微创手术具有创伤小、疼痛轻、恢复快等优点。内窥镜手术是常见的微创手术之一，在减轻患者伤痛上有着重要意义，而正是这种小创伤给手术带来了一些新的难点。由于手术视野较小，医生很难掌握手术区域情况，且因镜头与组织距离较近，即使内窥镜的视野角被设计的非常大，仍然只有几厘米的视野范围。同时因为手术空间狭窄，都是需要用特制的手术工具经过专门的手术通道进入手术区域，由于通道和空间的限制，手术操作难度极大。
内窥镜在视野和操作空间上的局限性使得内窥镜手术给实施手术的医生带来了巨大的挑战。因此，计算机辅助手术技术在内窥镜手术中具有较好应用前景。术前影像形成图像引导空间，基于图像引导空间的实时定位跟踪，可实现手术的微创、准确、省时。当前，手术导航系统使用基于虚拟现实技术的虚实分离系统，这种导航空间与病人空间分离的模式使得医生需要在图像引导空间和真实手术部位之间频繁切换视野，不可避免地产生定位误差，给手术造成极大的不便。
缓解手术难度一个有效的办法是使用混合现实技术，这是一种将真实世界信息与虚拟世界信息相互补充叠加，无缝集成的新技术，可将图像引导空间的信息与病人真实信息融合，形成虚实结合的导航系统。利用显示器，把真实世界和虚拟图形重合在一起，除了可以观察到真实内窥镜对应的图像之外，也可以观察到周围的组织结构信息。
发明内容
为解决上述问题，本发明提供一种基于混合现实的内窥镜手术导航机器人系统，以缓解现有内窥镜手术导航中，图像引导空间与真实手术场景的差异导致的定位误差问题，避免医生对手术部位和周围结构组织的判断失误，使得手术能够更加高效，安全地进行。
为实现上述目的，本发明提供了一种基于混合现实的内窥镜手术导航机器人系统，包括,混合现实手术导航模块与内窥镜手术机器人模块；
所述内窥镜手术机器人模块用于夹持内窥镜和调整内窥镜的空间位置，获取内窥镜图像；
所述混合现实手术导航模块用于体绘制图像引导空间影像，基于所述内窥镜图像与所述图像引导空间影像，获得虚实结合的导航影像。
可选地，所述内窥镜手术机器人模块包括，机器人承载基座、控制柜、机械臂、活动夹爪以及内窥镜；
所述机器人承载基座用于安放所述机械臂；
所述控制柜用于控制所述机械臂的移动；
所述机械臂用于变换手术器械的空间位置与姿态，并连接有所述活动夹爪；
所述活动夹爪用于固定所述内窥镜并移送至指定位置；
所述内窥镜包括手术通道与内窥镜相机；
所述内窥镜相机用于采集手术部位图像，获得内窥镜图像。
可选地，所述混合现实手术导航模块包括，光学追踪器、刚性支架、光学定位仪、导航仪主机以及导航图像显示器；
所述光学追踪器用于反射红外光线；
所述刚性支架用于将所述光学追踪器安放在患者身体和所述内窥镜上；
所述光学定位仪用于发出红外光线，并接收所述光学追踪器反射的红外光线，获取所述患者身体与所述内窥镜的实时位置；
所述导航仪主机用于根据所述患者身体与所述内窥镜的实时位置在内窥镜成像平面上体绘制所述图像引导空间影像，基于所述内窥镜图像与所述图像引导空间影像，获得虚实结合的导航影像；
所述导航图像显示器用于显示融合后的所述虚实结合的导航影像。
可选地，体绘制所述图像引导空间影像的方法为：
对所述患者身体的术中超声影像与术前MR/CT影像进行非刚性配准，获取所述患者身体的原始图像引导空间，所述原始图像引导空间包含所述患者身体的实时位置；
对所述内窥镜的实时位置进行矫正；
基于矫正后的所述内窥镜的位置与所述患者身体的实时位置，获得所述内窥镜与所述原始图像引导空间影像的相对位置关系；
基于所述相对位置关系在所述内窥镜成像平面上对所述原始图像引导空间进行体绘制，获取所述图像引导空间影像。
可选地，使用基于图卷积神经网络的跨模态图像配准方法对术中超声影像与术前MR/CT影像进行非刚性配准。
可选地，对所述内窥镜的实时位置进行矫正的方法为：
采用对极几何的方法，从两个视点摄像得到的内窥镜图像和虚拟内窥镜图像上算出极点，通过比较对应于内窥镜图像和虚拟内窥镜图像的极点和上方向的角度关系来补偿内窥镜图像和虚拟内窥镜的旋转误差，获得矫正后的所述内窥镜的位置。
可选地，所述内窥镜与所述原始图像引导空间的相对位置关系表达式为；
其中，Tpw为原始图像引导空间到导航系统空间的变换关系，Twt为导航系统空间到内窥镜手术空间的变换关系，为患者身体上的光学跟踪器与患者身体固定的相对位置变换关系，/>为内窥镜上的光学跟踪器与内窥镜固定的相对位置变换关系，/>为患者身体上的光学跟踪器与导航系统空间的位置变换关系，/>为内窥镜上的光学跟踪器与导航系统空间的位置变换关系，Tpt为内窥镜与原始图像引导空间的相对位置关系。
可选地，获得所述虚实结合的导航影像的方法为：
将所述内窥镜图像与体绘制生成的所述图像引导空间影像在内窥镜成像平面上按照比重公式进行线性叠加，
所述比重公式为：
g(x)＝(1-α)f0(x)+αf1(x)
其中，f0(x)为体绘制结果映射函数，f1(x)为内窥镜图像映射函数，α为用来控制体绘制影像与内窥镜图像的比重。
与现有技术相比，本发明具有如下优点和技术效果：
本发明提供一种基于混合现实的内窥镜手术导航机器人系统，利用内窥镜手术机器人与手术导航系统结合，将手术导航信息与内窥镜操作画面进行融合，实现混合现实效果，帮助医生在内窥镜手术中更好地掌握周围血管，脏器等组织结构信息与病变组织信息，同时专注于真实的手术画面进行操作，让操作者能够有更好的视野和辨别力，让手术过程更加安全高效。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例的一种基于混合现实的内窥镜手术导航机器人系统结构示意图；
图2为本发明实施例的一种基于混合现实的内窥镜手术导航机器人系统的工作流程示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例
如图1所示，本实施例中提供一种基于混合现实的内窥镜手术导航机器人系统，包括，混合现实手术导航模块与内窥镜手术机器人模块；
内窥镜手术机器人模块包括，机器人承载基座、控制柜、机械臂、活动夹爪以及内窥镜；机器人承载基座用于安放所述机械臂；控制柜用于控制所述机械臂的移动；机械臂用于变换手术器械的空间位置与姿态，并连接有所述活动夹爪；活动夹爪用于固定所述内窥镜并移送至指定位置；内窥镜包括手术通道与内窥镜相机；内窥镜相机用于采集手术部位图像，获得内窥镜图像。
在本实施例中，机器人承载基座用于放置整个机器人，控制柜用于接收控制指令，对控制指令进行运动学解算并控制机械臂关节转动角度，使其末端到达相应的位置。机械臂用于变换手术器械的空间位置与姿态，夹爪用于夹持内窥镜，将内窥镜送至目标位置。内窥镜包含手术通道和通道内的内窥镜相机，内窥镜相机用于采集手术部位图像。
混合现实手术导航模块包括，光学追踪器、刚性支架、光学定位仪、导航仪主机以及导航图像显示器；光学追踪器用于反射红外光线；刚性支架用于将光学追踪器固定安放在患者身体和内窥镜上；光学定位仪用于发出红外光线，并接收光学追踪器反射的红外光线，获取患者身体与内窥镜的实时位置；导航仪主机用于根据患者身体与内窥镜的实时位置在内窥镜成像平面上体绘制所述图像引导空间影像，基于内窥镜图像与图像引导空间影像，获得虚实结合的导航影像；导航图像显示器用于显示融合后的虚实结合的导航影像。
在本实施例中，混合现实模块中的光学跟踪器为能够反射红外光线的反光球，用于反射光学定位仪发出的红外光线，，一支架安放在患者身体上固定位置，供图像引导空间影像作参考，另一支架安装于内窥镜上，用来定位内窥镜在导航空间中的相应位置，光学定位仪接收光学跟踪器反射的红外光线，对光学跟踪器进行三维空间定位，光学跟踪器安装在刚性支架上，刚性支架以固定方式装配在手术器械和患者身体上。通过对不同坐标系使用刚体变换，得到手术器械和患者的粗略空间位置，之后对患者和手术器械的空间位置进行矫正和配准。主机提供实时空间定位，导航影像配准，内窥镜影像和图像引导空间影像融合中的计算资源。导航图像显示器用于显示内窥镜影像和图像引导空间影像的融合结果。
进一步地，在导航仪主机中，体绘制所述图像引导空间影像的方法为：对所述患者身体的术中超声影像与术前MR/CT影像进行非刚性配准，获取所述患者身体的原始图像引导空间，所述原始图像引导空间包含所述患者身体的实时位置；对所述内窥镜的实时位置进行矫正；基于矫正后的所述内窥镜的位置与所述患者身体的实时位置，获得所述内窥镜与所述原始图像引导空间影像的相对位置关系；基于所述相对位置关系在内窥镜成像平面上对原始图像引导空间进行体绘制，获取图像引导空间影像。
其中，使用基于图卷积神经网络的跨模态图像配准方法对术中超声影像与术前MR/CT影像进行非刚性配准。
其中，对所述内窥镜的实时位置进行矫正的方法为：采用对极几何的方法，从两个视点摄像得到的内窥镜图像和虚拟内窥镜图像上算出极点，通过比较对应于内窥镜图像和虚拟内窥镜图像的极点和上方向的角度关系来补偿内窥镜图像和虚拟内窥镜的旋转误差，获得矫正后的所述内窥镜的位置。
其中，所述内窥镜与所述原始图像引导空间的相对位置关系表达式为；
其中，Tpw为原始图像引导空间到导航系统空间的变换关系，Twt为导航系统空间到内窥镜手术空间的变换关系，为患者身体上的光学跟踪器与患者身体固定的相对位置变换关系，/>为内窥镜上的光学跟踪器与内窥镜固定的相对位置变换关系，/>为患者身体上的光学跟踪器与导航系统空间的位置变换关系，/>为内窥镜上的光学跟踪器与导航系统空间的位置变换关系，Tpt为内窥镜与原始图像引导空间的相对位置关系。
进一步地，获得所述虚实结合的导航影像的方法为：将所述内窥镜图像与体绘制生成的所述图像引导空间影像在内窥镜成像平面上按照比重公式进行线性叠加；
所述比重公式为：
g(x)＝(1-α)f0(x)+αf1(x)
其中，f0(x)为体绘制结果映射函数，f1(x)为内窥镜图像映射函数，α为用来控制体绘制影像与内窥镜图像的比重。
如图2所示，本实施例中提供一种基于混合现实的内窥镜手术导航机器人系统的工作流程；
将光学跟踪器与刚性支架按要求进行安装，启动导航系统，光学定位仪开始对内窥镜和患者身体上的光学跟踪器进行实时跟踪，获取患者身体与内窥镜的实时位置，利用刚性支架与患者身体和内窥镜本体分别有固定的位置变换关系和/>光学跟踪器与内窥镜近似为刚性连接，故可视为固定的相对位置变换关系/>光学跟踪器与患者身体在进行术前影像诊断时候进行过校准，故光学跟踪器与患者身体也可粗略视为有固定的相对位置变换关系/>通过刚体变换可以分别得到两者的位置姿态变换矩阵，将原始图像引导空间中的特征点变换到内窥镜空间，根据原始图像引导空间到光学定位仪所在的导航系统空间的变换过程/>和光学定位仪所在的导航系统空间到内窥镜手术空间的变换过程/>能够得到原始图像引导空间到内窥镜手术空间的变换 用于后续图像引导空间影像在内窥镜空间的体绘制。
为了保证原始图像引导空间准确性，本发明使用术中超声成像结果与术前MR/CT影像进行非刚性配准获取原始图像引导空间。使用一种基于图卷积神经网络(GCN)的跨模态图像配准方法对术中超声影像与图像引导空间的术前MR/CT影像进行配准。根据形态学特征对超声成像结果和术前MR/CT影像像素进行采样，通过K最近邻法(KNNs)分别转换成节点(nodes)并拥有自己的属性，之后使用基于transformer结构的生成器对节点之间生成边(edges)，生成图后使用一个图卷积网络(GCN)提取特征进行对应关系预测来达到配准的目的，其中边生成器和图卷积神经网络使用共享权重。经过配准优化降低了图像引导空间与真实手术场景的误差。
内窥镜上的光学跟踪器受手术器具影响可能会发生旋转，这样生成的内窥镜定位和真实定位有很大差异，为了准确捕捉所述内窥镜空间位姿，减小因内窥镜旋转产生的体绘制操作的误差，需要对内窥镜图像和虚拟内窥镜的旋转误差进行补偿。采用对极几何的方法。从两个视点C和C'摄像得到的内窥镜图像和虚拟内窥镜图像上算出极点。
设两个相机的变换矩阵分别为P和P'，图像I和I'对应同一空间位置X的成像分别为x＝PX和x'＝P'X。
两个摄像头位C和C'分别在对方像平面上成像e和e'，分别与个子平面X成像点的连线被称作极线l和l'，而成像点与对面极线的关系可以描述为：l'＝Fx，F被称为基础矩阵。
考察经过图像I的基准点，也就是视轴和像平面的交点o与极点e的直线m，当虚拟内窥镜和真实内窥镜视点及视轴一致时，画面的上方向与直线m的角度相等，而存在旋转误差时，虚拟内窥镜的对应角度β与真实内窥镜对应角度α存在差距。
对于内窥镜相机，采用KLT法提取图像的特征点，之后从基础矩阵入手，对极点e进行计算。采用鲁棒性较好的RANSAC(RANdom Sample Consensus)算法来求解出两个视角的基础矩阵F和F'。而极点e在物理意义上就是基础矩阵F的零核，即Fe＝0，进行SVD奇异值分解后得到满足Fe＝0的极点e。然后计算从基准点o到极点e的向量与上方向的夹角α，之后计算相应虚拟内窥镜图像的基准点o'到极点e'的向量与上方向的夹角β。
由θ＝β-α得到虚拟内窥镜上方向与真实内窥镜上方向的旋转误差，对内窥镜位置方向信息进行矫正。
根据射影几何原理，对原始图像引导空间下的影像在内窥镜成像平面上进行体绘制，根据视线方向上多个样本点的不透明度和灰度值进行累计而计算输出图像。使用到样本点i为止的灰度值Ci和到样本点i为止的不透明度βi，根据如下公式：
Ci＝Ci-1+βi·αi·ci
βi＝βi-1·(1-αi)
得出图像引导空间下影像在内窥镜相机成像平面上的体绘制结果。
将内窥镜相机拍摄的真实图像即内窥镜图像与体绘制生成的图像引导空间下的影像在内窥镜相机成像平面上按照比重公式进行线性叠加：g(x)＝(1-α)f0(x)+αf1(x)，f0(x)为体绘制结果映射函数，f1(x)为内窥镜真实影像映射函数，α用来控制体绘制影像与内窥镜真实影像的比重，同时为了防止内窥镜影像画面中照射组织出现反光，内窥镜真实影像亮度过大造成的与体绘制影响对比度下降的问题，α根据CIE标准的Lab颜色空间中的明度分量L进行动态调整，确保视野清晰度和对比度。
最后融合的画面使得医生能够同时观察到内窥镜相机拍摄的手术区域实时画面和图像引导空间中手术区域周围组织结构以及病变组织的位置，避开易受损伤的组织，并且对病变目标区域精准定位与操作。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (5)
1.一种基于混合现实的内窥镜手术导航机器人系统，其特征在于，包括,混合现实手术导航模块与内窥镜手术机器人模块；
所述内窥镜手术机器人模块用于夹持内窥镜和调整内窥镜的空间位置，获取内窥镜图像；
所述混合现实手术导航模块用于体绘制图像引导空间影像，基于所述内窥镜图像与所述图像引导空间影像，获得虚实结合的导航影像；
体绘制所述图像引导空间影像的方法为：
对患者身体的术中超声影像与术前MR/CT影像进行非刚性配准，获取所述患者身体的原始图像引导空间，所述原始图像引导空间包含所述患者身体的实时位置；
对所述内窥镜的实时位置进行矫正；采用对极几何的方法，从两个视点摄像得到的内窥镜图像和虚拟内窥镜图像上算出极点，通过比较对应于内窥镜图像和虚拟内窥镜图像的极点和上方向的角度关系来补偿内窥镜图像和虚拟内窥镜的旋转误差，获得矫正后的所述内窥镜的位置；
基于矫正后的所述内窥镜的位置与所述患者身体的实时位置，获得所述内窥镜与所述原始图像引导空间影像的相对位置关系；
所述内窥镜与所述原始图像引导空间的相对位置关系表达式为；
其中，Tpw为原始图像引导空间到导航系统空间的变换关系，Twt为导航系统空间到内窥镜手术空间的变换关系，为患者身体上的光学跟踪器与患者身体固定的相对位置变换关系，/>为内窥镜上的光学跟踪器与内窥镜固定的相对位置变换关系，/>为患者身体上的光学跟踪器与导航系统空间的位置变换关系，/>为内窥镜上的光学跟踪器与导航系统空间的位置变换关系，Tpt为内窥镜与原始图像引导空间的相对位置关系；
基于所述相对位置关系在所述内窥镜成像平面上对所述原始图像引导空间进行体绘制，获取所述图像引导空间影像。
2.根据权利要求1所述的基于混合现实的内窥镜手术导航机器人系统，其特征在于，所述内窥镜手术机器人模块包括，机器人承载基座、控制柜、机械臂、活动夹爪以及内窥镜；
所述机器人承载基座用于安放所述机械臂；
所述控制柜用于控制所述机械臂的移动；
所述机械臂用于变换手术器械的空间位置与姿态，并连接有所述活动夹爪；
所述活动夹爪用于固定所述内窥镜并移送至指定位置；
所述内窥镜包括内窥镜相机；
所述内窥镜相机用于采集手术部位图像，获得内窥镜图像。
3.根据权利要求2所述的基于混合现实的内窥镜手术导航机器人系统，其特征在于，
所述混合现实手术导航模块包括，光学追踪器、刚性支架、光学定位仪、导航仪主机以及导航图像显示器；
所述光学追踪器用于反射红外光线；
所述刚性支架用于将所述光学追踪器安放在患者身体和所述内窥镜上；
所述光学定位仪用于发出红外光线，并接收所述光学追踪器反射的红外光线，获取所述患者身体与所述内窥镜的实时位置；
所述导航仪主机用于根据所述患者身体与所述内窥镜的实时位置在内窥镜成像平面上体绘制所述图像引导空间影像，基于所述内窥镜图像与所述图像引导空间影像，获得虚实结合的导航影像；
所述导航图像显示器用于显示融合后的所述虚实结合的导航影像。
4.根据权利要求1所述的基于混合现实的内窥镜手术导航机器人系统，其特征在于，
使用基于图卷积神经网络的跨模态图像配准方法对术中超声影像与术前MR/CT影像进行非刚性配准。
5.根据权利要求3所述的基于混合现实的内窥镜手术导航机器人系统，其特征在于，
获得所述虚实结合的导航影像的方法为：
将所述内窥镜图像与体绘制生成的所述图像引导空间影像在内窥镜成像平面上按照比重公式进行线性叠加，
所述比重公式g(x)为：
g(x)＝(1-α)f0(x)+αf1(x)
其中，f0(x)为体绘制结果映射函数，f1(x)为内窥镜图像映射函数，α为用来控制体绘制影像与内窥镜图像的比重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111641934.XA CN114191078B (zh) | 2021-12-29 | 一种基于混合现实的内窥镜手术导航机器人系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111641934.XA CN114191078B (zh) | 2021-12-29 | 一种基于混合现实的内窥镜手术导航机器人系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114191078A CN114191078A (zh) | 2022-03-18 |
| CN114191078B true CN114191078B (zh) | 2024-04-26 |
Family
ID=
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000279425A (ja) * | 1999-03-30 | 2000-10-10 | Olympus Optical Co Ltd | ナビゲーション装置 |
| WO2008002830A2 (en) * | 2006-06-29 | 2008-01-03 | Intuitive Surgical, Inc. | Surgical tool position and identification indicator displayed in a soundary area of a computer display screen |
| WO2012033530A2 (en) * | 2010-09-08 | 2012-03-15 | University Of Houston | Devices, systems and methods for multimodal biosensing and imaging |
| WO2012095755A1 (en) * | 2011-01-13 | 2012-07-19 | Koninklijke Philips Electronics N.V. | Intraoperative camera calibration for endoscopic surgery |
| WO2014140813A1 (en) * | 2013-03-11 | 2014-09-18 | Fondation De Cooperation Scientifique | Anatomical site relocalisation using dual data synchronisation |
| CN107456278A (zh) * | 2016-06-06 | 2017-12-12 | 北京理工大学 | 一种内窥镜手术导航方法和系统 |
| WO2018032083A1 (en) * | 2016-08-17 | 2018-02-22 | Synaptive Medical (Barbados) Inc. | Methods and systems for registration of virtual space with real space in an augmented reality system |
| CN109512514A (zh) * | 2018-12-07 | 2019-03-26 | 陈玩君 | 一种混合现实骨科微创手术导航系统及使用方法 |
| CN110368089A (zh) * | 2019-08-07 | 2019-10-25 | 湖南省华芯医疗器械有限公司 | 一种支气管内窥镜三维导航方法 |
| WO2019213432A1 (en) * | 2018-05-03 | 2019-11-07 | Intuitive Surgical Operations, Inc. | Systems and methods for measuring a distance using a stereoscopic endoscope |
| WO2021000664A1 (zh) * | 2019-07-03 | 2021-01-07 | 中国科学院自动化研究所 | 跨模态目标检测中的差异自动校准方法、系统、装置 |
| CN112641514A (zh) * | 2020-12-17 | 2021-04-13 | 罗雄彪 | 一种微创介入导航系统与方法 |
| CN113222954A (zh) * | 2021-05-21 | 2021-08-06 | 大连海事大学 | 基于补丁对齐的全局梯度下的多曝光图像无鬼影融合方法 |
| CN113520603A (zh) * | 2021-08-26 | 2021-10-22 | 复旦大学 | 一种基于内窥镜的微创手术机器人系统 |
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000279425A (ja) * | 1999-03-30 | 2000-10-10 | Olympus Optical Co Ltd | ナビゲーション装置 |
| WO2008002830A2 (en) * | 2006-06-29 | 2008-01-03 | Intuitive Surgical, Inc. | Surgical tool position and identification indicator displayed in a soundary area of a computer display screen |
| WO2012033530A2 (en) * | 2010-09-08 | 2012-03-15 | University Of Houston | Devices, systems and methods for multimodal biosensing and imaging |
| WO2012095755A1 (en) * | 2011-01-13 | 2012-07-19 | Koninklijke Philips Electronics N.V. | Intraoperative camera calibration for endoscopic surgery |
| WO2014140813A1 (en) * | 2013-03-11 | 2014-09-18 | Fondation De Cooperation Scientifique | Anatomical site relocalisation using dual data synchronisation |
| WO2017211087A1 (zh) * | 2016-06-06 | 2017-12-14 | 北京理工大学 | 一种内窥镜手术导航方法和系统 |
| CN107456278A (zh) * | 2016-06-06 | 2017-12-12 | 北京理工大学 | 一种内窥镜手术导航方法和系统 |
| WO2018032083A1 (en) * | 2016-08-17 | 2018-02-22 | Synaptive Medical (Barbados) Inc. | Methods and systems for registration of virtual space with real space in an augmented reality system |
| WO2019213432A1 (en) * | 2018-05-03 | 2019-11-07 | Intuitive Surgical Operations, Inc. | Systems and methods for measuring a distance using a stereoscopic endoscope |
| CN109512514A (zh) * | 2018-12-07 | 2019-03-26 | 陈玩君 | 一种混合现实骨科微创手术导航系统及使用方法 |
| WO2021000664A1 (zh) * | 2019-07-03 | 2021-01-07 | 中国科学院自动化研究所 | 跨模态目标检测中的差异自动校准方法、系统、装置 |
| CN110368089A (zh) * | 2019-08-07 | 2019-10-25 | 湖南省华芯医疗器械有限公司 | 一种支气管内窥镜三维导航方法 |
| CN112641514A (zh) * | 2020-12-17 | 2021-04-13 | 罗雄彪 | 一种微创介入导航系统与方法 |
| CN113222954A (zh) * | 2021-05-21 | 2021-08-06 | 大连海事大学 | 基于补丁对齐的全局梯度下的多曝光图像无鬼影融合方法 |
| CN113520603A (zh) * | 2021-08-26 | 2021-10-22 | 复旦大学 | 一种基于内窥镜的微创手术机器人系统 |
Non-Patent Citations (2)
| Title |
|---|
| 神经外科手术导航系统及临床应用;张翠华;;中国医疗器械信息;20070120(01);全文 * |
| 经输尿管镜钬激光治疗复杂输尿管结石的护理;覃凌峰;张翠华;;齐齐哈尔医学院学报;20070328(06);全文 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gavaghan et al. | A portable image overlay projection device for computer-aided open liver surgery | |
| Chen et al. | Development of a surgical navigation system based on augmented reality using an optical see-through head-mounted display | |
| US8108072B2 (en) | Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information | |
| EP2433262B1 (en) | Marker-free tracking registration and calibration for em-tracked endoscopic system | |
| US9248000B2 (en) | System for and method of visualizing an interior of body | |
| US8073528B2 (en) | Tool tracking systems, methods and computer products for image guided surgery | |
| US8147503B2 (en) | Methods of locating and tracking robotic instruments in robotic surgical systems | |
| CN110215284B (zh) | 一种可视化系统和方法 | |
| US20230355312A1 (en) | Method and system for computer guided surgery | |
| Mourgues et al. | Flexible calibration of actuated stereoscopic endoscope for overlay in robot assisted surgery | |
| EP3273854A1 (en) | Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera | |
| WO2013141155A1 (ja) | 画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラム | |
| US20230390021A1 (en) | Registration degradation correction for surgical navigation procedures | |
| GB2532004A (en) | Hybrid navigation system for surgical interventions | |
| CN109730771A (zh) | 一种基于ar技术的手术导航系统 | |
| Ma et al. | Knee arthroscopic navigation using virtual-vision rendering and self-positioning technology | |
| CN111658142A (zh) | 一种基于mr的病灶全息导航方法及系统 | |
| Fan et al. | Three-dimensional image-guided techniques for minimally invasive surgery | |
| Zhang et al. | 3D augmented reality based orthopaedic interventions | |
| WO2009027088A1 (en) | Augmented visualization in two-dimensional images | |
| Harders et al. | Multimodal augmented reality in medicine | |
| CN114191078B (zh) | 一种基于混合现实的内窥镜手术导航机器人系统 | |
| Wengert et al. | Endoscopic navigation for minimally invasive suturing | |
| Chen et al. | Video-guided calibration of an augmented reality mobile C-arm | |
| CN113470184A (zh) | 内窥镜增强现实误差补偿方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |