CN114305684B - 一种自主多自由度扫描型内窥镜微创手术导航装置及其系统 - Google Patents
一种自主多自由度扫描型内窥镜微创手术导航装置及其系统 Download PDFInfo
- Publication number
- CN114305684B CN114305684B CN202111471731.0A CN202111471731A CN114305684B CN 114305684 B CN114305684 B CN 114305684B CN 202111471731 A CN202111471731 A CN 202111471731A CN 114305684 B CN114305684 B CN 114305684B
- Authority
- CN
- China
- Prior art keywords
- endoscope
- motor
- module
- image
- bending
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002324 minimally invasive surgery Methods 0.000 title claims abstract description 11
- 238000005452 bending Methods 0.000 claims abstract description 45
- 210000000056 organ Anatomy 0.000 claims abstract description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 230000008602 contraction Effects 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000003709 image segmentation Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 21
- 230000008569 process Effects 0.000 abstract description 10
- 238000003384 imaging method Methods 0.000 abstract description 9
- 230000004927 fusion Effects 0.000 abstract description 5
- 239000000523 sample Substances 0.000 abstract description 5
- 238000001356 surgical procedure Methods 0.000 abstract description 4
- 230000005540 biological transmission Effects 0.000 abstract 1
- 238000005457 optimization Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 28
- 210000004185 liver Anatomy 0.000 description 19
- 210000001519 tissue Anatomy 0.000 description 16
- 238000006073 displacement reaction Methods 0.000 description 14
- 230000011218 segmentation Effects 0.000 description 10
- 210000005228 liver tissue Anatomy 0.000 description 7
- 230000004913 activation Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000002271 resection Methods 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000001464 adherent effect Effects 0.000 description 1
- 230000001919 adrenal effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002440 hepatic effect Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005381 potential energy Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000011477 surgical intervention Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000000451 tissue damage Effects 0.000 description 1
- 231100000827 tissue damage Toxicity 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 210000001631 vena cava inferior Anatomy 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Landscapes
- Endoscopes (AREA)
Abstract
本发明公开了一种自主多自由度扫描型内窥镜微创手术导航装置及其系统,同时具备偏转运动传递装置和弯曲控制装置,能够获取不同手术时间点下多角度的患者体内组织的术中成像信息。内窥镜导航系统自带的运算芯片基于术前的医学影像进行手术的规划引导,自主调整内窥镜镜头扫描的方式。并在内窥镜运行过程中,利用术前和术中获得的影像信息,自动重建出手术重要区域的器官三维结构。对重建的术前和术中三维组织结构进行实时配准融合,获得全面的器官三维信息。最后基于精确完整的器官三维信息,不断调整内窥镜的行动路径和探头角度,进行内窥镜成像优化。本发明能够对微创手术过程予以实时的导航规划,自动完成路径规划,自主调整内窥镜成像角度。
Description
技术领域
本发明属于手术导航技术领域,特别涉及一种自主多自由度扫描型内窥镜微创手术导航装置及其系统。
背景技术
现有的手术导航系统利用计算机处理技术将术前或术中的病人影像数据如核磁共振图像、患者手术部位的器官三维结构以及术中器械位置信息统一到同一坐标系下,并同步将这些信息呈现给医生,为手术医生进行手术规划提供准确、直观的手段。同时,根据实际手术的需要,帮助医生进行病症定位,并对手术器械周围的组织信息作同步显示,从而完成手术导航。但是,现有手术导航系统及设备,一方面,其导航数据主要来自术前的影像,术中操作造成的组织漂移和病灶移位无法在导航信息中反映,会给手术带来偏差。另一方面,为了获得有效的术中信息,需要医生手动去调整术中成像器械(如内窥镜等)的成像角度和位置,导致手术过程操作更繁杂。
面向微创介入手术,目前的手术导航系统主要采用内窥镜设备来获取病人内部组织信息。基于内窥镜的手术中,医生将内窥镜通过自然体孔或手术产生的开口插入,并将其引导至病人体内的目标位置,从而捕获诊断内部身体器官问题的图像。例如对于肝脏部分切除手术,通常需要内窥镜来及时获得肝脏及其周围组织的情况,以准确分辨出肝脏周围的韧带和粘连组织,同时手术过程中还要防止撕裂汇入下腔静脉的肝短静脉和肾上腺血管,这些操作的准确性对于手术的成功与否起着至关重要的作用。值得注意的是,手术操作的准确性依赖于医生对肝脏组织信息的精确掌握,因此,需要内窥镜对患者肝脏组织进行全方位的精确成像。
但是,现有的内窥镜通常需要外部的控制系统进行人为地实时地操作并不断调整,以使得医生可以有较好的观测角度,增加了操作的复杂性;同时,由于需要人工操作,如果操作者意外地在错误地方向移动内窥镜,则末端可能无意地穿孔或造成组织损伤,对病人引起伤害;且探头在人体内的路径并非直通的,探头以及导管在需要拐弯时,易抵在人体内,给患者带来不适,延长了手术时间,加大了出现手术并发症的风险。因此,基于人工操作的内窥镜成像导航方式,对于内窥镜成像准确性、手术的精确性以及手术的安全性都是一个极大的隐患,且该情况下的手术导航过于依赖医生的个人经验。
由此可见,提供一种能够自动进行角度调整,路径规划的内窥镜导航方案,是手术精准导航领域亟需解决的问题。
发明内容
本发明旨在开发新的内窥镜系统和影像运算处理技术,提出了一种能够根据手术过程情况,自动调整扫描角度以及路径规划的内窥镜结构,以及一种新的影像配准方法来为扫描角度以及路径规划提供完整的器官三维信息。运用快速精确的配准算法,能够提高路径规划的速度,内窥镜自主成像的灵活性。
为实现上述目的,本发明采用的技术方案为:
一种自主多自由度扫描型内窥镜微创手术导航装置,包括CCD电子相机1、内窥镜光源部件2、可伸缩转向导管3、驱动运算机构5和数据电源线6,所述驱动运算机构5包括运算芯片和驱动部件,所述驱动部件包括图像处理模块、信号驱动模块、显示模块、弯曲控制装置和偏转运动装置,所述图像处理模块、信号驱动模块、显示模块、弯曲控制装置和偏转运动装置分别通过数据信号交换线55连接运算芯片,所述弯曲控制装置和偏转运动装置分别通过弯曲偏转运动信号数据线53连接电机,
所述图像处理模块、信号驱动模块、显示模块、弯曲控制装置、偏转运动装置和运算芯片连接总电源线51,
所述CCD电子相机1通过相机数据线11连接图像处理模块,信号驱动模块和显示模块,
所述内窥镜光源部件2包括外壳21、LED模组23和LED模组电源线24,所述外壳21的结构呈中空的容纳腔22,所述LED模组23放置在容纳腔22中,LED模组23通过LED模组电源线24进行有线供电,所述LED模组23呈环形灯带,紧挨着CCD电子相机1,所述LED模组23连接LED模组开关4,LED模组开关4控制LED模组23;
所述可伸缩转向导管3包括若干个导管单元,所述导管单元包括履带31、齿轮32、弹簧33和单元外壳34,位于弹簧33的一端连接有齿轮32,履带31包裹于齿轮32和弹簧33之外,单元外壳34包裹于履带31之外,若干个导管单元依次首尾相接,相邻的导管单元之间能够以齿轮32为轴180°弯曲,每个导管单元能够以横向齿轮37为圆点360°旋转,每个导管单元能够通过弹簧33伸缩。
进一步的,所述弯曲控制装置包括安装于电机上控制两侧履带,关于弯曲操纵,弯曲信号通过弯曲偏转运动信号数据线53传输到电机,电机控制马达I,利用马达I的旋转带动履带31运转,进而再通过履带与齿轮之间的啮合带动齿轮32转动,由于内窥镜导管内部有弹簧33,通过履带的收缩,使得弹簧所受到的力的大小不同,控制弹簧的伸缩;电机上所配备的马达I同时控制两侧履带的运作,其中一侧的履带固定,将另一侧的履带进行伸缩即可达到一侧弹簧的伸缩,从而实现内窥镜伸缩偏操作;所述偏转运动装置包括独立于弯曲控制装置外的马达II,马达II控制旋转轴35,通过将由弯曲偏转运动信号数据线传输的信号,控制马达II运转,带动旋转轴35,进一步带动每个导管单元中的横向齿轮37进行导管单元的旋转。
进一步的,CCD电子相机所获得到的图像经过图像处理模块进行噪声处理以及针对图片视觉效果进行灰度处理增强图像特征,再将图像信号传送到运算芯片当中,运算芯片中进行相关的图像分割,图像重建,图像配准算法的运算,并将图像实时地通过显示模块在外接显示器显中进行显示;对于配准好后的图像,运算芯片内根据器官的三维结构进行路径的规划,同时将导航装置的运动信号发至弯曲控制装置和偏转运动装置,进而控制电机的运作来达到导航装置在规划的路径上进行运动,并自行调整角度。
一种自主多自由度扫描型内窥镜微创手术导航装置的导航系统,导航系统的应用包括以下步骤:
S1、将术前肝脏组织CT/MRI影像通过数据线传入到图像处理模块进行预处理如去噪以及灰度处理增强图像的视觉效果使得目标区域更加明显,之后再通过运算芯片中进行分割重建,对于图像分割,采用基于U-Net网络模型的影像分割算法,在术前影像中提取出目标区域如肝脏;基于分割出的肝脏部分的图像,使用Marching Cubes面绘制算法来重建并输出目标区域的三维术前模型;通过对于术前影像的分割重建操作,即生成对应器官肝脏的三维点云,三维点云用于后续的配准算法的计算操作,对于分割重建以及后续的配准算法的计算操作,由运算芯片独立完成;
S2、对于术中基于CCD相机所获得的肝脏组织图像,通过重建获得三维点云,并利用VTK工具包,在三维模型上拾取几个关键组织点,关键组织点可以是医生在外部显示器上所选择的几个病理兴趣点,可以有目标的进行选择,用于手术中进一步调整内窥镜朝着关键组织点的角度对齐,也可以不进行选择;对于选择后的关键点,由数据线传入到运算芯片至进行存储标注;对于CCD相机进行肝脏图像获取的操作需要由来自信号驱动模块的信号;
S3、对于术前和术中所获得到的组织三维点云信息,开发基于深度网络的无监督自配准方法;配准方法将在运算芯片中进行运算,基于配准算法的结果,结合驱动模块进行路径的动态规划;
S4、通过配准融合的结果,通过图像处理模块和显示模块在外部的显示器上进行观察,基于配准融合前后的组织三维坐标系进行比较,若之前生成三维点云时并未选择关键点,则以所有点坐标偏移的平均值作为路径规划的参数;若之前选择了多个关键点,则对这些关键点进行加权后,再与所有点求和取平均值作为路径规划的参数;通过在运算芯片中的计算和使用上述路径规划的参数,提供给导航装置深度距离和角度的信息,并利用此信息通过运算芯片及时将工作信号发至弯曲控制装置和偏转运动装置,及时调整内窥镜运动路径角度,实时更新,以保证能够以最好的角度观察到手术的详细情况,至此为一次路径规划。
S5、在电源未关前,及手术未完成前,所述步骤S1、S2、S3、S4的顺序不断重复地进行着,最终完成的内窥镜路径导航由若干次路径规划组成。
进一步的,所述配准算法的计算操作为:
S11、将生成的三维点云作为输入,以术前的点云作为源点集S,术中的点云作为目标点集G,直接作为输入代入网络结构中进行运算;对于手术进行的过程中,源点集为前一时刻建模生成的肝脏三维点云,目标集则为当前时刻建模生成肝脏三维点云;前一时刻的点云,可用前一次配准结束后的目标点云;术前的点云,依据术前图像分割重建而成,术中的点云由CCD相机获取的多角度医学影像分割重建而成;
S12、利用多层卷积神经网络进行点云的形状描述符的学习;对于卷积网络,使用RELU函数作为激活函数,并且在卷积网络后添加了Maxpool函数,提取序列不变的描述符;假定代表这源点集和目标点集的形状描述符,则对于形状描述符的公式如下:
其中:ftft-1…f1(Xi)是多层的激活函数,Si、Gj分别代表了源点集和目标点集,Xi是点集中的点;
S13、预测点云偏移量,进行点云的位移进行预测;假设任何一个点x的位移都为如下的函数:
Γ(x)=x+v(x)
其中:Γ(x)为预测函数,即对于点x的位置进行预测,v(x)是位移函数,计算点x的位移量;
所述形状描述符与源点集中的点Xi进行结合生成全局的形状描述符并以全局的形状描述符作为输入代入进行预测位移的多层卷积网络中,最后得到对于点Xi的位移预测的函数如下:
其中:gsgs-1…g1代表着卷积层,其激活函数是RELU,因此根据上述的描述,对于源点集预测之后的点集Si′描述成如下:
其中:φ表示预测点集偏移量的函数;
S14、对于两个点集,因为不存在像素级别的一一对应关系,基于倒角距离进行改进作为损失函数来训练神经网络,损失函数的定义如下:
其中:S′和G分别代表预测的点集和目标点集,X和Y分别是所述S′和G点集中的点,θ是该网络中的权重;通过不断迭代,找到最小损失函数的情况下,就能预测出点云的位移场,即可实现精确的点云配准。
与现有技术相比,本发明具有以下有益效果:
首先,因为人为控制内窥镜进行路路径移动存在多种干扰因素,例如外界的触碰,或医生手发抖,虽说是小概率事件,但一旦发生,则会导致内窥镜移动发生偏差,稍严重点则可能对患者的内部器官造成伤害,而对于自动路径规划的内窥镜在路径的移动上避免了发生偏差的可能。除此之外,对于一些复杂情况,医生在较难选择合适路径进行移动时,能自动进行路径规划的内窥镜就能较快地找到合适路径,且本发明所设计的算法比较新颖,在配准的正确率和速度上都有较大的优越性,也为路径规划奠定了较好的基础。
附图说明
图1是本发明中手术导航装置的结构示意图;
图2是本发明中内窥镜光源部件的结构示意图;
图3是本发明中导管单元的纵向截面示意图;
图4是本发明中导管单元的横向截面示意图;
图5是本发明中多个导管单元的连接示意图;
图6是本发明中多个导管单元连接处的切面图;
图7是本发明中驱动运算机构的模块框图;
图8是本发明中手术导航系统的流程图;
图9是本发明中手术导航系统的主体框架;
其中:1-CCD电子相机,11-相机数据线,12-相机电源线,2-内窥镜光源部件,21-外壳,22-容纳腔,23-LED模组,24-LED模组电源线,3-可伸缩转向导管,31-履带,32-齿轮,33-弹簧,34-单元外壳,35-旋转轴,36-卡扣件,37-横向齿轮,4-LED模组开关,5-驱动运算机构,51-总电源线,53-弯曲偏转运动信号数据线,54-数据信号交换线。
具体实施方式
下面结合实施例对本发明作更进一步的说明。
实施例1
如图1-7所示,一种自主多自由度扫描型内窥镜微创手术导航装置,包括CCD电子相机1、内窥镜光源部件2、可伸缩转向导管3、驱动运算机构5和数据电源线6,所述驱动运算机构5包括运算芯片和驱动部件,所述驱动部件包括图像处理模块、信号驱动模块、显示模块、弯曲控制装置和偏转运动装置,所述图像处理模块、信号驱动模块、显示模块、弯曲控制装置和偏转运动装置分别通过数据信号交换线55连接运算芯片,所述弯曲控制装置和偏转运动装置分别通过弯曲偏转运动信号数据线53连接电机,
所述图像处理模块、信号驱动模块、显示模块、弯曲控制装置、偏转运动装置和运算芯片连接总电源线51,
所述CCD电子相机1通过相机数据线11连接图像处理模块,信号驱动模块和显示模块,本实施例中使用基于CCD-TC221全帧操作型面阵相机改进的立体相机,全帧型面阵CCD具有在有限的感光区域内可以更多地排列光敏像元,动态范围大,灵敏度高,可获得高分辨率图像,有助于手术过程中动态调整内窥镜扫描路径,较适合手术过程中器官内部的复杂情况,如肝脏切除手术中,能够更清晰地获取到手术内部器官的具体特征,分辨肝脏与其周围的粘连组织及血管,及时将切除部分肝脏时的信息反馈给医生,且立体相机更加有利于获得器官内部的深度信息;
所述内窥镜光源部件2包括外壳21、LED模组23和LED模组电源线24,所述外壳21的结构呈中空的容纳腔22,所述LED模组23放置在容纳腔22中,LED模组23通过LED模组电源线24进行有线供电,所述LED模组23呈环形灯带,紧挨着CCD电子相机1,能为CCD电子相机1提供充足的照明条件,所述LED模组23连接LED模组开关4,LED模组开关4控制LED模组23;
所述可伸缩转向导管3包括若干个导管单元,对于每一个单元,其内部有足够的空间进行电源线以及数据线的安置,且其在连接处能够进行最大为180°的弯曲,对于导管的旋转操作,每个的连接处能进行360°的旋转,视具体操作而定;上述的操作通过驱动部件里的弯曲控制装置和偏转运动装置进行操控,同时导管单元可以进行伸缩,该伸缩是以导管单元为单位,只能整个导管单元进行伸缩,但伸缩和转向并不能够同时进行,同一时间内只能进行单个操作。比如针对肝脏组织,其上下分别与肺、心脏以及肾、胃相邻,手术介入操作路径复杂,因此,以导管单元为单位进行操作,大幅度增加了内窥镜的灵活性,降低手术的危险性。如需向右转,只需固定右侧履带不动,左侧不断放出履带,再借助弹簧的弹性即可实现将该单元向右侧弯曲,反之,则为向左转;对于伸缩操作,若需缩回,只需两侧履带都往回转即可,反之则会向前伸长,使得内窥镜向前延伸;具体地讲,所述导管单元包括履带31、齿轮32、弹簧33和单元外壳34,位于弹簧33的一端连接有齿轮32,履带31包裹于齿轮32和弹簧33之外,单元外壳34包裹于履带31之外,若干个导管单元依次首尾相接,相邻的导管单元之间能够以齿轮32为轴180°弯曲,每个导管单元能够以横向齿轮37为圆点360°旋转,每个导管单元能够通过弹簧33伸缩。
所述弯曲控制装置包括安装于电机上控制两侧履带,关于弯曲操纵,弯曲信号通过弯曲偏转运动信号数据线53传输到电机,电机控制马达I,利用马达I的旋转带动履带31运转,进而再通过履带与齿轮之间的啮合带动齿轮32转动,由于内窥镜导管内部有弹簧33,通过履带的收缩,使得弹簧所受到的力的大小不同,控制弹簧的伸缩;电机上所配备的马达I同时控制两侧履带的运作,其中一侧的履带固定,将另一侧的履带进行伸缩即可达到一侧弹簧的伸缩,从而实现内窥镜伸缩偏操作;所述偏转运动装置包括独立于弯曲控制装置外的马达II,马达II控制旋转轴35,通过将由弯曲偏转运动信号数据线传输的信号,控制马达II运转,带动旋转轴35,进一步带动每个导管单元中的横向齿轮37进行导管单元的旋转。
CCD电子相机所获得到的图像经过图像处理模块进行噪声处理以及针对图片视觉效果进行灰度处理增强图像特征,再将图像信号传送到运算芯片当中,运算芯片中进行相关的图像分割,图像重建,图像配准算法的运算,并将图像实时地通过显示模块在外接显示器显中进行显示;对于配准好后的图像,运算芯片内根据器官的三维结构进行路径的规划,同时将导航装置的运动信号发至弯曲控制装置和偏转运动装置,进而控制电机的运作来达到导航装置在规划的路径上进行运动,并自行调整角度。
如图5所示为多个导管单元的连接,各部分的结构细节如图3所示,各个导管单元间关于伸缩的限制是通过卡扣件36实现的,其中卡扣件36类似卡扣的设计,使得导管在竖直方向上的伸展有一定的限制,即限制每个单元在纵向上的延长,关于旋转部分的连接,还是主要通过图3中的齿轮32来进行灵活的连接,使得导管能够偏转;图6中关于导管单元360°的旋转通过齿轮37进行,其外沿与每一个单元的底部外圈啮合,其控制由图4中的旋转轴35控制,旋转轴的控制有电机中的独立的马达来进行控制,通过旋转信号的收取进行工作。考虑到导管的偏转功能,导管底部的材料需具有一定的延展性,通过底部弹簧的弹性势能,促使底部发生一定的伸展,当然这伸展程度是极小的。
CCD相机所获得到的图像经过图像处理模块进行噪声处理等基本操作,再将图像信号传送到运算芯片当中,该芯片中进行相关的图像分割,图像重建,图像配准算法的运算,并将图像实时地通过显示模块在外接显示器显中进行显示。对于配准好后的图像,芯片内根据器官的三维结构进行路径的规划,同时将探头的运动信号发至弯曲控制装置和偏转运动装置,进而控制电机的运作来达到探头在规划的路径上进行运动,自行调整角度。
内窥镜装置系统的各个部分如上所述,有了相关的硬件,同时也需要对应的控制信号来进行控制操作。基于上述的内窥镜,对于不同的操作,运算芯片通过数据线,将不同的信号传至不同的模块进行工作,使得整套内窥镜便可满足手术过程中的自主多自由度扫描。如当需要获取当前的医学图像时,运算芯片将控制信号发至信号驱动模块、图像处理模块以及显示模块,再通过信号驱动模块对CCD相机发送信号,便可实现这一操作;又如当需要移动导管时,需从运算芯片中将控制信号发送至玩去控制装置和偏转运动装置。不同功能的实现离不开硬件和信号之间的相互协作。
实施例2
整套内窥镜系统在手术过程中的具体的运作流程以及细节如下以肝脏手术为例,图8为自主多自由度扫描型内窥镜微创手术导航系统的流程图。
具体地讲,一种自主多自由度扫描型内窥镜微创手术导航装置的导航系统,导航系统的应用包括以下步骤:
S1、将术前肝脏组织CT/MRI影像通过数据线传入到图像处理模块进行预处理(如去噪以及灰度处理增强图像的视觉效果使得目标区域更加明显),之后再通过运算芯片中进行分割重建,对于图像分割,采用基于U-Net网络模型的影像分割算法,在术前影像中提取出目标区域(如肝脏);基于分割出的肝脏部分的图像,使用Marching Cubes面绘制算法来重建并输出目标区域的三维术前模型;通过对于术前影像的分割重建操作,即生成对应器官(肝脏)的三维点云,三维点云用于后续的配准算法的计算操作,对于分割重建以及后续的配准算法的计算操作,由运算芯片独立完成;
S2、对于术中基于CCD相机所获得的肝脏组织图像,通过重建获得三维点云,并利用VTK工具包,在三维模型上拾取几个关键组织点,关键组织点可以是医生在外部显示器上所选择的几个病理兴趣点,可以有目标的进行选择,用于手术中进一步调整内窥镜朝着关键组织点的角度对齐,也可以不进行选择;对于选择后的关键点,由数据线传入到运算芯片至进行存储标注;对于CCD相机进行肝脏图像获取的操作需要由来自信号驱动模块的信号;
S3、对于术前和术中所获得到的组织三维点云信息,开发基于深度网络的无监督自配准方法;配准方法将在运算芯片中进行运算,基于配准算法的结果,结合驱动模块进行路径的动态规划;
S4、通过配准融合的结果,通过图像处理模块和显示模块在外部的显示器上进行观察,基于配准融合前后的组织三维坐标系进行比较,若之前生成三维点云时并未选择关键点,则以所有点坐标偏移的平均值作为路径规划的参数;若之前选择了多个关键点,则对这些关键点进行加权后,再与所有点求和取平均值作为路径规划的参数;通过在运算芯片中的计算和使用上述路径规划的参数,提供给导航装置深度距离和角度的信息,并利用此信息通过运算芯片及时将工作信号发至弯曲控制装置和偏转运动装置,及时调整内窥镜运动路径角度,实时更新,以保证能够以最好的角度观察到手术的详细情况,至此为一次路径规划。
S5、在电源未关前,及手术未完成前,所述步骤S1、S2、S3、S4的顺序不断重复地进行着,最终完成的内窥镜路径导航由若干次路径规划组成。
所述配准算法的计算操作为:
S11、将生成的三维点云作为输入,以术前的点云作为源点集S,术中的点云作为目标点集G,直接作为输入代入网络结构中进行运算;对于手术进行的过程中,源点集为前一时刻建模生成的肝脏三维点云,目标集则为当前时刻建模生成肝脏三维点云;前一时刻的点云,可用前一次配准结束后的目标点云;术前的点云,依据术前图像分割重建而成,术中的点云由CCD相机获取的多角度医学影像分割重建而成;
S12、利用多层卷积神经网络进行点云的形状描述符的学习;对于卷积网络,使用RELU函数作为激活函数,并且在卷积网络后添加了Maxpool函数,提取序列不变的描述符;假定代表这源点集和目标点集的形状描述符,则对于形状描述符的公式如下:
其中:ftft-1…f1(Xi)是多层的激活函数,Si、Gj分别代表了源点集和目标点集,Xi是点集中的点;
S13、预测点云偏移量,进行点云的位移进行预测;假设任何一个点x的位移都为如下的函数:
Γ(x)=x+v(x)
其中:Γ(x)为预测函数,即对于点x的位置进行预测,v(x)是位移函数,计算点x的位移量;
所述形状描述符与源点集中的点Xi进行结合生成全局的形状描述符并以全局的形状描述符作为输入代入进行预测位移的多层卷积网络中,最后得到对于点Xi的位移预测的函数如下:
其中:gsgs-1…g1代表着卷积层,其激活函数是RELU,因此根据上述的描述,对于源点集预测之后的点集Si′描述成如下:
其中:φ表示预测点集偏移量的函数;
S14、对于两个点集,因为不存在像素级别的一一对应关系,基于倒角距离进行改进作为损失函数来训练神经网络,损失函数的定义如下:
其中:S′和G分别代表预测的点集和目标点集,X和Y分别是所述S′和G点集中的点,θ是该网络中的权重;通过不断迭代,找到最小损失函数的情况下,就能预测出点云的位移场,即可实现精确的点云配准。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (2)
1.一种自主多自由度扫描型内窥镜微创手术导航装置,其特征在于:包括CCD电子相机(1)、内窥镜光源部件(2)、可伸缩转向导管(3)、驱动运算机构(5)和数据电源线(6),所述驱动运算机构(5)包括运算芯片和驱动部件,所述驱动部件包括图像处理模块、信号驱动模块、显示模块、弯曲控制装置和偏转运动装置,所述图像处理模块、信号驱动模块、显示模块、弯曲控制装置和偏转运动装置分别通过数据信号交换线(55)连接运算芯片,所述弯曲控制装置和偏转运动装置分别通过弯曲偏转运动信号数据线(53)连接电机,
所述图像处理模块、信号驱动模块、显示模块、弯曲控制装置、偏转运动装置和运算芯片连接总电源线(51),
所述CCD电子相机(1)通过相机数据线(11)连接图像处理模块,信号驱动模块和显示模块,
所述内窥镜光源部件(2)包括外壳(21)、LED模组(23)和LED模组电源线(24),所述外壳(21)的结构呈中空的容纳腔(22),所述LED模组(23)放置在容纳腔(22)中,LED模组(23)通过LED模组电源线(24)进行有线供电,所述LED模组(23)呈环形灯带,紧挨着CCD电子相机(1),所述LED模组(23)连接LED模组开关(4),LED模组开关(4)控制LED模组(23);
所述可伸缩转向导管(3)包括若干个导管单元,所述导管单元包括履带(31)、齿轮(32)、弹簧(33)和单元外壳(34),位于弹簧(33)的一端连接有齿轮(32),履带(31)包裹于齿轮(32)和弹簧(33)之外,单元外壳(34)包裹于履带(31)之外,若干个导管单元依次首尾相接,相邻的导管单元之间能够以齿轮(32)为轴180°弯曲,每个导管单元能够以横向齿轮(37)为圆点360°旋转,每个导管单元能够通过弹簧(33)伸缩;
所述弯曲控制装置包括安装于电机上控制两侧履带,关于弯曲操纵,弯曲信号通过弯曲偏转运动信号数据线(53)传输到电机,电机控制马达I,利用马达I的旋转带动履带(31)运转,进而再通过履带与齿轮之间的啮合带动齿轮(32)转动,由于内窥镜导管内部有弹簧(33),通过履带的收缩,使得弹簧所受到的力的大小不同,控制弹簧的伸缩;电机上所配备的马达I同时控制两侧履带的运作,其中一侧的履带固定,将另一侧的履带进行伸缩即可达到一侧弹簧的伸缩,从而实现内窥镜伸缩偏操作;所述偏转运动装置包括独立于弯曲控制装置外的马达II,马达II控制旋转轴(35),通过将由弯曲偏转运动信号数据线传输的信号,控制马达II运转,带动旋转轴(35),进一步带动每个导管单元中的横向齿轮(37)进行导管单元的旋转。
2.根据权利要求1所述的自主多自由度扫描型内窥镜微创手术导航装置,其特征在于:CCD电子相机所获得到的图像经过图像处理模块进行噪声处理以及针对图片视觉效果进行灰度处理增强图像特征,再将图像信号传送到运算芯片当中,运算芯片中进行相关的图像分割,图像重建,图像配准算法的运算,并将图像实时地通过显示模块在外接显示器显中进行显示;对于配准好后的图像,运算芯片内根据器官的三维结构进行路径的规划,同时将导航装置的运动信号发至弯曲控制装置和偏转运动装置,进而控制电机的运作来达到导航装置在规划的路径上进行运动,并自行调整角度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111471731.0A CN114305684B (zh) | 2021-12-06 | 2021-12-06 | 一种自主多自由度扫描型内窥镜微创手术导航装置及其系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111471731.0A CN114305684B (zh) | 2021-12-06 | 2021-12-06 | 一种自主多自由度扫描型内窥镜微创手术导航装置及其系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114305684A CN114305684A (zh) | 2022-04-12 |
CN114305684B true CN114305684B (zh) | 2024-04-12 |
Family
ID=81048145
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111471731.0A Active CN114305684B (zh) | 2021-12-06 | 2021-12-06 | 一种自主多自由度扫描型内窥镜微创手术导航装置及其系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114305684B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115281583B (zh) * | 2022-09-26 | 2022-12-13 | 南京诺源医疗器械有限公司 | 一种用于医疗内窥拉曼光谱成像的导航系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103371870A (zh) * | 2013-07-16 | 2013-10-30 | 深圳先进技术研究院 | 一种基于多模影像的外科手术导航系统 |
CN106880405A (zh) * | 2017-03-30 | 2017-06-23 | 微创(上海)医疗机器人有限公司 | 手术机器人用柔性器械、手术器械及内窥镜 |
CN107456278A (zh) * | 2016-06-06 | 2017-12-12 | 北京理工大学 | 一种内窥镜手术导航方法和系统 |
CN110236674A (zh) * | 2019-05-09 | 2019-09-17 | 苏州大学 | 一种基于结构光扫描的肝脏手术导航方法及系统 |
CN112370167A (zh) * | 2020-11-10 | 2021-02-19 | 北京邮电大学 | 机器人手术器械臂及适用于各种孔数的微创手术机器人 |
-
2021
- 2021-12-06 CN CN202111471731.0A patent/CN114305684B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103371870A (zh) * | 2013-07-16 | 2013-10-30 | 深圳先进技术研究院 | 一种基于多模影像的外科手术导航系统 |
CN107456278A (zh) * | 2016-06-06 | 2017-12-12 | 北京理工大学 | 一种内窥镜手术导航方法和系统 |
CN106880405A (zh) * | 2017-03-30 | 2017-06-23 | 微创(上海)医疗机器人有限公司 | 手术机器人用柔性器械、手术器械及内窥镜 |
CN110236674A (zh) * | 2019-05-09 | 2019-09-17 | 苏州大学 | 一种基于结构光扫描的肝脏手术导航方法及系统 |
CN112370167A (zh) * | 2020-11-10 | 2021-02-19 | 北京邮电大学 | 机器人手术器械臂及适用于各种孔数的微创手术机器人 |
Also Published As
Publication number | Publication date |
---|---|
CN114305684A (zh) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200297444A1 (en) | Systems and methods for localization based on machine learning | |
US11759266B2 (en) | Robotic systems for determining a roll of a medical device in luminal networks | |
US11793580B2 (en) | Systems and methods for location sensor-based branch prediction | |
US20220125527A1 (en) | Methods and systems for mapping and navigation | |
US11160615B2 (en) | Methods and systems for instrument tracking and navigation within luminal networks | |
US20220296312A1 (en) | Anatomical feature tracking | |
US9393076B2 (en) | Insertable device and system for minimal access procedure | |
US9659345B2 (en) | System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities | |
CN102711650B (zh) | 用于内窥镜手术的基于图像整合的配准和导航 | |
US20230000565A1 (en) | Systems and methods for autonomous suturing | |
RU2692206C2 (ru) | Роботизированное управление эндоскопом на основе анатомических признаков | |
JP7041068B6 (ja) | 剛性近位部及びフレキシブル遠位部を有するハイブリッドロボットを制御するための制御ユニット、システム、及び方法 | |
CN111588464B (zh) | 一种手术导航方法及系统 | |
JP6334714B2 (ja) | ロボット手術のための連続画像統合を行う制御ユニット又はロボットガイドシステム | |
US20240024034A2 (en) | Systems and methods for hybrid imaging and navigation | |
US20090012530A1 (en) | Insertable Device and System For Minimal Access Procedure | |
CN114305684B (zh) | 一种自主多自由度扫描型内窥镜微创手术导航装置及其系统 | |
CN114945937A (zh) | 用于内窥镜流程的引导式解剖操纵 | |
CN115607275A (zh) | 一种图像显示方式、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |