CN112315582B - 一种手术器械的定位方法、系统及装置 - Google Patents

一种手术器械的定位方法、系统及装置 Download PDF

Info

Publication number
CN112315582B
CN112315582B CN201910719054.6A CN201910719054A CN112315582B CN 112315582 B CN112315582 B CN 112315582B CN 201910719054 A CN201910719054 A CN 201910719054A CN 112315582 B CN112315582 B CN 112315582B
Authority
CN
China
Prior art keywords
information
pose
surgical instrument
motion information
particle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910719054.6A
Other languages
English (en)
Other versions
CN112315582A (zh
Inventor
罗雄彪
万英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Medical Robot Suzhou Co ltd
Original Assignee
Medical Robot Suzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Medical Robot Suzhou Co ltd filed Critical Medical Robot Suzhou Co ltd
Priority to CN201910719054.6A priority Critical patent/CN112315582B/zh
Publication of CN112315582A publication Critical patent/CN112315582A/zh
Application granted granted Critical
Publication of CN112315582B publication Critical patent/CN112315582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供一种手术器械的定位方法、系统及装置,方法包括:获取手术器械运动信息;根据手术器械运动信息确定采集实时视频信息的位姿信息;根据所述位姿信息、所述实时视频信息和术前影像信息确定手术器械的位姿。本发明的定位方法具有导航追踪精度高、鲁棒性强、多模态信息融合可视化、低成本、高效便捷等优点。

Description

一种手术器械的定位方法、系统及装置
技术领域
本发明属于医疗器械领域,特别涉及一种手术器械的定位方法、系统及装置。
背景技术
恶性肿瘤是当今世界发病率和死亡率最高的疾病之一。虽然近年来不断有新型的肿瘤靶向药、化疗药及各种微创手术应用于肿瘤的诊疗,但是总体的恶性肿瘤癌症平均生存期和5年生存率仍无显著的提高。究其原因主要是我国癌症患者就诊时75%左右已处于晚期(Ⅲ-Ⅳ期)。因此,恶性肿瘤早期发现诊断与早期治疗是至关重要的。微创手术介入是恶性肿瘤早期诊断与治疗的常规手段之一,它的切口(穿刺点)仅有米粒大小,不用切开人体组织就可以达到疾病诊断或治疗的目的,具有不开刀,创伤小,恢复快,效果好的特点。
微创手术是指利用腹腔镜、胸腔镜、胃镜、肠镜、支气管镜等医用电子内窥镜及现代相关医疗器械设备,实施临床疾病、检查、诊断、及治疗过程,如肿瘤切除。微创手术具有创伤小、疼痛轻、恢复快的优越性。微创手术导航是指在微创手术过程中,实时精确引导电子内镜等相关器械工具到达患者人体内部病灶或肿瘤区域,其核心问题在于如何精准定位病灶区域并精确追踪、引导手术工具到达该区域。目前微创手术导航技术主要通过光学追踪方法(Optical Tracking,OT)、视频立体图像配准追踪方法(Video-VolumeRegistration,VR)以及电磁追踪方法(Electromagnetic Tracking,ET)等来实时确定电子内镜末端视频相机的位姿,包括6个自由度的位置和方向参数。这些导航追踪方法存在各种缺点,如OT技术只能用于硬性内镜运动的追踪,无法进入人体内部;VR技术很容易受到图像伪影(例如气泡,移动模糊等)影响,会导致视频图像和虚拟图像配准错误,追踪鲁棒性较差;ET技术受到磁场形变与人体呼吸运动等问题,测量追踪准确性较差,同时需要ET传感器放置于在电子内镜末端的工作通道中,从而占据该者工作通道,限制电子内镜的操作与移动。此外,OT和ET技术价格较为昂贵,临床应用成本较高。现有技术中,还依靠术中CT荧光透视设备确定电子内镜位置以及使用体外金属针标记肿瘤病灶靶区;这种方法的一个缺点是辐射大,医生必须身着铅服完成手术,给医生造成了额外的负担;另一个缺点是无法提供靶区的解剖位置,医生需要在术中反复试探,寻找肿瘤位置,增加手术风险和手术时间。
因此,如何实现医疗器械的精准、便捷、可视化定位,是提供手术导航能力的关键问题。
发明内容
针对上述问题,本发明提供一种手术器械的定位方法、系统及装置。
一种手术器械的定位方法,包括:
获取手术器械运动信息;
根据手术器械运动信息确定采集实时视频信息的位姿信息;
根据所述位姿信息、所述实时视频信息和术前影像信息确定手术器械的位姿。
进一步地,获取手术器械运动信息包括:
获取手术器械导管的位移长度、旋转角度、弯曲角度信息。
进一步地,所述根据手术器械运动信息确定采集实时视频信息的位姿信息包括:
根据所述位移长度和/或所述弯曲角度确定所述采集实时视频信息的位置信息;
根据所述旋转角度和/或所述弯曲角度确定所述采集实时视频信息的方向信息。
进一步地,所述获取手术器械导管的位移长度、旋转角度包括:
通过设置在手术导管外侧的传感器获取手术器械导管的位移长度和/或旋转角度。
进一步地,所述通过设置在手术导管外侧的传感器获取手术器械导管的位移长度和/或旋转角度包括:
通过设置至少两个传感器对采集的位移长度和/或旋转角度进行误差补偿。
进一步地,根据所述位姿信息、所述实时视频信息和术前影像信息确定手术器械的位姿包括:
根据所述位姿信息从所述术前影像信息中获取虚拟图像信息;
根据所述虚拟图像信息和所述实时视频信息的相似度优化所述位姿信息。
进一步地,所述根据所述虚拟图像信息和所述实时视频信息的相似度优化所述位姿信息包括:
建立确定性优化算法的优化代价函数,所述优化代价函数为所述虚拟图像与所述实时视频图像的目标区域像素的像素灰度值相似度;
采用Powell-CONDOR优化算法,迭代优化,求取使得所述像素灰度值相似度最大的所述位姿信息。
进一步地,还包括:
采用观测型差分进化随机优化算法对所述位姿信息进行优化获得全局优化位姿信息。
进一步地,所述采用观测型差分进化随机优化算法对所述位姿信息进行优化包括:
基于所述位姿信息生成随机粒子集合,所述集合的粒子用于表示待优化位姿信息;
根据所述运动信息对所述粒子进行状态变异操作;
根据实时视频图像信息计算变异因子;
根据所述变异因子更新转移粒子状态;
根据所述实时视频图像信息计算交叉因子;
根据所述交叉因子更新转移粒子状态。
一种手术器械的定位系统,包括:
运动信息获取模块,用于获取手术器械运动信息;
位姿信息生成模块,用于根据手术器械运动信息确定采集实时视频信息的位姿信息;
位姿信息确定模块,用于根据所述位姿信息、所述实时视频信息和术前影像信息确定手术器械的位姿。
进一步地,所述运动信息获取模块包括:
第一获取单元,用于获取手术器械导管的位移长度;
第二获取单元,用于获取手术器械导管的旋转角度;
第三获取单元,用于获取手术器械导管的弯曲角度。
进一步地,所述位姿信息生成模块包括:
位置生成单元,用于根据所述位移长度和/或所述弯曲角度确定所述采集实时视频信息的位置信息;
方向生成单元,用于根据所述旋转角度和/或所述弯曲角度确定所述采集实时视频信息的方向信息。
进一步地,所述位姿信息生成模块根据所述位姿信息、所述实时视频信息和术前影像信息确定手术器械的位姿包括:
根据所述位姿信息从所述术前影像信息中获取虚拟图像信息;
根据所述虚拟图像信息和所述实时视频信息的相似度优化所述位姿信息。
进一步地,位姿信息确定模块包括:
第一位姿信息优化单元,用于采用确定性优化算法优化所述位姿信息;和/或
第二位姿信息优化单元,用于采用观测型差分进化随机优化算法优化位姿信息。
一种手术器械的定位装置,包括:运动信息采集固定部、位移采集传感器、运动信息接收部;
所述运动信息采集固定部用于容纳手术器械导管穿过;
所述位移采集传感器设置在所述运动信息采集固定部,用于采集手术器械导管的运动信息;
所述运动信息接收部用于接收所述运动信息;
所述运动信息接收部用于接收手术器械操作杆的操作角度。
本发明的手术器械的定位方法、系统及装置,通过能够追踪测量电子内镜插入长度、转角及弯角等运动信息,将运动信息与混合优化的多源异构(多模态)信息结合能够实现精准的可视化定位;
本发明的方法和装置,可以将电子内镜视频图像、用于定位的运动信息以及术前医学影像(如CT等)转换到同一个三维空间(比如术前影像空间)坐标下,实现三维可视化定位和导航,从而不需要在术中进行CT荧光透视,操作高效便捷;
定位信息采集不需要在镜头末端设置额外的定位装置,设计简单便捷、成本很低、追踪精度高;
相比OT和ET导航技术,它可同时于硬性和软件电子内镜的追踪定位;
混合确定性随机优化方法,可精确融合多源异构信息。相比VR和ET导航技术,本发明提出的导航方法具有追踪精度高,鲁棒性强、不受电磁场编写影响等优点,有效大幅度降低人体呼吸运动所带来的导航误差;
总体而言,本申请的手术器械定位方法、体统及装置,具有导航追踪精度高、鲁棒性强、多模态信息融合可视化、低成本、高效便捷等优点。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据本发明实施例的一种手术器械的定位装置示意图;
图2示出了根据现有技术的一种电子内镜末端示意图;
图3示出了根据本发明实施例的一种手术器械的定位方法的优化流程图;
图4示出了根据本发明实施例的一种手术器械的定位系统结构示意图。
附图标记号说明:操作部1、操作杆11、导管部2、弯曲部3、运动信息采集固定部4、位移采集传感器41。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地说明,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
传统的手术器械定位方法通常采用定位传感器等直接确定手术器械的位置,从而确定手术器械的末端在生物体的镜头或针头位置,对于定位传感器的体积、精度、手术器械本身都有很高的要求。本发明实施例提供的手术器械定位方法,通过采集手术器械的运动信息,即手术器械的位置、方向变化信息,对手术器械目标位置(如进入人体的末端)、方向进行跟踪。对于手术器械的运动信息的获取可以通过设置在人体组织外部的传感器实现信息采集,选择范围广泛,结构简单,对手术器械进入人体组织的部分没有干扰,从而可以进一步优化手术器械,特别是微创手术器械,可进一步简化结构,减小提及,提高操作的易用性和病患体验。
本发明实施例以微创手术电子内镜为例,电子镜头的位姿(位置和方向)跟踪进行说明。
如图1所示,示出了发明实施例定位装置应用于电子内镜手术器械的结构示意图。
电子内镜手术器械包括:操作部1、导管部2、弯曲部3;操作部1包括操作杆11。
本发明实施例的定位装置包括:运动信息采集固定部4、位移采集传感器41、运动信息接收部(图中未示出),其中:
(1)运动信息采集固定部4用于容纳手术器械导管部2(或称导管)穿过;手术时,导管部2穿过运动信息采集固定部4,可以将手术器械拆卸后将运动信息采集固定部4套接在导管部2,也可以设置运动信息采集固定部4环扣导管部2,本申请不限制运动信息采集固定部4的具体实施方式,只要能够承载导管部2,并使得导管部2沿轴运动即可,并且不限制运动信息采集固定部4是否闭合。不是一般性地,运动信息采集固定部4为专用咬嘴,可置于患者人体口腔或鼻腔内,在一个实施例中,该咬嘴为一个环形(如圆形、椭圆形)套管,可以由患者含在嘴中。电子内镜通过咬嘴套管进入人体内部管腔器官。在另外的实施例中,运动信息采集固定部4也可以通过贴合、吸附等固定的方式固定在人体器官,如管腔器官上。
(2)位移采集传感器41设置在所述运动信息采集固定部4上,用于采集手术器械导管的运动信息;本实施例中,采用无线激光位移传感器采集导管运动信息,包括沿轴向位移长度(插入长度)L和绕轴旋转角度θ。通过无线激光位移传感器的激光在导管壁的反射光可以实时跟踪导管的运动情况,由于激光发射接收频率高,能够精准跟踪导管运动情况,并且与导管无接触,避免了对操作导管工作的干扰。运动信息采集固定部4与导管之间形成较小间隙,避免导管运动过程中的不确定偏移,而无线激光位移传感器需要与导管形成一定距离(较小间隙),示例性地,可以设置动信息采集固定部4承载导管的层为透明,通过双层环状结构将无线激光位移传感器设置在透明层外部;在另外的实施例中,也可以设置承载导管的动信息采集固定部4为缺口环形,缺口用于发射激光到导管壁。无线激光位移传感器采集的运动信息通过与之数据连接的无线激光位移接收器接收,并传输到运动信息接收部。为了减小激光传感器的噪声与散光性和插入管部表面不规则带来的误差,本发明使用两个传感器,以补偿追踪测量误差,插入长度L和旋转角度θ为两个传感器所测的平均值。在另外的实施例中,也可以使用接触式位移采集传感器。
(3)运动信息接收部用于接收上述运动信息;运动信息接收部为高性能电脑,其设置有数据采集或抓取软件,手术工作中,电脑可通过USB接口等接入位移接收器,以实时获取传感器采集的运动信息。
(4)运动信息接收部还用于接收手术器械操作杆的操作角度,以获得弯曲部3的弯曲角度ψ。示例性地,电子内镜前端弯曲部3的弯曲角度范围负120度至120度之间,而电子内镜前操作部1调节操作杆11(螺丝杆)可控角度在-60度至60度之间;因此,可以线性匹配这两个角度之间的关系:ψ=2O;O为操作杆的调节角度。角度范围和角度之间的关系通常由手术器械出厂固定。本实施例中,可以直接使用操作部1内置的角度(空间角度)传感器(图中未示出)输出的角度O,将该角度值传输到运动信息接收部,以获得弯曲部3的弯曲角度ψ。
实际应用中,医生可通过操作杆11操作手术器械在组织体内运动,如控制导管2部插入组织体的长度,控制末端弯曲部3在空间弯曲的角度,从而控制控制手术器械末端到达病灶区域。如图2所示,手术器械的末端,即弯曲部3的末端通常包括光源、工作通道和相机,相机设置在末端界面的边侧(非圆心处),因此要确定相机实时采集的视频图像来自于哪一个视角需要确定相机的位置和方向,方向包括弯曲部弯曲的角度和相机绕轴向旋转的角度。实际应用中弯曲部3是距离(从弯曲根部到末端)较短,约几毫米到十几毫米,因此,本发明实施例中主要采集弯曲部的弯曲角度以确定相机方向,对于弯曲部3带来的相机位置变化可以忽略或者根据经验值补偿即可。
以运动信息采集固定部4为初始参考点,通过获取导管插入长度L、插入管部旋转角度θ、操作部1调节螺丝杆所控制的弯曲部3的弯曲角度ψ等运动信息,引入混合优化的算法,融合术前医学影像、术中电子内镜实时视频突显以及该运动信息,实施精准手术导航。
本发明实施例提供一种手术器械的定位方法,包括:
步骤1:获取手术器械运动信息;
步骤2:根据手术器械运动信息确定采集实时视频信息的位姿信息;
步骤3:根据所述位姿信息、所述实时视频信息和术前影像信息确定手术器械的位姿。该步骤中,术前医学影像标识医学影像为术前采集获取的影像数据,而不限制术前医学影像采集方式和维度,既可以是三维医学影像,也可以是根据体绘制方法已经转化的二维虚拟图像。
本发明实施例以微创手术电子内镜融合多源异构信息导航为例,对定位方法进行说明。
在上述步骤1中,获取手术器械运动信息包括:获取手术器械导管的位移长度L、旋转角度θ、弯曲角度φ。其中,获取手术器械导管的位移长度L、旋转角度θ可以通过设置在手术导管外侧的传感器,如激光位移传感器获取手术器械导管的位移长度、旋转角度,本实施例中,为了减小测量误差,还设置至少两个传感器对采集的位移长度和/或旋转角度进行误差补偿,具体地,通过将多个传感器测量的一组数据取平均值以减小误差;获取手术器械导管的弯曲角度可以通过获取手术器械操作杆11的操作角度O,根据操作角度与弯曲角度的关系确定导管末端的弯曲角度φ。手术器械导管的位移长度L、旋转角度θ、弯曲角度φ具体获取方式可以根据上述定位装置实施例的描述进行获取,但不限于使用上述定位装置。
在步骤2中,根据手术器械运动信息确定采集实时视频信息的位姿信息,其中位姿信息包括位置信息和方向信息,用以确定实施视频信息采集的视角。具体包括:
(1)根据位移长度和/或弯曲角度确定所述采集实时视频信息的位置信息;实际应用中,以设置外侧传感器的位置为参考点,根据导管经过传感器进入人体的位移长度(插入长度)和弯曲角度可以初步确定导管末端在人体中的位置,后续导航过程中,可以基于已经确定的位置,累加新的位移长度和弯曲角度,确定当前最新的位置。在某些情况下,如直接插入某一特定位置而不需要转弯的情况,或者基于前一个位置执行的下一步动作单独执行位移或单独执行转弯,则也可以仅仅获取相应的运动信息参量,进行跟踪定位。
(2)根据旋转角度和/或弯曲角度确定采集实时视频信息的方向信息,即视频采集的视角,通过本发明实施例的定位装置采集视频图像时,视频采集的方向信息用以表示导管末端的相机视角。其中,旋转角度为导管绕轴旋转的角度,弯曲角度为导管末端弯折的角度。
在步骤3中,根据位姿信息、实时视频信息和术前影像信息确定手术器械的位姿。即根据采集的位姿信息,融合多源异构信息优化确定手术器械的位置和方向。本实施例中,多源异构信息包括术前医学影像(例如CT或MR图像)、实时无线激光位移传感器输出的运动追踪信息(插入长度L、旋转角度θ以及弯曲角度ψ)以及电子内镜相机实时视频图像。通过多模态数据优化确定手术器械位姿(位置和方向)包括:
根据所述位姿信息从术前影像信息中获取虚拟图像信息;
根据虚拟图像信息和实时视频信息的相似度优化所述位姿信息。
上述优化确定步骤可以通过本实施例中的混合确定性随机优化算法和/或观测型差分进化随机优化算法完整。如图3所示,本发明实施例采用两种算法优化对初步确定的位姿信息进行优化,下面对优化过程进行详细说明。
首先,通过确定性随机优化算法优化手术机械位姿,本发明实施例中,手术器械位姿、视频采集的位姿均未手术导管末端的位姿,也是手术导管通道的末端,即实施手术的操作位置。优化确定过程如下:
001利用所追踪测量到的运动信息插入长度L、旋转角度θ以及弯曲角度ψ,计算电子内镜相机的初步(粗略)位置及其方向(共含有六个自由度,其中位置与方向各有三个自由度),以实施确定性优化算法;
002在确定性优化过程中,首先,对确定性优化算法进行初始化,利用初步预测的相机位置与方向信息M0
003利用体绘制方法对术前医学影像进行处理,产生二维电子内镜虚拟图像,并根据初步确定的相机位姿信息获取对应视角的虚拟图像信息,即当前帧虚拟图像信息。建立确定性优化算法的优化代价函数,该函数定义为描述术中实时相机(当前帧,即第i帧)视频图像
Figure BDA0002156520200000101
(R表示真实视频图像)与虚拟图像
Figure BDA0002156520200000102
(V表示虚拟图像,
Figure BDA0002156520200000103
表示第k迭代时所产生的虚拟图像,
Figure BDA0002156520200000104
对应了相机的位置及其方向信息Mk)之间的像素灰度值相似度Sik
Figure BDA0002156520200000105
Figure BDA0002156520200000106
其中,Q代表在视频图像或虚拟图像上感兴趣区域的个数,P表示一个感兴趣区域,|P|是感兴趣区域里面的像素个数。
Figure BDA0002156520200000107
Figure BDA0002156520200000108
是视频图像P区域的平均像素值和像素方差,
Figure BDA0002156520200000109
Figure BDA00021565202000001010
是虚拟图像P区域的平均像素值和像素方差,
Figure BDA00021565202000001011
是视频图像
Figure BDA00021565202000001012
与虚拟图像
Figure BDA00021565202000001013
在区域P里面的互相关性,C1、C2为常量。
004引入Powell-CONDOR优化算法,进多次迭代优化,求取使得所述像素灰度值相似度最大的所述位姿信息:
Figure BDA0002156520200000111
在优化器进行初始化后,通过优化器自动地以一定变化量或步长来更新相机位置及其方向Mk,然后根据新的相机位姿获取新的虚拟图像,再计算相似度,直到收敛,亦即找到最大的相似度所对应的相机位置及其方向信息
Figure BDA0002156520200000112
最后获得确定性优化相机位置及方向信息
Figure BDA0002156520200000113
本发明实施例基于上述优化算法确定相机位姿后,再通过引入观测型差分进化随机优化算法进行位姿优化,进一步优化与提高导航追踪定位精度。采用观测型差分进化随机优化算法对位姿信息进行优化获得全局优化位姿信息的过程包括:
005基于位姿信息生成随机粒子集合,集合中的粒子用于表示待优化位姿信息,即每一个粒子代表相机的一个位置及其方向。具体地,利用上述确定性优化后的相机位姿信息和引入随机位姿变量,对每一个粒子进行初始化。
006对粒子集合中的每个粒子状态的转移(更新),包括进行观测型变异操作与交叉操作:
(1)根据运动信息对所述粒子进行状态变异操作。在观测型变异操作过程,引入传感器所观测到当前帧的运动信息,亦即在变异操作方程中增加一项当前帧运动信息,转移粒子状态。同时,根据所述实时视频图像信息计算变异因子,即利用当前帧的视频图像信息,自适应地计算变异操作方程中的变异因子,更新转移粒子状态。
(2)与变异操作同理地,根据实时视频图像信息计算交叉因子。即利用当前帧视频图像信息,自适应地计算交叉操作方程中的交叉因子,根据所述交叉因子更新转移粒子状态。每个粒子所表示的相机位置及其方向也随之更新。
007计算粒子集合中每个更新粒子的权值,进行粒子选择。每个粒子的相机位置及其方向信息用于生产其对应虚拟图像。粒子权值定义为术中实时相机(当前帧)视频图像与该虚拟图像之间的像素灰度值相似度。根据中每个更新粒子的权值大小,选择局部最优粒子(即更新粒子集合中权值最大的粒子),同时进一步更新步骤006所更新的粒子集合。
008重复步骤006和007,进行N次迭代随机优化。每次迭代,输出一个局部最优粒子。N次迭代以后,形成一个局部最优粒子的集合。在局部最优粒子集合中选择一个权值最大的粒子,即全局最优粒子。简单高效、容易执行,收敛性好,能够避免欠收敛,收索性能好
009全局最优粒子对应的就是全局最优预测相机位置及其方向,亦即当前帧电子内镜运动追踪定位的结果。保存该追踪定位的位姿信息,并基于该位姿信息作为指导医生操作医疗机械运动的基础,当医生进行下一步操作后,实时采集医疗器械的运动信息,并采集下一帧的实时视频图像,进而按照上述方法再次进行位姿优化确定。
本实例中,采用观测型差分进化随机优化算法,简单高效、容易执行,收敛性好,能够避免欠收敛的情况。通过两种优化算法,能够精确定位手术器械位置。在另外的实施例中,也可以选择本发明中任一一种优化算法进行位姿确定。
基于相同的发明构思,本发明实施例还提供一种手术器械的定位系统,如图4所示,系统包括:
运动信息获取模块,用于获取手术器械运动信息;
位姿信息生成模块,用于根据手术器械运动信息确定采集实时视频信息的位姿信息;
位姿信息确定模块,用于根据所述位姿信息、实时视频信息和术前影像信息确定手术器械的位姿,该位姿信息是基于初步确定的位姿信息优化后的位姿信息,具体地,为手术器械末端的位置和方向信息。
其中,运动信息获取模块包括:
第一获取单元,用于获取手术器械导管的位移长度;
第二获取单元,用于获取手术器械导管的旋转角度;
第三获取单元,用于获取手术器械导管的弯曲角度。
上述三个获取单元可以协同工作,实时获取医疗器械导管的多方位运动信息,也可以根据运动的实际情况,获取其中部分的运动信息。第一获取单元、第二获取单元可以均通过激光位移传感器和与之相连的接收器获取,并将采集信息传输到数据处理终端,如手术导航用电脑。
位姿信息生成模块包括:
位置生成单元,用于根据位移长度和/或所述弯曲角度确定采集实时视频信息的位置信息;
方向生成单元,用于根据旋转角度和/或弯曲角度确定采集实时视频信息的方向信息。
使用采集信息生成位姿信息的具体原理可根据上述方法实施例所记载的内容实现,不再赘述。
根据所述位姿信息、所述实时视频信息和术前影像信息确定手术器械的位姿包括:
根据位姿信息从所述术前影像信息中获取虚拟图像信息;
根据虚拟图像信息和实时视频信息的相似度优化所述位姿信息。
位姿信息的优化确定可以通过位姿信息确定模块的第一位姿信息优化单元和/或第二位姿信息优化单元实现。具体地:
第一位姿信息优化单元,用于采用确定性优化算法优化所述位姿信息;
第二位姿信息优化单元,用于采用观测型差分进化随机优化算法优化位姿信息。
两种优化处理单元的原理步骤均可以从上述方法实例中获得,不再赘述。本发明通过两种优化算法对位姿信息进行优化,提高了位姿确定的准确度,为微创手术精准导航提供了保证。本发明实施例中,可以通过高性能电脑执行上述优化过程,以实现手术导航过程的敏捷性和实时性。在另外的实施例中,也可以选择一种优化处理单元进行快速优化定位。
尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (3)

1.一种手术器械的定位系统,其特征在于,包括:
运动信息获取模块,用于获取手术器械运动信息;
位姿信息生成模块,用于根据手术器械运动信息确定采集实时视频信息的位姿信息;
位姿信息确定模块,用于根据所述位姿信息、所述实时视频信息和术前影像信息确定手术器械的位姿;
根据所述位姿信息从所述术前影像信息中获取虚拟图像信息;
根据所述虚拟图像信息和所述实时视频信息的相似度优化所述位姿信息;
第一位姿信息优化单元,用于采用确定性优化算法优化所述位姿信息;建立确定性优化算法的优化代价函数,所述优化代价函数为所述虚拟图像与所述实时视频信息的目标区域像素的像素灰度值相似度;采用Powell-CONDOR优化算法,迭代优化,求取使得所述像素灰度值相似度最大的所述位姿信息;
第二位姿信息优化单元,用于采用观测型差分进化随机优化算法优化位姿信息;基于上述优化算法确定相机位姿后,再采用观测型差分进化随机优化算法对所述位姿信息进行优化获得全局优化位姿信息,包括:
基于所述位姿信息生成随机粒子集合,所述集合的粒子用于表示待优化位姿信息;
根据所述运动信息对所述粒子进行状态变异操作;
根据实时视频信息计算变异因子;
根据所述变异因子更新转移粒子状态;
根据所述实时视频信息计算交叉因子;
根据所述交叉因子更新转移粒子状态;
计算粒子集合中每个更新粒子的权值,进行粒子选择;每个粒子的相机位置及其方向信息用于生产其对应虚拟图像;粒子权值定义为当前帧视频图像与该虚拟图像之间的像素灰度值相似度;根据每个更新粒子的权值大小,选择局部最优粒子,同时进一步更新粒子集合;在局部最优粒子集合中选择一个权值最大的粒子,即全局最优粒子;
进行N次迭代随机优化,每次迭代,输出一个局部最优粒子;N次迭代以后,形成一个局部最优粒子的集合;
在变异操作过程,引入传感器所观测到当前帧的运动信息,在变异操作方程中增加一项当前帧运动信息,转移粒子状态;利用当前帧的视频图像信息,自适应地计算变异操作方程中的变异因子,更新转移粒子状态;
根据实时视频信息计算交叉因子,利用当前帧视频图像信息,自适应地计算交叉操作方程中的交叉因子,根据所述交叉因子更新转移粒子状态;每个粒子所表示的相机位置及其方向也随之更新;
系统还包括:运动信息采集固定部、位移采集传感器、运动信息接收部;
所述运动信息采集固定部用于容纳手术器械导管穿过;
所述位移采集传感器设置在所述运动信息采集固定部,用于采集手术器械导管的运动信息;
所述运动信息接收部用于接收所述运动信息;
所述运动信息接收部用于接收手术器械操作杆的操作角度;
所述位移采集传感器为无线激光位移传感器;
所述运动信息采集固定部承载导管的层为透明,通过双层环状结构将无线激光位移传感器设置在透明层外部;或,设置承载导管的所述运动信息采集固定部为缺口环形,缺口用于发射激光到导管壁。
2.根据权利要求1所述的系统,其特征在于,所述运动信息获取模块包括:
第一获取单元,用于获取手术器械导管的位移长度;
第二获取单元,用于获取手术器械导管的旋转角度;
第三获取单元,用于获取手术器械导管的弯曲角度。
3.根据权利要求2所述的系统,其特征在于,所述位姿信息生成模块包括:
位置生成单元,用于根据所述位移长度和/或所述弯曲角度确定所述采集实时视频信息的位置信息;
方向生成单元,用于根据所述旋转角度和/或所述弯曲角度确定所述采集实时视频信息的方向信息。
CN201910719054.6A 2019-08-05 2019-08-05 一种手术器械的定位方法、系统及装置 Active CN112315582B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910719054.6A CN112315582B (zh) 2019-08-05 2019-08-05 一种手术器械的定位方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910719054.6A CN112315582B (zh) 2019-08-05 2019-08-05 一种手术器械的定位方法、系统及装置

Publications (2)

Publication Number Publication Date
CN112315582A CN112315582A (zh) 2021-02-05
CN112315582B true CN112315582B (zh) 2022-03-25

Family

ID=74319601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910719054.6A Active CN112315582B (zh) 2019-08-05 2019-08-05 一种手术器械的定位方法、系统及装置

Country Status (1)

Country Link
CN (1) CN112315582B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112609A (zh) * 2021-03-15 2021-07-13 同济大学 一种面向肺部活检支气管镜的导航方法和系统
CN114452508B (zh) * 2021-10-20 2024-01-23 上海微创微航机器人有限公司 导管运动控制方法、介入手术系统、电子设备和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003265408A (ja) * 2002-03-19 2003-09-24 Mitsubishi Electric Corp 内視鏡誘導装置および方法
CN1678234A (zh) * 2002-08-30 2005-10-05 奥林巴斯株式会社 医疗处理系统、内窥镜系统、内窥镜插入操作程序及内窥镜装置
CN102186404A (zh) * 2008-10-20 2011-09-14 皇家飞利浦电子股份有限公司 基于图像的定位方法和系统
CN103169445A (zh) * 2013-04-16 2013-06-26 苏州朗开医疗技术有限公司 一种内窥镜的导航方法及系统
CN103313675A (zh) * 2011-01-13 2013-09-18 皇家飞利浦电子股份有限公司 用于内窥镜手术的术中照相机校准
CN103356155A (zh) * 2013-06-24 2013-10-23 清华大学深圳研究生院 虚拟内窥镜辅助的腔体病灶检查系统
CN104755009A (zh) * 2013-04-15 2015-07-01 奥林巴斯医疗株式会社 内窥镜系统
CN105105698A (zh) * 2015-07-10 2015-12-02 中国科学院深圳先进技术研究院 内窥镜校准系统及方法
CN106937860A (zh) * 2017-04-12 2017-07-11 重庆金山医疗器械有限公司 获知实时位姿的胶囊内窥镜系统及其工作方法
CN107456278A (zh) * 2016-06-06 2017-12-12 北京理工大学 一种内窥镜手术导航方法和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216939B (zh) * 2008-01-04 2010-06-02 江南大学 基于量子行为粒子群算法的多分辨率医学图像配准方法
CN106778899B (zh) * 2016-12-30 2019-12-10 西安培华学院 一种基于统计相关的快速互信息图像匹配方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003265408A (ja) * 2002-03-19 2003-09-24 Mitsubishi Electric Corp 内視鏡誘導装置および方法
CN1678234A (zh) * 2002-08-30 2005-10-05 奥林巴斯株式会社 医疗处理系统、内窥镜系统、内窥镜插入操作程序及内窥镜装置
CN102186404A (zh) * 2008-10-20 2011-09-14 皇家飞利浦电子股份有限公司 基于图像的定位方法和系统
CN103313675A (zh) * 2011-01-13 2013-09-18 皇家飞利浦电子股份有限公司 用于内窥镜手术的术中照相机校准
CN104755009A (zh) * 2013-04-15 2015-07-01 奥林巴斯医疗株式会社 内窥镜系统
CN103169445A (zh) * 2013-04-16 2013-06-26 苏州朗开医疗技术有限公司 一种内窥镜的导航方法及系统
CN103356155A (zh) * 2013-06-24 2013-10-23 清华大学深圳研究生院 虚拟内窥镜辅助的腔体病灶检查系统
CN105105698A (zh) * 2015-07-10 2015-12-02 中国科学院深圳先进技术研究院 内窥镜校准系统及方法
CN107456278A (zh) * 2016-06-06 2017-12-12 北京理工大学 一种内窥镜手术导航方法和系统
CN106937860A (zh) * 2017-04-12 2017-07-11 重庆金山医疗器械有限公司 获知实时位姿的胶囊内窥镜系统及其工作方法

Also Published As

Publication number Publication date
CN112315582A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
JP7154832B2 (ja) 形状推定をともなう軌道情報による位置合わせの改良
US20240041531A1 (en) Systems and methods for registering elongate devices to three-dimensional images in image-guided procedures
CN109788992B (zh) 用于图像引导的外科手术的连续配准的系统和方法
US20150313503A1 (en) Electromagnetic sensor integration with ultrathin scanning fiber endoscope
KR102557820B1 (ko) 영상 안내 수술에서의 상관 보상의 시스템 및 방법
EP2433262B1 (en) Marker-free tracking registration and calibration for em-tracked endoscopic system
US10674891B2 (en) Method for assisting navigation of an endoscopic device
CN112641514B (zh) 一种微创介入导航系统与方法
Soper et al. In vivo validation of a hybrid tracking system for navigation of an ultrathin bronchoscope within peripheral airways
US20240024034A2 (en) Systems and methods for hybrid imaging and navigation
EP2663252A1 (en) Intraoperative camera calibration for endoscopic surgery
US20220361736A1 (en) Systems and methods for robotic bronchoscopy navigation
US20220277477A1 (en) Image-based guidance for navigating tubular networks
CN115361919A (zh) 目标解剖特征定位
CN112423652A (zh) 与用于图像引导外科手术的配准相关的系统和方法
CN112315582B (zh) 一种手术器械的定位方法、系统及装置
CN117320654A (zh) 支气管镜检查中的基于视觉的6DoF相机姿态估计
CN110368089A (zh) 一种支气管内窥镜三维导航方法
CN117204791A (zh) 一种内窥镜器械引导方法以及系统
CN115668281A (zh) 使用多视图姿态估计的方法和系统
CN115462903B (zh) 一种基于磁导航的人体内外部传感器协同定位系统
US20240099776A1 (en) Systems and methods for integrating intraoperative image data with minimally invasive medical techniques
WO2023161848A1 (en) Three-dimensional reconstruction of an instrument and procedure site

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant