CN108648821A - 面向穿刺手术机器人的智能手术决策系统及其应用方法 - Google Patents

面向穿刺手术机器人的智能手术决策系统及其应用方法 Download PDF

Info

Publication number
CN108648821A
CN108648821A CN201810236513.0A CN201810236513A CN108648821A CN 108648821 A CN108648821 A CN 108648821A CN 201810236513 A CN201810236513 A CN 201810236513A CN 108648821 A CN108648821 A CN 108648821A
Authority
CN
China
Prior art keywords
puncture
pose
module
probability
puncturing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810236513.0A
Other languages
English (en)
Other versions
CN108648821B (zh
Inventor
王冬晓
张博
张磊
张立群
黄强
藤江正克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201810236513.0A priority Critical patent/CN108648821B/zh
Publication of CN108648821A publication Critical patent/CN108648821A/zh
Application granted granted Critical
Publication of CN108648821B publication Critical patent/CN108648821B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • A61B17/3403Needle locating or guiding means
    • A61B2017/3413Needle locating or guiding means guided by ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Robotics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Manipulator (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明提供一种面向穿刺手术机器人的智能手术决策系统及其应用方法,所述系统包括:目标人体组织提取模块,用于根据对目标人体上穿刺目标区域的超声检测,对穿刺目标区域内组织器官进行三维建模,并基于建立的模型提取目标人体器官;穿刺针位姿模块,用于基于穿刺手术机器人的电机码值和操作平台机械参数,获取穿刺手术机器人在当前位姿下穿刺针的位置信息和姿态信息;预测与决策模块,用于基于目标人体器官、穿刺针的位置信息和姿态信息以及穿刺成功数据库,预估穿刺当前位姿下一次穿刺成功的概率,以及一次穿刺成功概率最大的穿刺位姿。本发明能够对穿刺手术过程进行实时决策和监控,并进行规划建议和决策预警,提高手术安全性。

Description

面向穿刺手术机器人的智能手术决策系统及其应用方法
技术领域
本发明涉及医疗器械技术领域,更具体地,涉及一种面向穿刺手术机器人的智能手术决策系统及其应用方法。
背景技术
穿刺手术的成功率,很大程度上取决于医生对整个穿刺手术的规划和决策,如,确定合适的穿刺点、穿刺角度、进针深度以及穿刺过程中是否需要按压、退针等操作。尤其是对于中心静脉穿刺这种难度大、并发症多的深静脉穿刺,穿刺的手术规划和决策则更为重要。
医生在进行穿刺手术的规划和决策时,通常依据以往的经验来进行。以往经验的形成需要长时间的医疗培训和临床经验,极大的依赖于医生的个人医疗能力。不同医生做出的医疗规划和决策不尽相同,甚至同一个医生在不同的生理和心理状态所做出的医疗规划和决策也会有变化,导致穿刺手术成功率的不稳定性。
目前,穿刺手术辅助机器人技术和传感器数据采集技术的日趋成熟,使得能够通过机器对医生在手术过程中的操作数据和病人反馈回来的数据进行采集、存储、融合和处理。已有技术中多是在CT或者MRI条件下进行人体器官的三维重建。
但是,CT和MRI价格昂贵,占地面积大,对人体有辐射。并且,已有技术都是仅仅进行三维重建,并在三维重建的基础上对手术进行仿真。此方法仅能在手术之前进行模拟仿真,实时性差,且无法进行手术规划建议和决策预警,安全性较低。
发明内容
为了克服上述问题或者至少部分地解决上述问题,本发明提供一种面向穿刺手术机器人的智能手术决策系统及其应用方法,用以对穿刺手术过程进行实时决策和监控,并进行规划建议和决策预警,提高手术安全性。
一方面,本发明提供一种面向穿刺手术机器人的智能手术决策系统,包括:目标人体组织提取模块,用于根据对目标人体上穿刺目标区域的超声检测,对所述穿刺目标区域内组织器官进行三维建模,获取人体器官三维模型,并基于所述人体器官三维模型,提取目标人体器官;穿刺针位姿模块,用于基于穿刺手术机器人的电机码值和操作平台机械参数,获取所述穿刺手术机器人在当前位姿下穿刺针的位置信息和姿态信息;预测与决策模块,用于基于所述目标人体器官与穿刺针的所述位置信息和所述姿态信息,以及预建的穿刺成功数据库,利用预先建立的预测模型,计算所述穿刺手术机器人在当前位姿下一次穿刺成功的概率,以及一次穿刺成功概率最大的穿刺位姿。
进一步的,所述系统还包括:穿刺调控模块,用于基于所述一次穿刺成功概率最大的穿刺位姿,调整所述穿刺手术机器人的位姿,并进行穿刺操作;人体组织特征信号模块,用于采集穿刺操作过程中穿刺针的压力信号,并基于所述压力信号分析穿刺状态;相应的,所述预测与决策模块还用于,基于所述穿刺状态以及所述穿刺成功数据库,利用所述预测模型,估计所述穿刺状态下穿刺成功的概率,并进行穿刺操作决策。
其中,所述预测模型进一步具体为动态贝叶斯网络模型;相应的,所述预测与决策模块进一步具体用于:对所述目标人体器官和穿刺针的所述位置信息进行特征值提取和归一化处理,确定对应所述动态贝叶斯网络模型的可观测变量和隐变量的物理意义,并基于所述穿刺成功数据库,采用最大期望算法,利用所述动态贝叶斯网络模型,预测所述一次穿刺成功概率最大的穿刺位姿。
其中,所述预测与决策模块进一步具体用于:基于所述穿刺成功数据库,通过学习获取先验概率;基于所述先验概率,通过循环迭代,结合对所述目标人体器官和穿刺针的所述位置信息进行特征值提取和归一化处理,计算隐含变量期望,并基于所述隐含变量期望,利用所述动态贝叶斯网络模型进行最大似然估计,直至迭代结果收敛,计算获取所述一次穿刺成功概率最大的穿刺位姿。
其中,所述穿刺针位姿模块进一步具体用于:根据当前位姿下所述穿刺手术机器人中各电机的电机码值,计算各所述电机的实际运行距离,并结合所述操作平台机械参数,计算穿刺针的进针角度信息、进针入口点信息以及穿刺深度信息。
其中,所述目标人体组织提取模块进一步具体用于:超声扫描所述穿刺目标区域,并利用基于阈值/区域增长的模型,对扫描到的所述穿刺目标区域的超声图像进行分割,运用移动立方体算法,基于血管的表面轮廓进行三维图像重建,并对重建的三维图像进行特值点采集和参数化,基于参数化的特值点确定所述目标人体器官。
其中,所述人体组织特征信号模块进一步具体用于:实时获取所述压力信号的各峰值和各极点值,并基于所述峰值和所述极点值,利用小波变换算法,提取所述目标人体器官上穿刺部位的状态特征,基于所述状态特征,确定所述穿刺状态。
其中,所述预测与决策模块进一步具体用于:基于所述穿刺状态和所述穿刺状态下穿刺成功的概率,对应进行继续穿刺、提拉、退针或按压的穿刺操作决策。
另一方面,本发明提供一种根据如上所述的面向穿刺手术机器人的智能手术决策系统的应用方法,包括:S1,通过对所述穿刺目标区域的超声检测,利用所述目标人体组织提取模块,对所述穿刺目标区域内组织器官进行三维建模,获取人体器官三维模型,并基于所述人体器官三维模型,提取目标人体器官;S2,调整所述穿刺手术机器人到达所述当前位姿,并利用所述穿刺针位姿模块,实现基于所述当前位姿下的所述电机码值和所述操作平台机械参数,获取所述当前位姿下穿刺针的所述位置信息和所述姿态信息;S3,基于所述目标人体器官与穿刺针的所述位置信息和所述姿态信息,以及预建的穿刺成功数据库,利用所述预测与决策模块,获取所述当前位姿下一次穿刺成功的概率,以及所述一次穿刺成功概率最大的穿刺位姿。
进一步的,在所述S3的步骤之后,所述方法还包括:基于所述一次穿刺成功概率最大的穿刺位姿,利用所述穿刺调控模块,调整所述穿刺手术机器人的位姿,并进行穿刺操作;利用所述人体组织特征信号模块,采集穿刺操作过程中穿刺针的压力信号,并基于所述压力信号分析穿刺状态;基于所述穿刺状态以及所述穿刺成功数据库,利用所述预测与决策模块,估计所述穿刺状态下穿刺成功的概率,并进行穿刺操作决策。
本发明提供的一种面向穿刺手术机器人的智能手术决策系统及其应用方法,在超声引导下对目标器官进行实时三维重建,通过动态贝叶斯网络等机器学习方法,对医生在手术过程中的操作数据和病人反馈回来的数据进行采集、存储、融合和处理,能够对穿刺手术过程进行实时决策和监控,并进行规划建议和决策预警,提高手术安全性。
附图说明
图1为本发明实施例一种面向穿刺手术机器人的智能手术决策系统的结构示意图;
图2为根据本发明实施例一种面向穿刺手术机器人的智能手术决策系统建立的穿刺针位姿坐标系示意图;
图3为根据本发明实施例一种面向穿刺手术机器人的智能手术决策系统的动态贝叶斯网络模型拓扑图;
图4为根据本发明实施例一种面向穿刺手术机器人的智能手术决策系统的人体组织受力特征信号分析图;
图5为本发明实施例一种根据如上所述的面向穿刺手术机器人的智能手术决策系统的应用方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
作为本发明实施例的一个方面,本实施例提供一种面向穿刺手术机器人的智能手术决策系统,参考图1,为本发明实施例一种面向穿刺手术机器人的智能手术决策系统的结构示意图,包括:目标人体组织提取模块1、穿刺针位姿模块2和预测与决策模块3。其中,
目标人体组织提取模块1用于根据对目标人体上穿刺目标区域的超声检测,对所述穿刺目标区域内组织器官进行三维建模,获取人体器官三维模型,并基于所述人体器官三维模型,提取目标人体器官;穿刺针位姿模块2用于基于穿刺手术机器人的电机码值和操作平台机械参数,获取所述穿刺手术机器人在当前位姿下穿刺针的位置信息和姿态信息;预测与决策模块3用于基于所述目标人体器官与穿刺针的所述位置信息和所述姿态信息,以及预建的穿刺成功数据库,利用预先建立的预测模型,计算所述穿刺手术机器人在当前位姿下一次穿刺成功的概率,以及一次穿刺成功概率最大的穿刺位姿。
可以理解为,本发明实施例的决策系统至少包括目标人体组织提取模块1、穿刺针位姿模块2和预测与决策模块3共三个处理模块。其中,目标人体组织提取模块1和穿刺针位姿模块2分别与预测与决策模块3之间通信连接,可进行数据的相互传输。
操作过程中,医生手持超声探头在拟穿刺病人身体部位,即目标人体上穿刺目标区域,进行多次缓慢扫掠,获取实时超声图像。基于该实时超声图像,目标人体组织提取模块1利用超声引导下的人体器官三维重建系统,通过扫掠过程对拟穿刺人体器官进行三维重建。并且,根据三维重建的立体图形进行特征点采集,将采集到的特征点参数化,存储至数据库中待用。
同时,医生通过手柄操作穿刺辅助手术机器人,调整机器人的穿刺前端到合适的位置、角度,即使所述穿刺手术机器人到达当前位姿,在GUI用户图形化界面中,显示穿刺路径规划线穿过拟穿刺的位置。利用穿刺针位姿模块2,根据医生调整好的机器人位姿,获取穿刺手术机器人在当前位姿下穿刺针的位置信息和姿态信息,并将这些参数存储至数据库中待用。
最后,利用预测与决策模块3,基于上述模块获取的目标人体器官和穿刺针的位置信息,联合已有的穿刺成功数据库,对已采集存储的各类参数进行比对和预估。最终提供给医生,针对拟穿刺人体器官的模型情况,在医生当前设定的位置、角度,一次穿刺成功的概率。并且在当前所知参数和条件下,给出一次穿刺成功概率最大的穿刺位置和穿刺角度建议。
本发明实施例提供的一种面向穿刺手术机器人的智能手术决策系统,在超声引导下对目标器官进行实时三维重建,通过动态贝叶斯网络等机器学习方法,对医生在手术过程中的操作数据和病人反馈回来的数据进行采集、存储、融合和处理,能够对穿刺手术过程进行实时决策和监控,并进行规划建议和决策预警,提高手术安全性。
其中可选的,目标人体组织提取模块1进一步具体用于:超声扫描所述穿刺目标区域,并利用基于阈值/区域增长的模型,对扫描到的所述穿刺目标区域的超声图像进行分割,运用移动立方体算法,基于血管的表面轮廓进行三维图像重建,并对重建的三维图像进行特值点采集和参数化,基于参数化的特值点确定所述目标人体器官。
可以理解为,利用目标人体组织提取模块1,通过医生手持超声探头,扫描病人拟穿刺人体部位。通过基于阈值/区域增长的模型,对图像进行分割与重建,运用移动立方体算法,利用血管的表面轮廓来构建三维图像。
其中一个实施例中,构建的三维图像将显示在设计的手术规划和决策系统中。同时,对所构建的三维图像进行特值点采集和参数化,获取各特值点(极值点)的数值,并基于该数值确定待穿刺的人体组织器官,即目标人体器官。
其中可选的,穿刺针位姿模块2进一步具体用于:根据当前位姿下所述穿刺手术机器人中各电机的电机码值,计算各所述电机的实际运行距离,并结合所述操作平台机械参数,计算穿刺针的进针角度信息、进针入口点信息以及穿刺深度信息。
可以理解为,利用穿刺针位姿模块2,以超声探头的一端为坐标系原点,以每个电机对应的接近开关位置作为零点,通过穿刺手术辅助机器人各电机反馈回来的电机码值,对电机的实际运行距离进行计算,进而建立坐标系,通过电机码值联合平台的机械参数,计算获取穿刺针的进针角度,进针入口点以及穿刺深度等信息,并将这些数据存储至数据库中待用,坐标系的建立如图2所示,为根据本发明实施例一种面向穿刺手术机器人的智能手术决策系统建立的穿刺针位姿坐标系示意图。
其中可选的,所述预测模型进一步具体为动态贝叶斯网络模型;
相应的,预测与决策模块3进一步具体用于:对所述目标人体器官和穿刺针的所述位置信息进行特征值提取和归一化处理,确定对应所述动态贝叶斯网络模型的可观测变量和隐变量的物理意义,并基于所述穿刺成功数据库,采用最大期望算法,利用所述动态贝叶斯网络模型,预测所述一次穿刺成功概率最大的穿刺位姿。
可以理解为,预测与决策模块3首先通过对所采集的数据进行特征值提取,确定可观测变量和隐变量的物理意义,对所有参数进行归一化处理,最终实现对所有数据之间关系进行建模,具体参数关系网络如图3所示,为根据本发明实施例一种面向穿刺手术机器人的智能手术决策系统的动态贝叶斯网络模型拓扑图。
预测与决策模块3主要根据所建立的动态贝叶斯网络,利用最大期望算法(EM算法),在建立的动态贝叶斯网络模型中寻找参数最大似然估计或者最大后验估计,预估最优穿刺位置和姿态,即一次穿刺成功概率最大的穿刺位姿。其中动态贝叶斯网络模型依赖于无法观测的隐藏变量。
其中,在一个实施例中,预测与决策模块3进一步具体用于:
基于所述穿刺成功数据库,通过学习获取先验概率;
基于所述先验概率,通过循环迭代,结合对所述目标人体器官和所述穿刺针的位置信息进行特征值提取和归一化处理,计算隐含变量期望,并基于所述隐含变量期望,利用所述动态贝叶斯网络模型进行最大似然估计,直至迭代结果收敛,计算获取所述一次穿刺成功概率最大的穿刺位姿。
可以理解为,在进行最优穿刺位姿估计时,需要先假设一个先验概率。在一个实施例中,该先验概率根据医生之前成功的穿刺手术的大量相关数据学习获取。
最大期望算法主要通过循环执行以下两个步骤实现:
步骤1,利用动态贝叶斯网络模型参数的当前估计值,计算隐藏变量的期望;
步骤2,基于获取的隐藏变量的期望,对动态贝叶斯网络模型进行最大似然估计,并利用找到的参数估计值更新动态贝叶斯网络模型参数的当前估计值,转入步骤1,直至估计收敛。
在进行上述最大期望算法时,按如下公式进行计算:
λk+1=argmaxλQ(λ|λk);
Q(λ|λK)=EX(1:T)[P(y1:T,x1:T|λ)|λk];
式中,E[N(i,j)|λk]表示充分期望值ESS,λ表示待估计初始化参数,Q表示联合概率密度函数,a表示状态转移矩阵,b表示混合矩阵,x表示目标系数,y表示初始系数。
其中,整个流程即初始化分布参数,然后重复执行直到收敛。步骤1中估计未知参数的期望值,给出当前的参数估计。步骤2中重新估计分布参数,以使得数据的似然性最大,给出未知变量的期望估计。
进一步的,在上述实施例的基础上,所述系统还包括:
穿刺调控模块,用于基于所述一次穿刺成功概率最大的穿刺位姿,调整所述穿刺手术机器人的位姿,并进行穿刺操作;
人体组织特征信号模块,用于采集穿刺操作过程中穿刺针的压力信号,并基于所述压力信号分析穿刺状态;
相应的,预测与决策模块3还用于,基于所述穿刺状态以及所述穿刺成功数据库,利用所述预测模型,估计所述穿刺状态下穿刺成功的概率,并进行穿刺操作决策。
可以理解为,在上述实施例的基础上,本发明实施例的系统至少还包括穿刺调控模块和人体组织特征信号模块。
穿刺操作中,在利用预测与决策模块3确定最优穿刺位姿后,穿刺调控模块根据系统给出的最优穿刺位姿,例如包括穿刺入口点和穿刺角度的建议,再次调整穿刺机器人的位姿,对病人进行穿刺操作。
在穿刺过程中,通过人体组织特征信号模块实时采集穿刺针的压力信号,并根据一定的特征提取和处理算法分析出被穿刺组织的受力情况,并进一步确定穿刺状态。
具体而言,由于血管组织具有一定的弹性,因此在穿刺针具刺入过程中会发生一定形变,这种血管形变是和穿刺针具所受到的阻力呈曲线比例关系的,通过实时监测穿刺阻力来判断血管形变是否处于安全范围内,以避免穿刺针具贯穿目标血管。
例如,根据单位时间内受力曲线斜率的变化情况,发出判断信号,分别为刺入皮肤、刺中血管、刺破血管和刺透血管。
最后,再次利用预测与决策模块3,联合已有的穿刺成功数据库,对已采集存储的各类参数,包括穿刺状态,进行比对和预估,给出该情况下穿刺成功的概率。并且,在当前所知参数和条件下,给出穿刺操作决策。
其中,在一个实施例中,预测与决策模块3进一步具体用于:基于所述穿刺状态和穿刺状态下穿刺成功的概率,对应进行继续穿刺、提拉、退针或按压的穿刺操作决策。即向医生给出对应的操作建议。
本发明实施例提供的一种面向穿刺手术机器人的智能手术决策系统,通过检测穿刺针的受力状态判断穿刺过程的进程状态,能够实现对医生成功穿刺的手术规划数据采集、存储处理,形成学习数据库,并根据这些数据库,在医生使用穿刺辅助手术机器人进行手术时,提供术前手术规划建议和术中手术决策预警的功能,能够提高穿刺手术辅助机器人的安全性和智能性的有益效果。
其中可选的,所述人体组织特征信号模块进一步具体用于:实时获取所述压力信号的各峰值和各极点值,并基于所述峰值和所述极点值,利用小波变换算法,提取所述目标人体器官上穿刺部位的状态特征,基于所述状态特征,确定所述穿刺状态。
可以理解为,所述的人体组织特征信号模块由安装在穿刺针末尾的高灵敏度的压力传感器、信号滤波器以及特征提取算法组成。在穿刺针进入人体后,实时获取压力的各峰值和极点特征值,并将这些信号进行数值归一化处理并存储于数据库中待用。
穿刺力显示的人体组织特征值信号如图4所示,为根据本发明实施例一种面向穿刺手术机器人的智能手术决策系统的人体组织受力特征信号分析图。该力信号在很大程度上反映了器官组织的特点,整个过程可划分为四个阶段。
观察上述四个阶段可知,针尖上的穿刺力发生了陡峭的变化,有着显著的信号特征,形成了可识别的模式。通常,信号快变意味着一种模式的发生,对应信号的高频成分。
进行模式分析时,要求时窗小,频窗大,使时频分析窗处在高频端的位置。小波变换即是这样的一个模式分析工具,即通过伸缩平移母小波得到的小波基,分解或重构穿刺力的时变信号,将信号投影到小波基构成的空间,从而获得小波基展开所产生的小波系数。这些系数反映了穿刺力信号在不同尺度下与小波基之间的相关性。
小波系数越大,说明穿刺力信号与某一个位置某一频率小波基的相关性越大,小波变换系数的能量分布越集中,那么,组织内部或者组织之间的层次模式就越明显。所以,在特征提取算法中,采用小波变换来对人体组织特性结构进行分层处理。
另一方面,本发明提供一种根据如上所述的面向穿刺手术机器人的智能手术决策系统的应用方法,参考图5,为本发明实施例一种根据如上所述的面向穿刺手术机器人的智能手术决策系统的应用方法的流程图,包括:
S1,通过对所述穿刺目标区域的超声检测,利用所述目标人体组织提取模块,对所述穿刺目标区域内组织器官进行三维建模,获取人体器官三维模型,并基于所述人体器官三维模型,提取目标人体器官;
S2,调整所述穿刺手术机器人到达所述当前位姿,并利用所述穿刺针位姿模块,实现基于所述当前位姿下的所述电机码值和所述操作平台机械参数,获取所述当前位姿下穿刺针的所述位置信息和所述姿态信息;
S3,基于所述目标人体器官与穿刺针的所述位置信息和所述姿态信息,以及预建的穿刺成功数据库,利用所述预测与决策模块,获取所述当前位姿下一次穿刺成功的概率,以及所述一次穿刺成功概率最大的穿刺位姿。
可以理解为,本实施例提供一种根据上述实施例所述系统的应用方法,基于上述系统进行人体的穿刺决策算法。首先,步骤S1中,医生手持超声探头在拟穿刺病人身体部位进行多次缓慢扫掠,超声引导下的目标人体组织提取模块1通过扫掠过程对拟穿刺人体器官进行三维重建。并且,根据三维重建的立体图形进行特征点采集,将采集到的特征点参数化,存储至数据库中待用。
然后,在步骤S2中,医生通过手柄操作,或者利用操控系统控制穿刺辅助手术机器人,调整机器人的穿刺前端到合适的位置、角度。在GUI用户图形化界面中,看到穿刺路径规划线穿过拟穿刺的位置。
利用穿刺针位姿模块2,根据医生或者自动调整好的机器人位姿,获取相关参数,如穿刺角度、穿刺位置、穿刺入口点等,并将这些参数存储至数据库中待用。
最后,在步骤S3中,利用预测与决策模块3,通过基于动态贝叶斯网络的数据融合、学习及预估,联合已有的穿刺成功数据库,对已采集存储的各类参数进行比对和预估。针对拟穿刺人体器官的模型情况,在当前设定的机器人位置、角度,计算一次穿刺成功的概率。并且,在当前所知参数和条件下,给出一次穿刺成功概率最大的穿刺位置和穿刺角度建议。
本发明实施例提供的一种面向穿刺手术机器人的智能手术决策系统的应用方法,在超声引导下对目标器官进行实时三维重建,通过动态贝叶斯网络等机器学习方法,对在手术过程中的操作数据和病人反馈回来的数据进行采集、存储、融合和处理,能够对穿刺手术过程进行实时决策和监控,并进行规划建议和决策预警,提高手术安全性。
进一步的,在所述S3的步骤之后,所述方法还包括:
基于所述一次穿刺成功概率最大的穿刺位姿,利用所述穿刺调控模块,调整所述穿刺手术机器人的位姿,并进行穿刺操作;
利用所述人体组织特征信号模块,采集穿刺操作过程中穿刺针的压力信号,并基于所述压力信号分析穿刺状态;
基于所述穿刺状态以及所述穿刺成功数据库,利用所述预测与决策模块,估计所述穿刺状态下穿刺成功的概率,并进行穿刺操作决策。
可以理解为,在本实施例中,通过控制模块自动调节,或者由医生根据系统给出的穿刺入口点和穿刺角度的建议,再次调整穿刺机器人的位姿,然后对病人进行穿刺操作。在穿刺过程中,通过人体组织特征信号模块实时采集穿刺针的压力信号,并根据一定的特征提取和处理算法,分析出目标人体待穿刺组织的受力情况,并进一步确定穿刺状态。
然后,联合已有的穿刺成功数据库,对已采集存储的各类参数进行比对和预估,给出该情况下穿刺成功的概率。且在当前所知参数和条件下,预估相应穿刺状态下穿刺成功的概率,并进行穿刺操作决策。例如给出对应穿刺状态下是否退针或采取按压、提拉等手法的建议。
本发明实施例提供的一种面向穿刺手术机器人的智能手术决策系统的应用方法,面向穿刺辅助手术机器人,通过人工智能、机器学习算法,对手术过程中的各类数据进行学习和预估,能够有效的提高穿刺手术一次成功率,从而实现手术规划建议和决策预警的目的。同时,具有便携、对人体无危害等优点。特别是对于医疗资源不发达的地级医院,能够解决其医生资源匮乏的问题。且能够有效的推动穿刺手术辅助机器人的智能化和自动化。
另外,本领域内的技术人员应当理解的是,在本发明的申请文件中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明的说明书中,说明了大量具体细节。然而应当理解的是,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。类似地,应当理解,为了精简本发明公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。
然而,并不应将该公开的方法解释呈反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种面向穿刺手术机器人的智能手术决策系统,其特征在于,包括:
目标人体组织提取模块,用于根据对目标人体上穿刺目标区域的超声检测,对所述穿刺目标区域内组织器官进行三维建模,获取人体器官三维模型,并基于所述人体器官三维模型,提取目标人体器官;
穿刺针位姿模块,用于基于穿刺手术机器人的电机码值和操作平台机械参数,获取所述穿刺手术机器人在当前位姿下穿刺针的位置信息和姿态信息;
预测与决策模块,用于基于所述目标人体器官与穿刺针的所述位置信息和所述姿态信息,以及预建的穿刺成功数据库,利用预先建立的预测模型,计算所述穿刺手术机器人在当前位姿下一次穿刺成功的概率,以及一次穿刺成功概率最大的穿刺位姿。
2.根据权利要求1所述的系统,其特征在于,还包括:
穿刺调控模块,用于基于所述一次穿刺成功概率最大的穿刺位姿,调整所述穿刺手术机器人的位姿,并进行穿刺操作;
人体组织特征信号模块,用于采集穿刺操作过程中穿刺针的压力信号,并基于所述压力信号分析穿刺状态;
相应的,所述预测与决策模块还用于,基于所述穿刺状态以及所述穿刺成功数据库,利用所述预测模型,估计所述穿刺状态下穿刺成功的概率,并进行穿刺操作决策。
3.根据权利要求2所述的系统,其特征在于,所述预测模型进一步具体为动态贝叶斯网络模型;
相应的,所述预测与决策模块进一步具体用于:
对所述目标人体器官和穿刺针的所述位置信息进行特征值提取和归一化处理,确定对应所述动态贝叶斯网络模型的可观测变量和隐变量的物理意义;
基于所述穿刺成功数据库,采用最大期望算法,利用所述动态贝叶斯网络模型,预测所述一次穿刺成功概率最大的穿刺位姿。
4.根据权利要求3所述的系统,其特征在于,所述预测与决策模块进一步具体用于:
基于所述穿刺成功数据库,通过学习获取先验概率;
基于所述先验概率,通过循环迭代,结合对所述目标人体器官和穿刺针的所述位置信息进行特征值提取和归一化处理,计算隐含变量期望,并基于所述隐含变量期望,利用所述动态贝叶斯网络模型进行最大似然估计,直至迭代结果收敛,计算获取所述一次穿刺成功概率最大的穿刺位姿。
5.根据权利要求2所述的系统,其特征在于,所述穿刺针位姿模块进一步具体用于:
根据当前位姿下所述穿刺手术机器人中各电机的电机码值,计算各所述电机的实际运行距离,并结合所述操作平台机械参数,计算穿刺针的进针角度信息、进针入口点信息以及穿刺深度信息。
6.根据权利要求2所述的系统,其特征在于,所述目标人体组织提取模块进一步具体用于:
超声扫描所述穿刺目标区域,并利用基于阈值/区域增长的模型,对扫描到的所述穿刺目标区域的超声图像进行分割;
运用移动立方体算法,基于血管的表面轮廓进行三维图像重建,并对重建的三维图像进行特值点采集和参数化;
基于参数化的特值点确定所述目标人体器官。
7.根据权利要求2所述的系统,其特征在于,所述人体组织特征信号模块进一步具体用于:
实时获取所述压力信号的各峰值和各极点值,并基于所述峰值和所述极点值,利用小波变换算法,提取所述目标人体器官上穿刺部位的状态特征;
基于所述状态特征,确定所述穿刺状态。
8.根据权利要求2所述的系统,其特征在于,所述预测与决策模块进一步具体用于:
基于所述穿刺状态和所述穿刺状态下穿刺成功的概率,对应进行继续穿刺、提拉、退针或按压的穿刺操作决策。
9.一种根据权利要求2-8中任一所述的系统的应用方法,其特征在于,包括:
S1,通过对所述穿刺目标区域的超声检测,利用所述目标人体组织提取模块,对所述穿刺目标区域内组织器官进行三维建模,获取人体器官三维模型,并基于所述人体器官三维模型,提取目标人体器官;
S2,调整所述穿刺手术机器人到达所述当前位姿,并利用所述穿刺针位姿模块,实现基于所述当前位姿下的所述电机码值和所述操作平台机械参数,获取所述当前位姿下穿刺针的所述位置信息和所述姿态信息;
S3,基于所述目标人体器官与穿刺针的所述位置信息和所述姿态信息,以及预建的穿刺成功数据库,利用所述预测与决策模块,获取所述当前位姿下一次穿刺成功的概率,以及所述一次穿刺成功概率最大的穿刺位姿。
10.根据权利要求9所述的应用方法,其特征在于,在所述S3的步骤之后,还包括:
基于所述一次穿刺成功概率最大的穿刺位姿,利用所述穿刺调控模块,调整所述穿刺手术机器人的位姿,并进行穿刺操作;
利用所述人体组织特征信号模块,采集穿刺操作过程中穿刺针的压力信号,并基于所述压力信号分析穿刺状态;
基于所述穿刺状态以及所述穿刺成功数据库,利用所述预测与决策模块,估计所述穿刺状态下穿刺成功的概率,并进行穿刺操作决策。
CN201810236513.0A 2018-03-21 2018-03-21 面向穿刺手术机器人的智能手术决策系统及其应用方法 Expired - Fee Related CN108648821B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810236513.0A CN108648821B (zh) 2018-03-21 2018-03-21 面向穿刺手术机器人的智能手术决策系统及其应用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810236513.0A CN108648821B (zh) 2018-03-21 2018-03-21 面向穿刺手术机器人的智能手术决策系统及其应用方法

Publications (2)

Publication Number Publication Date
CN108648821A true CN108648821A (zh) 2018-10-12
CN108648821B CN108648821B (zh) 2020-12-01

Family

ID=63744629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810236513.0A Expired - Fee Related CN108648821B (zh) 2018-03-21 2018-03-21 面向穿刺手术机器人的智能手术决策系统及其应用方法

Country Status (1)

Country Link
CN (1) CN108648821B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109528268A (zh) * 2018-11-30 2019-03-29 广东工业大学 一种骨扩孔手术的扩孔工具前进路径的判断方法
CN109589145A (zh) * 2018-12-28 2019-04-09 吴莹 一种智能化肾穿刺控制系统
CN109805991A (zh) * 2019-03-14 2019-05-28 北京理工大学 血管穿刺辅助控制方法及装置
CN111916214A (zh) * 2020-07-16 2020-11-10 天津理工大学 一种用于血管介入手术医生训练系统的导管轨迹预测方法
CN112151169A (zh) * 2020-09-22 2020-12-29 深圳市人工智能与机器人研究院 一种仿人操作的超声机器人自主扫描方法及系统
CN115844545A (zh) * 2023-02-27 2023-03-28 潍坊医学院附属医院 一种血管介入智能手术机器人及控制方法
CN116052864A (zh) * 2023-02-03 2023-05-02 广东工业大学 基于数字孪生的穿刺手术机器人虚拟测试环境构建方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023002312A1 (en) * 2021-07-19 2023-01-26 Auris Health, Inc. Phase segmentation of a percutaneous medical procedure

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1243690A (zh) * 1997-08-27 2000-02-09 北京航空航天大学 机器人脑外科设备系统及其实现方法
CN101542240A (zh) * 2006-09-25 2009-09-23 马佐尔外科技术公司 C型臂计算机断层成像系统
CN102207997A (zh) * 2011-06-07 2011-10-05 哈尔滨工业大学 基于力反馈的机器人微创手术仿真系统
CN102933163A (zh) * 2010-04-14 2013-02-13 史密夫和内修有限公司 用于基于患者的计算机辅助手术程序的系统和方法
CN104248471A (zh) * 2013-06-27 2014-12-31 中国科学院沈阳自动化研究所 一种机器人辅助斜尖柔性针穿刺系统及方法
CN104902253A (zh) * 2015-02-09 2015-09-09 北京理工大学 一种基于改进贝叶斯模型的立体图像生成方法
CN105144196A (zh) * 2013-02-22 2015-12-09 微软技术许可有限责任公司 用于计算相机或对象姿态的方法和设备
US20170020636A1 (en) * 2015-04-16 2017-01-26 Hadi Akeel System and method for robotic digital scanning of teeth
CN107296645A (zh) * 2017-08-03 2017-10-27 东北大学 肺穿刺手术最优路径规划方法及肺穿刺手术导航系统
CN107590856A (zh) * 2017-09-06 2018-01-16 刘立军 神经外科手术导航系统中解剖图谱的三维可视化应用方法
CN106983545B (zh) * 2017-04-10 2019-07-30 牡丹江医学院 一种彩超骨科穿刺双引导控制系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1243690A (zh) * 1997-08-27 2000-02-09 北京航空航天大学 机器人脑外科设备系统及其实现方法
CN101542240A (zh) * 2006-09-25 2009-09-23 马佐尔外科技术公司 C型臂计算机断层成像系统
CN102933163A (zh) * 2010-04-14 2013-02-13 史密夫和内修有限公司 用于基于患者的计算机辅助手术程序的系统和方法
CN102207997A (zh) * 2011-06-07 2011-10-05 哈尔滨工业大学 基于力反馈的机器人微创手术仿真系统
CN105144196A (zh) * 2013-02-22 2015-12-09 微软技术许可有限责任公司 用于计算相机或对象姿态的方法和设备
CN104248471A (zh) * 2013-06-27 2014-12-31 中国科学院沈阳自动化研究所 一种机器人辅助斜尖柔性针穿刺系统及方法
CN104902253A (zh) * 2015-02-09 2015-09-09 北京理工大学 一种基于改进贝叶斯模型的立体图像生成方法
US20170020636A1 (en) * 2015-04-16 2017-01-26 Hadi Akeel System and method for robotic digital scanning of teeth
CN106983545B (zh) * 2017-04-10 2019-07-30 牡丹江医学院 一种彩超骨科穿刺双引导控制系统
CN107296645A (zh) * 2017-08-03 2017-10-27 东北大学 肺穿刺手术最优路径规划方法及肺穿刺手术导航系统
CN107590856A (zh) * 2017-09-06 2018-01-16 刘立军 神经外科手术导航系统中解剖图谱的三维可视化应用方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
TAKAMASA KOSHIZEN: ""The architecture of a Gaussian mixture Bayes (GMB)"", 《JOURNAL OF SYSTEMS ARCHITECTURE》 *
杜志江等: ""机器人辅助经皮穿刺手术系统发展概况"", 《中国医疗器械杂志》 *
胡旺宁: ""经皮穿刺手术软组织穿刺力建模与机器人应用软件设计"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
赵洪华等: ""机器人辅助靶向穿刺手术关键技术综述"", 《济南大学学报(自然科学版)》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109528268A (zh) * 2018-11-30 2019-03-29 广东工业大学 一种骨扩孔手术的扩孔工具前进路径的判断方法
CN109589145A (zh) * 2018-12-28 2019-04-09 吴莹 一种智能化肾穿刺控制系统
CN109805991A (zh) * 2019-03-14 2019-05-28 北京理工大学 血管穿刺辅助控制方法及装置
CN109805991B (zh) * 2019-03-14 2022-02-01 北京理工大学 血管穿刺辅助控制方法及装置
CN111916214A (zh) * 2020-07-16 2020-11-10 天津理工大学 一种用于血管介入手术医生训练系统的导管轨迹预测方法
CN111916214B (zh) * 2020-07-16 2024-04-16 深圳爱博合创医疗机器人有限公司 一种用于血管介入手术医生训练系统的导管轨迹预测方法
CN112151169A (zh) * 2020-09-22 2020-12-29 深圳市人工智能与机器人研究院 一种仿人操作的超声机器人自主扫描方法及系统
CN112151169B (zh) * 2020-09-22 2023-12-05 深圳市人工智能与机器人研究院 一种仿人操作的超声机器人自主扫描方法及系统
CN116052864A (zh) * 2023-02-03 2023-05-02 广东工业大学 基于数字孪生的穿刺手术机器人虚拟测试环境构建方法
CN116052864B (zh) * 2023-02-03 2023-10-20 广东工业大学 基于数字孪生的穿刺手术机器人虚拟测试环境构建方法
CN115844545A (zh) * 2023-02-27 2023-03-28 潍坊医学院附属医院 一种血管介入智能手术机器人及控制方法

Also Published As

Publication number Publication date
CN108648821B (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN108648821A (zh) 面向穿刺手术机器人的智能手术决策系统及其应用方法
CN110432977A (zh) 一种电脉冲消融设备以及适用其仿真方法
CN110652317B (zh) 一种产前胎儿超声容积图像中标准切面的自动定位方法
CN105474219B (zh) 用于根据医学图像和临床数据来估计生理学心脏测量的系统和方法
CN106901834A (zh) 微创心脏外科手术的术前规划及手术虚拟现实模拟方法
CN101449985B (zh) 根据3-d图像和表面标测的解剖建模
US6546378B1 (en) Signal interpretation engine
CN108836440A (zh) 一种穿刺辅助机器人的控制决策方法与系统
CN101551906B (zh) 基于三维区域分水岭的腹部ct图像主要血管提取方法
CN107103182A (zh) 一种基于深度学习算法的心脏性疾病风险预警系统及方法
CN105825752A (zh) 基于力反馈设备的虚拟眼角膜手术培训系统
CN109979600A (zh) 基于虚拟现实的眼眶手术训练方法、系统和存储介质
EP4201339A1 (en) Muscle training method and system for providing visual feedback by using ultrasonic imaging
CN111973228A (zh) B超数据采集分析诊断一体化机器人,平台
CN112244883A (zh) 基于ct图像提取左心耳数据参数的方法及系统
CN106156398A (zh) 用于计算机辅助地模拟外科手术的设备和方法
CN110752032A (zh) 一种基于卷积神经网络和激光测振的中医诊断方法
CN109034259A (zh) 肿瘤介入装置的图像控制系统、方法、终端、储存介质
CN116416383A (zh) 动态模型建立方法、模拟操作方法、装置、设备和介质
CN106845138A (zh) 一种手术术前预演方法
CN107307906A (zh) 腹部CT在mimics三维重建引导下肝脏组织活检定位方法
CN115421594A (zh) 一种基于虚拟训练及考试评分的装置与方法
CN113648060B (zh) 超声引导的软组织形变跟踪方法、装置、存储介质及系统
CN109859849B (zh) 一种基于分段人工神经网络的软组织穿刺力建模方法
CN202815838U (zh) 一种带有影像三维处理装置的消融治疗影像引导设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201201