CN112155729A - 手术穿刺路径智能自动化规划方法及系统和医疗系统 - Google Patents

手术穿刺路径智能自动化规划方法及系统和医疗系统 Download PDF

Info

Publication number
CN112155729A
CN112155729A CN202011103118.9A CN202011103118A CN112155729A CN 112155729 A CN112155729 A CN 112155729A CN 202011103118 A CN202011103118 A CN 202011103118A CN 112155729 A CN112155729 A CN 112155729A
Authority
CN
China
Prior art keywords
data
puncture
neural network
dimensional
puncture path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011103118.9A
Other languages
English (en)
Other versions
CN112155729B (zh
Inventor
宋博
牛朝诗
张强
熊赤
蔡斌
阚宏林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Affiliated Hospital Of University Of Science And Technology Of China
Hefei Institutes of Physical Science of CAS
Original Assignee
First Affiliated Hospital Of University Of Science And Technology Of China
Hefei Institutes of Physical Science of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Affiliated Hospital Of University Of Science And Technology Of China, Hefei Institutes of Physical Science of CAS filed Critical First Affiliated Hospital Of University Of Science And Technology Of China
Priority to CN202011103118.9A priority Critical patent/CN112155729B/zh
Publication of CN112155729A publication Critical patent/CN112155729A/zh
Application granted granted Critical
Publication of CN112155729B publication Critical patent/CN112155729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0801—Prevention of accidental cutting or pricking
    • A61B2090/08021—Prevention of accidental cutting or pricking of the patient or his organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供能够快速确定手术穿刺路径及入针点位置、可供脑立体定位仪或医疗机械臂实现自动穿刺手术操作的基于机器学习的手术穿刺路径智能自动化规划方法及系统和医疗系统。本发明的规划方法包括：步骤(1)，获取现有病例的样本图像数据，制作训练数据及测试数据；步骤(2)，设计三维分割深度神经网络模型，并对其进行训练；步骤(3)，利用训练完成的三维分割深度神经网络模型对患者的样本图像数据进行分割、识别；步骤(4)，基于分割识别结果和样本图像数据，构建三维模型；步骤(5)，基于靶点位置及医学先验信息，确定安全进针约束区域；和步骤(6)，在安全进针约束区域内，利用三维空间轨迹规划算法，完成手术穿刺路径规划。

Description

手术穿刺路径智能自动化规划方法及系统和医疗系统
技术领域
本发明属于人工智能与医疗自动化技术领域，涉及基于机器学习的手术穿刺路径智能自动化规划方法及手术穿刺路径智能自动化规划系统、和包括该手术穿刺路径智能自动化规划系统的医疗系统，本发明能够用于医疗手术穿刺机器人或无创式手术3D自动定位导航平台。
背景技术
在外科穿刺手术(穿刺活检、定向血肿抽吸、定向植入等)中，医生进行穿刺路径规划时需要在手术导航软件上反复查看计算机断层扫描(CT)图像或核磁共振成像(MRI)图像，通过在患者头部或腹胸腔部等的横断面、矢状面、冠状面视图中不断调整穿刺针轨迹来完成手术规划。在这个过程中，医生需要花费大量时间来确保靶点准确和调整合适的穿刺路径以避开重要组织，这不仅要求医生临床经验丰富，熟练手术导航软件，而且增加了手术时间和医生工作量，长时间的人工操作还容易造成医生的视觉与体力疲劳，不利于手术的顺利进行，同时造成了潜在的医疗安全隐患。
随着机器学习在各个领域的应用发展，将机器学习运用于医疗领域具有很大的发展潜力，过往有研究通过机器学习的方法对组织图像进行分割、识别，判断病变部位和种类来辅助医生完成医疗诊断等，但借助机器学习的方法获取脑部或腹胸腔部图像以及靶区组织(病灶、血肿、特定组织等)的相应特征，从而自动规划穿刺路径、用于穿刺手术的研究未有报道。
《中国微侵袭神经外科杂志》2017年2月20日第22卷第2期p.49-50报道了一种“功能神经外科精准时代的助推器——ROSA手术机器人”，采用一种无标记点的激光自动注册和配准方式来实现术中激光定向与定位功能，同时带有强大的影像处理功能，可将病人多种影像资料(如CTA、MRA等)进行高质量融合，形成三维图像，进而根据靶点核团或血肿形态、颅内血管走行等设计个性化手术路径；医生提前设定好手术靶点和手术路径后，机械臂可自行定位和穿刺。该机器人系统可适用于神经内镜手术并可术中实时导航，极大地增加神经外科手术精准度和安全性，且操作简易，应用范围广，减少围手术期并发症。但该机器人系统庞大复杂，造价昂贵，一套机器人系统需要耗资上千万，并且应用范围不够广泛，由于需要脑深部电刺激(DBS)植入，故只能用于神经外科领域，无法推广至胸、腹部外科手术等其他应用场合。
CN107669342A(申请号：CN201711068286.7)公开了“一种具有精确定位效果的手术机器人”，主要用于心脏外科和前列腺切除术，通过红外感应器和深度感应器的配合使用，可以检测到人体的红外线从而通过控制器控制驱动器的运转，通过控制器控制驱动器能够带动手术刀进行手术工作，具有精确定位效果，能大大提高对患者的手术效果。然而机器人缺乏一套完善可靠的术前手术计划系统，智能化程度不够高。
CN104083217A(申请号：CN201410314667.9)公开了“一种手术定位装置和方法以及机器人手术系统”，该手术定位装置包括定位标尺、上位机和至少六自由度的串联机械臂，上位机与串联机械臂连接，定位标尺包括透X光的两相对面，两相对面通过透X光的连接面固定连接，两相对面上均设置有一组标记，每组标记包括至少四个不在一条直线上的标记点，标记点为不透X光的部件；任一相对面或连接面固定连接标尺柄，标尺柄通过接口与串联机械臂末端连接；上位机通过控制串联机械臂的运动来调整定位标尺的位置以进行透射角度的变换，并根据采集的图像中的标记点进行空间定位计算，得到规划路径。该装置能够实现任意角度的透视定位，并能消除计算手术路径时引起的系统误差，增大工作空间，提高手术定位精度。但该装置的手术路径规划及定位系统比较复杂繁琐，且缺乏一定的力和位置检测反馈系统，无法获得针对患者要害区域和关键器官部位的准确分割识别结果以及安全进针约束区域，规划效率不够高。
CN106236258A(申请号：CN201610681311.8)公开了一种“腹腔微创手术穿刺路径的规划方法及装置”，通过超声单元实时捕获腹腔中病灶脏器生成超声图像；根据实时捕获的所述超声图像确定腹腔中病灶脏器的动态变化；以及根据所述病灶脏器的动态变化，对预先规划的穿刺路径进行微调，以使微调后的穿刺路径仅针对所述病灶脏器而避开除所述病灶脏器外的敏感器官。该规划方法实现了对穿刺路径的微调，使得微调后的穿刺路径准确地对准病灶脏器上的靶点，从而降低了手术方案的制定难度。但该规划方法仍属于传统领域的影像特征识别方法，不具备人工智能因素，识别精确度与操作智能化程度有限。
发明内容
发明要解决的技术问题
本发明是为避免上述现有技术所存在不足之处，提供一种智能化程度高、规划效率高、定位精度高、安全性好、性价比高的基于机器学习的手术穿刺路径智能自动化规划方法、手术穿刺路径智能自动化规划系统、和包括该手术穿刺路径智能自动化规划系统的医疗系统，其能够用于医疗手术穿刺机器人或无创式手术3D自动定位导航平台。
用于解决技术问题的手段
为解决上述技术问题，本发明提供一种基于机器学习的手术穿刺路径智能自动化规划方法，其包括以下步骤(1)～(6)。
步骤(1)，获取多个现有病例中的与待手术患者病灶所在区域相同的区域的样本图像数据，对该样本图像数据进行预处理，在经预处理后的该样本图像数据所表示的图像中标注重要血管、神经和关键组织、器官以及进针约束区域，制作训练数据及测试数据。
所述现有病例的数量例如可以为50例以上。所述样本图像数据例如可以为计算机断层扫描(CT)数据和核磁共振成像(MRI)数据中的至少一者。在所述预处理中，对所述样本图像数据进行例如偏置场校正(bias field correction)、灰度均衡化等预处理。
磁共振成像系统常常由于磁场的变化导致同一组织内扫描图像亮度的不均匀性，这一现象称为偏置场。偏置场的存在对后续的组织器官的分割将产生重要影响，因此，需要对所获取的磁共振图像统计偏移值，使用例如插值算法，进行偏置场校正处理。
灰度均衡化是指通过拉伸像素强度分布范围来增强图像对比度的处理。灰度均衡化的方法例如为直方图均衡化，通过统计图像的灰度直方图，调整图像灰度级动态范围，用于提高计算机断层扫描(CT)数据和核磁共振成像(MRI)数据的对比度。
图像中的重要血管、神经和关键组织、器官的标注可以是人工进行，也可以是由专业软件进行，还可以是由专业软件标注后再人工进行修正。
步骤(2)，基于聚类的思想，构造三维分割深度神经网络损失函数，并设计三维分割深度神经网络结构，以步骤(1)中标注的多模态数据作为训练数据输入该三维分割深度神经网络进行深度学习，训练得到三维分割深度神经网络模型。
步骤(2)中的聚类是指将多个对象的集合分成由类似的对象组成的多个类别的过程，通过聚类生成的一组对象的集合称为簇，同一个簇中的对象彼此相似、且与其它簇中的对象相异，某一类别特征的中心称为质心即簇心，
在步骤(2)中基于聚类的思想构造所述三维分割深度神经网络损失函数时，使得在特征空间，同一类别的特征与其类内质心距离尽可能小，与不同类别的质心距离尽可能大，
步骤(2)中构造的所述三维分割深度神经网络损失函数包括下述三个部分：
(1)方差项Lvar，其用于在特征空间使同一类别的数据向其簇心聚集的拉力；
(2)距离项Ldist，其用于在特征空间使不同类别的簇心之间相互远离的斥力；和
(3)正则化项Lreg，其用于在特征空间使所有的簇心向原点的拉力，
设当同一类别的数据距离其簇心的距离小于阈值δv时，方差项Lvar产生的拉力将不再产生作用，
设当两个不同类别簇心之间的距离大于阈值2δd时，距离项Ldist产生的斥力将不再产生作用，
设步骤(2)中使用的所述训练数据的类别数为C，第c类含有的元素个数为Nc，xi为第c类中的元素，μc为第c类的簇心，||·||表示L2距离即
Figure BDA0002726074030000051
定义[x]+＝max(0,x)时，方差项Lvar、距离项Ldist和正则化项Lreg分别由下述式子表示：
Figure BDA0002726074030000052
Figure BDA0002726074030000053
Figure BDA0002726074030000054
其中，1≤c≤C，1≤i≤Nc，μcA表示类别A的簇心，μcB表示类别B的簇心，
所述三维分割深度神经网络损失函数由下述的L表示：
L＝α·Lvar+β·Ldist+γ·Lreg
其中，α、β、γ为权重项，0≤α≤10，0≤β≤10，0≤γ≤1，例如可以是α＝1，β＝1，γ＝0.001。
所述样本图像数据例如是计算机断层扫描数据和核磁共振成像数据，所述多模态数据例如是计算机断层扫描数据和核磁共振成像数据。
所谓多模态数据，是指为反映同一病灶采取不同成像模式得到的数据，例如医学图像中的CT、MRI、PET等数据。
步骤(2)中的所述三维分割深度神经网络可以为改进的3D V-Net网络，该3D V-Net使用三维卷积，将所述训练数据和测试数据作为输入数据，经过多次交替卷积、下采样操作，再经过相同次数的交替卷积、上采样操作，得到预测结果，用于分割血管、神经、组织、器官。
在本步骤中可引入残差模块，同时，为了进一步确保分割精度，可使用深度监督机制，在各个上采样阶段均计算分割损失。
步骤(3)，获取所述待手术患者的所述病灶所在区域的样本图像数据，对该样本图像数据进行预处理，将经预处理后的该样本图像数据作为输入数据放入步骤(2)中训练完成的所述三维分割深度神经网络模型，利用所述三维分割深度神经网络模型对潜在穿刺路径周围重要血管、神经和关键组织、器官进行分割、识别，得到重要血管、神经和关键组织、器官的分割识别结果。
所述样本图像数据例如可以为所述待手术患者的计算机断层扫描(CT)数据和核磁共振成像(MRI)数据。
所述预处理的内容例如可以与对现有病例进行的预处理相同。
步骤(4)，基于步骤(3)中得到的所述分割识别结果和步骤(3)中获取的所述样本图像数据，对所述待手术患者的所述样本图像数据中的重要血管、神经和关键组织、器官以及靶点组织进行三维重构，构建人体局部三维模型。
在步骤(4)中，依据三维分割深度神经网络模型的分割识别结果和待手术患者的样本图像数据(例如，计算机断层扫描(CT)数据和核磁共振成像(MRI)数据)的参数(包括层厚等)，快速重构人体局部三维模型。
步骤(5)，将步骤(1)中在所述多个现有病例中标注的所述进针约束区域的样本图像数据作为深度学习目标检测算法的训练数据，训练得到用于进针区域检测的深度神经网络模型，使用该深度神经网络模型，基于给定的靶点位置及医学先验信息，确定符合医学要求的进针约束区域即安全进针约束区域。
步骤(5)中用于进针区域检测的所述深度学习目标检测算法例如可以为Faster-RCNN算法，所述Faster-RCNN算法以计算机断层扫描数据或者核磁共振成像数据的2D切片作为输入数据，用于检测进针区域。
可以将患者病例中人工标记的进针区域的MRI数据作为进针区域深度学习目标检测算法Faster-RCNN的训练数据，训练得到用于进针区域检测的深度神经网络模型，用于提取符合医学要求的进针约束区域，Faster-RCNN首先通过一组基础的卷积+激活函数relu+下采样pooling层得到输入图像的卷积特征图，然后在卷积特征图上寻找包含目标的边界框，最后基于另一组卷积+下采样+全连接网络对边界框内的内容进行分类，并回归得到物体最优的边界框，Faster-RCNN精确的检测能力能够准确地确定安全进针约束区域。
步骤(6)，在步骤(5)中确定的所述安全进针约束区域内，以需要避开的血管、神经、组织、器官作为障碍物，使用三维空间轨迹规划算法得到最佳穿刺点及穿刺路径，基于穿刺视角对手术规划路径进行三维验证并就穿刺过程进行三维模拟，完成手术穿刺路径规划。
可以是，在步骤(6)中，以需要避开的血管、神经、组织、器官作为障碍物，以图像坐标系原点作为世界坐标系原点，将图像坐标乘以像素的物理间距，沿图像坐标系xyz方向构建世界坐标系XYZ，在世界坐标系下，靶点位置为(X0,Y0,Z0)，在所述安全进针约束区域与靶点构成的锥形区域内，规划穿刺路径，使得穿刺针离所有障碍物的最小距离尽可能大，且穿刺路径尽可能短，即使得目标优化函数取值最小，
设核磁共振成像的每一层之间的物理间距为dmm，则靶点往上第k层序列距离为kd，穿刺针在第k层的坐标为(Xk,Yk,Zk)，穿刺针运动学方程如下：
Figure BDA0002726074030000071
Figure BDA0002726074030000072
Zk＝kd+Z0
Figure BDA0002726074030000073
其中，θ和
Figure BDA0002726074030000074
为球坐标系下的天顶角和方位角，r表示(Xk,Yk,Zk)到靶点的距离，穿刺针路径的目标优化函数如下：
Figure BDA0002726074030000075
其中，Dk表示核磁共振成像序列图像每一层穿刺位置与障碍物之间的最小距离，n表示入针点至靶点核磁共振成像序列的层数，(Xn,Yn,Zn)为在所述安全进针约束区域的入针点位置坐标，a、b为权重参数，a+b＝1，0＜a＜1，0＜b＜1，
在锥形约束区域内，通过遍历迭代寻优，调整球坐标系下的天顶角θ和方位角
Figure BDA0002726074030000076
直至目标优化函数取值最小即得到最佳穿刺点及穿刺路径。
在本发明中，将手术穿刺路径规划问题转化为三维空间内的轨迹规划问题，以需要避开的组织、器官等作为障碍物，使用三维空间轨迹规划算法得到最佳穿刺点及穿刺路径。
为了保证本发明的手术穿刺路径智能自动化规划方法所规划出的穿刺路径的安全性，可由医生进行“弱监督”。所谓“弱监督”是指：医生对手术穿刺路径规划的安全性负责，当利用本发明的手术穿刺路径智能自动化规划方法完成穿刺路径规划时，医生对规划出的穿刺路径进行校验，判断该穿刺路径是否会触及重要的组织；如果判断为该穿刺路径存在触及重要组织的安全风险，则可由医生在样本图像数据所表示的图像中标注出可能出现风险的部位，利用本发明的手术穿刺路径智能自动化规划方法重新规划最优穿刺路径，以避开可能出现风险的部位。
本发明还提供与上述基于机器学习的手术穿刺路径智能自动化规划方法对应的基于机器学习的手术穿刺路径智能自动化规划系统，该手术穿刺路径智能自动化规划系统包括分别与上述的手术穿刺路径智能自动化规划方法的步骤(1)～(6)对应的模块。
本发明还提供包括上述的基于机器学习的手术穿刺路径智能自动化规划系统的医疗系统。
发明效果
本发明的基于机器学习的手术穿刺路径智能自动化规划方法及手术穿刺路径智能自动化规划系统、和包括该手术穿刺路径智能自动化规划系统的医疗系统，由于利用了机器学习方法，与现有技术相比，能得到下述的有益效果。
1、本发明采用当前国际前沿的机器学习方法，引入了人工智能因素，智能化程度高，综合性价比高。
由于采用三维分割深度学习算法对穿刺路径范围内重要的组织和器官进行自动分割与识别，并据此将穿刺过程转化为三维空间轨迹规划问题，运用轨迹规划算法自动设计穿刺路径，完成术前手术计划。跟当前穿刺手术须由经验丰富的医生耗费大量时间制定术前手术计划相比，智能化程度极大提升。同时，由于深度学习算法省去了不少繁琐的精密医疗器械等硬件环节，大大节约了术前穿刺路径规划时间成本，提高了综合性价比。
2、本发明为穿刺手术目标点提供了较高的识别精度，有效避免了穿刺针对患者要害区域和关键器官部位带来的损伤，可靠性高。
由于采用三维分割深度学习算法对穿刺路径范围内重要的组织和器官进行自动分割与识别，基于聚类的思想构造三维分割深度神经网络损失函数，使得在特征空间，同一类别的特征与其类内质心距离尽可能小，与不同类别的质心距离尽可能大，从而克服了以往的基于深度学习的算法使用交叉熵(损失L＝-[y·log(p)+(1-y)log(1-p)]，y表示样本的金标准，p表示三维分割深度学习网络输出的预测值)作为损失函数时，因背景太大、目标太小，造成分割结果过于偏向背景，进而淹没小目标的问题。本发明所设计的损失函数，使得不同类别的数据映射到特征空间后尽量远离，而同一类别的数据在特征空间尽量聚集，并且使用3D V-Net网络框架，充分利用组织和器官的空间属性，从而获得了对穿刺路径范围内重要的组织和器官较高的分割识别精度，使得穿刺过程能够准确预知穿刺路径范围内重要的组织和器官边缘位置，有效避开了穿刺针对患者要害区域和关键器官部位的损伤。
3、本发明自动化程度高，克服了当前医生人工参与手术操作全程的固有缺陷，手术路径规划效率高。
本发明基于深度学习的患者要害区域和关键器官部位准确分割识别结果，须由经验丰富的医生耗费大量精力在术前手术穿刺计划设计模块上，从而转化为三维空间轨迹规划问题。在医生导入医学影像数据后，系统能够自动计算靶点和穿刺路径，将患者要害区域和关键器官部位作为障碍物，使用三维空间轨迹规划算法，以有效避开患者要害区域和关键器官部位及最短穿刺路径为原则，规划穿刺轨迹，实现了拟研究计划系统自动识别靶点、规划穿刺路径的功能。手术医生只需要验证给定路径的可行性，极大降低了术前手术规划时间，将耗费数小时的手术计划缩短至以分钟为单位，减少了医生工作量，降低了手术难度，并去除了对医生操作经验的依赖，以及需要反复观察图像调整穿刺路径造成的医生高工作负荷问题，提高了手术路径规划效率。
4、本发明克服了当前医生人工参与手术操作导致易疲劳而出错的几率，可有效避免医疗事故的发生，安全性能优越。
本发明自动分割识别患者要害区域和关键器官部位，自主规划穿刺路径，完成术前计划，去除了医生耗费数小时的术前手术计划模块，大幅降低了医生手术疲劳程度。同时，为了保证本发明的手术穿刺路径智能自动化规划方法所规划出的穿刺路径的安全性，可由医生进行“弱监督”。所谓“弱监督”是指：医生对手术穿刺路径规划的安全性负责，当利用本发明的手术穿刺路径智能自动化规划方法完成穿刺路径规划时，医生对规划出的穿刺路径进行校验，判断该穿刺路径是否会触及重要的组织；如果判断为该穿刺路径存在触及重要组织的安全风险，则可由医生在样本图像数据所表示的图像中标注出可能出现风险的部位，利用本发明的手术穿刺路径智能自动化规划方法重新规划最优穿刺路径，以避开可能出现风险的部位，从而能够有效避免医疗事故的发生。
附图说明
图1为本发明基于机器学习的手术穿刺路径智能自动化规划方法的总体流程的示意图。
图2(a)为示意性地表示利用本发明基于机器学习的手术穿刺路径智能自动化规划方法的医疗装置的总体结构的立体图。
图2(b)为图2(a)的医疗装置的局部立体图。
图3为利用本发明的手术穿刺路径智能自动化规划方法进行穿刺路径规划时，采用立体辅助定位仪进行穿刺目标点定位调整的典型操作界面的示意图。
图4为本发明基于机器学习的手术穿刺路径智能自动化规划方法使用的三维分割深度神经网络3D V-Net网络结构的示意图。
图5为本发明基于机器学习的手术穿刺路径智能自动化规划方法中进针区域检测的深度学习目标检测算法Faster-RCNN网络结构的示意图。
图6为利用本发明训练完成的三维分割深度神经网络模型对潜在穿刺路径周围重要血管、神经和关键组织、器官进行分割与识别的结果的示意图。
图7为依据本发明三维分割深度神经网络的分割识别结果和计算机断层扫描(CT)数据及核磁共振成像(MRI)数据的参数(包括层厚等)快速重构的人体局部三维模型的示意图。
图8为本发明中医生手动标记以及训练得到的MRI视角候选进针区域的示意图，图8中，(a)表示进针点，(b)表示MRI中进针点对应位置。
图9为应用本发明基于机器学习的手术穿刺路径智能自动化规划方法获得的最佳穿刺点及穿刺路径的示意图，图9中，(a)表示球坐标系，(b)表示安全进针约束区域，(c)表示手术穿刺路径。
附图标记说明
1-立体辅助定位仪；2-医疗机械臂系统；21-多自由度机械臂；22-夹持器；23-多维力传感器；24-穿刺针；3-手术台；4-规划控制系统；5-显示装置。
具体实施方式
图1、图4、图6和图7示出了将本发明实施方式的基于机器学习的手术穿刺路径智能自动化规划方法应用于深度脑刺激手术计划系统进行穿刺路径规划的总体流程。
本实施方式的基于机器学习的手术穿刺路径智能自动化规划方法包括以下步骤(1)～(6)。
步骤(1)，获取现有病例患者的头部的计算机断层扫描(CT)和核磁共振成像(MRI)样本图像数据；
获取N例(在本实施方式中N＝100)现有病例患者的头部所在区域的计算机断层扫描(CT)数据和核磁共振成像(MRI)数据，对数据进行偏置场校正、灰度均衡化等预处理，预处理完成后，人工标注图像中的重要血管、神经和关键组织、丘脑底核、红核、黑核以及进针约束区域，制作训练数据及测试数据。
在本实施方式中，使用SimpleITK库中N4BiasFieldCorrectionIma geFilter(n4偏置校正)函数进行偏置场校正。
灰度均衡化使用对比度拉伸变换的方法，s＝1/(1+(m/r)E)，其中r表示输入图像数据的亮度，s是灰度均衡化后相应的亮度值，E控制该函数的斜率，在本实施方式中E＝20。
步骤(2)，设计三维分割深度神经网络模型，对样本图像进行训练；
基于聚类的思想，在特征空间，同一类别的特征与其类内质心距离尽可能小，与不同类别的质心距离尽可能大的原则，构造三维分割深度神经网络损失函数；基于深度学习网络3D V-Net框架，以标注的多模态数据作为训练数据输入网络，训练得到三维分割深度神经网络模型。
基于机器学习的手术穿刺路径智能自动化规划方法构造的三维分割深度神经网络损失函数，包括如下三个部分：
(1)方差项Lvar，其用于在特征空间使同一类别的数据向其簇心聚集的拉力；
(2)距离项Ldist，其用于在特征空间使不同类别的簇心之间相互远离的斥力；和
(3)正则化项Lreg，其用于在特征空间使所有的簇心向原点的拉力，
设当同一类别的数据距离其簇心的距离小于阈值δv时，方差项Lvar产生的拉力将不再产生作用，在本实施方式中δv＝0.5，
设当两个不同类别簇心之间的距离大于阈值2δd时，距离项Ldist产生的斥力将不再产生作用，在本实施方式中δd＝1.5，
设步骤(2)中使用的所述训练数据的类别数为C(在本实施方式中C＝6)，第c类含有的元素个数为Nc，xi为第c类中的元素，μc为第c类的簇心，||·||表示L2距离即
Figure BDA0002726074030000121
定义[x]+＝max(0,x)时，方差项Lvar、距离项Ldist和正则化项Lreg分别由下述式子表示：
Figure BDA0002726074030000122
Figure BDA0002726074030000123
Figure BDA0002726074030000124
其中，1≤c≤C，1≤i≤Nc，
Figure BDA0002726074030000125
表示类别A的簇心，
Figure BDA0002726074030000126
表示类别B的簇心，
所述三维分割深度神经网络损失函数由下述的L表示：
L＝α·Lvar+β·Ldist+γ·Lreg
其中，α、β、γ为权重项，0≤α≤10，0≤β≤10，0≤γ≤1，在本实施方式中，取α＝1，β＝1，γ＝0.001。
以L作为三维分割深度神经网络的损失函数，利用3D V-Net网络框架(参见图4)，将标注的多模态数据作为训练数据输入网络，训练得到三维分割深度神经网络模型。
步骤(3)，利用训练完成的三维分割深度神经网络模型对潜在穿刺路径周围重要血管、神经和关键组织、丘脑底核、红核、黑核进行分割与识别；
获取待手术患者的头部的样本图像数据、例如计算机断层扫描(CT)数据和核磁共振成像(MRI)数据，经过偏置场校正、灰度均衡化等预处理后，作为输入数据放入步骤(2)中训练好的三维分割深度神经网络，得到重要血管、神经、关键组织、丘脑底核、红核、黑核的分割识别结果(参见图6)，本实施方式中使用精确率(Precision)、召回率(Recall)、Dice值评价三维分割深度神经网络的分割性能，精确率(Precision)表示正确被分类的正样本占所有实际被分类到正样本的比例，召回率(Recall)表示正确被分类的正样本占所有实际正样本的比例，Dice值就是精确值和召回率的调和均值。
步骤(4)，基于步骤(3)中得到的分割识别结果和样本图像数据，构建人体局部三维模型(在此为待手术患者的头部三维模型)；
在该步骤(4)中，对CT数据和MRI数据中重要的血管、神经、关键组织、器官以及靶点组织进行三维重构。依据深度神经网络的分割识别结果和计算机断层扫描(CT)数据及核磁共振成像(MRI)数据的参数(包括图像分辨率(在此为512*512*80)、像素之间实际物理尺寸(在此为1mm*1mm*2mm)等)，可快速重构人体局部三维模型(参见图7)。
步骤(5)，基于医生给定的靶点位置及医学先验信息，确定安全进针约束区域；
将步骤(1)中在所述多个现有病例中人工标注的所述进针约束区域的样本图像数据作为深度学习目标检测算法的训练数据，训练得到用于进针区域检测的深度神经网络模型，使用该深度神经网络模型，将待手术患者的MRI数据的2D切片作为输入数据，检测进针约束区域，
同时，基于医生长年累积的医学经验，对于不同的病症，不同的靶点位置，均有一个大致的穿刺进针区域，本例用于帕金森病治疗的深度脑刺激手术中，入颅点选择一般旁开角度15～20°，前倾角度60°左右，即位于头顶左前方和右前方，如图9所示，同时避开脑沟、血管，从脑回进入。
因此，在该步骤(5)中，将上述100个现有病例中医生标记的进针区域的MRI数据作为深度学习目标检测算法Faster-RCNN算法的训练数据，训练得到深度神经网络模型，用以检测进针约束区域，同时，基于给定的靶点位置及医学先验信息，进而确定符合医学要求的安全进针约束区域。图5示意性地表示本实施方式中的深度学习目标检测算法Faster-RCNN网络结构。本实施方式中所确定的符合医学要求的安全进针约束区域如图8所示，在图8中，(a)表示进针点，(b)表示MRI中进针点对应位置。
步骤(6)，在步骤(5)中确定的安全进针约束区域内，计算得到最佳穿刺点及穿刺路径，完成手术穿刺路径规划。
在此前的步骤中已经完成了穿刺路径周围的重要血管、神经和关键组织和器官的分割与识别，并已进行了人体头部三维重构，从而将穿刺路径规划问题转化为在三维空间的轨迹规划问题，在步骤(6)中，以需要避开的组织和器官等作为障碍物，使用三维空间轨迹规划算法得到最佳穿刺点及穿刺路径，从而完成手术穿刺路径自主规划。
为了保证本实施方式的手术穿刺路径智能自动化规划方法所规划出的穿刺路径的安全性，可由医生进行“弱监督”。所谓“弱监督”是指：医生对手术穿刺路径规划的安全性负责，当利用本实施方式的手术穿刺路径智能自动化规划方法完成穿刺路径规划时，医生对规划出的穿刺路径进行校验，判断该穿刺路径是否会触及重要的组织，如果判断为该穿刺路径存在触及重要组织的安全风险，则可由医生在样本图像数据所表示的图像中标注出可能出现风险的部位，利用本实施方式的手术穿刺路径智能自动化规划方法重新规划最优穿刺路径，以避开可能出现风险的部位。
参照图9对本实施方式的手术穿刺路径规划进行说明。图9为应用本实施方式的手术穿刺路径智能自动化规划方法获得的最佳穿刺点及穿刺路径的示意图，在图9中，(a)表示球坐标系，(b)表示安全进针约束区域，(c)表示手术穿刺路径。在步骤(6)中，以需要避开的血管、神经、组织、器官作为障碍物，以图像坐标系原点作为世界坐标系原点，将图像坐标乘以像素的物理间距，沿图像坐标系xyz方向构建世界坐标系XYZ，在世界坐标系下，靶点位置为(X0,Y0,Z0)，在所述安全进针约束区域与靶点构成的锥形区域内，规划穿刺路径，使得穿刺针离所有障碍物的最小距离尽可能大，且穿刺路径尽可能短，即使得目标优化函数取值最小，
设MRI每一层之间的物理间距为d mm(在此d＝2mm)，则靶点往上第k层序列距离为kd，穿刺针在第k层的坐标为(Xk,Yk,Zk)，穿刺针运动学方程如下：
Figure BDA0002726074030000151
Figure BDA0002726074030000152
Zk＝kd+Z0
Figure BDA0002726074030000153
其中，θ和
Figure BDA0002726074030000154
为球坐标系下的天顶角和方位角，r表示(Xk,Yk,Zk)到靶点的距离，穿刺针路径的目标优化函数如下：
Figure BDA0002726074030000155
其中，Dk表示MRI序列图像每一层穿刺位置与障碍物之间的最小距离，n表示入针点至靶点MRI序列的层数，(Xn,Yn,Zn)为在所述安全进针约束区域的入针点位置坐标(在此为入颅点坐标)，a、b为权重参数，a+b＝1，0＜a＜1，0＜b＜1，在本实施方式中，例如可取a＝0.4，b＝0.6，
在锥形约束区域内，通过遍历迭代寻优，调整球坐标系下的天顶角θ和方位角
Figure BDA0002726074030000156
直至目标优化函数取值最小即得到最佳穿刺点及穿刺路径。
图2(a)为示意性地表示利用本发明基于机器学习的手术穿刺路径智能自动化规划方法的医疗装置的总体结构的立体图。图2(b)为图2(a)的医疗装置的局部立体图。如图2(a)、图2(b)所示，上述医疗装置包括立体辅助定位仪1(参见图3)或医疗机械臂系统2、手术台3、规划控制系统4和显示装置5，立体辅助定位仪1固定到患者头部，跟患者的脑部结构一起形成了一种三维空间坐标系，通过CT或MRI扫描，可以得到带有框架坐标参数标记的患者颅脑CT或MRI的图像，病人颅脑内的各个影像解剖结构都会在该坐标系内形成相应坐标值，再通过立体辅助定位仪1定义的机械数据来达到该坐标点，从而实现患者的脑立体定向配准；手术台3上搭载有立体辅助定位仪1或医疗机械臂系统2、规划控制系统4和显示装置5；其中，规划控制系统4用于控制机械臂各关节的运动，医疗机械臂系统2包括多自由度机械臂21、夹持器22、多维力传感器23以及穿刺针24；夹持器22、多维力传感器23以及穿刺针24依次固定安装于多自由度机械臂21的末端；其中，多维力传感器23由加载端、弹性体以及约束端几部分组成，加载端与穿刺针24固联，约束端与夹持器22固联，用于将穿刺针24末端所受的力和力矩通过加载端传递到多维力传感器23的弹性体上，由弹性体上的应变片组检测手术穿刺过程中力和力矩的变化；显示装置5通过规划控制系统4与立体辅助定位仪1或医疗机械臂系统2连接，用于接收通过CT或MRI扫描到的多幅医学图像，并将医学图像转换为数据流信息传输给规划控制系统4，进行三维图像重构。
图3示出了利用本实施方式的手术穿刺路径智能自动化规划方法进行穿刺路径规划时，采用立体辅助定位仪1进行穿刺目标点定位调整的典型操作过程。应用上述医疗装置实施手术操作例如可具体分为如下四个步骤(a)～(d)：
步骤(a)：加载头部或胸腹部的医学扫描CT或MRI图像。
步骤(b)：系统自动计算靶点和穿刺路径。
步骤(c)：医生验证给定穿刺计划的安全性和可行性，根据情况进行调整。
步骤(d)：手术机器人接受医生验证或调整过的穿刺计划，调整穿刺装置姿态，使实际穿刺角度与计划一致，并保证穿刺装置姿态不变，将穿刺针刺入靶区，实施后续流程(活检、血肿抽吸或植入)，完成穿刺手术。
本说明书实施方式所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于该实施方式所陈述的具体形式，本发明的保护范围也包括本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (17)

1.一种基于机器学习的手术穿刺路径智能自动化规划方法，其特征在于，包括：
步骤(1)，获取多个现有病例中的与待手术患者病灶所在区域相同的区域的样本图像数据，对该样本图像数据进行预处理，在经预处理后的该样本图像数据所表示的图像中标注重要血管、神经和关键组织、器官以及进针约束区域，制作训练数据及测试数据；
步骤(2)，基于聚类的思想，构造三维分割深度神经网络损失函数，并设计三维分割深度神经网络结构，以步骤(1)中标注的多模态数据作为训练数据输入该三维分割深度神经网络进行深度学习，训练得到三维分割深度神经网络模型；
步骤(3)，获取所述待手术患者的所述病灶所在区域的样本图像数据，对该样本图像数据进行预处理，将经预处理后的该样本图像数据作为输入数据放入步骤(2)中训练完成的所述三维分割深度神经网络模型，利用所述三维分割深度神经网络模型对潜在穿刺路径周围重要血管、神经和关键组织、器官进行分割、识别，得到重要血管、神经和关键组织、器官的分割识别结果；
步骤(4)，基于步骤(3)中得到的所述分割识别结果和步骤(3)中获取的所述样本图像数据，对所述待手术患者的所述样本图像数据中的重要血管、神经和关键组织、器官以及靶点组织进行三维重构，构建人体局部三维模型；
步骤(5)，将步骤(1)中在所述多个现有病例中标注的所述进针约束区域的样本图像数据作为深度学习目标检测算法的训练数据，训练得到用于进针区域检测的深度神经网络模型，使用该深度神经网络模型，基于给定的靶点位置及医学先验信息，确定符合医学要求的进针约束区域即安全进针约束区域；和
步骤(6)，在步骤(5)中确定的所述安全进针约束区域内，以需要避开的血管、神经、组织、器官作为障碍物，使用三维空间轨迹规划算法得到最佳穿刺点及穿刺路径，基于穿刺视角对手术规划路径进行三维验证并就穿刺过程进行三维模拟，完成手术穿刺路径规划。
2.根据权利要求1所述的基于机器学习的手术穿刺路径智能自动化规划方法，其特征在于：
所述样本图像数据是计算机断层扫描数据和核磁共振成像数据，
所述多模态数据是计算机断层扫描数据和核磁共振成像数据。
3.根据权利要求1所述的基于机器学习的手术穿刺路径智能自动化规划方法，其特征在于：
所述现有病例的数量为50以上。
4.根据权利要求1所述的基于机器学习的手术穿刺路径智能自动化规划方法，其特征在于：
在所述预处理中，对所述样本图像数据进行偏置场校正处理和灰度均衡化处理。
5.根据权利要求1所述的基于机器学习的手术穿刺路径智能自动化规划方法，其特征在于：
步骤(2)中的聚类是指将多个对象的集合分成由类似的对象组成的多个类别的过程，通过聚类生成的一组对象的集合称为簇，同一个簇中的对象彼此相似、且与其它簇中的对象相异，某一类别特征的中心称为质心即簇心，
在步骤(2)中基于聚类的思想构造所述三维分割深度神经网络损失函数时，使得在特征空间，同一类别的特征与其类内质心距离尽可能小，与不同类别的质心距离尽可能大，
步骤(2)中构造的所述三维分割深度神经网络损失函数包括下述三个部分：
(1)方差项Lvar，其用于在特征空间使同一类别的数据向其簇心聚集的拉力；
(2)距离项Ldist，其用于在特征空间使不同类别的簇心之间相互远离的斥力；和
(3)正则化项Lreg，其用于在特征空间使所有的簇心向原点的拉力，
设当同一类别的数据距离其簇心的距离小于阈值δv时，方差项Lvar产生的拉力将不再产生作用，
设当两个不同类别簇心之间的距离大于阈值2δd时，距离项Ldist产生的斥力将不再产生作用，
设步骤(2)中使用的所述训练数据的类别数为C，第c类含有的元素个数为Nc，xi为第c类中的元素，μc为第c类的簇心，||·||表示L2距离即
Figure FDA0002726074020000031
定义[x]+＝max(0，x)时，方差项Lvar、距离项Ldist和正则化项Lreg分别由下述式子表示：
Figure FDA0002726074020000032
Figure FDA0002726074020000033
Figure FDA0002726074020000034
其中，1≤c≤C，1≤i≤Nc，
Figure FDA0002726074020000035
表示类别A的簇心，
Figure FDA0002726074020000036
表示类别B的簇心，
所述三维分割深度神经网络损失函数由下述的L表示：
L＝α·Lvar+β·Ldist+γ·Lreg
其中，α、β、γ为权重项，0≤α≤10，0≤β≤10，0≤γ≤1。
6.根据权利要求5所述的基于机器学习的手术穿刺路径智能自动化规划方法，其特征在于：
α＝1，β＝1，γ＝0.001。
7.根据权利要求1所述的基于机器学习的手术穿刺路径智能自动化规划方法，其特征在于：
步骤(2)中的所述三维分割深度神经网络为改进的3D V-Net网络，3D V-Net使用三维卷积，将所述训练数据和测试数据作为输入数据，经过多次交替卷积、下采样操作，再经过相同次数的交替卷积、上采样操作，得到预测结果，用于分割血管、神经、组织、器官，
步骤(5)中用于进针区域检测的所述深度学习目标检测算法为Faster-RCNN算法，所述Faster-RCNN算法以计算机断层扫描数据或者核磁共振成像数据的2D切片作为输入数据，用于检测进针区域。
8.根据权利要求1所述的基于机器学习的手术穿刺路径智能自动化规划方法，其特征在于：
在步骤(6)中，以需要避开的血管、神经、组织、器官作为障碍物，以图像坐标系原点作为世界坐标系原点，将图像坐标乘以像素的物理间距，沿图像坐标系xyz方向构建世界坐标系XYZ，在世界坐标系下，靶点位置为(X0，Y0，Z0)，在所述安全进针约束区域与靶点构成的锥形区域内，规划穿刺路径，使得穿刺针离所有障碍物的最小距离尽可能大，且穿刺路径尽可能短，即使得目标优化函数取值最小，
设核磁共振成像的每一层之间的物理间距为d mm，则靶点往上第k层序列距离为kd，穿刺针在第k层的坐标为(Xk，Yk，Zk)，穿刺针运动学方程如下：
Figure FDA0002726074020000041
Figure FDA0002726074020000042
Zk＝kd+Z0
Figure FDA0002726074020000043
其中，θ和
Figure FDA0002726074020000044
为球坐标系下的天顶角和方位角，r表示(Xk，Yk，Zk)到靶点的距离，穿刺针路径的目标优化函数如下：
Figure FDA0002726074020000045
其中，Dk表示核磁共振成像序列图像每一层穿刺位置与障碍物之间的最小距离，n表示入针点至靶点核磁共振成像序列的层数，(Xn，Yn，Zn)为在所述安全进针约束区域的入针点位置坐标，a、b为权重参数，a+b＝1，0＜a＜1，0＜b＜1，
在锥形约束区域内，通过遍历迭代寻优，调整球坐标系下的天顶角θ和方位角
Figure FDA0002726074020000046
直至目标优化函数取值最小即得到最佳穿刺点及穿刺路径。
9.一种基于机器学习的手术穿刺路径智能自动化规划系统，其特征在于，包括：
训练数据及测试数据制作模块，其获取多个现有病例中的与待手术患者病灶所在区域相同的区域的样本图像数据，对该样本图像数据进行预处理，在经预处理后的该样本图像数据所表示的图像中标注重要血管、神经和关键组织、器官以及进针约束区域，制作训练数据及测试数据；
三维分割深度神经网络模型构造模块，其基于聚类的思想，构造三维分割深度神经网络损失函数，并设计三维分割深度神经网络结构，以由所述训练数据及测试数据制作模块标注的多模态数据作为训练数据输入该三维分割深度神经网络进行深度学习，训练得到三维分割深度神经网络模型；
分割识别模块，其获取所述待手术患者的所述病灶所在区域的样本图像数据，对该样本图像数据进行预处理，将经预处理后的该样本图像数据作为输入数据放入由所述三维分割深度神经网络模型构造模块训练完成的所述三维分割深度神经网络模型，利用所述三维分割深度神经网络模型对潜在穿刺路径周围重要血管、神经和关键组织、器官进行分割、识别，得到重要血管、神经和关键组织、器官的分割识别结果；
人体局部三维模型构建模块，其基于由所述分割识别模块得到的所述分割识别结果和获取的所述待手术患者的所述样本图像数据，对所述待手术患者的所述样本图像数据中的重要血管、神经和关键组织、器官以及靶点组织进行三维重构，构建人体局部三维模型；
安全进针约束区域确定模块，将在所述多个现有病例中标注的所述进针约束区域的样本图像数据作为深度学习目标检测算法的训练数据，训练得到用于进针区域检测的深度神经网络模型，使用该深度神经网络模型，基于给定的靶点位置及医学先验信息，确定符合医学要求的进针约束区域即安全进针约束区域；和
手术穿刺路径规划模块，其在由所述安全进针约束区域确定模块确定的所述安全进针约束区域内，以需要避开的血管、神经、组织、器官作为障碍物，使用三维空间轨迹规划算法得到最佳穿刺点及穿刺路径，基于穿刺视角对手术规划路径进行三维验证并就穿刺过程进行三维模拟，完成手术穿刺路径规划。
10.根据权利要求9所述的基于机器学习的手术穿刺路径智能自动化规划系统，其特征在于：
所述样本图像数据是计算机断层扫描数据和核磁共振成像数据，
所述多模态数据是计算机断层扫描数据和核磁共振成像数据。
11.根据权利要求9所述的基于机器学习的手术穿刺路径智能自动化规划系统，其特征在于：
所述现有病例的数量为50以上。
12.根据权利要求9所述的基于机器学习的手术穿刺路径智能自动化规划系统，其特征在于：
在所述预处理中，对所述样本图像数据进行偏置场校正处理和灰度均衡化处理。
13.根据权利要求9所述的基于机器学习的手术穿刺路径智能自动化规划系统，其特征在于：
聚类是指将多个对象的集合分成由类似的对象组成的多个类别的过程，通过聚类生成的一组对象的集合称为簇，同一个簇中的对象彼此相似、且与其它簇中的对象相异，某一类别特征的中心称为质心即簇心，
所述三维分割深度神经网络模型构造模块基于聚类的思想构造所述三维分割深度神经网络损失函数时，使得在特征空间，同一类别的特征与其类内质心距离尽可能小，与不同类别的质心距离尽可能大，
由所述三维分割深度神经网络模型构造模块构造的所述三维分割深度神经网络损失函数包括下述三个部分：
(1)方差项Lvar，其用于在特征空间使同一类别的数据向其簇心聚集的拉力；
(2)距离项Ldist，其用于在特征空间使不同类别的簇心之间相互远离的斥力；和
(3)正则化项Lreg，其用于在特征空间使所有的簇心向原点的拉力，
设当同一类别的数据距离其簇心的距离小于阈值δv时，方差项Lvar产生的拉力将不再产生作用，
设当两个不同类别簇心之间的距离大于阈值2δd时，距离项Ldist产生的斥力将不再产生作用，
设所述三维分割深度神经网络模型构造模块使用的所述训练数据的类别数为C，第c类含有的元素个数为Nc，xi为第c类中的元素，μc为第c类的簇心，||·||表示L2距离即
Figure FDA0002726074020000071
定义[x]+＝max(0，x)时，方差项Lvar、距离项Ldist和正则化项Lreg分别由下述式子表示：
Figure FDA0002726074020000072
Figure FDA0002726074020000073
Figure FDA0002726074020000074
其中，1≤c≤C，1≤i≤Nc，
Figure FDA0002726074020000075
表示类别A的簇心，
Figure FDA0002726074020000076
表示类别B的簇心，
所述三维分割深度神经网络损失函数由下述的L表示：
L＝α·Lvar+β·Ldist+γ·Lreg
其中，α、β、γ为权重项，0≤α≤10，0≤β≤10，0≤γ≤1。
14.根据权利要求13所述的基于机器学习的手术穿刺路径智能自动化规划系统，其特征在于：
α＝1，β＝1，γ＝0.001。
15.根据权利要求9所述的基于机器学习的手术穿刺路径智能自动化规划系统，其特征在于：
所述手术穿刺路径规划模块，以需要避开的血管、神经、组织、器官作为障碍物，以图像坐标系原点作为世界坐标系原点，将图像坐标乘以像素的物理间距，沿图像坐标系xyz方向构建世界坐标系XYZ，在世界坐标系下，靶点位置为(X0，Y0，Z0)，在所述安全进针约束区域与靶点构成的锥形区域内，规划穿刺路径，使得穿刺针离所有障碍物的最小距离尽可能大，且穿刺路径尽可能短，即使得目标优化函数取值最小，
设核磁共振成像的每一层之间的物理间距为d mm，则靶点往上第k层序列距离为kd，穿刺针在第k层的坐标为(Xk，Yk，Zk)，穿刺针运动学方程如下：
Figure FDA0002726074020000081
Figure FDA0002726074020000082
Zk＝kd+Z0
Figure FDA0002726074020000083
其中，θ和
Figure FDA0002726074020000084
为球坐标系下的天顶角和方位角，r表示(Xk，Yk，Zk)到靶点的距离，穿刺针路径的目标优化函数如下：
Figure FDA0002726074020000085
其中，Dk表示核磁共振成像序列图像每一层穿刺位置与障碍物之间的最小距离，n表示入针点至靶点核磁共振成像序列的层数，(Xn，Yn，Zn)在所述安全进针约束区域的入针点位置坐标，a、b为权重参数，a+b＝1，0＜a＜1，0＜b＜1，
在锥形约束区域内，通过遍历迭代寻优，调整球坐标系下的天顶角θ和方位角
Figure FDA0002726074020000086
直至目标优化函数取值最小即得到最佳穿刺点及穿刺路径。
16.根据权利要求9所述的基于机器学习的手术穿刺路径智能自动化规划系统，其特征在于：
所述三维分割深度神经网络为改进的3D V-Net网络，3D V-Net使用三维卷积，将所述训练数据和测试数据作为输入数据，经过多次交替卷积、下采样操作，再经过相同次数的交替卷积、上采样操作，得到预测结果，用于分割血管、神经、组织、器官，
用于进针区域检测的所述深度学习目标检测算法为Faster-RCNN算法，所述Faster-RCNN算法以计算机断层扫描数据或者核磁共振成像数据的2D切片作为输入数据，用于检测进针区域。
17.一种医疗系统，其特征在于，包括权利要求9～16中任一项所述的基于机器学习的手术穿刺路径智能自动化规划系统。
CN202011103118.9A 2020-10-15 2020-10-15 手术穿刺路径智能自动化规划方法及系统和医疗系统 Active CN112155729B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011103118.9A CN112155729B (zh) 2020-10-15 2020-10-15 手术穿刺路径智能自动化规划方法及系统和医疗系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011103118.9A CN112155729B (zh) 2020-10-15 2020-10-15 手术穿刺路径智能自动化规划方法及系统和医疗系统

Publications (2)

Publication Number Publication Date
CN112155729A true CN112155729A (zh) 2021-01-01
CN112155729B CN112155729B (zh) 2021-11-23

Family

ID=73867081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011103118.9A Active CN112155729B (zh) 2020-10-15 2020-10-15 手术穿刺路径智能自动化规划方法及系统和医疗系统

Country Status (1)

Country Link
CN (1) CN112155729B (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113133802A (zh) * 2021-04-20 2021-07-20 四川大学 一种基于机器学习的骨手术线自动定点方法
CN113269774A (zh) * 2021-06-09 2021-08-17 西南交通大学 一种mri图像的帕金森病分类及标注病灶区域的方法
CN113499166A (zh) * 2021-06-21 2021-10-15 西安交通大学 一种角膜移植手术机器人用自主立体视觉导航方法及系统
CN113516624A (zh) * 2021-04-28 2021-10-19 武汉联影智融医疗科技有限公司 穿刺禁区的确定、路径规划方法、手术系统和计算机设备
CN113516623A (zh) * 2021-04-23 2021-10-19 武汉联影智融医疗科技有限公司 穿刺路径校验方法、装置、计算机设备和可读存储介质
CN113662592A (zh) * 2021-08-13 2021-11-19 深圳大学 穿刺路径规划方法、医学图像采集系统、设备及介质
CN114022471A (zh) * 2021-11-16 2022-02-08 推想医疗科技股份有限公司 确定穿刺点的方法及装置，电子设备及存储介质
CN114271908A (zh) * 2021-12-09 2022-04-05 上海杏脉信息科技有限公司 超声介入引导装置、介质及电子设备
CN114913124A (zh) * 2022-04-13 2022-08-16 中南大学湘雅医院 一种用于肿瘤手术的切缘路径生成方法、系统及存储介质
CN114948199A (zh) * 2022-05-17 2022-08-30 天津大学 一种外科手术辅助系统及手术路径规划方法
WO2022223042A1 (zh) * 2021-04-23 2022-10-27 武汉联影智融医疗科技有限公司 手术路径处理系统、方法、装置、设备及存储介质
CN115363752A (zh) * 2022-08-22 2022-11-22 华平祥晟(上海)医疗科技有限公司 智能手术路径指引系统
CN115590623A (zh) * 2022-12-15 2023-01-13 苏州国科康成医疗科技有限公司（Cn） 穿刺路径规划方法、系统
CN115645045A (zh) * 2022-12-14 2023-01-31 湖南医科医工科技有限公司 一种器官手术术前路径规划系统
WO2023024397A1 (zh) * 2021-08-27 2023-03-02 谈斯聪 一种医疗用机器人装置、系统及方法
CN115775611A (zh) * 2023-02-13 2023-03-10 北京精准医械科技有限公司 一种穿刺手术规划系统
WO2023041749A1 (en) * 2021-09-20 2023-03-23 Universität Zürich Method for determining a surgery plan by means of a reinforcement learning method
CN116245831A (zh) * 2023-02-13 2023-06-09 天津市鹰泰利安康医疗科技有限责任公司 一种基于双模态成像的肿瘤治疗辅助方法及系统
WO2023126754A1 (en) * 2021-12-31 2023-07-06 Auris Health, Inc. Three-dimensional model reconstruction
CN116485846A (zh) * 2022-09-21 2023-07-25 数坤(上海)医疗科技有限公司 进针位置确定方法、装置、电子设备及可读存储介质
WO2023143625A1 (en) * 2022-01-31 2023-08-03 Conova Medical Technology Limited Process and system for three-dimensional modelling of tissue of a subject, and surgical planning process and system
CN116549116A (zh) * 2023-07-10 2023-08-08 南京致远医疗科技有限公司 一种基于3d实时全程量化导航的精准定位系统及方法
CN116725640A (zh) * 2023-06-20 2023-09-12 山东卓业医疗科技有限公司 一种身体穿刺打印模板的构建方法
CN117017483A (zh) * 2023-08-04 2023-11-10 中国人民解放军空军军医大学 一种基于医疗成像的picc尖端引导测量定位方法
CN117084791A (zh) * 2023-10-19 2023-11-21 苏州恒瑞宏远医疗科技有限公司 一种穿刺方位解算方法以及穿刺作业执行系统
WO2023245830A1 (zh) * 2022-06-22 2023-12-28 苏州景昱医疗器械有限公司 路径规划装置、方法、手术系统及计算机可读存储介质
CN117530775A (zh) * 2024-01-09 2024-02-09 华中科技大学同济医学院附属协和医院 一种基于人工智能和ct的磁控介入控制方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564102A (zh) * 2018-01-04 2018-09-21 百度在线网络技术（北京）有限公司 图像聚类结果评价方法和装置
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN110738681A (zh) * 2019-10-11 2020-01-31 北京航空航天大学 一种基于深度学习网络的椎弓根钉手术路径自动规划方法
WO2020163324A1 (en) * 2019-02-05 2020-08-13 Smith & Nephew Inc. Methods for improved surgical planning using machine learning and devices thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564102A (zh) * 2018-01-04 2018-09-21 百度在线网络技术（北京）有限公司 图像聚类结果评价方法和装置
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
WO2020163324A1 (en) * 2019-02-05 2020-08-13 Smith & Nephew Inc. Methods for improved surgical planning using machine learning and devices thereof
CN110738681A (zh) * 2019-10-11 2020-01-31 北京航空航天大学 一种基于深度学习网络的椎弓根钉手术路径自动规划方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FAUSTO MILLETARI: "V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image", 《2016 FOURTH INTERNATIONAL CONFERENCE ON 3D VISION》 *
张旗: "基于医学影像与机器学习的脊柱前路手术规划研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113133802B (zh) * 2021-04-20 2022-12-23 四川大学 一种基于机器学习的骨手术线自动定点方法
CN113133802A (zh) * 2021-04-20 2021-07-20 四川大学 一种基于机器学习的骨手术线自动定点方法
CN113516623A (zh) * 2021-04-23 2021-10-19 武汉联影智融医疗科技有限公司 穿刺路径校验方法、装置、计算机设备和可读存储介质
WO2022223042A1 (zh) * 2021-04-23 2022-10-27 武汉联影智融医疗科技有限公司 手术路径处理系统、方法、装置、设备及存储介质
CN113516624A (zh) * 2021-04-28 2021-10-19 武汉联影智融医疗科技有限公司 穿刺禁区的确定、路径规划方法、手术系统和计算机设备
CN113269774A (zh) * 2021-06-09 2021-08-17 西南交通大学 一种mri图像的帕金森病分类及标注病灶区域的方法
CN113269774B (zh) * 2021-06-09 2022-04-26 西南交通大学 一种mri图像的帕金森病分类及标注病灶区域的方法
CN113499166A (zh) * 2021-06-21 2021-10-15 西安交通大学 一种角膜移植手术机器人用自主立体视觉导航方法及系统
CN113662592A (zh) * 2021-08-13 2021-11-19 深圳大学 穿刺路径规划方法、医学图像采集系统、设备及介质
CN113662592B (zh) * 2021-08-13 2023-11-21 深圳大学 穿刺路径规划方法、医学图像采集系统、设备及介质
WO2023024397A1 (zh) * 2021-08-27 2023-03-02 谈斯聪 一种医疗用机器人装置、系统及方法
WO2023041749A1 (en) * 2021-09-20 2023-03-23 Universität Zürich Method for determining a surgery plan by means of a reinforcement learning method
CN114022471A (zh) * 2021-11-16 2022-02-08 推想医疗科技股份有限公司 确定穿刺点的方法及装置，电子设备及存储介质
CN114022471B (zh) * 2021-11-16 2022-11-18 推想医疗科技股份有限公司 确定穿刺点的方法及装置，电子设备及存储介质
CN114271908A (zh) * 2021-12-09 2022-04-05 上海杏脉信息科技有限公司 超声介入引导装置、介质及电子设备
WO2023126754A1 (en) * 2021-12-31 2023-07-06 Auris Health, Inc. Three-dimensional model reconstruction
WO2023143625A1 (en) * 2022-01-31 2023-08-03 Conova Medical Technology Limited Process and system for three-dimensional modelling of tissue of a subject, and surgical planning process and system
CN114913124A (zh) * 2022-04-13 2022-08-16 中南大学湘雅医院 一种用于肿瘤手术的切缘路径生成方法、系统及存储介质
CN114948199B (zh) * 2022-05-17 2023-08-18 天津大学 一种外科手术辅助系统及手术路径规划方法
CN114948199A (zh) * 2022-05-17 2022-08-30 天津大学 一种外科手术辅助系统及手术路径规划方法
WO2023245830A1 (zh) * 2022-06-22 2023-12-28 苏州景昱医疗器械有限公司 路径规划装置、方法、手术系统及计算机可读存储介质
CN115363752A (zh) * 2022-08-22 2022-11-22 华平祥晟(上海)医疗科技有限公司 智能手术路径指引系统
CN116485846A (zh) * 2022-09-21 2023-07-25 数坤(上海)医疗科技有限公司 进针位置确定方法、装置、电子设备及可读存储介质
CN116485846B (zh) * 2022-09-21 2024-01-23 数坤(上海)医疗科技有限公司 进针位置确定方法、装置、电子设备及可读存储介质
CN115645045A (zh) * 2022-12-14 2023-01-31 湖南医科医工科技有限公司 一种器官手术术前路径规划系统
CN115590623A (zh) * 2022-12-15 2023-01-13 苏州国科康成医疗科技有限公司（Cn） 穿刺路径规划方法、系统
CN115775611A (zh) * 2023-02-13 2023-03-10 北京精准医械科技有限公司 一种穿刺手术规划系统
CN116245831B (zh) * 2023-02-13 2024-01-16 天津市鹰泰利安康医疗科技有限责任公司 一种基于双模态成像的肿瘤治疗辅助方法及系统
CN116245831A (zh) * 2023-02-13 2023-06-09 天津市鹰泰利安康医疗科技有限责任公司 一种基于双模态成像的肿瘤治疗辅助方法及系统
CN116725640A (zh) * 2023-06-20 2023-09-12 山东卓业医疗科技有限公司 一种身体穿刺打印模板的构建方法
CN116725640B (zh) * 2023-06-20 2024-02-27 山东卓业医疗科技有限公司 一种身体穿刺打印模板的构建方法
CN116549116B (zh) * 2023-07-10 2023-09-01 南京致远医疗科技有限公司 一种基于3d实时全程量化导航的精准定位系统及方法
CN116549116A (zh) * 2023-07-10 2023-08-08 南京致远医疗科技有限公司 一种基于3d实时全程量化导航的精准定位系统及方法
CN117017483A (zh) * 2023-08-04 2023-11-10 中国人民解放军空军军医大学 一种基于医疗成像的picc尖端引导测量定位方法
CN117017483B (zh) * 2023-08-04 2024-03-08 中国人民解放军空军军医大学 一种基于医疗成像的picc尖端引导测量定位方法
CN117084791A (zh) * 2023-10-19 2023-11-21 苏州恒瑞宏远医疗科技有限公司 一种穿刺方位解算方法以及穿刺作业执行系统
CN117084791B (zh) * 2023-10-19 2023-12-22 苏州恒瑞宏远医疗科技有限公司 一种穿刺方位解算方法以及穿刺作业执行系统
CN117530775A (zh) * 2024-01-09 2024-02-09 华中科技大学同济医学院附属协和医院 一种基于人工智能和ct的磁控介入控制方法及系统
CN117530775B (zh) * 2024-01-09 2024-04-30 华中科技大学同济医学院附属协和医院 一种基于人工智能和ct的磁控介入控制方法及系统

Also Published As

Publication number Publication date
CN112155729B (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
CN112155729B (zh) 手术穿刺路径智能自动化规划方法及系统和医疗系统
CN109785374B (zh) 一种牙科增强现实手术导航的自动实时无标记图像配准方法
CN113506334B (zh) 基于深度学习的多模态医学图像融合方法及系统
CN110464459A (zh) 基于ct-mri融合的介入计划导航系统及其导航方法
Boctor et al. A novel closed form solution for ultrasound calibration
CN101474075B (zh) 微创手术导航系统
US8538109B2 (en) Method and system for dynamic pulmonary trunk modeling and intervention planning
Yang et al. Automatic 3-D imaging and measurement of human spines with a robotic ultrasound system
CN111667447A (zh) 血管内图像融合方法、系统及图像采集装置
Li et al. Image-guided navigation of a robotic ultrasound probe for autonomous spinal sonography using a shadow-aware dual-agent framework
CN112184720B (zh) 一种ct图像的内直肌和视神经分割方法及系统
CN105894508A (zh) 一种医学图像自动定位质量的评估方法
Tan et al. An approach to extraction midsagittal plane of skull from brain CT images for oral and maxillofacial surgery
CN112998749A (zh) 一种基于视觉伺服的自动超声检查系统
CN115153835A (zh) 基于特征点配准与增强现实的髋臼假体放置引导系统及方法
Alam et al. An investigation towards issues and challenges in medical image registration
CN111080676A (zh) 一种通过在线分类跟踪内窥镜图像序列特征点的方法
CN111466952B (zh) 一种超声内镜与ct三维图像实时转化方法和系统
CN116883471B (zh) 面向胸腹部经皮穿刺的线结构光无接触点云配准方法
Patel et al. Improved automatic bone segmentation using large-scale simulated ultrasound data to segment real ultrasound bone surface data
CN114708404A (zh) 基于机器学习的端到端手术穿刺路径自动规划方法及系统
CN112991522B (zh) 一种个性化二尖瓣自动建模方法、系统及设备
Hao et al. Development and preliminary testing of a prior knowledge-based visual navigation system for cardiac ultrasound scanning
Grimson Medical applications of image understanding
Palladino et al. Autonomy in robotic prostate biopsy through AI-assisted fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant