CN115349952A - 面向动态手术路径引导的引导型三维虚拟夹具生成方法 - Google Patents

面向动态手术路径引导的引导型三维虚拟夹具生成方法 Download PDF

Info

Publication number
CN115349952A
CN115349952A CN202210778943.1A CN202210778943A CN115349952A CN 115349952 A CN115349952 A CN 115349952A CN 202210778943 A CN202210778943 A CN 202210778943A CN 115349952 A CN115349952 A CN 115349952A
Authority
CN
China
Prior art keywords
dimensional
point
point cloud
curve
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210778943.1A
Other languages
English (en)
Inventor
毕良宽
方进
李霄剑
丁帅
杨善林
肖夕林
李玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Second Affiliated Hospital of Anhui Medical University
Original Assignee
Hefei University of Technology
Second Affiliated Hospital of Anhui Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology, Second Affiliated Hospital of Anhui Medical University filed Critical Hefei University of Technology
Priority to CN202210778943.1A priority Critical patent/CN115349952A/zh
Publication of CN115349952A publication Critical patent/CN115349952A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供一种面向动态手术路径引导的引导型三维虚拟夹具生成方法、系统、存储介质和电子设备，涉及虚拟夹具技术领域。本发明中，通过关键点的位置确定局部区域，对局部区域进行追踪，来减少三维关键点的错误追踪；结合内窥镜图像的纹理信息和形状信息，一定程度上避免体内环境特征的不明显带来的影响；在降维后的点云上通过构造优化函数对三维关键点进行精确定位，避免了不同视角下造成的曲线形状不一致性。更进一步的，沿着跟踪得到的三维曲线，建立包含引力与粘滞阻力的虚拟力场，即引导型虚拟夹具，所述引导型虚拟夹具通过力反馈机制精准引导手术器械的移动轨迹。

Description

面向动态手术路径引导的引导型三维虚拟夹具生成方法
技术领域
本发明涉及虚拟夹具技术领域，具体涉及一种面向动态手术路径引导的引导型三维虚拟夹具生成方法、系统、存储介质和电子设备。
背景技术
自主手术机器人远程手术的出现，解决了医疗资源分布不均的问题，通过跟踪三维关键点，进而跟踪手术路径，可以提高远程手术指导的质量和手术机器人自主操作的能力。
其中，虚拟夹具常以力交互的形式应用于体内手术场景，以解决非周期性运动的手术器械控制问题，如手术过程中器官的保护、目标的引导、避障的约束等，从而保障手术过程的安全精准。
由于现有技术中，术前规划的手术路径不能在术中进行实时更新，使得主刀医生对术前规划的手术路径在手术过程中难以找到对应位置，对术中手术路径发生的偏移无法视觉上直观加以判断，加大了主刀医生操控机器人的难度。这也直接影响了虚拟夹具，尤其是引导型虚拟夹具无法实现对手术三维路径的精准引导。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种面向动态手术路径引导的引导型三维虚拟夹具生成方法、系统、存储介质和电子设备，解决了无法实现对手术三维路径的精准引导的技术问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
一种面向动态手术路径引导的引导型三维虚拟夹具生成方法，包括：
S1、读取内窥镜图像，根据医生的选择获取当前帧图像上的手术路径曲线，并获取该手术路径曲线经过的若干第一二维关键点；
S2、跟踪当前帧图像上包含第一二维关键点的第一局部区域，获取下一帧图像上的第二局部区域；
S3、根据内窥镜图像与点云之间的映射关系，分别将第一局部区域映射到第一局部点云上、第二局部区域映射到第二局部点云上；并确定第一二维关键点在第一局部点云上的第一三维关键点，通过坐标变换得到第二局部点云上的第二三维关键点；
S4、将第一局部点云进行降维，获取第一二维点云，并获取第一三维关键点在第一二维点云上的第二二维关键点；
将第二局部点云进行降维，获取第二二维点云，并获取第二三维关键点在第二二维点云上的第三二维关键点；
根据第二二维关键点和第三二维关键点，通过最小化预设的优化函数，获取跟踪得到的关键点在二维点云上的二维坐标；
S5、根据降维前后点云之间的映射关系，获取每一个跟踪得到的关键点的三维坐标，并进行曲线拟合，最终跟踪得到三维曲线；
S6、沿着跟踪得到的三维曲线，建立引导型虚拟夹具，所述引导型虚拟夹具通过力反馈机制引导手术器械的移动轨迹。
优选的，所述S6具体包括：
S61、将手术器械实时的三维位置信息、以及前述步骤获取的点云转换到同一坐标系下，获取三维曲线上离手术器械末端pins最近的点pnearest，以及两点之间的相对距离xd；
S62、建立关于pins的人工矢量场：
定义三维曲线上所有点包含在点集Vr中，求取Vr的子点集Vp＝{v|||pins-v||≤||pins-pnearest||+Δr}，其中Δr为额外考察半径；
Figure BDA0003728314890000031
其中，g为pins的人工矢量场；g(||pins-v||)为人工矢量长度函数，n(pins，v)为由点pins指向点v的向量，当v对应不同组织时，设立不同的人工矢量长度函数g(||pins-v||)，满足条件
Figure BDA0003728314890000032
Figure BDA0003728314890000033
card(Vp)是子集Vp中元素的个数；
S63、建立包含引力与粘滞阻力的虚拟力场：
Figure BDA0003728314890000034
其中，Fvf为虚拟力场；Kvf为该位置引力与人工矢量的比例系数，Dvf(xd)为阻尼系数，随着最短距离xd进行移动；
Figure BDA0003728314890000035
为pins的速度。
优选的，所述S2包括
S21、首先定义第k-1帧图像为
Figure BDA0003728314890000036
其中W表示内窥镜图像的宽度，H表示内窥镜图像的高度；第k帧图像为I(k)；若干第一二维关键点
Figure BDA0003728314890000037
分别确定所有第一二维关键点在图像坐标系上u轴和v轴上的最大值和最小值，选取各轴上中值的位置作为pc(k-1)＝(u1，v1)∈R2，根据预设的区域形状和边长，确定第一局部区域
Figure BDA0003728314890000041
S22、采用光流法对图像I(k-1)，I(k)进行特征点的特征匹配，获取图像I(k)上与pc(k-1)对应的第二局部区域的中心pc(k)，
Figure BDA0003728314890000042
其中，
Figure BDA0003728314890000043
表示图像I(k)上的特征点，m表示图像I(k)上特征点的个数；
S23、根据中心pc(k)、以及预设的区域形状和边长，确定第二局部区域
Figure BDA0003728314890000044
优选的，所述S3包括：
S31、对内窥镜图像进行深度估计，得到与内窥镜图像相对应的深度图像；通过按行读取，分别从深度图像和内窥镜图像中获得每个像素点的空间信息和颜色信息，获取第一局部点云
Figure BDA0003728314890000045
和第二局部点云
Figure BDA0003728314890000046
S32、确定第一二维关键点
Figure BDA0003728314890000047
在第一局部点云
Figure BDA0003728314890000048
上的第一三维关键点
Figure BDA0003728314890000049
Figure BDA00037283148900000410
Pi(k-1)＝ψ(pi(k-1))
ψ表示
Figure BDA00037283148900000411
到
Figure BDA00037283148900000412
之间的映射关系，记为
Figure BDA00037283148900000413
Figure BDA00037283148900000414
S33、利用光流法获取局部区域
Figure BDA00037283148900000415
的特征点对，分别记作X和Y，则X与Y之间存在坐标变换关系：
Figure BDA0003728314890000051
其中，
Figure BDA0003728314890000052
是拟合函数的参数；通过使用最小二乘，ω可由以下公式求得：
ω＝([X 1]T[X 1])-1[X 1]TY
则
Figure BDA0003728314890000053
之间仿射变换的变换矩阵为：
Figure BDA0003728314890000054
其中，0T＝(0，0，0)；
S34、通过对第一三维关键点
Figure BDA0003728314890000055
进行三维仿射变换，在第二局部点云
Figure BDA0003728314890000056
上搜索最近的点，获取第二三维关键点
Figure BDA0003728314890000057
的初始位置，
Figure BDA0003728314890000058
优选的，所述S31中对内窥镜图像进行深度估计，得到与内窥镜图像相对应的深度图像，所使用的双目深度估计网络具有快速过学习的能力，能够利用自监督信息不断适应新场景，具体包括：
S311、获取双目内窥镜影像，采用当前双目深度估计网络的编码器网络提取当前帧图像的多尺度特征；
S312、采用当前双目深度估计网络的解码器网络，对多尺度特征进行融合，获取当前帧图像中每个像素点的视差；
S313、根据相机内外参数，将视差转化为深度并作为当前帧图像的结果输出；
S314、在不引入外部真值的条件下，利用自监督损失更新当前双目深度估计网络的参数，用于下一帧图像的深度估计。
优选的，所述S4中的优化函数是指：
Figure BDA0003728314890000061
其中，
Figure BDA0003728314890000062
表示优化函数；
Figure BDA0003728314890000063
表示SIFT特征向量的余弦相似度：
Figure BDA0003728314890000064
φ(Pi(k-1))表示第i个第二二维关键点Pi(k-1)的特征描述子，是一个向量；φ(Pi(k))表示中第i个第三二维关键点Pi(k)的邻域点的特征描述子，是一个向量；||·||表示向量的模；
Figure BDA0003728314890000065
表示不同曲线上相邻关键点之间夹角的余弦值的差值：
Figure BDA0003728314890000066
其中，g(Pi(k))为夹角的余弦值，具体计算如下：
Figure BDA0003728314890000067
a＝(Pi+1(k)-Pi(k))T，b＝(Pi-1(k)-Pi(k))T
所述S4中根据第二二维关键点和第三二维关键点，通过最小化预设的优化函数，获取跟踪得到的关键点在二维点云上的二维坐标，包括：
通过遍历搜索所有第三二维关键点Pi(k)的邻域点使
Figure BDA0003728314890000068
最小化，使其满足：
Figure BDA0003728314890000069
通过最小化优化函数可以得到一组理想的关键点Pi。
优选的，所述S5中进行曲线拟合，最终跟踪得到三维曲线，包括：
采用B样条曲线方程对线条进行插值拟合，其中B样条曲线的总方程为：
Figure BDA0003728314890000071
其中，Pi是控制曲线的特征点，Fi，k(t)表示k阶B样条基函数，通过曲线插值拟合实现三维曲线跟踪；
优选的，所述S1中的第一二维关键点获取过程包括：
定义
Figure BDA0003728314890000072
表示手术路径曲线所经过的像素点；
对于曲线上的点，曲线上第j个像素点的曲率为：
Figure BDA0003728314890000073
其中，
Figure BDA0003728314890000074
表示曲线上第j+α个像素点的坐标，α表示求解像素点曲率时像素点的间隔数；
对于两个连续的像素点的曲率，当|Kj+α-Kj|≥ε，ε为曲率阈值；
Figure BDA0003728314890000075
作为手术路径曲线上的一个关键点，加上曲线的起点和终点，确定所有的第一二维关键点
Figure BDA0003728314890000076
n为第一二维关键的总个数。
一种面向动态手术路径引导的引导型三维虚拟夹具生成系统，包括：
选择模块，用于读取内窥镜图像，根据医生的选择获取当前帧图像上的手术路径曲线，并获取该手术路径曲线经过的若干第一二维关键点；
跟踪模块，用于跟踪当前帧图像上包含第一二维关键点的第一局部区域，获取下一帧图像上的第二局部区域；
映射模块，用于根据内窥镜图像与点云之间的映射关系，分别将第一局部区域映射到第一局部点云上、第二局部区域映射到第二局部点云上；并确定第一二维关键点在第一局部点云上的第一三维关键点，通过坐标变换得到第二局部点云上的第二三维关键点；
优化模块，用于将第一局部点云进行降维，获取第一二维点云，并获取第一三维关键点在第一二维点云上的第二二维关键点；
将第二局部点云进行降维，获取第二二维点云，并获取第二三维关键点在第二二维点云上的第三二维关键点；
根据第二二维关键点和第三二维关键点，通过最小化预设的优化函数，获取跟踪得到的关键点在二维点云上的二维坐标；
拟合模块，用于根据降维前后点云之间的映射关系，获取每一个跟踪得到的关键点的三维坐标，并进行曲线拟合，最终跟踪得到三维曲线；
引导模块，用于沿着跟踪得到的三维曲线，建立引导型虚拟夹具，所述引导型虚拟夹具通过力反馈机制引导手术器械的移动轨迹。
一种存储介质，其存储有用于面向动态手术路径引导的引导型三维虚拟夹具生成的计算机程序，其中，所述计算机程序使得计算机执行如上所述的引导型三维虚拟夹具生成方法。
一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的引导型三维虚拟夹具生成方法。
(三)有益效果
本发明提供了一种面向动态手术路径引导的引导型三维虚拟夹具生成方法、系统、存储介质和电子设备。与现有技术相比，具备以下有益效果：
本发明中，通过关键点的位置确定局部区域，对局部区域进行追踪，来减少三维关键点的错误追踪；结合内窥镜图像的纹理信息和形状信息，一定程度上避免体内环境特征的不明显带来的影响；在降维后的点云上通过构造优化函数对三维关键点进行精确定位，避免了不同视角下造成的曲线形状不一致性。更进一步的，沿着跟踪得到的三维曲线，建立包含引力与粘滞阻力的虚拟力场，即引导型虚拟夹具，所述引导型虚拟夹具通过力反馈机制精准引导手术器械的移动轨迹。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种面向动态手术路径引导的引导型三维虚拟夹具生成方法的流程示意图；
图2为本发明实施例提供的一种网络训练架构示意图；
图3为本发明实施例提供的一种左、右视差获取示意图；
图4为本发明实施例提供的一种网络应用示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例通过提供一种面向动态手术路径引导的引导型三维虚拟夹具生成方法、系统、存储介质和电子设备，解决了无法实现对手术三维路径的精准引导的技术问题。
本申请实施例中的技术方案为解决上述技术问题，总体思路如下：
本发明实施例提出了一种面向动态手术路径引导的引导型三维虚拟夹具生成方法，主要应用但不局限于主要应用于微创内腔镜手术场景，可以提高远程手术指导的质量和手术机器人自主操作的能力。在手术过程中手感对于主刀医生操控而言十分重要，力反馈能够有效帮助医生解决非周期性运动的手术器械控制问题，如手术过程中器官的保护、目标的引导、避障的约束等，从而保障手术过程的安全精准。
本发明实施例基于体内柔性环境三维重构算法，指导医生在二维图片上绘制出初始手术路径，由计算机利用术中图像进行实时三维点云重建，以此更新三维手术路径，最终建立动态三维手术路径。构建包含引力与粘滞阻力的虚拟力场，即引导型虚拟夹具，通过力反馈机制引导医生沿着预先设定的路径操控手术机器人系统。在手术过程中提高主刀医生操控机器人的手感，有效帮助主刀医生沿着预先设定的手术路径完成手术，实现符合医生操控意图的人机共融操控。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例：
如图1所示，本发明实施例提供了一种面向动态手术路径引导的引导型三维虚拟夹具生成方法，包括：
S1、读取内窥镜图像，根据医生的选择获取当前帧图像上的手术路径曲线，并获取该手术路径曲线经过的若干第一二维关键点；
S2、跟踪当前帧图像上包含第一二维关键点的第一局部区域，获取下一帧图像上的第二局部区域；
S3、根据内窥镜图像与点云之间的映射关系，分别将第一局部区域映射到第一局部点云上、第二局部区域映射到第二局部点云上；并确定第一二维关键点在第一局部点云上的第一三维关键点，通过坐标变换得到第二局部点云上的第二三维关键点；
S4、将第一局部点云进行降维，获取第一二维点云，并获取第一三维关键点在第一二维点云上的第二二维关键点；
将第二局部点云进行降维，获取第二二维点云，并获取第二三维关键点在第二二维点云上的第三二维关键点；
根据第二二维关键点和第三二维关键点，通过最小化预设的优化函数，获取跟踪得到的关键点在二维点云上的二维坐标；
S5、根据降维前后点云之间的映射关系，获取每一个跟踪得到的关键点的三维坐标，并进行曲线拟合，最终跟踪得到三维曲线；
S6、沿着跟踪得到的三维曲线，建立引导型虚拟夹具，所述引导型虚拟夹具通过力反馈机制引导手术器械的移动轨迹。
本发明实施例中，通过关键点的位置确定局部区域，对局部区域进行追踪，来减少三维关键点的错误追踪；结合内窥镜图像的纹理信息和形状信息，一定程度上避免体内环境特征的不明显带来的影响；在降维后的点云上通过构造优化函数对三维关键点进行精确定位，避免了不同视角下造成的曲线形状不一致性。更进一步的，沿着跟踪得到的三维曲线，建立包含引力与粘滞阻力的虚拟力场，即引导型虚拟夹具，所述引导型虚拟夹具通过力反馈机制精准引导手术器械的移动轨迹。
下面将结合具体内容详细介绍上述方案的各个步骤：
在步骤S1中，取内窥镜图像，根据医生的选择获取当前帧图像上的手术路径曲线，并获取该手术路径曲线经过的若干第一二维关键点。
所述S1中的第一二维关键点获取过程包括：
定义
Figure BDA0003728314890000121
表示手术路径曲线所经过的像素点；
对于曲线上的点，曲线上第j个像素点的曲率为：
Figure BDA0003728314890000122
其中，
Figure BDA0003728314890000123
表示曲线上第j+α个像素点的坐标，α表示求解像素点曲率时像素点的间隔数；
对于两个连续的像素点的曲率，当|Kj+α-Kj|≥ε，ε为曲率阈值；
Figure BDA0003728314890000124
作为手术路径曲线上的一个关键点，加上曲线的起点和终点，确定所有的第一二维关键点
Figure BDA0003728314890000125
n为第一二维关键的总个数。
本步骤中，(主刀)医生通过在术中影像进行三维曲线的标记，用于后续在三维点云上进行曲线的显示与更新，保证了信息传递的直观性与准确性，提高了手术效率。并且根据曲线的曲率确定关键点，对关键点追踪保证了计算速度。
在步骤S2中，跟踪当前帧图像上包含第一二维关键点的第一局部区域，获取下一帧图像上的第二局部区域；具体包括
S21、首先定义第k-1帧图像为
Figure BDA0003728314890000131
其中W表示内窥镜图像的宽度，H表示内窥镜图像的高度；第k帧图像为I(k)；若干第一二维关键点
Figure BDA0003728314890000132
分别确定所有第一二维关键点在图像坐标系上u轴和v轴上的最大值和最小值，选取各轴上中值的位置作为pc(k-1)＝(u1，v1)∈R2，根据预设的区域形状和边长，确定第一局部区域
Figure BDA0003728314890000133
S22、采用光流法对图像I(k-1)，I(k)进行特征点的特征匹配，获取图像I(k)上与pc(k-1)对应的第二局部区域的中心pc(k)，
Figure BDA0003728314890000134
其中，
Figure BDA0003728314890000135
表示图像I(k)上的特征点，m表示图像I(k)上特征点的个数；
S23、根据中心pc(k)、以及预设的区域形状和边长，确定第二局部区域
Figure BDA0003728314890000136
本发明实施例通过关键点的位置确定局部区域，对局部区域进行追踪，来减少三维关键点的错误追踪。
在步骤S3中，根据内窥镜图像与点云之间的映射关系，分别将第一局部区域映射到第一局部点云上、第二局部区域映射到第二局部点云上；并确定第一二维关键点在第一局部点云上的第一三维关键点，通过坐标变换得到第二局部点云上的第二三维关键点。
本步骤实际上是对三维关键点的初始定位，三维关键点的初始定位可以通过以下两个步骤实现。
首先，根据内窥镜图像与点云之间的映射关系，利用二维关键点的位置确定其在点云上对应的三维关键点；其次，可以将局部区域内的组织近似看成刚体，利用三维仿射变换求解点云之间的变换矩阵，通过坐标变换得到目标点云上的三维关键点。
相应的，所述S3具体包括：
S31、对内窥镜图像进行深度估计，得到与内窥镜图像相对应的深度图像；通过按行读取，分别从深度图像和内窥镜图像中获得每个像素点的空间信息和颜色信息，获取第一局部点云
Figure BDA0003728314890000141
和第二局部点云
Figure BDA0003728314890000142
S32、确定第一二维关键点
Figure BDA0003728314890000143
在第一局部点云
Figure BDA0003728314890000144
上的第一三维关键点
Figure BDA0003728314890000145
Figure BDA0003728314890000146
Pi(k-1)＝ψ(pi(k-1))
ψ表示
Figure BDA0003728314890000147
到
Figure BDA0003728314890000148
之间的映射关系，记为
Figure BDA0003728314890000149
Figure BDA00037283148900001410
S33、利用光流法获取局部区域
Figure BDA00037283148900001411
的特征点对，分别记作X和Y，则X与Y之间存在坐标变换关系：
Figure BDA0003728314890000151
其中，
Figure BDA0003728314890000152
是拟合函数的参数；通过使用最小二乘，ω可由以下公式求得：
ω＝([X 1]T[X 1])-1[X 1]TY
则
Figure BDA0003728314890000153
之间仿射变换的变换矩阵为：
Figure BDA0003728314890000154
其中，0T＝(0，0，0)；
S34、通过对第一三维关键点
Figure BDA0003728314890000155
进行三维仿射变换，在第二局部点云
Figure BDA0003728314890000156
上搜索最近的点，获取第二三维关键点
Figure BDA0003728314890000157
的初始位置，
Figure BDA0003728314890000158
特别的，所述S31中对内窥镜图像进行深度估计，得到与内窥镜图像相对应的深度图像，所使用的双目深度估计网络具有快速过学习的能力，能够利用自监督信息不断适应新场景，具体包括：
S311、获取双目内窥镜影像，采用当前双目深度估计网络的编码器网络提取当前帧图像的多尺度特征；
S312、采用当前双目深度估计网络的解码器网络，对多尺度特征进行融合，获取当前帧图像中每个像素点的视差；
S313、根据相机内外参数，将视差转化为深度并作为当前帧图像的结果输出；
S314、在不引入外部真值的条件下，利用自监督损失更新当前双目深度估计网络的参数，用于下一帧图像的深度估计。
上述获取深度图像方法利用连续帧的相似性，将一对双目图像上的过拟合思想扩展到时间序列上的过拟合，通过在线学习不断更新模型参数，能在各种双目内窥镜手术环境下得到高精度的组织深度。
具体而言，网络模型的预训练阶段抛弃了传统的训练模式，采用元学习的思路，让网络学习某一张图像去预测另外一张图像的深度，从而计算损失进行网络更新，可有效促进网络对新场景的泛化性和提升对低纹理复杂光照的鲁棒性，同时大幅减少了后续过拟合所需时间。
如图2所示，通过元学习方式训练获取所述双目深度估计网络对应的初始模型参数，具体包括：
S100、随机选取偶数对双目图像{e1，e2，…，e2K}，并平均切分为支持集
Figure BDA0003728314890000161
和查询集
Figure BDA0003728314890000162
和
Figure BDA0003728314890000163
中的图像随机配对形成K个任务
Figure BDA0003728314890000164
S200、内循环训练：根据
Figure BDA0003728314890000165
中的支持集图像计算损失进行一次参数更新；
Figure BDA0003728314890000166
其中，
Figure BDA0003728314890000167
表示内循环更新后的网络参数；
Figure BDA0003728314890000168
表示求导，α为内循环的学习率，
Figure BDA0003728314890000169
为第k个任务的支持集图像，
Figure BDA00037283148900001610
是根据模型初始参数φm计算出的损失；
S300、外循环训练：根据
Figure BDA00037283148900001611
中的查询集图像，利用更新后的模型计算元学习损失，直接更新模型初始参数φm为φm+1；
Figure BDA00037283148900001612
其中，β为外循环的学习率；
Figure BDA00037283148900001613
是第k个任务的查询集图像，
Figure BDA00037283148900001614
为元学习损失。
在步骤S311中，如图3所示，获取双目内窥镜影像，采用当前双目深度估计网络的编码器网络提取当前帧图像的多尺度特征。
示例性的，本步骤中双目深度估计网络的编码器选定采用ResNet18网络，用于对内窥镜图像提取5个尺度的特征图。
在步骤S312中，如图3所示，采用当前双目深度估计网络的解码器网络，对多尺度特征进行融合，获取当前帧图像中每个像素点的视差；具体包括：
采用所述解码器将粗尺度特征图经过卷积块和上采样，与细尺度特征图拼接，再次经过卷积块进行特征融合，其中结合reflection padding、卷积层、非线性激活单元ELU构建所述卷积块；
根据网络分辨率最高的输出直接计算视差：
d＝k·(sigmoid(conv(Y))-0.5)
其中，d表示像素点的视差估计值；k为预先设定的最大视差范围，Y是分辨率最高的输出，conv是卷积层，sigmoid进行范围归一化。
在步骤S313中，根据相机内外参数，将视差转化为深度并作为当前帧图像的结果输出。
本步骤中将视差转化为深度是指：
Figure BDA0003728314890000171
其中，D为像素点的深度估计值；fx，cx2，cx1为双目相机内参；b为基线长度，即双目相机外参。
在步骤S314中，如图4所示，在不引入外部真值的条件下，利用自监督损失更新当前双目深度估计网络的参数，用于下一帧图像的深度估计。
其中，自监督损失包括：
(1)几何一致性损失Ddiff(p)：
Figure BDA0003728314890000181
其中，
Figure BDA0003728314890000182
表示由左目深度图变换后获得的右目深度，D′r表示在右目深度图上采样获得的右目深度；
通过训练损失中加入几何一致性约束实现，保证网络对于硬件的泛用性，实现自主适应手术内窥镜等非常规双目图像。
(2)光度损失
Figure BDA0003728314890000183
Figure BDA0003728314890000184
其中，p表示有效像素点，P表示有效像素点集合；It和I′t分别表示原图和重构图像，λi和λs为平衡参数，SSIMtt′表示图像结构相似度；
(3)平滑损失
Figure BDA0003728314890000185
Figure BDA0003728314890000186
其中，Dn表示归一化深度图，
Figure BDA0003728314890000187
和
Figure BDA0003728314890000188
表示沿着图像水平与垂直方向的一阶导数。
总结来说，上述获取深度图像的方法将每一帧双目图像的深度估计作为独立的任务，实时过拟合得到适用于当前帧的高精度模型；且通过在线学习能快速学习新场景从而获得高精度深度估计结果。
在步骤S4中，将第一局部点云进行降维，获取第一二维点云，并获取第一三维关键点在第一二维点云上的第二二维关键点；
将第二局部点云进行降维，获取第二二维点云，并获取第二三维关键点在第二二维点云上的第三二维关键点；
根据第二二维关键点和第三二维关键点，通过最小化预设的优化函数，获取跟踪得到的关键点在二维点云上的二维坐标。
本步骤实际上是对三维关键点的精确定位。为了保证曲线动态变化时候的准确性，需要对曲线上的关键点的初始位置进行优化。
本步骤中首先结合内窥镜图像的纹理信息和形状信息，一定程度上避免体内环境特征的不明显带来的影响；其次在降维后的点云上通过构造优化函数对三维关键点进行精确定位，避免了不同视角下造成的曲线形状不一致性。
具体的，首先将第一局部点云
Figure BDA0003728314890000191
进行降维，获取第一二维点云Q(k-1)，并获取第一三维关键点Q(k-1)在第一二维点云
Figure BDA0003728314890000192
上的第i个第二二维关键点Pi(k-1)；
将第二局部点云
Figure BDA0003728314890000193
进行降维，获取第二二维点云Q(k)，并获取第二三维关键点Q(k)在第二二维点云上的第i个第三二维关键点Pi(k)。
然后根据第二二维关键点和第三二维关键点，通过最小化预设的优化函数，获取跟踪得到的关键点在二维点云上的二维坐标，包括：
所述优化函数是指：
Figure BDA0003728314890000194
其中，
Figure BDA0003728314890000195
表示优化函数；
Figure BDA0003728314890000196
表示SIFT特征向量的余弦相似度：
Figure BDA0003728314890000201
φ(Pi(k-1))表示第i个第二二维关键点Pi(k-1)的特征描述子，是一个向量；φ(Pi(k))表示中第i个第三二维关键点Pi(k)的邻域点的特征描述子，是一个向量；||·||表示向量的模；
Figure BDA0003728314890000202
表示不同曲线上相邻关键点之间夹角的余弦值的差值：
Figure BDA0003728314890000203
其中，g(Pi(k))为夹角的余弦值，具体计算如下：
Figure BDA0003728314890000204
a＝(Pi+1(k)-Pi(k))T，b＝(Pi-1(k)-Pi(k))T。
通过遍历搜索所有第三二维关键点Pi(k)的邻域点使
Figure BDA0003728314890000205
最小化，使其满足：
Figure BDA0003728314890000206
通过最小化优化函数可以得到一组理想的关键点Pi。
本发明实施例利用三维仿射变换得到变换矩阵后，结合内窥镜图像的纹理信息和形状信息，通过构造优化函数对三维关键点进行精确定位，一定程度上避免体内环境特征的不明显对追踪结果的影响。
在步骤S5中，根据降维前后点云之间的映射关系，获取每一个跟踪得到的关键点的三维坐标，并进行曲线拟合，最终跟踪得到三维曲线。
本步骤中具体采用B样条曲线方程对线条进行插值拟合，其中B样条曲线的总方程为：
Figure BDA0003728314890000211
其中，Pi是控制曲线的特征点，Fi，k(t)表示k阶B样条基函数，通过曲线插值拟合实现三维曲线跟踪。
在步骤S6中，沿着跟踪得到的三维曲线，建立引导型虚拟夹具，所述引导型虚拟夹具通过力反馈机制引导手术器械的移动轨迹；具体包括：
S61、将手术器械实时的三维位置信息、以及前述步骤获取的点云转换到同一坐标系下，采用K近邻算法搜索获取三维曲线上离手术器械末端pins最近的点pnearest，以及两点之间的相对距离xd，由此判断手术器械是否偏离预先设定的手术路径曲线；
具体而言，主刀医生在手术过程中，手术器械实时的三维位置信息pins由光学传感器测量得出，并经过相对位置的坐标转换，将手术器械三维位置和深度估计后得到的三维曲线位置转换到同一坐标系下。
S62、建立关于pins的人工矢量场：
定义三维曲线上所有点包含在点集Vr中，求取Vr的子点集Vp＝{v|||pins-v||≤||pins-pnearest||+Δr}，其中Δr为额外考察半径；
Figure BDA0003728314890000212
其中，g为pins的人工矢量场；g(||pins-v||)为人工矢量长度函数，n(pins，v)为由点pins指向点v的向量，当v对应不同组织时，设立不同的人工矢量长度函数g(||pins-v||)，满足条件
Figure BDA0003728314890000213
Figure BDA0003728314890000214
card(Vp)是子集Vp中元素的个数；
S63、建立包含引力与粘滞阻力的虚拟力场：
Figure BDA0003728314890000221
其中，Fvf为虚拟力场；Kvf为该位置引力与人工矢量的比例系数，Dvf(xd)为阻尼系数，随着最短距离xd进行移动；
Figure BDA0003728314890000222
为pins的速度。
本发明实施例通过触力反馈技术建立主刀医生与机器人的人机触力交互机制，在空间中构建引导型虚拟夹具，实现对主刀医生移动轨迹的精准引导，保障主刀医生能按照预定轨迹操控机器人。在手术精度提升的基础上，主刀医生无需佩戴其他设备，防止干扰医生手术操作。
本发明实施例提供了一种面向动态手术路径引导的引导型三维虚拟夹具生成系统，包括：
选择模块，用于读取内窥镜图像，根据医生的选择获取当前帧图像上的手术路径曲线，并获取该手术路径曲线经过的若干第一二维关键点；
跟踪模块，用于跟踪当前帧图像上包含第一二维关键点的第一局部区域，获取下一帧图像上的第二局部区域；
映射模块，用于根据内窥镜图像与点云之间的映射关系，分别将第一局部区域映射到第一局部点云上、第二局部区域映射到第二局部点云上；并确定第一二维关键点在第一局部点云上的第一三维关键点，通过坐标变换得到第二局部点云上的第二三维关键点；
优化模块，用于将第一局部点云进行降维，获取第一二维点云，并获取第一三维关键点在第一二维点云上的第二二维关键点；
将第二局部点云进行降维，获取第二二维点云，并获取第二三维关键点在第二二维点云上的第三二维关键点；
根据第二二维关键点和第三二维关键点，通过最小化预设的优化函数，获取跟踪得到的关键点在二维点云上的二维坐标；
拟合模块，用于根据降维前后点云之间的映射关系，获取每一个跟踪得到的关键点的三维坐标，并进行曲线拟合，最终跟踪得到三维曲线；
引导模块，用于沿着跟踪得到的三维曲线，建立引导型虚拟夹具，所述引导型虚拟夹具通过力反馈机制引导手术器械的移动轨迹。
本发明实施例提供了一种存储介质，其存储有用于面向动态手术路径引导的引导型三维虚拟夹具生成的计算机程序，其中，所述计算机程序使得计算机执行如上所述的引导型三维虚拟夹具生成方法。
本发明实施例提供了一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的引导型三维虚拟夹具生成方法。
可理解的是，本发明实施例提供的面向动态手术路径引导的引导型三维虚拟夹具生成系统、存储介质和电子设备与本发明实施例提供的面向动态手术路径引导的引导型三维虚拟夹具生成方法相对应，其有关内容的解释、举例和有益效果等部分可以参考引导型三维虚拟夹具生成方法中的相应部分，此处不再赘述。
综上所述，与现有技术相比，具备以下有益效果：
1、本发明实施例中，通过关键点的位置确定局部区域，对局部区域进行追踪，来减少三维关键点的错误追踪；结合内窥镜图像的纹理信息和形状信息，一定程度上避免体内环境特征的不明显带来的影响；在降维后的点云上通过构造优化函数对三维关键点进行精确定位，避免了不同视角下造成的曲线形状不一致性。更进一步的，沿着跟踪得到的三维曲线，建立包含引力与粘滞阻力的虚拟力场，即引导型虚拟夹具，所述引导型虚拟夹具通过力反馈机制精准引导手术器械的移动轨迹。
2、本步骤中，(主刀)医生通过在术中影像进行三维曲线的标记，用于后续在三维点云上进行曲线的显示与更新，保证了信息传递的直观性与准确性，提高了手术效率。并且根据曲线的曲率确定关键点，对关键点追踪保证了计算速度。
3、本发明实施例利用三维仿射变换得到变换矩阵后，结合内窥镜图像的纹理信息和形状信息，通过构造优化函数对三维关键点进行精确定位，一定程度上避免体内环境特征的不明显对追踪结果的影响。
4、双目深度估计网络模型的预训练阶段抛弃了传统的训练模式，采用元学习的思路，让网络学习某一张图像去预测另外一张图像的深度，从而计算损失进行网络更新，可有效促进网络对新场景的泛化性和提升对低纹理复杂光照的鲁棒性，同时大幅减少了后续过拟合所需时间。
5、本发明实施中，将每一帧双目图像的深度估计作为独立的任务，实时过拟合得到适用于当前帧的高精度模型；且通过在线学习能快速学习新场景从而获得高精度深度估计结果。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种面向动态手术路径引导的引导型三维虚拟夹具生成方法，其特征在于，包括：
S1、读取内窥镜图像，根据医生的选择获取当前帧图像上的手术路径曲线，并获取该手术路径曲线经过的若干第一二维关键点；
S2、跟踪当前帧图像上包含第一二维关键点的第一局部区域，获取下一帧图像上的第二局部区域；
S3、根据内窥镜图像与点云之间的映射关系，分别将第一局部区域映射到第一局部点云上、第二局部区域映射到第二局部点云上；并确定第一二维关键点在第一局部点云上的第一三维关键点，通过坐标变换得到第二局部点云上的第二三维关键点；
S4、将第一局部点云进行降维，获取第一二维点云，并获取第一三维关键点在第一二维点云上的第二二维关键点；
将第二局部点云进行降维，获取第二二维点云，并获取第二三维关键点在第二二维点云上的第三二维关键点；
根据第二二维关键点和第三二维关键点，通过最小化预设的优化函数，获取跟踪得到的关键点在二维点云上的二维坐标；
S5、根据降维前后点云之间的映射关系，获取每一个跟踪得到的关键点的三维坐标，并进行曲线拟合，最终跟踪得到三维曲线；
S6、沿着跟踪得到的三维曲线，建立引导型虚拟夹具，所述引导型虚拟夹具通过力反馈机制引导手术器械的移动轨迹。
2.如权利要求1所述的引导型三维虚拟夹具生成方法，其特征在于，所述S6具体包括：
S61、将手术器械实时的三维位置信息、以及前述步骤获取的点云转换到同一坐标系下，获取三维曲线上离手术器械末端pins最近的点pnearest，以及两点之间的相对距离xd；
S62、建立关于pins的人工矢量场：
定义三维曲线上所有点包含在点集Vr中，求取Vr的子点集Vp＝{v|‖pins-v‖≤‖pins-pnearest‖+Δr}，其中Δr为额外考察半径；
Figure FDA0003728314880000021
其中，g为pins的人工矢量场；g(‖pins-v‖)为人工矢量长度函数，n(pins,v)为由点pins指向点v的向量，当v对应不同组织时，设立不同的人工矢量长度函数g(‖pins-v‖)，满足条件
Figure FDA0003728314880000022
Figure FDA0003728314880000023
card(Vp)是子集Vp中元素的个数；
S63、建立包含引力与粘滞阻力的虚拟力场：
Figure FDA0003728314880000024
其中，Fvf为虚拟力场；Kvf为该位置引力与人工矢量的比例系数，Dvf(xd)为阻尼系数，随着最短距离xd进行移动；
Figure FDA0003728314880000025
为pins的速度。
3.如权利要求1或者2所述的引导型三维虚拟夹具生成方法，其特征在于，所述S2包括
S21、首先定义第k-1帧图像为
Figure FDA0003728314880000026
其中W表示内窥镜图像的宽度，H表示内窥镜图像的高度；第k帧图像为I(k)；若干第一二维关键点
Figure FDA0003728314880000027
分别确定所有第一二维关键点在图像坐标系上u轴和v轴上的最大值和最小值，选取各轴上中值的位置作为pc(k-1)＝(u1,v1)∈R2，根据预设的区域形状和边长，确定第一局部区域
Figure FDA0003728314880000031
S22、采用光流法对图像I(k-1),I(k)进行特征点的特征匹配，获取图像I(k)上与pc(k-1)对应的第二局部区域的中心pc(k)，
Figure FDA0003728314880000032
其中，
Figure FDA0003728314880000033
表示图像I(k)上的特征点，m表示图像I(k)上特征点的个数；
S23、根据中心pc(k)、以及预设的区域形状和边长，确定第二局部区域
Figure FDA0003728314880000034
4.如权利要求3所述的引导型三维虚拟夹具生成方法，其特征在于，所述S3包括：
S31、对内窥镜图像进行深度估计，得到与内窥镜图像相对应的深度图像；通过按行读取，分别从深度图像和内窥镜图像中获得每个像素点的空间信息和颜色信息，获取第一局部点云
Figure FDA0003728314880000035
和第二局部点云
Figure FDA0003728314880000036
S32、确定第一二维关键点
Figure FDA0003728314880000037
在第一局部点云
Figure FDA0003728314880000038
上的第一三维关键点
Figure FDA0003728314880000039
Figure FDA00037283148800000310
Pi(k-1)＝ψ(pi(k-1))
ψ表示
Figure FDA00037283148800000311
到
Figure FDA00037283148800000312
之间的映射关系,记为
Figure FDA00037283148800000313
Figure FDA00037283148800000314
S33、利用光流法获取局部区域
Figure FDA00037283148800000315
的特征点对，分别记作X和Y，则X与Y之间存在坐标变换关系：
Figure FDA0003728314880000041
其中，
Figure FDA0003728314880000042
是拟合函数的参数；通过使用最小二乘，ω可由以下公式求得：
ω＝([X 1]T[X 1])-1[X 1]TY
则
Figure FDA0003728314880000043
之间仿射变换的变换矩阵为：
Figure FDA0003728314880000044
其中，0T＝(0,0,0)；
S34、通过对第一三维关键点
Figure FDA0003728314880000045
进行三维仿射变换，在第二局部点云
Figure FDA0003728314880000046
上搜索最近的点，获取第二三维关键点
Figure FDA0003728314880000047
的初始位置，
Figure FDA0003728314880000048
5.如权利要求4所述的引导型三维虚拟夹具生成方法，其特征在于，所述S31中对内窥镜图像进行深度估计，得到与内窥镜图像相对应的深度图像，所使用的双目深度估计网络具有快速过学习的能力，能够利用自监督信息不断适应新场景，具体包括：
S311、获取双目内窥镜影像，采用当前双目深度估计网络的编码器网络提取当前帧图像的多尺度特征；
S312、采用当前双目深度估计网络的解码器网络，对多尺度特征进行融合，获取当前帧图像中每个像素点的视差；
S313、根据相机内外参数，将视差转化为深度并作为当前帧图像的结果输出；
S314、在不引入外部真值的条件下，利用自监督损失更新当前双目深度估计网络的参数，用于下一帧图像的深度估计。
6.如权利要求1或者2所述的引导型三维虚拟夹具生成方法，其特征在于，所述S4中的优化函数是指：
Figure FDA0003728314880000051
其中，
Figure FDA0003728314880000052
表示优化函数；
Figure FDA0003728314880000053
表示SIFT特征向量的余弦相似度：
Figure FDA0003728314880000054
φ(Pi(k-1))表示第i个第二二维关键点Pi(k-1)的特征描述子，是一个向量；φ(Pi(k))表示中第i个第三二维关键点Pi(k)的邻域点的特征描述子，是一个向量；‖·‖表示向量的模；
Figure FDA0003728314880000055
表示不同曲线上相邻关键点之间夹角的余弦值的差值：
Figure FDA0003728314880000056
其中，g(Pi(k))为夹角的余弦值，具体计算如下：
Figure FDA0003728314880000057
a＝(Pi+1(k)-Pi(k))T，b＝(Pi-1(k)-Pi(k))T
所述S4中根据第二二维关键点和第三二维关键点，通过最小化预设的优化函数，获取跟踪得到的关键点在二维点云上的二维坐标，包括：
通过遍历搜索所有第三二维关键点Pi(k)的邻域点使
Figure FDA0003728314880000058
最小化，使其满足：
Figure FDA0003728314880000059
通过最小化优化函数可以得到一组理想的关键点Pi。
7.如权利要求6所述的引导型三维虚拟夹具生成方法，其特征在于，所述S5中进行曲线拟合，最终跟踪得到三维曲线，包括：
采用B样条曲线方程对线条进行插值拟合，其中B样条曲线的总方程为：
Figure FDA0003728314880000061
其中，Pi是控制曲线的特征点，Fi,k(t)表示k阶B样条基函数，通过曲线插值拟合实现三维曲线跟踪；
和/或所述S1中的第一二维关键点获取过程包括：
定义
Figure FDA0003728314880000062
表示手术路径曲线所经过的像素点；
对于曲线上的点，曲线上第j个像素点的曲率为：
Figure FDA0003728314880000063
其中，
Figure FDA0003728314880000064
表示曲线上第j+α个像素点的坐标，α表示求解像素点曲率时像素点的间隔数；
对于两个连续的像素点的曲率，当|Kj+α-Kj|≥ε，ε为曲率阈值；
Figure FDA0003728314880000065
作为手术路径曲线上的一个关键点，加上曲线的起点和终点，确定所有的第一二维关键点
Figure FDA0003728314880000066
n为第一二维关键的总个数。
8.一种面向动态手术路径引导的引导型三维虚拟夹具生成系统，其特征在于，包括：
选择模块，用于读取内窥镜图像，根据医生的选择获取当前帧图像上的手术路径曲线，并获取该手术路径曲线经过的若干第一二维关键点；
跟踪模块，用于跟踪当前帧图像上包含第一二维关键点的第一局部区域，获取下一帧图像上的第二局部区域；
映射模块，用于根据内窥镜图像与点云之间的映射关系，分别将第一局部区域映射到第一局部点云上、第二局部区域映射到第二局部点云上；并确定第一二维关键点在第一局部点云上的第一三维关键点，通过坐标变换得到第二局部点云上的第二三维关键点；
优化模块，用于将第一局部点云进行降维，获取第一二维点云，并获取第一三维关键点在第一二维点云上的第二二维关键点；
将第二局部点云进行降维，获取第二二维点云，并获取第二三维关键点在第二二维点云上的第三二维关键点；
根据第二二维关键点和第三二维关键点，通过最小化预设的优化函数，获取跟踪得到的关键点在二维点云上的二维坐标；
拟合模块，用于根据降维前后点云之间的映射关系，获取每一个跟踪得到的关键点的三维坐标，并进行曲线拟合，最终跟踪得到三维曲线；
引导模块，用于沿着跟踪得到的三维曲线，建立引导型虚拟夹具，所述引导型虚拟夹具通过力反馈机制引导手术器械的移动轨迹。
9.一种存储介质，其特征在于，其存储有用于面向动态手术路径引导的引导型三维虚拟夹具生成的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1～7任一项所述的引导型三维虚拟夹具生成方法。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1～7任一项所述的引导型三维虚拟夹具生成方法。
CN202210778943.1A 2022-07-04 2022-07-04 面向动态手术路径引导的引导型三维虚拟夹具生成方法 Pending CN115349952A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210778943.1A CN115349952A (zh) 2022-07-04 2022-07-04 面向动态手术路径引导的引导型三维虚拟夹具生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210778943.1A CN115349952A (zh) 2022-07-04 2022-07-04 面向动态手术路径引导的引导型三维虚拟夹具生成方法

Publications (1)

Publication Number Publication Date
CN115349952A true CN115349952A (zh) 2022-11-18

Family

ID=84030726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210778943.1A Pending CN115349952A (zh) 2022-07-04 2022-07-04 面向动态手术路径引导的引导型三维虚拟夹具生成方法

Country Status (1)

Country Link
CN (1) CN115349952A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116473673A (zh) * 2023-06-20 2023-07-25 浙江华诺康科技有限公司 内窥镜的路径规划方法、装置、系统和存储介质
CN117953165A (zh) * 2024-03-26 2024-04-30 合肥工业大学 基于神经辐射场的人脸新视图合成方法和系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116473673A (zh) * 2023-06-20 2023-07-25 浙江华诺康科技有限公司 内窥镜的路径规划方法、装置、系统和存储介质
CN116473673B (zh) * 2023-06-20 2024-02-27 浙江华诺康科技有限公司 内窥镜的路径规划方法、装置、系统和存储介质
CN117953165A (zh) * 2024-03-26 2024-04-30 合肥工业大学 基于神经辐射场的人脸新视图合成方法和系统

Similar Documents

Publication Publication Date Title
CN115349952A (zh) 面向动态手术路径引导的引导型三维虚拟夹具生成方法
Mahmoud et al. ORBSLAM-based endoscope tracking and 3D reconstruction
Li et al. Unsupervised-learning-based continuous depth and motion estimation with monocular endoscopy for virtual reality minimally invasive surgery
Song et al. Dynamic reconstruction of deformable soft-tissue with stereo scope in minimal invasive surgery
JP2021530061A (ja) 画像処理方法及びその装置、電子機器並びにコンピュータ可読記憶媒体
Lee et al. From medical images to minimally invasive intervention: Computer assistance for robotic surgery
WO2010046802A1 (en) Image-based localization method and system
Wei et al. Stereo dense scene reconstruction and accurate localization for learning-based navigation of laparoscope in minimally invasive surgery
Wong et al. A quasi-spherical triangle-based approach for efficient 3-D soft-tissue motion tracking
CN108090954A (zh) 基于图像特征的腹腔环境地图重建与腹腔镜定位的方法
CN110368089A (zh) 一种支气管内窥镜三维导航方法
Li et al. Learning laparoscope actions via video features for proactive robotic field-of-view control
Luo et al. Evolutionarily optimized electromagnetic sensor measurements for robust surgical navigation
US9080844B2 (en) Linking of microscopes for analysis of objects comprising tool marks
Lin et al. SuPerPM: A Large Deformation-Robust Surgical Perception Framework Based on Deep Point Matching Learned from Physical Constrained Simulation Data
Cabras et al. Comparison of methods for estimating the position of actuated instruments in flexible endoscopic surgery
CN116503457A (zh) 基于双目内窥镜的在线自监督学习深度估计方法
CN115330678A (zh) 面向手术安全保障的禁止区域型三维虚拟夹具生成方法
CN115252992A (zh) 基于结构光立体视觉的气管插管导航系统
CN116439825B (zh) 面向微创术中辅助决策的体内三维信息测量系统
Luo A new electromagnetic-video endoscope tracking method via anatomical constraints and historically observed differential evolution
Liu et al. Pose estimation via structure-depth information from monocular endoscopy images sequence
Luo et al. A comparison of modified evolutionary computation algorithms with applications to three-dimensional endoscopic camera motion tracking
CN115345913B (zh) 一种三维模型的配准方法、内窥镜设备及装置
CN115359216A (zh) 面向微创关键轨迹导航的体内三维曲线动态跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination