CN117159144A - 膝关节韧带重建手术机器人导航定位系统及方法 - Google Patents
膝关节韧带重建手术机器人导航定位系统及方法 Download PDFInfo
- Publication number
- CN117159144A CN117159144A CN202311146004.6A CN202311146004A CN117159144A CN 117159144 A CN117159144 A CN 117159144A CN 202311146004 A CN202311146004 A CN 202311146004A CN 117159144 A CN117159144 A CN 117159144A
- Authority
- CN
- China
- Prior art keywords
- registration
- knee joint
- point
- image
- mechanical arm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000000629 knee joint Anatomy 0.000 title claims abstract description 118
- 238000000034 method Methods 0.000 title claims abstract description 93
- 210000003041 ligament Anatomy 0.000 title claims abstract description 51
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 71
- 239000000523 sample Substances 0.000 claims abstract description 66
- 230000003287 optical effect Effects 0.000 claims abstract description 26
- 238000003709 image segmentation Methods 0.000 claims abstract description 22
- 238000013528 artificial neural network Methods 0.000 claims abstract description 18
- 230000011218 segmentation Effects 0.000 claims abstract description 13
- 238000013135 deep learning Methods 0.000 claims abstract description 12
- 238000005516 engineering process Methods 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 64
- 238000010586 diagram Methods 0.000 claims description 42
- 210000000689 upper leg Anatomy 0.000 claims description 40
- 210000003127 knee Anatomy 0.000 claims description 35
- 210000002303 tibia Anatomy 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 29
- 238000004422 calculation algorithm Methods 0.000 claims description 25
- 230000033001 locomotion Effects 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 230000008602 contraction Effects 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 6
- 230000008439 repair process Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 210000002082 fibula Anatomy 0.000 claims description 3
- 210000004417 patella Anatomy 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 210000001185 bone marrow Anatomy 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 21
- 230000008569 process Effects 0.000 description 19
- 238000012549 training Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000009616 inductively coupled plasma Methods 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001373 regressive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
本申请提供了一种膝关节韧带重建手术机器人导航定位方法、系统、设备及计算机可读存储介质。该膝关节韧带重建手术机器人导航定位方法，包括：获取第一膝关节CT图像；基于深度学习的神经网络CT图像分割；根据分割结果进行膝关节3D建模；在膝关节设置术前引导点及规划术前配准点；骨隧道规划与韧带重建；术中根据术前引导点使用探针进行术中配准点的采集；利用探针完成基于数字孪生技术的术前配准点与术中配准点的刚性配准；根据配准结果完成机械臂、光学定位跟踪器与膝关节的坐标系建立；控制机械臂自主运动进行骨隧道重建。根据本申请实施例，能够更加准确地进行骨髓道重建。
Description
技术领域
本申请属于手术机器人技术领域，尤其涉及一种膝关节韧带重建手术机器人导航定位方法、系统、设备及计算机可读存储介质。
背景技术
目前，相关技术中的骨髓道重建方法是医生依靠经验进行骨髓道重建，但是重建的骨隧道不准确。
因此，如何更加准确地进行骨髓道重建是本领域技术人员亟需解决的技术问题。
发明内容
本申请实施例提供一种膝关节韧带重建手术机器人导航定位方法、系统、设备及计算机可读存储介质，能够更加准确地进行骨髓道重建。
第一方面，本申请实施例提供一种膝关节韧带重建手术机器人导航定位方法，包括：
获取第一膝关节CT图像；
基于深度学习的神经网络CT图像分割；其中，在编码层采用2D卷积的形式提取特征，且在特征提取部分采用3次深度卷积进行特征提取，每个部分将输入的特征与输出部分进行残差计算，以保障特征的细节信息；在解码层采用3D卷积的形式提取特征，每个部分将输入的特征与输出部分进行残差计算；解码层与编码层的连接需要转换层进行数据的转换，将2D卷积生成的特征转化为3D特征图；
根据分割结果进行膝关节3D建模；
在膝关节设置术前引导点及规划术前配准点；
骨隧道规划与韧带重建；
术中根据术前引导点使用探针进行术中配准点的采集；
利用探针完成基于数字孪生技术的术前配准点与术中配准点的刚性配准；其中，刚性配准包括粗配准与精配准两部分；首先使用术中配准点与术前配准点进行初始配准，同时利用数字孪生的方法定位探针的位置，并将三维骨骼映射到彩色图像中，利用探针针尖的位置实时监控三维骨骼的位置，并修正初始配准矩阵；根据修正的初始配准矩阵再次进行配准矩阵的自动调整，得到最终刚性配准矩阵；数字孪生的方法是基于多模态多尺度融合的探针跟踪算法对探针进行实时跟踪，使用基于多模态多尺度融合的针尖定位算法实时定位探针针尖的位置；
根据配准结果完成机械臂、光学定位跟踪器与膝关节的坐标系建立；
控制机械臂自主运动进行骨隧道重建。
可选的，基于深度学习的神经网络CT图像分割；根据分割结果进行膝关节3D建模；骨隧道规划与韧带重建，包括：
对第一膝关节CT图像进行图像分割，得到第二膝关节CT图像；其中，第二膝关节CT图像中被分割出来的股骨、胫骨、髌骨和腓骨四个部位分别显示；
对第二膝关节CT图像进行关键点识别，得到第三膝关节CT图像；
对第三膝关节CT图像进行骨骼矫正，得到第四膝关节CT图像；
对第四膝关节CT图像中的关键点进行位置优化，得到第五膝关节CT图像；
基于第五膝关节CT图像进行骨隧道规划，得到骨隧道规划结果；
基于骨隧道规划结果进行三维重建渲染，以结果展示骨隧道。
可选的，根据配准结果完成机械臂、光学定位跟踪器与膝关节的坐标系建立，包括：
根据配准结果，确定光学定位跟踪器与膝关节之间的坐标转换关系；
确定光学定位跟踪器与机械臂之间的坐标转换关系；
基于光学定位跟踪器与膝关节之间的坐标转换关系和光学定位跟踪器与机械臂之间的坐标转换关系，确定膝关节与机械臂之间的坐标转换关系。
可选的，控制机械臂自主运动进行骨隧道重建，包括：
确定机械臂中各个轴的运动轨迹；
基于运动轨迹，控制机械臂进行骨隧道重建。
可选的，控制机械臂自主运动进行骨隧道重建之后，方法还包括：
计算股骨与胫骨分别在不同角度时，股骨外侧髁内测后上方点A与胫骨髁间隆凸前内测1/3处点C之间的伸缩量；
若伸缩量不在允许误差范围内，控制机械臂对骨隧道进行修复。
第二方面，本申请实施例提供了一种膝关节韧带重建手术机器人导航定位系统，系统包括：
图像获取模块，用于获取第一膝关节CT图像；
图像分割模块，用于基于深度学习的神经网络CT图像分割；其中，在编码层采用2D卷积的形式提取特征，且在特征提取部分采用3次深度卷积进行特征提取，每个部分将输入的特征与输出部分进行残差计算，以保障特征的细节信息；在解码层采用3D卷积的形式提取特征，每个部分将输入的特征与输出部分进行残差计算；解码层与编码层的连接需要转换层进行数据的转换，将2D卷积生成的特征转化为3D特征图；
建模模块，用于根据分割结果进行膝关节3D建模；
引导配准点设置模块，用于在膝关节设置术前引导点及规划术前配准点；
骨隧道规划模块，用于骨隧道规划与韧带重建；
配准点采集模块，用于术中根据术前引导点使用探针进行术中配准点的采集；
刚性配准模块，用于利用探针完成基于数字孪生技术的术前配准点与术中配准点的刚性配准；其中，刚性配准包括粗配准与精配准两部分；首先使用术中配准点与术前配准点进行初始配准，同时利用数字孪生的方法定位探针的位置，并将三维骨骼映射到彩色图像中，利用探针针尖的位置实时监控三维骨骼的位置，并修正初始配准矩阵；根据修正的初始配准矩阵再次进行配准矩阵的自动调整，得到最终刚性配准矩阵；数字孪生的方法是基于多模态多尺度融合的探针跟踪算法对探针进行实时跟踪，使用基于多模态多尺度融合的针尖定位算法实时定位探针针尖的位置；
坐标系建立模块，用于根据配准结果完成机械臂、光学定位跟踪器与膝关节的坐标系建立；
控制模块，用于控制机械臂自主运动进行骨隧道重建。
第三方面，本申请实施例提供了一种电子设备，电子设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如第一方面的膝关节韧带重建手术机器人导航定位方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如第一方面的膝关节韧带重建手术机器人导航定位方法。
本申请实施例提供一种膝关节韧带重建手术机器人导航定位方法、系统、设备及计算机可读存储介质，能够更加准确地进行骨髓道重建。
该膝关节韧带重建手术机器人导航定位方法，包括：获取第一膝关节CT图像；基于深度学习的神经网络CT图像分割；其中，在编码层采用2D卷积的形式提取特征，且在特征提取部分采用3次深度卷积进行特征提取，每个部分将输入的特征与输出部分进行残差计算，以保障特征的细节信息；在解码层采用3D卷积的形式提取特征，每个部分将输入的特征与输出部分进行残差计算；解码层与编码层的连接需要转换层进行数据的转换，将2D卷积生成的特征转化为3D特征图；根据分割结果进行膝关节3D建模；在膝关节设置术前引导点及规划术前配准点；骨隧道规划与韧带重建；术中根据术前引导点使用探针进行术中配准点的采集；利用探针完成基于数字孪生技术的术前配准点与术中配准点的刚性配准；其中，刚性配准包括粗配准与精配准两部分；首先使用术中配准点与术前配准点进行初始配准，同时利用数字孪生的方法定位探针的位置，并将三维骨骼映射到彩色图像中，利用探针针尖的位置实时监控三维骨骼的位置，并修正初始配准矩阵；根据修正的初始配准矩阵再次进行配准矩阵的自动调整，得到最终刚性配准矩阵；数字孪生的方法是基于多模态多尺度融合的探针跟踪算法对探针进行实时跟踪，使用基于多模态多尺度融合的针尖定位算法实时定位探针针尖的位置；根据配准结果完成机械臂、光学定位跟踪器与膝关节的坐标系建立；控制机械臂自主运动进行骨隧道重建。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的膝关节韧带重建手术机器人导航定位方法的流程示意图；
图2是本申请一个实施例提供的膝关节韧带重建手术机器人导航定位方法的流程示意图；
图3是本申请一个实施例提供的图像分割网络结构示意图；
图4是本申请一个实施例提供的深度分离卷积示意图；
图5是本申请一个实施例提供的2D特征转3D特征示意图；
图6是本申请一个实施例提供的股骨侧配准采点区域图；
图7是本申请一个实施例提供的胫骨侧配准采点区域图；
图8是本申请一个实施例提供的膝关节、NDI与机械臂三者坐标对应关系；
图9是本申请一个实施例提供的骨隧道重建的示意图；
图10是本申请一个实施例提供的伸缩量计算示意图；
图11是本申请一个实施例提供的膝关节韧带重建手术机器人导航定位系统的结构示意图；
图12是本申请一个实施例提供的电子设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了解决现有技术问题，本申请实施例提供了一种膝关节韧带重建手术机器人导航定位方法、系统、设备及计算机可读存储介质。下面首先对本申请实施例所提供的膝关节韧带重建手术机器人导航定位方法进行介绍。
图1示出了本申请一个实施例提供的膝关节韧带重建手术机器人导航定位方法的流程示意图。如图1所示，该膝关节韧带重建手术机器人导航定位方法，包括：
S101、获取第一膝关节CT图像；
S102、基于深度学习的神经网络CT图像分割；其中，在编码层采用2D卷积的形式提取特征，且在特征提取部分采用3次深度卷积进行特征提取，每个部分将输入的特征与输出部分进行残差计算，以保障特征的细节信息；在解码层采用3D卷积的形式提取特征，每个部分将输入的特征与输出部分进行残差计算；解码层与编码层的连接需要转换层进行数据的转换，将2D卷积生成的特征转化为3D特征图；
S103、根据分割结果进行膝关节3D建模；
S104、在膝关节设置术前引导点及规划术前配准点；
S105、骨隧道规划与韧带重建；
S106、术中根据术前引导点使用探针进行术中配准点的采集；
S107、利用探针完成基于数字孪生技术的术前配准点与术中配准点的刚性配准；其中，刚性配准包括粗配准与精配准两部分；首先使用术中配准点与术前配准点进行初始配准，同时利用数字孪生的方法定位探针的位置，并将三维骨骼映射到彩色图像中，利用探针针尖的位置实时监控三维骨骼的位置，并修正初始配准矩阵；根据修正的初始配准矩阵再次进行配准矩阵的自动调整，得到最终刚性配准矩阵；数字孪生的方法是基于多模态多尺度融合的探针跟踪算法对探针进行实时跟踪，使用基于多模态多尺度融合的针尖定位算法实时定位探针针尖的位置；
S108、根据配准结果完成机械臂、光学定位跟踪器与膝关节的坐标系建立；
S109、控制机械臂自主运动进行骨隧道重建。
具体的，本发明将利用机器人系统完成运动医学中韧带重建的手术工作。如图2所示，本系统分为术前规划、术中配准与骨髓道重建三部分。其中，术前规划部份主要包括基于神经网络的膝关节CT图像分割、3D膝关节建模、引导点与配准点设置、骨隧道规划与韧带重建。术中配准部分主要分为探针数据采集、术前与术中点配准、建立坐标系转换关系。骨隧道重建部分主要是机械臂根据术前规划与配准部分进行运动，建立可安装人工韧带骨隧道。
在一个实施例中，基于深度学习的神经网络CT图像分割；根据分割结果进行膝关节3D建模；骨隧道规划与韧带重建，包括：
对第一膝关节CT图像进行图像分割，得到第二膝关节CT图像；其中，第二膝关节CT图像中被分割出来的股骨、胫骨、髌骨和腓骨四个部位分别显示；
对第二膝关节CT图像进行关键点识别，得到第三膝关节CT图像；其中，第三膝关节CT图像中显示的关键点可以包括：股骨外侧髁内侧后上方点A、股骨前髁外侧缘点B、胫骨髁间隆凸前内侧1/3处点C、胫骨结节内侧缘点D、内通髁点E和外通髁点F；
对第三膝关节CT图像进行骨骼矫正，得到第四膝关节CT图像；
对第四膝关节CT图像中的关键点进行位置优化，得到第五膝关节CT图像；具体的，可以对第四膝关节CT图像中的股骨外侧髁内侧后上方点A、胫骨髁间隆凸前内侧1/3处点C进行位置优化；
基于第五膝关节CT图像进行骨隧道规划，得到骨隧道规划结果；
基于骨隧道规划结果进行三维重建渲染，以结果展示骨隧道。
在一个实施例中，对第一膝关节CT图像进行图像分割，得到第二膝关节CT图像，包括：
将第一膝关节CT图像输入到预设的膝关节图像分割网络模型中，输出第二膝关节CT图像；
其中，膝关节图像分割网络模型是基于2D神经网络或者3D神经网络，利用训练集、验证集、测试集进行模型训练得到的。
具体的，获取膝关节医学图像数据集，将其进行手动标注，最终只提取含有膝关节各部分的标签作为我们的分割mask。将CT数据转换成nii.gz格式数据，将mask数据转换成nii.gz格式数据，将其进行打乱顺序后按照6:2:2的比例划分为训练集、验证集、测试集。
膝关节图像分割网络可以采用2D神经网络或者3D神经网络来对CT数据进行分割，膝关节多任务分割神经网络中采用3次下采样，和3次上采样，每一个卷积层使用1x1x1，3x3x3，1x1x1卷积核，在同一尺度下的下采样和上采样之间使用跳跃级联结构，其目的是为了减少特征丢失。
模型训练过程中，训练的batch_size为64，初始化学习率设置为1e-4，附加学习率衰减策略，每迭代5000次,学习率衰减为原来的0.9，优化器使用Adam优化器，使用损失函数为DICE loss，设置每迭代1000次，对训练集和验证集做一次验证，通过早停法来判断网络训练停止时间，并得到最终模型。
在一个实施例中，对第二膝关节CT图像进行关键点识别，得到第三膝关节CT图像，包括：
将第二膝关节CT图像输入预设的关键点识别网络模型，得到第三膝关节CT图像；
其中，关键点识别网络模型的网络结构包括三个分支，第一分支用于获取关键点热力图；第二分支用于获取关键点位置偏移；第三分支用于获取关键点边框尺寸。
具体的，获取分割后数据结果，制作训练数据集。对训练数据集进行打乱顺序后按照6:2:2的比例划分为训练集、验证集、测试集。膝关节需要识别的点为通髁两个点(内通髁点E、外通髁点F)、股骨外侧髁内侧后上方点A、股骨前髁外侧缘点B、胫骨髁间隆凸前内侧1/3处点C和胫骨结节内侧缘点D，共6个点。
本文使用到的膝关节点识别算法主要通过目标的中心点坐标及偏移量来确定目标信息，回归目标的姿态信息、方向信息以及尺寸大小等，从而将目标检测问题转化为关键点估计问题。
模型训练使用标准的监督学习，推理过程利用单个前向传播网络。特征提取骨干网络主要有三种：ResNet-18、DLA-34和Hourglass，这里使用以基于Hourglass的关键点识别网络结构。
膝关节点识别整个网络包含3个分支。输入图像经过Hourglass网络输出，经过三个分支，第一个分支经过3*3卷积层、1*1卷积层和最大池化之后形成每一个关键点热力图结果，即关键点热力图分支；第二个分支经过3*3卷积层、1*1卷积层计算得到每一个关键点位置偏移量，即关键点位置偏移分支；第三个分支经过3*3卷积层、1*1卷积层计算得到每一个关键点边框尺寸，即关键点边框尺寸分支；
关键点热力图分支和关键点边框尺寸分支用于生成所有类别目标的位置图，关键点位置偏移分支表征了目标真实位置与预测位置的偏移量。这里膝关节点识别网络将图像分辨率缩小4倍用于输出特征图，目的是为了加快模型训练。点识别流程如下：
网络输入的图像表示为：
I∈RW*H*3
经过网络输出端预测出的关键点热力图为：
其中，W、H表示为图像的宽和高，R是输出的步长，这里设置R＝4，C表示输出热力图中关键点类别的数量。表示对应的位置是检测的关键点位置，/>表示检测的位置是背景。
在预测阶段，假设(x1,x2,y1,y2)是目标的边界框，进过计算得到的中心点p为：
p＝((x1+x2/2),(y1+y2/2))
目标的其他信息是从关键点的图像信息获得，所有中心点通过预测得到，然后通过回归得到目标大小，回归的位置坐标p*为：
其中，分别是中心点横纵坐标位置的偏移量，/>表示检测目标的宽度和高度，δ表示位置权重，/>和/>表示横纵坐标位置。
在一个实施例中，还包括：
确定三个分支各自对应的分支损失函数及权重；
基于三个分支各自对应的分支损失函数及权重，确定整体损失函数；
基于整体损失函数计算损失值；
基于损失值，反馈调整网络参数。
具体的，膝关节点识别网络有三个分支输出，关键点热力图分支损失函数(Lk)、关键点位置偏移分支损失函数(Lsize)和关键点边框尺寸分支损失函数(Loff)三部分构成：
关键点热力图分支损失函数Lk为：
其中，是使用Hourglass网络预测出热力图的中心点坐标，这里设置α＝2和β＝4，表示超参数，N表示关键点数量。
关键点边框尺寸分支损失函数Loff为：
其中，Loff是L1损失函数，N表示关键点数量，f(xi)和yi表示第i个关键点位置真实坐标值和预测坐标值。
关键点位置偏移分支损失函数Lsize表示为：
其中，Lsize是L2损失函数，N表示关键点数量，f(xi)和yi表示第i个关键点位置真实坐标值和预测坐标值。
最终，损失函数为：
Loss＝λ0Lk+λsizeLsize+λoffLoff
其中，λ0+λsize+λoff＝1。
膝关节关键点热力图计算过程：
设第k个关键点在热力图Hk上p位置点上的置信度HK(p)，表示为
其中，(xk,yk)是第k个关键点坐标，k∈[0,6]，这里需要计算6个关键点；σ是标准差代表热图中能量集中度，当σ较大时，则热图覆盖区域较大，当σ较小时，则热图覆盖区域较小。
膝关节6个关键点的热力图组合在一起形成最终的热力图为H∈Rw*h*k，k表示关键点数量，w，h表示宽和高。根据预测出的热力图Hk分布，最终膝关节位置的预测结果为
其中，表示模型预测出第k个关键点的热力图上p位置坐标点上的置信度，取置信度值最大的点位置坐标就是预测出的第k个关键点位置/>
Hourglass网络：
注意力机制在图像处理中应用广泛，它能够使网络成功学习到与目标有关的信息。由于实验使用的数据集较大，目标类别较多且尺寸大小不一。因此，为了更好地提取目标特征，将全局上下文模块，加入到特征提取网络Hourglass中，可应用于特征提取网络每个层以捕获网络依赖性，有助于网络提高对小目标的检测能力。
Hourglass网络深度较深，参数数量庞大。因此在加入注意力模块的同时还要兼顾网络的计算量。而全局上下文模块采用的是轻量级网络，增加的网络计算成本可以忽略不计，减轻网络训练负担。
全局上下文模块计算公式：
其中，表示为全局池化权重，δ(x)＝Wv2 Relu(LN(Wv1(x)))表示特征变换，zi＝xi+δ(x)表示将全局上下文函数合并到所有位置函数。
在一个实施例中，对第三膝关节CT图像进行骨骼矫正，得到第四膝关节CT图像，包括：
确定旋转角；
基于旋转角，确定旋转矩阵；
将第三膝关节CT图像与旋转矩阵相乘，得到旋转后的第四膝关节CT图像。
具体的，骨骼矫正的矫正的规则：
1)通髁连线平行于Y轴、Z轴形成的平面，计算通髁连线和Y轴、Z轴夹角a，即旋转角；
2)仅调整股骨位置，胫骨跟着股骨移动；
3)根据旋转角度计算旋转矩阵，二维图像旋转矩阵为3*3矩阵，如下：
T旋转前图像*Tm＝T旋转后图像
其中，Tm表示旋转矩阵，a表示旋转角，T旋转前图像表示股骨旋转前矩阵，T旋转后图像表示股骨旋转前矩阵。
在一个实施例中，对第四膝关节CT图像中的股骨外侧髁内侧后上方点A、胫骨髁间隆凸前内侧1/3处点C进行位置优化，得到第五膝关节CT图像，包括：
计算股骨和胫骨在不同角度时，股骨外侧髁内侧后上方点A、胫骨髁间隆凸前内侧1/3处点C之间的长度伸缩变化差值；
将长度伸缩变化差值最小的股骨外侧髁内侧后上方点A、胫骨髁间隆凸前内侧1/3处点C的位置，确定为优化后的位置。
具体的，关键点位置优化：
计算股骨和胫骨在0°，90°，120°时AC长度伸缩变化最短位置。A、C点为点识别初始识别点。
保持胫骨不动，将股骨绕通髁线旋转90°和120°，计算A、C点距离。
股骨旋转矩阵计算方法：
根据旋转角度计算旋转矩阵，股骨数据为三维数据，三维图像旋转矩阵为4*4矩阵，如下：
T旋转前股骨*Tmatrix＝T旋转后股骨
其中，Tmatrix表示旋转矩阵，a这里选择90°和120°，T旋转前股骨表示股骨旋转前矩阵，T旋转后股骨表示股骨旋转前矩阵。
A、C点优化方法：
1、以点识别网络识别的初始A、C点为球心，寻找半径5mm，寻找骨表面的点集，从A、C点集中各取出一个点形成N个AC点组合。
2、计算每一个AC点在0°，90°，120°时AC长度伸缩变化差值。
3、循环第二步骤，统计每一组AC点在0°，90°，120°时AC长度伸缩变化差值。寻找AC点伸缩变化最小值对应的AC点对。
4、输出优化的A、C点坐标。
AC两个点的空间距离d为：
其中，A点坐标为(x1,y1,z1)，C点坐标为(x2,y2,z2)。
在一个实施例中，基于第五膝关节CT图像进行骨隧道规划，得到骨隧道规划结果，包括：
基于第五膝关节CT图像进行骨隧道规划，得到胫骨侧、韧带、股骨侧三段骨隧道规划结果。
具体的，骨隧道规划：
膝关节骨隧道分为胫骨侧、韧带、股骨侧三段，其中股骨侧是A点和B点形成隧道，胫骨侧是C点和D点形成隧道，韧带则是A点和C点形成隧道。
基于胫骨侧、韧带、股骨侧形成膝关节骨隧道。
结果展示：股骨和胫骨在0°，90°，120°时AC长度伸缩变化展示。
在一个实施例中，基于深度学习的神经网络CT图像分割，包括：
在编码层采用2D卷积的形式提取特征，且在特征提取部分采用3次深度卷积进行特征提取，每个部分将输入的特征与输出部分进行残差计算，以保障特征的细节信息；
在解码层采用3D卷积的形式提取特征，每个部分将输入的特征与输出部分进行残差计算；
解码层与编码层的连接需要转换层进行数据的转换，将2D卷积生成的特征转化为3D特征图。
具体的，本方法采用2D/3D混合卷积的方式进行CT图像的分割。这种方式既可以充分考虑CT图像切片间的空间信息，同时也兼顾了整个模型的运行效率。图像分割网络结构示意图如图3所示。
在编码部分主要采用2D卷积提取特征，且在特征提取E2/E3/E4部分采用3次深度卷积进行特征提取，每个部分将输入的特征与输出部分进行残差计算，以保障特征的细节信息。残差计算完成后使用BN+Relu的方式以防止网络过拟合现象的发生。
在解码部分将采用3D卷积的形式进行特征的提取。其中，D1采用3D卷积的方式进行特征提取。D2/D3/D4部分采用3D深度分离卷积(见图4)的形式进行特征提取，同样，每个部分将输入的特征与输出部分进行残差计算。图4为深度分离卷积示意图。
3D深度可分离主要是利用3x3x1卷积与1x1x3卷积组成，这样可以代替3x3x3卷积核。参数量直接从3x3x1+1x1x3＝12变为3x3x3＝27，整个参数量减少了55.6％。具体计算如下：
FeatureMap1＝RELU(BN(Conv3×3×1(FeatureMap)))
FeatureMap2＝RELU(BN(Conv1×1×3(FeatureMap)))
FeatureMap3＝RELU(BN(FeatureMap1+FeatureMap2)))
其中，BN(·)为批归一化操作，RELU(·)为激活函数，Conv3×3×1(·)为3x3x1卷积运算，Conv1×1×3(·)为1x1x3卷积运算。
解码层与编码层的连接需要转换层进行数据的转换，通过Concat操作将2D卷积生成的特征转化为3D特征图，具体转换过程如图5所示。图5是2D特征转3D特征示意图。
在一个实施例中，利用探针完成基于数字孪生技术的术前配准点与术中配准点的刚性配准，刚性配准包括粗配准与精配准两部分；首先使用术中配准点与术前配准点进行初始配准，同时利用数字孪生的方法定位探针的位置，并将三维骨骼映射到彩色图像中，利用探针针尖的位置实时监控三维骨骼的位置，并修正初始配准矩阵；根据修正的初始配准矩阵再次进行配准矩阵的自动调整，得到最终刚性配准矩阵；数字孪生的方法是基于多模态多尺度融合的探针跟踪算法对探针进行实时跟踪，使用基于多模态多尺度融合的针尖定位算法实时定位探针针尖的位置。
其中，多模态多尺度融合的探针跟踪算法是输入彩色与红外两张图像，分别进行3x3的卷积操作，将两个特征图的拼接形成新的特征图，并进行3x3卷积操作并改变通道个数，形成融合后的多模态融合特征图。随后，进行多模态特征图的特征提取。最后，将多个尺度的特征图在检测层进行融合。
具体的，本文中的点云配准主要是将术中点与术前规划点进行配准，配准点的数量股骨胫骨略有不同，这主要是因为韧带修复是微创手术，需要根据股骨侧与胫骨侧的开口大小决定的。同时，配准过程分为粗配准与精配准，粗配准主要是得到基本准确的配准矩阵，精配准根据粗配准矩阵进行微调，得到更加准确的配准矩阵。
股骨侧选取的术中与术前的粗配采点点区域如图6中左图所示，精配准采点点区域如图6右图所示。图6是股骨侧配准采点区域图。
粗配准采集点分别为：滑车外侧(J)、股骨外侧髁内测后上方(K)、股股内侧髁内侧(L)。精配准采集区域主要为股骨外侧髁内测区域、股股内侧髁内侧区域与滑车外侧区域，要求术中采集点在这三个区域内尽量均匀分布。
胫骨侧选取的术中与术前的粗配采点点区域如图7中左图所示，精配准采点点区域如图7右图所示。图7是胫骨侧配准采点区域图。
粗配准采集点分别为：胫骨髁间隆凸前内测1/3处F、胫骨结节内测上缘G与胫骨结节内测下缘H。精配准采集区域主要为胫骨髁间隆凸前内测1/3处区域、胫骨结节内测区域，要求术中采集点在这两个区域内尽量均匀分布。
配准算法中的粗配准部分一般采用ICP与其改进算法中的point2point(即点对点)的配准方法，精配准中一般采用point2plane即点到面的配准方法。其中，精配准部分点的个数不定，但是基本位于图6与图7的区域。整个配准算法部分基本都是基于加权ICP进行的，即使用weight-ICP算法。
假设术前点云为P＝p1,p2,p3,...pn，术中点云为Q＝q1,q2,q3,...qn，我们利用最小二乘法进行配准矩阵的求解，令目标函数如下：
其中，R为配准矩阵中的旋转部分，t为配准矩阵中的平移部分，n为点云数量，wi为第i个点云的权重。
配准矩阵的计算一般通过SVD求解得到，SVD求解分为两个部分，即先计算旋转再计算平移，当然也可以先计算平移再计算旋转。但是，无论哪种方法都需要先计算权重部分，在计算SVD分解之前去除权重对求解过程的影响。
为了实现权重的SVD求解，首先需要计算术前点与术中点的质心，术前点质心具体计算如下所示：
/>
术中点的质心计算如下所示：
去除质心的影响，术前点：
术中点去除质心影响，就提计算如下：
将使用P'＝p1',p'2,p'3,…,p'n与Q'＝q1',q'2,q'3,…,q'n进行SVD求解得到旋转矩阵R与平移矩阵t，进而得到配准矩阵T。
在整个计算中，每个点的权重影响SVD的求解。每个点的权重需要根据骨关节的大小进行自主设定，因此，本文设计了根据术前点自主设置权重的方法。具体步骤如下：
(1)计算术前点所有点的质心坐标，计算如下：
(2)求取术前点中每个点到质心的距离，计算如下：
(3)计算术前点到质心的距离综合，计算如下：
(4)根据每个点的质心距离求取权重，计算如下：
由上式可以得到，权重的和为1，即
在一个实施例中，根据配准结果完成机械臂、光学定位跟踪器与膝关节的坐标系建立，包括：
根据配准结果，确定光学定位跟踪器与膝关节之间的坐标转换关系；
确定光学定位跟踪器与机械臂之间的坐标转换关系；
基于光学定位跟踪器与膝关节之间的坐标转换关系和光学定位跟踪器与机械臂之间的坐标转换关系，确定膝关节与机械臂之间的坐标转换关系。
具体的，光学定位跟踪器可以为NDI。NDI与膝关节图像坐标系是通过配准完成的，为了保障整个机器人系统的运行，需要建立NDI与机械臂的对应关系，将膝关节图像、NDI与机械臂三者的坐标系统一起来，具体对应关系如图8所示。NDI系统和机械臂各自有不同的坐标系统，为了使NDI系统能准确指导机械臂运动，需要建立两者坐标系之间的对应关系。具体做法是：
1.确定各自坐标系的定义:
NDI坐标系:通常确定一个以跟踪相机为原点，依照右手坐标系定义的空间坐标系。机械臂坐标系:通常选择机械臂的基座为原点，末端执行器的方向确定坐标轴方向。
2.标定跟踪器在NDI坐标系中的初始位置和方向。
3.将跟踪器装配在机械臂的末端，标定此时跟踪器在机械臂坐标系中的位置姿态。
4.通过初始位置与末端位置的对应，可以计算出一个变换矩阵M，用于转换NDI坐标值到机械臂坐标系中。
5.在机械臂控制系统中集成这个坐标变换关系。
6.后续在获得跟踪器的NDI坐标后，利用变换矩阵转换到机械臂坐标下，作为控制的反馈信号。
根据以上说明，可以分别得到膝关节与NDI的对应关系(即配准矩阵)T，机械臂与NDI的对应关系(即转换矩阵)M。如果将机械臂的动作映射到膝关节图像中，则可以使用以下公式进行计算：
Pknee＝Probot×M×T-1
其中，Probot为机械臂末端坐标，Pknee为对应的膝关节图像坐标，此部分中需要对配准矩阵求逆。
在一个实施例中，控制机械臂自主运动进行骨隧道重建，包括：
确定机械臂中各个轴的运动轨迹；
基于运动轨迹，控制机械臂进行骨隧道重建。
具体的，通过机械臂完成骨隧道重建。机械臂需要自主运动到术前规划中需要进行股骨与胫骨的入口点附近。图9为骨隧道重建的示意图。
胫骨侧：机械臂需要从D点进入，沿CD方向运动，当到达C点后结束。
股骨侧：机械臂从A点进入，沿AB方向运动，到达B点后结束。
机械臂能否准确找到入口点并沿固定方向自主运动是骨隧道重建的关键，这涉及到机械臂各个轴的运动轨迹，本文将使用五次多项式拟合的方式，求解各个轴的运动轨迹。在关节规划时，我们在满足机械臂运动约束的情况下，还考虑并优化一些性能指标，如噪声影响等。
将控制机械臂运动的各个关节的电机看作一个绕转轴转动的理想刚体模型，它的转动惯量为I，在设定的时间t内将机械臂的角度q从初始值qi运动到最终值qf，机械臂在旋转过程中主要是通过电机提供的力矩τ实现的。因此机械臂路径规划的运动过程中，需要求解一下方程：
Iω＝τ
以上方程将服从以下约束条件：
我们可以使用积分的思想求取性能指标最小化，即可以将以上公式可转换为以下公式：
ω(t)＝at2+bt+c
利用机械臂的始末状态的位置、速度、加速度构成的六个边界条件对五次多项式进行求解。为了保障算法的鲁棒性，我们将在整个路径规划过程中增加随机噪声。假设，我们加入噪声的五次多项式的形式如下所示：
q(t)＝a0+a1t+a2t2+a3t3+a4t4+a5t5+ε(t)
其中，ε(t)为随机噪声，随机噪声的计算如下所示：
其中，δ为相对误差水平常数，Rt为在当前时间t下在区间[t0-tf]之间的随机数。
将约束条件带入五项多项式中，具体形式如下：
q0＝a0+a1t0+a2t0 2+a3t0 3+a4t0 4+a5t0 5+ε(t)
v0＝a1+2a2t0+3a3t0 2+4a4t0 3+5a5t0 4
α0＝2a2+6a3t0+12a4t0 2+20a5t0 3
qf＝a0+a1tf+a2tf 2+a3tf 3+a4tf 4+a5tf 5+ε(t)
vf＝a1+2a2tf+3a3tf 2+4a4tf 3+5a5tf 4
αf＝2a2+6a3tf+12a4tf 2+20a5tf 3
为了方便计算与理解，将以上公式转换为矩阵的形式进行表示，具体如下公式所示：
其中，a0,a1,a2,a3,a4,a5分别为五次多项式中不同项的系数，t0为机械臂的初始运动时间，tf为机械臂的运动结束时间，q0,v0,α0分别为机械臂的初始位置、初始速度和初始加速，qf,vf,αf为机械臂运动到指定位置的位置、速度以及加速。
在一个实施例中，控制机械臂自主运动进行骨隧道重建之后，方法还包括：
计算股骨与胫骨分别在不同角度时，股骨外侧髁内测后上方点A与胫骨髁间隆凸前内测1/3处点C之间的伸缩量；
若伸缩量不在允许误差范围内，控制机械臂对骨隧道进行修复。
具体的，伸缩量主要计算股骨与胫骨分别在0°、90°和120°时股骨外侧髁内测后上方点(A1、A2、A3)与胫骨髁间隆凸前内测1/3处(C1、C2、C3)的距离，具体如图10所示。具体计算方法如下所示：
d1＝||A1-C1||
d2＝||A2-C2||
d3＝||A3-C3||
其中，d1、d2、d3分别为股骨胫骨在0°、90°、120°的伸缩量。||·||为计算两点的欧氏距离。
如果d1、d2、d3全部在允许范围内，可以判断手术中建立的骨隧道是完全符合术前手术规划的。如果不满足条件，需要机械臂重新对骨隧道进行修复，并再次进行伸缩量的计算。
本申请使用2D/3D混合卷积对CT图像进行图像分割；在配准过程中根据现有设备制定了相对应的采点区域，股骨侧与胫骨侧的采点数量可以在配准过程中进行适时调整；采用自适应加权的ICP算法进行配准。在骨隧道重建过程中，将使用机械臂代替手动重建，这样重建的骨隧道更为准确，重建过程中机械臂的运动使用五次多项式拟合的方法，其中增加了噪声扰动，以提高算法的鲁棒性。
图11是本申请一个实施例提供的膝关节韧带重建手术机器人导航定位系统的结构示意图，该膝关节韧带重建手术机器人导航定位系统，系统包括：
图像获取模块1101，用于获取第一膝关节CT图像；
图像分割模块1102，用于基于深度学习的神经网络CT图像分割；其中，在编码层采用2D卷积的形式提取特征，且在特征提取部分采用3次深度卷积进行特征提取，每个部分将输入的特征与输出部分进行残差计算，以保障特征的细节信息；在解码层采用3D卷积的形式提取特征，每个部分将输入的特征与输出部分进行残差计算；解码层与编码层的连接需要转换层进行数据的转换，将2D卷积生成的特征转化为3D特征图；
建模模块1103，用于根据分割结果进行膝关节3D建模；
引导配准点设置模块1104，用于在膝关节设置术前引导点及规划术前配准点；
骨隧道规划模块1105，用于骨隧道规划与韧带重建；
配准点采集模块1106，用于术中根据术前引导点使用探针进行术中配准点的采集；
刚性配准模块1107，用于利用探针完成基于数字孪生技术的术前配准点与术中配准点的刚性配准；其中，刚性配准包括粗配准与精配准两部分；首先使用术中配准点与术前配准点进行初始配准，同时利用数字孪生的方法定位探针的位置，并将三维骨骼映射到彩色图像中，利用探针针尖的位置实时监控三维骨骼的位置，并修正初始配准矩阵；根据修正的初始配准矩阵再次进行配准矩阵的自动调整，得到最终刚性配准矩阵；数字孪生的方法是基于多模态多尺度融合的探针跟踪算法对探针进行实时跟踪，使用基于多模态多尺度融合的针尖定位算法实时定位探针针尖的位置；
坐标系建立模块1108，用于根据配准结果完成机械臂、光学定位跟踪器与膝关节的坐标系建立；
控制模块1109，用于控制机械臂自主运动进行骨隧道重建。
图12示出了本申请实施例提供的电子设备的结构示意图。
电子设备可以包括处理器301以及存储有计算机程序指令的存储器302。
具体地，上述处理器301可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器302可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器302可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器302可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器302可在电子设备的内部或外部。在特定实施例中，存储器302可以是非易失性固态存储器。
在一个实施例中，存储器302可以是只读存储器(Read Only Memory，ROM)。在一个实施例中，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器301通过读取并执行存储器302中存储的计算机程序指令，以实现上述实施例中的任意一种膝关节韧带重建手术机器人导航定位方法。
在一个示例中，电子设备还可包括通信接口303和总线310。其中，如图12所示，处理器301、存储器302、通信接口303通过总线310连接并完成相互间的通信。
通信接口303，主要用于实现本申请实施例中各模块、系统、单元和/或设备之间的通信。
总线310包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线310可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
另外，结合上述实施例中的膝关节韧带重建手术机器人导航定位方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种膝关节韧带重建手术机器人导航定位方法。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能模块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者系统描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本申请的实施例的方法、系统和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理系统的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理系统的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。
Claims (8)
1.一种膝关节韧带重建手术机器人导航定位方法，其特征在于，包括：
获取第一膝关节CT图像；
基于深度学习的神经网络CT图像分割；其中，在编码层采用2D卷积的形式提取特征，且在特征提取部分采用3次深度卷积进行特征提取，每个部分将输入的特征与输出部分进行残差计算，以保障特征的细节信息；在解码层采用3D卷积的形式提取特征，每个部分将输入的特征与输出部分进行残差计算；解码层与编码层的连接需要转换层进行数据的转换，将2D卷积生成的特征转化为3D特征图；
根据分割结果进行膝关节3D建模；
在膝关节设置术前引导点及规划术前配准点；
骨隧道规划与韧带重建；
术中根据术前引导点使用探针进行术中配准点的采集；
利用探针完成基于数字孪生技术的术前配准点与术中配准点的刚性配准；其中，刚性配准包括粗配准与精配准两部分；首先使用术中配准点与术前配准点进行初始配准，同时利用数字孪生的方法定位探针的位置，并将三维骨骼映射到彩色图像中，利用探针针尖的位置实时监控三维骨骼的位置，并修正初始配准矩阵；根据修正的初始配准矩阵再次进行配准矩阵的自动调整，得到最终刚性配准矩阵；数字孪生的方法是基于多模态多尺度融合的探针跟踪算法对探针进行实时跟踪，使用基于多模态多尺度融合的针尖定位算法实时定位探针针尖的位置；
根据配准结果完成机械臂、光学定位跟踪器与膝关节的坐标系建立；
控制机械臂自主运动进行骨隧道重建。
2.根据权利要求1所述的膝关节韧带重建手术机器人导航定位方法，其特征在于，基于深度学习的神经网络CT图像分割；根据分割结果进行膝关节3D建模；骨隧道规划与韧带重建，包括：
对第一膝关节CT图像进行图像分割，得到第二膝关节CT图像；其中，第二膝关节CT图像中被分割出来的股骨、胫骨、髌骨和腓骨四个部位分别显示；
对第二膝关节CT图像进行关键点识别，得到第三膝关节CT图像；
对第三膝关节CT图像进行骨骼矫正，得到第四膝关节CT图像；
对第四膝关节CT图像中的关键点进行位置优化，得到第五膝关节CT图像；
基于第五膝关节CT图像进行骨隧道规划，得到骨隧道规划结果；
基于骨隧道规划结果进行三维重建渲染，以结果展示骨隧道。
3.根据权利要求2所述的膝关节韧带重建手术机器人导航定位方法，其特征在于，根据配准结果完成机械臂、光学定位跟踪器与膝关节的坐标系建立，包括：
根据配准结果，确定光学定位跟踪器与膝关节之间的坐标转换关系；
确定光学定位跟踪器与机械臂之间的坐标转换关系；
基于光学定位跟踪器与膝关节之间的坐标转换关系和光学定位跟踪器与机械臂之间的坐标转换关系，确定膝关节与机械臂之间的坐标转换关系。
4.根据权利要求3所述的膝关节韧带重建手术机器人导航定位方法，其特征在于，控制机械臂自主运动进行骨隧道重建，包括：
确定机械臂中各个轴的运动轨迹；
基于运动轨迹，控制机械臂进行骨隧道重建。
5.根据权利要求4所述的膝关节韧带重建手术机器人导航定位方法，其特征在于，控制机械臂自主运动进行骨隧道重建之后，方法还包括：
计算股骨与胫骨分别在不同角度时，股骨外侧髁内测后上方点A与胫骨髁间隆凸前内测1/3处点C之间的伸缩量；
若伸缩量不在允许误差范围内，控制机械臂对骨隧道进行修复。
6.一种膝关节韧带重建手术机器人导航定位系统，其特征在于，所述系统包括：
图像获取模块，用于获取第一膝关节CT图像；
图像分割模块，用于基于深度学习的神经网络CT图像分割；其中，在编码层采用2D卷积的形式提取特征，且在特征提取部分采用3次深度卷积进行特征提取，每个部分将输入的特征与输出部分进行残差计算，以保障特征的细节信息；在解码层采用3D卷积的形式提取特征，每个部分将输入的特征与输出部分进行残差计算；解码层与编码层的连接需要转换层进行数据的转换，将2D卷积生成的特征转化为3D特征图；
建模模块，用于根据分割结果进行膝关节3D建模；
引导配准点设置模块，用于在膝关节设置术前引导点及规划术前配准点；
骨隧道规划模块，用于骨隧道规划与韧带重建；
配准点采集模块，用于术中根据术前引导点使用探针进行术中配准点的采集；
刚性配准模块，用于利用探针完成基于数字孪生技术的术前配准点与术中配准点的刚性配准；其中，刚性配准包括粗配准与精配准两部分；首先使用术中配准点与术前配准点进行初始配准，同时利用数字孪生的方法定位探针的位置，并将三维骨骼映射到彩色图像中，利用探针针尖的位置实时监控三维骨骼的位置，并修正初始配准矩阵；根据修正的初始配准矩阵再次进行配准矩阵的自动调整，得到最终刚性配准矩阵；数字孪生的方法是基于多模态多尺度融合的探针跟踪算法对探针进行实时跟踪，使用基于多模态多尺度融合的针尖定位算法实时定位探针针尖的位置；
坐标系建立模块，用于根据配准结果完成机械臂、光学定位跟踪器与膝关节的坐标系建立；
控制模块，用于控制机械臂自主运动进行骨隧道重建。
7.一种电子设备，其特征在于，所述电子设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1-5任意一项所述的膝关节韧带重建手术机器人导航定位方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-5任意一项所述的膝关节韧带重建手术机器人导航定位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311146004.6A CN117159144A (zh) | 2023-09-06 | 2023-09-06 | 膝关节韧带重建手术机器人导航定位系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311146004.6A CN117159144A (zh) | 2023-09-06 | 2023-09-06 | 膝关节韧带重建手术机器人导航定位系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117159144A true CN117159144A (zh) | 2023-12-05 |
Family
ID=88931427
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311146004.6A Pending CN117159144A (zh) | 2023-09-06 | 2023-09-06 | 膝关节韧带重建手术机器人导航定位系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117159144A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107536643A (zh) * | 2017-08-18 | 2018-01-05 | 北京航空航天大学 | 一种前交叉韧带重建的增强现实手术导航系统 |
| CN111887908A (zh) * | 2020-09-02 | 2020-11-06 | 上海卓梦医疗科技有限公司 | 一种膝关节韧带重建智能控制系统及方法 |
| CN113855236A (zh) * | 2021-09-03 | 2021-12-31 | 北京长木谷医疗科技有限公司 | 手术机器人追踪和移动的方法及系统 |
| CN114494183A (zh) * | 2022-01-25 | 2022-05-13 | 哈尔滨医科大学附属第一医院 | 一种基于人工智能的髋臼半径自动测量方法及系统 |
| CN116309636A (zh) * | 2023-02-21 | 2023-06-23 | 北京长木谷医疗科技有限公司 | 基于多任务神经网络模型的膝关节分割方法、装置及设备 |
| CN116350346A (zh) * | 2023-03-31 | 2023-06-30 | 上海交通大学医学院附属第九人民医院 | 基于空间扫描数字孪生的机器人空间运动轨迹规划方法 |
-
2023
- 2023-09-06 CN CN202311146004.6A patent/CN117159144A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107536643A (zh) * | 2017-08-18 | 2018-01-05 | 北京航空航天大学 | 一种前交叉韧带重建的增强现实手术导航系统 |
| CN111887908A (zh) * | 2020-09-02 | 2020-11-06 | 上海卓梦医疗科技有限公司 | 一种膝关节韧带重建智能控制系统及方法 |
| CN113855236A (zh) * | 2021-09-03 | 2021-12-31 | 北京长木谷医疗科技有限公司 | 手术机器人追踪和移动的方法及系统 |
| CN114494183A (zh) * | 2022-01-25 | 2022-05-13 | 哈尔滨医科大学附属第一医院 | 一种基于人工智能的髋臼半径自动测量方法及系统 |
| CN116309636A (zh) * | 2023-02-21 | 2023-06-23 | 北京长木谷医疗科技有限公司 | 基于多任务神经网络模型的膝关节分割方法、装置及设备 |
| CN116350346A (zh) * | 2023-03-31 | 2023-06-30 | 上海交通大学医学院附属第九人民医院 | 基于空间扫描数字孪生的机器人空间运动轨迹规划方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11957629B2 (en) | Systems and methods for assisting surgery | |
| Grasa et al. | EKF monocular SLAM with relocalization for laparoscopic sequences | |
| Grasa et al. | Visual SLAM for handheld monocular endoscope | |
| US9341704B2 (en) | Methods and systems for object tracking | |
| CN110264504B (zh) | 一种用于增强现实的三维配准方法和系统 | |
| CN111260786A (zh) | 一种智能超声多模态导航系统及方法 | |
| CN103793915B (zh) | 神经外科导航中低成本无标记配准系统及配准方法 | |
| CN101694716A (zh) | 一种针对多点目标的立体视觉光学跟踪系统 | |
| CN104736085A (zh) | 确定医疗器械在分支解剖结构中的位置 | |
| US20180199996A1 (en) | Configuring a surgical tool | |
| CN108836479A (zh) | 一种医学图像配准方法和手术导航系统 | |
| CN113662660A (zh) | 关节置换术前规划方法、装置、设备及存储介质 | |
| Gonçalves et al. | A vision system for robotic ultrasound guided orthopaedic surgery | |
| CN116983086B (zh) | 一种自主关节置换手术机器人导航定位系统 | |
| CN116019548A (zh) | 一种基于x光影像的膝关节置换手术规划方法、装置、设备及存储介质 | |
| Wang et al. | A robust 6-D pose tracking approach by fusing a multi-camera tracking device and an AHRS module | |
| CN117159144A (zh) | 膝关节韧带重建手术机器人导航定位系统及方法 | |
| CN116309636A (zh) | 基于多任务神经网络模型的膝关节分割方法、装置及设备 | |
| Sun et al. | Development of a novel intelligent laparoscope system for semi‐automatic minimally invasive surgery | |
| CN116898574B (zh) | 人工智能膝关节韧带重建术的术前规划方法、系统及设备 | |
| CN113545847B (zh) | 股骨头中心定位系统和定位方法 | |
| Huang et al. | Hybrid method for 3D instrument reconstruction and tracking in laparoscopy surgery | |
| Zhou et al. | Virtual 3D bone fracture reconstruction via inter-fragmentary surface alignment | |
| Rangaprasad | Probabilistic approaches for pose estimation | |
| Liu et al. | Optical flow measurement of human walking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |