CN116898574B - 人工智能膝关节韧带重建术的术前规划方法、系统及设备 - Google Patents
人工智能膝关节韧带重建术的术前规划方法、系统及设备 Download PDFInfo
- Publication number
- CN116898574B CN116898574B CN202311141207.6A CN202311141207A CN116898574B CN 116898574 B CN116898574 B CN 116898574B CN 202311141207 A CN202311141207 A CN 202311141207A CN 116898574 B CN116898574 B CN 116898574B
- Authority
- CN
- China
- Prior art keywords
- image
- knee joint
- knee
- bone tunnel
- planning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000000629 knee joint Anatomy 0.000 title claims abstract description 137
- 238000000034 method Methods 0.000 title claims abstract description 61
- 210000003041 ligament Anatomy 0.000 title claims abstract description 38
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 72
- 210000003127 knee Anatomy 0.000 claims abstract description 55
- 238000003709 image segmentation Methods 0.000 claims abstract description 21
- 238000012937 correction Methods 0.000 claims abstract description 16
- 238000005457 optimization Methods 0.000 claims abstract description 15
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 14
- 238000009877 rendering Methods 0.000 claims abstract description 8
- 238000010586 diagram Methods 0.000 claims description 36
- 210000000689 upper leg Anatomy 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 25
- 210000002303 tibia Anatomy 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 210000002082 fibula Anatomy 0.000 claims description 7
- 210000004417 patella Anatomy 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000008602 contraction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001373 regressive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Robotics (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Theoretical Computer Science (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种人工智能膝关节韧带重建术的术前规划方法、系统、设备及计算机可读存储介质。该方法，包括：获取第一膝关节CT图像；对第一膝关节CT图像进行图像分割，得到第二膝关节CT图像；对第二膝关节CT图像进行关键点识别，得到第三膝关节CT图像；对第三膝关节CT图像进行骨骼矫正，得到第四膝关节CT图像；对第四膝关节CT图像中的关键点进行位置优化，得到第五膝关节CT图像；基于第五膝关节CT图像进行骨隧道规划，得到骨隧道规划结果；基于骨隧道规划结果进行三维重建渲染，以结果展示骨隧道。根据本申请实施例，能够提高骨隧道规划的准确度。
Description
技术领域
本申请属于深度学习智能识别技术领域，尤其涉及一种人工智能膝关节韧带重建术的术前规划方法、系统、设备及计算机可读存储介质。
背景技术
目前，相关技术中的膝关节韧带骨隧道规划，主要依靠有经验的医生进行膝关节韧带骨隧道规划，但是骨隧道规划的不准确。
因此，如何提高骨隧道规划的准确度是本领域技术人员亟需解决的技术问题。
发明内容
本申请实施例提供一种人工智能膝关节韧带重建术的术前规划方法、系统、设备及计算机可读存储介质，能够提高骨隧道规划的准确度。
第一方面，本申请实施例提供一种人工智能膝关节韧带重建术的术前规划方法，包括：
获取第一膝关节CT图像；
对第一膝关节CT图像进行图像分割，得到第二膝关节CT图像；其中，第二膝关节CT图像中被分割出来的股骨、胫骨、髌骨和腓骨四个部位分别显示；
对第二膝关节CT图像进行关键点识别，得到第三膝关节CT图像；
对第三膝关节CT图像进行骨骼矫正，得到第四膝关节CT图像；
对第四膝关节CT图像中的关键点进行位置优化，得到第五膝关节CT图像；
基于第五膝关节CT图像进行骨隧道规划，得到骨隧道规划结果；
基于骨隧道规划结果进行三维重建渲染，以结果展示骨隧道。
可选的，对第一膝关节CT图像进行图像分割，得到第二膝关节CT图像，包括：
将第一膝关节CT图像输入到预设的膝关节图像分割网络模型中，输出第二膝关节CT图像；
其中，膝关节图像分割网络模型是基于2D神经网络或者3D神经网络，利用训练集、验证集、测试集进行模型训练得到的。
可选的，对第二膝关节CT图像进行关键点识别，得到第三膝关节CT图像，包括：
将第二膝关节CT图像输入预设的关键点识别网络模型，得到第三膝关节CT图像；
其中，关键点识别网络模型的网络结构包括三个分支，第一分支用于获取关键点热力图；第二分支用于获取关键点位置偏移；第三分支用于获取关键点边框尺寸。
可选的，还包括：
确定三个分支各自对应的分支损失函数及权重；
基于三个分支各自对应的分支损失函数及权重，确定整体损失函数；
基于整体损失函数计算损失值；
基于损失值，反馈调整网络参数。
可选的，对第三膝关节CT图像进行骨骼矫正，得到第四膝关节CT图像，包括：
确定旋转角；
基于旋转角，确定旋转矩阵；
将第三膝关节CT图像与旋转矩阵相乘，得到旋转后的第四膝关节CT图像。
可选的，对第四膝关节CT图像中的关键点进行位置优化，得到第五膝关节CT图像，包括：
计算股骨和胫骨在不同角度时，股骨外侧髁内侧后上方点A、胫骨髁间隆凸前内侧1/3处点C之间的长度伸缩变化差值；
将长度伸缩变化差值最小的股骨外侧髁内侧后上方点A、胫骨髁间隆凸前内侧1/3处点C的位置，确定为优化后的位置。
可选的，基于第五膝关节CT图像进行骨隧道规划，得到骨隧道规划结果，包括：
基于第五膝关节CT图像进行骨隧道规划，得到胫骨侧、韧带、股骨侧三段骨隧道规划结果。
第二方面，本申请实施例提供了一种人工智能膝关节韧带重建术的术前规划系统，系统包括：
图像获取模块，用于获取第一膝关节CT图像；
图像分割模块，用于对第一膝关节CT图像进行图像分割，得到第二膝关节CT图像；其中，第二膝关节CT图像中被分割出来的股骨、胫骨、髌骨和腓骨四个部位分别显示；
关键点识别模块，用于对第二膝关节CT图像进行关键点识别，得到第三膝关节CT图像；
骨骼矫正模块，用于对第三膝关节CT图像进行骨骼矫正，得到第四膝关节CT图像；
位置优化模块，用于对第四膝关节CT图像中的关键点进行位置优化，得到第五膝关节CT图像；
骨隧道规划模块，用于基于第五膝关节CT图像进行骨隧道规划，得到骨隧道规划结果；
结果展示模块，用于基于骨隧道规划结果进行三维重建渲染，以结果展示骨隧道。
第三方面，本申请实施例提供了一种电子设备，包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如第一方面所示的人工智能膝关节韧带重建术的术前规划方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如第一方面所示的人工智能膝关节韧带重建术的术前规划方法。
本申请实施例的人工智能膝关节韧带重建术的术前规划方法、系统、设备及计算机可读存储介质，能够提高骨隧道规划的准确度。
该人工智能膝关节韧带重建术的术前规划方法，包括：获取第一膝关节CT图像；对第一膝关节CT图像进行图像分割，得到第二膝关节CT图像；其中，第二膝关节CT图像中被分割出来的股骨、胫骨、髌骨和腓骨四个部位分别显示；对第二膝关节CT图像进行关键点识别，得到第三膝关节CT图像；对第三膝关节CT图像进行骨骼矫正，得到第四膝关节CT图像；对第四膝关节CT图像中的关键点进行位置优化，得到第五膝关节CT图像；基于第五膝关节CT图像进行骨隧道规划，得到骨隧道规划结果；基于骨隧道规划结果进行三维重建渲染，以结果展示骨隧道。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的人工智能膝关节韧带重建术的术前规划方法的流程示意图；
图2是本申请一个实施例提供的人工智能膝关节韧带重建术的术前规划方法的流程示意图；
图3是本申请一个实施例提供的3D分割网络结构示意图；
图4是本申请一个实施例提供的关键点识别网络结构示意图；
图5是本申请一个实施例提供的Hourglass网络结构示意图；
图6是本申请一个实施例提供的全局上下文模块的网络结构示意图；
图7是本申请一个实施例提供的A、C点位置点集示意图；
图8是本申请一个实施例提供的结果展示示意图；
图9是本申请一个实施例提供的人工智能膝关节韧带重建术的术前规划系统的结构示意图；
图10是本申请一个实施例提供的电子设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了解决现有技术问题，本申请实施例提供了一种人工智能膝关节韧带重建术的术前规划方法、系统、设备及计算机可读存储介质。下面首先对本申请实施例所提供的人工智能膝关节韧带重建术的术前规划方法进行介绍。
图1示出了本申请一个实施例提供的人工智能膝关节韧带重建术的术前规划方法的流程示意图。如图1所示，该人工智能膝关节韧带重建术的术前规划方法，包括：
S101、获取第一膝关节CT图像；
S102、对第一膝关节CT图像进行图像分割，得到第二膝关节CT图像；其中，第二膝关节CT图像中被分割出来的股骨、胫骨、髌骨和腓骨四个部位分别显示；S103、对第二膝关节CT图像进行关键点识别，得到第三膝关节CT图像；具体的，第三膝关节CT图像中显示的关键点可以包括：股骨外侧髁内侧后上方点A、股骨前髁外侧缘点B、胫骨髁间隆凸前内侧1/3处点C、胫骨结节内侧缘点D、内通髁点E和外通髁点F；
S104、对第三膝关节CT图像进行骨骼矫正，得到第四膝关节CT图像；
S105、对第四膝关节CT图像中的关键点进行位置优化，得到第五膝关节CT图像；
具体的，可以对第四膝关节CT图像中的股骨外侧髁内侧后上方点A、胫骨髁间隆凸前内侧1/3处点C进行位置优化，得到第五膝关节CT图像；
S106、基于第五膝关节CT图像进行骨隧道规划，得到骨隧道规划结果；
S107、基于骨隧道规划结果进行三维重建渲染，以结果展示骨隧道。
具体的，图2是本申请一个实施例提供的人工智能膝关节韧带重建术的术前规划方法的流程示意图，如图2所示。
在一个实施例中，对第一膝关节CT图像进行图像分割，得到第二膝关节CT图像，包括：
将第一膝关节CT图像输入到预设的膝关节图像分割网络模型中，输出第二膝关节CT图像；
其中，膝关节图像分割网络模型是基于2D神经网络或者3D神经网络，利用训练集、验证集、测试集进行模型训练得到的。
具体的，获取膝关节医学图像数据集，将其进行手动标注，最终只提取含有膝关节各部分的标签作为我们的分割mask。将CT数据转换成nii.gz格式数据，将mask数据转换成nii.gz格式数据，将其进行打乱顺序后按照6:2:2的比例划分为训练集、验证集、测试集。
膝关节图像分割网络可以采用2D神经网络或者3D神经网络来对CT数据进行分割，图3为3D分割网络结构图，膝关节多任务分割神经网络中采用3次下采样，和3次上采样，每一个卷积层使用1x1x1，3x3x3，1x1x1卷积核，在同一尺度下的下采样和上采样之间使用跳跃级联结构，其目的是为了减少特征丢失。
模型训练过程中，训练的batch_size为64，初始化学习率设置为1e-4，附加学习率衰减策略，每迭代5000次,学习率衰减为原来的0.9，优化器使用Adam优化器，使用损失函数为DICE loss，设置每迭代1000次，对训练集和验证集做一次验证，通过早停法来判断网络训练停止时间，并得到最终模型。
在一个实施例中，对第二膝关节CT图像进行关键点识别，得到第三膝关节CT图像，包括：
将第二膝关节CT图像输入预设的关键点识别网络模型，得到第三膝关节CT图像；
其中，关键点识别网络模型的网络结构包括三个分支，第一分支用于获取关键点热力图；第二分支用于获取关键点位置偏移；第三分支用于获取关键点边框尺寸。
具体的，获取分割后数据结果，制作训练数据集。对训练数据集进行打乱顺序后按照6:2:2的比例划分为训练集、验证集、测试集。膝关节需要识别的点为通髁两个点(内通髁点E、外通髁点F)、股骨外侧髁内侧后上方点A、股骨前髁外侧缘点B、胫骨髁间隆凸前内侧1/3处点C和胫骨结节内侧缘点D，共6个点。
本文使用到的膝关节点识别算法主要通过目标的中心点坐标及偏移量来确定目标信息，回归目标的姿态信息、方向信息以及尺寸大小等，从而将目标检测问题转化为关键点估计问题。
模型训练使用标准的监督学习，推理过程利用单个前向传播网络。特征提取骨干网络主要有三种：ResNet-18、DLA-34和Hourglass，这里使用以基于Hourglass的关键点识别网络结构如图4所示。
由图4可知，膝关节点识别整个网络包含3个分支。输入图像经过Hourglass网络输出，经过三个分支，第一个分支经过3*3卷积层、1*1卷积层和最大池化之后形成每一个关键点热力图结果，即关键点热力图分支；第二个分支经过3*3卷积层、1*1卷积层计算得到每一个关键点位置偏移量，即关键点位置偏移分支；第三个分支经过3*3卷积层、1*1卷积层计算得到每一个关键点边框尺寸，即关键点边框尺寸分支；
关键点热力图分支和关键点边框尺寸分支用于生成所有类别目标的位置图，关键点位置偏移分支表征了目标真实位置与预测位置的偏移量。这里膝关节点识别网络将图像分辨率缩小4倍用于输出特征图，目的是为了加快模型训练。点识别流程如下：
网络输入的图像表示为：
经过网络输出端预测出的关键点热力图为：
其中，W、H表示为图像的宽和高，R是输出的步长，这里设置R=4，C表示输出热力图中关键点类别的数量。表示对应的位置是检测的关键点位置，/>表示检测的位置是背景。
在预测阶段，假设（x1,x2,y1,y2）是目标的边界框，进过计算得到的中心点p为：
目标的其他信息是从关键点的图像信息获得，所有中心点通过预测得到，然后通过回归得到目标大小，回归的位置坐标/>为：
其中，，/>分别是中心点横纵坐标位置的偏移量，/>，/>表示检测目标的宽度和高度，/>表示位置权重，/>和/>表示横纵坐标位置。
在一个实施例中，还包括：
确定三个分支各自对应的分支损失函数及权重；
基于三个分支各自对应的分支损失函数及权重，确定整体损失函数；
基于整体损失函数计算损失值；
基于损失值，反馈调整网络参数。
具体的，膝关节点识别网络有三个分支输出，关键点热力图分支损失函数（Lk）、关键点位置偏移分支损失函数（Lsize）和关键点边框尺寸分支损失函数（Loff）三部分构成：
关键点热力图分支损失函数Lk为：
其中，是使用Hourglass网络预测出热力图的中心点坐标，这里设置α=2和β=4，表示超参数，N表示关键点数量。
关键点边框尺寸分支损失函数Loff为：
其中，Loff是L1损失函数，N表示关键点数量，和/>表示第i个关键点位置真实坐标值和预测坐标值。
最终，损失函数为：
其中，。
膝关节关键点热力图计算过程：
设第k个关键点在热力图Hk上p位置点上的置信度HK(p)，表示为
其中，是第k个关键点坐标，/>，这里需要计算6个关键点；σ是标准差代表热图中能量集中度，当σ较大时，则热图覆盖区域较大，当σ较小时，则热图覆盖区域较小。
膝关节6个关键点的热力图组合在一起形成最终的热力图为，k表示关键点数量，w，h表示宽和高。根据预测出的热力图Hk分布，最终膝关节位置的预测结果为/>：
其中，表示模型预测出第k个关键点的热力图上p位置坐标点上的置信度，取置信度值最大的点位置坐标就是预测出的第k个关键点位置/>。
其中，表示模型预测出第k个关键点的热力图上p位置坐标点上的置信度，取置信度值最大的点位置坐标就是预测出的第k个关键点位置/>。
Hourglass网络：
注意力机制在图像处理中应用广泛，它能够使网络成功学习到与目标有关的信息。由于实验使用的数据集较大，目标类别较多且尺寸大小不一。因此，为了更好地提取目标特征，将全局上下文模块，加入到特征提取网络Hourglass中，可应用于特征提取网络每个层以捕获网络依赖性，有助于网络提高对小目标的检测能力。
如图5所示，Hourglass网络深度较深，参数数量庞大。因此在加入注意力模块的同时还要兼顾网络的计算量。而全局上下文模块采用的是轻量级网络，增加的网络计算成本可以忽略不计，减轻网络训练负担。
全局上下文模块的网络结构如图6所示：
全局上下文模块计算公式：
其中，表示为全局池化权重，表示特征变换，/>表示将全局上下文函数合并到所有位置函数。
在一个实施例中，对第三膝关节CT图像进行骨骼矫正，得到第四膝关节CT图像，包括：
确定旋转角；
基于旋转角，确定旋转矩阵；
将第三膝关节CT图像与旋转矩阵相乘，得到旋转后的第四膝关节CT图像。
具体的，骨骼矫正的矫正的规则：
1) 通髁连线平行于Y轴、Z轴形成的平面，计算通髁连线和Y轴、Z轴夹角α，即旋转角；
2) 仅调整股骨位置，胫骨跟着股骨移动；
3) 根据旋转角度计算旋转矩阵，二维图像旋转矩阵为3*3矩阵，如下：
其中，Tm表示旋转矩阵，α表示旋转角，表示股骨旋转前矩阵，/>表示股骨旋转前矩阵。
在一个实施例中，对第四膝关节CT图像中的关键点进行位置优化，得到第五膝关节CT图像，包括：
计算股骨和胫骨在不同角度时，股骨外侧髁内侧后上方点A、胫骨髁间隆凸前内侧1/3处点C之间的长度伸缩变化差值；
将长度伸缩变化差值最小的股骨外侧髁内侧后上方点A、胫骨髁间隆凸前内侧1/3处点C的位置，确定为优化后的位置。
具体的，关键点位置优化：
计算股骨和胫骨在0°，90°， 120°时AC长度伸缩变化最短位置。A、C点为点识别初始识别点。
保持胫骨不动，将股骨绕通髁线旋转90°和120°，计算A、C点距离。
股骨旋转矩阵计算方法：
根据旋转角度计算旋转矩阵，股骨数据为三维数据，三维图像旋转矩阵为4*4矩阵，如下：
其中，Tmatrix表示旋转矩阵，α这里选择90°和120°，表示股骨旋转前矩阵，/>表示股骨旋转前矩阵。
A、C点优化方法：
1、以点识别网络识别的初始A、C点为球心，寻找半径5mm，寻找骨表面的点集，从A、C点集中各取出一个点形成N个AC点组合，如图5所示。
2、计算每一个AC点在0°， 90°， 120°时AC长度伸缩变化差值。
3、循环第二步骤，统计每一组AC点在0°， 90°， 120°时AC长度伸缩变化差值。寻找AC点伸缩变化最小值对应的AC点对。
4、输出优化的A、C点坐标。
AC两个点的空间距离 d 为：
其中，A点坐标为(x1,y1,z1)，C点坐标为(x2,y2,z2)。
其中，A、C点位置点集如图7所示。
在一个实施例中，基于第五膝关节CT图像进行骨隧道规划，得到骨隧道规划结果，包括：
基于第五膝关节CT图像进行骨隧道规划，得到胫骨侧、韧带、股骨侧三段骨隧道规划结果。
具体的，骨隧道规划：
膝关节骨隧道分为胫骨侧、韧带、股骨侧三段，其中股骨侧是A点和B点形成隧道，胫骨侧是C点和D点形成隧道，韧带则是A点和C点形成隧道。
基于胫骨侧、韧带、股骨侧形成膝关节骨隧道。
结果展示：股骨和胫骨在0°， 90°， 120°时AC长度伸缩变化展示。
其中，结果展示如图8所示。
图9是本申请一个实施例提供的人工智能膝关节韧带重建术的术前规划系统的结构示意图，该人工智能膝关节韧带重建术的术前规划系统，所述系统包括：
图像获取模块901，用于获取第一膝关节CT图像；
图像分割模块902，用于对第一膝关节CT图像进行图像分割，得到第二膝关节CT图像；其中，第二膝关节CT图像中被分割出来的股骨、胫骨、髌骨和腓骨四个部位分别显示；
关键点识别模块903，用于对第二膝关节CT图像进行关键点识别，得到第三膝关节CT图像；
骨骼矫正模块904，用于对第三膝关节CT图像进行骨骼矫正，得到第四膝关节CT图像；
位置优化模块905，用于对第四膝关节CT图像中的关键点进行位置优化，得到第五膝关节CT图像；
骨隧道规划模块906，用于基于第五膝关节CT图像进行骨隧道规划，得到骨隧道规划结果；
结果展示模块907，用于基于骨隧道规划结果进行三维重建渲染，以结果展示骨隧道。
图10示出了本申请实施例提供的电子设备的结构示意图。
电子设备可以包括处理器1001以及存储有计算机程序指令的存储器1002。
具体地，上述处理器1001可以包括中央处理器（CPU），或者特定集成电路（Application Specific Integrated Circuit ，ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器1002可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器1002可包括硬盘驱动器（Hard Disk Drive，HDD）、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线（Universal Serial Bus，USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器1002可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器1002可在电子设备的内部或外部。在特定实施例中，存储器1002可以是非易失性固态存储器。
在一个实施例中，存储器1002可以是只读存储器（Read Only Memory，ROM）。在一个实施例中，该ROM可以是掩模编程的ROM、可编程ROM（PROM）、可擦除PROM（EPROM）、电可擦除PROM（EEPROM）、电可改写ROM（EAROM）或闪存或者两个或更多个以上这些的组合。
处理器1001通过读取并执行存储器1002中存储的计算机程序指令，以实现上述实施例中的任意一种人工智能膝关节韧带重建术的术前规划方法。
在一个示例中，电子设备还可包括通信接口1003和总线1010。其中，如图10所示，处理器1001、存储器1002、通信接口1003通过总线1010连接并完成相互间的通信。
通信接口1003，主要用于实现本申请实施例中各模块、系统、单元和/或设备之间的通信。
总线1010包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口（AGP）或其他图形总线、增强工业标准架构（EISA）总线、前端总线（FSB）、超传输（HT）互连、工业标准架构（ISA）总线、无限带宽互连、低引脚数（LPC）总线、存储器总线、微信道架构（MCA）总线、外围组件互连（PCI）总线、PCI-Express（PCI-X）总线、串行高级技术附件（SATA）总线、视频电子标准协会局部（VLB）总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线1010可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
另外，结合上述实施例中的人工智能膝关节韧带重建术的术前规划方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种人工智能膝关节韧带重建术的术前规划方法。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能模块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路（ASIC）、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM（EROM）、软盘、CD-ROM、光盘、硬盘、光纤介质、射频（RF）链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者系统描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本申请的实施例的方法、系统和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理系统的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理系统的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。
Claims (9)
1.一种人工智能膝关节韧带重建术的术前规划方法，其特征在于，包括：
获取第一膝关节CT图像；
对第一膝关节CT图像进行图像分割，得到第二膝关节CT图像；其中，第二膝关节CT图像中被分割出来的股骨、胫骨、髌骨和腓骨四个部位分别显示；
对第二膝关节CT图像进行关键点识别，得到第三膝关节CT图像；
对第三膝关节CT图像进行骨骼矫正，得到第四膝关节CT图像；
对第四膝关节CT图像中的关键点进行位置优化，得到第五膝关节CT图像；
基于第五膝关节CT图像进行骨隧道规划，得到骨隧道规划结果；
基于骨隧道规划结果进行三维重建渲染，以结果展示骨隧道；
对第四膝关节CT图像中的关键点进行位置优化，得到第五膝关节CT图像，包括：
计算股骨和胫骨在不同角度时，股骨外侧髁内侧后上方点A、胫骨髁间隆凸前内侧1/3处点C之间的长度伸缩变化差值；
将长度伸缩变化差值最小的股骨外侧髁内侧后上方点A、胫骨髁间隆凸前内侧1/3处点C的位置，确定为优化后的位置。
2.根据权利要求1所述的人工智能膝关节韧带重建术的术前规划方法，其特征在于，对第一膝关节CT图像进行图像分割，得到第二膝关节CT图像，包括：
将第一膝关节CT图像输入到预设的膝关节图像分割网络模型中，输出第二膝关节CT图像；
其中，膝关节图像分割网络模型是基于2D神经网络或者3D神经网络，利用训练集、验证集、测试集进行模型训练得到的。
3.根据权利要求1所述的人工智能膝关节韧带重建术的术前规划方法，其特征在于，对第二膝关节CT图像进行关键点识别，得到第三膝关节CT图像，包括：
将第二膝关节CT图像输入预设的关键点识别网络模型，得到第三膝关节CT图像；
其中，关键点识别网络模型的网络结构包括三个分支，第一分支用于获取关键点热力图；第二分支用于获取关键点位置偏移；第三分支用于获取关键点边框尺寸。
4.根据权利要求3所述的人工智能膝关节韧带重建术的术前规划方法，其特征在于，还包括：
确定三个分支各自对应的分支损失函数及权重；
基于三个分支各自对应的分支损失函数及权重，确定整体损失函数；
基于整体损失函数计算损失值；
基于损失值，反馈调整网络参数。
5.根据权利要求1所述的人工智能膝关节韧带重建术的术前规划方法，其特征在于，对第三膝关节CT图像进行骨骼矫正，得到第四膝关节CT图像，包括：
确定旋转角；
基于旋转角，确定旋转矩阵；
将第三膝关节CT图像与旋转矩阵相乘，得到旋转后的第四膝关节CT图像。
6.根据权利要求1所述的人工智能膝关节韧带重建术的术前规划方法，其特征在于，基于第五膝关节CT图像进行骨隧道规划，得到骨隧道规划结果，包括：
基于第五膝关节CT图像进行骨隧道规划，得到胫骨侧、韧带、股骨侧三段骨隧道规划结果。
7.一种人工智能膝关节韧带重建术的术前规划系统，其特征在于，所述系统包括：
图像获取模块，用于获取第一膝关节CT图像；
图像分割模块，用于对第一膝关节CT图像进行图像分割，得到第二膝关节CT图像；其中，第二膝关节CT图像中被分割出来的股骨、胫骨、髌骨和腓骨四个部位分别显示；
关键点识别模块，用于对第二膝关节CT图像进行关键点识别，得到第三膝关节CT图像；
骨骼矫正模块，用于对第三膝关节CT图像进行骨骼矫正，得到第四膝关节CT图像；
位置优化模块，用于对第四膝关节CT图像中的关键点进行位置优化，得到第五膝关节CT图像；
骨隧道规划模块，用于基于第五膝关节CT图像进行骨隧道规划，得到骨隧道规划结果；
结果展示模块，用于基于骨隧道规划结果进行三维重建渲染，以结果展示骨隧道；
对第四膝关节CT图像中的关键点进行位置优化，得到第五膝关节CT图像，包括：
计算股骨和胫骨在不同角度时，股骨外侧髁内侧后上方点A、胫骨髁间隆凸前内侧1/3处点C之间的长度伸缩变化差值；
将长度伸缩变化差值最小的股骨外侧髁内侧后上方点A、胫骨髁间隆凸前内侧1/3处点C的位置，确定为优化后的位置。
8.一种电子设备，其特征在于，所述电子设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1-6任意一项所述的人工智能膝关节韧带重建术的术前规划方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-6任意一项所述的人工智能膝关节韧带重建术的术前规划方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311141207.6A CN116898574B (zh) | 2023-09-06 | 2023-09-06 | 人工智能膝关节韧带重建术的术前规划方法、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311141207.6A CN116898574B (zh) | 2023-09-06 | 2023-09-06 | 人工智能膝关节韧带重建术的术前规划方法、系统及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116898574A CN116898574A (zh) | 2023-10-20 |
| CN116898574B true CN116898574B (zh) | 2024-01-09 |
Family
ID=88356732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311141207.6A Active CN116898574B (zh) | 2023-09-06 | 2023-09-06 | 人工智能膝关节韧带重建术的术前规划方法、系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116898574B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107536643A (zh) * | 2017-08-18 | 2018-01-05 | 北京航空航天大学 | 一种前交叉韧带重建的增强现实手术导航系统 |
| CN110766789A (zh) * | 2019-10-18 | 2020-02-07 | 中国人民解放军陆军军医大学 | 膝关节后外侧复合体腱骨结合部的形态识别及可视化方法 |
| CN112016475A (zh) * | 2020-08-31 | 2020-12-01 | 支付宝(杭州)信息技术有限公司 | 一种人体检测识别方法和装置 |
| CN113017829A (zh) * | 2020-08-22 | 2021-06-25 | 张逸凌 | 一种基于深度学习的全膝关节置换术的术前规划方法、系统、介质和设备 |
| US11278413B1 (en) * | 2018-02-06 | 2022-03-22 | Philipp K. Lang | Devices, systems, techniques and methods for determining the fit, size and/or shape of orthopedic implants using computer systems, artificial neural networks and artificial intelligence |
| CN115393272A (zh) * | 2022-07-15 | 2022-11-25 | 北京长木谷医疗科技有限公司 | 基于深度学习的膝关节髌骨置换三维术前规划系统及方法 |
| CN116234489A (zh) * | 2020-10-09 | 2023-06-06 | 史密夫和内修有限公司 | 无标记导航系统 |
| WO2023102422A1 (en) * | 2021-12-01 | 2023-06-08 | Smith & Nephew, Inc. | Bone reamer video based navigation |
-
2023
- 2023-09-06 CN CN202311141207.6A patent/CN116898574B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107536643A (zh) * | 2017-08-18 | 2018-01-05 | 北京航空航天大学 | 一种前交叉韧带重建的增强现实手术导航系统 |
| US11278413B1 (en) * | 2018-02-06 | 2022-03-22 | Philipp K. Lang | Devices, systems, techniques and methods for determining the fit, size and/or shape of orthopedic implants using computer systems, artificial neural networks and artificial intelligence |
| CN110766789A (zh) * | 2019-10-18 | 2020-02-07 | 中国人民解放军陆军军医大学 | 膝关节后外侧复合体腱骨结合部的形态识别及可视化方法 |
| CN113017829A (zh) * | 2020-08-22 | 2021-06-25 | 张逸凌 | 一种基于深度学习的全膝关节置换术的术前规划方法、系统、介质和设备 |
| CN112016475A (zh) * | 2020-08-31 | 2020-12-01 | 支付宝(杭州)信息技术有限公司 | 一种人体检测识别方法和装置 |
| CN116234489A (zh) * | 2020-10-09 | 2023-06-06 | 史密夫和内修有限公司 | 无标记导航系统 |
| WO2023102422A1 (en) * | 2021-12-01 | 2023-06-08 | Smith & Nephew, Inc. | Bone reamer video based navigation |
| CN115393272A (zh) * | 2022-07-15 | 2022-11-25 | 北京长木谷医疗科技有限公司 | 基于深度学习的膝关节髌骨置换三维术前规划系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116898574A (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112382359B (zh) | 患者注册方法、装置、电子设备及计算机可读介质 | |
| CN111597975B (zh) | 人员动作检测方法、装置及电子设备 | |
| US11816822B2 (en) | Technologies for determining the accuracy of three-dimensional models for use in an orthopaedic surgical procedure | |
| CN116019548A (zh) | 一种基于x光影像的膝关节置换手术规划方法、装置、设备及存储介质 | |
| CN113662660A (zh) | 关节置换术前规划方法、装置、设备及存储介质 | |
| CN116543221B (zh) | 关节病变智能检测方法、装置、设备及可读存储介质 | |
| CN104899919A (zh) | 一种建模方法及装置 | |
| CN116747016A (zh) | 智能手术机器人导航定位系统及方法 | |
| CN116898574B (zh) | 人工智能膝关节韧带重建术的术前规划方法、系统及设备 | |
| US20220222975A1 (en) | Motion recognition method, non-transitory computer-readable recording medium and information processing apparatus | |
| CN114581469A (zh) | 自动提取下肢股骨和胫骨轴线的方法、装置及电子设备 | |
| CN116309636A (zh) | 基于多任务神经网络模型的膝关节分割方法、装置及设备 | |
| CN114186612A (zh) | 模型训练方法、地形环境识别方法、装置及电子设备 | |
| CN116704549A (zh) | 三维空间关键点的位置检测方法、装置、设备及存储介质 | |
| US10470688B2 (en) | Measurement apparatus, method and non-transitory computer-readable recording medium | |
| CN117350992A (zh) | 基于自导向注意机制多任务分割网络金属植入物识别方法 | |
| CN116650110A (zh) | 基于深度强化学习的膝关节假体自动放置方法及装置 | |
| CN113592906B (zh) | 一种基于标注帧特征融合的长视频目标跟踪方法及系统 | |
| CN116509547A (zh) | 骨科机器人钉道智能规划系统及其方法 | |
| CN117159144B (zh) | 膝关节韧带重建手术机器人导航定位系统及方法 | |
| CN117679160B (zh) | 创伤骨折复位方法、装置、设备及可读存储介质 | |
| CN110633599B (zh) | 处理人体图像的方法、装置、设备和计算机存储介质 | |
| CN117159144A (zh) | 膝关节韧带重建手术机器人导航定位系统及方法 | |
| Liu et al. | Automated measurements of leg length on radiographs by deep learning | |
| JP2004258931A (ja) | 画像処理方法、画像処理装置、画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |