CN112957126B - 基于深度学习的单髁置换术前规划方法和相关设备 - Google Patents
基于深度学习的单髁置换术前规划方法和相关设备 Download PDFInfo
- Publication number
- CN112957126B CN112957126B CN202110185454.0A CN202110185454A CN112957126B CN 112957126 B CN112957126 B CN 112957126B CN 202110185454 A CN202110185454 A CN 202110185454A CN 112957126 B CN112957126 B CN 112957126B
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional
- image data
- unicondylar
- knee joint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000013135 deep learning Methods 0.000 title claims abstract description 71
- 210000000689 upper leg Anatomy 0.000 claims abstract description 77
- 210000002303 tibia Anatomy 0.000 claims abstract description 71
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 70
- 210000000629 knee joint Anatomy 0.000 claims abstract description 70
- 230000000694 effects Effects 0.000 claims abstract description 22
- 230000011218 segmentation Effects 0.000 claims description 37
- 238000003709 image segmentation Methods 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 26
- 210000003141 lower extremity Anatomy 0.000 claims description 18
- 238000003062 neural network model Methods 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 210000002082 fibula Anatomy 0.000 claims description 9
- 210000004417 patella Anatomy 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000003780 insertion Methods 0.000 claims description 5
- 230000037431 insertion Effects 0.000 claims description 5
- 210000002967 posterior cruciate ligament Anatomy 0.000 claims description 5
- 239000011800 void material Substances 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 13
- 238000001356 surgical procedure Methods 0.000 abstract description 13
- 230000007547 defect Effects 0.000 abstract description 6
- 238000002591 computed tomography Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 5
- 210000001694 thigh bone Anatomy 0.000 description 5
- 206010063385 Intellectualisation Diseases 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000002980 postoperative effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000011883 total knee arthroplasty Methods 0.000 description 3
- 208000012659 Joint disease Diseases 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 235000010893 Bischofia javanica Nutrition 0.000 description 1
- 240000005220 Bischofia javanica Species 0.000 description 1
- 208000003947 Knee Osteoarthritis Diseases 0.000 description 1
- 208000035965 Postoperative Complications Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000011882 arthroplasty Methods 0.000 description 1
- 230000008827 biological function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000000528 lesser trochanter Anatomy 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 201000008482 osteoarthritis Diseases 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
- A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Robotics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
- Prostheses (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于深度学习的单髁置换术前规划方法和相关设备，其中的方法包括：获取膝关节图像数据，基于膝关节图像数据获得三维骨骼图像；其中，三维骨骼图像包括三维股骨图像和三维胫骨图像；识别和显示三维骨骼图像的关键点和关键轴线；并且，依据关键点和关键轴线分别计算股骨与胫骨的尺寸参数和角度参数；基于关键点、关键轴线、尺寸参数和角度参数在预先存储假体模型的数据库中进行单髁假体匹配，并将单髁假体匹配效果可视化显示。本发明克服了由于患者个体差异及医生主观经验给人工单髁置换手术所带来的缺陷，实现基于人工智能的单髁置换假体匹配，为医生提供准确有力的技术支持与保障，使单髁置换外科手术更准确、更安全。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于深度学习的单髁置换术前规划方法和相关设备。
背景技术
单髁膝关节置换术(Unicompartmental Knee Arthroplasty，简称UKA)是膝关节骨性关节炎阶梯化治疗中必不可少的一项。
近年来的临床研究发现，在内侧单间室膝关节MOA(Medial compartmental kneeOsteoarthritis，MOA)的治疗中，相较于人工全膝关节置换术(Total Knee Arthroplasty，简称TKA)而言，UKA手术治疗膝关节生物功能几乎全部保留，具有手术时间短、手术创伤小、术后并发症发生率低等优势，且术后的功能恢复也优于TKA手术。但UKA对术后下肢力线要求高，轻度的力线偏移即会影响假体使用寿命，导致返修率增高。
目前的膝关节UKA手术对于下肢力线及软组织平衡方面的把握仍依赖于手术医师的经验，对于膝关节单髁置换术中的截骨参数(比如截骨角度、截骨量)甚至假体大小的选择，是通过手术医生的“目测法”来把握，患者的个体差异及手术医生对器械掌握的熟练程度都可能会影响到手术效果。
发明内容
本发明提供一种基于深度学习的单髁置换基于深度学习的单髁置换术前规划方法、装置、电子设备及存储介质，用以克服由于患者个体差异及医生主观经验给人工单髁置换手术所带来的缺陷，实现基于人工智能的单髁置换假体匹配。
本发明提供了一种基于深度学习的单髁置换术前规划方法，该方法包括如下步骤：获取膝关节图像数据，基于所述膝关节图像数据获得三维骨骼图像；其中，所述三维骨骼图像包括三维股骨图像和三维胫骨图像；识别和显示所述三维骨骼图像的关键点和关键轴线；并且，依据所述关键点和所述关键轴线分别计算股骨与胫骨的尺寸参数和角度参数；基于所述关键点、所述关键轴线、所述尺寸参数和所述角度参数在预先存储假体模型的数据库中进行单髁假体匹配，并将单髁假体匹配效果可视化显示。
根据本发明基于深度学习的单髁置换术前规划方法，所述基于所述膝关节图像数据获得三维骨骼图像包括如下步骤：获取膝关节的图像数据，基于深度学习算法对所述图像数据进行图像分割；基于分割后的图像数据进行三维重建，获得所述三维股骨图像和三维胫骨图像，并可视化显示。
根据本发明基于深度学习的单髁置换术前规划方法，所述基于分割后的图像数据进行三维重建，获得所述三维股骨图像和三维胫骨图像，并可视化显示后，还包括：判断针对所述膝关节的图像数据的分割是否需要优化，若是，则接收输入的分割调整指令，对所述膝关节的图像数据的分割进行调整。
根据本发明基于深度学习的单髁置换术前规划方法，所述基于深度学习算法对所述图像数据进行图像分割为：基于分割神经网络模型对所述图像数据进行图像分割；并且，所述分割神经网络模型的关联参数通过基于下肢医学图像数据库中的图像数据集进行训练和测试确定；其中，所述下肢医学图像数据库中的图像数据集为标注出股骨、胫骨、腓骨和髌骨区域的下肢医学图像数据集，所述图像数据集划分为训练集和测试集。
根据本发明基于深度学习的单髁置换术前规划方法，所述分割神经网络为2DDense-Unet、FCN、SegNet、Unet、3D-Unet、Mask-RCNN、空洞卷积、ENet、CRFasRNN、PSPNet、ParseNet、RefineNet、ReSeg、LSTM-CF、DeepMask、DeepLabV1、DeepLabV2、DeepLabV3中的至少一种。
根据本发明基于深度学习的单髁置换术前规划方法，所述识别所述三维骨骼图像的关键点中，所述关键点为关键解剖位点；并且
所述关键解剖位点的识别通过HRNet、MTCNN、locnet、Pyramid Residual Module、Densenet、hourglass、resnet、SegNet、Unet、R-CNN、Fast R-CNN、Faster R-CNN、R-FCN、SSD中的至少一种神经网络模型实现。
根据本发明基于深度学习的单髁置换术前规划方法，所述三维骨骼图像的关键点包括以下一种或多种组合：股骨远端最低点、胫骨平台最低点，以及，胫骨平台内外侧缘；所述三维骨骼图像的所述关键轴线包括以下一种或多种组合：股骨机械轴、股骨解剖轴、胫骨机械轴、胫骨解剖轴，以及，胫骨结节内侧缘与后交叉韧带止点中点的连线；所述尺寸参数包括以下一种或多种组合：股骨前后径、股骨髁内外径、胫骨平台前后径、胫骨平台后倾角；和/或，所述角度参数包括以下一种或多种组合：胫骨平台后倾角、股骨机械轴与胫骨机械轴的夹角、股骨解剖轴与胫骨解剖轴的夹角。
第二方面，本发明还提供了一种基于深度学习的单髁置换术前规划装置，该装置包括：获取模块、识别及计算模块和假体匹配模块。其中，获取模块用于获取膝关节图像数据，基于所述膝关节图像数据获得三维骨骼图像；其中，所述三维骨骼图像包括三维股骨图像和三维胫骨图像；识别及计算模块用于识别所述三维骨骼图像的关键点和关键轴线，并显示；并且，依据所述关键点和所述关键轴线分别计算股骨与胫骨的尺寸参数和角度参数；假体匹配模块用于基于所述关键点、所述关键轴线、所述尺寸参数和所述角度参数在预先存储假体模型的数据库中进行单髁假体匹配，并将单髁假体匹配效果可视化显示。
根据本发明所述的基于深度学习的单髁置换术前规划装置，所述获取模块包括图像分割单元和三维重建单元；所述图像分割单元用于获取膝关节的图像数据，基于深度学习算法对图像数据进行图像分割；所述三维重建单元用于基于分割后的图像数据进行三维重建，获得三维股骨图像和三维胫骨图像，并可视化显示。
根据本发明所述的基于深度学习的单髁置换术前规划装置，所述获取模块还包括分割调整单元；所述分割调整单元用于判断针对膝关节的图像数据的分割是否需要优化，若是，则接收输入的分割调整指令，对膝关节的图像数据的分割进行调整。
根据本发明所述的基于深度学习的单髁置换术前规划装置，所述图像分割单元在基于深度学习算法对所述图像数据进行图像分割时，具体为：基于分割神经网络模型对所述图像数据进行图像分割；并且，所述分割神经网络模型的关联参数通过基于下肢医学图像数据库中的图像数据集进行训练和测试确定；其中，所述下肢医学图像数据库中的图像数据集为标注出股骨、胫骨、腓骨和髌骨区域的下肢医学图像数据集，所述图像数据集划分为训练集和测试集。
根据本发明所述的基于深度学习的单髁置换术前规划装置，所述分割神经网络为2D Dense-Unet、FCN、SegNet、Unet、3D-Unet、Mask-RCNN、空洞卷积、ENet、CRFasRNN、PSPNet、ParseNet、RefineNet、ReSeg、LSTM-CF、DeepMask、DeepLabV1、DeepLabV2、DeepLabV3中的至少一种。
根据本发明所述的基于深度学习的单髁置换术前规划装置，所述关键点为关键解剖位点；并且，所述关键解剖位点的识别通过HRNet、MTCNN、locnet、Pyramid ResidualModule、Densenet、hourglass、resnet、SegNet、Unet、R-CNN、Fast R-CNN、Faster R-CNN、R-FCN、SSD中的至少一种神经网络模型实现。
根据本发明所述的基于深度学习的单髁置换术前规划装置，所述三维骨骼图像的关键点包括以下一种或多种组合：股骨远端最低点、胫骨平台最低点，以及，胫骨平台内外侧缘；所述三维骨骼图像的所述关键轴线包括以下一种或多种组合：股骨机械轴、股骨解剖轴、胫骨机械轴、胫骨解剖轴，以及，胫骨结节内侧缘与后交叉韧带止点中点的连线；所述尺寸参数包括以下一种或多种组合：股骨前后径、股骨髁内外径、胫骨平台前后径、胫骨平台后倾角；和/或，所述角度参数包括以下一种或多种组合：胫骨平台后倾角、股骨机械轴与胫骨机械轴的夹角、股骨解剖轴与胫骨解剖轴的夹角。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一种所述的基于深度学习的单髁置换术前规划方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一种所述的基于深度学习的单髁置换假体匹配方法的步骤。
本发明提供的一种基于深度学习的单髁置换假体匹配方法、装置、电子设备及存储介质，通过基于膝关节图像数据所生成的三维股骨图像和三维胫骨图像，识别图像中股骨和胫骨的关键点和关键轴线，并且，依据关键点和关键轴线分别计算股骨与胫骨的尺寸参数和角度参数，通过股骨与胫骨的关键点、关键轴线、各自的尺寸参数和角度参数进行单髁假体匹配，并将单髁假体匹配效果可视化显示。
本发明克服了由于患者个体差异及医生主观经验给人工单髁置换手术所带来的缺陷，实现基于人工智能的单髁置换假体匹配，为医生提供准确有力的技术支持与保障，使单髁置换外科手术更准确、更安全，促进外科手术向智能化、精准化的方向发展。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于深度学习的单髁置换术前规划方法的流程示意图之一；
图2是本发明提供的基于深度学习的单髁置换术前规划方法中，基于膝关节图像数据获得三维骨骼图像的流程示意图；
图3是本发明基于深度学习的单髁置换术前规划方法中，基于分割神经网络和三维重建，将膝关节图像数据转换为三维骨骼图像的工作原理图；
图4是本发明基于深度学习的单髁置换术前规划方法中，基于三维重建所生成的三维骨骼图像示意图；
图5是本发明基于深度学习的单髁置换术前规划方法中，关键点识别的示意图；
图6是本发明基于深度学习的单髁置换术前规划方法中，安放假体的效果图；
图7是本发明基于深度学习的单髁置换术前规划方法中，模拟术后预览的效果图；
图8是本发明提供的基于深度学习的单髁置换术前规划方法的流程示意图之二；
图9是本发明提供的基于深度学习的单髁置换术前规划装置的结构示意图；
图10是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，图1为本发明提供的基于深度学习的单髁置换术前规划方法的流程示意图之一，该方法包括如下步骤：
步骤110，获取膝关节图像数据，基于所述膝关节图像数据获得三维骨骼图像。其中，三维骨骼图像包括三维股骨图像和三维胫骨图像。
步骤120，识别并显示三维骨骼图像的关键点和关键轴线；并且，依据所述关键点和所述关键轴线分别计算股骨与胫骨的尺寸参数和角度参数。
步骤130，基于所述关键点、所述关键轴线、所述尺寸参数和所述角度参数在预先存储假体模型的数据库中进行单髁假体匹配，并将单髁假体匹配效果可视化显示。
本实施例通过基于膝关节图像数据所生成的三维股骨图像和三维胫骨图像，识别图像中股骨和胫骨的关键点和关键轴线，并且，依据关键点和关键轴线分别计算股骨与胫骨的尺寸参数和角度参数，通过股骨与胫骨的关键点、关键轴线、各自的尺寸参数和角度参数进行单髁假体匹配，并将单髁假体匹配效果可视化显示。
本发明克服了由于患者个体差异及医生主观经验给人工单髁置换手术所带来的缺陷，实现基于人工智能的单髁置换假体匹配，为医生提供准确有力的技术支持与保障，使单髁置换外科手术更准确、更安全，促进外科手术向智能化、精准化的方向发展。
下面，对本发明基于深度学习的单髁置换术前规划方法做进一步地说明。
步骤110，获取膝关节图像数据，基于所述膝关节图像数据获得三维骨骼图像。
在一个实施例中，该步骤中的膝关节图像数据可以为CT(Computed Tomography，电子计算机断层扫描)图像数据，也可以为磁共振成像(MRI)图像数据。但本发明并不限于此，其他关于膝关节的医学影像数据也可以为本发明所使用。数据格式可以为现有格式，如dicom格式。
在具体实施时，将膝关节图像数据转换为三维股骨图像和三维胫骨图像，可以借助于人工智能中的深度学习算法。可以为：
1)获取膝关节的图像数据，基于深度学习算法对所述图像数据进行图像分割；
2)基于分割后的图像数据进行三维重建，获得所述三维股骨图像和三维胫骨图像，并可视化显示。
下面结合图2，说明本发明的一个实施例，如何借助深度学习算法获得三维股骨图像和三维胫骨图像。
参照图2，图2是本发明提供的基于深度学习的单髁置换术前规划方法中，基于膝关节图像数据获得三维骨骼图像的流程示意图，包括如下步骤：
步骤1101，获取膝关节的图像数据。
步骤1102，基于深度学习算法对所述图像数据进行图像分割。
人工智能(Artificial Intelligence，缩写AI)，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。
深度学习(Deep Learning，缩写DL)是机器学习(Machine Learning，缩写ML)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
在一个实施例中，深度学习算法为分割神经网络模型，也就是说，基于分割神经网络模型对图像数据进行图像分割。
分割神经网络模型的关联参数通过基于下肢医学图像数据库中的图像数据集进行训练和测试确定。其中，所述下肢医学图像数据库中的图像数据集为标注出股骨、胫骨、腓骨和髌骨区域下肢医学图像数据集，所述图像数据集划分为训练集和测试集；将未标注前的医学图像数据转换成第一格式的图片并保存，将标注后的数据转换成第二格式的图片并保存。
参照图3，示出了本发明基于深度学习的单髁置换术前规划方法中，基于分割神经网络和三维重建，将膝关节图像数据转换为三维骨骼图像的工作原理图。
分割神经网络模型的输入信息为膝关节图像数据，例如图3所示出的膝关节图像数据A1，膝关节图像数据A2，膝关节图像数据A3，…,膝关节图像数据An-1,以及，膝关节图像数据An。
分割神经网络的输出端与三维重建模块3的输入端连接，通过三维重建，生成三维骨骼图像数据，如上所述，包括三维股骨图像数据和三维胫骨图像数据。
在具体实施时，分割神经网络可以包括但不限于2D Dense-Unet、FCN、SegNet、Unet、3D-Unet、Mask-RCNN、空洞卷积、ENet、CRFasRNN、PSPNet、ParseNet、RefineNet、ReSeg、LSTM-CF、DeepMask、DeepLabV1、DeepLabV2、DeepLabV3中的至少一种。
分割神经网络的关联参数通过基于预先存储的下肢医学图像数据库中的图像数据进行训练和测试确定。
以采用2D Dense-Unet进行分割为例，包括：
数据预处理：
获取患有膝关节疾病患者的CT医学图像数据集，将其进行手动标注股骨、胫骨、腓骨、髌骨区域，将其作为我们的数据库。按照7:3的比例划分为训练集、测试集；将二维横断面DICOM数据转换成JPG格式的图片，标注文件转换成png格式的图片，保存后作为神经网络的输入。
建立分割神经网络模型DenseUnet：
2D Dense-Unet在Unet模型的基础上引入denseblock结构，使分割结果更加准确，相对于传统分割方法分割精度大大提升。
搭建网络模型：
Unet的结构中包含两个亮点即U型结构和跃层链接(skip-connection)。Unet中的降采样(encoder)和上采样(decoder)操作，将降采样得到的高级语义特征图恢复到原图片的分辨率。相比于FCN和Deeplab等，Unet共进行了多次上采样，并在同一个stage使用了skip connection，而不是直接在高级语义特征上进行监督和loss反传，这样就保证了最后恢复出来的特征图融合了更多的底层的图像特征，也使得不同尺度的特征得到了的融合，从而可以进行多尺度预测和超分辨率预测。多次上采样也使得分割图恢复边缘等信息更加精细。
DenseNet具有非常好的抗过拟合性能，尤其适合于训练数据相对匮乏的应用。对于DenseNet抗过拟合的原因有一个比较直观的解释：神经网络每一层提取的特征都相当于对输入数据的一个非线性变换，而随着深度的增加，变换的复杂度也逐渐增加(更多非线性函数的复合)。相比于一般神经网络的分类器直接依赖于网络最后一层(复杂度最高)的特征，DenseNet可以综合利用浅层复杂度低的特征，因而更容易得到一个光滑的具有更好泛化性能的决策函数。
因此受到DenseNet密集连接的启发，将UNet的每一个子模块分别替换为具有密集连接的形式，即在Unet中引入dense block，由于结合了二者的优势，所以分割效果更好，准确度更高。
训练过程：
髋关节骨肉分割/股骨分割网络的输入为分别为待分割原数据和对应的医生标注的骨骼/股骨像素级标注数据，即图像对应的标签。网络训练时，将训练集的原数据和对应标签依次送入网络，对网络进行训练。训练过程中，根据自定义的模型评估指标，如IOU(模型学习结果与真实标签之间的交并比)，precision(精准度)，recall(召回率)，F-measure(F值)等指标来观察模型的训练情况，当模型在验证集中的评估指标达到预期时，则停止训练，保存当前模型对应的权重文件，否则，继续调优模型，直至模型在验证集中的评估指标达到最优。
测试过程：
网络预测时，首先导入预先保存的最优模型权重文件，然后将待分割数据输入模型，模型的输出结果即为分割结果。
步骤1103，基于分割后的图像数据进行三维重建，获得所述三维股骨图像和三维胫骨图像。
三维重建(3D Reconstruction)是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的技术。
步骤1104，可视化显示三维重建的三维股骨图像和三维胫骨图像。
参照图4，图4示出了本发明基于深度学习的单髁置换术前规划方法中，基于三维重建所生成的三维骨骼图像。其中，左侧区域4a示出了骨骼在横断面、矢状面和冠状面的二维视图，右侧区域4b示出了骨骼的三维重建图像。
从图4可以清楚地看到位于图4中部上方的三维股骨图像和下方的三维胫骨图像。在图4中，除了可以看到三维股骨图像和三维胫骨图像外，可以看到腓骨、髌骨和籽骨等三维结构。
步骤1105，根据可视化结果，判断作为三维骨骼图像生成基础的图像分割是否需要优化，若是，执行步骤1106；若否，执行步骤1107。
具体来说，是根据图4可视化的结果，判断步骤1102对全膝图像数据的分割是否合理。这里的合理与否，可以由人工检查后确定。
从图4所示的可视化的界面上，除了有重建的三维骨骼图像，还有位于左侧的自上而下的横断面CT、矢状面CT和冠状面CT图像。横断面CT、矢状面CT、冠状面CT图像与三维骨骼图像可以实现三轴联动，在二维和三维上同时观察。还可以调整三维重建的骨骼的透明/不透明状态，以及，调整分割后的股骨、胫骨、腓骨、髌骨的显示/隐藏状态，观察关节面。
步骤1106，接收输入的分割调整指令，并返回执行步骤1102。
步骤1107，结束三维骨骼图像生成操作。
下面对步骤120进行说明。
步骤120，识别三维骨骼图像的关键点和关键轴线，并显示；并且，依据所述关键点和所述关键轴线分别计算股骨与胫骨的尺寸参数和角度参数。
在一个实施例中，从诸如图4的三维骨骼图像中识别关键点和关键轴线，可以采用人工神经网络模型来实现。
例如，关键点识别可以通过HRNet、MTCNN、locnet、Pyramid Residual Module、Densenet、hourglass、resnet、SegNet、Unet、R-CNN、Fast R-CNN、Faster R-CNN、R-FCN、SSD中的至少一种神经网络模型实现。
以采用HRNet进行识别为例，包括：
数据预处理：
获取患有膝关节疾病患者的CT医学图像数据集，将其正投影层面截取出来，并且使用人工标点插件手动标定小转子等关键点位，将其作为我们的数据库。按照7:3的比例划分为训练集、测试集。
搭建网络模型：
使用HRNet神经网络进行识别关键点，大多数的方法都是通过一个串联的high-to-low从高分辨率输入中获得低分辨率特征图，然后再从低分辨率特征图恢复分辨率特征图。使用的该网络在整个过程中都维持高分辨率特征图。
从一个高分辨率子网络开始，逐渐一个个的增加high-to-low resolution子网络构成更多的阶段，然后将多分辨率子网并行连接。本申请进行了反复的多尺度特征融合来使得每个high-to-low resolution特征图能够从其他平行的特征图中不断接收信息，最终得到丰富的高分辨率特征图。主干部分主要采用high-to-low和low-to-high框架，并使用多尺度融合和中间监督来尽可能地增强信息，high-to-low过程旨在生成低分辨率但更高级别的特征，而low-to-high过程旨在产生高分辨率的特征，这两个过程都可能会重复多次以提升性能。因此，HRNet预测的热图更加准确。HRNet中的高分辨率特征金字塔是从1/4分辨率出发，通过transposed convolution得到更高分辨率的特征。
训练过程：
在训练的过程中，使用多分辨率监督让不同层的特征能学习不同尺度的信息。也利用多分辨率融合，把不同分辨率的热度图统一放到原图大小并且融合到一起，从而得到一个对尺度敏感的特征。
模型训练过程中，输入像素值为0-255的正投影图像和label.txt，可以通过每张图片的名称找到互相对应的点的坐标；若直接用目标点的坐标进行学习，神经网络需要自行将空间位置转换为坐标，是一种比较难学习的训练方式，所以将这些点生成高斯图，用heatmap去监督，即网络的输出是一个与输入大小相同尺寸的特征图，在检测点的位置为1，其他位置为0.多个点的检测就输出多个通道的特征图。网络使用Adam优化，学习率为1e-5，batch_size为4，损失函数使用L2正则化，根据训练过程中损失函数的变化，调整训练批次的大小，最终得到关键点位的坐标值。
测试过程：
网络预测时，首先导入预先保存的最优模型权重文件，然后将待识别数据输入模型，模型的输出结果即为识别结果。
本实施例中的关键点可以为关键解剖位点。在具体实施时，关键解剖位点可以包括关键点和关键轴线。
参照图5，图5是本发明基于深度学习的单髁置换术前规划方法中，关键点识别的示意图。图5中部的三维骨骼图像中标记的黑点即为关键点。左侧区域5a示出了骨骼在横断面、矢状面和冠状面的二维视图，右侧区域5b示出了骨骼的三维重建图像中所包括的关键点。
在一个实施例中，三维骨骼图像的关键点可以包括以下一种或多种组合：股骨远端最低点、胫骨平台最低点，以及，胫骨平台内外侧缘。
在一个实施例中，三维骨骼图像的所述关键轴线可以包括以下一种或多种组合：股骨机械轴、股骨解剖轴、胫骨机械轴、胫骨解剖轴，以及，胫骨结节内侧缘与后交叉韧带止点中点的连线。人工检查关键点的识别，对识别位置不准确的关键点进行调整。
识别确定关键点后，依据所述关键点和所述关键轴线分别计算股骨与胫骨的尺寸参数和角度参数。
其中，尺寸参数包括以下一种或多种组合：股骨前后径、股骨髁内外径、胫骨平台前后径、胫骨平台后倾角。
角度参数包括以下一种或多种组合：胫骨平台后倾角、股骨机械轴与胫骨机械轴的夹角、股骨解剖轴与胫骨解剖轴的夹角。
下面说明步骤130。
步骤130，基于关键点、关键轴线、所述尺寸参数和所述角度参数在预先存储假体模型的数据库中进行单髁假体匹配，并将单髁假体匹配效果可视化显示。
从三个方面对该步骤做出说明。
(1)关于存储假体模型的数据库，以及，数据库中的单髁假体模型
存储假体模型的数据库为预先存储在系统中的数据。主要存储单髁置换手术用的单髁假体模型。单髁假体模型的型号和大小各不相同。
关于单髁假体模型的设计。在一个实施例中，可以通过对正常人关节进行CT扫描，运用数字化技术对关节形态及截骨后形态进行测量，然后建立数字化关节模型数据库，为单髁假体模型的设计提供形态学数据。
(2)关于匹配
在上述步骤120，确定了基于患者三维骨骼图像的关键点、关键轴线、尺寸参数和角度参数。
系统基于关键点、尺寸及角度参数等信息，在预先存储假体模型的数据库中寻找匹配对象，并智能推荐。
在智能推荐时，给出单髁假体模型的型号、安放位置及安放角度。恢复患者胫骨平台的生理后倾角，纠正患者的关节畸形。
(3)关于可视化
选择智能推荐的单髁假体模型，将假体模型显示在股骨远端和胫骨平台上。
参照图6，图6是本发明基于深度学习的单髁置换术前规划方法中，匹配假体的效果图。从图中可以看到单髁假体6a，三维重建股骨6b，三维重建胫骨6c和三维重建腓骨6d。
在可视化的场景下，还可以进一步包括人工检查假体型号和安放位置，在安放位置、角度存在的偏差时，可以进行微调。
在本发明基于深度学习的单髁置换术前规划方法中，完成假体的匹配后，还可以包括根据截骨参数，模拟截骨，然后通过可视化平台匹配单髁假体模型的步骤。
参照图7，图7是本发明基于深度学习的单髁置换术前规划方法中，模拟术后预览的效果图。
从图7可以看到，三维重建股骨7a、股骨假体7b、垫片7c、胫骨假体7d和三维重建胫骨7e。通过模拟患者术后关节面恢复情况，呈现手术效果。
参照图8，图8为本发明提供的基于深度学习的单髁置换术前规划方法的流程示意图之二，包括如下步骤：
步骤801，选择膝关节的CT图像数据。
步骤802，基于深度学习算法对所述图像数据进行图像分割。
步骤803，基于分割后的图像数据进行三维重建，获得所述三维股骨图像和三维胫骨图像。
步骤804，可视化显示三维重建的三维股骨图像和三维胫骨图像。
步骤805，根据可视化结果，判断作为三维骨骼图像生成基础的图像分割是否需要优化，若是，执行步骤806；若否，执行步骤807。
步骤806，接收输入的分割调整指令，并返回执行步骤802。
步骤807，识别三维骨骼图像的关键点和关键轴线，依据所述关键点和所述关键轴线分别计算股骨与胫骨的尺寸参数和角度参数。
步骤808，根据关键点和关键轴线、股骨与胫骨的尺寸参数和角度参数，系统推荐匹配的单髁假体模型；
步骤809，调整单髁假体模型安放位置和角度；
步骤810，模拟截骨，并模拟术后结果预览。
以CT图像数据为基础，在人工智能分割的基础上进行三维重建，智能识别股骨力线、胫骨力线、AKAGI线、股骨远端最低点、胫骨平台最低点、股骨远端前后径、胫骨平台前后径、胫骨平台内侧缘、胫骨平台外侧缘，智能计算胫骨平台后倾角，智能推荐单髁假体放置的位置和角度，规划截骨量并进行模拟截骨，纠正患者的关节内畸形。
本实施例克服了由于患者个体差异及医生主观经验给人工单髁置换手术所带来的缺陷，实现基于人工智能的单髁置换假体匹配，为医生提供准确有力的技术支持与保障，使单髁置换外科手术更准确、更安全，促进外科手术向智能化、精准化的方向发展。
参照图9，图9为本发明基于深度学习的单髁置换术前规划装置，该装置包括：获取模块90、识别及计算模块92，以及，假体匹配模块94。
其中，获取模块90用于获取膝关节图像数据，基于膝关节图像数据获得三维骨骼图像；其中，三维骨骼图像包括三维股骨图像和三维胫骨图像。
识别及计算模块92用于识别三维骨骼图像的关键点和关键轴线，并显示；并且，依据关键点和关键轴线分别计算股骨与胫骨的尺寸参数和角度参数；
假体匹配模块94用于基于关键点、关键轴线、尺寸参数和角度参数在预先存储假体模型的数据库中进行单髁假体匹配，并将单髁假体匹配效果可视化显示。
本实施例通过基于膝关节图像数据所生成的三维股骨图像和三维胫骨图像，识别图像中股骨和胫骨的关键点和关键轴线，并且，依据关键点和关键轴线分别计算股骨与胫骨的尺寸参数和角度参数，通过股骨与胫骨的关键点、关键轴线、各自的尺寸参数和角度参数进行单髁假体匹配，并将单髁假体匹配效果可视化显示。
本发明克服了由于患者个体差异及医生主观经验给人工单髁置换手术所带来的缺陷，实现基于人工智能的单髁置换假体匹配，为医生提供准确有力的技术支持与保障，使单髁置换外科手术更准确、更安全，促进外科手术向智能化、精准化的方向发展。
在一个优选的实施例中，获取模块90包括：图像分割单元901、三维重建单元902和分割调整单元903。
图像分割单元901，用于获取膝关节的图像数据，基于深度学习算法对图像数据进行图像分割；
三维重建单元902，用于基于分割后的图像数据进行三维重建，获得三维股骨图像和三维胫骨图像，并可视化显示。
进一步地，在三维重建单元后，还可以包括：
分割调整单元903，用于判断针对膝关节的图像数据的分割是否需要优化，若是，则接收输入的分割调整指令，对膝关节的图像数据的分割进行调整。
在具体实施时，图像分割单元901中，基于分割神经网络模型对图像数据进行图像分割；并且，分割神经网络模型的关联参数通过基于下肢医学图像数据库中的图像数据集进行训练和测试确定。
其中，下肢医学图像数据库中的图像数据集为标注出股骨、胫骨、腓骨和髌骨区域下肢医学图像数据集，图像数据集划分为训练集和测试集；将未标注前的医学图像数据转换成第一格式的图片并保存，将标注后的数据转换成第二格式的图片并保存。
优选地，分割神经网络为2D Dense-Unet、FCN、SegNet、Unet、3D-Unet、Mask-RCNN、空洞卷积、ENet、CRFasRNN、PSPNet、ParseNet、RefineNet、ReSeg、LSTM-CF、DeepMask、DeepLabV1、DeepLabV2、DeepLabV3中的至少一种。
在具体实施时，识别及计算模块92中，关键点为关键解剖位点；并且，关键解剖位点的识别通过HRNet、MTCNN、locnet、Pyramid Residual Module、Densenet、hourglass、resnet、SegNet、Unet、R-CNN、Fast R-CNN、Faster R-CNN、R-FCN、SSD中的至少一种神经网络模型实现。
三维骨骼图像的关键点包括以下一种或多种组合：
a)股骨远端最低点、胫骨平台最低点，以及，胫骨平台内外侧缘；
b)三维骨骼图像的关键轴线包括以下一种或多种组合：股骨机械轴、股骨解剖轴、胫骨机械轴、胫骨解剖轴，以及，胫骨结节内侧缘与后交叉韧带止点中点的连线；
c)尺寸参数包括以下一种或多种组合：股骨前后径、股骨髁内外径、胫骨平台前后径、胫骨平台后倾角。
d)角度参数包括以下一种或多种组合：胫骨平台后倾角、股骨机械轴与胫骨机械轴的夹角、股骨解剖轴与胫骨解剖轴的夹角。
图10示例了一种电子设备的实体结构示意图，如图10所示，该电子设备可以包括：处理器(processor)1010、通信接口(Communications Interface)1020、存储器(memory)1030和通信总线1040，其中，处理器1010，通信接口1020，存储器1030通过通信总线1040完成相互间的通信。处理器1010可以调用存储器1030中的逻辑指令，以执行基于深度学习的单髁置换术前规划方法，该方法包括：
获取膝关节图像数据，基于所述膝关节图像数据获得三维骨骼图像；其中，所述三维骨骼图像包括三维股骨图像和三维胫骨图像；
识别所述三维骨骼图像的关键点和关键轴线，并显示；并且，依据所述关键点和所述关键轴线分别计算股骨与胫骨的尺寸参数和角度参数；
基于所述关键点、所述关键轴线、所述尺寸参数和所述角度参数在预先存储假体模型的数据库中进行单髁假体匹配，并将单髁假体匹配效果可视化显示。
此外，上述的存储器1030中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于深度学习的单髁置换术前规划方法，该方法包括：
获取膝关节图像数据，基于所述膝关节图像数据获得三维骨骼图像；其中，所述三维骨骼图像包括三维股骨图像和三维胫骨图像；
识别所述三维骨骼图像的关键点和关键轴线，并显示；并且，依据所述关键点和所述关键轴线分别计算股骨与胫骨的尺寸参数和角度参数；
基于所述关键点、所述关键轴线、所述尺寸参数和所述角度参数在预先存储假体模型的数据库中进行单髁假体匹配，并将单髁假体匹配效果可视化显示。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于深度学习的单髁置换术前规划方法，该方法包括：
获取膝关节图像数据，基于所述膝关节图像数据获得三维骨骼图像；其中，所述三维骨骼图像包括三维股骨图像和三维胫骨图像；
识别所述三维骨骼图像的关键点和关键轴线，并显示；并且，依据所述关键点和所述关键轴线分别计算股骨与胫骨的尺寸参数和角度参数；
基于所述关键点、所述关键轴线、所述尺寸参数和所述角度参数在预先存储假体模型的数据库中进行单髁假体匹配，并将单髁假体匹配效果可视化显示。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种基于深度学习的单髁置换术前规划装置，其特征在于，该装置包括：
获取模块，用于获取膝关节图像数据，基于所述膝关节图像数据获得三维骨骼图像；其中，所述三维骨骼图像包括三维股骨图像和三维胫骨图像；
识别及计算模块，用于识别所述三维骨骼图像的关键点和关键轴线，并显示；并且，依据所述关键点和所述关键轴线分别计算股骨与胫骨的尺寸参数和角度参数；
假体匹配模块，用于基于所述关键点、所述关键轴线、所述尺寸参数和所述角度参数在预先存储假体模型的数据库中进行单髁假体匹配，并将单髁假体匹配效果可视化显示。
其中，所述获取模块包括图像分割单元、三维重建单元和分割调整单元；
所述图像分割单元用于获取膝关节的图像数据，基于深度学习算法对图像数据进行图像分割；
所述三维重建单元用于基于分割后的图像数据进行三维重建，获得三维股骨图像和三维胫骨图像，并可视化显示。
所述分割调整单元用于判断针对膝关节的图像数据的分割是否需要优化，若是，则接收输入的分割调整指令，对膝关节的图像数据的分割进行调整。
2.根据权利要求1所述的基于深度学习的单髁置换术前规划装置，其特征在于，所述图像分割单元在基于深度学习算法对所述图像数据进行图像分割时，具体为：
基于分割神经网络模型对所述图像数据进行图像分割；并且，
所述分割神经网络模型的关联参数通过基于下肢医学图像数据库中的图像数据集进行训练和测试确定；其中，所述下肢医学图像数据库中的图像数据集为标注出股骨、胫骨、腓骨和髌骨区域的下肢医学图像数据集，所述图像数据集划分为训练集和测试集。
3.根据权利要求2所述的基于深度学习的单髁置换术前规划装置，其特征在于，
所述分割神经网络为2D Dense-Unet、FCN、SegNet、Unet、3D-Unet、Mask-RCNN、空洞卷积、ENet、CRFasRNN、PSPNet、ParseNet、RefineNet、ReSeg、LSTM-CF、DeepMask、DeepLabV1、DeepLabV2、DeepLabV3中的任一种或多种。
4.根据权利要求1所述的基于深度学习的单髁置换术前规划装置，其特征在于，所述识别及计算模块在识别所述三维骨骼图像的关键点时：
所述关键点为关键解剖位点；并且
所述关键解剖位点的识别通过HRNet、MTCNN、locnet、Pyramid Residual Module、Densenet、hourglass、resnet、SegNet、Unet、R-CNN、Fast R-CNN、Faster R-CNN、R-FCN、SSD中的任一种或多种神经网络模型实现。
5.根据权利要求1所述的基于深度学习的单髁置换术前规划装置，其特征在于，
所述三维骨骼图像的关键点包括以下一种或多种组合：股骨远端最低点、胫骨平台最低点，以及，胫骨平台内外侧缘；
所述三维骨骼图像的所述关键轴线包括以下一种或多种组合：股骨机械轴、股骨解剖轴、胫骨机械轴、胫骨解剖轴，以及，胫骨结节内侧缘与后交叉韧带止点中点的连线；
所述尺寸参数包括以下一种或多种组合：股骨前后径、股骨髁内外径、胫骨平台前后径、胫骨平台后倾角；和/或
所述角度参数包括以下一种或多种组合：胫骨平台后倾角、股骨机械轴与胫骨机械轴的夹角、股骨解剖轴与胫骨解剖轴的夹角。
6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现基于深度学习的单髁置换术前规划方法，所述方法包括：
获取膝关节图像数据，基于所述膝关节图像数据获得三维骨骼图像；其中，所述三维骨骼图像包括三维股骨图像和三维胫骨图像；
识别和显示所述三维骨骼图像的关键点和关键轴线；并且，依据所述关键点和所述关键轴线分别计算股骨与胫骨的尺寸参数和角度参数；
基于所述关键点、所述关键轴线、所述尺寸参数和所述角度参数在预先存储假体模型的数据库中进行单髁假体匹配，并将单髁假体匹配效果可视化显示；
其中，所述基于所述膝关节图像数据获得三维骨骼图像包括如下步骤：
获取膝关节的图像数据，基于深度学习算法对所述图像数据进行图像分割；
基于分割后的图像数据进行三维重建，获得所述三维股骨图像和三维胫骨图像，并可视化显示；
判断针对所述膝关节的图像数据的分割是否需要优化，若是，则接收输入的分割调整指令，对所述膝关节的图像数据的分割进行调整。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现基于深度学习的单髁置换术前规划方法的步骤，所述步骤包括：
获取膝关节图像数据，基于所述膝关节图像数据获得三维骨骼图像；其中，所述三维骨骼图像包括三维股骨图像和三维胫骨图像；
识别和显示所述三维骨骼图像的关键点和关键轴线；并且，依据所述关键点和所述关键轴线分别计算股骨与胫骨的尺寸参数和角度参数；
基于所述关键点、所述关键轴线、所述尺寸参数和所述角度参数在预先存储假体模型的数据库中进行单髁假体匹配，并将单髁假体匹配效果可视化显示；
其中，所述基于所述膝关节图像数据获得三维骨骼图像包括如下步骤：
获取膝关节的图像数据，基于深度学习算法对所述图像数据进行图像分割；
基于分割后的图像数据进行三维重建，获得所述三维股骨图像和三维胫骨图像，并可视化显示；
判断针对所述膝关节的图像数据的分割是否需要优化，若是，则接收输入的分割调整指令，对所述膝关节的图像数据的分割进行调整。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110185454.0A CN112957126B (zh) | 2021-02-10 | 2021-02-10 | 基于深度学习的单髁置换术前规划方法和相关设备 |
| PCT/CN2021/120586 WO2022170768A1 (zh) | 2021-02-10 | 2021-09-26 | 单髁关节图像的处理方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110185454.0A CN112957126B (zh) | 2021-02-10 | 2021-02-10 | 基于深度学习的单髁置换术前规划方法和相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112957126A CN112957126A (zh) | 2021-06-15 |
| CN112957126B true CN112957126B (zh) | 2022-02-08 |
Family
ID=76284901
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110185454.0A Active CN112957126B (zh) | 2021-02-10 | 2021-02-10 | 基于深度学习的单髁置换术前规划方法和相关设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112957126B (zh) |
| WO (1) | WO2022170768A1 (zh) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112957126B (zh) * | 2021-02-10 | 2022-02-08 | 北京长木谷医疗科技有限公司 | 基于深度学习的单髁置换术前规划方法和相关设备 |
| CN113842211B (zh) * | 2021-09-03 | 2022-10-21 | 北京长木谷医疗科技有限公司 | 膝关节置换的三维术前规划系统及假体模型匹配方法 |
| CN113919020B (zh) * | 2021-09-24 | 2023-12-12 | 北京长木谷医疗科技股份有限公司 | 单髁置换用导板设计方法及相关设备 |
| CN113974827B (zh) * | 2021-09-30 | 2023-08-18 | 杭州三坛医疗科技有限公司 | 一种手术参考方案生成方法及装置 |
| CN113974828B (zh) * | 2021-09-30 | 2024-02-09 | 西安交通大学第二附属医院 | 一种手术参考方案生成方法及装置 |
| CN113936100B (zh) * | 2021-10-12 | 2024-06-28 | 大连医科大学附属第二医院 | 一种人体膝关节十字交叉韧带止点提取与重建方法 |
| CN113870261B (zh) * | 2021-12-01 | 2022-05-13 | 杭州柳叶刀机器人有限公司 | 用神经网络识别力线的方法与系统、存储介质及电子设备 |
| CN114693602B (zh) * | 2022-03-02 | 2023-04-18 | 北京长木谷医疗科技有限公司 | 膝关节动张力平衡态评估方法及装置 |
| CN114663363B (zh) * | 2022-03-03 | 2023-11-17 | 四川大学 | 一种基于深度学习的髋关节医学图像处理方法和装置 |
| CN115393272B (zh) * | 2022-07-15 | 2023-04-18 | 北京长木谷医疗科技有限公司 | 基于深度学习的膝关节髌骨置换三维术前规划系统及方法 |
| CN115381553B (zh) * | 2022-09-21 | 2023-04-07 | 北京长木谷医疗科技有限公司 | 复杂性骨性融合膝关节的智能定位装置设计方法及系统 |
| CN115607286B (zh) * | 2022-12-20 | 2023-03-17 | 北京维卓致远医疗科技发展有限责任公司 | 基于双目标定的膝关节置换手术导航方法、系统及设备 |
| CN116098701B (zh) * | 2022-12-27 | 2024-07-26 | 北京纳通医用机器人科技有限公司 | 假体规划方法、装置、电子设备及存储介质 |
| CN116071372B (zh) * | 2022-12-30 | 2024-03-19 | 北京长木谷医疗科技股份有限公司 | 膝关节分割方法、装置、电子设备及存储介质 |
| CN115810015B (zh) * | 2023-02-09 | 2023-05-23 | 慧影医疗科技(北京)股份有限公司 | 基于深度学习的膝关节自动分割方法、系统、介质及设备 |
| CN116758210B (zh) * | 2023-02-15 | 2024-03-19 | 北京纳通医用机器人科技有限公司 | 骨面模型的三维重建方法、装置、设备及存储介质 |
| CN116309636B (zh) * | 2023-02-21 | 2024-07-23 | 北京长木谷医疗科技股份有限公司 | 基于多任务神经网络模型的膝关节分割方法、装置及设备 |
| CN116115318B (zh) * | 2023-04-17 | 2023-07-28 | 北京壹点灵动科技有限公司 | 手术撑开器的调节方法、装置、存储介质和处理器 |
| CN116650110B (zh) * | 2023-06-12 | 2024-05-07 | 北京长木谷医疗科技股份有限公司 | 基于深度强化学习的膝关节假体自动放置方法及装置 |
| CN116894844B (zh) * | 2023-07-06 | 2024-04-02 | 北京长木谷医疗科技股份有限公司 | 一种髋关节图像分割与关键点联动识别方法及装置 |
| CN116687434B (zh) * | 2023-08-03 | 2023-11-24 | 北京壹点灵动科技有限公司 | 对象的术后角度的确定方法、装置、存储介质和处理器 |
| CN117058149B (zh) * | 2023-10-12 | 2024-01-02 | 中南大学 | 一种用于训练识别骨关节炎的医学影像测量模型的方法 |
| CN117084787B (zh) * | 2023-10-18 | 2024-01-05 | 杭州键嘉医疗科技股份有限公司 | 一种胫骨假体安装的内外旋角的检验方法及相关设备 |
| CN117653266B (zh) * | 2024-01-31 | 2024-04-23 | 鑫君特(苏州)医疗科技有限公司 | 髁间窝截骨规划装置、髁间窝自动截骨装置和相关设备 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9345548B2 (en) * | 2006-02-27 | 2016-05-24 | Biomet Manufacturing, Llc | Patient-specific pre-operative planning |
| US8382765B2 (en) * | 2007-08-07 | 2013-02-26 | Stryker Leibinger Gmbh & Co. Kg. | Method of and system for planning a surgery |
| CA2842357A1 (en) * | 2011-07-20 | 2013-01-24 | Smith & Nephew, Inc. | Systems and methods for optimizing fit of an implant to anatomy |
| CN104537676B (zh) * | 2015-01-12 | 2017-03-22 | 南京大学 | 一种基于在线学习的渐进式图像分割方法 |
| CN104799950A (zh) * | 2015-04-30 | 2015-07-29 | 上海昕健医疗技术有限公司 | 基于医学图像的个性化最小创伤膝关节定位导板 |
| CN107822745A (zh) * | 2017-10-31 | 2018-03-23 | 李威 | 精准定制膝关节假体的方法 |
| CN108478250A (zh) * | 2018-04-04 | 2018-09-04 | 重庆医科大学附属第医院 | 全膝关节置换术的股骨定位方法、个体化截骨导板及假体 |
| CN111166474B (zh) * | 2019-04-23 | 2021-08-27 | 艾瑞迈迪科技石家庄有限公司 | 一种关节置换手术术前的辅助诊查方法和装置 |
| CN110197491B (zh) * | 2019-05-17 | 2021-08-17 | 上海联影智能医疗科技有限公司 | 图像分割方法、装置、设备和存储介质 |
| CN111179350B (zh) * | 2020-02-13 | 2022-04-08 | 张逸凌 | 髋关节图像处理系统 |
| CN111563906A (zh) * | 2020-05-07 | 2020-08-21 | 南开大学 | 一种基于深度卷积神经网络的膝关节磁共振图像自动分割方法 |
| CN113017829B (zh) * | 2020-08-22 | 2023-08-29 | 张逸凌 | 一种基于深度学习的全膝关节置换术的术前规划方法、系统、介质和设备 |
| CN112957126B (zh) * | 2021-02-10 | 2022-02-08 | 北京长木谷医疗科技有限公司 | 基于深度学习的单髁置换术前规划方法和相关设备 |
-
2021
- 2021-02-10 CN CN202110185454.0A patent/CN112957126B/zh active Active
- 2021-09-26 WO PCT/CN2021/120586 patent/WO2022170768A1/zh active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022170768A1 (zh) | 2022-08-18 |
| CN112957126A (zh) | 2021-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112957126B (zh) | 基于深度学习的单髁置换术前规划方法和相关设备 | |
| CN113017829B (zh) | 一种基于深度学习的全膝关节置换术的术前规划方法、系统、介质和设备 | |
| CN112842529B (zh) | 全膝关节图像处理方法及装置 | |
| CN112971981B (zh) | 基于深度学习的全髋关节图像处理方法和设备 | |
| EP2194879B1 (en) | Implant design analysis suite | |
| CN102438559B (zh) | 智能软骨系统 | |
| JP5684702B2 (ja) | 関節形成術を受ける関節のコンピュータモデルを生成する際の画像セグメント化のための方法 | |
| CN103153239B (zh) | 用于优化骨科流程参数的系统和方法 | |
| EP2996599B1 (en) | Planning methods for surgical correction of abnormal bones | |
| CN114431957B (zh) | 基于深度学习的全膝关节置换术后翻修术前规划系统 | |
| US12062183B2 (en) | Closed surface fitting for segmentation of orthopedic medical image data | |
| KR20220106113A (ko) | 수술 전 수술 플래닝을 용이하게 하기 위해 생리학적으로 건강하고 그리고 생리학적으로 결함이 있는 해부학적 구조의 재구성 및 특성화를 위한 시스템 및 방법 | |
| US20240065766A1 (en) | Computer-assisted surgical planning | |
| Vera-Garcia et al. | Educational overview of the concept and application of computer vision in arthroplasty | |
| Zhou et al. | Improving inter-fragmentary alignment for virtual 3D reconstruction of highly fragmented bone fractures | |
| Atmani et al. | Computer aided surgery system for shoulder prosthesis placement | |
| WO2021168081A2 (en) | Computerized prediction of humeral prosthesis for shoulder surgery | |
| Mercader et al. | Visualization of patient’s knee movement and joint contact area during knee flexion for orthopaedic surgery planing validation | |
| Kern | Large population evaluation of contact stress exposure in articular joints for prediction of osteoarthritis onset and progression | |
| Krol et al. | Computer-aided osteotomy design for harvesting autologous bone grafts in reconstructive surgery | |
| Ghidotti et al. | Human Modelling and Design of Custom-Made Knee Implants: Definition of an Automatic Procedure | |
| WO2023239610A1 (en) | Automated pre-morbid characterization of patient anatomy using point clouds | |
| Andreassen | Digital Twins of the Living Knee: From Measurements to Model | |
| WO2024030380A1 (en) | Generation of premorbid bone models for planning orthopedic surgeries | |
| Fisk | Development and validation of a computational musculoskeletal model of the elbow joint |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 100176 402, 4th floor, building 28, yard 18, Kechuang 13th Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing Patentee after: Beijing Changmugu Medical Technology Co.,Ltd. Patentee after: Changmugu medical technology (Qingdao) Co.,Ltd. Patentee after: Zhang Yiling Address before: 100176 402, 4th floor, building 28, yard 18, Kechuang 13th Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing Patentee before: BEIJING CHANGMUGU MEDICAL TECHNOLOGY Co.,Ltd. Patentee before: Changmugu medical technology (Qingdao) Co.,Ltd. Patentee before: Zhang Yiling |
|
| CP01 | Change in the name or title of a patent holder |