CN112971981B - 基于深度学习的全髋关节图像处理方法和设备 - Google Patents

基于深度学习的全髋关节图像处理方法和设备 Download PDF

Info

Publication number
CN112971981B
CN112971981B CN202110231578.8A CN202110231578A CN112971981B CN 112971981 B CN112971981 B CN 112971981B CN 202110231578 A CN202110231578 A CN 202110231578A CN 112971981 B CN112971981 B CN 112971981B
Authority
CN
China
Prior art keywords
dimensional
image
prosthesis
femur
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110231578.8A
Other languages
English (en)
Other versions
CN112971981A (zh
Inventor
张逸凌
刘星宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changmugu Medical Technology Qingdao Co ltd
Zhang Yiling
Longwood Valley Medtech Co Ltd
Original Assignee
Changmugu Medical Technology Qingdao Co ltd
Longwood Valley Medtech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changmugu Medical Technology Qingdao Co ltd, Longwood Valley Medtech Co Ltd filed Critical Changmugu Medical Technology Qingdao Co ltd
Priority to CN202110231578.8A priority Critical patent/CN112971981B/zh
Publication of CN112971981A publication Critical patent/CN112971981A/zh
Priority to PCT/CN2021/120275 priority patent/WO2022183719A1/zh
Application granted granted Critical
Publication of CN112971981B publication Critical patent/CN112971981B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/46—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/46—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor
    • A61F2/4603—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor for insertion or extraction of endoprosthetic joints or of accessories thereof
    • A61F2/4607—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor for insertion or extraction of endoprosthetic joints or of accessories thereof of hip femoral endoprostheses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/46—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor
    • A61F2/4603—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor for insertion or extraction of endoprosthetic joints or of accessories thereof
    • A61F2/4609—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor for insertion or extraction of endoprosthetic joints or of accessories thereof of acetabular cups
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/46—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor
    • A61F2002/4632—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor using computer-controlled surgery, e.g. robotic surgery
    • A61F2002/4633—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor using computer-controlled surgery, e.g. robotic surgery for selection of endoprosthetic joints or for pre-operative planning

Landscapes

  • Health & Medical Sciences (AREA)
  • Transplantation (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Cardiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Vascular Medicine (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Robotics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习的全髋关节图像处理方法和设备。其中的方法包括：获取患者骨盆及股骨图像数据，基于所述骨盆及股骨图像数据获得三维骨骼结构，并提取所述三维骨骼结构中的原有植入物；识别所述三维骨骼结构中的关键点；基于所述关键点、所述原有植入物的形状和大小，在预先存储假体模型的数据库中选择合适的假体模型，进行可视化模拟假体的匹配。本发明为医生进行全髋关节置换翻修提供技术支持，使得外科手术更准确、更安全，促进外科手术向智能化、精准化、微创化方向发展。

Description

基于深度学习的全髋关节图像处理方法和设备
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于深度学习的全髋关节图像处理方法和设备。
背景技术
人工髋关节置换翻修术是指通过重新植入能够牢固固定的新假体及恢复(或基本恢复)关节的解剖形态而恢复关节功能。
随着人工全髋关节置换术的广泛开展，由于无菌性松动、骨溶解、感染、骨折假体断裂、位置不佳、脱位等原因而致的疼痛及关节功能障碍日益增多，因而对人工髋关节置换翻修术的临床需求也在增加。但翻修术较人工全髋关节的初次置换术而言花费高、技术复杂、对手术技巧和临床经验要求较高，比如原有假体取出、感染的防治、骨缺损的处理及新假体的选择与准确植入等，均是临床外科医师所面临急需解决的难题。
目前国内医生在进行人工髋关节翻修术前大多采用X片与CT图像来进行术前判断与规划，X片为二维图像，容易受到角度和方向的局限，并有前次置换假体的遮挡，无法对患者真实骨缺损及骨剩余量做出合理判断，造成对翻修手术的考虑不全面；而对于骨关节CT图像，医生可以进行相对立体的分割与观察，然而分割方法大部分需要在每一张CT图像中进行手动定位或手动分割，费时费力，效率很低。而且现有技术难以精确提取患者体内原有植入物及分离植入物后的剩余骨骼影像，致使难以精确判断剩余骨量。
发明内容
本发明提供一种基于深度学习的全髋关节图像处理方法、装置、电子设备及存储介质，用以解决现有技术中人工髋关节翻修所存在的缺陷，使得医生能够借助人工智能技术，在分离原有假体的前提下观察到患者去除原有假体的骨量剩余情况，并进行新置入假体模型的可视化匹配。
本发明基于深度学习的全髋关节图像处理方法，包括：获取患者骨盆及股骨图像数据，基于所述骨盆及股骨图像数据获得三维骨骼结构，并提取所述三维骨骼结构中的原有植入物；其中，所述三维骨骼结构包括三维骨盆图像、三维左侧股骨图像和三维右侧股骨图像；在所述三维骨骼结构中去除所述原有植入物后，计算所述三维骨骼结构的骨骼缺损量；识别所述三维骨骼结构中的关键点；基于所述关键点、所述原有植入物的形状和大小、以及所述骨骼缺损量，在预先存储假体模型的数据库中选择合适的假体模型，进行可视化模拟假体的匹配。
根据本发明提供的基于深度学习的全髋关节图像处理方法中，人工神经网络模型进行分割提取。
根据本发明提供的基于深度学习的全髋关节图像处理方法中，所述基于所述骨盆及股骨图像数据获得三维骨骼结构包括：基于深度学习算法对所述骨盆及股骨图像数据进行图像分割；基于分割后的图像数据进行三维重建，获得所述三维骨盆图像、三维左侧股骨图像、三维右侧股骨图像，以及，提取原有植入物，并可视化显示。
根据本发明提供的基于深度学习的全髋关节图像处理方法中，所述获得所述三维骨盆图像、三维左侧股骨图像和三维右侧股骨图像，提取原有植入物，并可视化显示后，还设置有：在针对所述骨盆及股骨图像数据的分割需要优化的情况下，接收输入的分割调整指令；根据所述分割调整指令对所述骨盆及股骨图像数据的分割进行调整。
根据本发明提供的基于深度学习的全髋关节图像处理方法中，所述基于深度学习算法对所述骨盆及股骨图像数据进行图像分割为：基于分割神经网络模型对所述骨盆及股骨图像数据进行图像分割；其中，所述分割神经网络模型包括级联的第一分割神经网络和第二分割神经网络；所述第一分割神经网络和所述第二分割神经网络的关联参数通过基于预先存储的医学图像数据库中的图像数据进行训练和测试确定。
根据本发明提供的基于深度学习的全髋关节图像处理方法中，所述第一分割神经网络为FCN、Seg Net、Unet、3D-Unet、Mask-RCNN、空洞卷积、ENet、CRFasRNN、PSPNet、ParseNet、RefineNet、ReSeg、LSTM-CF、DeepMask、DeepLabV1、DeepLabV2、DeepLabV3中的至少一种；所述第二分割神经网络为EEfficientDet、SimCLR、PointRend中的至少一种。
根据本发明提供的基于深度学习的全髋关节图像处理方法中，所述识别所述三维骨骼结构中的关键点中，所述关键点包括髂前上棘、耻骨联合、小转子、股骨头中心，以及，髓腔轴线；所述关键点识别通过MTCNN、locnet、Pyramid Residual Module、Densenet、hourglass、resnet、SegNet、Unet、R-CNN、Fast R-CNN、Faster R-CNN、R-FCN、SSD中的至少一种神经网络模型实现。
根据本发明提供的基于深度学习的全髋关节图像处理方法中，所述在预先存储假体模型的数据库中选择合适的假体模型，进行可视化模拟假体的匹配包括如下步骤：基于所述三维骨骼结构中的关键点，根据预置规则，计算翻修前腿长差与偏距差；在除去所述原有植入物的三维骨盆图像中，可视化地安放匹配的髋臼杯假体模型；其中，所述髋臼杯假体模型为在预先存储假体模型的数据库中根据所述关键点、所述原有植入物的形状和大小选择确定；并根据所述骨骼缺损量增加垫块或叠加操作；在除去所述原有植入物的三维左侧股骨图像、三维右侧股骨图像中的至少之一中，根据所述骨骼缺损量，可视化地安放翻修股骨柄假体模型。
根据本发明提供的基于深度学习的全髋关节图像处理方法中，还包括：在确定所述髋臼杯假体模型和所述股骨柄假体模型的安放位置和安放角度不合适的情况下，接收调整位置、调整角度中至少之一的指令；根据所述调整位置、调整角度中至少之一的指令，对所述髋臼杯假体模型和所述股骨柄假体模型的安放位置和安放角度进行调整。
根据本发明提供的基于深度学习的全髋关节图像处理方法中，还包括：基于匹配的假体模型，模拟截骨操作；测量股骨最高点到股骨假体柄的垂直距离与截骨高度，并计算出术后腿长差及偏心距；以及，模拟术后预览。
根据本发明提供的基于深度学习的全髋关节图像处理方法中，所述人工神经网络模型包括：unet网络模块和pointrend模块，其中，unet网络模块用于作为主干网络，对所述原有植入物进行粗分割；pointrend模块用于基于所述粗分割进行精确分割。本发明还提供一种基于深度学习的全髋关节图像处理装置，包括：获取模块，用于获取患者骨盆及股骨图像数据，基于所述骨盆及股骨图像数据获得三维骨骼结构，并提取所述三维骨骼结构中的原有植入物；其中，所述三维骨骼结构包括三维骨盆图像、三维左侧股骨图像和三维右侧股骨图像；在所述三维骨骼结构中去除所述原有植入物后，计算所述三维骨骼结构的骨骼缺损量；识别模块，用于识别所述三维骨骼结构中的关键点；匹配模块，用于基于所述关键点、所述原有植入物的形状和大小、以及所述骨骼缺损量，在预先存储假体模型的数据库中选择合适的假体模型，进行可视化模拟假体的匹配。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一种所述的一种基于深度学习的全髋关节图像处理方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一种所述的基一种基于深度学习的全髋关节图像处理方法的步骤。
本发明提供的一种基于深度学习的全髋关节图像处理方法、装置、电子设备及存储介质中，具有如下技术效果：
通过患者骨盆及股骨图像数据，基于深度学习，构建三维骨骼结构，同时提取出患者全髋关节部位的原有植入物，然后通过反向提取，去除原有植入物，确定骨骼缺损量。识别所述三维骨骼结构中的关键点后，基于关键点、所述原有植入物的形状和大小，以及骨骼缺损情况，在预先存储假体模型的数据库中选择合适的假体模型，与所述剩余三维骨骼结构进行可视化模拟假体的匹配。
基于本发明，可以使得医生在术前了解骨缺损的情况及原有植入物的形态与大小，在分离原有假体植入的基础上，选择新置入假体的型号和大小，可视化模拟假体的匹配，直至要加装的假体模型达到性能要求。本发明为医生进行全髋关节置换翻修提供技术支持，使得外科手术更准确、更安全，促进外科手术向智能化、精准化、微创化方向发展。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明基于深度学习的全髋关节图像处理方法的流程示意图之一；
图1b是本发明基于深度学习的全髋关节图像处理方法中，分割原有植入物所采用的人工神经网络模型的结构框图；
图1c是本发明基于深度学习的全髋关节图像处理方法中，基于人工神经网络模型进行原有植入物的工作原理示意图；
图2是本发明基于深度学习的全髋关节图像处理方法中，基于骨盆及股骨图像数据获得三维骨骼图像的流程示意图；
图3是本发明基于深度学习的全髋关节图像处理方法中，图像分割所采用的分割神经网络模型的结构示意图；
图4是本发明基于深度学习的全髋关节图像处理方法中，基于三维重建所生成的三维骨骼结构示意图；
图5是本发明基于深度学习的全髋关节图像处理方法中，识别关键点的示意图；
图6是患者骨骼缺损情况示意图；
图7是基于深度学习的全髋关节图像处理方法中，可视化模拟假体的匹配的步骤流程图；
图8是本发明提供的基于深度学习的全髋关节图像处理方法中，安放髋臼杯假体的主视图；
图9是本发明提供的基于深度学习的全髋关节图像处理方法中，安放髋臼杯假体的另一视图；
图10是本发明提供的基于深度学习的全髋关节图像处理方法中，放置翻修股骨柄假体的效果图之一；
图11是本发明提供的基于深度学习的全髋关节图像处理方法的流程示意图之二；
图12是本发明提供的本发明基于深度学习的全髋关节图像处理方法中，进行截骨操作后的示意图；
图13是本发明提供的基于深度学习的全髋关节图像处理方法的流程示意图之三；
图14是本发明提供的基于深度学习的全髋关节图像处理装置的结构示意图；
图15是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1a，图1a是本发明提供的基于深度学习的全髋关节图像处理方法的流程示意图，包括如下步骤：
步骤S110，获取患者骨盆及股骨图像数据，基于骨盆及股骨图像数据获得三维骨骼结构，并提取三维骨骼结构中的原有植入物；在所述三维骨骼结构中去除所述原有植入物后，计算所述三维骨骼结构的骨骼缺损量。
其中，三维骨骼结构包括三维骨盆图像、三维左侧股骨图像和三维右侧股骨图像。
步骤S120，识别三维骨骼结构中的关键点。
步骤S130，基于关键点、原有植入物的形状和大小在预先存储假体模型的数据库中选择合适的假体模型，进行可视化模拟假体的匹配。
在一个实施例中，步骤S110中，原有植入物通过如下方式提取：
首先，获取带有金属假体的CT医学图像数据集，将其进行手动标注金属假体区域，将其作为我们的数据库。按照7:3的比例划分为训练集、测试集；将二维横断面DICOM数据转换成JPG格式的图片，标注文件转换成png格式的图片，保存后作为人工神经网络模型的输入。
接着，建立人工神经网络模型，参照图1b，人工神经网络模型包括：unet网络模块和pointrend模块。下面对本实施例用到的人工神经网络做进一步的说明。
先利用unet网络模块作为主干网络，对其进行粗分割。第一阶段使用4次下采样学习图像的深层特征，然后进行4次上采样以将特征图重新存储到图像中，其中每个下采样层中包括2个卷积层和1个池化层，卷积核大小为3*3，池化层中的卷积核大小为2*2，每个卷积层中的卷积核的个数为128，256，512；每个上采样层中包括1个上采样层和2个卷积层，其中卷积层的卷积核大小为3*2，上采样层中的卷积核大小为2*2，每个上采样层中的卷积核个数为512，256，128。最后一次上采样结束后设有一个的dropout层，droupout率设置为0.7。所有的卷积层后面都设有激活函数为relu函数。
然后，使用pointrend模块精确分割结果，选择一组置信度为0.5的一组点，提取被选择出来的点的特征，这些点的特征通过双线性插值Bilinear计算，使用一个小型的分类器去判断这个点属于哪个类别。这其实是等价于用一个1*1的卷积来预测，但是对于置信度接近于1或者0的点并不计算。从而提高分割的精准度。人工神经网络模型训练过程中，数据标签的背景像素值设置为0，股骨为1，胫骨为2，腓骨为3，髌骨为4，训练的batch_size为6，学习率设置为1e-4，优化器使用Adam优化器，使用的损失函数为DICE loss，将训练集全部送入网络进行训练，根据训练过程中损失函数的变化，调整训练批次的大小，最终得到各个部分的粗分割结果。进入pointrend模块后，先会使用双线性插值上采样前一步分割预测结果，然后在这个更密集的特征图中选择N个最不确定的点，比如概率接近0.5的点。然后计算这N个点的特征表示并且预测它们的labels，这个过程一直被重复，直到上采样到需要的大小。对于每个选定点的逐点特征表示，使用简单的多层感知器进行逐点预测，因为MLP预测的是各点的分割label，所以可以使用Unet粗分割任务中的loss来训练。最后，人工神经网络模型的输出就是作为原有植入物的金属假体部分。参照图1c示出了基于人工神经网络模型进行原有植入物的工作原理示意图。
本实施例中：通过患者骨盆及股骨图像数据，基于深度学习，构建三维骨骼结构，同时提取出患者全髋关节部位的原有植入物，然后通过反向提取，去除原有植入物，确定骨骼缺损量。识别三维骨骼结构中的关键点后，基于关键点、原有植入物的形状和大小，以及骨骼缺损情况，在预先存储假体模型的数据库中选择合适的假体模型，与剩余三维骨骼结构进行可视化模拟假体的匹配。
基于本实施例，可以使得医生在术前了解骨缺损的情况及原有植入物的形态与大小，在分离原有假体植入的基础上，选择新置入假体的型号和大小，可视化模拟假体的匹配，直至要加装的假体模型达到性能要求。本发明为医生进行全髋关节置换翻修提供技术支持，使得外科手术更准确、更安全，促进外科手术向智能化、精准化、微创化方向发展。
下面，对基于深度学习的全髋关节图像处理方法中涉及各个步骤做进一步地说明。
步骤S110，获取患者骨盆及股骨图像数据，基于骨盆及股骨图像数据获得三维骨骼结构，并提取三维骨骼结构中的原有植入物。
该步骤中，原有植入物可包括原有假体、其他金属植入物中至少之一。
在一个实施例中，该步骤中的骨盆及股骨图像数据可以为医学数字成像和通信(DICOM，Digital Imaging and Communications in Medicine)格式的CT(ComputedTomography，电子计算机断层扫描)图像数据，也可以为磁共振成像(MRI，MagneticResonance Imaging)图像数据，但本发明并不限于此，其他骨盆及股骨图像数据也可以为本发明所使用。
在具体实施时，基于骨盆及股骨图像数据获得三维骨骼结构可以借助于人工智能中的深度学习算法。可以包括如下步骤：
1)基于深度学习算法对骨盆及股骨图像数据进行图像分割；
2)基于分割后的图像数据进行三维重建，获得三维骨盆图像、三维左侧股骨图像、三维右侧股骨图像，以及，原有植入物，并可视化显示。
参照图2，图2是本发明提供的基于深度学习的全髋关节图像处理方法中，基于骨盆及股骨图像数据获得三维骨骼图像的流程示意图，包括如下步骤：
步骤S1101，获取骨盆及股骨图像数据。
步骤S1102，基于人工智能中的深度学习算法对骨盆及股骨图像数据进行图像分割。
人工智能(Artificial Intelligence，缩写AI)，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。
深度学习(Deep Learning，缩写DL)是机器学习(Machine Learning，缩写ML)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
在一个实施例中，深度学习算法为分割神经网络模型，也就是说，基于分割神经网络模型对图像数据进行图像分割。
分割神经网络模型的关联参数通过基于医学图像数据库(例如，下肢医学图像数据库)中的图像数据集进行训练和测试确定。其中，下肢医学图像数据库中的图像数据集为标注出骨盆、左侧股骨、右侧股骨以及关联部位的图像数据集，该图像数据集划分为训练集和测试集；基于训练集和测试集，训练分割神经网络模型。
参照图3，示出了本发明基于深度学习的全髋关节图像处理方法中，为了进行图像分割，所采用的分割神经网络模型的结构示意图。
该分割神经网络模型包括级联的第一分割神经网络1和第二分割神经网络2。分割神经网络模型的输入信息为骨盆及股骨图像数据，例如，可以为，图3所示出的骨盆及股骨图像数据A1，骨盆及股骨图像数据A2，骨盆及股骨图像数据A3…,骨盆及股骨图像数据An-1,以及，骨盆及股骨图像数据An。
分割神经网络的输出端与三维重建模块3的输入端连接，通过三维重建，生成三维骨骼结构，包括三维骨盆图像、三维左侧股骨图像、三维右侧股骨图像，以及，原有植入物。
在具体实施时，其中的第一分割神经网络1可以包括FCN、SegNet、Unet、3D-Unet、Mask-RCNN、空洞卷积、ENet、CRFasRNN、PSPNet、ParseNet、RefineNet、ReSeg、LSTM-CF、DeepMask、DeepLabV1、DeepLabV2、DeepLabV3中的至少一种。
第二分割神经网络2可以包括EEfficientDet、SimCLR、PointRend中的至少一种。
第一分割神经网络1和第二分割神经网络2的关联参数通过基于预先存储的医学图像数据库中的图像数据进行训练和测试确定。
步骤S1103，基于分割后的图像数据进行三维重建，获得三维骨盆图像、三维左侧股骨图像、三维右侧股骨图像，以及，原有植入物。
三维重建(3D Reconstruction)是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的技术。
步骤S1104，可视化显示三维重建的三维骨盆图像、三维左侧股骨图像、三维右侧股骨图像，并从中提取原有植入物。
提取原有植入物，主要包括原有假体，对原有假体进行检测，确定其形状和大小。
参照图4，图4示出了本发明基于深度学习的全髋关节图像处理方法中，基于三维重建所生成的三维骨骼结构，从图4可以清楚地看到三维重建骨盆4c、三维重建右侧股骨4a、三维重建左侧股骨4b和三维重建原有金属植入物4d。基于此，可以看出，本申请的分割方法极大地削弱了伪影的影响。
步骤S1105，根据可视化结果，判断作为三维骨盆图像、三维左侧股骨图像、三维右侧股骨图像基础的图像分割是否需要优化，若需要优化，则执行步骤S1106；若不需要优化，则执行步骤S1107。
具体来说，是根据图4可视化的结果，判断步骤S1102对骨盆及股骨图像数据的分割是否合理。这里的合理与否，可以由人工检查后确定，还可以由设备检测后确定。
从图4所示的可视化的界面上，除了有重建的三维骨骼图像，还有位于左侧的自上而下的横断面CT、矢状面CT和冠状面CT图像。横断面CT、矢状面CT、冠状面CT图像与三维骨骼图像可以实现三轴联动，通过二维视图和三维视图同时进行观察。还可以调整三维重建的骨骼的透明或不透明状态，以及，调整分割后的各个骨骼的显示或隐藏状态。
步骤S1106，接收输入的分割调整指令，并返回执行步骤S1102。直至使得骨盆、左侧股骨、右侧股骨及原有植入物能够独立并完整显示。
步骤S1107，结束三维骨骼结构生成操作。
关于步骤S120，识别三维骨骼结构中的关键点。
在一个实施例中，从诸如图4的三维骨骼结构中识别关键点，关键点识别可以通过人工神经网络模型来实现。例如，可以为MTCNN、locnet、Pyramid Residual Module、Densenet、hourglass、resnet、SegNet、Unet、R-CNN、Fast R-CNN、Faster R-CNN、R-FCN、SSD中的至少一种神经网络模型实现。
在具体实施时，识别出的关键点可以包括：髂前上棘、耻骨联合、小转子、股骨头中心，以及，髓腔轴线。
髂前上棘、耻骨联合、小转子、股骨头中心、髓腔轴线作为骨性标志，在临床中对全髋关节手术中起到重要的位置和角度方面的参照作用，为临床提供了数据测量。
参照图5，图5为本发明基于深度学习的全髋关节图像处理方法中，识别关键点的示意图。
在识别过程中，可以进一步调整骨盆和/或股骨的观察角度。在基于机器学习所识别出来的关键点中，可以通过人为观察，检测识别是否正确，将需要调整的部分再进行手动标记。
下面说明步骤S130。
步骤S130，基于步骤S120获得关键点、原有植入物的形状和大小，在预先存储假体模型的数据库中选择合适的髋关节假体模型，进行可视化模拟假体的匹配。
从以下几个方面对该步骤做出说明。
(1)关于存储假体模型的数据库
存储假体模型的数据库为预先存储在系统中的数据。主要存储全髋关节置换手术用的全髋关节相关的假体模型。各个模型的型号和大小各不相同。
关于全髋关节相关的假体模型的设计。在一个实施例中，可以通过对正常人髋关节进行CT扫描，运用数字化技术对关节形态及截骨后形态进行测量，然后建立数字化关节模型数据库，为全髋关节假体模型的设计提供形态学数据。
(2)关于匹配
在上述步骤S120，确定了基于患者三维骨骼图像的原有植入物的形状和大小。
系统基于关键点、原有植入物的形状和大小，在预先存储假体模型的数据库中寻找匹配对象，并智能推荐。
在智能推荐时，给出髋关节假体模型的型号、安放位置及安放角度。
(3)关于可视化
将智能推荐的假体模型在三维骨骼结构上匹配并显示。
在一个优选的实施例中，在基于关键点、原有植入物的形状和大小，在预先存储假体模型的数据库中选择合适的假体模型时，还可以增加骨骼缺损量的指标，这里的骨骼缺损量，是通过在三维骨骼结构中去除原有植入物后获得的指标。
具体为：
步骤a)、反向提取，除去三维骨骼结构中原有植入物，获得剩余三维骨骼结构；
步骤b)、通过将三维股骨结构与剩余三维骨骼结构进行比对，确定骨骼缺损情况，确定骨骼缺损量。
也就是说，步骤130可以改进为，基于关键点、原有植入物的形状和大小、以及骨骼缺损量在预先存储假体模型的数据库中选择合适的假体模型。
参照图6，图6示出了患者骨骼缺损情况。具体示出了取出原有植入物的骨盆三维重建模型6a，以及，髋臼骨质缺损6b。髋臼在提取出原有假体后，可观察到臼底缺损。也就是说，在提取并隐藏原有的假体后，能够清楚地观察到骨质的缺损情况。根据骨骼缺损情况，可以初步判断手术策略。
参照图7，图7为基于深度学习的全髋关节图像处理方法中，可视化模拟假体的匹配的步骤流程图，包括如下步骤：
步骤S1301，基于三维骨骼结构中的关键点，根据预置规则，计算翻修前腿长差与偏距差；
步骤S1302，在除去原有植入物的三维骨盆图像中，可视化地安放匹配的髋臼杯假体模型。
其中，髋臼杯假体模型为在预先存储假体模型的数据库中根据关键点、原有植入物的形状和大小选择确定；并根据骨骼缺损量增加垫块或叠加操作；
步骤S1303，在除去原有植入物的三维左侧股骨图像和/或三维右侧股骨图像中，根据骨骼缺损量，可视化地安放翻修后的股骨柄假体模型。
步骤S1304，判断髋臼杯假体模型和股骨柄假体模型的安放位置和安放角度是否合适，若安放角度不合适，则执行步骤S1305，若安放角度合适，则执行步骤S1306。
步骤S1305，接收调整位置和/或角度的指令，进行调整；
步骤S1306，可视化模拟假体的匹配结束。
可视化模拟假体匹配，影像中可显示原有植入物的形状与大小，将三维髋臼杯假体和三维股骨翻修柄假体分别与分离原有植入物的三维髋臼和三维股骨进行模拟匹配，根据缺损情况，可增加垫块或使髋臼杯叠加放置，构成双杯、三杯结构，形成cup on cup方案，实时观察模拟匹配效果；选择三维髋臼和三维股骨假体包括选择假体类型和/或假体型号和/或三维空间位置；假体可进行任意组合显示和/或不显示。
参照图8，图8为安放髋臼杯假体的主视图，从图8可以看到三维重建骨盆8a和髋臼杯假体8b。图9为安放髋臼杯假体的另一视图，从图8可以看到三维重建骨盆9a和髋臼杯假体9b。
和图9。图8、图9是本发明提供的放置髋臼杯的效果图，如图所示。图中显示植入骨盆的髋臼杯可以选择适合的型号，而且可以将髋臼杯进行前后移动和旋转转动，并能在图下角显示前倾角为20°，外展角为40度，以及覆盖率为97％。
图10是本发明提供的放置翻修股骨柄假体的效果图之一，如图所示。图中显示了骨盆和右腿植入假体的情况，从图10可以到，三维重建的右侧股骨10a、三维重建的左侧股骨10b、三维重建的骨盆10c、以及，股骨柄假体10d。
图11是本发明提供的本发明提供的基于深度学习的全髋关节图像处理方法的流程示意图之二，包括如下步骤：
步骤S1110，获取患者骨盆及股骨图像数据，基于骨盆及股骨图像数据获得三维骨骼结构，并提取三维骨骼结构中的原有植入物；
步骤S1120，反向提取除去原有植入物的剩余三维骨骼结构，确定骨骼缺损量；
步骤S1130，识别三维骨骼结构中的关键点；
步骤S1140，基于关键点、原有植入物的形状和大小、以及骨骼缺损量在预先存储假体模型的数据库中选择合适的假体模型；
步骤S1150，基于匹配的假体模型，模拟截骨操作；
步骤S1160，测量股骨最高点到股骨假体柄的垂直距离与截骨高度，并计算出术后腿长差及偏心距；以及
步骤S1170，模拟术后预览。
可在一个或多个状态下观察模拟匹配效果，包括截骨状态或非截骨状态，骨骼透明状态或不透明状态。
通过股骨颈截骨操作，确定实际截骨位置，实现股骨柄与髋臼杯的匹配，测量股骨最高点到股骨假体柄的垂直距离与截骨高度，并计算出术后腿长差与偏心距。
图12是本发明提供的本发明基于深度学习的全髋关节图像处理方法中，进行截骨操作后的示意图。
从图12可以到，三维重建的右侧股骨12a、三维重建的左侧股骨12b、三维重建的骨盆12c、以及，股骨柄假体12d。
参照图13，图13给出了本发明基于深度学习的全髋关节图像处理方法一个实施例的步骤流程图。
综上，可以看出：
1)本发明提供的术前规划方法和系统基于深度学习实现了骨盆、左腿股骨、右腿股骨和金属植入物的自动分割，提高了分割效率以及准确率。
2)通过深度学习，智能提取出患者原有假体和(或)其他金属植入物，并反向提取出剩余骨骼结构，进而计算出骨骼内缺损的体积，提供翻修术前骨缺损的情况，使医生对假体型号、大小以及固定方式有初步判断。
3)系统可根据分离原有植入物后的髋臼骨缺损情况通过增加垫块，或使髋臼杯叠加放置，即cup on cup方案，填充骨缺损。
4)利用本发明提供的术前规划方法和系统可以在术前确定植入假体的尺寸和位置，并且能在分离原有金属植入物的基础上虚拟测试假体是否达到性能要求，以便最优化关节面重建和假体位置的确定；为医生提供技术支持，使外科手术更准确、更安全；促进外科手术向智能化、精准化、微创化方向发展。
参照图14，图14是本发明提供的全髋关节图像处理装置的结构示意图，包括：获取模块1401、识别模块1402和匹配模块1403。
其中，获取模块1401被配置为获取患者骨盆及股骨图像数据，基于骨盆及股骨图像数据获得三维骨骼结构，并提取三维骨骼结构中的原有植入物；其中，三维骨骼结构包括三维骨盆图像、三维左侧股骨图像和三维右侧股骨图像；
识别模块1402被配置为识别三维骨骼结构中的关键点；
匹配模块1403被配置为基于关键点、原有植入物的形状和大小，在预先存储假体模型的数据库中选择合适的假体模型，进行可视化模拟假体的匹配。
本实施例中：通过患者骨盆及股骨图像数据，基于深度学习，构建三维骨骼结构，同时提取出患者全髋关节部位的原有植入物，然后通过反向提取，去除原有植入物，确定骨骼缺损量。识别三维骨骼结构中的关键点后，基于关键点、原有植入物的形状和大小，以及骨骼缺损情况，在预先存储假体模型的数据库中选择合适的假体模型，与剩余三维骨骼结构进行可视化模拟假体的匹配。
基于本实施例，可以使得医生在术前了解骨缺损的情况及原有植入物的形态与大小，在分离原有假体植入的基础上，选择新置入假体的型号和大小，可视化模拟假体的匹配，直至要加装的假体模型达到性能要求。本发明为医生进行全髋关节置换翻修提供技术支持，使得外科手术更准确、更安全，促进外科手术向智能化、精准化、微创化方向发展。
在一个优选的实施例中，匹配模块1403进一步为，基于关键点、原有植入物的形状和大小、以及骨骼缺损量在预先存储假体模型的数据库中选择合适的假体模型；其中，骨骼缺损量通过在三维骨骼结构中去除原有植入物后计算获得。
在一个优选的实施例中，获取模块1401进一步包括：分割单元1401A和重建单元1401B，其中：
分割单元1401A用于基于深度学习算法对骨盆及股骨图像数据进行图像分割
重建单元1401B用于基于分割后的图像数据进行三维重建，获得三维骨盆图像、三维左侧股骨图像、三维右侧股骨图像，以及，原有植入物，并可视化显示。
更加优选的，在重建单元后还设置有调整单元1401C，该调整单元1401C用于判断针对骨盆及股骨图像数据的分割是否需要优化，若是，则接收输入的分割调整指令，对骨盆及股骨图像数据的分割进行调整。
进一步地，分割单元1401A进一步用于：基于分割神经网络模型对骨盆及股骨图像数据进行图像分割；其中，分割神经网络模型包括级联的第一分割神经网络和第二分割神经网络；第一分割神经网络和第二分割神经网络的关联参数通过基于预先存储的医学图像数据库中的图像数据进行训练和测试确定。
进一步地，第一分割神经网络为FCN、SegNet、Unet、3D-Unet、Mask-RCNN、空洞卷积、ENet、CRFasRNN、PSPNet、ParseNet、RefineNet、ReSeg、LSTM-CF、DeepMask、DeepLabV1、DeepLabV2、DeepLabV3中的任一种或多种；和/或，第二分割神经网络为EEfficientDet、SimCLR、PointRend中的任一种或多种。
识别模块1402中，关键点包括髂前上棘、耻骨联合、小转子、股骨头中心，以及，髓腔轴线；关键点识别通过MTCNN、locnet、Pyramid Residual Module、Densenet、hourglass、resnet、SegNet、Unet、R-CNN、Fast R-CNN、Faster R-CNN、R-FCN、SSD中的任一种或多种神经网络模型实现。
进一步地，匹配模块1403进一步用于执行如下操作：
基于三维骨骼结构中的关键点，根据预置规则，计算翻修前腿长差与偏距差；
在除去原有植入物的三维骨盆图像中，可视化地安放匹配的髋臼杯假体模型；其中，髋臼杯假体模型为在预先存储假体模型的数据库中根据关键点、原有植入物的形状和大小选择确定；并根据骨骼缺损量增加垫块或叠加操作；
在除去原有植入物的三维左侧股骨图像和/或三维右侧股骨图像中，根据骨骼缺损量，可视化地安放翻修后的股骨柄假体模型。
进一步地，匹配模块1403还用于执行：判断髋臼杯假体模型和股骨柄假体模型的安放位置和安放角度是否合适，若不合适，则接收调整位置和/或角度的指令，进行调整。
进一步地，该装置还包括预览模块1404，用于执行：基于匹配的假体模型，模拟截骨操作；测量股骨最高点到股骨假体柄的垂直距离与截骨高度，并计算出术后腿长差及偏心距；以及，模拟术后预览。
图15示例了一种电子设备的实体结构示意图，如图15所示，该电子设备可以包括：处理器(processor)1510、通信接口(Communications Interface)1520、存储器(memory)1530和通信总线1540，其中，处理器1510，通信接口1520，存储器1530通过通信总线1540完成相互间的通信。处理器1510可以调用存储器1530中的逻辑指令，以执行基于深度学习的全髋关节图像处理方法，该方法包括：获取患者骨盆及股骨图像数据，基于骨盆及股骨图像数据获得三维骨骼结构，并提取三维骨骼结构中的原有植入物；其中，三维骨骼结构包括三维骨盆图像、三维左侧股骨图像和三维右侧股骨图像；识别三维骨骼结构中的关键点；基于关键点、原有植入物的形状和大小，在预先存储假体模型的数据库中选择合适的假体模型，进行可视化模拟假体的匹配。
此外，上述的存储器1530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于深度学习的全髋关节图像处理方法，该方法包括：获取患者骨盆及股骨图像数据，基于骨盆及股骨图像数据获得三维骨骼结构，并提取三维骨骼结构中的原有植入物；其中，三维骨骼结构包括三维骨盆图像、三维左侧股骨图像和三维右侧股骨图像；识别三维骨骼结构中的关键点；基于关键点、原有植入物的形状和大小，在预先存储假体模型的数据库中选择合适的假体模型，进行可视化模拟假体的匹配。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于深度学习的全髋关节图像处理方法，该方法包括：
获取患者骨盆及股骨图像数据，基于骨盆及股骨图像数据获得三维骨骼结构，并提取三维骨骼结构中的原有植入物；其中，三维骨骼结构包括三维骨盆图像、三维左侧股骨图像和三维右侧股骨图像；识别三维骨骼结构中的关键点；基于关键点、原有植入物的形状和大小，在预先存储假体模型的数据库中选择合适的假体模型，进行可视化模拟假体的匹配。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (13)

1.一种基于深度学习的全髋关节图像处理方法，所述方法在计算机中执行，其特征在于，包括：
获取模块获取患者骨盆及股骨图像数据，基于所述骨盆及股骨图像数据获得三维骨骼结构，并提取所述三维骨骼结构中的原有植入物；其中，所述三维骨骼结构包括三维骨盆图像、三维左侧股骨图像和三维右侧股骨图像；
在所述三维骨骼结构中去除所述原有植入物后，计算所述三维骨骼结构的骨骼缺损量；
识别模块识别所述三维骨骼结构中的关键点；
匹配模块基于所述关键点、所述原有植入物的形状和大小、以及所述骨骼缺损量，在预先存储假体模型的数据库中选择合适的假体模型，进行可视化模拟假体的匹配；
所述在预先存储假体模型的数据库中选择合适的假体模型，进行可视化模拟假体的匹配包括：
基于所述三维骨骼结构中的关键点，根据预置规则，计算翻修前腿长差与偏距差；
在除去所述原有植入物的三维骨盆图像中，可视化地安放匹配的髋臼杯假体模型；其中，所述髋臼杯假体模型为在预先存储假体模型的数据库中根据所述关键点、所述原有植入物的形状和大小选择确定；并根据所述骨骼缺损量增加垫块或叠加操作；
在除去所述原有植入物的三维左侧股骨图像、三维右侧股骨图像中的至少之一中，根据所述骨骼缺损量，可视化地安放翻修股骨柄假体模型；
并且，所述可视化为，在所述模拟假体匹配完成之后，在一个或多个状态下观察模拟匹配效果，所述一个或多个状态包括截骨状态或非截骨状态，骨骼透明状态或不透明状态。
2.根据权利要求1所述的基于深度学习的全髋关节图像处理方法，其特征在于，所述原有植入物通过人工神经网络模型进行分割提取。
3.根据权利要求1或2所述的基于深度学习的全髋关节图像处理方法，其特征在于，所述基于所述骨盆及股骨图像数据获得三维骨骼结构包括：
基于深度学习算法对所述骨盆及股骨图像数据进行图像分割；
基于分割后的图像数据进行三维重建，获得所述三维骨盆图像、三维左侧股骨图像、三维右侧股骨图像，以及，提取原有植入物，并可视化显示。
4.根据权利要求3所述的基于深度学习的全髋关节图像处理方法，其特征在于，
所述获得所述三维骨盆图像、三维左侧股骨图像和三维右侧股骨图像，提取原有植入物，并可视化显示后，还设置有：
在针对所述骨盆及股骨图像数据的分割需要优化的情况下，接收输入的分割调整指令；
根据所述分割调整指令对所述骨盆及股骨图像数据的分割进行调整。
5.根据权利要求3所述的基于深度学习的全髋关节图像处理方法，其特征在于，
所述基于深度学习算法对所述骨盆及股骨图像数据进行图像分割为：基于分割神经网络模型对所述骨盆及股骨图像数据进行图像分割；其中，
所述分割神经网络模型包括级联的第一分割神经网络和第二分割神经网络；
所述第一分割神经网络和所述第二分割神经网络的关联参数通过基于预先存储的医学图像数据库中的图像数据进行训练和测试确定。
6.根据权利要求5所述的基于深度学习的全髋关节图像处理方法，其特征在于，
所述第一分割神经网络为FCN、Seg Net、Unet、3D-Unet、Mask-RCNN、空洞卷积、ENet、CRFasRNN、PSPNet、ParseNet、RefineNet、ReSeg、LSTM-CF、DeepMask、DeepLabV1、DeepLabV2、DeepLabV3中的至少一种；
所述第二分割神经网络为EEfficientDet、SimCLR、PointRend中的至少一种。
7.根据权利要求1所述的基于深度学习的全髋关节图像处理方法，其特征在于，
所述识别所述三维骨骼结构中的关键点中，所述关键点包括髂前上棘、耻骨联合、小转子、股骨头中心，以及，髓腔轴线；
所述关键点识别通过MTCNN、locnet、Pyramid ResidualModule、Densenet、hourglass、resnet、SegNet、Unet、R-CNN、Fast R-CNN、Faster R-CNN、R-FCN、SSD中的至少一种神经网络模型实现。
8.根据权利要求1所述的基于深度学习的全髋关节图像处理方法，其特征在于，还包括：
在确定所述髋臼杯假体模型和所述股骨柄假体模型的安放位置和安放角度不合适的情况下，接收调整位置、调整角度中至少之一的指令；
根据所述调整位置、调整角度中至少之一的指令，对所述髋臼杯假体模型和所述股骨柄假体模型的安放位置和安放角度进行调整。
9.根据权利要求2所述的基于深度学习的全髋关节图像处理方法，其特征在于，所述人工神经网络模型包括：
unet网络模块，用于作为主干网络，对所述原有植入物进行粗分割；
pointrend模块，用于基于所述粗分割进行精确分割。
10.根据权利要求1所述的基于深度学习的全髋关节图像处理方法，其特征在于，该方法还包括：
基于匹配的假体模型，模拟截骨操作；
测量股骨最高点到股骨假体柄的垂直距离与截骨高度，并计算出术后腿长差及偏心距；以及
模拟术后预览。
11.一种基于深度学习的全髋关节图像处理装置，其特征在于，包括：
获取模块，配置为获取患者骨盆及股骨图像数据，基于所述骨盆及股骨图像数据获得三维骨骼结构，并提取所述三维骨骼结构中的原有植入物；其中，所述三维骨骼结构包括三维骨盆图像、三维左侧股骨图像和三维右侧股骨图像；在所述三维骨骼结构中去除所述原有植入物后，计算所述三维骨骼结构的骨骼缺损量；
识别模块，配置为识别所述三维骨骼结构中的关键点；
匹配模块，配置为基于所述关键点、所述原有植入物的形状和大小、以及所述骨骼缺损量，在预先存储假体模型的数据库中选择合适的假体模型，进行可视化模拟假体的匹配；
所述在预先存储假体模型的数据库中选择合适的假体模型，进行可视化模拟假体的匹配包括：
基于所述三维骨骼结构中的关键点，根据预置规则，计算翻修前腿长差与偏距差；
在除去所述原有植入物的三维骨盆图像中，可视化地安放匹配的髋臼杯假体模型；其中，所述髋臼杯假体模型为在预先存储假体模型的数据库中根据所述关键点、所述原有植入物的形状和大小选择确定；并根据所述骨骼缺损量增加垫块或叠加操作；
在除去所述原有植入物的三维左侧股骨图像、三维右侧股骨图像中的至少之一中，根据所述骨骼缺损量，可视化地安放翻修股骨柄假体模型；
并且，所述可视化为，在所述模拟假体匹配完成之后，在一个或多个状态下观察模拟匹配效果，所述一个或多个状态包括截骨状态或非截骨状态，骨骼透明状态或不透明状态。
12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至10中任一项所述的基于深度学习的全髋关节图像处理方法的步骤。
13.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至10中任一项所述的基于深度学习的全髋关节图像处理方法的步骤。
CN202110231578.8A 2021-03-02 2021-03-02 基于深度学习的全髋关节图像处理方法和设备 Active CN112971981B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110231578.8A CN112971981B (zh) 2021-03-02 2021-03-02 基于深度学习的全髋关节图像处理方法和设备
PCT/CN2021/120275 WO2022183719A1 (zh) 2021-03-02 2021-09-24 基于深度学习的全髋关节置换翻修术前规划方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110231578.8A CN112971981B (zh) 2021-03-02 2021-03-02 基于深度学习的全髋关节图像处理方法和设备

Publications (2)

Publication Number Publication Date
CN112971981A CN112971981A (zh) 2021-06-18
CN112971981B true CN112971981B (zh) 2022-02-08

Family

ID=76352114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110231578.8A Active CN112971981B (zh) 2021-03-02 2021-03-02 基于深度学习的全髋关节图像处理方法和设备

Country Status (2)

Country Link
CN (1) CN112971981B (zh)
WO (1) WO2022183719A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10716630B2 (en) 2016-07-15 2020-07-21 Mako Surgical Corp. Systems and methods for a robotic-assisted revision procedure
CN112971981B (zh) * 2021-03-02 2022-02-08 北京长木谷医疗科技有限公司 基于深度学习的全髋关节图像处理方法和设备
CN113744214B (zh) * 2021-08-24 2022-05-13 北京长木谷医疗科技有限公司 基于深度强化学习的股骨柄放置装置及电子设备
CN113962927B (zh) * 2021-09-01 2022-07-12 北京长木谷医疗科技有限公司 基于强化学习的髋臼杯位置调整方法、装置及存储介质
CN113870229B (zh) * 2021-09-29 2022-03-11 北京长木谷医疗科技有限公司 股骨近端髓腔图像数据处理方法、装置、设备和存储介质
CN114092466B (zh) * 2021-12-01 2024-08-23 杭州柳叶刀机器人有限公司 使用深度学习辅助计算腿长的方法与系统、可读存储介质
CN113870261B (zh) * 2021-12-01 2022-05-13 杭州柳叶刀机器人有限公司 用神经网络识别力线的方法与系统、存储介质及电子设备
CN114419618B (zh) * 2022-01-27 2024-02-02 北京长木谷医疗科技股份有限公司 基于深度学习的全髋关节置换术前规划系统
CN114663363B (zh) * 2022-03-03 2023-11-17 四川大学 一种基于深度学习的髋关节医学图像处理方法和装置
CN114431957B (zh) * 2022-04-12 2022-07-29 北京长木谷医疗科技有限公司 基于深度学习的全膝关节置换术后翻修术前规划系统
CN115393272B (zh) * 2022-07-15 2023-04-18 北京长木谷医疗科技有限公司 基于深度学习的膝关节髌骨置换三维术前规划系统及方法
CN115252233B (zh) * 2022-07-28 2024-04-26 大连理工大学 基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法
CN114983566B (zh) * 2022-08-02 2022-12-13 北京壹点灵动科技有限公司 假体翻修的配准方法及装置、存储介质和处理器
CN115381553B (zh) * 2022-09-21 2023-04-07 北京长木谷医疗科技有限公司 复杂性骨性融合膝关节的智能定位装置设计方法及系统
CN116211458B (zh) * 2022-12-12 2023-10-03 高峰医疗器械(无锡)有限公司 种植体规划方法、装置、设备及存储介质
CN116350349B (zh) * 2023-05-31 2023-07-28 中日友好医院(中日友好临床医学研究所) 一种基于cjfh分型的保髋手术治疗系统及装置
CN116650110B (zh) * 2023-06-12 2024-05-07 北京长木谷医疗科技股份有限公司 基于深度强化学习的膝关节假体自动放置方法及装置
CN117009826B (zh) * 2023-08-30 2024-04-02 北京长木谷医疗科技股份有限公司 一种基于深度学习的髋臼杯角度自适应确定方法及装置
CN117853458B (zh) * 2024-01-10 2024-08-16 北京长木谷医疗科技股份有限公司 翻修手术机器人植入物智能识别评估方法、装置及设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5318571A (en) * 1992-05-14 1994-06-07 Benson Gail M Method and apparatus for simplifying total hip arthroplasty
US9023112B2 (en) * 2011-02-24 2015-05-05 Depuy (Ireland) Maintaining proper mechanics THA
US9131945B2 (en) * 2013-03-11 2015-09-15 DePuy Synthes Products, Inc. Customized patient-specific revision surgical instruments and method
KR102275444B1 (ko) * 2013-03-15 2021-07-08 씽크 써지컬, 인크. 전 관절 재성형술을 위한 시스템 및 프로세스
JP6735273B2 (ja) * 2014-12-08 2020-08-05 シンク サージカル， インコーポレイテッド 移植片に基づく、関節全置換術のためのプランニング、デジタル化、および登録
EP4013333A1 (en) * 2019-08-16 2022-06-22 Howmedica Osteonics Corp. Pre-operative planning of surgical revision procedures for orthopedic joints
CN110648337A (zh) * 2019-09-23 2020-01-03 武汉联影医疗科技有限公司 髋关节分割方法、装置、电子设备和存储介质
CN111179350B (zh) * 2020-02-13 2022-04-08 张逸凌 髋关节图像处理系统
CN111938813A (zh) * 2020-07-21 2020-11-17 南京市第一医院 一种髋关节翻修手术的术前规划方法
CN112971981B (zh) * 2021-03-02 2022-02-08 北京长木谷医疗科技有限公司 基于深度学习的全髋关节图像处理方法和设备

Also Published As

Publication number Publication date
CN112971981A (zh) 2021-06-18
WO2022183719A1 (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN112971981B (zh) 基于深度学习的全髋关节图像处理方法和设备
CN112957126B (zh) 基于深度学习的单髁置换术前规划方法和相关设备
JP6833912B2 (ja) 骨再建及び整形外科インプラント
KR102321695B1 (ko) 관성 측정 유닛 캘리브레이션(imu calibration)
AU2020101836A4 (en) A method for generating femoral x-ray films based on deep learning and digital reconstruction of radiological image
JP6698528B2 (ja) 骨再建および整形外科用インプラント
CN114419618B (zh) 基于深度学习的全髋关节置换术前规划系统
US20220249168A1 (en) Orthopaedic pre-operative planning system
CN111652888B (zh) 基于深度学习的确定髓腔解剖轴线的方法及装置
CN114998301B (zh) 一种椎体亚区域分割方法、装置及存储介质
CN113962927A (zh) 基于强化学习的髋臼杯位置调整方法、装置及存储介质
US20230085093A1 (en) Computerized prediction of humeral prosthesis for shoulder surgery
CN114494183A (zh) 一种基于人工智能的髋臼半径自动测量方法及系统
CN112826641A (zh) 全髋关节置换用导板设计方法及相关设备
CN115252233B (zh) 基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法
AU2020307681A1 (en) Orthopaedic pre-operative planning system
CN114663363B (zh) 一种基于深度学习的髋关节医学图像处理方法和装置
Zhou et al. Improving inter-fragmentary alignment for virtual 3D reconstruction of highly fragmented bone fractures
Semenchenia et al. Construction of individual geometric 3D model of the lumbar spine of a person based on the analysis of medical images
Dong et al. Effects of Femur and Pelvis Material Parameters on Hip Replacement
CN118717376A (zh) 基于镜像处理的髋臼杯假体信息的确定方法及装置
CN114947905A (zh) 一种生成髋臼月状面结构模型的系统及方法
CN118161260A (zh) 一种乳腺癌腔镜重建手术术前的假体选型方法及系统
Ramm From Medical Images to Finite Element Models-Decision Support For Joint Replacement Surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 100176 402, 4th floor, building 28, yard 18, Kechuang 13th Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Patentee after: Beijing Changmugu Medical Technology Co.,Ltd.

Patentee after: Changmugu medical technology (Qingdao) Co.,Ltd.

Patentee after: Zhang Yiling

Address before: 100176 402, 4th floor, building 28, yard 18, Kechuang 13th Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Patentee before: BEIJING CHANGMUGU MEDICAL TECHNOLOGY Co.,Ltd.

Patentee before: Changmugu medical technology (Qingdao) Co.,Ltd.

Patentee before: Zhang Yiling