CN115252233B - 基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法 - Google Patents

基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法 Download PDF

Info

Publication number
CN115252233B
CN115252233B CN202210897037.3A CN202210897037A CN115252233B CN 115252233 B CN115252233 B CN 115252233B CN 202210897037 A CN202210897037 A CN 202210897037A CN 115252233 B CN115252233 B CN 115252233B
Authority
CN
China
Prior art keywords
acetabulum
segmentation
deep learning
prosthesis
acetabular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210897037.3A
Other languages
English (en)
Other versions
CN115252233A (zh
Inventor
王洪凯
翟浩宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202210897037.3A priority Critical patent/CN115252233B/zh
Publication of CN115252233A publication Critical patent/CN115252233A/zh
Application granted granted Critical
Publication of CN115252233B publication Critical patent/CN115252233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/32—Joints for the hip
    • A61F2/34—Acetabular cups
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/3094—Designing or manufacturing processes
    • A61F2/30942—Designing or manufacturing processes for designing or making customized prostheses, e.g. using templates, CT or NMR scans, finite-element analysis or CAD-CAM techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/3094—Designing or manufacturing processes
    • A61F2/30942—Designing or manufacturing processes for designing or making customized prostheses, e.g. using templates, CT or NMR scans, finite-element analysis or CAD-CAM techniques
    • A61F2002/30948—Designing or manufacturing processes for designing or making customized prostheses, e.g. using templates, CT or NMR scans, finite-element analysis or CAD-CAM techniques using computerized tomography, i.e. CT scans
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/3094—Designing or manufacturing processes
    • A61F2/30942—Designing or manufacturing processes for designing or making customized prostheses, e.g. using templates, CT or NMR scans, finite-element analysis or CAD-CAM techniques
    • A61F2002/30953—Designing or manufacturing processes for designing or making customized prostheses, e.g. using templates, CT or NMR scans, finite-element analysis or CAD-CAM techniques using a remote computer network, e.g. Internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/46—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor
    • A61F2002/4632—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor using computer-controlled surgery, e.g. robotic surgery
    • A61F2002/4633—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor using computer-controlled surgery, e.g. robotic surgery for selection of endoprosthetic joints or for pre-operative planning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Computing Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Transplantation (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Cardiology (AREA)
  • Vascular Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Manufacturing & Machinery (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)

Abstract

本发明属于数字医疗、图像处理技术领域，公开了一种基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法。该方法可自动处理患有髋关节疾病患者的CT影像数据，通过多任务级联深度学习网络实现对输入CT影像的盆骨分割及大规模的解剖标志点标注，并采用第二阶段网络精细分割髋臼局部影像，后续使用网络分割结果与标志点位置自动计算出髋臼的相关参数，匹配合适的髋臼假体，模拟假体正确的放置位置。通过本方法可通过患者CT影像自动计算并给出手术中所需要的假体参数，实现了在术前计划中对髋臼假体的尺寸计算、位置定位，以及髋关节三维解剖结构的可视化展示，为医生提供更多参考信息，提高术前规划的精度，进而提升手术质量。

Description

基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法
技术领域
本发明涉及数字医疗、图像处理技术领域，具体涉及基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法。
背景技术
全髋关节置换术是最常见的成人髋关节重建手术，具有恢复关节功能、解除关节疼痛、保持关节稳定和修复肢体长度等众多优点。由于患者髋关节解剖结构的复杂性与多样性，对于全髋关节置换手术来说需要精准而详尽的手术计划。髋臼假体设计是术前规划中重要的一环，为了有效恢复髋关节正常功能，降低术中和术后并发症发生率，需要选择髋臼假体正确的尺寸和摆放位置。
Mainard D,Barbier O,Knafo Y,et al.Accuracy and reproducibility ofpreoperative three-dimensional planning for total hip arthroplasty usingbiplanar low-dose radiographs:a pilot study中公开的在X线平片上进行胶片模板测量是目前临床实践中使用较多的标准技术，医生使用假体厂家提供的透明胶片模板贴附在X线胶片上进行比较、分析、估计，但由于髋关节是一个三维的解剖结构，并且受到X射线检查期间放大率和投影变化的影响，此方法存在很多局限性。Bishi H,Smith J B V,AsopaV,et al.Comparison of the accuracy of 2D and 3D templating methods forplanning primary total hip replacement:a systematic review and meta-analysis中基于CT影像的三维术前分析可以通过相关软件对髋关节进行几何建模进而实现对髋关节假体大小、位置的精准预测，但是该方法需要医生手动去实现髋关节的骨分割与解剖标志点标注，耗时又费力。
深度学习的方法在医学图像处理与分析领域取得了显著的结果。基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法可以将患者的CT影像通过深度学习算法自动进行骨骼分割以及解剖标志点的标注，后续通过分割标签与标志点位置可以自动计算出髋臼的相关参数，匹配合适的髋臼假体，模拟假体正确的放置位置，在计算机中进行可视化展示及虚拟手术，可以在术前为医生提供患者髋关节的解剖结构信息，进而保障手术的顺利进行。
发明内容
本发明提出一种基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法，该方法自动处理患有髋关节疾病患者的CT影像数据，通过多任务的深度学习网络模型实现对输入CT影像的盆骨分割及大规模的解剖标志点标注，后续使用分割结果与标志点位置自动计算出髋臼的相关参数，匹配合适的髋臼假体，模拟假体正确的放置位置；该方法主要适用于全髋关节置换术的术前规划中髋臼假体的自动化设计与定位。
本发明的技术方案如下：
一种基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法，包括步骤如下：
S1、数据预处理；
S11、图像归一化；图像中常用的像素级别的数据预处理是算法使用与临床诊断的必要初始步骤，对于算法的训练和推理有着至关重要的影响。对于包含髋臼的盆骨CT图像，采用统一的CT值范围对CT图像的灰度归一化到[0,1]之间，以消除异常值的影响；根据多任务深度学习网络模型的需求，将归一化后的CT图像降采样为低分辨率与高分辨率两种形式；
S12、数据增强；深度学习方法的成功包括硬件计算能力的提升、训练数据量的增多以及合理有效的网络结构。然而，对于医学影像来说，有效的训练数据需要专业的医生花费大量的时间进行标注，这导致了获取训练数据的成本变得昂贵。为了从有限的数据中尽可能获取更多有用的信息，对训练数据可执行一些微小的改变来扩增数据集的数量，具体包括随机旋转、缩放、平移、仿射变换、随机噪声、局部像素重排、内向填充和外向填充；
S2、构建联合分割与标志点检测的多任务级联深度学习网络；
将包含髋臼的盆骨CT图像输入至联合分割与标志点检测的多任务级联深度学习网络中，输出包括左髋、右髋、骶骨在内的多个骨骼的粗分割标签、髋臼局部的细化分割标签以及大规模的标志点；标志点包括双侧髂前上棘、耻骨联合点、髋臼沿上的点等。
联合分割与标志点检测的多任务级联深度学习网络包括两个阶段，第一阶段从低分辨率的CT图像中执行粗分割及大规模的标志点检测任务，第二阶段根据第一阶段得到的标志点裁剪髋臼局部的高分辨率图像，使用级联的分割网络进行细化分割；
第一阶段的多任务深度学习网络包括两个分支：分割分支与标志点检测分支；
S21、分割分支由类U-Net结构组成，包含编码器和解码器两个部分；编码器部分包括四个子模块，每个子模块包含两个卷积操作以及一个分段线性激活函数，编码器还包括四次下采样操作，将3D数据的通道数从3扩展到256，以此来捕捉三维图像中的高维度信息；
解码器与编码器相对应，包含四个子模块，每个子模块包括两个卷积操作以及一个分段线性激活函数，解码器包含四次上采样操作，通过上采样将由编码器处理得到的特征图的分辨率恢复到原始输入图像的尺寸；
在编码器和解码器之间，采用了跳跃连接(skip-connection)操作，将编码器不同阶段得到的图像特征融合到解码器的解码阶段，使得上采样后的特征图融合更多低级特征；这样可以保证网络的分割结果更加准确。
对于粗分割结果，分割分支采用Dice Loss损失函数来进行约束，以解决类别不平衡的问题；Dice Loss定义为：
其中，X为预测粗分割结果矩阵，Y为真实标签矩阵，X∩Y为两者交集；|X|和|Y|分别为粗分割结果和真实标签矩阵的体素之和；对于每个体素，选择概率最高的类作为最终的粗分割预测结果；
S22、标志点检测分支；遵循多任务深度学习网络中硬参数共享的原则，标志点检测分支与分割分支共享相同的编码器，并且具有相同的解码器；与传统标志点检测方式不同，标志点检测分支将标志点检测问题转化为热图回归问题，标志点的离散坐标建模为具有以点位置为中心的高斯分布的通道热图；距离标志点坐标越近的热图具有越高的像素值，随着与标志点坐标距离的增加，像素值迅速减小。
考虑到通道热图中的背景与高斯区域之间的严重不平衡，标志点检测分支采用Focal loss损失函数来解决类别不平衡的问题；采用固定阈值以划分正负样本，将通道热图中像素值大于固定阈值的区域视为正样本，其余区域视为负样本；正负样本的难度权重定义为：
其中，Spre为多任务深度学习网络预测的通道热图，Sgt为根据特征点标定结果生成的通道热图标签，区分正负样本的阈值为thre；在此基础上，Focal loss损失函数定义为：
获取通道热图中像素值最高的坐标作为该通道所对应标志点的预测坐标；
S23、髋臼分割细化；第一阶段多任务深度学习网络的输出结果输入至第二阶段细化分割网络，获得髋臼局部区域的细化分割结果；
基于第一阶段中标志点检测的结果，根据髋臼沿上的标志点确定包含髋臼的边界框；通过边界框的位置信息，从原始图像中裁剪一个高分辨的髋臼局部区域以及对应的粗分割标签，用于第二阶段细化分割网络的输入；第二阶段分割网络的网络结构与训练配置与第一阶段的多任务深度学习分割分支相同；细化分割结果与第一阶段的粗分割结果合并后为最终的分割结果；
S3、自动化计算髋臼参数；
S31、髋关节表面建模；在全髋关节手术的术前计划中，能够准确提取到髋关节的三维几何参数是一个重要的处理步骤。采用移动立方体算法，将步骤S2得到的最终的分割结果建模为髋关节表面几何模型；
S32、统一参考平面；由于病人个体的盆骨结构差异以及拍摄CT影像时的姿态差异，对建模后的髋关节表面几何模型统一参考平面，用于在统一参考平面下表述髋臼的角度信息；根据多任务深度学习网络预测的标志点信息，以双侧髂前上棘与耻骨连接点三点所组成的平面称作盆骨前平面，作为冠状截面，以双侧髂前上棘的中点与耻骨连结点的连线以及冠状截面的法向量构建矢状截面，同时垂直于冠状截面与矢状截面的平面称之为横截面；
S33、髋臼内部点采样；获得髋关节表面几何模型与髋臼旋转中心点，计算得到髋臼内部点集；具体做法为：
(a)以髋臼旋转中心点为球心，以超过髋臼半径三分之一的长度作为半径创建一个球型曲面模型，该球形曲面模型包含髋关节表面几何模型的髋臼部分；
(b)在球型曲面模型上采样若干个点，将球型曲面模型上的采样点与髋臼旋转中心点进行连线；
(c)连线与髋关节的髋臼曲面相交，交点的集合表示髋臼内部点集；
在分割髋关节病变严重患者的CT影像时，髋关节分割可能会出现误分的情况，导致后续采样的髋臼内部点集出现异常点，为了将异常点与真正的髋臼内部点集进行分离，在获得髋臼内部点集后，采用聚类算法分离异常点，获得真正的髋臼内部点集；
S34、计算髋臼假体位置；根据真正的髋臼内部点集数据，利用最小二乘法来拟合球体，得到球体的球心和半径；在xyz坐标系中，球体的方程如下所示：
(x-a)2+(y-b)2+(z-c)2＝r2
经过变形得到：
-2xa-2yb-2zc+(a2+b2+c2+r2)＝-x2-y2-z2
化简得到：
Axa+Ayb+Azc+Ad d＝e
转化为矩阵形式为
其中，a、b、c为拟合球体的球心位置坐标，r为拟合球体的半径；拟合球体的球心位置代表髋臼假体的参考放置位置；
S35、计算髋臼假体尺寸；
在全髋关节手术中可以通过计算髋臼假体的覆盖率来估计髋臼杯的尺寸大小以及初始稳定性，足够的髋臼骨覆盖保障了手术的成功与术后恢复。考虑到髋臼可以近似为半球形的解剖结构，放置髋臼杯的球心设置为拟合球体的球心，初始半径为拟合球体的球体半径；设定髋臼假体覆盖率最低阈值，根据相关文献的报道髋臼假体的覆盖率通常在50％～80％之间选择，本方法选择一个相对保守的阈值，认为髋臼假体覆盖率在60％以上能够达到较好的初始稳定性。髋臼假体覆盖率的计算公式如下：
其中，Sc表示髋关节假体与髋臼的接触的面积，Sp表示髋关节假体的表面积；当按照设定角度以及初始半径放置下的髋关节假体不能满足覆盖率最低阈值时，在初始半径的基础上增加一个假体型号即1mm的尺寸，迭代计算直到髋臼假体的尺寸满足覆盖率的需求，得到合适患者髋臼的假体尺寸。
所述髋臼假体的参考放置位置中，默认的髋臼杯前倾角为20°，外展角为40°。
所述低分辨率可选择2mm，所述高分辨率可选择0.8mm。
所述固定阈值选择0.5。
所述超过髋臼半径三分之一的长度可选做45mm。
所述聚类算法可选用DBSCAN聚类算法等。
本发明的有益效果是：一种基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法，具体包括数据预处理、构建联合分割与标志点检测的多任务级联深度学习网络、自动化髋臼参数计算三个步骤，自动计算并给出手术中所需要的假体参数，实现了在术前计划中对髋臼假体的尺寸计算、位置定位，以及髋关节三维解剖结构的可视化展示，为医生提供更多参考信息，提高术前规划的精度，进而提升手术质量。
附图说明
图1是基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法流程图。
图2是多任务级联深度学习网络流程图。
图3是联合分割与标志点检测的多任务级联深度学习网络结构图。
图4是髋臼内部点采样流程图；(a)为步骤S33中步骤(a)的正视示意图；(b)为步骤S33中步骤(b)的正视示意图；(c)为步骤S33中步骤(c)的正视示意图；(d)为步骤S33中步骤(a)的侧视示意图；(e)为步骤S33中步骤(b)的侧视示意图；(f)为步骤S33中步骤(c)的侧视示意图。
图5是髋臼杯假体安放效果图；(a)为正视图，(b)为侧视图。
具体实施方式
以下以患者的髋关节CT影像为例，结合具体实施步骤对本发明做进一步说明，如图1所示，基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法，包括如下步骤：
第一步：数据预处理并进行数据增强；
S1、图像归一化。对于输入的髋关节CT影像，采用统一的CT值范围(-1000HU～2000HU)对图像的灰度进行归一化到[0,1]之间，以消除异常值的影响。根据多任务深度学习网络模型的需求，将归一化后的CT图像降采样为低分辨率(2mm)与高分辨率(0.8mm)两种形式。
步骤二、构建联合分割与标志点检测的多任务级联深度学习网络。
S21、联合分割与标志点检测的多任务深度学习网络以包含髋臼的盆骨CT影像作为输入，输出包括左髋、右髋、骶骨在内的多个骨骼的粗分割标签、髋臼局部的精细分割标签以及大规模的解剖标志点(如双侧髂前上棘、耻骨联合点、髋臼沿上的点等)。
具体来说，网络的工作流程包括两个阶段，第一阶段从低分辨率的CT图像中执行粗分割及大规模的标志点检测任务，如图2所示，第二阶段根据第一阶段得到的标志点裁剪髋臼局部的高分辨率图像，使用级联的分割网络进行细化分割。其中，第一阶段的多任务网络包括两个分支：分割分支与标志点检测分支。
S22、分割分支。分割分支是由类U-Net结构组成，包含编码器和解码器两个部分。编码器部分包括四个子模块，每个子模块包含两个卷积操作以及一个分段线性激活函数(ReLU)，整个编码层还包括四次下采样操作，将3D数据的通道数从3扩展到256，以此来捕捉三维图像中的高维度信息。
解码器与编码器相对应，同样包含四个子模块，每个子模块包括两个卷积操作以及一个分段线性激活函数(ReLU)，但与编码器不同的是，整个解码器包含了四次上采样操作，通过上采样将由编码器处理得到的特征图的分辨率逐渐恢复到原始输入图像的尺寸。
在编码器和解码器之间，采用了跳跃连接(skip-connection)的操作，将编码器不同阶段得到的图像特征融合到解码器的解码阶段，使得上采样后的特征图融合了更多的低级特征，这样可以保证网络的分割结果更加准确。
对于分割结果，该分割分支采用Dice Loss损失函数来进行约束，以解决类别不平衡的问题。Dice Loss定义为：
其中，X为预测分割结果矩阵，Y为真实标签矩阵，X∩Y为两者交集。|X|和|Y|分别为分割结果和真实标签矩阵的体素之和。在推理过程中，对于每个体素，选择概率最高的类作为最终的分割预测结果。
S23、标志点检测分支。遵循多任务深度学习网络中硬参数共享的原则，标志点检测分支与分割分支共享相同的编码器，并且具有相同的解码结构。与传统标志点检测方式不同，在该分支中，标志点检测问题被转化为热图回归问题，标志点的离散坐标被建模为具有以点位置为中心的高斯分布的通道热图。标志点坐标附近的热图具有比较高的像素值，随着与标志点坐标距离的增加，像素值迅速减小。
在网络进行训练时，考虑到通道热图中的背景与热图中高斯区域之间的严重不平衡，该分支采用了Focal loss损失函数来解决类别不平衡的问题。采用0.05作为固定阈值以划分正负样本，将通道热图中像素值大于固定阈值的区域视为正样本，而其余的背景区域为负样本；正负样本的难度权重定义为：
其中，Spre为多任务深度学习网络预测的通道热图，Sgt为根据特征点标定结果生成的通道热图标签，区分正负样本的阈值为thre。在此基础上，Focal loss损失函数定义为：
在网络进行推断时，获取通道热图中像素值最高的坐标将其作为该通道所对应标志点的预测坐标。
S24、髋臼分割细化。基于第一阶段网络中标志点检测的结果，根据髋臼沿上的标志点估计包含髋臼的边界框。通过边界框的位置信息，从原始图像中裁剪一个高分辨的髋臼局部区域以及对应的粗分割标签，用于第二阶段细化分割网络的输入。第二阶段细化分割的网络结构与训练配置与第一阶段的多任务网络中分割分支相同。细化分割结果与第一阶段的粗分割结果合并后为最终的分割结果。
步骤三、自动化髋臼参数计算。
S31、髋关节表面几何建模。采用移动立方体算法(Marching Cubes)，将步骤S2中最终的分割结果建模为髋关节表面几何模型。
S32、统一参考平面。根据多任务深度学习网络预测的标志点信息，以双侧髂前上棘与耻骨连接点三点所组成的平面称作盆骨前平面，作为冠状截面，以双侧髂前上棘的中点与耻骨连结点的连线以及冠状截面的法向量构建矢状截面，同时垂直于冠状截面与矢状截面的平面称之为横截面。
S33、髋臼内部点采样。获得髋关节表几何模型与髋臼旋转中心点，可以计算得到髋臼内部点集。如图3所示，具体做法为：(a)以髋臼旋转中心为球心，以45mm为半径创建一个球型曲面模型，该球形曲面通常包含了髋关节模型的髋臼部分；(b)在球型曲面模型上密集地采样若干个点，将球型曲面模型上的采样点与髋臼旋转中心进行连线；(c)连线与髋关节的髋臼曲面相交，这些交点的集合表示了髋臼内部点集。
在分割髋关节病变严重患者的CT影像时，髋关节分割可能会出现误分的情况，导致后续采样的髋臼内部点集出现异常点，为了将异常点与真正的髋臼内部点集进行分离，在经过上述采样点集的操作后，可选择采用聚类算法分离异常点，如DBSCAN聚类算法等。
S34、髋臼假体位置计算。根据三维髋臼内部的点集数据，利用最小二乘法来拟合球体，可以得到球体的球心和半径。在xyz坐标系中，球体的一般方程如下所示：
(x-a)2+(y-b)2+(z-c)2＝r2
经过变形得到：
-2xa-2yb-2zc+(a2+b2+c2+r2)＝-x2-y2-z2
化简得到：
Axa+Ayb+Azc+Ad d＝e
转化为矩阵形式为
其中，a、b、c为拟合球体的球心位置坐标，r为拟合球体的半径；拟合球体的球心位置代表髋臼假体的参考放置位置。拟合球的球心位置代表了髋臼假体的参考放置位置。其中，默认的髋臼杯前倾角为20°，外展角为40°。
S35、髋臼假体尺寸计算。
在全髋关节手术中可以通过计算髋臼假体的覆盖率来估计髋臼杯的尺寸大小以及初始稳定性，足够的髋臼骨覆盖保障了手术的成功与术后恢复。考虑到髋臼可以近似为半球形的解剖结构，放置髋臼杯的球心设置为拟合球的球心，初始半径为拟合球的球体半径。根据相关文献的报道髋臼假体的覆盖率通常在在50％～80％之间选择，本方法选择一个相对保守的阈值，认为髋臼假体覆盖率在60％以上能够达到较好的初始稳定性。髋臼假体覆盖率的计算公式如下：
其中，sc表示髋关节假体与髋臼的接触的面积，sp表示髋关节假体的表面积。若按照合适角度以及初始半径放置下的髋关节假体不能满足覆盖率最低阈值(60％)的需求，则在初始半径的基础上增加一个假体型号即1mm的尺寸，如此迭代计算直到髋臼假体的尺寸满足覆盖率的需求，得到合适患者髋臼的假体尺寸。髋臼杯假体安放效果如图5所示。

Claims (2)

1.一种基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法，其特征在于，包括步骤如下：
S1、数据预处理；
S11、图像归一化；对于包含髋臼的盆骨CT图像，采用统一的CT值范围对CT图像的灰度归一化到[0,1]之间；将归一化后的CT图像降采样为低分辨率与高分辨率两种形式；
S12、数据增强；包括随机旋转、缩放、平移、仿射变换、随机噪声、局部像素重排、内向填充和外向填充；
S2、构建联合分割与标志点检测的多任务级联深度学习网络；
将包含髋臼的盆骨CT图像输入至联合分割与标志点检测的多任务级联深度学习网络中，输出包括左髋、右髋、骶骨在内的多个骨骼的粗分割标签、髋臼局部的细化分割标签以及大规模的标志点；
联合分割与标志点检测的多任务级联深度学习网络包括两个阶段，第一阶段从低分辨率的CT图像中执行粗分割及大规模的标志点检测任务，第二阶段根据第一阶段得到的标志点裁剪髋臼局部的高分辨率图像，使用级联的分割网络进行细化分割；
第一阶段的多任务深度学习网络包括两个分支：分割分支与标志点检测分支；
S21、分割分支由类U-Net结构组成，包含编码器和解码器两个部分；编码器部分包括四个子模块，每个子模块包含两个卷积操作以及一个分段线性激活函数，编码器还包括四次下采样操作，将3D数据的通道数从3扩展到256，以此来捕捉三维图像中的高维度信息；
解码器与编码器相对应，包含四个子模块，每个子模块包括两个卷积操作以及一个分段线性激活函数，解码器包含四次上采样操作，通过上采样将由编码器处理得到的特征图的分辨率恢复到原始输入图像的尺寸；
在编码器和解码器之间，采用了跳跃连接操作，将编码器不同阶段得到的图像特征融合到解码器的解码阶段，使得上采样后的特征图融合更多低级特征；
对于粗分割结果，分割分支采用Dice Loss损失函数来进行约束，以解决类别不平衡的问题；Dice Loss定义为：
其中，X为预测粗分割结果矩阵，Y为真实标签矩阵，X∩Y为两者交集；|X|和|Y|分别为粗分割结果和真实标签矩阵的体素之和；对于每个体素，选择概率最高的类作为最终的粗分割预测结果；
S22、标志点检测分支；遵循多任务深度学习网络中硬参数共享的原则，标志点检测分支与分割分支共享相同的编码器，并且具有相同的解码器；标志点检测分支将标志点检测问题转化为热图回归问题，标志点的离散坐标建模为具有以点位置为中心的高斯分布的通道热图；距离标志点坐标越近的热图具有越高的像素值；
考虑到通道热图中的背景与高斯区域之间的严重不平衡，标志点检测分支采用Focalloss损失函数来解决类别不平衡的问题；采用固定阈值以划分正负样本，将通道热图中像素值大于固定阈值的区域视为正样本，其余区域视为负样本；正负样本的难度权重定义为：
其中，Spre为多任务深度学习网络预测的通道热图，Sgt为根据特征点标定结果生成的通道热图标签，区分正负样本的阈值为thre；在此基础上，Focalloss损失函数定义为：
获取通道热图中像素值最高的坐标作为该通道所对应标志点的预测坐标；
S23、髋臼分割细化；第一阶段多任务深度学习网络的输出结果输入至第二阶段细化分割网络，获得髋臼局部区域的细化分割结果；
基于第一阶段中标志点检测的结果，根据髋臼沿上的标志点确定包含髋臼的边界框；通过边界框的位置信息，从原始图像中裁剪一个高分辨的髋臼局部区域以及对应的粗分割标签，用于第二阶段细化分割网络的输入；第二阶段分割网络的网络结构与训练配置与第一阶段的多任务深度学习分割分支相同；细化分割结果与第一阶段的粗分割结果合并后为最终的分割结果；
S3、自动化计算髋臼参数；
S31、髋关节表面建模；采用移动立方体算法，将步骤S2得到的最终的分割结果建模为髋关节表面几何模型；
S32、统一参考平面；对建模后的髋关节表面几何模型统一参考平面，用于在统一参考平面下表述髋臼的角度信息；根据多任务深度学习网络预测的标志点信息，以双侧髂前上棘与耻骨连接点三点所组成的平面称作盆骨前平面，作为冠状截面，以双侧髂前上棘的中点与耻骨连结点的连线以及冠状截面的法向量构建矢状截面，同时垂直于冠状截面与矢状截面的平面称之为横截面；
S33、髋臼内部点采样；获得髋关节表面几何模型与髋臼旋转中心点，计算得到髋臼内部点集；具体做法为：
(a)以髋臼旋转中心点为球心，以超过髋臼半径三分之一的长度作为半径创建一个球型曲面模型，该球型曲面模型包含髋关节表面几何模型的髋臼部分；
(b)在球型曲面模型上采样若干个点，将球型曲面模型上的采样点与髋臼旋转中心点进行连线；
(c)连线与髋关节的髋臼曲面相交，交点的集合表示髋臼内部点集；
获得髋臼内部点集后，采用聚类算法分离异常点，获得真正的髋臼内部点集；
S34、计算髋臼假体位置；根据真正的髋臼内部点集数据，利用最小二乘法来拟合球体，得到球体的球心和半径；在xyz坐标系中，球体的方程如下所示：
(x-a)2+(y-b)2+(z-c)2＝r2
经过变形得到：
-2xa-2yb-2zc+(a2+b2+c2+r2)＝-x2-y2-z2
化简得到：
Axa+Ayb+Azc+Add＝e
转化为矩阵形式为
其中，a、b、c为拟合球体的球心位置坐标，r为拟合球体的半径；拟合球体的球心位置代表髋臼假体的参考放置位置；
S35、计算髋臼假体尺寸；
将髋臼设定为半球形的解剖结构，放置髋臼杯的球心设置为拟合球体的球心，初始半径为拟合球体的球体半径；设定髋臼假体覆盖率最低阈值；髋臼假体覆盖率的计算公式如下：
其中，Sc表示髋关节假体与髋臼的接触的面积，Sp表示髋关节假体的表面积；当按照设定角度以及初始半径放置下的髋关节假体不能满足覆盖率最低阈值时，在初始半径的基础上增加一个假体型号的尺寸，迭代计算直到髋臼假体的尺寸满足覆盖率的需求，得到合适患者髋臼的假体尺寸。
2.根据权利要求1所述的基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法，其特征在于，所述髋臼假体的参考放置位置中，默认的髋臼杯前倾角为20°，外展角为40°。
CN202210897037.3A 2022-07-28 2022-07-28 基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法 Active CN115252233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210897037.3A CN115252233B (zh) 2022-07-28 2022-07-28 基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210897037.3A CN115252233B (zh) 2022-07-28 2022-07-28 基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法

Publications (2)

Publication Number Publication Date
CN115252233A CN115252233A (zh) 2022-11-01
CN115252233B true CN115252233B (zh) 2024-04-26

Family

ID=83772078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210897037.3A Active CN115252233B (zh) 2022-07-28 2022-07-28 基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法

Country Status (1)

Country Link
CN (1) CN115252233B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188617B (zh) * 2023-04-21 2023-08-08 有方（合肥）医疗科技有限公司 Ct图像数据处理方法、装置及ct系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112971981A (zh) * 2021-03-02 2021-06-18 北京长木谷医疗科技有限公司 基于深度学习的全髋关节置换翻修术前规划方法和设备
CN113408151A (zh) * 2021-07-15 2021-09-17 广东工业大学 髋臼塌陷重建技术辅助髋臼杯植入的导航方法及系统
CN113631115A (zh) * 2019-02-05 2021-11-09 史密夫和内修有限公司 用于全髋关节置换术的基于算法的优化、工具和可选择的模拟数据
CN114419618A (zh) * 2022-01-27 2022-04-29 北京长木谷医疗科技有限公司 基于深度学习的全髋关节置换术前规划系统
CN114494183A (zh) * 2022-01-25 2022-05-13 哈尔滨医科大学附属第一医院 一种基于人工智能的髋臼半径自动测量方法及系统
CN114612391A (zh) * 2022-02-24 2022-06-10 中国人民解放军总医院第四医学中心 基于深度学习的全髋关节术后腿长差的计算方法及系统
CN114663363A (zh) * 2022-03-03 2022-06-24 四川大学 一种基于深度学习的髋关节医学图像处理方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711431B2 (en) * 2002-02-13 2004-03-23 Kinamed, Inc. Non-imaging, computer assisted navigation system for hip replacement surgery
US10960454B2 (en) * 2012-02-07 2021-03-30 Biomet Manufacturing, Llc Acetabular prosthesis
US8831324B2 (en) * 2012-10-02 2014-09-09 Brad L. Penenberg Surgical method and workflow
US11730601B2 (en) * 2020-04-23 2023-08-22 DePuy Synthes Products, Inc. Customized patient-specific 3D printed positioning augment for orthopaedic surgical implant

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113631115A (zh) * 2019-02-05 2021-11-09 史密夫和内修有限公司 用于全髋关节置换术的基于算法的优化、工具和可选择的模拟数据
CN112971981A (zh) * 2021-03-02 2021-06-18 北京长木谷医疗科技有限公司 基于深度学习的全髋关节置换翻修术前规划方法和设备
CN113408151A (zh) * 2021-07-15 2021-09-17 广东工业大学 髋臼塌陷重建技术辅助髋臼杯植入的导航方法及系统
CN114494183A (zh) * 2022-01-25 2022-05-13 哈尔滨医科大学附属第一医院 一种基于人工智能的髋臼半径自动测量方法及系统
CN114419618A (zh) * 2022-01-27 2022-04-29 北京长木谷医疗科技有限公司 基于深度学习的全髋关节置换术前规划系统
CN114612391A (zh) * 2022-02-24 2022-06-10 中国人民解放军总医院第四医学中心 基于深度学习的全髋关节术后腿长差的计算方法及系统
CN114663363A (zh) * 2022-03-03 2022-06-24 四川大学 一种基于深度学习的髋关节医学图像处理方法和装置

Also Published As

Publication number Publication date
CN115252233A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
WO2022183719A1 (zh) 基于深度学习的全髋关节置换翻修术前规划方法和设备
CN110956635B (zh) 一种肺段分割方法、装置、设备及存储介质
CN113506334B (zh) 基于深度学习的多模态医学图像融合方法及系统
CN104091365B (zh) 面向序列化髋关节ct图像的髋臼组织模型重建方法
CN113450294A (zh) 多模态医学图像配准融合方法、装置及电子设备
US8965108B2 (en) Method and system of automatic determination of geometric elements from a 3D medical image of a bone
CN114419618B (zh) 基于深度学习的全髋关节置换术前规划系统
CN112184617B (zh) 一种基于深度学习的脊椎mri影像关键点检测方法
CN112037200A (zh) 一种医学影像中解剖特征自动识别与模型重建方法
AU2020101836A4 (en) A method for generating femoral x-ray films based on deep learning and digital reconstruction of radiological image
CN113962927B (zh) 基于强化学习的髋臼杯位置调整方法、装置及存储介质
Ehrhardt et al. Atlas-based segmentation of bone structures to support the virtual planning of hip operations
WO2024001140A1 (zh) 一种椎体亚区域分割方法、装置及存储介质
CN114261095B (zh) 一种基于ai的骨科3d打印方法和装置
CN115252233B (zh) 基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法
CN114494183A (zh) 一种基于人工智能的髋臼半径自动测量方法及系统
CN115153835A (zh) 基于特征点配准与增强现实的髋臼假体放置引导系统及方法
CN114795258A (zh) 一种儿童髋关节发育不良诊断系统
CN110811829B (zh) 一种基于股骨旋转轴与内翻轴分析模型的构建方法及系统
KR102570004B1 (ko) 인공신경망 기반의 척추 진단 시스템 및 그 정보 제공 방법
Liu et al. Sparse intervertebral fence composition for 3D cervical vertebra segmentation
CN114663363B (zh) 一种基于深度学习的髋关节医学图像处理方法和装置
Kim et al. Deep Learning and Computer Vision Techniques for Automated Total Hip Arthroplasty Planning on 2-D Radiographs
CN113066110A (zh) 骨盆配准中标记点的选取方法和选取装置
Gelaude et al. Computer-aided planning of reconstructive surgery of the innominate bone: automated correction proposals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant