CN114795258A - 一种儿童髋关节发育不良诊断系统 - Google Patents
一种儿童髋关节发育不良诊断系统 Download PDFInfo
- Publication number
- CN114795258A CN114795258A CN202210404776.4A CN202210404776A CN114795258A CN 114795258 A CN114795258 A CN 114795258A CN 202210404776 A CN202210404776 A CN 202210404776A CN 114795258 A CN114795258 A CN 114795258A
- Authority
- CN
- China
- Prior art keywords
- feature
- hip
- children
- classification
- feature extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 27
- 210000004394 hip joint Anatomy 0.000 title claims abstract description 25
- 206010058314 Dysplasia Diseases 0.000 title claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 210000000588 acetabulum Anatomy 0.000 claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 238000004590 computer program Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 15
- 206010073767 Developmental hip dysplasia Diseases 0.000 claims description 12
- 210000000988 bone and bone Anatomy 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 208000007446 Hip Dislocation Diseases 0.000 claims description 11
- 210000003692 ilium Anatomy 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 210000002239 ischium bone Anatomy 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 210000003689 pubic bone Anatomy 0.000 claims description 8
- 210000004197 pelvis Anatomy 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 210000001624 hip Anatomy 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 238000001356 surgical procedure Methods 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 4
- 208000012659 Joint disease Diseases 0.000 claims description 3
- 210000001217 buttock Anatomy 0.000 claims description 3
- 210000000845 cartilage Anatomy 0.000 claims description 3
- 230000007717 exclusion Effects 0.000 claims description 3
- 210000003127 knee Anatomy 0.000 claims description 3
- 210000003141 lower extremity Anatomy 0.000 claims description 3
- 210000003049 pelvic bone Anatomy 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000002203 pretreatment Methods 0.000 claims 1
- 238000005259 measurement Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000399 orthopedic effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 210000000689 upper leg Anatomy 0.000 description 2
- 206010027677 Fractures and dislocations Diseases 0.000 description 1
- 206010023204 Joint dislocation Diseases 0.000 description 1
- 208000005137 Joint instability Diseases 0.000 description 1
- 208000027414 Legg-Calve-Perthes disease Diseases 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 206010003246 arthritis Diseases 0.000 description 1
- 238000011882 arthroplasty Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 235000013405 beer Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 230000011731 head segmentation Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012729 kappa analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
- A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Human Computer Interaction (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种儿童髋关节发育不良诊断系统，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中存有训练好的诊断识别模型，所述的诊断识别模型包括基于Mask‑RCNN的儿童骨骼分割模块、基于HRNet的关键点检测模块以及基于TO‑ResNet的特征提取模块。利用本发明，能够自动、快速、准确地测量髋臼指数、CE角，并计算出
等级和IHDI等级。
Description
技术领域
本发明属于医学人工智能领域，尤其是涉及一种儿童髋关节发育不良诊断系统。
背景技术
髋关节发育不良(DDH)是导致肢体畸形的常见疾病。新生儿出生后髋关节不稳定的发生率为1％，髋关节脱位的发生率为0.1％至0.2％。DDH的解剖缺陷主要是髋臼深度较浅，导致髋关节不稳定。DDH是继发性关节炎的公认原因，可能导致最终的全髋关节置换术(THA)以减轻疼痛和改善功能。然而，新生儿患者的临床症状可能不明显，或仅在髋部移动时出现“噼啪”声。早期识别DDH与更好的结果相关。
X射线是在诊断DDH的最常用方法，在DDH中起着至关重要的作用，例如髋臼指数和中心边缘(CE)角。DDH的治疗与
和IHDI的分类有关，而IHDI和
的分类在确定DDH的严重程度方面起着重要作用。然而，目前对DDH诊断的局限性主要是降低了医生对诊断一致性和差异性的解释。儿科骨科医生对DDH的37项标准进行评分的一致性较差(ICC，0.39)。这些问题影响儿童的治疗和预后。因此，迫切需要解决DDH诊断过程一致性低的问题，减少测量误差，避免大范围筛查中边缘性髋臼发育不良而被忽视的病例。
最近，为将AI应用于DDH做出了一些努力。帕塞林等人提出了一种神经网络，可以实时确定扫描的3D超声图像是否适合诊断。这些研究表明，深度学习可以准确、稳健地实现超声图像上DDH的自动评估，具有很大的临床应用潜力。比尔等人提出了一种基于序列预测的方法，该方法检测到23个关键点来辅助复杂场景中的髋关节手术决策。传斌等人采用物体检测来定位髋关节标志并计算髋臼指数，利用卷积神经网络检测髋关节发育发育不良。然而，很少有人工智能系统能够准确测量臀部X射线并提供全面的DDH分类结果。
如公开号为CN113486969A的中国专利文献公开了一种基于改进Res Net的医学图像多分类识别系统本发明涉及一种基于改进的Resnet网络的X光图像分类方法。该方法将X光图像数据集作为图像输入，通过SMO TE数据扩充算法得到模型的训练、测试和验证数据集；分类模型采用残差网络ResNet为模型基本框架，通过在残差网络ResNet中加入挤压激励网络并将其进行捷径连接；模型中普通方形卷积核中加入了水平卷积和垂直卷积组成非对称卷积结构，突显局部关键特征和加快训练效率；采用焦点损失函数，整个网络会根据损失函数调整每种疾病的损失值，以得到对疾病分类能力更强的网络模型。本发明能够解决数据不平衡分布带来的问题，并增强特征信息提取能力，提高模型整体性能，从而提高对X光图像分类的准确度。
众多学者在此ResNet模型的基础上进行创新以适应不同背景的医学影像处理任务。但是，针对ResNet模型的过拟合问题没有很有效的解决方法，针对本发明的研究领域，也没有相关的研究和报道。
发明内容
本发明提供了一种儿童髋关节发育不良诊断系统，能够自动、快速、准确地测量髋臼指数、CE角，并计算出
等级和IHDI等级。
一种儿童髋关节发育不良诊断系统，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中存有训练好的诊断识别模型，所述的诊断识别模型包括基于Mask-RCNN的儿童骨骼分割模块、基于HRNet的关键点检测模块以及基于TO-ResNet的特征提取模块；
所述计算机处理器执行所述计算机程序时实现以下步骤：
对待检测的儿童髋关节X射线影像进行预处理，预处理后输入诊断识别模型，利用儿童骨骼分割模块进行骨盆骨骼的实例分割，分割成髂骨、耻骨、坐骨和股骨头；
分割后的影像输入关键点检测模块以定位四个骨盆标志，包括髋臼上外侧缘、三辐射软骨中心、股骨头中心和髋臼上缘的中点骨化股骨干骺端；
利用特征提取模型对分割定位后的感兴趣区域进行特征提取，通过多任务分类的方式输出中心棱角、髋臼指数、Shenton线、髋臼外侧缘、髋臼源、
分类和IHDI分类七个参数。
进一步地，所述的预处理具体为：
将X射线影像从DICOM格式转换为PNG图像；通过保持原始纵横比并在较短的一侧填充零，将图像大小调整为1,333,800像素；通过应用由对比度限制的自适应直方图均衡计算的窗口级别和窗口宽度，进一步增强了被调整大小后的图像。
对诊断识别模型进行训练时，采集儿童髋关节X射线影像标准如下：
纳入标准为：(1)儿童年龄为6个月以上、3岁以下；(2)获得的X射线影像必须遵循标准指南；(3)就诊的主诉是检查髋关节发育不良；(4)需为髋关节发育不良患者首次治疗前的X射线影像；
排除标准为：(1)髋关节发育不良患者接受过手术治疗；(2)合并其他髋关节疾病；
X射线影像拍摄要求为：(1)检查时下肢自然伸直，膝外侧与肩齐平，臀部微屈，双脚取15°；(2)双侧髂骨和闭孔大小对称，髋臼前后缘重叠，X线片看不到髋臼后缘；并进一步对拍摄的X射线影像进行初步筛选、格式转换、像素统一、尺寸调整。
儿童骨骼分割模块在训练时，需要放射科医生对儿童髋关节X射线影像样本标注骨盆骨骼的轮廓，包括髂骨、耻骨、坐骨和股骨头。
进一步地，基于Mask-RCNN的儿童骨骼分割模块的网络结构包括：输入层、最大池化层、卷积层、第二大池化层、第一稠密块层、第三大池化层、第二稠密块层等网络结构；其中，卷积层大小为64*64*64，两个稠密块层依次为32*32*32大小以及16*16*16大小，第一稠密块层输出特征图与第二稠密块层输出结果的上采样特征图进行特征融合，融合后形成的新的32*32*32的特征图经过POL池化层后，再经过RPN网络，实现对儿童骨盆骨骼的轮廓，包括髂骨、耻骨、坐骨和股骨头的分割任务。
进一步地，基于HRNet的关键点检测模块的网络结构为：并行连接高分辨率到低分辨率的子网，高分辨率特征图主网络逐渐并行运算，加入低分辨率特征图子网络，子网通过熔断器层进行融合，确保每个高分辨率到低分辨率不断从其他并行的行接收信息，进而可以实现多尺度的特征融合与特征提取。体系结构为32个通道配置，输入图像为256*192，对应的热图输出大小为64*48。
基于TO-ResNet的特征提取模块中，输入特征层的维度为256，模型共使用64个1x1卷积核进行卷积计算，这个过程中特征矩阵下降到64；再通过64个3x3卷积和卷积计算，接下来通过256个1x1的卷积核对特征矩阵进行降维，降到256；接下来将通过输入的特征和通过上述3次卷积计算的特征矩阵相加。
训练过程中，特征提取模块通过验证集正确率与随机预测值的比对判断是否出现过拟合现象，具体如下：
ResNet经过多次训练得到分类的权重矩阵X，每个分类类别的正确率为r0，则每个验证样本的得分矩阵为xi，组合成总的得分矩阵为X0[x1,x2,x3,…xn,i∈[0，n]]；每个验证样本预测得到的得分矩阵为yi，组合成总的得分矩阵为Y0[y1,y2,y3,…yn,i∈[0，n]]，xi与yi为一一对应关系，用来计算交叉熵损失函数，并对应得到r0，将Y0内的元素随机打乱，形成新的随机得分矩阵Yi，i∈[0，10000]，将Yi与X0计算新的损失函数以及新的分类正确率ri，若ri-r0<0均成立，则判定不存在过拟合；否则判定为过拟合，重新调整网络结构。
所述的特征提取模块在ResNet架构中附加了三个多任务分支，用于来学习Shenton线、髋臼外侧缘、髋臼源的定性判断。
与现有技术相比，本发明具有以下有益效果：
本发明的系统基于深度学习算法模型，包括基于Mask-RCNN的儿童骨骼分割模块、基于HRNet的关键点检测模块，创新性的使用具有自动过拟合检测的TO-ResNet特征提取模块进行分类任务，计算出CE角、髋臼指数、
等级和IHDI等级，可以自动测量髋关节的结果。其性能类似于骨科医生，具有一致性和效率，表明它可以在DDH辅助诊断中发挥重要作用的。
附图说明
图1为本发明一种儿童髋关节发育不良诊断系统的整体结构流程图；
图2为本发明中诊断识别模型的结构流程图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
一种儿童髋关节发育不良诊断系统，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，计算机存储器中存有训练好的诊断识别模型，诊断识别模型包括基于Mask-RCNN的儿童骨骼分割模块、基于HRNet的关键点检测模块以及基于TO-ResNet的特征提取模块。
如图1所示，本发明的系统的工作流程如下
1、患者筛选
患儿纳入标准为：(1)6个月以上，3岁以下；(2)获得的盆腔X光片必须遵循标准指南；(3)就诊的主诉是“检查髋关节发育不良”；(4)DDH患者首次治疗前的X线片。排除标准为：(1)髋关节发育不良患者接受过手术治疗；(2)合并其他髋关节疾病，如感染、股骨头Perthes病等。标准骨盆X线片要求如下：(1)检查时下肢自然伸直，膝外侧与肩齐平，臀部微屈，双脚取15°左右；(2)双侧髂骨和闭孔大小基本对称，髋臼前后缘重叠，X线片看不到髋臼后缘。
2、数据预处理
使用Python(version 3.6)和SimpleITK library(version 1.2.3)对X射线影像的初步筛选、格式转换、像素统一、尺寸调整。
3、数据标注
初期模型训练过程需要三位放射科医生标注骨盆骨骼的轮廓，包括髂骨、耻骨、坐骨和股骨头，具体而言，将每个样本随机分配给一名中等放射科医师(具有5年经验)以获得初步标签。然后由资深放射科医师(15年以上经验)对初步标签进行检查和细化，以确保标签的正确性。
4、模型训练
如图2所示，诊断识别模型包括基于Mask-RCNN的儿童骨骼分割模块、基于HRNet的关键点检测模块以及基于TO-ResNet的特征提取模块，诊断识别模型使用三级管道实现了自动DDH测量和分类。
第一阶段执行骨盆骨骼的实例分割，包括髂骨、耻骨、坐骨和股骨头。股骨也被分割，以便根据IHDI分类方法定义骨化股骨干骺端上缘(H)中点的稳健定位。例如，对于分割，采用具有ResNet50主干的特征金字塔网络，该网络使用SGD进行训练。初始学习率为0.02，动量为0.9，权重衰减为0.0001。这一阶段的分割结果将作为第二阶段关键点识别的基础。
在第二阶段，提取了针对DDH标志的语义相关区域的局部图像块。在每个补丁中，进行关键点检测以定位四个骨盆标志：(E)髋臼上外侧缘，(Y)三辐射软骨中心，(C)股骨头中心，和(H)髋臼上缘的中点骨化股骨干骺端。使用HRNet来识别标记点，可以保证在标记点识别的整个过程中保持高分辨率。通过多分辨率的并行分支和不同分支之间的信息交互，可以达到位置信息准确、语义信息增强的目的。HRNet偶尔会为婴儿产生“C点”的错误警报，因为这些婴儿的股骨头在X光片上不可见。为了解决这个问题，利用了由Mask-RCNN产生的具有高特异性的稳健股骨头分割结果。具体来说，如果Mask-RCNN没有检测到股骨头的任何ROI(感兴趣区域)，则HRNet的“点C”标志将被抑制。
在第三阶段，导出了几个射线照相测量值。首先，绘制了Hilgenreiner的线和Perkin的线。然后计算髋臼指数、中心边缘角和髋臼头指数。自动执行DDH分类的
和IHDI方法。该阶段还对每个髋关节输出几个定性判断：Shenton线是否完整或中断，髋臼上外侧缘是否锐利，髋臼盂唇是否完整。
本发明中，利用TO-ResNet对感兴趣区域进行特征提取，特征提取过程中可以通过验证集正确率与随机预测值的比对判断是否出现过拟合现象，TO-ResNet输入特征层的维度为256，模型共使用64个1x1卷积核进行卷积计算，这个过程中特征矩阵下降到64，再通过64个3x3卷积和卷积计算，接下来通过256个1x1的卷积核对特征矩阵进行降维，降到256，接下来将通过输入的特征和通过上述3次卷积计算的特征矩阵相加。
防止过拟合方式如下，ResNet经过多次训练得到分类的权重矩阵X，每个分类类别的正确率为r0，则每个验证样本的得分矩阵为xi，组合成总的得分矩阵为X0[x1,x2,x3,…xn,i∈[0，n]]，每个验证样本预测得到的得分矩阵为yi，组合成总的得分矩阵为Y0[y1,y2,y3,…yn,i∈[0，n]]，xi与yi为一一对应关系，可以用来计算损失函数，并对应得到r0，现将Y0内的元素随机打乱，形成新的随机得分矩阵Yi，i∈[0，10000]，现将Yi与X0计算新的损失函数以及新的分类正确率ri，若ri-r0<0均成立，则判定不存在过拟合。
ResNet架构中附加了三个多任务分支来学习这些定性判断。所有模型均使用四个TITAN Xp GPU(Nvidia，Santa Clara，CA，USA)进行训练。
本发明中，中心棱角、髋臼指数、Shenton线、髋臼外侧缘、髋臼源、
和IHDI分类对DDH的诊断和治疗有帮助，测量了这七个参数来比较外科医生和人工智能之间的效率差异，在p<0.05时，统计差异被认为是显着的；DDH诊断指标的重测信度由三名外科医生和AI在2周后第二次评估，三名外科医生，包括一名高级外科医生、一名中级外科医生和一名初级外科医生；高级外科医生为副主任及以上，中级外科医生为主治医生，初级外科医生为住院外科医生；对于可靠性、CE角的一致性和髋臼指数，使用Cronbachα进行评估，大于或等于0.75的Alpha系数被认为是令人满意的，对Shenton线、髋臼外侧缘是否锐利、髋臼源头是否浅等主观判断指标的一致性检验采用kappa进行统计处理，
和IHD I分类作为统计量；使用加权线性kappa的过程，kappa统计量小于或等于0.40被认为表示差到轻微一致性，0.41-0.75中等一致性，大于0.75完全一致性。
本发明中，为了解决过拟合问题，利用TO-ResNet对感兴趣区域进行特征提取，特征提取过程中可以通过验证集正确率与随机预测值的比对判断是否出现过拟合现象。在训练过程中，为了平衡相对较少的正样本和常见的负样本，采用加权交叉熵损失。人工智能在计算诊断DDH的各种参数时可以实现出色的稳定性。
此外，人体各个部位的骨科X射线成像诊断涉及许多角度和长度测量。例如，测量肩部的肱骨颈-干角；测量手腕的径向掌倾斜和径向背倾斜。这些角度的准确测量对骨折和脱位的诊断具有重要意义。因此，提出的算法框架对于骨科X射线成像测量具有普遍意义。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。
Claims (9)
1.一种儿童髋关节发育不良诊断系统，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于：
所述计算机存储器中存有训练好的诊断识别模型，所述的诊断识别模型包括基于Mask-RCNN的儿童骨骼分割模块、基于HRNet的关键点检测模块以及基于TO-ResNet的特征提取模块；
所述计算机处理器执行所述计算机程序时实现以下步骤：
对待检测的儿童髋关节X射线影像进行预处理，预处理后输入诊断识别模型，利用儿童骨骼分割模块进行骨盆骨骼的实例分割，分割成髂骨、耻骨、坐骨和股骨头；
分割后的影像输入关键点检测模块以定位四个骨盆标志，包括髋臼上外侧缘、三辐射软骨中心、股骨头中心和髋臼上缘的中点骨化股骨干骺端；
利用特征提取模型对分割定位后的感兴趣区域进行特征提取，通过多任务分类的方式输出中心棱角、髋臼指数、Shenton线、髋臼外侧缘、髋臼源、
分类和IHDI分类七个参数。
2.根据权利要求1所述的儿童髋关节发育不良诊断系统，其特征在于，所述的预处理具体为：
将X射线影像从DICOM格式转换为PNG图像；通过保持原始纵横比并在较短的一侧填充零，将图像大小调整为1,333,800像素；通过应用对比度受限自适应直方图均衡计算的窗口级别和窗口宽度，进一步增强被调整大小后的图像。
3.根据权利要求1所述的儿童髋关节发育不良诊断系统，其特征在于，对诊断识别模型进行训练时，采集儿童髋关节X射线影像标准如下：
纳入标准为：(1)儿童年龄为6个月以上、3岁以下；(2)获得的X射线影像必须遵循标准指南；(3)就诊的主诉是检查髋关节发育不良；(4)需为髋关节发育不良患者首次治疗前的X射线影像；
排除标准为：(1)髋关节发育不良患者接受过手术治疗；(2)合并其他髋关节疾病；
X射线影像拍摄要求为：(1)检查时下肢自然伸直，膝外侧与肩齐平，臀部微屈，双脚取15°；(2)双侧髂骨和闭孔大小对称，髋臼前后缘重叠，X线片看不到髋臼后缘；并进一步对拍摄的X射线影像进行初步筛选、格式转换、像素统一、尺寸调整。
4.根据权利要求3所述的儿童髋关节发育不良诊断系统，其特征在于，儿童骨骼分割模块在训练时，需要放射科医生对儿童髋关节X射线影像样本标注骨盆骨骼的轮廓，包括髂骨、耻骨、坐骨和股骨头。
5.根据权利要求1所述的儿童髋关节发育不良诊断系统，其特征在于，基于Mask-RCNN的儿童骨骼分割模块的网络结构包括：输入层、最大池化层、卷积层、第二大池化层、第一稠密块层、第三大池化层、第二稠密块层；其中，卷积层大小为64*64*64，两个稠密块层依次为32*32*32大小以及16*16*16大小，第一稠密块层输出特征图与第二稠密块层输出结果的上采样特征图进行特征融合，融合后形成的新的32*32*32的特征图经过POL池化层后，再经过RPN网络，实现对儿童骨盆骨骼的轮廓，包括髂骨、耻骨、坐骨和股骨头的分割任务。
6.根据权利要求1所述的儿童髋关节发育不良诊断系统，其特征在于，基于HRNet的关键点检测模块的网络结构为：并行连接高分辨率到低分辨率的子网，高分辨率特征图主网络逐渐并行运算，加入低分辨率特征图子网络，子网通过熔断器层进行融合，确保每个高分辨率到低分辨率不断从其他并行的行接收信息，进而可以实现多尺度的特征融合与特征提取；体系结构为32个通道配置，输入图像为256*192，对应的热图输出大小为64*48。
7.根据权利要求1所述的儿童髋关节发育不良诊断系统，其特征在于，基于TO-ResNet的特征提取模块中，输入特征层的维度为256，模型共使用64个1x1卷积核进行卷积计算，这个过程中特征矩阵下降到64；再通过64个3x3卷积核进行卷积计算，接下来通过256个1x1的卷积核对特征矩阵进行降维，降到256；接下来将通过输入的特征和通过上述3次卷积计算的特征矩阵相加。
8.根据权利要求1所述的儿童髋关节发育不良诊断系统，其特征在于，训练过程中，特征提取模块通过验证集正确率与随机预测值的比对判断是否出现过拟合现象，具体如下：
ResNet经过多次训练得到分类的权重矩阵X，每个分类类别的正确率为r0，则每个验证样本的得分矩阵为xi，组合成总的得分矩阵为X0[x1,x2,x3,…xn,i∈[0，n]]；每个验证样本预测得到的得分矩阵为yi，组合成总的得分矩阵为Y0[y1,y2,y3,…yn,i∈[0，n]]，xi与yi为一一对应关系，用来计算交叉熵损失函数，并对应得到r0，将Y0内的元素随机打乱，形成新的随机得分矩阵Yi，i∈[0，10000]，将Yi与X0计算新的损失函数以及新的分类正确率ri，若ri-r0<0均成立，则判定不存在过拟合；否则判定为过拟合，重新调整网络结构。
9.根据权利要求1所述的儿童髋关节发育不良诊断系统，其特征在于，所述的特征提取模块在ResNet架构中附加了三个多任务分支，用于来学习Shenton线、髋臼外侧缘、髋臼源的定性判断。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210404776.4A CN114795258B (zh) | 2022-04-18 | 2022-04-18 | 一种儿童髋关节发育不良诊断系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210404776.4A CN114795258B (zh) | 2022-04-18 | 2022-04-18 | 一种儿童髋关节发育不良诊断系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114795258A true CN114795258A (zh) | 2022-07-29 |
| CN114795258B CN114795258B (zh) | 2022-10-21 |
Family
ID=82535730
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210404776.4A Active CN114795258B (zh) | 2022-04-18 | 2022-04-18 | 一种儿童髋关节发育不良诊断系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114795258B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115239720A (zh) * | 2022-09-22 | 2022-10-25 | 安徽省儿童医院(安徽省新华医院、安徽省儿科医学研究所、复旦大学附属儿科医院安徽医院) | 基于经典Graf的DDH超声影像人工智能诊断系统及方法 |
| CN115311302A (zh) * | 2022-10-12 | 2022-11-08 | 四川大学华西医院 | 股骨头缺血坏死分期特征构建方法、诊断系统和存储介质 |
| CN115661138A (zh) * | 2022-12-13 | 2023-01-31 | 北京大学第三医院（北京大学第三临床医学院） | 基于dr影像的人体骨骼轮廓检测方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109785344A (zh) * | 2019-01-22 | 2019-05-21 | 成都大学 | 基于特征重标定的双通路残差网络的遥感图像分割方法 |
| CN110135466A (zh) * | 2019-04-23 | 2019-08-16 | 中国科学技术大学 | 一种污染物排放超标车辆判断方法及系统 |
| AU2020100052A4 (en) * | 2020-01-10 | 2020-02-13 | Gao, Yiang Mr | Unattended video classifying system based on transfer learning |
| CN111797567A (zh) * | 2020-06-09 | 2020-10-20 | 合肥工业大学 | 一种基于深度学习网络的轴承故障分类方法及系统 |
| CN111798976A (zh) * | 2020-06-23 | 2020-10-20 | 杭州深睿博联科技有限公司 | 一种ddh人工智能辅助诊断方法及装置 |
| CN112651438A (zh) * | 2020-12-24 | 2021-04-13 | 世纪龙信息网络有限责任公司 | 多类别图像的分类方法、装置、终端设备和存储介质 |
| CN113221639A (zh) * | 2021-04-01 | 2021-08-06 | 山东大学 | 一种基于多任务学习的代表性au区域提取的微表情识别方法 |
| CN113327238A (zh) * | 2021-06-10 | 2021-08-31 | 紫东信息科技(苏州)有限公司 | 一种胃镜图像分类模型构建方法及胃镜图像分类方法 |
| CN113421269A (zh) * | 2021-06-09 | 2021-09-21 | 南京瑞易智能科技有限公司 | 一种基于双分支深度卷积神经网络的实时语义分割方法 |
| CN113435322A (zh) * | 2021-06-25 | 2021-09-24 | 西安交通大学 | 一种主轴轴承故障检测方法、系统、设备及可读存储介质 |
| CN113487581A (zh) * | 2021-07-16 | 2021-10-08 | 武汉中旗生物医疗电子有限公司 | 胎儿头臀径自动测量方法、系统、设备及存储介质 |
| CN113542171A (zh) * | 2021-07-12 | 2021-10-22 | 湖南大学 | 一种基于cnn和组合高阶谱图像的调制样式识别方法和系统 |
| CN114283938A (zh) * | 2021-11-25 | 2022-04-05 | 湖南大学 | 一种基于CNN-XGBoost的胶质母细胞瘤预后预测方法 |
-
2022
- 2022-04-18 CN CN202210404776.4A patent/CN114795258B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109785344A (zh) * | 2019-01-22 | 2019-05-21 | 成都大学 | 基于特征重标定的双通路残差网络的遥感图像分割方法 |
| CN110135466A (zh) * | 2019-04-23 | 2019-08-16 | 中国科学技术大学 | 一种污染物排放超标车辆判断方法及系统 |
| AU2020100052A4 (en) * | 2020-01-10 | 2020-02-13 | Gao, Yiang Mr | Unattended video classifying system based on transfer learning |
| CN111797567A (zh) * | 2020-06-09 | 2020-10-20 | 合肥工业大学 | 一种基于深度学习网络的轴承故障分类方法及系统 |
| CN111798976A (zh) * | 2020-06-23 | 2020-10-20 | 杭州深睿博联科技有限公司 | 一种ddh人工智能辅助诊断方法及装置 |
| CN112651438A (zh) * | 2020-12-24 | 2021-04-13 | 世纪龙信息网络有限责任公司 | 多类别图像的分类方法、装置、终端设备和存储介质 |
| CN113221639A (zh) * | 2021-04-01 | 2021-08-06 | 山东大学 | 一种基于多任务学习的代表性au区域提取的微表情识别方法 |
| CN113421269A (zh) * | 2021-06-09 | 2021-09-21 | 南京瑞易智能科技有限公司 | 一种基于双分支深度卷积神经网络的实时语义分割方法 |
| CN113327238A (zh) * | 2021-06-10 | 2021-08-31 | 紫东信息科技(苏州)有限公司 | 一种胃镜图像分类模型构建方法及胃镜图像分类方法 |
| CN113435322A (zh) * | 2021-06-25 | 2021-09-24 | 西安交通大学 | 一种主轴轴承故障检测方法、系统、设备及可读存储介质 |
| CN113542171A (zh) * | 2021-07-12 | 2021-10-22 | 湖南大学 | 一种基于cnn和组合高阶谱图像的调制样式识别方法和系统 |
| CN113487581A (zh) * | 2021-07-16 | 2021-10-08 | 武汉中旗生物医疗电子有限公司 | 胎儿头臀径自动测量方法、系统、设备及存储介质 |
| CN114283938A (zh) * | 2021-11-25 | 2022-04-05 | 湖南大学 | 一种基于CNN-XGBoost的胶质母细胞瘤预后预测方法 |
Non-Patent Citations (4)
| Title |
|---|
| WEIZE XU等人: "A Deep-Learning Aided Diagnostic System in Assessing Developmental Dysplasia of the Hip on Pediatric Pelvic Radiographs", 《FRONTIERS IN PEDIATRICS》 * |
| 张向荣等人: "《模式识别》", 30 September 2019 * |
| 陈云霁等人: "《智能计算系统》", 30 April 2020 * |
| 黄尧等人: "基于深度学习的ELM实时识别研究", 《核聚变与等离子体物理》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115239720A (zh) * | 2022-09-22 | 2022-10-25 | 安徽省儿童医院(安徽省新华医院、安徽省儿科医学研究所、复旦大学附属儿科医院安徽医院) | 基于经典Graf的DDH超声影像人工智能诊断系统及方法 |
| CN115311302A (zh) * | 2022-10-12 | 2022-11-08 | 四川大学华西医院 | 股骨头缺血坏死分期特征构建方法、诊断系统和存储介质 |
| CN115661138A (zh) * | 2022-12-13 | 2023-01-31 | 北京大学第三医院（北京大学第三临床医学院） | 基于dr影像的人体骨骼轮廓检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114795258B (zh) | 2022-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114795258B (zh) | 一种儿童髋关节发育不良诊断系统 | |
| CN104809740B (zh) | 基于svm与弹性区域生长的膝软骨图像自动分割方法 | |
| ES2914387T3 (es) | Estudio inmediato | |
| CN109493308A (zh) | 基于条件多判别生成对抗网络的医疗图像合成与分类方法 | |
| CN112365464B (zh) | 一种基于gan的医学图像病变区域弱监督定位方法 | |
| Niemeijer et al. | Assessing the skeletal age from a hand radiograph: automating the Tanner-Whitehouse method | |
| Hareendranathan et al. | Toward automatic diagnosis of hip dysplasia from 2D ultrasound | |
| Tang et al. | CNN-based qualitative detection of bone mineral density via diagnostic CT slices for osteoporosis screening | |
| CN113177943A (zh) | 一种脑卒中ct影像分割方法 | |
| Liu et al. | NHBS-Net: A feature fusion attention network for ultrasound neonatal hip bone segmentation | |
| Xu et al. | A deep-learning aided diagnostic system in assessing developmental dysplasia of the hip on pediatric pelvic radiographs | |
| Liu et al. | Artificial intelligence to diagnose tibial plateau fractures: an intelligent assistant for orthopedic physicians | |
| CN116258726A (zh) | 基于深度学习的颞下颌关节mri图像重要结构分割方法 | |
| CN117058149B (zh) | 一种用于训练识别骨关节炎的医学影像测量模型的方法 | |
| Xue et al. | A dual-selective channel attention network for osteoporosis prediction in computed tomography images of lumbar spine | |
| Liu et al. | Automated classification of cervical Lymph-Node-Level from ultrasound using depthwise separable convolutional swin transformer | |
| Liu et al. | Tracking-based deep learning method for temporomandibular joint segmentation | |
| CN115424073A (zh) | 利用x线图像诊断假体周围关节感染和无菌性失败的系统 | |
| Shen et al. | Research on bone age automatic judgment algorithm based on deep learning and hand x-ray image | |
| Fang et al. | A Multitarget Interested Region Extraction Method for Wrist X-Ray Images Based on Optimized AlexNet and Two-Class Combined Model | |
| CN113450306A (zh) | 提供骨折检测工具的方法 | |
| CN111950636A (zh) | 基于深度学习的腰椎x射线图像分类方法 | |
| Li et al. | Magnetic resonance imaging image segmentation under edge detection intelligent algorithm in diagnosis of surgical wrist joint injuries | |
| An et al. | Faster R-CNN for Detection of Carotid Plaque on Ultrasound Images | |
| Nakatsu et al. | Automatic carpal site detection method for evaluation of rheumatoid arthritis using deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |