CN114742760A - 一种x光片桡骨远端骨折自动快速诊断方法 - Google Patents

一种x光片桡骨远端骨折自动快速诊断方法 Download PDF

Info

Publication number
CN114742760A
CN114742760A CN202210229363.7A CN202210229363A CN114742760A CN 114742760 A CN114742760 A CN 114742760A CN 202210229363 A CN202210229363 A CN 202210229363A CN 114742760 A CN114742760 A CN 114742760A
Authority
CN
China
Prior art keywords
image
articular surface
images
wrist
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210229363.7A
Other languages
English (en)
Inventor
刘云鹏
干开丰
王宇
李瑾
杨亿栋
徐逸群
梁新龙
刘畅
罗德旺
童书阳
沈琬琳
钱俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University of Technology
Original Assignee
Ningbo University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University of Technology filed Critical Ningbo University of Technology
Priority to CN202210229363.7A priority Critical patent/CN114742760A/zh
Publication of CN114742760A publication Critical patent/CN114742760A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种X光片桡骨远端骨折自动快速诊断方法，通过结合深度学习与图像分析处理技术，使用三层U‑Net网络级联形成的端到端分割网络进行训练，对桡骨远端骨折分类判断最关键的关节面区和非关节面区进行精准的分割；采样两级分类，首先深度学习利用关节面区特征，对正常、A型骨折作为一类，与B型和C型骨折作为一类进行有效区分；然后深度学习利用非关节面区特征，进一步分别对正常、A型骨折、B型骨折和C型骨折进行识别，这种分层识别模式，粗分时将更相近的图像作为一类，可以达到更精准的分类结果；优点是分类准确率高，且能够对正常、A型、B型和C型单独的准确率进行描述，能够为后续准确率优化提升提供有力的技术数据。

Description

一种X光片桡骨远端骨折自动快速诊断方法
技术领域
本发明涉及一种X光片桡骨远端骨折诊断方法，尤其是涉及一种X光片桡骨远端骨折自动快速诊断方法。
背景技术
文献“基于深度学习的桡骨远端骨折自动分型研究_杨锋”中公开了一种X光片桡骨远端骨折自动快速诊断方法该方法将整个手腕部的X光片作为输入，然后使用DFR-Net深度学习模型同时对桡骨远端骨折的A型、B型和C型进行分类，从而实现诊断。但是，上述方法直接对整体X光片进行判断，而桡骨远端区域在整体X光片中的比例较小，不容易自动的获取核心特征，且整体X光片中干扰因素较多，以致该方法总体平均分类准确率较低，只有84.2％，同时该方法也没有对正常、A型、B型和C型单独的准确率进行描述，只有一个总体平均准确率，无法给后续准确率优化提升提供有力的技术数据。
发明内容
本发明所要解决的技术问题是提供一种分类准确率高，且能够对正常、A型、B型和C型单独的准确率进行描述，能够为后续准确率优化提升提供有力的技术数据的X光片桡骨远端骨折自动快速诊断方法。
本发明解决上述技术问题所采用的技术方案为：一种X光片桡骨远端骨折自动快速诊断方法，包括以下步骤：
步骤1.对用于分割训练的手腕部X光片图像进行预处理，具体步骤为：
1.1、获取用于分割训练的500张手腕部X光片图像和每张手腕部X光片图像对应的三张分割掩码图，三张分割掩码图分别为“桡骨”与“腕骨”整体区域分割掩码图、“桡骨远端”区域分割掩码图和“关节面”区域分割掩码图，其中“桡骨”与“腕骨”整体区域分割掩码图通过人工在手腕部X光片图像中将“桡骨”与“腕骨”作为一个整体区域分割标注好得到；
1.2、将每张手腕部X光片图像和其对应的三张分割掩码图均调整为正方形图像，具体方法如下：
1)获取手腕部X光片图像的宽w和高h；
2)判断手腕部X光片图像的宽w和高h是否相等，如果相等则表明其为正方形图像，不做处理，如果h大于w，则在手腕部X光片图像左右分别扩展(h-w)/2宽度黑色像素，使其为正方形图像；如果w大于h，则在手腕部X光片图像上下分别扩展(w-h)/2高度黑色像素，使其为正方形图像；
1.3、将步骤1.2得到的所有手腕部X光片图像和对应分割掩码图全部进行缩放，使所有手腕部X光片图像和对应的三张分割掩码图的分辨率大小均为224*224；
1.4、将步骤1.3得到的所有手腕部X光片图像分别进行归一化处理，即将所有手腕部X光片图像的每个像素值均除以255，得到每个手腕部X光片图像的归一化图像，此时得到500张归一化图像，每张归一化图像与归一化处理前的手腕部X光片图像对应的三张分割掩码图相对应；
步骤2.训练分割模型，具体过程为：
2.1、从500张归一化图像中随机获取16张归一化图像和16张归一化图像对应的分割掩码图，并对每张归一化图像和其对应的三张分割掩码图进行相同的数据增广操作，其中，数据增广操作为随机上下左右进行15％范围的平移操作、随机30度以内的旋转操作以及拉伸系数为-5到5的拉伸操作这三种操作中任意一种或者至少两种的随机组合；
2.2、将数据增广操作后的16张归一化图像和对应的分割掩码图同时输入到端到端分割网络中进行训练，其中所述的端到端分割网络为使用三个结构相同的扩展U-Net按照从上到下顺序级联形成的三层级联的分割网络结构，最上层扩展U-Net用于对“桡骨”与“腕骨”组成的一个整体对象进行分割，其输入的是数据增广操作后的归一化图像和对应的“桡骨”与“腕骨”整体区域分割掩码图，输出的分割预测结果为像素属于“桡骨”和“腕骨”整体区域的概率图；中间层扩展U-Net用于对“桡骨远端”进行分割，其输入的是最上层扩展U-Net输出的分割预测结果、与最上层扩展U-Net一致的数据增广操作后的归一化图像和对应的“桡骨远端”区域分割掩码图，输出的分割预测结果为像素属于“桡骨远端”的概率图；最下层扩展U-Net用于对“关节面”区域进行分割，输入的是中间层扩展U-Net输出的分割预测结果、与最上层扩展U-Net一致的数据增广操作后的归一化图像和对应的“关节面”区域分割掩码图，输出的分割预测结果为像素属于“关节面”的概率图；每个扩展U-Net分别包括从上到下依次设置的5层编码端与5层解码端，每层编码端分别使用DenseNet结构实现，每层编码端用于对输入其内的图像进行最大化池化操作，将图像分辨率缩小为一半后输出，且下一层编码端输入的图像为上一层编码端输出的图像，每一层解码端进行一次传统的图像卷积操作，卷积核大小为3*3，激活采用ReLU方式，，再将输入其内的图像通过双线性差值的上采样操作将分辨率扩大一倍后输出，且上一层解码端输入的图像为下一层解码端输出的图像，每个扩展U-Net中，最上层的编码端的输入为该扩展U-Net的输入，最上层解码端的输出为该扩展U-Net的输出；
2.3、重复步骤2.1和2.2 10000次后停止，得到训练好的端到端分割网络，该端到端分割网络即为分割模型；
3.训练分类模型，具体过程为：
3.1、获取步骤1.1中的500张手腕部X光片图像和对应的“桡骨远端”区域分割掩码图和“关节面”区域分割掩码图；
3.2、将每张手腕部X光片图像对应的“桡骨远端”区域分割掩码图和“关节面”区域分割掩码图求差后得到“非关节面”区域分割掩码图；
3.3、人工对所有“非关节面”区域分割掩码图和“关节面”区域分割掩码图进行是否骨折的标注；
3.4、根据每张手腕部X光片图像对应的“非关节面”区域分割掩码图和“关节面”区域分割掩码图在每张手腕部X光片图像中获取“非关节面”和“关节面”对应的最小矩形框；
3.5、根据最小矩形框在手腕部X光片图像获取到“关节面”图像和“非关节面”图像这两个图像；
3.6、使用步骤1.2相同的方法将获取的每张“关节面”图像和“非关节面”图像都调整为正方形图像；
3.7、将所有调整后的“关节面”图像和“非关节面”图像均缩放到分辨率大小为64*64；
3.8、将步骤3.7得到的所有“关节面”图像和“非关节面”图像均进行归一化处理，即将所有“关节面”图像和“非关节面”图像的每个像素值均除以255，得到每张“关节面”图像和“非关节面”图像的归一化图像；此时得到500张“关节面”图像的归一化图像和500张“非关节面”图像的归一化图像；
3.9、对“关节面”图像是否骨折进行训练：每次从500张“关节面”图像的归一化图像中随机获取32张，然后对获取的每张“关节面”图像的归一化图像进行数据增广操作后输入第一个DenseNet-121模型，对第一个DenseNet-121模型进行训练，训练次数为10000次，此时，数据增广操作为sigma参数在0-2区间的高斯模糊操作、左右翻转操作、-45度到45度的旋转操作以及拉伸系数-10到10的拉伸操作这四种操作中任意一种或者至少两种的随机组合，第一个DenseNet-121模型作为第一个分类模型；
3.10、对“非关节面”图像是否骨折进行训练：每次从500张“非关节面”图像的归一化图像中随机获取32张，并对获取的每张“非关节面”图像的归一化图像进行数据增广操作后输入第二个DenseNet-121模型，对第二个DenseNet-121模型进行训练，训练次数为10000次，此时，数据增广操为sigma参数在0-2区间的高斯模糊操作、左右翻转操作、-45度到45度的旋转操作以及拉伸系数-10到10的拉伸操作这四种操作中任意一种或者至少两种的随机组合，第二个DenseNet-121模型作为第二个分类模型。步骤4.对骨折分型进行预测，具体过程为：
4.1、获取待预测的手腕部X光片图像；
4.2、使用步骤1.2相同的方法将待预测的手腕部X光片图像调整为正方形图像；
4.3、将步骤4.2得到的手腕部X光片图像的分辨率缩放为224*224；
4.4、将步骤4.3得到的手腕部X光片图像进行归一化处理，即将手腕部X光片图像的每个像素值除以255，得到待预测的手腕部X光片图像的归一化图像；
4.5、将待预测的手腕部X光片图像的归一化图像输入到步骤2中训练好的端到端分割网络，使用步骤2中训练好的端到端分割网络对“桡骨远端”区域与“关节面”区域进行分割，得到像素属于“桡骨远端”的概率图和像素属于“关节面”的概率图，然后根据像素属于“桡骨远端”的概率图得到“桡骨远端”区域，根据像素属于“关节面”的概率图得到“关节面”区域，将“桡骨远端”区域与“关节面”区域求差后得到“非关节面”分割图；
4.6、“关节面”区域即为“关节面”分割图，将“关节面”分割图和“非关节面”分割图的分辨率还原到步骤4.2中调整后正方形图像分辨率大小；
4.7、根据4.6中得到的“关节面”和“非关节面”分割图，从步骤4.2中得到的调整后正方形X光片图像中获取“关节面”区域和“非关节面”区域的最小矩形框，并根据最小矩形框获取到“关节面”图像和“非关节面”图像；
4.8、使用步骤1.2相同的方法将步骤4.7得到的“关节面”图像和“非关节面”图像调整为正方形图像；
4.9、将步骤4.8得到的“关节面”图像和“非关节面”图像全部缩放到分辨率大小为64*64；
4.10、将步骤4.9得到的“关节面”图像和“非关节面”图像进行归一化处理，即将“关节面”图像和“非关节面”图像的像素值均除以255，得到“关节面”图像和“非关节面”图像的归一化图像；
4.11、使用步骤3.9中训练好的第一个DenseNet-121模型对“关节面”图像的归一化图像进行预测是否骨折，同时使用步骤3.10中训练好的第二个DenseNet-121模型对“非关节面”图像的归一化图像进行预测是否骨折；
4.12、如果第一个DenseNet-121模型和第二个DenseNet-121模型的预测结果都是没有骨折，则正常；当仅第二个DenseNet-121模型预测结果为骨折时，则为“A型”；当仅第一个DenseNet-121模型预测结果为骨折时，则为“B型”；当第一个DenseNet-121模型和第二个DenseNet-121模型预测结果均为骨折时，则为“C型”。
与现有技术相比，本发明的优点在于通过结合深度学习与图像分析处理技术，使用三层U-Net网络级联形成的端到端分割网络进行训练，可以对桡骨远端骨折分类判断最关键的两个区域：关节面区和非关节面区进行精准的分割；采样两级分类，首先深度学习利用关节面区特征，对正常、A型骨折作为一类，与B型和C型骨折作为一类进行有效区分；然后深度学习利用非关节面区特征，进一步分别对正常、A型骨折、B型骨折和C型骨折进行识别，本发明的这种分层识别模式，粗分时将更相近的图像作为一类，可以达到更精准的分类结果，最终得到高于医学骨科专家的人工识别效果，由此本发明分类准确率高，且能够对正常、A型、B型和C型单独的准确率进行描述，能够为后续准确率优化提升提供有力的技术数据。
附图说明
图1为各种手腕部X光片图像示意图；
图2(a)为原始手腕部X光片图像示意图；
图2(b)为原始手腕部X光片图像经过本文1.2中方法调整为正方形图像的示意图；
图2(c)为原始手腕部X光片图像直接插值缩放后得到的图像的示意图；
图3为分割网络的示意图；
图4(a)为桡骨与腕骨作为整体对象分割的示意图一(具有唯一性)；
图4(b)为桡骨与腕骨作为整体对象分割的示意图二(具有相似区域)；
图5为扩展U-Net网络的结构示意图；
图6为DenseNet-121模型分类训练示意图；
图7为一种X光片桡骨远端骨折自动快速诊断方法的预测过程示意图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
实施例：一种X光片桡骨远端骨折自动快速诊断方法，包括以下步骤：
步骤1.对用于分割训练的手腕部X光片图像进行预处理，具体步骤为：
1.1、获取用于分割训练的500张手腕部X光片图像和每张手腕部X光片图像对应的三张分割掩码图，三张分割掩码图分别为“桡骨”与“腕骨”整体区域分割掩码图、“桡骨远端”区域分割掩码图和“关节面”区域分割掩码图，其中“桡骨”与“腕骨”整体区域分割掩码图通过人工在手腕部X光片图像中将“桡骨”与“腕骨”作为一个整体区域分割标注好得到；各种手腕部X光片图像如图1所示，桡骨与腕骨作为整体对象分割的示意图一(具有唯一性)如图4(a)所示，桡骨与腕骨作为整体对象分割的示意图二(具有相似区域)如图4(b)所示，图4(a)中圈画处为桡骨与腕骨的整体区域，图4(b)中圈画处为桡骨与腕骨以及其他相似区域的整体区域，本步骤中按照如图4(a)进行标注，；
1.2、将每张手腕部X光片图像和其对应的三张分割掩码图均调整为正方形图像，具体方法如下：
1)获取手腕部X光片图像的宽w和高h，手腕部X光片图像如图2(a)所示，
2)判断手腕部X光片图像的宽w和高h是否相等，如果相等则表明其为正方形图像，不做处理，如果h大于w，则在手腕部X光片图像左右分别扩展(h-w)/2宽度黑色像素，使其为正方形图像；如果w大于h，则在手腕部X光片图像上下分别扩展(w-h)/2高度黑色像素，使其为正方形图像，如图2(b)所示；原始手腕部X光片图像直接插值缩放后得到的图像的示意图如图2(c)所示，分析图2(b)和图2(c)可以看出，本实施例中调整为正方形的效果优于直接插值所得图像。
1.3、将步骤1.2得到的所有手腕部X光片图像和对应分割掩码图全部进行缩放，使所有手腕部X光片图像和对应的三张分割掩码图的分辨率大小均为224*224；
1.4、将步骤1.3得到的所有手腕部X光片图像分别进行归一化处理，即将所有手腕部X光片图像的每个像素值均除以255，得到每个手腕部X光片图像的归一化图像，此时得到500张归一化图像，每张归一化图像与归一化处理前的手腕部X光片图像对应的三张分割掩码图相对应；
步骤2.训练分割模型，具体过程为：
2.1、从500张归一化图像中随机获取16张归一化图像和16张归一化图像对应的分割掩码图，并对每张归一化图像和其对应的三张分割掩码图进行相同的数据增广操作，其中，数据增广操作为随机上下左右进行15％范围的平移操作、随机30度以内的旋转操作以及拉伸系数为-5到5的拉伸操作这三种操作中任意一种或者至少两种的随机组合；
2.2、将数据增广操作后的16张归一化图像和对应的分割掩码图同时输入到端到端分割网络中进行训练，其中，如图3所示，端到端分割网络为使用三个结构相同的扩展U-Net按照从上到下顺序级联形成的三层级联的分割网络结构，最上层扩展U-Net用于对“桡骨”与“腕骨”组成的一个整体对象进行分割，其输入的是数据增广操作后的归一化图像和对应的“桡骨”与“腕骨”整体区域分割掩码图，输出的分割预测结果为像素属于“桡骨”和“腕骨”整体区域的概率图；中间层扩展U-Net用于对“桡骨远端”进行分割，其输入的是最上层扩展U-Net输出的分割预测结果、与最上层扩展U-Net一致的数据增广操作后的归一化图像和对应的“桡骨远端”区域分割掩码图，输出的分割预测结果为像素属于“桡骨远端”的概率图；最下层扩展U-Net用于对“关节面”区域进行分割，输入的是中间层扩展U-Net输出的分割预测结果、与最上层扩展U-Net一致的数据增广操作后的归一化图像和对应的“关节面”区域分割掩码图，输出的分割预测结果为像素属于“关节面”的概率图；如图5所示，每个扩展U-Net分别包括从上到下依次设置的5层编码端与5层解码端，每层编码端分别使用DenseNet结构实现，每层编码端用于对输入其内的图像进行最大化池化操作，将图像分辨率缩小为一半后输出，且下一层编码端输入的图像为上一层编码端输出的图像，每一层解码端进行一次传统的图像卷积操作，卷积核大小为3*3，激活采用ReLU方式，，再将输入其内的图像通过双线性差值的上采样操作将分辨率扩大一倍后输出，且上一层解码端输入的图像为下一层解码端输出的图像，每个扩展U-Net中，最上层的编码端的输入为该扩展U-Net的输入，最上层解码端的输出为该扩展U-Net的输出；
2.3、重复步骤2.1和2.2 10000次后停止，得到训练好的端到端分割网络，该端到端分割网络即为分割模型；
3.如图6所示，训练分类模型，具体过程为：
3.1、获取步骤1.1中的500张手腕部X光片图像和对应的“桡骨远端”区域分割掩码图和“关节面”区域分割掩码图；
3.2、将每张手腕部X光片图像对应的“桡骨远端”区域分割掩码图和“关节面”区域分割掩码图求差后得到“非关节面”区域分割掩码图；
3.3、人工对所有“非关节面”区域分割掩码图和“关节面”区域分割掩码图进行是否骨折的标注；
3.4、根据每张手腕部X光片图像对应的“非关节面”区域分割掩码图和“关节面”区域分割掩码图在每张手腕部X光片图像中获取“非关节面”和“关节面”对应的最小矩形框；
3.5、根据最小矩形框在手腕部X光片图像获取到“关节面”图像和“非关节面”图像这两个图像；
3.6、使用步骤1.2相同的方法将获取的每张“关节面”图像和“非关节面”图像都调整为正方形图像；
3.7、将所有调整后的“关节面”图像和“非关节面”图像均缩放到分辨率大小为64*64；
3.8、将步骤3.7得到的所有“关节面”图像和“非关节面”图像均进行归一化处理，即将所有“关节面”图像和“非关节面”图像的每个像素值均除以255，得到每张“关节面”图像和“非关节面”图像的归一化图像；此时得到500张“关节面”图像的归一化图像和500张“非关节面”图像的归一化图像；
3.9、对“关节面”图像是否骨折进行训练：每次从500张“关节面”图像的归一化图像中随机获取32张，然后对获取的每张“关节面”图像的归一化图像进行数据增广操作后输入第一个DenseNet-121模型，对第一个DenseNet-121模型进行训练，训练次数为10000次，此时，数据增广操作为sigma参数在0-2区间的高斯模糊操作、左右翻转操作、-45度到45度的旋转操作以及拉伸系数-10到10的拉伸操作这四种操作中任意一种或者至少两种的随机组合，第一个DenseNet-121模型作为第一个分类模型；3.10、对“非关节面”图像是否骨折进行训练：每次从500张“非关节面”图像的归一化图像中随机获取32张，并对获取的每张“非关节面”图像的归一化图像进行数据增广操作后输入第二个DenseNet-121模型，对第二个DenseNet-121模型进行训练，训练次数为10000次，此时，数据增广操为sigma参数在0-2区间的高斯模糊操作、左右翻转操作、-45度到45度的旋转操作以及拉伸系数-10到10的拉伸操作这四种操作中任意一种或者至少两种的随机组合，第二个DenseNet-121模型作为第二个分类模型。步骤4.如图7所示，对骨折分型进行预测，具体过程为：
4.1、获取待预测的手腕部X光片图像；
4.2、使用步骤1.2相同的方法将待预测的手腕部X光片图像调整为正方形图像；
4.3、将步骤4.2得到的手腕部X光片图像的分辨率缩放为224*224；
4.4、将步骤4.3得到的手腕部X光片图像进行归一化处理，即将手腕部X光片图像的每个像素值除以255，得到待预测的手腕部X光片图像的归一化图像；
4.5、将待预测的手腕部X光片图像的归一化图像输入到步骤2中训练好的端到端分割网络，使用步骤2中训练好的端到端分割网络对“桡骨远端”区域与“关节面”区域进行分割，得到像素属于“桡骨远端”的概率图和像素属于“关节面”的概率图，然后根据像素属于“桡骨远端”的概率图得到“桡骨远端”区域，根据像素属于“关节面”的概率图得到“关节面”区域，将“桡骨远端”区域与“关节面”区域求差后得到“非关节面”分割图；
4.6、“关节面”区域即为“关节面”分割图，将“关节面”分割图和“非关节面”分割图的分辨率还原到4.2步骤中调整后正方形图像分辨率大小；
4.7、根据4.6中得到的“关节面”和“非关节面”分割图，从4.2步骤中得到的调整后正方形X光片图像中获取“关节面”区域和“非关节面”区域的最小矩形框，并根据最小矩形框获取到“关节面”图像和“非关节面”图像；
4.8、使用步骤1.2相同的方法将步骤4.7得到的“关节面”图像和“非关节面”图像调整为正方形图像；
4.9、将步骤4.8得到的“关节面”图像和“非关节面”图像全部缩放到分辨率大小为64*64；
4.10、将步骤4.9得到的“关节面”图像和“非关节面”图像进行归一化处理，即将“关节面”图像和“非关节面”图像的像素值均除以255，得到“关节面”图像和“非关节面”图像的归一化图像；
4.11、使用步骤3.9中训练好的第一个DenseNet-121模型对“关节面”图像的归一化图像进行预测是否骨折，同时使用步骤3.10中训练好的第二个DenseNet-121模型对“非关节面”图像的归一化图像进行预测是否骨折；
4.12、如果第一个DenseNet-121模型和第二个DenseNet-121模型的预测结果都是没有骨折，则正常；当仅第二个DenseNet-121模型预测结果为骨折时，则为“A型”；当仅第一个DenseNet-121模型预测结果为骨折时，则为“B型”；当第一个DenseNet-121模型和第二个DenseNet-121模型预测结果均为骨折时，则为“C型”。
本发明中，“桡骨”与“腕骨”整体区域、“桡骨远端”区域和“关节面”区域这三个感兴趣区域是同时分割的,所以统一进行评价，评估图像分割性能的标准主要包含敏感度(sensitivity),命中率(positive predicted value,PPV)和戴斯系数(Dicecoefficient,DC),即：
Figure BDA0003537636210000101
Figure BDA0003537636210000102
Figure BDA0003537636210000103
上式中,P代表像素预测值,T代表像素真实值。将采用本发明的分割模型与现有技术中的几种模型分别对相同的图像进行分割，分割性能比较结果如表1所示：
表1分割性能比较
Figure BDA0003537636210000104
分析表1数据可知：本发明的分割模型性能在每一个指标的平均值和最高值都是所有模型中最好的，本发明的分割模型的sensitivity、PPV和Dice的最高值分别可以达到0.93、0.98和0.95。由此可知，本发明的方法相对于采用其他模型的方法表现出比较优异的分割性能。
使用本发明的DenseNet-121模型、AmoebaNet-A、NASNet-A与ResNeXt-101模型分别对“关节面”区域和“非关节面”区域图像进行分类，其中，“关节面”区域分类准确性比较数据如表2所示，“非关节面”区域分类准确性比较数据如表3所示：
表2“关节面区”分类比较
Figure BDA0003537636210000111
表3“非关节面区”分类比较
Figure BDA0003537636210000112
分析表2和表3数据可知：本发明的DenseNet-121模型的分类效果最佳,由于本发明的DenseNet-121模型分类“非关节面区”在骨折上的纹理表现更加突出一些,所以整体准确率相对于现有的几种模型更高。
使用本发明的分割模型与分类模型结合使用后，在400张新病人图像的测试集上进行测试,一方面与整体图像直接使用四分类效果进行对比,另一方面与三名专家平均诊断结果进行对比。具体数据如表4所示。
表4测试集分型结果比较
Figure BDA0003537636210000113
Figure BDA0003537636210000121
从表4可以看出,本发明的最终分型诊断结果要略好于专家的平均诊断,同时远高于对图像直接分类的结果。

Claims (1)

1.一种X光片桡骨远端骨折自动快速诊断方法，其特征在于包括以下步骤：
步骤1.对用于分割训练的手腕部X光片图像进行预处理，具体步骤为：
1.1、获取用于分割训练的500张手腕部X光片图像和每张手腕部X光片图像对应的三张分割掩码图，三张分割掩码图分别为“桡骨”与“腕骨”整体区域分割掩码图、“桡骨远端”区域分割掩码图和“关节面”区域分割掩码图，其中“桡骨”与“腕骨”整体区域分割掩码图通过人工在手腕部X光片图像中将“桡骨”与“腕骨”作为一个整体区域分割标注好得到；
1.2、将每张手腕部X光片图像和其对应的三张分割掩码图均调整为正方形图像，具体方法如下：
1)获取手腕部X光片图像的宽w和高h；
2)判断手腕部X光片图像的宽w和高h是否相等，如果相等则表明其为正方形图像，不做处理，如果h大于w，则在手腕部X光片图像左右分别扩展(h-w)/2宽度黑色像素，使其为正方形图像；如果w大于h，则在手腕部X光片图像上下分别扩展(w-h)/2高度黑色像素，使其为正方形图像；
1.3、将步骤1.2得到的所有手腕部X光片图像和对应分割掩码图全部进行缩放，使所有手腕部X光片图像和对应的三张分割掩码图的分辨率大小均为224*224；
1.4、将步骤1.3得到的所有手腕部X光片图像分别进行归一化处理，即将所有手腕部X光片图像的每个像素值均除以255，得到每个手腕部X光片图像的归一化图像，此时得到500张归一化图像，每张归一化图像与归一化处理前的手腕部X光片图像对应的三张分割掩码图相对应；
步骤2.训练分割模型，具体过程为：
2.1、从500张归一化图像中随机获取16张归一化图像和16张归一化图像对应的分割掩码图，并对每张归一化图像和其对应的三张分割掩码图进行相同的数据增广操作，其中，数据增广操作为随机上下左右进行15％范围的平移操作、随机30度以内的旋转操作以及拉伸系数为-5到5的拉伸操作这三种操作中任意一种或者至少两种的随机组合；
2.2、将数据增广操作后的16张归一化图像和对应的分割掩码图同时输入到端到端分割网络中进行训练，其中所述的端到端分割网络为使用三个结构相同的扩展U-Net按照从上到下顺序级联形成的三层级联的分割网络结构，最上层扩展U-Net用于对“桡骨”与“腕骨”组成的一个整体对象进行分割，其输入的是数据增广操作后的归一化图像和对应的“桡骨”与“腕骨”整体区域分割掩码图，输出的分割预测结果为像素属于“桡骨”和“腕骨”整体区域的概率图；中间层扩展U-Net用于对“桡骨远端”进行分割，其输入的是最上层扩展U-Net输出的分割预测结果、与最上层扩展U-Net一致的数据增广操作后的归一化图像和对应的“桡骨远端”区域分割掩码图，输出的分割预测结果为像素属于“桡骨远端”的概率图；最下层扩展U-Net用于对“关节面”区域进行分割，输入的是中间层扩展U-Net输出的分割预测结果、与最上层扩展U-Net一致的数据增广操作后的归一化图像和对应的“关节面”区域分割掩码图，输出的分割预测结果为像素属于“关节面”的概率图；每个扩展U-Net分别包括从上到下依次设置的5层编码端与5层解码端，每层编码端分别使用DenseNet结构实现，每层编码端用于对输入其内的图像进行最大化池化操作，将图像分辨率缩小为一半后输出，且下一层编码端输入的图像为上一层编码端输出的图像，每一层解码端进行一次传统的图像卷积操作，卷积核大小为3*3，激活采用ReLU方式，，再将输入其内的图像通过双线性差值的上采样操作将分辨率扩大一倍后输出，且上一层解码端输入的图像为下一层解码端输出的图像，每个扩展U-Net中，最上层的编码端的输入为该扩展U-Net的输入，最上层解码端的输出为该扩展U-Net的输出；
2.3、重复步骤2.1和2.2 10000次后停止，得到训练好的端到端分割网络，该端到端分割网络即为分割模型；
3.训练分类模型，具体过程为：
3.1、获取步骤1.1中的500张手腕部X光片图像和对应的“桡骨远端”区域分割掩码图和“关节面”区域分割掩码图；
3.2、将每张手腕部X光片图像对应的“桡骨远端”区域分割掩码图和“关节面”区域分割掩码图求差后得到“非关节面”区域分割掩码图；
3.3、人工对所有“非关节面”区域分割掩码图和“关节面”区域分割掩码图进行是否骨折的标注；
3.4、根据每张手腕部X光片图像对应的“非关节面”区域分割掩码图和“关节面”区域分割掩码图在每张手腕部X光片图像中获取“非关节面”和“关节面”对应的最小矩形框；
3.5、根据最小矩形框在手腕部X光片图像获取到“关节面”图像和“非关节面”图像这两个图像；
3.6、使用步骤1.2相同的方法将获取的每张“关节面”图像和“非关节面”图像都调整为正方形图像；
3.7、将所有调整后的“关节面”图像和“非关节面”图像均缩放到分辨率大小为64*64；
3.8、将步骤3.7得到的所有“关节面”图像和“非关节面”图像均进行归一化处理，即将所有“关节面”图像和“非关节面”图像的每个像素值均除以255，得到每张“关节面”图像和“非关节面”图像的归一化图像；此时得到500张“关节面”图像的归一化图像和500张“非关节面”图像的归一化图像；
3.9、对“关节面”图像是否骨折进行训练：每次从500张“关节面”图像的归一化图像中随机获取32张，然后对获取的每张“关节面”图像的归一化图像进行数据增广操作后输入第一个DenseNet-121模型，对第一个DenseNet-121模型进行训练，训练次数为10000次，此时，数据增广操作为sigma参数在0-2区间的高斯模糊操作、左右翻转操作、-45度到45度的旋转操作以及拉伸系数-10到10的拉伸操作这四种操作中任意一种或者至少两种的随机组合，第一个DenseNet-121模型作为第一个分类模型；
3.10、对“非关节面”图像是否骨折进行训练：每次从500张“非关节面”图像的归一化图像中随机获取32张，并对获取的每张“非关节面”图像的归一化图像进行数据增广操作后输入第二个DenseNet-121模型，对第二个DenseNet-121模型进行训练，训练次数为10000次，此时，数据增广操为sigma参数在0-2区间的高斯模糊操作、左右翻转操作、-45度到45度的旋转操作以及拉伸系数-10到10的拉伸操作这四种操作中任意一种或者至少两种的随机组合，第二个DenseNet-121模型作为第二个分类模型。步骤4.对骨折分型进行预测，具体过程为：
4.1、获取待预测的手腕部X光片图像；
4.2、使用步骤1.2相同的方法将待预测的手腕部X光片图像调整为正方形图像；
4.3、将步骤4.2得到的手腕部X光片图像的分辨率缩放为224*224；
4.4、将步骤4.3得到的手腕部X光片图像进行归一化处理，即将手腕部X光片图像的每个像素值除以255，得到待预测的手腕部X光片图像的归一化图像；
4.5、将待预测的手腕部X光片图像的归一化图像输入到步骤2中训练好的端到端分割网络，使用步骤2中训练好的端到端分割网络对“桡骨远端”区域与“关节面”区域进行分割，得到像素属于“桡骨远端”的概率图和像素属于“关节面”的概率图，然后根据像素属于“桡骨远端”的概率图得到“桡骨远端”区域，根据像素属于“关节面”的概率图得到“关节面”区域，将“桡骨远端”区域与“关节面”区域求差后得到“非关节面”分割图；
4.6、“关节面”区域即为“关节面”分割图，将“关节面”分割图和“非关节面”分割图的分辨率还原到4.2步骤中调整后正方形图像分辨率大小；
4.7、根据4.6中得到的“关节面”分割图和“非关节面”分割图，从4.2步骤中得到的调整后正方形X光片图像中获取“关节面”区域和“非关节面”区域的最小矩形框，并根据最小矩形框获取到“关节面”图像和“非关节面”图像；
4.8、使用步骤1.2相同的方法将步骤4.7得到的“关节面”图像和“非关节面”图像调整为正方形图像；
4.9、将步骤4.8得到的“关节面”图像和“非关节面”图像全部缩放到分辨率大小为64*64；
4.10、将步骤4.9得到的“关节面”图像和“非关节面”图像进行归一化处理，即将“关节面”图像和“非关节面”图像的像素值均除以255，得到“关节面”图像和“非关节面”图像的归一化图像；
4.11、使用步骤3.9中训练好的第一个DenseNet-121模型对“关节面”图像的归一化图像进行预测是否骨折，同时使用步骤3.10中训练好的第二个DenseNet-121模型对“非关节面”图像的归一化图像进行预测是否骨折；
4.12、如果第一个DenseNet-121模型和第二个DenseNet-121模型的预测结果都是没有骨折，则正常；当仅第二个DenseNet-121模型预测结果为骨折时，则为“A型”；当仅第一个DenseNet-121模型预测结果为骨折时，则为“B型”；当第一个DenseNet-121模型和第二个DenseNet-121模型预测结果均为骨折时，则为“C型”。
CN202210229363.7A 2022-03-09 2022-03-09 一种x光片桡骨远端骨折自动快速诊断方法 Withdrawn CN114742760A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210229363.7A CN114742760A (zh) 2022-03-09 2022-03-09 一种x光片桡骨远端骨折自动快速诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210229363.7A CN114742760A (zh) 2022-03-09 2022-03-09 一种x光片桡骨远端骨折自动快速诊断方法

Publications (1)

Publication Number Publication Date
CN114742760A true CN114742760A (zh) 2022-07-12

Family

ID=82275543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210229363.7A Withdrawn CN114742760A (zh) 2022-03-09 2022-03-09 一种x光片桡骨远端骨折自动快速诊断方法

Country Status (1)

Country Link
CN (1) CN114742760A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218088A (zh) * 2023-09-15 2023-12-12 中国人民解放军海军军医大学第一附属医院 一种前臂x光影像的处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218088A (zh) * 2023-09-15 2023-12-12 中国人民解放军海军军医大学第一附属医院 一种前臂x光影像的处理方法
CN117218088B (zh) * 2023-09-15 2024-03-29 中国人民解放军海军军医大学第一附属医院 一种前臂x光影像的处理方法

Similar Documents

Publication Publication Date Title
CN110084156B (zh) 一种步态特征提取方法及基于步态特征的行人身份识别方法
CN109325550B (zh) 基于图像熵的无参考图像质量评价方法
Shen et al. Hybrid no-reference natural image quality assessment of noisy, blurry, JPEG2000, and JPEG images
CN109903301B (zh) 一种基于多级特征信道优化编码的图像轮廓检测方法
CN109035172B (zh) 一种基于深度学习的非局部均值超声图像去噪方法
CN107330390B (zh) 一种基于图像分析和深度学习的人数统计方法
Tong et al. Learning no-reference quality metric by examples
CN114092439A (zh) 一种多器官实例分割方法及系统
CN111914797A (zh) 基于多尺度轻量级卷积神经网络的交通标志识别方法
CN112070158A (zh) 一种基于卷积神经网络和双边滤波的面部瑕疵检测方法
CN110570387B (zh) 一种基于特征级Copula模型相似性的图像融合方法
CN111080591A (zh) 基于编码解码结构结合残差模块的医学图像分割方法
Tong et al. No-reference quality assessment for JPEG2000 compressed images
CN108846800A (zh) 一种图像超分辨率重建的无参考图像质量评价方法
CN111666813B (zh) 基于非局部信息的三维卷积神经网络的皮下汗腺提取方法
CN107392211B (zh) 基于视觉稀疏认知的显著目标检测方法
CN114742760A (zh) 一种x光片桡骨远端骨折自动快速诊断方法
CN117291803B (zh) Pamgan轻量化面部超分辨率重建方法
CN111681236B (zh) 一种带注意力机制的目标密度估计方法
CN109241932A (zh) 一种基于运动方差图相位特征的热红外人体动作识别方法
CN112258532A (zh) 一种超声图像中胼胝体的定位及分割方法
CN116452619A (zh) 一种基于高分辨率网络与边界增强的mri图像分割方法
CN110490210A (zh) 一种基于紧致通道间t采样差分的彩色纹理分类方法
CN111402223B (zh) 一种利用变电站视频图像的变电站缺陷问题检测方法
CN115294151A (zh) 基于多任务卷积模型的肺部ct感兴趣区域自动检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220712