CN113705613B - 一种基于空间位置引导的x光片桡骨远端骨折分类方法 - Google Patents

一种基于空间位置引导的x光片桡骨远端骨折分类方法 Download PDF

Info

Publication number
CN113705613B
CN113705613B CN202110850486.8A CN202110850486A CN113705613B CN 113705613 B CN113705613 B CN 113705613B CN 202110850486 A CN202110850486 A CN 202110850486A CN 113705613 B CN113705613 B CN 113705613B
Authority
CN
China
Prior art keywords
convolution
feature map
layer
dimension
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110850486.8A
Other languages
English (en)
Other versions
CN113705613A (zh
Inventor
郝鹏翼
石康健
吴福理
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202110850486.8A priority Critical patent/CN113705613B/zh
Publication of CN113705613A publication Critical patent/CN113705613A/zh
Application granted granted Critical
Publication of CN113705613B publication Critical patent/CN113705613B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于空间位置引导的X光片桡骨远端骨折分类方法，首先将原始手腕部X光片通过目标检测模型，得到桡骨关节面检测结果，并对检测结果进行裁剪，得到桡骨关节面感兴趣区域；然后将桡骨关节面感兴趣区域输入至分割模型，得到关节面的分割结果；最后将桡骨关节面感兴趣区域和分割结果一起作为桡骨远端骨折分类模型的输入，得到骨折分类结果和骨折类别可视化结果图。本发明利用桡骨关节面分割结果作为位置信息引导分类网络的注意力，以及多编码模块的多种信息编码方式，使获得的信息更加全面，提高桡骨远端骨折的分类准确度，并且得到骨折类别可视化结果图。

Description

一种基于空间位置引导的X光片桡骨远端骨折分类方法
技术领域
本发明属于医疗图像处理领域，尤其涉及了一种基于空间位置引导的X光片桡骨远端骨折分类方法。
背景技术
随着生活节奏的加快和各种交通工具的快速普及，意外伤害和交通事故的频发，使肢体骨折的病例呈逐年上升趋势。且于临床病理研究中发现，桡骨远端骨折为人体最常发生的骨折之一，约占全身骨折的60％，约占总前臂骨折的75％左右。人体失去平衡后会用手本能的支撑地面，因此也就最容易发生桡骨远端骨折的情况。一般情况下，桡骨远端骨折如果得不到及时治疗，不仅会造成运动功能障碍，还可能并发神经、关节损害等疾病。
桡骨远端骨折分成A型骨折和B型骨折，医生临床诊断骨折类型主要是依据骨折部位是否延申到关节面，骨折延申到关节面为B型骨折，否则为A型骨折。相较于A型骨折，B型骨折更严重，需要更及时、精细的治疗。此外，由于存在重叠、骨碎块多等复杂骨折形式，使得骨科医生判断桡骨远端骨折的具体类型困难，从而影响后续复位方式的选择。
近年来，深度学习技术在计算机视觉应用中取得了很多突破，包括医学图像的分类。这一成功促使研究人员采用采用深度学习模型对X影像中桡骨远端骨折进行诊断。然而，因为成本和耗时的原因，X影像数据集仅仅只有图像级标签，没有标注骨折的位置，导致深度学习模型缺乏重点提取骨折发生区域的特征的能力，使得骨折分类的效果一般，限制了在临床实践中的应用。因此，如果可以通过改进网络模型来重点关注骨折发生的区域，进行骨折类型检测，则可以提高桡骨远端骨折分类的准确度，辅助医生提高诊断能力和工作效率。
现有普通的深度学习分类网络在桡骨骨折的分类任务上，未能有针对性地解决骨折区域小、骨折较模糊等问题。
发明内容
本申请的目的是提供一种基于空间位置引导的X光片桡骨远端骨折分类方法，用以克服现有技术在进行X光片中桡骨远端骨折分类时准确度较低的问题。
为了实现上述目的，本申请技术方案如下：
一种基于空间位置引导的X光片桡骨远端骨折分类方法，包括：
将原始手腕部X光图像输入至关节面目标检测模型，得到桡骨关节面检测结果，并对检测结果进行裁剪，得到关节面感兴趣区域IROI；
将关节面感兴趣区域IROI输入至分割模型，得到桡骨关节面的分割结果Iseg；
将关节面感兴趣区域IROI和分割结果Iseg输入至桡骨远端骨折分类模型，得到骨折分类结果和骨折类别可视化结果图。
进一步的，所述目标检测模型包括目标检测第一卷积层、目标检测第二残差层、目标检测第三残差层、目标检测第四残差层、目标检测第五卷积层、最大池化层、目标检测第六卷积层、目标检测第七卷积层、目标检测第八卷积层、目标检测第九卷积层、目标检测第十卷积层和目标检测第十一卷积层，所述将原始手腕部X光图像输入至关节面目标检测模型，得到桡骨关节面检测结果，并对检测结果进行裁剪，得到关节面感兴趣区域IROI，包括：
步骤1.1、将原始手腕部X光图像输入至卷积核大小为3×3的目标检测第一卷积层，得到特征图F1，其维度大小为C1×H1×W1；
步骤1.2、将特征图F1输入至目标检测第二残差层中，所述目标检测第二残差层包括三个残差卷积块，得到特征图F2，其维度大小为C2×H2×W2；
步骤1.3、将特征图F2输入至目标检测第三残差层中，所述目标检测第三残差层包括一个残差卷积块，得到特征图F3，其维度大小为C3×H3×W3；
步骤1.4、将特征图F3输入至目标检测第四残差层中，所述目标检测第四残差层包括一个残差卷积块，之后输入至目标检测第五卷积层，所述目标检测第五卷积层包括卷积核大小为1×1、3×3和1×1的卷积块，得到特征图F4，其维度大小为C4×H4×W4；
步骤1.5、将特征图F4输入至最大池化层中，所述最大池化层包括大小分别为5×5、9×9、13×13的池化核，并使用零填充方法使得输出特征图的尺寸大小保持不变，之后将三个输出特征图按通道进行拼接输入至目标检测第六卷积层，所述目标检测第六卷积层包括卷积核大小为1×1、3×3和1×1的卷积块，得到特征图F5，其维度大小和F4一致；
步骤1.6、将特征图F5进行上采样，之后与F3按通道进行拼接，并输入至目标检测第七卷积层，所述目标检测第七卷积层包括卷积核大小为1×1和3×3的卷积块，得到特征图F6，其维度大小和F3一致；
步骤1.7、将特征图F6进行上采样，之后与F2按通道进行拼接，并输入至目标检测第八卷积层，所述目标检测第八卷积层包括卷积核大小为1×1、3×3、1×1、3×3和1×1的卷积块，得到特征图F7，其维度大小和F2一致；
步骤1.8、将特征图F7进行下采样，之后与F6按通道进行拼接，并输入至目标检测第九卷积层，所述目标检测第九卷积层包括卷积核大小为1×1、3×3、1×1、3×3和1×1的卷积块，得到特征图F8，其维度大小和F3一致；
步骤1.9、将特征图F8进行下采样，之后与F5按通道进行拼接，并输入至目标检测第十卷积层，所述目标检测第十卷积层包括卷积核大小为1×1、3×3、1×1、3×3和1×1的卷积块，得到特征图F9，其维度大小和F4一致；
步骤1.10、将F7、F8和F9分别输入至目标检测第十一卷积层，所述目标检测第十一卷积层包括卷积核大小为3×3和1×1的卷积块，得到输出结果一P1，其维度大小为18×H2×W2，输出结果二P2，其维度大小为18×H3×W3，以及输出结果三P3，其维度大小为18×H4×W4；
步骤1.11、将三个输出结果得到的预测框进行非极大值抑制操作，得到关节面检测结果，并对其进行裁剪，得到关节面感兴趣区域IROI。
进一步的，所述分割模型包括分割第一卷积层、分割第二卷积层、分割第三卷积层、分割第四卷积层、分割第五卷积层、分割第六卷积层、分割第七卷积层、分割第八卷积层、分割第九卷积层和分割第十卷积层，所述将关节面感兴趣区域IROI输入至分割模型，得到桡骨关节面的分割结果Iseg，包括：
步骤2.1、将关节面感兴趣区域IROI输入至分割第一卷积层，所述分割第一卷积层包括两个卷积核大小为3×3的卷积块，得到特征图Fen1，其维度大小为Ca1×Ha1×Wa1；
步骤2.2、将特征图Fen1进行最大池化操作，并输入至分割第二卷积层，所述分割第二卷积层包括两个卷积核大小为3×3的卷积块，得到特征图Fen2，其维度大小为Ca2×Ha2×Wa2；
步骤2.3、将特征图Fen2进行最大池化操作，并输入至分割第三卷积层，所述分割第三卷积层包括两个卷积核大小为3×3的卷积块，得到特征图Fen3，其维度大小为Ca3×Ha3×Wa3；
步骤2.4、将特征图Fen3进行最大池化操作，并输入至分割第四卷积层，所述分割第四卷积层包括两个卷积核大小为3×3的卷积块，得到特征图Fen4，其维度大小为Ca4×Ha4×Wa4；
步骤2.5、将特征图Fen4进行最大池化操作，并输入至分割第五卷积层，所述分割第五卷积层包括两个卷积核大小为3×3的卷积块，得到特征图Fen5，其维度大小为Ca5×Ha5×Wa5；
步骤2.6、将特征图Fen5进行上采样，之后与Fen4按通道进行拼接，并输入至分割第六卷积层，所述分割第六卷积层包括两个卷积核大小为3×3的卷积块，得到特征图Fup1，其维度大小与Fen4一致；
步骤2.7、将特征图Fup1进行上采样，之后与Fen3按通道进行拼接，并输入至分割第七卷积层，所述分割第七卷积层包括两个卷积核大小为3×3的卷积块，得到特征图Fup2，其维度大小与Fen3一致；
步骤2.8、将特征图Fup2进行上采样，之后与Fen2按通道进行拼接，并输入至分割第八卷积层，所述分割第八卷积层包括两个卷积核大小为3×3的卷积块，得到特征图Fup3，其维度大小与Fen2一致；
步骤2.9、将特征图Fup3进行上采样，之后与Fen1按通道进行拼接，并输入至分割第九卷积层，所述分割第九卷积层包括两两个卷积核大小为3×3的卷积块，得到特征图Fup4，其维度大小与Fen1一致；
步骤2.1O、将特征图Fup4输入至分割第十卷积层，所述分割第十卷积层包括卷积核大小为3×3、3×3和1×1的卷积块，得到桡骨关节面的分割结果Iseg。
进一步的，所述桡骨远端骨折分类网络包括分类第一卷积层、分类第二池化层、分类第三卷积层、分类第四残差层、分类第五卷积层、分类第六残差层、分类第七卷积层、分类第八残差层、分类第九残差层、两个全连接层、多编码模块和特征融合模块，所述将关节面感兴趣区域IROI和分割结果Iseg输入至桡骨远端骨折分类网络，得到骨折分类结果和骨折类别可视化结果图，包括：
步骤3.1、将关节面感兴趣区域IROI依次输入至卷积核大小为7×7的分类第一卷积层，池化核大小为3×3的分类第二池化层，得到特征图Fb1，其维度大小为Cb1×Hb1×Wb1；
步骤3.2、将分割结果Iseg输入至卷积核大小为1×1和3×3的分类第三卷积层，得到特征图Fp1，其维度大小与Fb1一致，之后将Fp1和Fb1输入至特征融合模块，得到特征图Fbp1，其维度大小与Fb1一致；
步骤3.3、将特征图Fbp1输入至分类第四残差层，所述分类第四残差层包括三个卷积核大小为1×1、3×3和1×1的残差块，得到特征图Fb2，其维度大小为Cb2×Hb2×Wb2；
步骤3.4、将特征图Fp1输入至卷积核大小为1×1和3×3的分类第五卷积层，得到特征图Fp2，其维度大小与Fb2一致，之后将Fp2和Fb2输入至特征融合模块，得到特征图Fbp2，其维度大小与Fb2一致；
步骤3.5、将特征图Fbp2输入至分类第六残差层，所述分类第六残差层包括四个卷积核大小为1×1、3×3和1×1的残差块，得到特征图Fb3，其维度大小为Cb3×Hb3×Wb3；
步骤3.6、将特征图Fp2输入至卷积核大小为1×1和3×3的分类第七卷积层，得到特征图Fp3，其维度大小与Fb3一致，之后将Fp3和Fb3输入至特征融合模块，得到特征图Fbp3，其维度大小与Fb3一致；
步骤3.7、将特征图Fbp3输入至分类第八残差层，所述分类第八残差层包括六个卷积核大小为1×1、3×3和1×1的残差块，得到特征图Fb4，其维度大小为Cb4×Hb4×Wb4；
步骤3.8、将特征图Fb4输入至分类第九残差层，所述分类第九残差层包括三个卷积核大小为1×1、3×3和1×1的残差块，得到特征图Fb5，其维度大小为Cb5×Hb5×Wb5；
步骤3.9、将特征图Fb5分别进行最大池化和最小池化操作，之后将得到的两个特征图按通道进行拼接，再输入至两个全连接层，得到骨折分类预测分向量O1，其维度大小为1×2；
步骤3.10、将特征图Fb4输入至多编码模块，得到骨折分类预测分向量O2，其维度大小和O1一致，以及骨折类别可视化结果图；
步骤3.11、将O1和O2进行加权求和，得到总的骨折分类预测向量Ofinal，其维度大小和O1一致，将Ofinal中每个值使用如下公式进行激活，得到A型骨折和B型骨折的概率，取概率较大的类别作为最终的骨折分类结果。
进一步的，所述的残差卷积块，由1×1卷积操作和残差块组成，残差块分别重复执行了1次、2次、8次、8次和4次。
进一步的，所述特征融合模块，包括批量归一化层、像素相加操作和激活层。
进一步的，所述将特征图Fb4输入至多编码模块，得到骨折分类预测分向量O2，包括：
(1)对输入特征图Fb4进行通道空间注意力提取操作，得到特征图Fm1；
(2)将特征图Fm1分别进行全局最大池化和全局平均池化，得到两个特征图，之后将两个特征图按通道进行拼接并输入至两个全连接层，得到特征向量V1；
(3)将Fb4进行类激活操作，计算Fb4每个位置的梯度，再通过全局平均池化操作，得到Fb4每个通道的平均梯度公式定义如下：
c∈[1，C]，k∈[1，K]，C定义为当前骨折预测的类别数，K定义为的通道，
将对Fb4进行加权并经过激活操作，得到类别激活图Fcam，公式定义如下：
(4)将Fb4进行两次并行的1×1卷积操作并进行维度转换操作，得到特征图Fq，其维度为Hb4Wb4×Cb4，特征图Fk，其维度为Cb4×Hb4Wb4；
(5)将Fq和Fk进行相乘操作、激活操作，之后将输出与Fcam进行相乘操作，得到骨折类别可视化结果图；
(6)将骨折类别可视化结果图分别进行全局最大池化和全局平均池化，得到两个特征图，之后将两个特征图按通道进行拼接并输入至两个全连接层，得到特征向量V2；
(7)将V1和V2进行相加，得到骨折分类预测分向量。
进一步的，所述对输入特征图Fb4进行通道空间注意力提取操作，得到特征图Fm1，包括：
(1)将输入特征图分别进行全局最大池化和全局平均池化，并输入至两个全连接层，得到两个特征图，之后将两个特征图按像素相加并进行激活操作，得到特征图f1；
(2)将特征图f1和输入特征图进行相乘操作，得到特征图f2；
(3)将特征图f2分别进行基于通道的全局最大池化和全局平均池化，得到两个特征图，之后将两个特征图按通道进行拼接，得到特征图f3；
(4)将特征图f3输入至卷积核大小为7×7的卷积层，并进行激活操作，得到特征图f3；
(5)将特征图f3和特征图f2进行相乘操作，得到用以输出的特征图。
本申请提出的一种基于空间位置引导的X光片桡骨远端骨折分类方法，首先通过目标检测模型得到桡骨关节面感兴趣区域，减少X光片中其他位置的干扰信息。然后一方面通过关节面分割结果作为位置信息引导分类网络的注意力，增强对关节面区域特征的学习，另一方面通过多编码模块的多种信息编码方式，使分类网络获得信息更加全面，最终使得桡骨远端骨折的分类效果更加准确，并且得到骨折类别可视化结果图。
附图说明
图1是本申请基于空间位置引导的X光片桡骨远端骨折分类方法流程图；
图2是本申请基于空间位置引导的X光片桡骨远端骨折分类方法技术框架图；
图3是本申请的特征融合模块结构示意图；
图4是本申请的多编码模块结构示意图；
图5是本申请的桡骨远端骨折分类样例图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了基于空间位置引导的X光片桡骨远端骨折分类方法，包括：
步骤S1、将原始手腕部X光图像输入至关节面目标检测模型，得到桡骨关节面检测结果，并对检测结果进行裁剪，得到关节面感兴趣区域IROI。
本申请所述目标检测模型包括目标检测第一卷积层、目标检测第二残差层、目标检测第三残差层、目标检测第四残差层、目标检测第五卷积层、最大池化层、目标检测第六卷积层、目标检测第七卷积层、目标检测第八卷积层、目标检测第九卷积层、目标检测第十卷积层和目标检测第十一卷积层，所述将原始手腕部X光图像输入至关节面目标检测模型，得到桡骨关节面检测结果，并对检测结果进行裁剪，得到关节面感兴趣区域IROI，包括：
步骤1.1、将原始手腕部X光图像输入至卷积核大小为3×3的目标检测第一卷积层，得到特征图F1，其维度大小为C1×H1×W1；
步骤1.2、将特征图F1输入至目标检测第二残差层中，所述目标检测第二残差层包括三个残差卷积块，得到特征图F2，其维度大小为C2×H2×W2；
步骤1.3、将特征图F2输入至目标检测第三残差层中，所述目标检测第三残差层包括一个残差卷积块，得到特征图F3，其维度大小为C3×H3×W3；
步骤1.4、将特征图F3输入至目标检测第四残差层中，所述目标检测第四残差层包括一个残差卷积块，之后输入至目标检测第五卷积层，所述目标检测第五卷积层包括卷积核大小为1×1、3×3和1×1的卷积块，得到特征图F4，其维度大小为C4×H4×W4；
步骤1.5、将特征图F4输入至最大池化层中，所述最大池化层包括大小分别为5×5、9×9、13×13的池化核，并使用零填充方法使得输出特征图的尺寸大小保持不变，之后将三个输出特征图按通道进行拼接输入至目标检测第六卷积层，所述目标检测第六卷积层包括卷积核大小为1×1、3×3和1×1的卷积块，得到特征图F5，其维度大小和F4一致；
步骤1.6、将特征图F5进行上采样，之后与F3按通道进行拼接，并输入至目标检测第七卷积层，所述目标检测第七卷积层包括卷积核大小为1×1和3×3的卷积块，得到特征图F6，其维度大小和F3一致；
步骤1.7、将特征图F6进行上采样，之后与F2按通道进行拼接，并输入至目标检测第八卷积层，所述目标检测第八卷积层包括卷积核大小为1×1、3×3、1×1、3×3和1×1的卷积块，得到特征图F7，其维度大小和F2一致；
步骤1.8、将特征图F7进行下采样，之后与F6按通道进行拼接，并输入至目标检测第九卷积层，所述目标检测第九卷积层包括卷积核大小为1×1、3×3、1×1、3×3和1×1的卷积块，得到特征图F8，其维度大小和F3一致；
步骤1.9、将特征图F8进行下采样，之后与F5按通道进行拼接，并输入至目标检测第十卷积层，所述目标检测第十卷积层包括卷积核大小为1×1、3×3、1×1、3×3和1×1的卷积块，得到特征图F9，其维度大小和F4一致；
步骤1.10、将F7、F8和F9分别输入至目标检测第十一卷积层，所述目标检测第十一卷积层包括卷积核大小为3×3和1×1的卷积块，得到输出结果一P1，其维度大小为18×H2×W2，输出结果二P2，其维度大小为18×H3×W3，以及输出结果三P3，其维度大小为18×H4×W4；
步骤1.11、将三个输出结果得到的预测框进行非极大值抑制操作，得到关节面检测结果，并对其进行裁剪，得到关节面感兴趣区域IROI。
其中，所述的残差卷积块，由1×1卷积操作和残差块组成，残差块分别重复执行了1次、2次、8次、8次和4次。
步骤S2、将关节面感兴趣区域IROI输入至分割模型，得到桡骨关节面的分割结果Iseg。
本申请所述分割模型包括分割第一卷积层、分割第二卷积层、分割第三卷积层、分割第四卷积层、分割第五卷积层、分割第六卷积层、分割第七卷积层、分割第八卷积层、分割第九卷积层和分割第十卷积层，所述将关节面感兴趣区域IROI输入至分割模型，得到桡骨关节面的分割结果Iseg，包括：
步骤2.1、将关节面感兴趣区域IROI输入至分割第一卷积层，所述分割第一卷积层包括两个卷积核大小为3×3的卷积块，得到特征图Fen1，其维度大小为Ca1×Ha1×Wa1；
步骤2.2、将特征图Fen1进行最大池化操作，并输入至分割第二卷积层，所述分割第二卷积层包括两个卷积核大小为3×3的卷积块，得到特征图Fen2，其维度大小为Ca2×Ha2×Wa2；
步骤2.3、将特征图Fen2进行最大池化操作，并输入分割第三卷积层，所述分割第三卷积层包括至两个卷积核大小为3×3的卷积块，得到特征图Fen3，其维度大小为Ca3×Ha3×Wa3；
步骤2.4、将特征图Fen3进行最大池化操作，并输入至分割第四卷积层，所述分割第四卷积层包括两个卷积核大小为3×3的卷积块，得到特征图Fen4，其维度大小为Ca4×Ha4×Wa4；
步骤2.5、将特征图Fen4进行最大池化操作，并输入至分割第五卷积层，所述分割第五卷积层包括两个卷积核大小为3×3的卷积块，得到特征图Fen5，其维度大小为Ca5×Ha5×Wa5；
步骤2.6、将特征图Fen5进行上采样，之后与Fen4按通道进行拼接，并输入至分割第六卷积层，所述分割第六卷积层包括两个卷积核大小为3×3的卷积块，得到特征图Fup1，其维度大小与Fen4一致；
步骤2.7、将特征图Fup1进行上采样，之后与Fen3按通道进行拼接，并输入至分割第七卷积层，所述分割第七卷积层包括两个卷积核大小为3×3的卷积块，得到特征图Fup2，其维度大小与Fen3一致；
步骤2.8、将特征图Fup2进行上采样，之后与Fen2按通道进行拼接，并输入至分割第八卷积层，所述分割第八卷积层包括两个卷积核大小为3×3的卷积块，得到特征图Fup3，其维度大小与Fen2一致；
步骤2.9、将特征图Fup3进行上采样，之后与Fen1按通道进行拼接，并输入至分割第九卷积层，所述分割第九卷积层包括两个卷积核大小为3×3的卷积块，得到特征图Fup4，其维度大小与Fen1一致；
步骤2.10、将特征图Fup4输入至分割第十卷积层，所述分割第十卷积层包括卷积核大小为3×3、3×3和1×1的卷积块，得到桡骨关节面的分割结果Iseg。
步骤S3、将关节面感兴趣区域IROI和分割结果Iseg输入至桡骨远端骨折分类模型，得到骨折分类结果和骨折类别可视化结果图。
如图2所示，本申请所述桡骨远端骨折分类网络包括分类第一卷积层、分类第二池化层、分类第三卷积层、分类第四残差层、分类第五卷积层、分类第六残差层、分类第七卷积层、分类第八残差层、分类第九残差层、两个全连接层、多编码模块和特征融合模块，所述将关节面感兴趣区域IROI和分割结果Iseg输入至桡骨远端骨折分类网络，得到骨折分类结果和骨折类别可视化结果图，包括：
步骤3.1、将关节面感兴趣区域IROI依次输入至卷积核大小为7×7的分类第一卷积层，池化核大小为3×3的分类第二池化层，得到特征图Fb1，其维度大小为Cb1×Hb1×Wb1；
步骤3.2、将分割结果Iseg输入至卷积核大小为1×1和3×3的分类第三卷积层，得到特征图Fp1，其维度大小与Fb1一致，之后将Fp1和Fb1输入至特征融合模块，得到特征图Fbp1，其维度大小与Fb1一致；
步骤3.3、将特征图Fbp1输入至分类第四残差层，所述分类第四残差层包括三个卷积核大小为1×1、3×3和1×1的残差块，得到特征图Fb2，其维度大小为Cb2×Hb2×Wb2；
步骤3.4、将特征图Fp1输入至卷积核大小为1×1和3×3的分类第五卷积层，得到特征图Fp2，其维度大小与Fb2一致，之后将Fp2和Fb2输入至特征融合模块，得到特征图Fbp2，其维度大小与Fb2一致；
步骤3.5、将特征图Fbp2输入至分类第六残差层，所述分类第六残差层包括四个卷积核大小为1×1、3×3和1×1的残差块，得到特征图Fb3，其维度大小为Cb3×Hb3×Wb3；
步骤3.6、将特征图Fp2输入至卷积核大小为1×1和3×3的分类第七卷积层，得到特征图Fp3，其维度大小与Fb3一致，之后将Fp3和Fb3输入至特征融合模块，得到特征图Fbp3，其维度大小与Fb3一致；
步骤3.7、将特征图Fbp3输入至分类第八残差层，所述分类第八残差层包括六个卷积核大小为1×1、3×3和1×1的残差块，得到特征图Fb4，其维度大小为Cb4×Hb4×Wb4；
步骤3.8、将特征图Fb4输入至分类第九残差层，所述分类第九残差层包括三个卷积核大小为1×1、3×3和1×1的残差块，得到特征图Fb5，其维度大小为Cb5×Hb5×Wb5；
步骤3.9、将特征图Fb5分别进行最大池化和最小池化操作，之后将得到的两个特征图按通道进行拼接，再输入至两个全连接层，得到骨折分类预测分向量O1，其维度大小为1×2；
步骤3.10、将特征图Fb4输入至多编码模块，得到骨折分类预测分向量O2，其维度大小和O1一致，以及骨折类别可视化结果图；
步骤3.11、将O1和O2进行加权求和，得到总的骨折分类预测向量Ofinal，其维度大小和O1一致，将Ofinal中每个值使用如下公式进行激活，得到A型骨折和B型骨折的概率，取概率较大的类别作为最终的骨折分类结果：
本申请所述特征融合模块，如图3所示，包括批量归一化层、像素相加操作和激活层。
本申请所述多编码模块，操作如图4所示，包括：
(1)对输入特征图Fb4进行通道空间注意力提取操作，得到特征图Fm1；
(2)将特征图Fm1分别进行全局最大池化和全局平均池化，得到两个特征图，之后将两个特征图按通道进行拼接并输入至两个全连接层，得到特征向量V1；
(3)将Fb4进行类激活操作，计算Fb4每个位置的梯度，再通过全局平均池化操作，得到Fb4每个通道的平均梯度公式定义如下：
c∈[1，C]，k∈[1，K]，C定义为当前骨折预测的类别数，K定义为的通道，
将对Fb4进行加权并经过激活操作，得到类别激活图Fcam，公式定义如下：
(4)将Fb4进行两次并行的1×1卷积操作并进行维度转换操作，得到特征图Fq，其维度为Hb4Wb4×Cb4，特征图Fk，其维度为Cb4×Hb4Wb4；
(5)将Fq和Fk进行相乘操作、激活操作，之后将输出与Fcam进行相乘操作，得到骨折类别可视化结果图；
(6)将骨折类别可视化结果图分别进行全局最大池化和全局平均池化，得到两个特征图，之后将两个特征图按通道进行拼接并输入至两个全连接层，得到特征向量V2；
(7)将V1和V2进行相加，得到骨折分类预测分向量。
本申请所述对输入特征图Fb4进行通道空间注意力提取操作，得到特征图Fm1，包括
(1)将输入特征图分别进行全局最大池化和全局平均池化，并输入至两个全连接层，得到两个特征图，之后将两个特征图按像素相加并进行激活操作，得到特征图f1；
(2)将特征图f1和输入特征图进行相乘操作，得到特征图f2；
(3)将特征图f2分别进行基于通道的全局最大池化和全局平均池化，得到两个特征图，之后将两个特征图按通道进行拼接，得到特征图f3；
(4)将特征图f3输入至卷积核大小为7×7的卷积层，并进行激活操作，得到特征图f3；
(5)将特征图f3和特征图f2进行相乘操作，得到用以输出的特征图。
需要说明的是，本申请的桡骨远端骨折分类样例图如图5所示。
需要说明的是，本申请中C为通道数，H为图片的高度，W为图片的宽度，字母的下标表示序号，用以区别不同特征图的维度。
本申请通过目标检测模型，得到桡骨的关节面感兴趣区域作为分类模型的输入，大大降低X光片中其他部位的干扰信息。而桡骨远端骨折类型判断是依据骨折是否延申到关节面，故利用桡骨关节面的分割结果作为位置信息引导分类网络的注意力，增强对关节面区域特征的学习。此外，增加多种信息编码方式，使得分类网络获得的信息更加全面，既可以提高桡骨远端骨折分类的效果，又可以得到骨折类别可视化结果图。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于空间位置引导的X光片桡骨远端骨折分类方法，其特征在于，所述基于空间位置引导的X光片桡骨远端骨折分类方法，包括：
将原始手腕部X光图像输入至关节面目标检测模型，得到桡骨关节面检测结果，并对检测结果进行裁剪，得到关节面感兴趣区域IROI；
将关节面感兴趣区域IROI输入至关节面分割模型，得到桡骨关节面的分割结果Iseg；
将关节面感兴趣区域IROI和分割结果Iseg输入至桡骨远端骨折分类模型，得到骨折分类结果和骨折类别可视化结果图；
其中，所述桡骨远端骨折分类网络包括分类第一卷积层、分类第二池化层、分类第三卷积层、分类第四残差层、分类第五卷积层、分类第六残差层、分类第七卷积层、分类第八残差层、分类第九残差层、两个全连接层、多编码模块和特征融合模块，所述将关节面感兴趣区域IROI和分割结果Iseg输入至桡骨远端骨折分类网络，得到骨折分类结果和骨折类别可视化结果图，包括：
步骤3.1、将关节面感兴趣区域IROI依次输入至卷积核大小为7×7的分类第一卷积层，池化核大小为3×3的分类第二池化层，得到特征图Fb1，其维度大小为Cb1×Hb1×Wb1；
步骤3.2、将分割结果Iseg输入至卷积核大小为1×1和3×3的分类第三卷积层，得到特征图Fp1，其维度大小与Fb1一致，之后将Fp1和Fb1输入至特征融合模块，得到特征图Fbp1，其维度大小与Fb1一致；
步骤3.3、将特征图Fbp1输入至分类第四残差层，所述分类第四残差层包括三个卷积核大小为1×1、3×3和1×1的残差块，得到特征图Fb2，其维度大小为Cb2×Hb2×Wb2；
步骤3.4、将特征图Ep1输入至卷积核大小为1×1和3×3的分类第五卷积层，得到特征图Fp2，其维度大小与Fb2一致，之后将Fp2和Fb2输入至特征融合模块，得到特征图Fbp2，其维度大小与Fb2一致；
步骤3.5、将特征图Fbp2输入至分类第六残差层，所述分类第六残差层包括四个卷积核大小为1×1、3×3和1×1的残差块，得到特征图Fb3，其维度大小为Cb3×Hb3×Wb3；
步骤3.6、将特征图Ep2输入至卷积核大小为1×1和3×3的分类第七卷积层，得到特征图Fp3，其维度大小与Fb3一致，之后将Fp3和Fb3输入至特征融合模块，得到特征图Fbp3，其维度大小与Fb3一致；
步骤3.7、将特征图Fbp3输入至分类第八残差层，所述分类第八残差层包括六个卷积核大小为1×1、3×3和1×1的残差块，得到特征图Fb4，其维度大小为Cb4×Hb4×Wb4；
步骤3.8、将特征图Fb4输入至分类第九残差层，所述分类第九残差层包括三个卷积核大小为1×1、3×3和1×1的残差块，得到特征图Fb5，其维度大小为Cb5×Hb5×Wb5；
步骤3.9、将特征图Fb5分别进行最大池化和最小池化操作，之后将得到的两个特征图按通道进行拼接，再输入至两个全连接层，得到骨折分类预测分向量O1，其维度大小为1×2；
步骤3.10、将特征图Fb4输入至多编码模块，得到骨折分类预测分向量O2，其维度大小和O1一致，以及骨折类别可视化结果图；
步骤3.11、将O1和02进行加权求和，得到总的骨折分类预测向量Ofinal，其维度大小和O1一致，将Ofinal中每个值使用如下公式进行激活，得到A型骨折和B型骨折的概率，取概率较大的类别作为最终的骨折分类结果：
2.根据权利要求1所述的基于空间位置引导的X光片桡骨远端骨折分类方法，其特征在于，所述目标检测模型包括目标检测第一卷积层、目标检测第二残差层、目标检测第三残差层、目标检测第四残差层、目标检测第五卷积层、最大池化层、目标检测第六卷积层、目标检测第七卷积层、目标检测第八卷积层、目标检测第九卷积层、目标检测第十卷积层和目标检测第十一卷积层，所述将原始手腕部X光图像输入至关节面目标检测模型，得到桡骨关节面检测结果，并对检测结果进行裁剪，得到关节面感兴趣区域IROI，包括：
步骤1.1、将原始手腕部X光图像输入至卷积核大小为3×3的目标检测第一卷积层，得到特征图F1，其维度大小为C1×H1×W1；
步骤1.2、将特征图F1输入至目标检测第二残差层中，所述目标检测第二残差层包括三个残差卷积块，得到特征图F2，其维度大小为C2×H2×W2；
步骤1.3、将特征图F2输入至目标检测第三残差层中，所述目标检测第三残差层包括一个残差卷积块，得到特征图F3，其维度大小为C3×H3×W3；
步骤1.4、将特征图F3输入至目标检测第四残差层中，所述目标检测第四残差层包括一个残差卷积块，之后输入至目标检测第五卷积层，所述目标检测第五卷积层包括卷积核大小为1×1、3×3和1×1的卷积块，得到特征图F4，其维度大小为C4×H4×W4；
步骤1.5、将特征图F4输入至最大池化层中，所述最大池化层包括大小分别为5×5、9×9、13×13的池化核，并使用零填充方法使得输出特征图的尺寸大小保持不变，之后将三个输出特征图按通道进行拼接输入至目标检测第六卷积层，所述目标检测第六卷积层包括卷积核大小为1×1、3×3和1×1的卷积块，得到特征图F5，其维度大小和F4一致；
步骤1.6、将特征图F5进行上采样，之后与F3按通道进行拼接，并输入至目标检测第七卷积层，所述目标检测第七卷积层包括卷积核大小为1×1和3×3的卷积块，得到特征图F6，其维度大小和F3一致；
步骤1.7、将特征图F6进行上采样，之后与F2按通道进行拼接，并输入至目标检测第八卷积层，所述目标检测第八卷积层包括卷积核大小为1×1、3×3、1×1、3×3和1×1的卷积块，得到特征图F7，其维度大小和F2一致；
步骤1.8、将特征图F7进行下采样，之后与F6按通道进行拼接，并输入至目标检测第九卷积层，所述目标检测第九卷积层包括卷积核大小为1×1、3×3、1×1、3×3和1×1的卷积块，得到特征图F8，其维度大小和F3一致；
步骤1.9、将特征图F8进行下采样，之后与F5按通道进行拼接，并输入至目标检测第十卷积层，所述目标检测第十卷积层包括卷积核大小为1×1、3×3、1×1、3×3和1×1的卷积块，得到特征图F9，其维度大小和F4一致；
步骤1.10、将F7、F8和F9分别输入至目标检测第十一卷积层，所述目标检测第十一卷积层包括卷积核大小为3×3和1×1的卷积块，得到输出结果一P1，其维度大小为18×H2×W2，输出结果二P2，其维度大小为18×H3×W3，以及输出结果三P3，其维度大小为18×H4×W4；
步骤1.11、将三个输出结果得到的预测框进行非极大值抑制操作，得到关节面检测结果，并对其进行裁剪，得到关节面感兴趣区域IROI。
3.根据权利要求1所述的基于空间位置引导的X光片桡骨远端骨折分类方法，其特征在于，所述分割模型包括分割第一卷积层、分割第二卷积层、分割第三卷积层、分割第四卷积层、分割第五卷积层、分割第六卷积层、分割第七卷积层、分割第八卷积层、分割第九卷积层和分割第十卷积层，所述将关节面感兴趣区域IROI输入至分割模型，得到桡骨关节面的分割结果Iseg，包括：
步骤2.1、将关节面感兴趣区域IROI输入至分割第一卷积层，所述分割第一卷积层包括两个卷积核大小为3×3的卷积块，得到特征图Fen1，其维度大小为Ca1×Ha1×Wa1；
步骤2.2、将特征图Fen1进行最大池化操作，并输入至分割第二卷积层，所述分割第二卷积层包括两个卷积核大小为3×3的卷积块，得到特征图Fen2，其维度大小为Ca2×Ha2×Wa2；
步骤2.3、将特征图Fen2进行最大池化操作，并输入分割第三卷积层，所述分割第三卷积层包括至两个卷积核大小为3×3的卷积块，得到特征图Fen3，其维度大小为Ca3×Ha3×Wa3；
步骤2.4、将特征图Fen3进行最大池化操作，并输入至分割第四卷积层，所述分割第四卷积层包括两个卷积核大小为3×3的卷积块，得到特征图Fen4，其维度大小为Ca4×Ha4×Wa4；
步骤2.5、将特征图Fen4进行最大池化操作，并输入至分割第五卷积层，所述分割第五卷积层包括两个卷积核大小为3×3的卷积块，得到特征图Fen5，其维度大小为Ca5×Ha5×Wa5；
步骤2.6、将特征图Fen5进行上采样，之后与Fen4按通道进行拼接，并输入至分割第六卷积层，所述分割第六卷积层包括两个卷积核大小为3×3的卷积块，得到特征图Fup1，其维度大小与Fen4一致；
步骤2.7、将特征图Fup1进行上采样，之后与Fen3按通道进行拼接，并输入至分割第七卷积层，所述分割第七卷积层包括两个卷积核大小为3×3的卷积块，得到特征图Fup2，其维度大小与Fen3一致；
步骤2.8、将特征图Fup2进行上采样，之后与Fen2按通道进行拼接，并输入至分割第八卷积层，所述分割第八卷积层包括两个卷积核大小为3×3的卷积块，得到特征图Fup3，其维度大小与Fen2一致；
步骤2.9、将特征图Fup3进行上采样，之后与Fen1按通道进行拼接，并输入至分割第九卷积层，所述分割第九卷积层包括两个卷积核大小为3×3的卷积块，得到特征图Fup4，其维度大小与Fen1一致；
步骤2.10、将特征图Fup4输入至分割第十卷积层，所述分割第十卷积层包括卷积核大小为3×3、3×3和1×1的卷积块，得到桡骨关节面的分割结果Iseg。
4.根据权利要求2所述的基于空间位置引导的X光片桡骨远端骨折分类方法，其特征在于，所述的残差卷积块，由1×1卷积操作和残差块组成，残差块分别重复执行了1次、2次、8次、8次和4次。
5.根据权利要求1所述的基于空间位置引导的X光片桡骨远端骨折分类方法，其特征在于，所述特征融合模块，包括批量归一化层、像素相加操作和激活层。
6.根据权利要求1所述的基于空间位置引导的X光片桡骨远端骨折分类方法，其特征在于，所述将特征图Fb4输入至多编码模块，得到骨折分类预测分向量O2，包括：
(1)对输入特征图Fb4进行通道空间注意力提取操作，得到特征图Fm1；
(2)将特征图Fm1分别进行全局最大池化和全局平均池化，得到两个特征图，之后将两个特征图按通道进行拼接并输入至两个全连接层，得到特征向量V1；
(3)将Fb4进行类激活操作，计算Fb4每个位置的梯度，再通过全局平均池化操作，得到Fb4每个通道的平均梯度将/>对Fb4进行加权并经过激活操作，得到类别激活图Fcam；
(4)将Fb4进行两次并行的1×1卷积操作并进行维度转换操作，得到特征图Fq，其维度为Hb4Wb4×Cb4，特征图Fk，其维度为Cb4×Hb4Wb4；
(5)将Fq和Fk进行相乘操作、激活操作，之后将输出与Fcam进行相乘操作，得到骨折类别可视化结果图；
(6)将骨折类别可视化结果图分别进行全局最大池化和全局平均池化，得到两个特征图，之后将两个特征图按通道进行拼接并输入至两个全连接层，得到特征向量V2；
(7)将V1和V2进行相加，得到骨折分类预测分向量。
7.根据权利要求6所述的基于空间位置引导的X光片桡骨远端骨折分类方法，其特征在于，所述对输入特征图Fb4进行通道空间注意力提取操作，得到特征图Fm1，包括：
(1)将输入特征图分别进行全局最大池化和全局平均池化，并输入至两个全连接层，得到两个特征图，之后将两个特征图按像素相加并进行激活操作，得到特征图f1；
(2)将特征图f1和输入特征图进行相乘操作，得到特征图f2；
(3)将特征图f2分别进行基于通道的全局最大池化和全局平均池化，得到两个特征图，之后将两个特征图按通道进行拼接，得到特征图f3；
(4)将特征图f3输入至卷积核大小为7×7的卷积层，并进行激活操作，得到特征图f3；
(5)将特征图f3和特征图f2进行相乘操作，得到用以输出的特征图。
CN202110850486.8A 2021-07-27 2021-07-27 一种基于空间位置引导的x光片桡骨远端骨折分类方法 Active CN113705613B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110850486.8A CN113705613B (zh) 2021-07-27 2021-07-27 一种基于空间位置引导的x光片桡骨远端骨折分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110850486.8A CN113705613B (zh) 2021-07-27 2021-07-27 一种基于空间位置引导的x光片桡骨远端骨折分类方法

Publications (2)

Publication Number Publication Date
CN113705613A CN113705613A (zh) 2021-11-26
CN113705613B true CN113705613B (zh) 2024-02-02

Family

ID=78650553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110850486.8A Active CN113705613B (zh) 2021-07-27 2021-07-27 一种基于空间位置引导的x光片桡骨远端骨折分类方法

Country Status (1)

Country Link
CN (1) CN113705613B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114049524A (zh) * 2021-11-29 2022-02-15 中国银行股份有限公司 目标识别分类方法及装置
CN116862869B (zh) * 2023-07-07 2024-04-19 东北大学 基于标志点检测的下颌骨骨折自动检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921227A (zh) * 2018-07-11 2018-11-30 广东技术师范学院 一种基于capsule理论的青光眼医学影像分类方法
CN110097564A (zh) * 2019-04-04 2019-08-06 平安科技（深圳）有限公司 基于多模型融合的图像标注方法、装置、计算机设备及存储介质
CN111008974A (zh) * 2019-11-22 2020-04-14 浙江飞图影像科技有限公司 多模型融合的股骨颈骨折区域定位和分割方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921227A (zh) * 2018-07-11 2018-11-30 广东技术师范学院 一种基于capsule理论的青光眼医学影像分类方法
CN110097564A (zh) * 2019-04-04 2019-08-06 平安科技（深圳）有限公司 基于多模型融合的图像标注方法、装置、计算机设备及存储介质
CN111008974A (zh) * 2019-11-22 2020-04-14 浙江飞图影像科技有限公司 多模型融合的股骨颈骨折区域定位和分割方法及系统

Also Published As

Publication number Publication date
CN113705613A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
Ohata et al. Automatic detection of COVID-19 infection using chest X-ray images through transfer learning
CN111145170B (zh) 一种基于深度学习的医学影像分割方法
Pranata et al. Deep learning and SURF for automated classification and detection of calcaneus fractures in CT images
Mu et al. Progressive global perception and local polishing network for lung infection segmentation of COVID-19 CT images
Zhao et al. D2A U-Net: Automatic segmentation of COVID-19 CT slices based on dual attention and hybrid dilated convolution
CN113705613B (zh) 一种基于空间位置引导的x光片桡骨远端骨折分类方法
Fan et al. COVID-19 detection from X-ray images using multi-kernel-size spatial-channel attention network
Rahman et al. Deep learning–driven automated detection of Covid-19 from radiography images: A comparative analysis
Zhao et al. D2a u-net: Automatic segmentation of covid-19 lesions from ct slices with dilated convolution and dual attention mechanism
CN110895815A (zh) 一种基于深度学习的胸部x线气胸分割方法
CN117809122B (zh) 一种颅内大血管图像的处理方法、系统、电子设备及介质
CN115937609A (zh) 基于局部和全局信息的角膜病图像检测分类方法及装置
Wu et al. Continuous refinement-based digital pathology image assistance scheme in medical decision-making systems
Wen et al. ACSN: Attention capsule sampling network for diagnosing COVID-19 based on chest CT scans
Ma et al. Segmenting lung lesions of COVID-19 from CT images via pyramid pooling improved Unet
CN113469942B (zh) 一种ct图像病变检测方法
Kusakunniran et al. Encoder-decoder network with RMP for tongue segmentation
Xin et al. Transformer guided self-adaptive network for multi-scale skin lesion image segmentation
Adegun et al. Deep convolutional network-based framework for melanoma lesion detection and segmentation
CN115984257A (zh) 一种基于多尺度transformer的多模态医学图像融合方法
CN115908888A (zh) 一种介入手术机器人基于Unet的DSA图像序列的血管介入器械跟踪方法
Liu et al. TrEnD: A transformer‐based encoder‐decoder model with adaptive patch embedding for mass segmentation in mammograms
CN113379691A (zh) 一种基于先验引导的乳腺病灶深度学习分割方法
Prethija et al. EAMR-Net: A multiscale effective spatial and cross-channel attention network for retinal vessel segmentation
Avhad et al. Iridology based human health conditions predictions with computer vision and deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant