CN114663426A - 一种基于关键骨区定位的骨龄评估方法 - Google Patents

一种基于关键骨区定位的骨龄评估方法 Download PDF

Info

Publication number
CN114663426A
CN114663426A CN202210420806.0A CN202210420806A CN114663426A CN 114663426 A CN114663426 A CN 114663426A CN 202210420806 A CN202210420806 A CN 202210420806A CN 114663426 A CN114663426 A CN 114663426A
Authority
CN
China
Prior art keywords
bone
network
area
heat map
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210420806.0A
Other languages
English (en)
Inventor
李章勇
陈望
李欣蔚
陈勇
刘洪�
周秦
蒋宇皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202210420806.0A priority Critical patent/CN114663426A/zh
Publication of CN114663426A publication Critical patent/CN114663426A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Abstract

本发明提供一种基于关键骨区定位的骨龄评估方法，所述方法包括将选择的手骨X光原始图像输入特征提取网络中，生成第一可视化热图，并利用第一可视化热图提取出完整手骨区域；将完整手骨区域输入特征提取网络中，生成第二可视化热图，并利用第二可视化热图提取出完整手骨区域中的腕骨区域；将完整手骨区域中的剩余区域输入基于注意力机制的特征提取网络，生成第三可视化热图，利用第三可视化热图提取出剩余区域中的掌指骨区域；将腕骨区域、掌指骨区域和对象的性别信息输入到预测网络中，得到对象的骨龄结果。本评估方法结合图像定位和骨龄预测，能够聚焦于手骨图像的关键区域，弱化无关区域的影响，从而实现准确的骨龄评估。

Description

一种基于关键骨区定位的骨龄评估方法
技术领域
本发明涉及图像定位和骨龄预测领域，尤其涉及一种基于关键骨区定位的骨龄评估方法。
背景技术
人的生长发育可用两个“年龄”来表示，即生活年龄(日历年龄)和生物年龄(骨龄)。骨龄代表着骨骼的成熟度，通常是基于左手、左手腕或左膝盖的X线片获得的，骨龄作为应用最为广泛的生物年龄，在临床医学、体育竞技、司法鉴定等领域都有重要意义。
骨骼骨年龄评估(BAA)是评价临床实践中个体生长发育水平和成熟程度最准确、最客观的方法。人类骨骼发育的变化基本相似，每一根骨头的发育过程都具有连续性和阶段性，不同阶段的骨头具有不同的形态特点。由于非显性手骨化分期的判别性质，BAA方法通常采用左手放射学检查，然后借助通用标准进行骨龄评估。
目前，Tanner-Whitehouse(TW)法和Greulich-Pyle(G&P)法是两种常用方法。G&P法是将被评价的X线片与发育程度相近的图谱标准片做整片比较，直到选择出发育程度最为相似的标准片，该标准片的骨龄即为被评价儿童的骨龄；而TW方法分析特定的感兴趣区域(ROIs，ROIs由桡骨、尺骨、腕骨和掌指骨组成)，通过评分机制单独评估，而不是基于整个X线片评估骨年龄。每个ROI都由一个数值评分系统来评估，最终的骨龄是通过所有ROI得分的平均值来估计的。然而，G&P和TW方法都需要足够的专家知识来分析手部X光片。平均而言，一名训练有素的放射科医生可能需要7.9分钟或1.4分钟来分别使用TW或G&P对患者进行骨龄评估。G&P方法评估速度更快，且简单易学，76％的放射科医生选择使用G&P方法。但是这种方法的缺陷是建立的标准没有考虑不同骨的权重(如长骨与腕骨)，实际应用难以完全符合某个标准骨龄，所以评价者必须主观判定符合哪个标准骨龄；基于TW的方法，如TW2和TW3，被用于特定骨骼的分析，而不是像G&P方法那样用于全身骨骼的分析。与G&P方法相比，TW方法具有更有效、更准确的性能，但TW方法使用较少，因为它们需要更多的时间来进行骨龄分析。
深度学习和神经网络模型的出现，使计算机能够模拟人类大脑的深层抽象认知过程，实现对数据的计算机复杂计算和优化。基于人工智能的自动骨龄评估可以解决放射科医生需要处理大量图像来确定骨龄的负担，显著减少了主观性、以及与传统骨龄评估方法相关的观察者之间和观察者内部的影响。现有的基于深度学习的骨龄评估方法总体上分为两大类：
全局图像作为输入：将全局图像作为输入的方法没有充分利用具有区别性的局部信息，忽略了对特定骨骼的细粒度分析，且无ROI方法的精度和可解释性普遍较差，这极大地限制了这类方法的实用价值；同时，原始输入的图像较大，将原始图像缩小为较低的分辨率又会损失部分的重要信息，而且原始图像手的摆放不同，在位置不确定的情况下，ROI较小，这也会降低模型的性能；除此之外，将原始图像作为输入还会存在X射线标签等其他物体因素的干扰。
额外标注边界框或关键点：通过额外标注边界框或关键点的方法需要对ROI进行大而精确的边界框/掩模标注，给领域专家带来了昂贵的劳动成本，限制了现实的实用价值；而且额外的标注不仅成本昂贵，且主观因素的影响也较大，领域专家识别的强监督ROI注意可能不适合自动化方法，严格的人类先验限制了深度学习的泛化。同时，现有端到端的关键区域定位研究，定位的ROI与临床医生定位的结果存在较大的误差，对预测结果产生了极大的影响。
深度学习算法模型已被广泛应用于基于X射线手骨图像的图像分析，但同样也存在着各种各样独特的挑战。首先，骨图像的标记需要高水平的专业知识和更多的时间，使用深度学习模型需要庞大的数据集来完成对数据的训练，从有限的数据量对模型进行有效和高效的训练是深度学习模型的一个主要限制。同时，在训练模型之前，还需对数据进行附加的预处理步骤，包括建模不确定性和噪声去除；除此之外，类不平衡是另一个与训练数据相关的问题。例如，几种数据增强方法(如加性噪声、亮度调整、图像翻转、图像裁剪等)通过旋转和缩放可能产生类不平衡，从而导致对骨图像处理过程中产生新的干扰。
发明内容
针对上述技术问题，本发明的目的在于提供一种基于关键骨区定位的骨龄评估方法，利用可视化热图和图像定位实现对手骨图像的关键骨区提取，弱化无关区域的影响。
为实现上述目的，本发明提供了一种基于关键骨区定位的骨龄评估方法，包括如下步骤：
随机选择一定数量的手骨X光原始图像，将选择的原始图像输入特征提取网络中，生成第一可视化热图，并利用第一可视化热图提取出完整手骨区域；
将所述完整手骨区域输入特征提取网络中，生成第二可视化热图，并利用第二可视化热图提取出完整手骨区域中的腕骨区域；
将完整手骨区域中的剩余区域输入基于注意力机制的特征提取网络，生成第三可视化热图，利用第三可视化热图提取出剩余区域中的掌指骨区域；
将提取出的腕骨区域和掌指骨区域以及对象的性别信息输入到预测网络中，预测得到对象的骨龄结果。
通过以上步骤，本检测方法结合图像定位和骨龄预测，能够较好地抑制原始图像背景噪声和解决手骨图像手型差异问题，比较准确地定位出关键骨区，从而进行骨龄评估。
与现有技术相比，本申请具有如下有益效果：
本发明提出了一种自动定位手骨图像的关键骨区的端到端的骨龄评估方法，并考虑性别信息对于预测结果的影响，提出了一种基于关键骨区定位的骨龄评估方法，本评估方法结合图像定位和骨龄预测，能够聚焦于手骨图像的关键区域，弱化无关区域的影响，从而实现准确的骨龄评估；这种定位和预测两阶段的评估方法所得到的评估结果更为准确。
附图说明
图1是本发明实施例中一种基于关键骨区定位的骨龄评估框架结构图；
图2是本发明实施例中一种基于关键骨区定位的骨龄评估方法流程图；
图3是本发明实施例中特征提取网络的结构示意图；
图4是本发明实施例中预测网络的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。
图1是本发明实施例中一种基于关键骨区定位的骨龄评估框架结构图，如图1所示，在本发明实施例中，包括定位阶段和预测阶段；在定位阶段，通过添加CBAM注意力机制模块，聚焦于手骨图像的关键区域，弱化无关区域的影响；在预测阶段，将性别特征和提取的关键骨区特征串联到最后一个全连接层，生成对应的预测结果。具体的，本发明首先需要对输入的X光片即手骨X光原始图像进行候选区域检测(Region Of Interest Detection，简称ROI Detection)，也即从目标图像中识别出的候选识别区域，利用区域定位的方式，从X光片中提取出完整手骨区域、腕骨区域以及掌指骨区域；将这些区域与性别(gender)一起输入预测网络(Age Recognition)，进行骨龄预测，输出骨龄预测结果(Bone Age)。
图2是本发明实施例中一种基于关键骨区定位的骨龄评估方法流程图，如图2所述，所述方法包括：
101、随机选择一定数量的手骨X光原始图像，将选择的原始图像输入特征提取网络中，生成第一可视化热图，并利用第一可视化热图提取出完整手骨区域；
在本发明实施例中，所述手骨X光原始图像可以直接从X光机采集的手骨原始图像中获得，可以通过人工选择或者智能设备选取一定数量的手骨图像，在选择过程中，可以尽量选择较为清晰的原始图像；选择出原始图像后，将原始图像直接输入到特征提取网络中，生成第一可视化热图，利用手骨图像的热力特征，可以从中提取出完整手骨区域。
其中，所述特征提取网络可以如图3所示，本发明实施例采用修改后的ResNet50作为特征提取网络的主干部分：首先，将维度为(3,224,224)的输入图像经过一个步长为2的7*7的卷积层和一个步长为2的3*3的最大池化层完成两次压缩，得到维度为(64,56,56)的特征图；其次，将得到的特征图经过一个步长为1的残差模块，得到图像大小不变，通道数变为4倍的(256,56,56)的特征图；然后，将特征图先后经过三个步长为2的残差模块，每个残差模块将特征图的大小压缩一半，通道数扩大一倍，最终得到的是将输入图像进行了32次压缩，维度为(2048,7,7)的特征图；最后，添加一个全局最大池化层和有240个输出节点的全连接层。
102、将所述完整手骨区域输入特征提取网络中，生成第二可视化热图，并利用第二可视化热图提取出完整手骨区域中的腕骨区域；
在本发明实施例中，将完整手骨图像可以输入到与步骤101相同的特征提取网络中，继续对完整手骨图像生成第二可视化热图，同样利用腕骨图像的热力特征，可以从中提取出腕骨区域。
在本发明的优选实施例中，可以对所述特征提取网络中设置CBAM注意力机制模块，分别进行通道和空间上的注意力；其中，利用基于注意力机制的特征提取网络可以对完整手骨图像进行腕骨区域的提取，相比于传统的特征提取网络，基于注意力机制的特征提取网络能够进一步提取出更为准确的腕骨区域。
103、将完整手骨区域中的剩余区域输入基于注意力机制的特征提取网络，生成第三可视化热图，利用第三可视化热图提取出剩余区域中的掌指骨区域；
在本发明实施例中，需要将完整手骨区域中除开腕骨区域以外的剩余区域输入到基于注意力机制的特征提取网络中，如图3所示，首先，通道注意力模块的输入端分别连接一个全局最大池化层和一个全局平局池化层，两个池化层之后是两个全连接层，全连接层之后是一个加和操作以及一个sigmoid激活操作；其次，空间注意力模块的输入端先进行一个全局最大池化和一个全局平均池化，两个池化层之后是两个全连接层，全连接层之后是一个7×7卷积以及一个sigmoid激活操作；其中，权重公式如下：
Figure BDA0003607534200000061
Figure BDA0003607534200000062
其中，F代表模型每一层输出特征图，MLP为全连接层，AvgPool为全局平均池化层，MaxPool为全局最大池化层，σ为sigmoid激活函数。空间注意力权重计算方式类似，不过是将池化方式变为了通道域的池化，且将全连接层改为了f7×7，f7×7为7×7的卷积。
在本发明优选实施例中，生成可视化热图的过程中，本发明还采用了CAM的改进方法，即Grad-CAM，可以在骨龄评估模型训练完成后，获得模型的可视化图。相比于CAM，Grad-CAM可以对任意结构的CNN进行可视化，不需要修改网络结构或者重新训练。Grad-CAM的思路与CAM基本一致，也是通过得到每一组特征图的权重，最后求加权和的方式获得热力图。但是它跟CAM的主要区别就在于求权重
Figure BDA0003607534200000063
的过程。CAM通过将全连接层替换为全局平均池化层并且重新训练来求得权重，而Grad-CAM则是使用梯度的全局平均来计算权重。
Figure BDA0003607534200000064
其为权重计算公式，其中，
Figure BDA0003607534200000065
表示在第k个特征图中对应类别c的权重，Z为特征图像素个数，yc是对应类别c的分值，
Figure BDA0003607534200000066
表示第k个特征图中(i,j)位置处的像素值。求的所有权重后，求加权和就能得到热力图。加权和方法如下：
Figure BDA0003607534200000071
Grad-CAM与CAM的另一个不同点是使用ReLU激活函数来只关注对于类别有关的区域，即特征图大于0的部分。
通过使用Grad-CAM方法，本发明可以在骨龄评估模型训练完成，获得较好测试性能后，获取模型的可视化热力图。通过热力图，找出对结果影响较大的部分，并与传统图谱进行对比，从而从另一个方面对模型性能进行分析和评估。
在本发明的优选实施例中，本发明还可通过可变半径高斯核来渲染出第三可视化热图，并将第三可视化热图映射到相应区域中，从而提取出对应的掌指骨区域；也即是将完整手骨区域中的剩余区域输入基于注意力机制的特征提取网络，利用可变半径高斯核渲染出第三可视化热图，将第三可视化热图映射到剩余区域上，从而提取出掌指骨区域。
在本发明实施例中，训练基于注意力机制的特征提取网络时，根据每一层特征图中对应类别c的权重，结合sigmoid函数，计算出每一层特征图对应类别的关键点，对于关键点c，其位置坐标为(x,y)，将关键点c通过可变半径高斯核
Figure BDA0003607534200000072
渲染到可视化热图上。
其中，Yc表示坐标为(x,y)的关键点c的可变半径高斯核；x表示关键点c的横坐标；x'表示经过下采样后的对应关键点的横坐标；
Figure BDA0003607534200000073
表示实际掌指骨区域的宽与自适应目标区域的宽之间的标准方差，y表示关键点c的纵坐标；y'表示经过下采样后的对应关键点的纵坐标；
Figure BDA0003607534200000074
表示实际掌指骨区域的高与自适应目标区域的高之间的标准方差。这里的高斯核函数的标准差随着目标掌指骨区域的宽和高的变化而变化，能够自适应目标掌指骨区域的尺寸进行热图渲染，能够适应不同对象以及不同拍摄角度下，不同尺寸的掌指骨区域的提取问题。
在一些可实现的实施例中，本发明中完整手骨区域、腕骨区域的提取过程也可以采用掌指骨区域的提取过程，也即可以采用上述基于注意力机制的特征提取网络提取出对应的目标区域，本发明的可视化热图的渲染采用自适应策略，由于高斯核的半径是随着关键点坐标进行变化的，所以在原始图像质量不佳的情况下，例如拍摄大小不一致，拍摄角度不一致等情况下，能够使得提取出的区域边界框更加紧凑，计算坐标范围由整个原始图像缩小为目标的区域边界框内，能够加快网络收敛；还能有效解决区域重叠下手骨区域、腕骨区域以及掌指骨区域下所存在的漏检、误检、检测精度不高的问题，能够提高腕骨区域和掌指骨区域的提取精度，从而提升骨龄评估的预测精度。
104、将提取出的腕骨区域和掌指骨区域以及对象的性别信息输入到预测网络中，预测得到对象的骨龄结果。
在本发明实施例中，首先需要搭建出骨龄预测网络，将提取出的腕骨区域和掌指骨区域以及对象的性别信息输入到该预测网络中，就可以得到对象的骨龄结构，其中，对象的性别信息与对象的腕骨区域和掌指骨区域为同一对象，也即需要将对象A的腕骨区域、对象A的掌指骨区域以及对象A的性别信息共同输入到预测网络中，评估得到对象A的骨龄结果。
其中，骨龄预测网络的详细描述如下：
本发明的预测网络使用性别信息作为额外输入，该策略不仅可以提高弱性别信息特征的分类性能，而且可以指导预测任务中的参数优化。同时，我们的网络只有主网络，即预测网络，从辅助网络接收特征图的加权组合。在本发明实施例中，所述预测网络包括主干网络和辅助网络，所述主干网络为不带顶层的Xception网络，并在Xception网络的尾部添加卷积层和最大池化层；所述辅助网络将输入的性别信息传到编码器中，得到相应的性别特征；主干网络将特征提取网络中的特征图
Figure BDA0003607534200000081
性别辅助网络中的特征图
Figure BDA0003607534200000082
串联结合起来，学习这些特征图的线性组合，并将学习到的特征图的线性组合发送到主干网络的最后一个全连接层；
Figure BDA0003607534200000091
其中，
Figure BDA0003607534200000092
表示对象的骨龄预测结果，
Figure BDA0003607534200000093
在预测网络中第l层中是一个可学习的参数，它决定了腕骨区域和掌指骨区域的贡献，
Figure BDA0003607534200000094
在预测网络中第l层中是一个可学习的参数，它决定了性别信息的贡献。
其中，主干网络可以直接使用通过ImageNet预训练的权重初始化模型。
预测网络模型如图4所示，将完整手骨区域、腕骨区域以及掌指骨区域输入到预测网络中，通过卷积和池化操作，结合性别信息，就可以预测得到骨龄信息。本发明既提高了网络模型对于男性和女性的泛化能力，也提高了预测结果的准确性。
在本发明实施例中，对于评估结果的评价指标，本发明实施例采用MAE方式进行评价，即评价指标为：
Figure BDA0003607534200000095
其中，n代表输入样本的数量，yi为骨龄真实值，
Figure BDA0003607534200000096
为骨龄预测值。
与现有方法相比，本发明提出了一种自动定位手骨图像的关键骨区的端到端的骨龄评估方法，并考虑性别信息对于预测结果的影响，提出了一种基于关键骨区定位的骨龄评估方法。
本发明方法通过生成可视化热图，分割出完整的手骨区域，呈现出具有更多细节特征的放大区域，解决了原始图像背景噪声等因素和手骨图像手型差异问题对于预测结果的影响；将CBAM注意力机制模块加入特征提取网络，自动发现并提取关键骨区，实现聚焦于X射线手骨图像的关键骨区，弱化无关区域的影响；通过将性别信息传到编码器中得到性别特征，再将性别特征和提取的关键骨区特征串联传到最后一个全连接层，最后生成对应的预测结果，这提高了网络模型对于男性和女性的泛化能力，也进一步提高了预测结果的准确性。
在本发明的描述中，需要理解的是，术语“同轴”、“底部”、“一端”、“顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“外”、“前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋转”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于关键骨区定位的骨龄评估方法，其特征在于，包括如下步骤：
随机选择一定数量的手骨X光原始图像，将选择的原始图像输入特征提取网络中，生成第一可视化热图，并利用第一可视化热图提取出完整手骨区域；
将所述完整手骨区域输入特征提取网络中，生成第二可视化热图，并利用第二可视化热图提取出完整手骨区域中的腕骨区域；
将完整手骨区域中的剩余区域输入基于注意力机制的特征提取网络，生成第三可视化热图，利用第三可视化热图提取出剩余区域中的掌指骨区域；
将提取出的腕骨区域和掌指骨区域以及对象的性别信息输入到预测网络中，预测得到对象的骨龄结果。
2.根据权利要求1所述的一种基于关键骨区定位的骨龄评估方法，其特征在于：所述特征提取网络采用ResNet50模型实现，构建特征提取网络的步骤如下：
将输入图像经过卷积层和最大池化层完成两次压缩，得到第一特征图；
将第一特征图经过残差模块，得到图像大小不变，通道数变为4倍的第二特征图；
将第二特征图先后经过三个残差模块，每个残差模块将特征图的大小压缩一半，通道数扩大一倍，得到将输入图像进行了32次压缩的第三特征图；
将第三特征图经过全局最大池化层和有240个输出节点的全连接层输出。
3.根据权利要求1或2所述的一种基于关键骨区定位的骨龄评估方法，其特征在于：所述基于注意力机制的特征提取网络包括基于的注意力机制CBAM结合通道注意力模块和空间注意力机制模块，分别对输入的完整手骨区域中的剩余区域图像进行通道和空间的注意力处理。
4.根据权利要求3所述的一种基于关键骨区定位的骨龄评估方法，其特征在于：通道注意力模块实现通道上的注意力处理的过程包括：
所述通道注意力模块的输入端分别连接一个全局最大池化层和一个全局平局池化层，所述两个池化层之后是两个全连接层，所述全连接层之后是一个加和操作以及一个sigmoid激活操作，所述通道注意力模块的最终生成为权重，其权重为：
Figure FDA0003607534190000021
其中，MLP为全连接层，AvgPool为全局平均池化层，MaxPool为全局最大池化层，σ为sigmoid激活函数。
5.根据权利要求3所述的一种基于关键骨区定位的骨龄评估方法，其特征在于：空间注意力模块实现空间上的注意力处理的过程：
所述空间注意力模块的输入端先进行一个全局最大池化和一个全局平均池化，所述两个池化层之后是两个全连接层，所述全连接层之后是一个7×7卷积以及一个sigmoid激活操作，所述空间注意力模块的最终生成为每个特征点的权重，其权重为：
Figure FDA0003607534190000022
其中，AvgPool为全局平均池化层，MaxPool为全局最大池化层，f7×7为7×7的卷积，σ为sigmoid激活函数。
6.根据权利要求1所述的一种基于关键骨区定位的骨龄评估方法，其特征在于：所述预测网络包括主干网络和辅助网络，所述主干网络为不带顶层的Xception网络，并在Xception网络的尾部添加卷积层和最大池化层；所述辅助网络将输入的性别信息传到编码器中，得到相应的性别特征；主干网络将特征提取网络中的特征图
Figure FDA0003607534190000023
性别辅助网络中的特征图
Figure FDA0003607534190000024
串联结合起来，学习这些特征图的线性组合，并将学习到的特征图的线性组合发送到主干网络的最后一个全连接层；
Figure FDA0003607534190000025
其中，
Figure FDA0003607534190000026
表示对象的骨龄预测结果，
Figure FDA0003607534190000027
在预测网络中第l层中是一个可学习的参数，
Figure FDA0003607534190000031
在预测网络中第l层中是一个可学习的参数，它决定了性别信息的贡献。
CN202210420806.0A 2022-04-21 2022-04-21 一种基于关键骨区定位的骨龄评估方法 Pending CN114663426A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210420806.0A CN114663426A (zh) 2022-04-21 2022-04-21 一种基于关键骨区定位的骨龄评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210420806.0A CN114663426A (zh) 2022-04-21 2022-04-21 一种基于关键骨区定位的骨龄评估方法

Publications (1)

Publication Number Publication Date
CN114663426A true CN114663426A (zh) 2022-06-24

Family

ID=82037615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210420806.0A Pending CN114663426A (zh) 2022-04-21 2022-04-21 一种基于关键骨区定位的骨龄评估方法

Country Status (1)

Country Link
CN (1) CN114663426A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342516A (zh) * 2023-03-17 2023-06-27 四川文理学院 基于模型集成的儿童手骨x光图像骨龄评估方法及系统
CN116433607A (zh) * 2023-03-17 2023-07-14 四川文理学院 基于关键区域特征双重加权融合的儿童手骨x光图像骨龄评估方法及系统
CN117094951A (zh) * 2023-07-25 2023-11-21 中国医学科学院北京协和医院 一种新型的自动骨龄预测算法模型

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342516A (zh) * 2023-03-17 2023-06-27 四川文理学院 基于模型集成的儿童手骨x光图像骨龄评估方法及系统
CN116433607A (zh) * 2023-03-17 2023-07-14 四川文理学院 基于关键区域特征双重加权融合的儿童手骨x光图像骨龄评估方法及系统
CN116433607B (zh) * 2023-03-17 2024-03-15 四川文理学院 基于关键区域特征双重加权融合的儿童手骨x光图像骨龄评估方法及系统
CN116342516B (zh) * 2023-03-17 2024-04-16 四川文理学院 基于模型集成的儿童手骨x光图像骨龄评估方法及系统
CN117094951A (zh) * 2023-07-25 2023-11-21 中国医学科学院北京协和医院 一种新型的自动骨龄预测算法模型

Similar Documents

Publication Publication Date Title
CN110599448B (zh) 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统
CN111259930B (zh) 自适应注意力指导机制的一般性目标检测方法
CN108830326B (zh) 一种mri图像的自动分割方法及装置
CN114663426A (zh) 一种基于关键骨区定位的骨龄评估方法
CN109977780A (zh) 一种基于深度学习算法的硅藻的检测与识别方法
CN109635875A (zh) 一种基于深度学习的端到端网口检测方法
Wu et al. U-GAN: Generative adversarial networks with U-Net for retinal vessel segmentation
CN112784879A (zh) 一种基于小样本域自适应的医学影像分割或分类方法
CN110647802A (zh) 基于深度学习的遥感影像舰船目标检测方法
CN116664931A (zh) 基于量子向经典迁移学习的膝骨关节炎分级方法
CN110459303B (zh) 基于深度迁移的医疗影像异常检测装置
Bhimavarapu et al. Analysis and characterization of plant diseases using transfer learning
Feng et al. Online recognition of peanut leaf diseases based on the data balance algorithm and deep transfer learning
CN116883768A (zh) 基于多模态特征融合的肺结节智能分级方法及系统
CN106447691A (zh) 基于加权多示例学习的加权极限学习机视频目标跟踪方法
CN115762721A (zh) 一种基于计算机视觉技术的医疗影像质控方法和系统
CN116228660A (zh) 胸部正片异常部位检测方法及装置
CN112597842B (zh) 基于人工智能的运动检测面瘫程度评估系统
Fu et al. Complementarity-aware Local-global Feature Fusion Network for Building Extraction in Remote Sensing Images
CN114612381A (zh) 一种带有尺度增强和注意力融合的医疗图像病灶检测算法
Pang et al. Target tracking based on siamese convolution neural networks
CN113052799A (zh) 一种基于Mask RCNN网络的骨肉瘤和骨软骨瘤预测方法
CN112734707A (zh) 一种3d内窥镜辅助检测方法、系统、装置及存储介质
CN117315380B (zh) 一种基于深度学习的肺炎ct图像分类方法及系统
Hettiarachchi et al. UrbanAgro: Utilizing advanced deep learning to support Sri Lankan urban farmers to detect and control common diseases in tomato plants

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination