CN116342516B - 基于模型集成的儿童手骨x光图像骨龄评估方法及系统 - Google Patents
基于模型集成的儿童手骨x光图像骨龄评估方法及系统 Download PDFInfo
- Publication number
- CN116342516B CN116342516B CN202310261469.XA CN202310261469A CN116342516B CN 116342516 B CN116342516 B CN 116342516B CN 202310261469 A CN202310261469 A CN 202310261469A CN 116342516 B CN116342516 B CN 116342516B
- Authority
- CN
- China
- Prior art keywords
- network
- bone age
- bone
- hand
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000000988 bone and bone Anatomy 0.000 title claims abstract description 254
- 210000002411 hand bone Anatomy 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000010354 integration Effects 0.000 title claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000011218 segmentation Effects 0.000 claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 230000008447 perception Effects 0.000 claims description 27
- 238000011176 pooling Methods 0.000 claims description 26
- 230000002776 aggregation Effects 0.000 claims description 22
- 238000004220 aggregation Methods 0.000 claims description 22
- 238000011156 evaluation Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- PBKWZFANFUTEPS-CWUSWOHSSA-N transportan Chemical compound C([C@@H](C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CC(C)C)C(=O)NCC(=O)N[C@@H](CCCCN)C(=O)N[C@H](C(=O)N[C@@H](CC(N)=O)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CCCCN)C(=O)N[C@@H](C)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](C)C(=O)N[C@@H](C)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](C)C(=O)N[C@@H](CCCCN)C(=O)N[C@@H](CCCCN)C(=O)N[C@@H]([C@@H](C)CC)C(=O)N[C@@H](CC(C)C)C(N)=O)[C@@H](C)CC)NC(=O)CNC(=O)[C@H](C)NC(=O)[C@H](CO)NC(=O)[C@H](CC(N)=O)NC(=O)[C@H](CC(C)C)NC(=O)[C@@H](NC(=O)[C@H](CC=1C2=CC=CC=C2NC=1)NC(=O)CN)[C@@H](C)O)C1=CC=C(O)C=C1 PBKWZFANFUTEPS-CWUSWOHSSA-N 0.000 claims 1
- 108010062760 transportan Proteins 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 description 15
- 230000007246 mechanism Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000002679 ablation Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000012010 growth Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000014461 bone development Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000009645 skeletal growth Effects 0.000 description 1
- 230000012488 skeletal system development Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于模型集成的儿童手骨X光图像骨龄评估方法及系统。该方法为：获取儿童手骨X光图像集；构建骨龄预测网络，所述骨龄预测网络包括手骨分割子网络、第一骨龄预测子网络、第二骨龄预测子网络以及骨龄融合模块，所述第一骨龄预测子网络的层数多于所述第二骨龄预测子网络的层数；将儿童手骨X光图像集于手骨分割子网络中提取手骨区域,得到手骨区域的图像集，将提取到的手骨区域的图像与性别信息一起分别于第一骨龄预测子网络、第二骨龄预测子网络中进行训练预测，将第一骨龄预测子网络、第二骨龄预测子网络预测得到的骨龄于所述骨龄融合模块中进行融合，输出最终的骨龄预测值。该方法能取得更好的骨龄预测性能。
Description
技术领域
本发明涉及人工智能计算机视觉和深度学习图像处理技术领域，具体涉及一种基于模型集成的儿童手骨X光图像骨龄评估方法及系统。
背景技术
儿童骨龄评估在儿科临床诊断、儿童的成年身高预测、体育竞技等领域有着广泛应用。由于手腕部最能代表骨骼发育程度与生长潜力，所以手腕部在儿童骨龄测评中最为常用。
传统骨龄评估方法可以分为两种类型，包括Greulich-Pyle图谱法和Tanner-White-house计分法。这些方法都需要医生通过读取骨骺和干骺端发育状况的形态特点进行骨龄评估，对评估者的专业技能要求较高。此外，人工读片、分析及推断骨龄均存在耗时长、误差较大、一致性欠佳等明显弊端。对同一张X光手骨图像，同一个阅片者不同时间的判定结果、不同阅片者之间的判定结果均存在较大差异。
随着计算机视觉技术的发展，智能骨龄评估方法逐渐兴起。早期的智能评估方法是对人工评估使用的特征进行自动提取，并且大多使用私有数据集测试，但这样得到的预测结果准确性非常的差。近年来，深度学习技术在计算机视觉领域取得了突破性进展。作为深度学习的代表性方法，卷积神经网络(convolutional neural networks,CNN)能够自动、快速地从图像中提取关键特征，取代了基于先验知识的传统特征提取方法。基于CNN进行小儿骨龄评估的研究也呈现出快速增长趋势，提高了骨龄评估精度，但这依然存在不足，究其原因大多为未充分发挥骨干网络的结构优势，未充分学习手骨区域的语义特征等。为了获得更加精确的骨龄评估结果，急需一种精度更高的骨龄评估方法。
发明内容
为了克服上述现有技术中存在的缺陷，本发明的目的是提供一种基于模型集成的儿童手骨X光图像骨龄评估方法及系统。
为了实现本发明的上述目的，本发明提供了一种基于模型集成的儿童手骨X光图像骨龄评估方法，包括以下步骤：
获取儿童手骨X光图像集；
构建骨龄预测网络，所述骨龄预测网络包括手骨分割子网络、第一骨龄预测子网络、第二骨龄预测子网络以及骨龄融合模块，所述第一骨龄预测子网络的层数多于所述第二骨龄预测子网络的层数；
将儿童手骨X光图像集于手骨分割子网络中提取手骨区域,得到手骨区域的图像集，将提取到的手骨区域的图像与性别信息一起分别于第一骨龄预测子网络、第二骨龄预测子网络中进行训练预测，将第一骨龄预测子网络、第二骨龄预测子网络预测得到的骨龄于所述骨龄融合模块中进行融合，输出最终的骨龄预测值。
该方法考虑了性别信息来弥补男性与女性在生理上的骨龄差异，并用采用两个不同结构的骨龄预测子网络进行骨龄回归，第一骨龄预测子网络侧重于捕获更加丰富和更加复杂的高阶特征，第二骨龄预测子网络侧重于捕获较为直观的低阶特征，能取得更好的骨龄预测性能。
该基于模型集成的儿童手骨X光图像骨龄评估方法的优选方案：所述手骨区域经M个第一可变卷积网络进行特征提取和尺度变换后获得的特征，与性别信息融合后，再经过两个密集连接层及一个全连接层，输出第一骨龄预测子网络的预测骨龄；
其中，每个所述第一可变卷积网络的网络层数有若干层，所述第一可变卷积网络包括多层感知注意力模块和聚合注意力模块，所述多层感知注意力模块、聚合注意力模块采用并行或串行连接，捕获手骨区域中的关键有效特征。
该优选方案中，第一骨龄预测子网络能够针对不同特征的图像数据，设置每个第一可变卷积网络的网络层数，进而提升骨龄预测网络的性能，且第一可变卷积网络在可变卷积网络的基础上，引入注意力机制，即多层感知注意力模块、聚合注意力模块，使得第一骨龄预测子网络可从不同维度细化特征，从而提取到更深层次、更有效表征骨龄的关键特征，两个密集连接层的设置为第一骨龄预测子网络提供了更多的学习参数，便于在训练时进行调，提高了骨龄评估的精度。
该基于模型集成的儿童手骨X光图像骨龄评估方法的优选方案：所述手骨区域与性别信息一起于第二骨龄预测子网络进行训练预测时，
所述手骨区域经N个第二可变卷积网络进行特征提取和尺度变换后获得特征，与性别信息融合后，再经过两个密集连接层及一个全连接层，输出第二骨龄预测子网络的预测骨龄；
其中，每个所述第二可变卷积网络的网络层数有若干层，所述第二可变卷积网络包括多层感知注意力模块和聚合注意力模块，所述多层感知注意力模块、聚合注意力模块采用并行或串行连接，捕获手骨区域中的关键有效特征。
该优选方案中第二骨龄预测子网络能够针对不同特征的图像数据，设置每个第二可变卷积网络的网络层数，进而提升骨龄预测网络的性能，且第二可变卷积网络在可变卷积网络的基础上，引入注意力机制，即多层感知注意力模块、聚合注意力模块，使得第二骨龄预测子网络可从不同维度细化特征，从而提取到更深层次、更有效表征骨龄的关键特征，两个密集连接层的设置为第二骨龄预测子网络提供了更多的学习参数，便于在训练时进行调，提高了骨龄评估的精度。
该基于模型集成的儿童手骨X光图像骨龄评估方法的优选方案：骨龄融合模块按以下公式进行骨龄预测：
其中，BA为最终的骨龄预测值，BAH是第一骨龄预测子网络输出的骨龄预测值，BAL是第二骨龄预测子网络输出的骨龄预测值，κH是第一骨龄预测子网络输出的骨龄预测值BAH的权重，κL是第二骨龄预测子网络输出的骨龄预测值BAL的权重，κ是修正值权重，MAEH是第一骨龄预测子网络输出的骨龄预测值BAH的绝对方差，MAEL是第二骨龄预测子网络输出的骨龄预测值BAL的绝对方差。
该优选方案对两个骨龄预测子网络赋予相关权重，并且考虑两个骨龄预测子网络预测结果的绝对方差，对骨龄预测结果进行进一步的修正，且该修正值也可以通过修正值权重κ进行调节。
该基于模型集成的儿童手骨X光图像骨龄评估方法的优选方案：所述第一骨龄预测子网络和第二骨龄预测子网络均选取均方根误差RMSE作为损失函数，其中N为样本个数，/>为第一骨龄预测子网络或第二骨龄预测子网络预测骨龄结果，yi为对应标注真实值。
该基于模型集成的儿童手骨X光图像骨龄评估方法的优选方案：定义输入多层感知注意力模块的特征图为CFIN,维度为H×W×C，当CFIN输入所述多层感知注意力模块时，CFIN首先分别经最大池化和平池化生成两个尺度为1×1×C的特征图，其中，最大池化保留图像的局部典型特征，平均池化保留图像整体分布信息，然后这两个尺度为1×1×C的特征图分别通过多层感知器压缩特征尺寸，将多层感知器的两路输出相加并Sigmoid归一化，得到多层感知注意力权重AMPAM，所述多层感知注意力权重AMPAM与输入的CFIN相乘得到多层感知注意力模块的输出特征CFOUT，
CFOUT＝CFIN×AMPAM＝CFIN×(Fs(Fmlp(Fmax(CFIN)))⊕Fs(Fmlp(Favg(CFIN))))，其中，Fs表示Sigmoid归一化，Fmlp表示MLP操作，Fmax表示最大池化操作，Favg表示平均池化操作，⊕表示特征通道逐元素相加，通道数量不变。
其中，所述多层感知注意力模块的卷积核尺寸k通过输入特征图的通道数量C进行自适应选择，以聚合不同空间位置的相似特征，两者的对应关系如下式所示：
其中，<·>odd表示取最接近运算结果的奇数。
该优选方案中多层感知注意力模块可自适应校准通道特征权重，强化了网络对通道特征的提取能力，且该多层感知注意力模块可辨识特征图中的特异性通道，并为聚合注意力模块提供增强的关键特征信息。
该基于模型集成的儿童手骨X光图像骨龄评估方法的优选方案：定义输入聚合注意力模块的特征图为SFIN,维度为H×W×C'，当SFIN输入所述聚合注意力模块时，SFIN首先分别经最大池化和平池化生成两个特征图，将这两个特征图进行特征拼接，得到尺度为H×W×2的位置权重，再经v×v卷积降维和Sigmoid归一化，得到聚合注意力权重AFAM，聚合注意力权重AFAM与输入SFIN相乘得到聚合注意力模块的输出SFOUT，
SFOUT＝SFIN×AFAM＝SFIN×(Fs(Fv×v,conv(Fmax(SFIN)))⊙(Favg(SFIN)))，其中，Fs表示Sigmoid
归一化，Fv×v,conv表示v×v卷积降维操作，Fmax表示最大池化操作，Favg表示平均池化操作，⊙表示通道拼接，通道数量改变。
其中，所述聚合注意力模块的卷积核尺寸w通过输入特征图的通道数量C’进行自适应选择，以聚合不同空间位置的相似特征，两者的对应关系如下式所示：
其中，<·>odd表示取最接近运算结果的奇数。
该优选方案中，聚合注意力模块可使网络提取特征的重点聚焦在有意义的位置，提升了网络对手骨X光图像中关键特征区域的灵敏度。
本发明还提出了一种儿童手骨X光图像骨龄评估系统，包括图像接收模块、处理模块和存储模块，所述图像接收模块接收用于训练或待评估的图像，并将接收到的图像发送至处理模块，所述处理模块与存储模块通信连接，所述存储模块用于存放至少一个可执行指令，所述可执行指令使所述处理模块根据其接收到的图像执行如上述的基于模型集成的儿童手骨X光图像骨龄评估方法对应的操作。该系统具备上述基于模型集成的儿童手骨X光图像骨龄评估方法的所有优点。
本发明的有益效果是：本发明采用手骨分割子网络去除原图像中的背景区域，分割出手骨图像区域，使得第一骨龄预测子网络、第二骨龄预测子网络能够聚焦于包含关键特征的手骨区域，以提高骨龄评估的性能络；第一骨龄预测子网络、第二骨龄预测子网络在可变卷积网络的基础上增加了注意力机制(多层感知注意力模块、聚合注意力模块)，使得网络可从多个独立维度细化特征，从而提取到更深层次、更有效的特征；并引入性别信息，让网络平衡不同性别之间的手骨发育程度差异，提高细粒度关注；最后利用骨龄融合模块对第一骨龄预测子网络、第二骨龄预测子网络的输出进行融合，可大幅提高儿童骨龄评估的精度。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明的整体框架示意图；
图2是手骨分割子网络结构示意图；
图3是第一骨龄预测子网络BAPN-H的结构示意图；
图4是第二骨龄预测子网络BAPN-L的结构示意图；
图5(a)是MPAM与FAM并行连接示意图；
图5(b)是MPAM与FAM的一种串行连接示意图；
图5(c)是MPAM与FAM的另一种串行连接示意图；
图6是MPAM模块结构示意图；
图7是FAM模块结构示意图；
图8是RSNA数据集中年龄及性别分布图；
图9是性别因素对骨龄评估的影响对比示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
如图1所示，本发明提供了一种基于模型集成的儿童手骨X光图像骨龄评估方法，包括以下步骤：
获取儿童手骨X光图像集。本实施例中的儿童手骨X光图像集集取自2017年北美放射学会(Radiological Society of North America,RSNA)举办的儿童骨龄挑战比赛公开数据集。数据集包含14236张1～228个月的儿童手骨X光图像，其中训练集12611张，验证集1425张，测试集200张，数据集详情如图8所示。这些图像被六位放射科医生标记，附有临床放射学报告提供的骨骼年龄和性别。将训练集用于模型训练，验证集用于监控训练过程并反馈实时训练性能，测试集则对完成训练的模型进行评估。
构建骨龄预测网络，所述骨龄预测网络包括手骨分割子网络、第一骨龄预测子网络、第二骨龄预测子网络以及骨龄融合模块。
将儿童手骨X光图像集于手骨分割子网络中提取手骨区域，得到手骨区域的图像集，本实施例中，手骨分割子网络采用Mask R-CNN模型从儿童手骨X光图像中提取手部区域，去除背景信息。
Mask R-CNN是一个两阶段分割框架，第一阶段扫描图像并生成建议区域(regionproposal networks，RPN)，第二阶段对建议区域分类并生成边界框(bounding box)和掩膜(mask)。Mask R-CNN扩展自目标检测框架Faster R-CNN，如图2所示。Mask R-CNN在FasterR-CNN的基础上添加了一个预测分割掩膜的分支，即FCN层(fully convolutionalnetworks，FCN)。Mask R-CNN还引入了特征金字塔网络(feature pyramid networks，FPN)，实现底层到高层feature map的融合，以充分利用各阶段的特征。此外，将Faster R-CNN中的RoI Pooling层替换成RoI Align层。ROI Align使用双线性内插法(bi-linearinterpolation)获得坐标为浮点数的像素值，从而解决了ROI Pooling中的不匹配(misalignment)。
根据图1，手骨分割子网络从儿童手骨X光图像中提取出完整手骨区域，然后将提取到的手骨区域的图像与性别信息一起分别于第一骨龄预测子网络BAPN-H、第二骨龄预测子网络BAPN-L中进行训练预测，将第一骨龄预测子网络BAPN-H、第二骨龄预测子网络BAPN-L预测得到的骨龄于骨龄融合模块中进行融合，输出最终的骨龄预测值BA。
本实施例中，第一骨龄预测子网络BAPN-H、第二骨龄预测子网络BAPN-L均采用结合注意力机制的可变卷积网络。该可变卷积网络采用可变卷积网络作为骨干网络，然后引入多层感知注意力模块MPAM、聚合注意力模块FAM。同时，考虑了性别信息来弥补男性与女性在生理上的骨龄差异。需要注意的是，为了取得更好的骨龄预测性能，第一骨龄预测子网络BAPN-H、第二骨龄预测子网络BAPN-L是两个不同结构的网络，第一骨龄预测子网络BAPN-H的层数多于第二骨龄预测子网络BAPN-L的层数，具体地说，第一骨龄预测子网络BAPN-H采用层数较深的卷积网络，侧重于捕获更加丰富和更加复杂的高阶特征；第二骨龄预测子网络BAPN-L采用层数较浅的卷积网络，侧重于捕获较为直观的低阶特征。
具体的，第一骨龄预测子网络BAPN-H的工作流程如图3所示，手骨区域的图像经M个第一可变卷积网络AMVCN-H进行特征提取和尺度变换后获得的特征，M为正整数，本实施例中优选但不限于为4，与性别信息融合后，再经过两个密集连接层Dense Layer及一个全连接层Full Connection layer，输出第一骨龄预测子网络的预测骨龄BAH。
如图3所示，手骨区域的图像经四个第一可变卷积网络AMVCN-H(AMVCN-H[1]、AMVCN-H[2]、AMVCN-H[3]、AMVCN-H[4])的特征提取和尺度变换，每个第一可变卷积网络AMVCN-H中的网络层数(即卷积单元数)有若干层，分别对应为NumH1、NumH2、NumH3、NumH4，NumH1、NumH2、NumH3、NumH4可进行编辑，其优选值分别依次为4、10、10、4。本实施例中，第一可变卷积网络AMVCN-H是向可变卷积网络VCN引入双重注意力机制(多层感知注意力模块(Multi-layer Perceptual Attention Module，MPAM)和聚合注意力模块(FocusingAttention Module，FAM))构成的基于注意力机制的可变卷积网络模块AMVCN，多层感知注意力模块MPAM、聚合注意力模块FAM两者可采用并行或串行的方式连接，以捕获手骨图像区域中的关键有效特征，如图5(a)至图5(c)，分别给出了串行和并行的三种连接方式。其中，输入特征Fin经特征分组(router)划分为G个子特征组，在组内分别学习每组特征图的通道特征和空间特征，输出特征Fout。表1描述了第一骨龄预测子网络BAPN-H的操作流程及特征图尺度变换过程，该表中每个第一可变卷积网络AMVCN-H的每一层是由Conv1X1，Conv3X3，Conv1X1模块串行连接，然后接上多层感知注意力模块MPAM、聚合注意力模块FAM，其中，Conv1X1，是1X1卷积模块，有2个；Conv3X3是3X3卷积模块，有1个。如用FOH表示第一可变卷积网络AMVCN-H的输出特征向量，用FIH表示第一可变卷积网络AMVCN-H的输入特征向量，则有：
其中，CBlock×<AMPAM,AFAM>代表/>对输入特征向量的相关操作，代表3个卷积层(即Conv1X1，Conv3X3和Conv1X1)串连，<AMPAM,AFAM>代表多层感知注意力模块MPAM与聚合注意力模块FAM的连接，当该连接采用如图5(c)中所示的优选方案(MPAM模块串联FAM模块)时，其表达式为：<AMPAM,AFAM>＝AMPAM×AFAM，其中，AMPAM为多层感知注意力模块MPAM的注意力权重，AFAM为聚合注意力模块的注意力权重。
表1第一骨龄预测子网络BAPN-H网络结构
下面对多层感知注意力模块MPAM、聚合注意力模块FAM的进行介绍。
定义输入多层感知注意力模块MPAM的特征图为CFIN,维度为H×W×C。如图6所示，当CFIN输入所述多层感知注意力模块MPAM时，CFIN首先分别经最大池化和平池化生成两个尺度为1×1×C的特征图，其中，最大池化保留图像的局部典型特征，平均池化保留图像整体分布信息，然后这两个尺度为1×1×C的特征图分别通过多层感知器MLP压缩特征尺寸，减小参数开销，将多层感知器MLP的两路输出相加并Sigmoid归一化，得到多层感知注意力权重AMPAM，多层感知注意力权重AMPAM与输入的CFIN相乘得到多层感知注意力模块MPAM的输出特征CFOUT。
计算过程如下式：
CFOUT＝CFIN×AMPAM＝CFIN×(Fs(Fmlp(Fmax(CFIN)))⊕Fs(Fmlp(Favg(CFIN))))，其中，Fs表示Sigmoid归一化，Fmlp表示MLP操作，Fmax表示最大池化操作，Favg表示平均池化操作，⊕表示特征通道逐元素相加，通道数量不变。为了实现合适的跨通道交互作用，多层感知注意力模块MPAM的卷积核尺寸k通过输入特征图CFIN的通道数量C进行自适应选择，以聚合不同空间位置的相似特征，两者的对应关系如下式所示：
其中，<·>odd表示取最接近运算结果的奇数。
定义输入聚合注意力模块FAM的特征图为SFIN,维度为H×W×C'。如图7所示，当SFIN输入所述聚合注意力模块FAM时，SFIN首先分别经最大池化和平池化生成两个特征图，将这两个特征图进行特征拼接，得到尺度为H×W×2的位置权重，再经v×v卷积降维和Sigmoid归一化，得到聚合注意力权重AFAM，聚合注意力权重AFAM与输入SFIN相乘得到聚合注意力模块FAM的输出SFOUT。计算过程如下式所示：
SFOUT＝SFIN×AFAM＝SFIN×(Fs(Fv×v,conv(Fmax(SFIN)))⊙(Favg(SFIN)))，其中，Fs表示Sigmoid归一化，Fv×v,conv表示v×v卷积降维操作，Fmax表示最大池化操作，Favg表示平均池化操作，⊙表示通道拼接，通道数量改变。为了实现有效的空间聚合作用，聚合注意力模块FAM的卷积核尺寸w通过输入特征图的通道数量C’进行自适应选择，以聚合不同空间位置的相似特征，两者的对应关系如下式所示：
其中，<·>odd表示取最接近运算结果的奇数。
由上述可知，本实施例中第一骨龄预测子网络BAPN-H中各第一可变卷积网络AMVCN-H的网络层数可变，第一可变卷积网络AMVCN-H中多层感知注意力模块MPAM、聚合注意力模块FAM中的卷积核的尺度可变。
第二骨龄预测子网络BAPN-L的工作流程如图4所示，手骨区域的图像经N个第二可变卷积网络AMVCN-L进行特征提取和尺度变换后获得特征，N为正整数，且N小于M，本实施例中N优选但不限于为3，与性别信息融合后，再经过两个密集连接层Dense Layer及一个全连接层Full Connection layer，输出第二骨龄预测子网络的预测骨龄BAL。
手骨区域的图像经三个第二可变卷积网络AMVCN-L(AMVCN-L[1]、AMVCN-L[2]、AMVCN-L[3])的特征提取和尺度变换，各第二可变卷积网络的网络层数(即卷积单元数)有若干层，分别为NumL1、NumL2、NumL3，NumL1、NumL2、NumL3可进行编辑，其优选值分别为3、6、3。在本实施例中，第二可变卷积网络AMVCN-L是向可变卷积网络VCN引入双重注意力机制(多层感知注意力模块MPAM和聚合注意力模块FAM)构成的基于注意力机制的可变卷积网络模块AMVCN，多层感知注意力模块MPAM、聚合注意力模块FAM两者可采用并行或串行等方式连接，以捕获手骨图像区域中的关键有效特征，如图5(a)至图5(c)，分别给出了串行和并行的三种连接方式。其中，输入特征Fin经特征分组(router)划分为G个子特征组，在组内分别学习每组特征图的通道特征和空间特征，输出特征Fout。表2描述了第二骨龄预测子网络BAPN-L的操作流程及特征图尺度变换过程，该表中每个第二可变卷积网络AMVCN-L的每一层是由Conv1X1，Conv3X3，Conv1X1模块串行连接，然后接上多层感知注意力模块MPAM、聚合注意力模块FAM，其中，Conv1X1，是1X1卷积模块，有2个；Conv3X3是3X3卷积模块，有1个。如用FOL表示第一可变卷积网络AMVCN-H的输出特征向量，用FIL表示第一可变卷积网络AMVCN-H的输入特征向量，则有：
其中，CBlock×<AMPAM,AFAM>代表/>对输入特征向量的相关操作，代表3个卷积层(即Conv1X1，Conv3X3和Conv1X1)串连，<AMPAM,AFAM>代表多层感知注意力模块MPAM与聚合注意力模块FAM的连接，当该连接采用如图5(c)中所示的优选方案(MPAM模块串联FAM模块)时，其表达式为：<AMPAM,AFAM>＝AMPAM×AFAM，其中，AMPAM为多层感知注意力模块MPAM的注意力权重，AFAM为聚合注意力模块的注意力权重。
表2第二骨龄预测子网络BAPN-L网络结构
这里多层感知注意力模块MPAM、聚合注意力模块FAM的实现方式参考前述记载，此处不再详述。
由上述可知，本实施例中第二骨龄预测子网络BAPN-L中各第二可变卷积网络AMVCN-L的网络层数可变，第二可变卷积网络AMVCN-L中多层感知注意力模块MPAM、聚合注意力模块FAM中的卷积核的尺度可变。
在第一骨龄预测子网络BAPN-H、第二骨龄预测子网络BAPN-L的训练过程中，加入性别信息时，将性别特征(男性为1，女性为0)通过一个具有32个神经元的密集连接层，和最后一个第一可变卷积网络AMVCN-H或第二可变卷积网络AMVCN-L输出的图像特征进行融合，然后再接入两个密集连接单元，本实施例中这两个密集连接单元都由1024个神经元紧密连接的ReLU激活层及Dropout(0.2)层馈入，最后一个全连接层是由一个线性激活的神经元构成的全连接层，用来预测骨龄，如图3、图4所示。这里的两个密集连接单元为第一骨龄预测子网络BAPN-H或第二骨龄预测子网络BAPN-L提供了更多的学习参数，以便在训练时进行调整，同时，增加的Dropout层能够防止网络过拟合，提升网络的泛化能力。
获取了第一骨龄预测子网络BAPN-H输出的骨龄预测值BAH，第二骨龄预测子网络BAPN-L输出的骨龄预测值BAL后，骨龄融合模块按以下公式进行骨龄预测，获取最终输出的骨龄预测值BA。
其中，κH是第一骨龄预测子网络输出的骨龄预测值BAH的权重，κL是第二骨龄预测子网络输出的骨龄预测值BAL的权重，κ是修正值权重，取值范围[-1,1]，默认取值0，MAEH是第一骨龄预测子网络输出的骨龄预测值BAH的绝对方差，MAEL是第二骨龄预测子网络输出的骨龄预测值BAL的绝对方差，修正值/>可以通过修正值权重κ进行调节。
骨龄评估作为一项回归任务，评估模型的最终输出结果为具体实数值。本实施例中，第一骨龄预测子网络BAPN-H和第二骨龄预测子网络BAPN-L均选取均方根误差RMSE作为损失函数，其中N为样本个数，/>为第一骨龄预测子网络BAPN-H或第二骨龄预测子网络BAPN-L预测骨龄结果，yi为对应标注真实值。由该式可知，随着RMSE值减小，模型进行评估结果的优化。
本实施例使用的硬件环境为Intel(R)Core(TM)i7-8700K CPU，四块NVIDIAGeForce RTX 2080Ti(11GB)GPU，内存为64G。软件环境为Ubuntu 16.04操作系统，PyThorch1.7开源框架。网络输入图像尺寸为299×299像素，训练参数设置如下：
(1)手骨分割子网络训练时，采用自适应矩估计算法(adaptive momentestimation,Adam)优化网络，Batch Size设置为2，初始学习率设置为0.001，迭代训练120个epoch，挑选出最优训练模型用于X光图像的手骨区域分割。
(2)第一骨龄预测子网络BAPN-H、第二骨龄预测子网络BAPN-L中，采用自适应矩估计算法优化网络，Batch Size设置为8，初始学习率设置为0.001，迭代训练200个epoch。当验证集的损失值连续10个Epoch没有下降时，按照10％比例调整学习率。挑选出最优训练模型用于测试集的骨龄评估。
评价指标
骨龄评估中，采用平均绝对误差作为评价指标，计算方法如下式所示。MAE的值越小，评估结果越好。
其中，N为样本数量，yi为标注真实值，/>为各模型评估骨龄结果。
使用不同基准网络的对比实验：
为了选择合适的基准网络进行骨龄评估，本文挑选EfficientNet-B4、Inception-V4、ResNet-101、ResNet-50、DensNet-201、Inception-ResNet-V2和Xception七种经典网络以及本方法进行骨龄评估，并对比评估结果。评估时，对网络结构和数据集不做任何处理，将图像尺寸统一至299×299后输入基准网络，得到表3所示的骨龄评估结果。其中，采用本方法的评估结果在八组网络中表现最佳，其骨龄评估的MAE为7.29个月。
表3不同基准网络的评估误差
| 基准网络 | 平均绝对误差(MAE：月) |
| EfficientNet-B4 | 7.68 |
| Inception-V4 | 8.94 |
| Inception-V3 | 9.06 |
| ResNet-101 | 8.68 |
| ResNet-50 | 8.42 |
| DensNet-201 | 8.48 |
| Inception-ResNet-V2 | 8.37 |
| Xception | 7.59 |
| 本方法 | 7.29 |
骨龄评估的消融实验：
本文的骨龄评估工作分为两个部分，即提取手骨区域和使用AMVCN集成网络进行骨龄回归。为了验证上述模块及相关机制的有效性与必要性，设计了相关消融实验，包括：(1)采用可变卷积网络VCN直接对原始图像进行骨龄评估；(2)先用Mask R-CNN分割手骨区域，再输入可变卷积网络VCN；(3)先用Mask R-CNN分割手骨区域，再输入结合MPAM模块的可变卷积网络VCN；(4)本文方法。消融实验均使用了性别信息，评估精度如表4所示。
表4消融实验的结果
表4中，对原始图像直接采用可变卷积网络VCN进行骨龄评估的MAE是7.05个月，采用Mask R-CNN网络提取手骨区域后，骨龄评估的MAE减小到5.27个月。进一步，引入MPAM模块，骨龄评估的MAE减小到4.84个月。最后，完整引入本文的注意力机制，最终结果的MAE为4.64个月。消融实验结果表明，通过Mask R-CNN网络提取手骨中的三个关键区域，能够有效减少背景信息的干扰，将MPAM、FAM双重注意力机制加入到可变卷积网络VCN中，使网络可以关注到手骨图像区域中更加丰富的关键特征。上述模块及相关机制，均能有效提高骨龄评估的精度。
性别因素对比实验：
儿童生长发育过程中，男性与女性在同一年龄段手部发育成熟程度存在差异，因此我们设计了与性别因素相关的四组骨龄评估实验，包括：(1)对数据集中的男性图像进行骨龄评估；(2)对数据集中的女性图像进行骨龄评估；(3)对数据集中所有图像进行骨龄评估；(4)结合性别信息，对数据集中所有图像进行骨龄评估。上述实验结果如图9所示。
由图9可知，单独对男性和女性进行骨龄评估的MAE分别为4.81和4.96个月，不加入性别信息的骨龄评估的MAE为5.46个月。加入性别信息后，骨龄评估的MAE为4.64个月。对单一性别进行骨龄评估，相比于不加入性别信息，误差分别减小了0.65和0.50个月，而加入性别因素使误差减小了0.82个月。因此，在骨龄评估中加入性别信息，能够有效减小误差，提高评估的精度。
不同深度学习方法对比：
为了说明本文方法在骨龄评估中的先进性，将本方法与近年来具有代表性的多种骨龄评估方法进行了比较。本方法进行骨龄评估的精度最高(MAE最小，为4.64个月)。
本申请还提出了种儿童手骨X光图像骨龄评估系统，包括图像接收模块、处理模块和存储模块，图像接收模块接收用于训练或待评估的图像，并将接收到的图像发送至处理模块，处理模块与存储模块通信连接，存储模块用于存放至少一个可执行指令，可执行指令使所述处理模块根据其接收到的图像执行如本申请所述的基于模型集成的儿童手骨X光图像骨龄评估方法对应的操作。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (7)
1.一种基于模型集成的儿童手骨X光图像骨龄评估方法，其特征在于，包括以下步骤：
获取儿童手骨X光图像集；
构建骨龄预测网络，所述骨龄预测网络包括手骨分割子网络、第一骨龄预测子网络、第二骨龄预测子网络以及骨龄融合模块，所述第一骨龄预测子网络的层数多于所述第二骨龄预测子网络的层数；
将儿童手骨X光图像集于手骨分割子网络中提取手骨区域,得到手骨区域的图像集，将提取到的手骨区域的图像与性别信息一起分别于第一骨龄预测子网络、第二骨龄预测子网络中进行训练预测；
所述手骨区域与性别信息一起于第一骨龄预测子网络进行训练预测时，
所述手骨区域经M个第一可变卷积网络进行特征提取和尺度变换后获得的特征，与性别信息融合后，再经过两个密集连接层及一个全连接层，输出第一骨龄预测子网络的预测骨龄；
其中，每个所述第一可变卷积网络的网络层数有若干层，所述第一可变卷积网络包括多层感知注意力模块和聚合注意力模块，所述多层感知注意力模块、聚合注意力模块采用并行或串行连接，捕获手骨区域中的关键有效特征；
所述手骨区域与性别信息一起于第二骨龄预测子网络进行训练预测时，
所述手骨区域经N个第二可变卷积网络进行特征提取和尺度变换后获得特征，与性别信息融合后，再经过两个密集连接层及一个全连接层，输出第二骨龄预测子网络的预测骨龄；
其中，每个所述第二可变卷积网络的网络层数有若干层，所述第二可变卷积网络包括多层感知注意力模块和聚合注意力模块，所述多层感知注意力模块、聚合注意力模块采用并行或串行连接，捕获手骨区域中的关键有效特征；
将第一骨龄预测子网络、第二骨龄预测子网络预测得到的骨龄于所述骨龄融合模块中进行融合，输出最终的骨龄预测值；
具体的，骨龄融合模块按以下公式进行骨龄预测：
其中，BA为最终的骨龄预测值，BAH是第一骨龄预测子网络输出的骨龄预测值，BAL是第二骨龄预测子网络输出的骨龄预测值，κH是第一骨龄预测子网络输出的骨龄预测值BAH的权重，κL是第二骨龄预测子网络输出的骨龄预测值BAL的权重，κ是修正值权重，MAEH是第一骨龄预测子网络输出的骨龄预测值BAH的绝对方差，MAEL是第二骨龄预测子网络输出的骨龄预测值BAL的绝对方差。
2.根据权利要求1所述的基于模型集成的儿童手骨X光图像骨龄评估方法，其特征在于，所述第一骨龄预测子网络和第二骨龄预测子网络均选取均方根误差RMSE作为损失函数，其中N为样本个数，/>为第一骨龄预测子网络或第二骨龄预测子网络预测骨龄结果，yi为对应标注真实值。
3.根据权利要求1所述的基于模型集成的儿童手骨X光图像骨龄评估方法，其特征在于，定义输入多层感知注意力模块的特征图为CFIN,维度为H×W×C，当CFIN输入所述多层感知注意力模块时，CFIN首先分别经最大池化和平池化生成两个尺度为1×1×C的特征图，其中，最大池化保留图像的局部典型特征，平均池化保留图像整体分布信息，然后这两个尺度为1×1×C的特征图分别通过多层感知器压缩特征尺寸，将多层感知器的两路输出相加并Sigmoid归一化，得到多层感知注意力权重AMPAM，所述多层感知注意力权重AMPAM与输入的CFIN相乘得到多层感知注意力模块的输出特征CFOUT，
其中，Fs表示Sigmoid归一化，Fmlp表示MLP操作，Fmax表示最大池化操作，Favg表示平均池化操作，/>表示特征通道逐元素相加，通道数量不变。
4.根据权利要求3所述的基于模型集成的儿童手骨X光图像骨龄评估方法，其特征在于，所述多层感知注意力模块的卷积核尺寸k通过输入特征图的通道数量C进行自适应选择，以聚合不同空间位置的相似特征，两者的对应关系如下式所示：
其中，<·>odd表示取最接近运算结果的奇数。
5.根据权利要求1所述的基于模型集成的儿童手骨X光图像骨龄评估方法，其特征在于，定义输入聚合注意力模块的特征图为SFIN,维度为H×W×C'，当SFIN输入所述聚合注意力模块时，SFIN首先分别经最大池化和平池化生成两个特征图，将这两个特征图进行特征拼接，得到尺度为H×W×2的位置权重，再经v×v卷积降维和Sigmoid归一化，得到聚合注意力权重AFAM，聚合注意力权重AFAM与输入SFIN相乘得到聚合注意力模块的输出SFOUT，
SFOUT＝SFIN×AFAM＝SFIN×(Fs(Fv×v,conv(Fmax(SFIN)))⊙(Favg(SFIN)))，其中，Fs表示Sigmoid归一化，Fv×v,conv表示v×v卷积降维操作，Fmax表示最大池化操作，Favg表示平均池化操作，⊙表示通道拼接，通道数量改变。
6.根据权利要求5所述的基于模型集成的儿童手骨X光图像骨龄评估方法，其特征在于，所述聚合注意力模块的卷积核尺寸w通过输入特征图的通道数量C’进行自适应选择，以聚合不同空间位置的相似特征，两者的对应关系如下式所示：
其中，〈·〉odd表示取最接近运算结果的奇数。
7.一种儿童手骨X光图像骨龄评估系统，其特征在于，包括图像接收模块、处理模块和存储模块，所述图像接收模块接收用于训练或待评估的图像，并将接收到的图像发送至处理模块，所述处理模块与存储模块通信连接，所述存储模块用于存放至少一个可执行指令，所述可执行指令使所述处理模块根据其接收到的图像执行如权利要求1-6任一项所述的基于模型集成的儿童手骨X光图像骨龄评估方法对应的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310261469.XA CN116342516B (zh) | 2023-03-17 | 2023-03-17 | 基于模型集成的儿童手骨x光图像骨龄评估方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310261469.XA CN116342516B (zh) | 2023-03-17 | 2023-03-17 | 基于模型集成的儿童手骨x光图像骨龄评估方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116342516A CN116342516A (zh) | 2023-06-27 |
| CN116342516B true CN116342516B (zh) | 2024-04-16 |
Family
ID=86875682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310261469.XA Active CN116342516B (zh) | 2023-03-17 | 2023-03-17 | 基于模型集成的儿童手骨x光图像骨龄评估方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116342516B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113298780B (zh) * | 2021-05-24 | 2023-09-12 | 云南大学 | 一种基于深度学习的儿童骨龄评估方法及系统 |
| CN117094951A (zh) * | 2023-07-25 | 2023-11-21 | 中国医学科学院北京协和医院 | 一种新型的自动骨龄预测算法模型 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019232960A1 (zh) * | 2018-06-04 | 2019-12-12 | 平安科技（深圳）有限公司 | 自动骨龄预测方法、系统、计算机设备和存储介质 |
| CN111161254A (zh) * | 2019-12-31 | 2020-05-15 | 上海体育科学研究所 | 一种骨龄预测方法 |
| CN113298780A (zh) * | 2021-05-24 | 2021-08-24 | 云南大学 | 一种基于深度学习的儿童骨龄评估方法及系统 |
| CN113989206A (zh) * | 2021-10-20 | 2022-01-28 | 杭州深睿博联科技有限公司 | 一种基于轻量化模型的骨龄预测方法及装置 |
| CN114240874A (zh) * | 2021-12-14 | 2022-03-25 | 杭州博钊科技有限公司 | 基于深度卷积神经网络和特征融合的骨龄评定方法、设备及计算机可读存储介质 |
| WO2022069239A1 (en) * | 2020-09-30 | 2022-04-07 | Agfa Nv | Paediatric bone age assessment of x-ray images based on detection of ossification regions |
| CN114549470A (zh) * | 2022-02-23 | 2022-05-27 | 合肥工业大学 | 基于卷积神经网络和多粒度注意力的手骨关键性区域获取方法 |
| CN114663426A (zh) * | 2022-04-21 | 2022-06-24 | 重庆邮电大学 | 一种基于关键骨区定位的骨龄评估方法 |
| CN114663735A (zh) * | 2022-04-06 | 2022-06-24 | 杭州健培科技有限公司 | 基于联合全局及局部卷积神经网络特征的双骨龄评估方法 |
| CN115578372A (zh) * | 2022-10-31 | 2023-01-06 | 杭州博钊科技有限公司 | 基于目标检测和卷积变换的骨龄评估方法、设备及介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020024127A1 (zh) * | 2018-08-01 | 2020-02-06 | 中国医药大学附设医院 | 骨龄评估与身高预测模型、其系统及其预测方法 |
| WO2022005091A1 (ko) * | 2020-06-29 | 2022-01-06 | 주식회사 뷰노 | 골 연령 판독 방법 및 장치 |
-
2023
- 2023-03-17 CN CN202310261469.XA patent/CN116342516B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019232960A1 (zh) * | 2018-06-04 | 2019-12-12 | 平安科技（深圳）有限公司 | 自动骨龄预测方法、系统、计算机设备和存储介质 |
| CN111161254A (zh) * | 2019-12-31 | 2020-05-15 | 上海体育科学研究所 | 一种骨龄预测方法 |
| WO2022069239A1 (en) * | 2020-09-30 | 2022-04-07 | Agfa Nv | Paediatric bone age assessment of x-ray images based on detection of ossification regions |
| CN113298780A (zh) * | 2021-05-24 | 2021-08-24 | 云南大学 | 一种基于深度学习的儿童骨龄评估方法及系统 |
| CN113989206A (zh) * | 2021-10-20 | 2022-01-28 | 杭州深睿博联科技有限公司 | 一种基于轻量化模型的骨龄预测方法及装置 |
| CN114240874A (zh) * | 2021-12-14 | 2022-03-25 | 杭州博钊科技有限公司 | 基于深度卷积神经网络和特征融合的骨龄评定方法、设备及计算机可读存储介质 |
| CN114549470A (zh) * | 2022-02-23 | 2022-05-27 | 合肥工业大学 | 基于卷积神经网络和多粒度注意力的手骨关键性区域获取方法 |
| CN114663735A (zh) * | 2022-04-06 | 2022-06-24 | 杭州健培科技有限公司 | 基于联合全局及局部卷积神经网络特征的双骨龄评估方法 |
| CN114663426A (zh) * | 2022-04-21 | 2022-06-24 | 重庆邮电大学 | 一种基于关键骨区定位的骨龄评估方法 |
| CN115578372A (zh) * | 2022-10-31 | 2023-01-06 | 杭州博钊科技有限公司 | 基于目标检测和卷积变换的骨龄评估方法、设备及介质 |
Non-Patent Citations (4)
| Title |
|---|
| Intelligent Bone Age Assessment: An Automated System to Detect a Bone Growth Problem Using Convolutional Neural Networks with Attention Mechanism;Mohd Asyraf Zulkifley et al.;《Diagnostics》;第11卷(第5期);1-24 * |
| Landmark-based multi-region ensemble convolutional neural networks for bone age assessment;Cao Shaomeng et al.;《International Journal of Imaging Systems and Technology》;第29卷(第4期);457-464 * |
| 基于多维度特征融合的深度学习骨龄评估模型;刘鸣谦 等;《第二军医大学学报》;第39卷(第08期);909-916 * |
| 基于深度学习的儿童手骨X光图像骨龄评估方法;张帅 等;《航天医学与医学工程》;第34卷(第3期);252-259 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116342516A (zh) | 2023-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Adegun et al. | Deep learning techniques for skin lesion analysis and melanoma cancer detection: a survey of state-of-the-art | |
| CN116342516B (zh) | 基于模型集成的儿童手骨x光图像骨龄评估方法及系统 | |
| CN111583285B (zh) | 一种基于边缘关注策略的肝脏影像语义分割方法 | |
| Wang et al. | A generalizable and robust deep learning algorithm for mitosis detection in multicenter breast histopathological images | |
| Wazir et al. | HistoSeg: Quick attention with multi-loss function for multi-structure segmentation in digital histology images | |
| CN110991254A (zh) | 超声图像视频分类预测方法及系统 | |
| Cheng et al. | DDU-Net: A dual dense U-structure network for medical image segmentation | |
| CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
| CN115526801A (zh) | 基于条件对抗神经网络的遥感影像自动匀色方法和装置 | |
| CN113343755A (zh) | 红细胞图像中的红细胞分类系统及方法 | |
| Yang et al. | RADCU-Net: Residual attention and dual-supervision cascaded U-Net for retinal blood vessel segmentation | |
| Nie et al. | Recent advances in diagnosis of skin lesions using dermoscopic images based on deep learning | |
| Li et al. | Multi-scale bidirectional enhancement network for 3d dental model segmentation | |
| Khan et al. | An effective approach to address processing time and computational complexity employing modified CCT for lung disease classification | |
| CN111383759A (zh) | 一种肺炎自动诊断系统 | |
| Helmy et al. | Deep learning and computer vision techniques for microcirculation analysis: A review | |
| CN116433607B (zh) | 基于关键区域特征双重加权融合的儿童手骨x光图像骨龄评估方法及系统 | |
| CN112785559B (zh) | 基于深度学习的多个异构模型相互组合的骨龄预测方法 | |
| Liu et al. | A Cross-Lesion Attention Network for Accurate Diabetic Retinopathy Grading With Fundus Images | |
| CN116129417A (zh) | 一种基于低质量图像的数字仪表读数检测方法 | |
| Wang et al. | Reliable joint segmentation of retinal edema lesions in oct images | |
| CN112418290A (zh) | 实时oct图像的roi区域预测方法及显示方法 | |
| CN112489012A (zh) | 一种用于ct图像识别的神经网络架构方法 | |
| Mahanty et al. | SRGAN Assisted Encoder-Decoder Deep Neural Network for Colorectal Polyp Semantic Segmentation. | |
| Zhai et al. | Multi-focus image fusion via interactive transformer and asymmetric soft sharing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |