CN113989206A - 一种基于轻量化模型的骨龄预测方法及装置 - Google Patents
一种基于轻量化模型的骨龄预测方法及装置 Download PDFInfo
- Publication number
- CN113989206A CN113989206A CN202111220778.XA CN202111220778A CN113989206A CN 113989206 A CN113989206 A CN 113989206A CN 202111220778 A CN202111220778 A CN 202111220778A CN 113989206 A CN113989206 A CN 113989206A
- Authority
- CN
- China
- Prior art keywords
- layer
- characteristic diagram
- bone age
- lightweight
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 210000000988 bone and bone Anatomy 0.000 title claims abstract description 68
- 230000011218 segmentation Effects 0.000 claims abstract description 48
- 238000010586 diagram Methods 0.000 claims description 74
- 238000010606 normalization Methods 0.000 claims description 53
- 239000011800 void material Substances 0.000 claims description 52
- 238000011176 pooling Methods 0.000 claims description 41
- 238000012937 correction Methods 0.000 claims description 33
- 238000005070 sampling Methods 0.000 claims description 28
- 238000007781 pre-processing Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 abstract description 7
- 238000013461 design Methods 0.000 abstract description 4
- 238000003745 diagnosis Methods 0.000 abstract description 2
- 201000010099 disease Diseases 0.000 abstract description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 2
- 210000000056 organ Anatomy 0.000 abstract description 2
- 238000011156 evaluation Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000013467 fragmentation Methods 0.000 description 2
- 238000006062 fragmentation reaction Methods 0.000 description 2
- 238000013077 scoring method Methods 0.000 description 2
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000002746 orthostatic effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Abstract
本发明提供一种基于轻量化模型的骨龄预测方法及装置。所述方法包括：获取被检测人的手部图像；基于融合轻量化网络shufflenet、ghostnet的建模方法建立分割模型，将所述手部图像输入训练好的分割模型，输出手部分割结果；基于融合轻量化网络shufflenet、ghostnet的建模方法建立骨龄预测模型，将所述手部图像和手部分割结果输入到训练好的骨龄预测模型，得到被检测人的骨龄。本发明既可降低计算量减轻时间消耗，又能降低内存访问成本MAC节约制造成本，适合于嵌入式系统计算的网络设计模式。值得说明的是，本发明所述方法不仅适合基于人手图像的骨龄预测，还适合基于任何人体器官图像的疾病类型诊断预测。
Description
技术领域
本发明属于医学影像技术领域，具体涉及一种基于轻量化模型的骨龄预测方法及装置。
背景技术
骨龄是评价青少年儿童生物年龄的主要方法，在临床医学、法医学和运动医学等领域中有广泛的应用。骨龄评测方法分为图谱法和计分法。图谱法以GP图谱为代表，该方法将待测骨龄片与一组左手正位标准GP骨龄片相比较，选取最相似的一张“标准GP图谱骨龄片”的骨龄值，作为待测骨龄片的评测值。计分法以TW2/TW3法、CH05法为代表，对手腕部20块骨，分别评定其发育等级，进而计算出骨龄评测值。综上，骨龄评测是一个主观对比的过程，而且对于医师来说骨龄评测是比较耗时耗力的任务。使用深度学习方法来辅助医师进行骨龄评测可以极大减少医师的工作量并能有效地保证预测结果的稳定性。而现有的深度学习方法往往采用非常巨大的主干模型作为网络，在进行推理时不仅浪费时间还会消耗较多能源。
申请号为202110613678.7的发明专利，公开了一种基于改进的ResNeSt卷积神经网络模型的糖尿病性视网膜病变图像分类方法。其方法如下：首先从医院获取病变图像；对图像进行预处理，眼科医生手动标注，划分数据集；再搭建实验所需的深度学习服务器平台，然后编写python代码；在ResNeSt卷积神经网络中引入OctConv和SPConv两种轻量且高效的卷积操作，并引入Warm Restart和余弦退火的学习率调节机制。该方法的网络设计存在极高的碎片化，即网络中存在多路径分支，而网络结构的碎片化会降低并行效率；其次，这种网络设计含有非常多的元素级操作(元素级操作指的是对神经网络的输出特征进行逐个元素的操作，例如逐个元素的加减乘除等)，这也就意味着会有较大的MAC(memoryaccess cost)。上述两方面共同决定了该网络无法应用在嵌入式系统上。
发明内容
为了解决现有技术中存在的上述问题，本发明提供一种基于轻量化模型的骨龄预测方法及装置。
为了实现上述目的，本发明采用以下技术方案。
第一方面，本发明提供一种基于轻量化模型的骨龄预测方法，包括以下步骤：
获取被检测人的手部图像；
基于融合轻量化网络shufflenet、ghostnet的建模方法建立分割模型，将所述手部图像输入训练好的分割模型，输出手部分割结果；
基于融合轻量化网络shufflenet、ghostnet的建模方法建立骨龄预测模型，将所述手部图像和手部分割结果输入到训练好的骨龄预测模型，得到被检测人的骨龄。
进一步地，所述方法还包括图像预处理步骤：对获取的手部图像进行去噪处理；调整图像的对比度和亮度；旋转图像以消除倾斜；裁剪图像，通过添加padding的方式调整图像尺寸为512像素*512像素。
进一步地，所述基于融合轻量化网络shufflenet、ghostnet的建模方法包括：
利用通道分割模块将输入的特征图沿通道方向均分为第一特征图和第二特征图；
将第一特征图输入到由卷积层、批量归一化层和修正线性单元组成的组合模块，输出通道数减半的第三特征图；
将第三特征图输入到由深度方向卷积层、批量归一化层和修正线性单元组成的组合模块，并将所述组合模块的输出与第三特征图进行连接得到第四特征图；
将第四特征图与第二特征图连接后输入到由单点卷积层、批量归一化层和修正线性单元组成的组合模块，得到在通道方向进行融合的第五特征图。
更进一步地，基于融合轻量化网络shufflenet、ghostnet的建模方法建立的分割模型为DeASPP-Unet结构，通过将原始Unet中的跨层连接、下采样层、上采样层分别替换为空洞空间金字塔池化层、下采样空洞空间金字塔池化层和上采样反空洞空间金字塔池化层得到。
更进一步地，所述空洞空间金字塔池化层包括3个由卷积层、批量归一化层和修正线性单元组成的并行组合模块和1个由单点卷积层、批量归一化层和修正线性单元组成的组合模块，3个并行组合模块的卷积核均为3*3，步长均为1，空洞率分别为2、4、6。
更进一步地，所述下采样空洞空间金字塔池化层包括3个由卷积层、批量归一化层和修正线性单元组成的并行组合模块和1个由单点卷积层、批量归一化层和修正线性单元组成的组合模块，3个并行组合模块的卷积核均为3*3，步长均为2，空洞率分别为2、4、6。
更进一步地，所述上采样反空洞空间金字塔池化层包括3个由反卷积层、批量归一化层和修正线性单元组成的并行组合模块和1个由单点卷积层、批量归一化层和修正线性单元组成的组合模块，3个并行组合模块的卷积核均为3*3，步长均为1，扩展率均为2，空洞率分别为2、4、6。
第二方面，本发明提供一种基于轻量化模型的骨龄预测装置，包括：
图像获取模块，用于获取被检测人的手部图像；
第一建模模块，用于基于融合轻量化网络shufflenet、ghostnet的建模方法建立分割模型，将所述手部图像输入训练好的分割模型，输出手部分割结果；
第二建模模块，用于基于融合轻量化网络shufflenet、ghostnet的建模方法建立骨龄预测模型，将所述手部图像和手部分割结果输入到训练好的骨龄预测模型，得到被检测人的骨龄。
进一步地，所述装置还包括图像预处理模块，用于对获取的手部图像进行去噪处理；调整图像的对比度和亮度；旋转图像以消除倾斜；裁剪图像，通过添加padding的方式调整图像尺寸为512像素*512像素。
进一步地，所述基于融合轻量化网络shufflenet、ghostnet的建模方法包括：
利用通道分割模块将输入的特征图沿通道方向均分为第一特征图和第二特征图；
将第一特征图输入到由卷积层、批量归一化层和修正线性单元组成的组合模块，输出通道数减半的第三特征图；
将第三特征图输入到由深度方向卷积层、批量归一化层和修正线性单元组成的组合模块，并将所述组合模块的输出与第三特征图进行连接得到第四特征图；
将第四特征图与第二特征图连接后输入到由单点卷积层、批量归一化层和修正线性单元组成的组合模块，得到在通道方向进行融合的第五特征图。
更进一步地，基于融合轻量化网络shufflenet、ghostnet的建模方法建立的分割模型为DeASPP-Unet结构，通过将原始Unet中的跨层连接、下采样层、上采样层分别替换为空洞空间金字塔池化层、下采样空洞空间金字塔池化层和上采样反空洞空间金字塔池化层得到。
更进一步地，所述空洞空间金字塔池化层包括3个由卷积层、批量归一化层和修正线性单元组成的并行组合模块和1个由单点卷积层、批量归一化层和修正线性单元组成的组合模块，3个并行组合模块的卷积核均为3*3，步长均为1，空洞率分别为2、4、6。
更进一步地，所述下采样空洞空间金字塔池化层包括3个由卷积层、批量归一化层和修正线性单元组成的并行组合模块和1个由单点卷积层、批量归一化层和修正线性单元组成的组合模块，3个并行组合模块的卷积核均为3*3，步长均为2，空洞率分别为2、4、6。
更进一步地，所述上采样反空洞空间金字塔池化层包括3个由反卷积层、批量归一化层和修正线性单元组成的并行组合模块和1个由单点卷积层、批量归一化层和修正线性单元组成的组合模块，3个并行组合模块的卷积核均为3*3，步长均为1，扩展率均为2，空洞率分别为2、4、6。
与现有技术相比，本发明具有以下有益效果。
本发明通过获取被检测人的手部图像，基于融合轻量化网络shufflenet、ghostnet的建模方法建立分割模型和骨龄预测模型，实现了骨龄的自动预测模型。本发明通过基于融合轻量化网络shufflenet、ghostnet的建模方法建立分割模型和骨龄预测模型，既可以降低计算量减轻时间消耗，又能降低内存访问成本MAC节约制造成本，适合于嵌入式系统计算的网络设计模式。值得说明的是，本发明所述方法不仅适合基于人手图像的骨龄预测，还适合基于任何人体器官图像的疾病类型诊断预测。
附图说明
图1为本发明实施例一种基于轻量化模型的骨龄预测方法的流程图。
图2为Shuffleghost模块的结构示意图。
图3为DeASPP-Unet网络结构示意图。
图4为空洞空间金字塔池化层结构示意图。
图5为下采样空洞空间金字塔池化层结构示意图。
图6为上采样反空洞空间金字塔池化层结构示意图。
图7为本发明实施例一种基于轻量化模型的骨龄预测装置的方框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明白，以下结合附图及具体实施方式对本发明作进一步说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例一种基于轻量化模型的骨龄预测方法的流程图，包括以下步骤：
步骤101，获取被检测人的手部图像；
步骤102，基于融合轻量化网络shufflenet、ghostnet的建模方法建立分割模型，将所述手部图像输入训练好的分割模型，输出手部分割结果；
步骤103，基于融合轻量化网络shufflenet、ghostnet的建模方法建立骨龄预测模型，将所述手部图像和手部分割结果输入到训练好的骨龄预测模型，得到被检测人的骨龄。
本实施例中，步骤101主要用于获取被检测人的手部图像。本实施例基于被检测人的手部图像进行骨龄预测，因此需要从医院获取被检测人的手部图像。一般是左手图像。
本实施例中，步骤102主要用于通过建立分割模型获得手部分割结果。为了得到轻量化的分割模型，本实施例提出一种融合轻量化网络shufflenet、ghostnet的建模方法。Shufflenet和ghostnet是两种常用的轻量化CNN网络模型均是通过设计更高效的网络结构来实现模型变小和变快。Shufflenet的核心是采用了两种操作：pointwise groupconvolution和channel shuffle，这在保持精度的同时大大降低了模型的计算量。Ghostnet将普通的卷积层分解为两个部分，第一部分包含了正常的卷积，但是卷积的数量会被严格控制。在给定第一部分的固有特征图之后，然后应用一系列简单的线性运算以生成更多特征图。与普通卷积神经网络相比，在不更改输出特征图大小的情况下，Ghostnet中所需的参数总数和计算复杂度均已降低。本实施例提出的建模方法融合了Shufflenet和ghostnet两种轻量化模型的优点，为了简便起见，我们将这种融合Shufflenet和Ghostnet的建模方法用Shuffleghost模块结构表示。后面的实施例将给出一种利用Shuffleghost模块结构的建模方法。通过构建包含人工标注的训练数据集对建立的分割模型进行训练，将被检测人的手部图像输入训练好的分割模型，得到手部分割结果。所述手部分割结果严格地说并非一张手部分割图像，而是一个掩膜(mask)，该掩膜一般与图像大小相同，在相应位置用0表示原图像中该位置的像素为背景，用1表示前景。
本实施例中，步骤103主要用于通过建立骨龄预测模型对被检测人的骨龄进行预测。为了得到轻量化的骨龄预测模型，本实施例同样基于融合轻量化网络shufflenet、ghostnet的建模方法建立骨龄预测模型，所述骨龄预测模型采用与MobilenetV2网络相似的网络结构。MobilenetV2网络借鉴了Resnet的思想，将瓶颈模块(bottleneck)作为搭建网络的基础模块，瓶颈模块由一个放大通道数的单点卷积层pointwise，沿深度方向的卷积层和一个缩小通道数的pointwise卷积层作为主干，并且将输入特征图进行恒等映射，最终将两个特征图进行逐元素相加。而本实施例就是使用shuffleghost模块代替Mobilenetv2中的瓶颈模块进行网络搭建的。所述骨龄预测模型的结构参数如表1所示。
表1骨龄预测模型的结构参数
表中的特征图尺寸表示为W*H*C，W、H、C分别表示宽度、高度和通道数。
作为一可选实施例，所述方法还包括图像预处理步骤：对获取的手部图像进行去噪处理；调整图像的对比度和亮度；旋转图像，使手部图像的对称轴竖直向上；裁剪图像，通过添加padding的方式调整图像尺寸为512像素*512像素。
本实施例给出了图像预处理的一种技术方案。在将被检测人的手部图像输入模型之前，或构建模型训练数据集时，需要对获取的原始手部图像进行一些预处理，以提高建模或预测精度。图像预处理一般包括以下内容：消除手部图像中的噪声；调整对比度和亮度；旋转图像，消除倾斜(使手部图像的对称轴竖直向上)，使手部位置较为标准；对图像进行裁剪，使手部位置占据图像的比例升高，确保有效区域的信息完整性，通过添加padding的方式调整图像尺寸为512像素*512像素，防止产生畸变。一般还要由专业医师对图像进行标注，包括通常会用到的C骨和R骨的掩膜，以及骨龄信息。使用80％-10％-10％的比例划分数据集，其中80％为训练集，10％为验证集，10％为测试集。
作为一可选实施例，所述基于融合轻量化网络shufflenet、ghostnet的建模方法包括：
利用通道分割模块将输入的特征图沿通道方向均分为第一特征图和第二特征图；
将第一特征图输入到由卷积层、批量归一化层和修正线性单元组成的组合模块，输出通道数减半的第三特征图；
将第三特征图输入到由深度方向卷积层、批量归一化层和修正线性单元组成的组合模块，并将所述组合模块的输出与第三特征图进行连接得到第四特征图；
将第四特征图与第二特征图连接后输入到由单点卷积层、批量归一化层和修正线性单元组成的组合模块，得到在通道方向进行融合的第五特征图。
本实施例给出了基于融合轻量化网络shufflenet、ghostnet的建模方法的一种技术方案。图2是融合shufflenet、ghostnet的模块Shuffleghost的结构示意图。根据图2，首先，通道分割模块将输入的特征图沿通道方向平均分割，得到第一特征图和第二特征图。其中，第二特征图采用捷径连接不经任何神经网络直接向下传播；第一特征图则要输入到一个由卷积层、批量归一化层(Batch Normalization，BN)和修正线性单元(RectifiedLinearUnit，ReLU)组成的组合模块，输出通道数减半的第三特征图(例如，若第一特征图的尺寸为128(宽)*128(高)*32(通道数)，经该组合模块后输出的第三特征图的尺寸变为128*128*32)。第三特征图一路输入到一个由深度方向(Depthwise)卷积层、批量归一化层和修正线性单元组成的组合模块，其输出与另一路保持不变向下传播的第三特征图进行连接(Concatenate)得到第四特征图。然后，第四特征图再与直接向下传播的第二特征图进行连接，并输入到一个由单点(Pointwise)卷积层、批量归一化层和修正线性单元组成的组合模块，得到第五特征图。最后一步主要用于进行通道方向的融合。
本实施例首先对输入的特征图进行通道分割操作，其中一个分支直接向下传播到第二个连接操作层，这样可以节省对内存的占用；而另一个分支则需要通过一个由卷积层、批量归一化层和修正线性单元组成的组合模块以及一个沿深度方向的卷积层、批量归一化层和修正线性单元组成的组合模块，这个操作可以提升模型提取特征的能力，同时使用沿深度方向的卷积层保证了模型的具有较少的运算量，来确保模型的轻量化。而两个连接操作则避免了逐像素的操作，减少了计算量和内存访问成本。
作为一可选实施例，基于融合轻量化网络shufflenet、ghostnet的建模方法建立的分割模型为DeASPP-Unet结构，通过将原始Unet中的跨层连接、下采样层、上采样层分别替换为空洞空间金字塔池化层、下采样空洞空间金字塔池化层和上采样反空洞空间金字塔池化层得到。
本实施例给出了基于Shuffleghost模块结构构建的分割模型的一种技术方案。建立的分割模型为DeASPP-Unet(De-Atrous Spatial Pyramid Pooling，反空洞空间金字塔池化层)结构，如图3所示。DeASPP-Unet是原始Unet的一种变形：用空洞空间金字塔池化层(Atrous Spatial Pyramid Pooling，ASPP)替换了原来的跨层连接，用下采样空洞空间金字塔池化层(Down SampleAtrous Spatial Pyramid Pooling)替换了原来的下采样层，用上采样反空洞空间金字塔池化层(De-Atrous Spatial Pyramid Pooling)替换了原来的上采样层。本实施例通过采用具有不同空洞率的卷积核进行特征提取，可增大感受野；同时，多路并行卷积增大了模型提取特征的能力。两方面共同作用使得分割模型的网络深度可以适当减小，可避免增加过多的计算量。
作为一可选实施例，所述空洞空间金字塔池化层包括3个由卷积层、批量归一化层和修正线性单元组成的并行组合模块和1个由单点卷积层、批量归一化层和修正线性单元组成的组合模块，3个并行组合模块的卷积核均为3*3，步长均为1，空洞率分别为2、4、6。
本实施例给出了空洞空间金字塔池化层的一种技术方案。其具体结构参数如图4所示，这里不再展详细说明。
作为一可选实施例，所述下采样空洞空间金字塔池化层包括3个由卷积层、批量归一化层和修正线性单元组成的并行组合模块和1个由单点卷积层、批量归一化层和修正线性单元组成的组合模块，3个并行组合模块的卷积核均为3*3，步长均为2，空洞率分别为2、4、6。
本实施例给出了下采样空洞空间金字塔池化层的一种技术方案。其具体结构参数如图5所示，这里不再展详细说明。
作为一可选实施例，所述上采样反空洞空间金字塔池化层包括3个由反卷积层、批量归一化层和修正线性单元组成的并行组合模块和1个由单点卷积层、批量归一化层和修正线性单元组成的组合模块，3个并行组合模块的卷积核均为3*3，步长均为1，扩展率均为2，空洞率分别为2、4、6。
本实施例给出了上采样反空洞空间金字塔池化层的一种技术方案。其具体结构参数如图6所示，这里不再展详细说明。
图7为本发明实施例一种基于轻量化模型的骨龄预测装置的组成示意图，所述装置包括：
图像获取模块11，用于获取被检测人的手部图像；
第一建模模块12，用于基于融合轻量化网络shufflenet、ghostnet的建模方法建立分割模型，将所述手部图像输入训练好的分割模型，输出手部分割结果；
第二建模模块13，用于基于融合轻量化网络shufflenet、ghostnet的建模方法建立骨龄预测模型，将所述手部图像和手部分割结果输入到训练好的骨龄预测模型，得到被检测人的骨龄。
本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。后面的实施例也是如此，均不再展开说明。
作为一可选实施例，所述装置还包括图像预处理模块，用于对获取的手部图像进行去噪处理；调整图像的对比度和亮度；旋转图像以消除倾斜；裁剪图像，通过添加padding的方式调整图像尺寸为512像素*512像素。
作为一可选实施例，所述基于融合轻量化网络shufflenet、ghostnet的建模方法包括：
利用通道分割模块将输入的特征图沿通道方向均分为第一特征图和第二特征图；
将第一特征图输入到由卷积层、批量归一化层和修正线性单元组成的组合模块，输出通道数减半的第三特征图；
将第三特征图输入到由深度方向卷积层、批量归一化层和修正线性单元组成的组合模块，并将所述组合模块的输出与第三特征图进行连接得到第四特征图；
将第四特征图与第二特征图连接后输入到由单点卷积层、批量归一化层和修正线性单元组成的组合模块，得到在通道方向进行融合的第五特征图。
作为一可选实施例，基于融合轻量化网络shufflenet、ghostnet的建模方法建立的分割模型为DeASPP-Unet结构，通过将原始Unet中的跨层连接、下采样层、上采样层分别替换为空洞空间金字塔池化层、下采样空洞空间金字塔池化层和上采样反空洞空间金字塔池化层得到。
作为一可选实施例，所述空洞空间金字塔池化层包括3个由卷积层、批量归一化层和修正线性单元组成的并行组合模块和1个由单点卷积层、批量归一化层和修正线性单元组成的组合模块，3个并行组合模块的卷积核均为3*3，步长均为1，空洞率分别为2、4、6。
作为一可选实施例，所述下采样空洞空间金字塔池化层包括3个由卷积层、批量归一化层和修正线性单元组成的并行组合模块和1个由单点卷积层、批量归一化层和修正线性单元组成的组合模块，3个并行组合模块的卷积核均为3*3，步长均为2，空洞率分别为2、4、6。
作为一可选实施例，所述上采样反空洞空间金字塔池化层包括3个由反卷积层、批量归一化层和修正线性单元组成的并行组合模块和1个由单点卷积层、批量归一化层和修正线性单元组成的组合模块，3个并行组合模块的卷积核均为3*3，步长均为1，扩展率均为2，空洞率分别为2、4、6。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于轻量化模型的骨龄预测方法，其特征在于，包括以下步骤：
获取被检测人的手部图像；
基于融合轻量化网络shufflenet、ghostnet的建模方法建立分割模型，将所述手部图像输入训练好的分割模型，输出手部分割结果；
基于融合轻量化网络shufflenet、ghostnet的建模方法建立骨龄预测模型，将所述手部图像和手部分割结果输入到训练好的骨龄预测模型，得到被检测人的骨龄。
2.根据权利要求1所述的基于轻量化模型的骨龄预测方法，其特征在于，所述方法还包括图像预处理步骤：对获取的手部图像进行去噪处理；调整图像的对比度和亮度；旋转图像以消除倾斜；裁剪图像，通过添加padding的方式调整图像尺寸为512像素*512像素。
3.根据权利要求1所述的基于轻量化模型的骨龄预测方法，其特征在于，所述基于融合轻量化网络shufflenet、ghostnet的建模方法包括：
利用通道分割模块将输入的特征图沿通道方向均分为第一特征图和第二特征图；
将第一特征图输入到由卷积层、批量归一化层和修正线性单元组成的组合模块，输出通道数减半的第三特征图；
将第三特征图输入到由深度方向卷积层、批量归一化层和修正线性单元组成的组合模块，并将所述组合模块的输出与第三特征图进行连接得到第四特征图；
将第四特征图与第二特征图连接后输入到由单点卷积层、批量归一化层和修正线性单元组成的组合模块，得到在通道方向进行融合的第五特征图。
4.根据权利要求3所述的基于轻量化模型的骨龄预测方法，其特征在于，基于融合轻量化网络shufflenet、ghostnet的建模方法建立的分割模型为DeASPP-Unet结构，通过将原始Unet中的跨层连接、下采样层、上采样层分别替换为空洞空间金字塔池化层、下采样空洞空间金字塔池化层和上采样反空洞空间金字塔池化层得到。
5.根据权利要求4所述的基于轻量化模型的骨龄预测方法，其特征在于，所述空洞空间金字塔池化层包括3个由卷积层、批量归一化层和修正线性单元组成的并行组合模块和1个由单点卷积层、批量归一化层和修正线性单元组成的组合模块，3个并行组合模块的卷积核均为3*3，步长均为1，空洞率分别为2、4、6。
6.根据权利要求4所述的基于轻量化模型的骨龄预测方法，其特征在于，所述下采样空洞空间金字塔池化层包括3个由卷积层、批量归一化层和修正线性单元组成的并行组合模块和1个由单点卷积层、批量归一化层和修正线性单元组成的组合模块，3个并行组合模块的卷积核均为3*3，步长均为2，空洞率分别为2、4、6。
7.根据权利要求4所述的基于轻量化模型的骨龄预测方法，其特征在于，所述上采样反空洞空间金字塔池化层包括3个由反卷积层、批量归一化层和修正线性单元组成的并行组合模块和1个由单点卷积层、批量归一化层和修正线性单元组成的组合模块，3个并行组合模块的卷积核均为3*3，步长均为1，扩展率均为2，空洞率分别为2、4、6。
8.一种基于轻量化模型的骨龄预测装置，其特征在于，包括：
图像获取模块，用于获取被检测人的手部图像；
第一建模模块，用于基于融合轻量化网络shufflenet、ghostnet的建模方法建立分割模型，将所述手部图像输入训练好的分割模型，输出手部分割结果；
第二建模模块，用于基于融合轻量化网络shufflenet、ghostnet的建模方法建立骨龄预测模型，将所述手部图像和手部分割结果输入到训练好的骨龄预测模型，得到被检测人的骨龄。
9.根据权利要求8所述的基于轻量化模型的骨龄预测方法，其特征在于，所述装置还包括图像预处理模块，用于对获取的手部图像进行去噪处理；调整图像的对比度和亮度；旋转图像以消除倾斜；裁剪图像，通过添加padding的方式调整图像尺寸为512像素*512像素。
10.根据权利要求8所述的基于轻量化模型的骨龄预测方法，其特征在于，所述基于融合轻量化网络shufflenet、ghostnet的建模方法包括：
利用通道分割模块将输入的特征图沿通道方向均分为第一特征图和第二特征图；
将第一特征图输入到由卷积层、批量归一化层和修正线性单元组成的组合模块，输出通道数减半的第三特征图；
将第三特征图输入到由深度方向卷积层、批量归一化层和修正线性单元组成的组合模块，并将所述组合模块的输出与第三特征图进行连接得到第四特征图；
将第四特征图与第二特征图连接后输入到由单点卷积层、批量归一化层和修正线性单元组成的组合模块，得到在通道方向进行融合的第五特征图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111220778.XA CN113989206A (zh) | 2021-10-20 | 2021-10-20 | 一种基于轻量化模型的骨龄预测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111220778.XA CN113989206A (zh) | 2021-10-20 | 2021-10-20 | 一种基于轻量化模型的骨龄预测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113989206A true CN113989206A (zh) | 2022-01-28 |
Family
ID=79739585
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111220778.XA Pending CN113989206A (zh) | 2021-10-20 | 2021-10-20 | 一种基于轻量化模型的骨龄预测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113989206A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114972249A (zh) * | 2022-05-24 | 2022-08-30 | 广州市华奕电子科技有限公司 | 一种基于轻量化卷积神经网络的肝肿瘤分割方法 |
| CN116342516A (zh) * | 2023-03-17 | 2023-06-27 | 四川文理学院 | 基于模型集成的儿童手骨x光图像骨龄评估方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109871892A (zh) * | 2019-02-18 | 2019-06-11 | 华南理工大学 | 一种基于小样本度量学习的机器人视觉认知系统 |
| CN109948522A (zh) * | 2019-03-18 | 2019-06-28 | 浙江工业大学 | 一种基于深度神经网络的x光片手骨成熟度判读方法 |
| CN111080579A (zh) * | 2019-11-28 | 2020-04-28 | 杭州电子科技大学 | 基于深度学习实现图像分割和分类的骨龄评估方法 |
| US20200320748A1 (en) * | 2017-10-24 | 2020-10-08 | L'oreal | System and method for image processing using deep neural networks |
| CN111882517A (zh) * | 2020-06-08 | 2020-11-03 | 杭州深睿博联科技有限公司 | 一种基于图卷积神经网络的骨龄评测方法、系统、终端及存储介质 |
| CN111931867A (zh) * | 2020-09-21 | 2020-11-13 | 长沙理工大学 | 基于轻量级模型的新冠肺炎x射线图像分类方法及系统 |
| CN112990325A (zh) * | 2021-03-24 | 2021-06-18 | 南通大学 | 一种面向嵌入式实时视觉目标检测的轻型网络构建方法 |
| CN113255690A (zh) * | 2021-04-15 | 2021-08-13 | 南昌大学 | 一种基于轻量级卷积神经网络的复合绝缘子憎水性检测方法 |
| CN113344188A (zh) * | 2021-06-18 | 2021-09-03 | 东南大学 | 基于通道注意力模块的轻量级神经网络模型 |
| CN113393368A (zh) * | 2021-06-11 | 2021-09-14 | 安谋科技（中国）有限公司 | 基于神经网络模型的图像处理方法、介质和电子设备 |
-
2021
- 2021-10-20 CN CN202111220778.XA patent/CN113989206A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200320748A1 (en) * | 2017-10-24 | 2020-10-08 | L'oreal | System and method for image processing using deep neural networks |
| CN109871892A (zh) * | 2019-02-18 | 2019-06-11 | 华南理工大学 | 一种基于小样本度量学习的机器人视觉认知系统 |
| CN109948522A (zh) * | 2019-03-18 | 2019-06-28 | 浙江工业大学 | 一种基于深度神经网络的x光片手骨成熟度判读方法 |
| CN111080579A (zh) * | 2019-11-28 | 2020-04-28 | 杭州电子科技大学 | 基于深度学习实现图像分割和分类的骨龄评估方法 |
| CN111882517A (zh) * | 2020-06-08 | 2020-11-03 | 杭州深睿博联科技有限公司 | 一种基于图卷积神经网络的骨龄评测方法、系统、终端及存储介质 |
| CN111931867A (zh) * | 2020-09-21 | 2020-11-13 | 长沙理工大学 | 基于轻量级模型的新冠肺炎x射线图像分类方法及系统 |
| CN112990325A (zh) * | 2021-03-24 | 2021-06-18 | 南通大学 | 一种面向嵌入式实时视觉目标检测的轻型网络构建方法 |
| CN113255690A (zh) * | 2021-04-15 | 2021-08-13 | 南昌大学 | 一种基于轻量级卷积神经网络的复合绝缘子憎水性检测方法 |
| CN113393368A (zh) * | 2021-06-11 | 2021-09-14 | 安谋科技（中国）有限公司 | 基于神经网络模型的图像处理方法、介质和电子设备 |
| CN113344188A (zh) * | 2021-06-18 | 2021-09-03 | 东南大学 | 基于通道注意力模块的轻量级神经网络模型 |
Non-Patent Citations (4)
| Title |
|---|
| LE YANG, ET AL.: "CondenseNet V2: Sparse Feature Reactivation for Deep Networks", ARXIV, 9 April 2021 (2021-04-09), pages 1 - 13 * |
| 小小将: "ShuffleNetV2：轻量级CNN网络中的桂冠", Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/48261931> * |
| 李慕清: "GhostNet论文解析：Ghost Module", Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/109420599> * |
| 申元: "交通标志识别与检测的算法研究", 中国优秀硕士学位论文全文数据库-工程科技Ⅱ辑, 15 March 2021 (2021-03-15), pages 37 - 43 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114972249A (zh) * | 2022-05-24 | 2022-08-30 | 广州市华奕电子科技有限公司 | 一种基于轻量化卷积神经网络的肝肿瘤分割方法 |
| CN116342516A (zh) * | 2023-03-17 | 2023-06-27 | 四川文理学院 | 基于模型集成的儿童手骨x光图像骨龄评估方法及系统 |
| CN116342516B (zh) * | 2023-03-17 | 2024-04-16 | 四川文理学院 | 基于模型集成的儿童手骨x光图像骨龄评估方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145170B (zh) | 一种基于深度学习的医学影像分割方法 | |
| WO2023221954A1 (zh) | 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统 | |
| CN110675406A (zh) | 基于残差双注意力深度网络的ct图像肾脏分割算法 | |
| CN109859233A (zh) | 图像处理、图像处理模型的训练方法及系统 | |
| CN111445481A (zh) | 一种基于尺度融合的腹部ct多器官的分割方法 | |
| CN113989206A (zh) | 一种基于轻量化模型的骨龄预测方法及装置 | |
| CN113012172A (zh) | 一种基于AS-UNet的医学图像分割方法及系统 | |
| CN113793348B (zh) | 一种视网膜血管分割方法和装置 | |
| CN111862009B (zh) | 一种眼底oct图像的分类方法及计算机可读存储介质 | |
| CN113554665A (zh) | 一种血管分割方法及装置 | |
| CN107909588A (zh) | 基于三维全卷积神经网络的mri皮质下分区系统 | |
| CN112001928A (zh) | 一种视网膜血管分割方法及系统 | |
| CN111179269A (zh) | 一种基于多视图和3维卷积融合策略的pet图像分割方法 | |
| CN114298193A (zh) | 基于分割网络的血管斑块检测装置和方法 | |
| CN109919932A (zh) | 目标对象的识别方法和装置 | |
| CN112634308B (zh) | 基于不同感受野的鼻咽癌靶区和危及器官的勾画方法 | |
| CN111260670A (zh) | 基于深度学习网络的三维影像的管状结构分割图断裂修复方法及系统 | |
| CN109215035B (zh) | 一种基于深度学习的脑部mri海马体三维分割方法 | |
| CN110827283A (zh) | 基于卷积神经网络的头颈血管分割方法及装置 | |
| CN111724345A (zh) | 可自适应调节感受野大小的肺炎图片检定装置与方法 | |
| CN116051545B (zh) | 一种双模态影像的脑龄预测方法 | |
| CN114782452B (zh) | 一种荧光素眼底血管造影图像的处理系统及装置 | |
| CN116309507A (zh) | 注意力机制下对ctp进行特征融合的ais病灶预测方法 | |
| CN116740081A (zh) | Ct图像中肺血管分割方法、装置、终端设备及介质 | |
| CN108961161B (zh) | 一种图像数据处理方法、装置和计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |