CN112070760B - 一种基于卷积神经网络的骨量检测方法 - Google Patents
一种基于卷积神经网络的骨量检测方法 Download PDFInfo
- Publication number
- CN112070760B CN112070760B CN202010977948.8A CN202010977948A CN112070760B CN 112070760 B CN112070760 B CN 112070760B CN 202010977948 A CN202010977948 A CN 202010977948A CN 112070760 B CN112070760 B CN 112070760B
- Authority
- CN
- China
- Prior art keywords
- bone mass
- characteristic diagram
- data set
- layer
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000000988 bone and bone Anatomy 0.000 title claims abstract description 90
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000000105 evaporative light scattering detection Methods 0.000 title claims abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 31
- 230000002159 abnormal effect Effects 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000010586 diagram Methods 0.000 claims description 60
- 230000004913 activation Effects 0.000 claims description 39
- 238000012360 testing method Methods 0.000 claims description 32
- 238000005070 sampling Methods 0.000 claims description 27
- 238000011176 pooling Methods 0.000 claims description 23
- 230000009467 reduction Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 8
- 230000003213 activating effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims 2
- 230000003287 optical effect Effects 0.000 claims 1
- 239000011541 reaction mixture Substances 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 abstract description 4
- 208000029725 Metabolic bone disease Diseases 0.000 abstract 2
- 206010049088 Osteopenia Diseases 0.000 abstract 2
- 238000007781 pre-processing Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 208000001132 Osteoporosis Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于卷积神经网络的骨量检测方法，其步骤包括：1构建卷积神经网络；2获取根据骨密度仪标注的X光片数据集并进行预处理；3利用X光片数据集对神经网络进行训练，得到能够对骨量异常、骨量减少和骨量正常的X光片进行识别的网络模型；4利用网络模型对X光片进行检测，评估模型的分类精度；5基于训练的网络模型进行集成，并转化为可执行程序exe，输入dicom格式待检测数据，得到对应检测结果。本发明能实现端到端的骨量异常、骨量减少和骨量正常的X光片的检测，从而方便快捷的及时发现骨量减少或骨量异常状态，辅助进一步检查和治疗，以降低因为骨量异常而发生的一系列风险。
Description
技术领域
本发明属于计算机/机器视觉中图像处理和分类领域，具体的说是一种基于卷积神经网络 的图像分类方法。
背景技术
骨量异常可以通过观察X光片来识别，这需要有经验的医生来执行，通过分类方法可以 辅助医生的观察，减轻患者经济压力，因此，良好的分类方法有助于辅助医生对骨量异常的 判断。
现有的分类方法包括：基于传统机器学习的方法和基于深度学习的方法。
基于传统机器学习的方法主要是基于X光片的纹理特征来实现分类，例如通过局部二值 模式或灰度共生矩阵提取图像纹理特征，再通过支持向量机进行分类。由于医疗图像中干扰 特征太多，基于传统及其学习的方法难以通过有效的纹理特征来进行分类，导致分类效果差。
在基于深度学习的方法主要是利用卷积神经网络进行分类。该方法从训练样本中学习不 同类别的特征，目的在于通过所学特征来区分不同类别，例如通过直线型模型VggNet、局部 双分支型模型ResNet、局部多分支型模型GoogleNet来进行模型的训练，从而依据训练好的 模型来进行分类，由于医疗数据中天然存在的数据量小、干扰特征多的问题，导致模型学习 的特征中干扰特征占比较大，从而分类效果差。
Su等人基于传统机器学习方法和深度学习方法进行集成，将传统机器学习方法得到的特 征与深度学习学习的特征进行集成，并送入分类器SVM进行分类得到最终分类结果，该方 法基于LBP和GLCM进行纹理特征提取，再分别通过AlexNet、VggNet、ResNet、DebseNet 提取深度学习的特征，将两者融合并用SVM进行分类实现骨质疏松症的检测，较仅使用传 统机器学习方法进行分类有较大提升，但是相比仅使用深度学习模型进行分类效果提升较小， 并且对骨量减少类别的识别精度较低，具体可参考论文“Fusingconvolutional neural network features with hand-crafted features forosteoporosis diagnoses”，该文章于2020年发表于期刊 “Neurocomputing”385卷第300至309页；根据Hui等人的研究，卷积神经网络用于图像分 类过程中，各个类别间特征向量角度越大对应的网络模型泛化能力越好，也就是说网络模型 学习到不同类别间差异越大的特征则对应网络模型泛化能力越好，具体可参考论文 “Inter-Class Angular Loss forConvolutional Neural Networks”，该文章于2019年发表于会议 “The Thirty-ThirdAAAIConference onArtificial Intelligence”，但是由于骨量异常类别包含了 部分骨量减少或骨量正常的特征，骨量减少类别也包含了部分骨量正常的特征，导致在使用 卷积神经网络进行分类时相似特征的丢失，同时由于更多干扰特征的存在，导致最终的分类 效果差。
发明内容
本发明为解决现有技术中的不足之处，提供了一种基于卷积神经网络的骨量检测方法， 以期能实现端到端的骨量异常、骨量减少和骨量正常的x光影像图的检测，从而方便快捷的 及时发现骨量减少或骨量异常状态，辅助进一步检查和治疗，以降低因为骨量异常而发生的 一系列风险。
为解决上述技术问题，本发明采用的技术方案是：
本发明一种基于卷积神经网络的骨量检测方法的特点是按照如下步骤进行：
步骤1、构建卷积神经网络，所述卷积神经网络由卷积层、池化层、全连接层构成；
步骤1.1、获取X光片(x,y,k)；其中x，y，k分别表示所述X光片的高度、宽度和通道数；
步骤1.2、以所述X光片(x,y,k)作为所述卷积神经网络的输入，所述卷积层中第一部分的 初始卷积层L0(k0,n0)对所述X光片(x,y,k)进行一次卷积操作，得到初始特征图Fc(x,y,n0)；其中， k0表示初始卷积核大小，n0表示初始卷积层的卷积核个数；
步骤1.3、对初始特征图Fc(x,y,n0)进行一次激活操作，得到激活后的特征图Fr(x,y,n0)，将 激活后的特征图Fr(x,y,n0)送入初始池化层L0(kp0,s)中进行无重叠采样后得到初始采样特征图 Fv(x’,y’,n0)；
定义操作次数为t，并初始化t＝1；
定义变量并初始化a＝0，β＝0；
步骤1.4、将初始采样特征图Fv(x’,y’,n0)送入第二部分的第t个卷积层Lt(kst,nβt)中进行第t 次卷积操作，得到第t个卷积层的特征图Ft(x,y,nβt)，对所述第t个卷积层的特征图Ft(x,y,nβt) 进行线性激活操作得到第t次线性激活操作后的特征图Fr(x,y,nβt)；ks,t表示第t个卷积核大小， nβt表示第t个卷积层的卷积核个数；
步骤1.5、令t+1赋值给t后，判断t≤β+3是否成立，若成立，则重复步骤1.4，否则令β＝4， 将a+1赋值给a后，判断a≤2是否成立，若成立，则重复执行步骤1.4，否则执行步骤1.6；
步骤1.6、将激活后的特征图Fr(x,y,nt)送入第t个卷积层Lt(kst,nβt)中进行第t次卷积操作， 得到第t个卷积层的特征图Ft(x,y,nβt)，对所述第t个卷积层的特征图Ft(x,y,nβt)进行线性激活 操作得到第t次线性激活操作后的特征图Fr(x,y,nβt)；
步骤1.7、令t+1赋值给t后，判断t≤β+10是否成立，若成立，则重复步骤1.6，否则将 令β＝6，将a+1赋值给a后，判断a≤4是否成立，若成立，则重复执行步骤1.6，否则执行步骤1.8；
步骤1.8、将所述第t次线性激活操作后的特征图Fr(x,y,nβt)分别送入第三部分的三个并行 的卷积层L1(k1,n1)、L2(k2,n2)、L3(k3,n3)中进行卷积操作，得到相应的三个特征图Fc(x,y,n1)、 Fc(x,y,n2)、Fc(x,y,n3)，对三个特征图Fc(x,y,n1)、Fc(x,y,n2)、Fc(x,y,n3)分别进行线性激活操作， 得到线性激活后的三个特征图Fr(x,y,n1)、Fr(x,y,n2)、Fr(x,y,n3)；ki表示第三部分中第i个卷积 核大小，ni表示第三部分中第i个卷积层的卷积核个数；i＝1,2,3；
步骤1.9、对线性激活后的两个特征图Fr(x,y,n2)、Fr(x,y,n3)在通道上进行拼接得到拼接后 的特征图Fc(x,y,n4)，对拼接后的特征图Fc(x,y,n4)进行线性激活操作，得到激活后的特征图 Fr(x,y,n4)，其中n4＝n2+n3；
步骤1.10、将激活后的特征图Fr(x,y,n1)送入第一池化层L1(kp1,s)中进行无重叠采样后得到 第一采样特征图Fv(x’,y’,n1)；将所述拼接后的特征图Fc(x,y,n4)送入第二池化层L2(kp2,s)中进行 无重叠采样后得到第二采样特征图Fv(x’,y’,n2)，其中，kpi表示第i池化层采样的范围大小，s 表示滑动步长；i＝1,2；
步骤1.11、对第一采样特征图Fv(x’,y’,n1)和第二采样特征图Fv(x’,y’,n2)在通道上进行拼接 得到第三采样特征图Fv(x,y,n3)，其中n3＝n1+n2；
步骤1.12、将第三采样特征图Fv(x,y,n3)和第t次线性激活操作后的特征图Fr(x,y,nβ,t)分别 送入第一全连接层Lf1和第二全连接层Lf2，得到X光片(x,y,k)对应类别的两个概率，将两个 概率进行加权集成，得到网络最终的分类概率记为C(x,y,pj)，其中pj表示第j个类别的概率， j∈[1,N]，N为分类类别的数量；
步骤2、通过医学数据dicom处理方法将X光片的dicom格式转化为网络模型可处理的 数据格式，再基于骨密度仪对转换格式后的X光片进行标注并得到训练数据集Dtr1和测试数 据集Dte1；对所述训练数据集Dtr1中所有X光片分别进行左右翻转、上下翻转、随机1至359 度旋转、高斯噪声处理，得到处理后的训练数据集D’tr1；
步骤3、对所述卷积神经网络进行训练并测试：
将所述训练数据集D’tr1和测试数据集Dte1转化为数据类型TFRecords后分别作为所述卷 积神经网络的输入数据和测试数据，以所述X光片训练数据集Dtr1和测试数据集Dte1中所有 标注图像分别作为输入数据和测试数据的标签；再利用adadelta算法对所述卷积神经网络进 行训练，并利用式(1)所示的损失函数来更新训练过程中的参数，从而得到网络模型，再以所 述测试数据集Dte1对网络模型进行测试，以实现骨量的检测；
式(1)中，z表示网络模型预测的标签，zhat表示真实标签，λi表示使用InceptionV3、 Vgg16和Resnet50三种不同类型卷积神经网络所测试的各类别的最大精度，令λ0表示骨量正 常在测试数据集Dte1的最大精度，λ1表示骨量异常在测试数据集Dte1的最大精度，λ2表示骨 量减少在测试数据集Dte1的最大精度，μi表示训练数据集D’tr1中各个类别的数据量，令μ0表 示骨量正常的数据量，μ1表示骨量异常的数据量，μ2表示骨量减少的数据量，θi表示网络模 型在当前代训练时各个类别的训练精度，令θ0表示骨量正常的精度，θ1表示骨量异常的精度， θ2表示骨量减少的精度，s表示Softmax函数值，i＝0,1,2。
与现有技术相比，本发明的有益效果在于：
1、本发明通过构建卷积神经网络，设计更新权值的损失函数，采用医学数据dicom处理 方法，解决了现有技术中由于X光片数据干扰特征多、数据量小、检测骨量各个类别的特征 重叠导致的有效特征丢失以及不同类别由于学习难度的差异导致网络模型不平衡的问题，提 高了检测的准确率，克服了医疗检测数据dicom的识别与转化问题，实现了端到端的骨量自 动检测。
2、本发明通过构建卷积神经网络，学习各个类别的特征并进行分类，相比现有的卷积神 经网络，本发明的卷积神经网络更关注于深层特征与脊椎特征的学习，所以在第三部分的特 征学习中，使用多尺度特征融合的方法以及非对称卷积进行特征的学习，以降低在网络模型 学习过程中由于干扰特征多(比如身体轮廓、治疗痕迹、脊椎轮廓等)以及特征重叠导致的 有效特征丢失造成的损失，使得网络模型在学习骨量正常、骨量减少和骨量异常的各类特征 时，既降低了干扰性特征(如身体轮廓、脊椎形状)带来的损失，提高了网络模型在识别骨 量正常、骨量减少和骨量异常时的泛化能力，又使得网络模型学习更多骨量正常、骨量减少、 骨量异常的特征(如脊椎纹路、脊椎骨骼间轮廓)，提高了网络模型对骨量正常、骨量减少和 骨量异常的识别能力。
3、本发明通过设计更新权值的损失函数，克服了由于学习难度的差异导致网络模型不平 衡的问题，现有的权值更新方法主要从扩大类间间距和缩小类内间距入手，或者通过设定比 重来控制不同类别的学习权重，没有考虑各个类别在网络模型学习的不同阶段的学习难度， 并且由于数据量小的关系，导致网络模型学习的特征并没有覆盖整个特征域，那么人为的设 定权重就会导致模型学习上的偏差，其次由于骨量减少处于骨量正常与骨量异常之间，现有 的损失函数难以从三个类别中挖掘骨量减少的特征，而本发明设计的权值更新方法主要是解 决上诉问题，首先通过softmax函数计算每个类别的概率，然后将原始各类别精度作为特征 有效比例，通过两者一方面动态增加模型学习过程中难以学习类别的权重，另外一方面通过 特征有效所占比例来平衡各个类别，以降低网络模型学习过程中的不平衡问题带来的损失， 使得网络模型在训练过程中不会偏向于学习容易识别类别的特征(如骨量正常)，同时也不会 完全偏向于学习难以识别类别的特征(如骨量异常和骨量减少)，而是在学习过程中，根据网 络模型训练时各个阶段骨量正常、骨量异常和骨量减少识别能力的不同，自动调节各个类别 学习的权重，使得所训练的网络模型对骨量的检测泛化能力更好。
4、本发明医疗X光片原始数据为dicom格式，即医学数字成像和通信，是医学图像和 相关信息的国际标准(SO 12052)，它定义了质量能满足临床需要的可用于数据交换的医学图 像格式，但是无法应用于现有的卷积神经网络当中，通过医学数据dicom处理方法，实现了 dicom数据的识别与转化，自动识别包含脊椎图像的数据并进行转化，使其可以应用到所设 计的卷积神经网络当中。
附图说明
图1为本发明方法的流程图；
图2为本发明使用的卷积神经网络的结构示意图；
图3为本发明使用的X光片各个类别的示意图。
具体实施方式
本实施例中，如图1所示，一种基于卷积神经网络的端到端的骨量检测方法是按照如下 步骤进行：
步骤1、构建卷积神经网络，卷积神经网络由卷积层、池化层、全连接层构成；
如图2所示，卷积神经网络包括三个部分的卷积池化操作和一个部分的全连接操作：卷 积池化操作的第一部分包括一个卷积层，一个池化层，第二部分包括十六个卷积层，第三部 分包括三个卷积层和两个池化层；全连接部分包括两个全连接操作；
步骤1.1、获取X光片(x,y,k)；其中x，y，k分别表示X光片的高度、宽度和通道数；
在本实验测试中，X光片的高度、宽度分别为x＝224，y＝224，通道数k＝3；
步骤1.2、以X光片(x,y,k)作为卷积神经网络的输入，卷积层中第一部分的初始卷积层 L0(k0,n0)对X光片(x,y,k)进行一次卷积操作，得到初始特征图Fc(x,y,n0)；其中，k0表示初始卷 积核大小，n0表示初始卷积层的卷积核个数；
经过卷积之后的特征图Fc(x,y,n0)的尺寸为：x＝(x+2-k0)+1，y＝(y+2-k0)+1，在本实施例中， 第一部分卷积核大小k0＝7，卷积核个数n0＝64；
步骤1.3、对初始特征图Fc(x,y,n0)进行一次激活操作，得到激活后的特征图Fr(x,y,n0)，将 激活后的特征图Fr(x,y,n0)送入初始池化层L0(kp0,s)中进行无重叠采样后得到初始采样特征图 Fv(x’,y’,n0)；
线性激活操作所使用的激活函数为ReLU，该激活函数将特征图Fc(x,y,n0)中负值元素取 值置0，保持正值元素取值不变，不会改变特征图Fc(x,y,n0)的尺寸大小；池化层进行无重叠 采样的范围大小kp0＝3，滑动步长s＝2，经过最大池化操作后，特征图Fv(x’,y’,n0)的高度x赋 值为
宽度y赋值为
定义操作次数为t，并初始化t＝1；
定义变量并初始化a＝0，β＝0；
步骤1.4、将初始采样特征图Fv(x’,y’,n0)送入第二部分的第t个卷积层Lt(kst,nβt)中进行第t 次卷积操作，得到第t个卷积层的特征图Ft(x,y,nβt)，对第t个卷积层的特征图Ft(x,y,nβt)进行 线性激活操作得到第t次线性激活操作后的特征图Fr(x,y,nβt)；ks,t表示第t个卷积核大小，nβt表示第t个卷积层的卷积核个数；
在本实施例中，第二部分卷积核大小kt＝3，当t∈[1,3]时，卷积核个数nt＝64；当t∈[4,7] 时，nt＝128；当t∈[8,13]时，nt＝256，当t∈[14,16]时，nt＝512，
步骤1.5、令t+1赋值给t后，判断t≤β+3是否成立，若成立，则重复步骤1.4，否则将“4” 赋值给β，a+1赋值给a后，判断a≤2是否成立，若成立，则重复执行步骤1.4，否则执行步骤1.6；
步骤1.6、将激活后的特征图Fr(x,y,nt)送入第t个卷积层Lt(kst,nβt)中进行第t次卷积操作， 得到第t个卷积层的特征图Ft(x,y,nβt)，对第t个卷积层的特征图Ft(x,y,nβt)进行线性激活操作 得到第t次线性激活操作后的特征图Fr(x,y,nβt)；
步骤1.7、令t+1赋值给t后，判断t≤β+10是否成立，若成立，则重复步骤1.6，否则将 “6”赋值给β，a+1赋值给a后，判断a≤4是否成立，若成立，则重复执行步骤1.6，否则执行步骤1.8；
步骤1.8、将第t次线性激活操作后的特征图Fr(x,y,nβt)分别送入第三部分的三个并行的卷 积层L1(k1,n1)、L2(k2,n2)、L3(k3,n3)中进行卷积操作，得到相应的三个特征图Fc(x,y,n1)、Fc(x,y,n2)、 Fc(x,y,n3)，对三个特征图Fc(x,y,n1)、Fc(x,y,n2)、Fc(x,y,n3)分别进行线性激活操作，得到线性激 活后的三个特征图Fr(x,y,n1)、Fr(x,y,n2)、Fr(x,y,n3)；ki表示第三部分中第i个卷积核大小，ni表示第三部分中第i个卷积层的卷积核个数；i＝1,2,3；
在本实施例中，第三部分卷积核大小k1＝(3,3)，k2＝(1,3)，k3＝(3,1)；卷积核个数n1＝1，n2＝1， n3＝1；
步骤1.9、对线性激活后的两个特征图Fr(x,y,n2)、Fr(x,y,n3)在通道上进行拼接得到拼接后 的特征图Fc(x,y,n4)，对拼接后的特征图Fc(x,y,n4)进行线性激活操作，得到激活后的特征图 Fr(x,y,n4)，其中n4＝n2+n3；
步骤1.10、将激活后的特征图Fr(x,y,n1)送入第一池化层L1(kp1,s)中进行无重叠采样后得到 第一采样特征图Fv(x’,y’,n1)；将拼接后的特征图Fc(x,y,n4)送入第二池化层L2(kp2,s)中进行无重 叠采样后得到第二采样特征图Fv(x’,y’,n2)，其中，kpi表示第i池化层采样的范围大小，s表示 滑动步长；i＝1,2；
在本实施例中，第一池化层中kp1＝4，第二池化层中kp2＝5，滑动步长s都为1；
步骤1.11、对第一采样特征图Fv(x’,y’,n1)和第二采样特征图Fv(x’,y’,n2)在通道上进行拼接 得到第三采样特征图Fv(x,y,n3)，其中n3＝n1+n2；
步骤1.12、将第三采样特征图Fv(x,y,n3)和第t次线性激活操作后的特征图Fr(x,y,nβ,t)分别 送入第一全连接层Lf1和第二全连接层Lf2，然后加权映射得到大小为(1,N)的向量，记为 C(x,y,pj)，其中pj表示第j个类别的概率，j∈[1,N]，N为分类类别的数量；
经过第一全连接层Lf1和第二全连接层Lf2映射后相加再取均值得到(1,3)大小的向量 C(x,y,pj)，其中向量的各元素表示各个类别经过网络模型计算后的概率；
步骤2、通过医学数据dicom处理方法将X光片的dicom格式转化为网络模型可处理的 数据格式，再基于骨密度仪对转换格式后的X光片进行标注并得到训练数据集Dtr1和测试数 据集Dte1；对所述训练数据集Dtr1中所有X光片分别进行左右翻转、上下翻转、随机1至359 度旋转、高斯噪声处理，得到处理后的训练数据集D’tr1；
dicom格式的医疗文件解析可参考文章“Digital imaging and communicationsin medicine”， 该文章于2010年发表于图书《Biomedical Image Processing》第427至454页，如图3所示为 dicom解析转化为图像的示意图。在本实施例中，数据集Dtr1数量为313，数据集D’tr1数量为 1565；高斯噪声处理中均值mu为0.2，标准差sigma为0.3；
步骤3、对所述卷积神经网络进行训练并测试：
将所述训练数据集D’tr1和测试数据集Dte1转化为数据类型TFRecords后分别作为所述卷 积神经网络的输入数据和测试数据，分别以所述X光片训练数据集Dtr1和测试数据集Dte1中 所有标注图像作为输入数据和测试数据的标签；再利用adadelta算法对所述卷积神经网络进 行训练，并利用式(1)所示的损失函数来更新训练过程中的参数，从而得到网络模型，再以所 述测试数据集Dte1对网络模型进行测试，以实现骨量的检测；
式(1)中，z表示网络模型预测的标签，zhat表示真实标签，λi表示使用InceptionV3、 Vgg16和Resnet50三种不同类型卷积神经网络所测试的各类别的最大精度，λ0表示骨量正常 在测试数据集Dte1的最大精度，λ1表示骨量异常在测试数据集Dte1的最大精度，λ2表示骨量 减少在测试数据集Dte1的最大精度，μi表示训练数据集D’tr1中各个类别的数据量，其中μ0表 示骨量正常的数据量，μ1表示骨量异常的数据量，μ2表示骨量减少的数据量，θi表示网络模 型当前代训练时各个类别的训练精度，其中θ0表示骨量正常的精度，θ1表示骨量异常的精度， θ2表示骨量减少的精度，s表示Softmax函数值，i＝0,1,2。
TFRecords是一种tensorflow专用的二进制编码的文件格式，使用它能更好的利用内存， 方便复制和移动，并且不需要单独的标签文件；adadelta算法是一种梯度下降算法，具体方法 可参考论文“Adadelta:an adaptive learning rate method”，该文章于2012年发表于“arXiv preprint arXiv:1212.5701”。
表1各种模型在X光片测试数据集上的准确率(％)
如表1所示，为本发明的骨量检测网络模型的检测准确率，Su等人表示使用集成的传统 机器学习和深度学习方法；GLCM+SVM/LBP+SVM表示仅使用传统机器学习方法；Resnet50、 Vgg16、InceptionV3表示仅使用不同类型深度模型的方法，可以看出：本发明的方法比其余 方法在精度上有了大幅提升，并且实现了端到端的骨量检测，从而能方便快捷的及时发现骨 量减少或骨量异常状态，辅助进一步检查和治疗，以降低因为骨量异常而发生的一系列风险。
Claims (1)
1.一种基于卷积神经网络的骨量检测方法，其特征是按照如下步骤进行：
步骤1、构建卷积神经网络，所述卷积神经网络由卷积层、池化层、全连接层构成；
步骤1.1、获取X光片(x,y,k)；其中x，y，k分别表示所述X光片的高度、宽度和通道数；
步骤1.2、以所述X光片(x,y,k)作为所述卷积神经网络的输入，所述卷积层中第一部分的初始卷积层L0(k0,n0)对所述X光片(x,y,k)进行一次卷积操作，得到初始特征图Fc(x,y,n0)；其中，k0表示初始卷积核大小，n0表示初始卷积层的卷积核个数；
步骤1.3、对初始特征图Fc(x,y,n0)进行一次激活操作，得到激活后的特征图Fr(x,y,n0)，将激活后的特征图Fr(x,y,n0)送入初始池化层L0(kp0,s)中进行无重叠采样后得到初始采样特征图Fv(x’,y’,n0)；
定义操作次数为t，并初始化t=1；
定义变量并初始化a=0，β=0；
步骤1.4、将初始采样特征图Fv(x’,y’,n0)送入第二部分的第t个卷积层Lt(kst,nβt)中进行第t次卷积操作，得到第t个卷积层的特征图Ft(x,y,nβt)，对所述第t个卷积层的特征图Ft(x,y,nβt)进行线性激活操作得到第t次线性激活操作后的特征图Fr(x,y,nβt)；ks,t表示第t个卷积核大小，nβt表示第t个卷积层的卷积核个数；
步骤1.5、令t+1赋值给t后，判断t≤β+3是否成立，若成立，则重复步骤1.4，否则令β=4，将a+1赋值给a后，判断a≤2是否成立，若成立，则重复执行步骤1.4，否则执行步骤1.6；
步骤1.6、将激活后的特征图Fr(x,y,nt)送入第t个卷积层Lt(kst,nβt)中进行第t次卷积操作，得到第t个卷积层的特征图Ft(x,y,nβt)，对所述第t个卷积层的特征图Ft(x,y,nβt)进行线性激活操作得到第t次线性激活操作后的特征图Fr(x,y,nβt)；
步骤1.7、令t+1赋值给t后，判断t≤β+10是否成立，若成立，则重复步骤1.6，否则将令β=6，将a+1赋值给a后，判断a≤4是否成立，若成立，则重复执行步骤1.6，否则执行步骤1.8；
步骤1.8、将所述第t次线性激活操作后的特征图Fr(x,y,nβt)分别送入第三部分的三个并行的卷积层L1(k1,n1)、L2(k2,n2)、L3(k3,n3)中进行卷积操作，得到相应的三个特征图Fc(x,y,n1)、Fc(x,y,n2)、Fc(x,y,n3)，对三个特征图Fc(x,y,n1)、Fc(x,y,n2)、Fc(x,y,n3)分别进行线性激活操作，得到线性激活后的三个特征图Fr(x,y,n1)、Fr(x,y,n2)、Fr(x,y,n3)；ki表示第三部分中第i个卷积核大小，ni表示第三部分中第i个卷积层的卷积核个数；i=1,2,3；
步骤1.9、对线性激活后的两个特征图Fr(x,y,n2)、Fr(x,y,n3)在通道上进行拼接得到拼接后的特征图Fc(x,y,n4)，对拼接后的特征图Fc(x,y,n4)进行线性激活操作，得到激活后的特征图Fr(x,y,n4)，其中n4=n2+n3；
步骤1.10、将激活后的特征图Fr(x,y,n1)送入第一池化层L1(kp1,s)中进行无重叠采样后得到第一采样特征图Fv(x’,y’,n1)；将所述拼接后的特征图Fc(x,y,n4)送入第二池化层L2(kp2,s)中进行无重叠采样后得到第二采样特征图Fv(x’,y’,n4)，其中，kpi表示第i池化层采样的范围大小，s表示滑动步长；i=1,2;
步骤1.11、对第一采样特征图Fv(x’,y’,n1)和第二采样特征图Fv(x’,y’,n4)在通道上进行拼接得到第三采样特征图Fv(x,y,n5)，其中n5=n1+n4；
步骤1.12、将第三采样特征图Fv(x,y,n5)和第t次线性激活操作后的特征图Fr(x,y,nβ,t)分别送入第一全连接层Lf1和第二全连接层Lf2，得到X光片(x,y,k)对应类别的两个概率，将两个概率进行加权集成，得到网络最终的分类概率记为C(x,y,pj)，其中pj表示第j个类别的概率，jÎ[1,N]，N为分类类别的数量；
步骤2、通过医学数据dicom处理方法将X光片的dicom格式转化为网络模型可处理的数据格式，再基于骨密度仪对转换格式后的X光片进行标注并得到训练数据集Dtr1和测试数据集Dte1；对所述训练数据集Dtr1中所有X光片分别进行左右翻转、上下翻转、随机1至359度旋转、高斯噪声处理，得到处理后的训练数据集D’tr1；
步骤3、对所述卷积神经网络进行训练并测试：
将所述训练数据集D’tr1和测试数据集Dte1转化为数据类型TFRecords后分别作为所述卷积神经网络的输入数据和测试数据，以所述X光片训练数据集Dtr1和测试数据集Dte1中所有标注图像分别作为输入数据和测试数据的标签；再利用adadelta算法对所述卷积神经网络进行训练，并利用式(1)所示的损失函数来更新训练过程中的参数，从而得到网络模型，再以所述测试数据集Dte1对网络模型进行测试，以实现骨量的检测；
式(1)中，z表示网络模型预测的标签，z_hat表示真实标签，λ i 表示使用InceptionV3、Vgg16和Resnet50三种不同类型卷积神经网络所测试的各类别的最大精度，令λ 0表示骨量正常在测试数据集Dte1的最大精度，λ 1表示骨量异常在测试数据集Dte1的最大精度，λ 2表示骨量减少在测试数据集Dte1的最大精度，µ i 表示训练数据集D’tr1中各个类别的数据量，令µ 0表示骨量正常的数据量，µ 1表示骨量异常的数据量，µ 2表示骨量减少的数据量，θ i 表示网络模型在当前代训练时各个类别的训练精度，令θ 0表示骨量正常的精度，θ 1表示骨量异常的精度，θ 2表示骨量减少的精度，s表示Softmax函数值，i=0,1,2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010977948.8A CN112070760B (zh) | 2020-09-17 | 2020-09-17 | 一种基于卷积神经网络的骨量检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010977948.8A CN112070760B (zh) | 2020-09-17 | 2020-09-17 | 一种基于卷积神经网络的骨量检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112070760A CN112070760A (zh) | 2020-12-11 |
| CN112070760B true CN112070760B (zh) | 2022-11-08 |
Family
ID=73680568
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010977948.8A Active CN112070760B (zh) | 2020-09-17 | 2020-09-17 | 一种基于卷积神经网络的骨量检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112070760B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022126392A1 (zh) * | 2020-12-15 | 2022-06-23 | 中山大学孙逸仙纪念医院 | 模型训练方法、装置、电子设备、介质以及骨量检测系统 |
| CN114822810A (zh) * | 2022-03-18 | 2022-07-29 | 三偲科技(北京)有限公司 | 骨骼恢复状况监测方法、装置、设备及可读存储介质 |
| TWI828096B (zh) * | 2022-03-25 | 2024-01-01 | 英屬開曼群島商百蒂醫股份有限公司 | X光影像分析方法 |
| CN116433607B (zh) * | 2023-03-17 | 2024-03-15 | 四川文理学院 | 基于关键区域特征双重加权融合的儿童手骨x光图像骨龄评估方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107016415A (zh) * | 2017-04-12 | 2017-08-04 | 合肥工业大学 | 一种基于全卷积网络的彩色图像色彩语义分类方法 |
| CN108514430A (zh) * | 2018-05-07 | 2018-09-11 | 南京大学 | 一种阵列式多频点超声骨密度测量技术 |
| CN109344808A (zh) * | 2018-07-24 | 2019-02-15 | 中山大学中山眼科中心 | 一种基于深度学习的眼部图像处理系统 |
| CN110276248A (zh) * | 2019-05-10 | 2019-09-24 | 杭州电子科技大学 | 一种基于样本权值分配和深度学习的人脸表情识别方法 |
| CN110570508A (zh) * | 2019-07-23 | 2019-12-13 | 博志生物科技(深圳)有限公司 | 骨质疏松状况三维可视化渲染方法 |
| CN110648317A (zh) * | 2019-09-18 | 2020-01-03 | 上海交通大学 | 适用于脊柱转移肿瘤骨质的质量分类方法及系统 |
| CN110796636A (zh) * | 2019-09-25 | 2020-02-14 | 中国人民解放军战略支援部队信息工程大学 | 基于卷积神经网络的ct图像骨质状况检测方法及装置 |
| CN111123048A (zh) * | 2019-12-23 | 2020-05-08 | 温州大学 | 一种基于卷积神经网络的串联故障电弧检测装置及方法 |
| CN111402984A (zh) * | 2020-02-13 | 2020-07-10 | 上海杏脉信息科技有限公司 | 一种肺部疾病远程诊断系统 |
| CN111489358A (zh) * | 2020-03-18 | 2020-08-04 | 华中科技大学 | 一种基于深度学习的三维点云语义分割方法 |
-
2020
- 2020-09-17 CN CN202010977948.8A patent/CN112070760B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107016415A (zh) * | 2017-04-12 | 2017-08-04 | 合肥工业大学 | 一种基于全卷积网络的彩色图像色彩语义分类方法 |
| CN108514430A (zh) * | 2018-05-07 | 2018-09-11 | 南京大学 | 一种阵列式多频点超声骨密度测量技术 |
| CN109344808A (zh) * | 2018-07-24 | 2019-02-15 | 中山大学中山眼科中心 | 一种基于深度学习的眼部图像处理系统 |
| CN110276248A (zh) * | 2019-05-10 | 2019-09-24 | 杭州电子科技大学 | 一种基于样本权值分配和深度学习的人脸表情识别方法 |
| CN110570508A (zh) * | 2019-07-23 | 2019-12-13 | 博志生物科技(深圳)有限公司 | 骨质疏松状况三维可视化渲染方法 |
| CN110648317A (zh) * | 2019-09-18 | 2020-01-03 | 上海交通大学 | 适用于脊柱转移肿瘤骨质的质量分类方法及系统 |
| CN110796636A (zh) * | 2019-09-25 | 2020-02-14 | 中国人民解放军战略支援部队信息工程大学 | 基于卷积神经网络的ct图像骨质状况检测方法及装置 |
| CN111123048A (zh) * | 2019-12-23 | 2020-05-08 | 温州大学 | 一种基于卷积神经网络的串联故障电弧检测装置及方法 |
| CN111402984A (zh) * | 2020-02-13 | 2020-07-10 | 上海杏脉信息科技有限公司 | 一种肺部疾病远程诊断系统 |
| CN111489358A (zh) * | 2020-03-18 | 2020-08-04 | 华中科技大学 | 一种基于深度学习的三维点云语义分割方法 |
Non-Patent Citations (6)
| Title |
|---|
| Crop pest classification based on deep convolutional neural network and transfer learning;K.Thenmozhi et al;《Computers and Electronics in Agriculture》;20190930;第164卷;第1-11页 * |
| Inter-Class Angular Loss for Convolutional Neural Networks;Le Hui et al;《The Thirty-Third AAAI Conference on Artificial Intelligence》;20190717;第3894-3901页 * |
| Large-margin softmax loss for convolutional neural networks;Weiyang Liu et al;《arxiv:1612.02295v4》;20171130;第1-10页 * |
| Recognizing Fish Species Captured Live on Wild Sea Surface in Videos by Deep Metric Learning with a Temporal Constraint;T. -W. Huang et al;《2019 IEEE International Conference on Image Processing (ICIP)》;20190826;第3407-3411页 * |
| 基于平片的计算机辅助的骨质疏松分级诊断初步探究;郑丽;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20200815;第2020年卷(第8期);E065-167 * |
| 基于深度学习的骨龄自动评测系统的研究与实现;王景樟;《中国优秀硕士学位论文全文数据库 信息科技辑》;20181115;第2018年卷(第11期);I138-354 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112070760A (zh) | 2020-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112070760B (zh) | 一种基于卷积神经网络的骨量检测方法 | |
| Saxena et al. | Machine learning methods for computer-aided breast cancer diagnosis using histopathology: a narrative review | |
| CN106056595B (zh) | 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统 | |
| CN111784671B (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
| CN111126386B (zh) | 场景文本识别中基于对抗学习的序列领域适应方法 | |
| CN113298780B (zh) | 一种基于深度学习的儿童骨龄评估方法及系统 | |
| CN112784879A (zh) | 一种基于小样本域自适应的医学影像分割或分类方法 | |
| CN111444829B (zh) | 面向液基细胞学检查的融合推理与学习的决策分类方法 | |
| CN115223715A (zh) | 一种基于多模态信息融合的癌症预测方法与系统 | |
| CN117274662A (zh) | 一种改进ResNeXt神经网络的轻量级多模态医学图像分类方法 | |
| WO2022109295A1 (en) | System and method for detecting and classifying abnormal cells | |
| CN113610859A (zh) | 一种基于超声图像的甲状腺结节自动分割方法 | |
| CN115048537A (zh) | 一种基于图像-文本多模态协同表示的病害识别系统 | |
| CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
| CN117012370A (zh) | 多模态疾病辅助推理系统、方法、终端及存储介质 | |
| CN118072965B (zh) | 一种基于自监督学习的病理大模型的构建方法 | |
| Maurya et al. | Computer-aided diagnosis of auto-immune disease using capsule neural network | |
| CN117689949A (zh) | 一种基于少样本学习的消化道内镜图像分类算法 | |
| Basymeleh et al. | Acute lymphoblastic leukemia image classification performance with transfer learning using CNN architecture | |
| CN115713505A (zh) | 基于聚焦交叉熵的多元特征融合的脑膜瘤分级方法及系统 | |
| CN112668668B (zh) | 一种术后医学影像评估方法、装置、计算机设备及存储介质 | |
| CN113313158A (zh) | 基于多模态深度学习分类模型的模态贡献度的计算方法 | |
| Mohammed et al. | Teeth Disease Recognition Based on X-ray Images | |
| CN112001896A (zh) | 一种甲状腺边界不规则度检测装置 | |
| CN111932523A (zh) | 一种基于脑成像大数据深度学习的性别分类器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |