CN113688930A - 一种基于深度学习的甲状腺结节钙化识别装置 - Google Patents
一种基于深度学习的甲状腺结节钙化识别装置 Download PDFInfo
- Publication number
- CN113688930A CN113688930A CN202111019495.9A CN202111019495A CN113688930A CN 113688930 A CN113688930 A CN 113688930A CN 202111019495 A CN202111019495 A CN 202111019495A CN 113688930 A CN113688930 A CN 113688930A
- Authority
- CN
- China
- Prior art keywords
- module
- layer
- calcification
- feature extraction
- thyroid nodule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002308 calcification Effects 0.000 title claims abstract description 78
- 208000009453 Thyroid Nodule Diseases 0.000 title claims abstract description 49
- 208000024770 Thyroid neoplasm Diseases 0.000 title claims abstract description 48
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 62
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 43
- 238000002604 ultrasonography Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 9
- 238000002372 labelling Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims abstract description 8
- 238000010276 construction Methods 0.000 claims abstract description 6
- 230000004913 activation Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 16
- 230000002779 inactivation Effects 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 14
- 230000009849 deactivation Effects 0.000 claims description 13
- 230000005284 excitation Effects 0.000 claims description 12
- 230000006835 compression Effects 0.000 claims description 11
- 238000007906 compression Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 238000007634 remodeling Methods 0.000 claims description 3
- 239000008186 active pharmaceutical agent Substances 0.000 claims 2
- 208000004434 Calcinosis Diseases 0.000 description 56
- 238000010586 diagram Methods 0.000 description 6
- 210000001685 thyroid gland Anatomy 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 239000000084 colloidal system Substances 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 208000024799 Thyroid disease Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005784 autoimmunity Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 201000002510 thyroid cancer Diseases 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于深度学习的甲状腺结节钙化识别装置，包括：超声图像获取模块：用于获取超声图像数据集；标注模块：用于对每一张超声图像的甲状腺结节边界、钙化区域和钙化类型进行标注；感兴趣结节图像提取模块：用于对每一张超声图像中的甲状腺结节边界进行截取，得到感兴趣结节图像数据集；卷积神经网络构建模块：用于构建卷积神经网络XDNet‑11222；卷积神经网络训练模块：用于通过感兴趣结节图像数据集对卷积神经网络XDNet‑11222进行训练；甲状腺结节钙化检测模块：用于通过训练好的卷积神经网络XDNet‑11222来对输入图像进行钙化类型检测。本发明能够对输入的甲状腺结节超声图像的钙化种类进行有效识别。
Description
技术领域
本发明涉及辅助医学诊断技术领域，特别是涉及一种基于深度学习的甲状腺结节钙化识别装置。
背景技术
甲状腺结节是指在甲状腺内的肿块，是临床常见的病症，可由多种病因引起。临床上有多种甲状腺疾病，如甲状腺退行性变、炎症、自身免疫以及新生物等都可以表现为结节。甲状腺结节可以单发，也可以多发，多发结节比单发结节的发病率高，但单发结节甲状腺癌的发生率较高。
作为判断结节良恶性、乃至癌症诊断的依据，钙化是甲状腺结节的重要特征之一。现有的超声波诊断方式都是采用超声波对患者的甲状腺进行超声波扫描形成甲状腺超声图片，然后医生对甲状腺超声图片进行人工识别判断，其存在的缺点是：诊断效率慢；医生工作量大，且对医生的经验水平要求较高，因此，能胜任的医生数量就有限，导致医生资源紧张，且费用成本较高。
发明内容
本发明所要解决的技术问题是提供一种基于深度学习的甲状腺结节钙化识别装置，能够对甲状腺结节超声图像中的钙化类型进行有效检测。
本发明解决其技术问题所采用的技术方案是：提供一种基于深度学习的甲状腺结节钙化识别装置，包括：
超声图像获取模块：用于获取超声图像数据集，所述超声图像数据集中的每一张超声图像均带有甲状腺结节；
标注模块：用于对所述超声图像数据集中每一张超声图像的甲状腺结节边界、钙化区域和钙化类型进行标注；
感兴趣结节图像提取模块：用于对每一张超声图像中的甲状腺结节边界进行截取，得到感兴趣结节图像数据集；
卷积神经网络构建模块：用于构建卷积神经网络XDNet-11222；
卷积神经网络训练模块：用于通过所述感兴趣结节图像数据集对所述卷积神经网络XDNet-11222进行训练，并得到训练好的卷积神经网络XDNet-11222；
甲状腺结节钙化检测模块：用于通过训练好的卷积神经网络XDNet-11222来对输入的甲状腺结节超声图像进行钙化类型检测。
所述卷积神经网络构建模块中的卷积神经网络XDNet-11222包括输入层、输出层、若干失活跳接模块DA、最终模块F、若干第一特征提取组、若干第二特征提取组；
所述第一特征提取组包括依次连接的特征提取模块EX、下采样模块DS和压缩激发模块SE；
所述第二特征提取组包括依次连接的特征提取模块EX和压缩激发模块SE，并且每个所述第二特征提取组输出端均连接有失活跳接模块DA；
所述第一特征提取组和第二特征提取组依次连接构成第一子网络，并且在所述第一子网络中，第一特征提取组的输出端与失活跳接模块DA连接；
所述第一特征提取组依次连接两个第二特征提取组构成第二子网络，并且在所述第二子网络中，第一特征提取组的输出端与第一个第二特征提取组的失活跳接模块DA连接，第一个第二特征提取组的失活跳接模块DA的输出端与第二个第二特征提取组的失活跳接模块DA连接；
所述输入层依次连接有两个所述第一子网络、三个所述第二子网络、所述最终模块F和所述输出层。
所述特征提取模块EX包括依次连接的卷积层、批归一化层和ReLU激活层。
所述下采样模块DS包括依次连接的零填充层、卷积层、批归一化层和ReLU激活层。
所述压缩激发模块SE包括依次连接的全局均值池化层、重塑层、两个卷积层和相乘层，所述全局均值池化层的输入端与相乘层连接。
所述失活跳接模块DA包括依次连接的卷积层、批归一化层、失活层和相加层，所述卷积层的输入端与相加层连接。
所述最终模块F包括依次连接的卷积层、批归一化层、全局均值池化层、失活层、全连接层和Sigmoid激活层。
所述卷积层的公式为：h(m,n)＝(f*g)(m,n)＝∑x,yf(x,y)g(m-x,n-y)，其中，h()表示输出特征图函数，f()表示输入特征图函数，g()表示卷积核函数，*表示卷积运算符，(m,n)表示输出像素值对应的坐标，(x,y)表示输入像素值对应的坐标。
还包括：
钙化初步定位模块：若输入图像的甲状腺结节存在钙化，则通过权梯度类激活映射实现对钙化进行初步定位；
钙化精确定位模块：用于通过均值池化、阈值比较、开闭运算或膨胀腐蚀图像处理算法来对初步定位好的钙化进行精确定位。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明通过构建卷积神经网络XDNet-11222能够对输入的甲状腺结节超声图像的钙化种类进行有效识别，并且本发明构建的卷积神经网络XDNet-11222运行速度快、效率高、识别准确率较高、表现稳定；本发明通过钙化初步定位模块和钙化精确定位模块实现对超声图像中的钙化进行精确定位，以此能够快速准确地帮助医生找到病理区域，从而为医生对患者进行下一步治疗提供基础；本发明构建的卷积神经网络XDNet-11222的架构设计合理简单，使得计算量并不复杂。
附图说明
图1是本发明实施方式的流程图；
图2是本发明实施方式的特征提取模块EX结构示意图；
图3是本发明实施方式的下采样模块DS结构示意图；
图4是本发明实施方式的压缩激发模块SE结构示意图；
图5是本发明实施方式的失活跳接模块DA结构示意图；
图6是本发明实施方式的最终模块F结构示意图；
图7是本发明实施方式的卷积神经网络XDNet-11222架构图；
图8是本发明实施方式的钙化检测结果图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种基于深度学习的甲状腺结节钙化识别装置，包括：
超声图像获取模块：用于获取超声图像数据集，所述超声图像数据集中的每一张超声图像均带有甲状腺结节；
标注模块：用于对所述超声图像数据集中每一张超声图像的甲状腺结节边界、钙化区域和钙化类型进行标注；其中，所述钙化区域位于甲状腺结节边界内，所述钙化类型包括粗钙化、细钙化、粗细混合钙化、无钙化和胶质；
感兴趣结节图像提取模块：用于对每一张超声图像中的甲状腺结节边界进行截取，得到感兴趣结节图像数据集；
卷积神经网络构建模块：用于构建卷积神经网络XDNet-11222；
卷积神经网络训练模块：用于通过所述感兴趣结节图像数据集对所述卷积神经网络XDNet-11222进行训练，并得到训练好的卷积神经网络XDNet-11222；
甲状腺结节钙化检测模块：用于通过训练好的卷积神经网络XDNet-11222来对输入的甲状腺结节超声图像进行钙化类型检测。
请参阅图1，以下对上述各模块进行详细介绍：
1、数据收集与标注
在超声图像获取模块中，本实施方式所使用的数据是脱敏后的甲状腺超声图像，来源是多家三甲医院。
在标注模块中，由多名高年资主任医生标注数据并反复确认，标注的内容有：勾勒结节边界、钙化区域、钙化类型；钙化类型有五种情况：粗钙化、细钙化、粗细混合钙化、无钙化、胶质；此分类依据经过多名高年资主任医生研讨得出，认为这五种类型具有各自的临床意义。
2、数据预处理(Data Preprocessing)
在感兴趣结节图像提取模块中，根据医生的勾勒结果，得到结节的不规则多边形轮廓，及其外接矩形；根据此矩形裁剪原图(以下简称此矩形区域为ROI，regionofinterest，感兴趣区域)，并只保留多边形以内的像素值，以外的像素值全为零；然后将ROI的尺寸调整为(160，160，3)，并归一化，最后形成感兴趣结节图像数据集。
3、数据增强(DataAugmentation)
在感兴趣结节图像提取模块中，由于感兴趣结节图像数据集的数据量有限，因此对数据进行增强处理，同时提升鲁棒性。使用的数据增强包括：随机旋转(randomrotation)，随机横向平移(random width shift)，随机纵向平移(random height shift)，随机亮度偏移(random brightness shift)，随机错切变换(random shear)，随机缩放(random zoom)，随机通道平移(random channel shift)，随机横向翻转(random widthflip)，随机纵向翻转(randomheightflip)。
4、网络结构(NetworkArchitecture)
在卷积神经网络构建模块中，本实施方式使用的是自主开发的卷积神经网络XDNet-11222，通过卷积层(convolutionlayer)和下采样(downsampling)提取特征，结合压缩与激发网络(SqueezeandExcitationNetwork)的注意力思想，引入失活(dropout)和跳越连接(skipconnection)操作，以下进行详细介绍：
使用的网络层包括：
(A)卷积层(convolutionlayer)，公式为：
h(m,n)＝(f*g)(m,n)＝∑x,yf(x,y)g(m-x,n-y)
其中，h()表示输出特征图函数，f()表示输入特征图函数，g()表示卷积核函数(也成为过滤器，filter)，*表示卷积运算符，(m,n)表示输出像素值对应的坐标，取值取决于输入特征图的尺寸与卷积步长(stride)；(x,y)表示输入像素值对应的坐标，取值取决于(m,n)和卷积核尺寸。
(B)批归一化层(batchnormalizationlayer)，为现有技术，此处不再赘述。
(C)激活层(activationlayer，ReLU和Sigmoid)
ReLU激活层，用于隐层神经元的输出，公式为：
f(r)＝max(0,r)
其中，r表示ReLU激活层的输入。
Sigmoid激活层，用于多分类神经网络的输出，公式为：
其中，r*表示sigmoid激活层的输入。
(D)零填充层(zero padding layer)
(E)全局均值池化层(global average pooling layer)，公式为：
其中，yk表示与第k个特征图的全局平均池化输出值；xkpq表示第k个特征图区域R中位于(p,q)处的元素；|R|表示第k个特征图全部元素的个数。
(F)重塑层(reshape layer)
(G)失活层(dropout layer)：用于提高泛化能力，防止过拟合。
(H)相乘(multiply)
(I)相加(add)
(J)全连接层(fullyconnectedlayer)
本实施方式通过上述不同网络层组合成不同功能的模块：
(1)特征提取模块EX(feature extractionlayer)，详见图2，特征提取模块EX的作用：特征提取；
特征提取模块EX包括依次连接的卷积层、批归一化层和ReLU激活层。
(2)下采样模块DS(down samplingmodule)，详见图3，下采样模块DS的作用：下采样；
下采样模块DS包括依次连接的零填充层、卷积层、批归一化层和ReLU激活层。
(3)压缩激发模块SE(squeeze andexcitationmodule)，详见图4，压缩激发模块SE的作用：1)特征强化，2)控制网络的注意力机制；
压缩激发模块SE包括依次连接的全局均值池化层、重塑层、卷积层、卷积层和相乘层，所述全局均值池化层的输入端与相乘层连接。
(4)失活跳接模块DA(dropout and skip connectionmodule)，详见图5，失活跳接模块DA的作用：1)特征强化，2)防止过拟合，3)提示网络训练效率；
失活跳接模块DA包括依次连接的卷积层、批归一化层、失活层和相加层，所述卷积层的输入端与相加层连接。
(5)最终模块F(final module)，详见图6。
最终模块F包括依次连接的卷积层、批归一化层、全局均值池化层、失活层、全连接层和Sigmoid激活层。
进一步地，再由上述各个模块组合成整个卷积神经网络XDNet-11222的结构，详见图7，卷积神经网络XDNet-11222的结构具体如下：
卷积神经网络XDNet-11222包括输入层、输出层、若干失活跳接模块DA、最终模块F、若干第一特征提取组、若干第二特征提取组；
第一特征提取组：包括依次连接的特征提取模块EX、下采样模块DS和压缩激发模块SE。
第二特征提取组：包括依次连接的特征提取模块EX和压缩激发模块SE，并且每个所述第二特征提取组输出端均连接有失活跳接模块DA。
第一子网络：第一特征提取组和第二特征提取组依次连接构成第一子网络，并且在所述第一子网络中，第一特征提取组的输出端与失活跳接模块DA连接。图5所示的失活跳接模块DA中的相加层连接有一根引线，该引线就是第一特征提取组的输出端与失活跳接模块DA连接的引线，以下同理。
第二子网络：第一特征提取组依次连接两个第二特征提取组构成第二子网络，并且在所述第二子网络中，第一特征提取组的输出端与第一个第二特征提取组的失活跳接模块DA连接，第一个第二特征提取组的失活跳接模块DA的输出端与第二个第二特征提取组的失活跳接模块DA连接。
请参阅图7，卷积神经网络XDNet-11222整体架构具体为：所述输入层依次连接有两个第一子网络、三个第二子网络、最终模块F和输出层。
5、损失函数
进一步地，本实施方式还包括损失函数模块，具体如下：
由于判断钙化类型是分类问题，且数据中，5种钙化类型的超声图像数量不相等，为解决数据不平衡，本实施方式使用的是加权分类交叉熵，公式如下：
其中，L表示预测损失，N表示样本量，K表示分类数量(本实施方式的K取值为4)，wj表示第j类的权重，yij表示第i个样本对应第j类的实际值，取值为1或0，分别表示第i个样本属于第j类或不属于第j类；
表示第i个样本对应第j类的预测值，取值范围为[0,1]的实数。
6、加权梯度类激活映射(Grad-CAM)
本实施方式还包括钙化初步定位模块：卷积神经网络训练完成后，可通过加权梯度类激活映射(Grad-CAM)的方法，实现分类可视化。若输入图像的甲状腺结节存在钙化，则对钙化进行初步定位；例如当卷积神经网络对一张结节图像给出粗钙化的判断时，找到影响该判断的重点区域。这样就能在图像上找到钙化区域。
7、通过图像处理方法寻找钙化区域
本实施方式还包括钙化精确定位模块：前述的加权梯度类激活映射(Grad-CAM)只能找到钙化的大致区域，并无法做到像素级别的精确定位，因此需要结合均值池化、阈值比较、开闭运算、膨胀腐蚀等传统图像处理的算法，与之前卷积神经网络的分类预测和加权梯度类激活映射的结果相结合，在原图上精确定位钙化区域。
8、开发与应用流程
将标注后的数据做结构化处理，由于前述钙化的5个类型之间并非独立互斥，因此卷积神经网络的输出层使用sigmoid激活函数，且只用4个输出值，通过组合对应5种分类：
A)(1，0，0，0)表示胶质；
B)(0，1，0，0)表示粗钙化；
C)(0，0，1，0)表示细钙化；
D)(0，1，1，0)表示粗细混合钙化；
E)(0，0，0，1)表示无钙化。
经过预处理和增强后，输入并训练神经网络模型，学习图像中钙化分类的特征；根据医生标注的钙化区域，调整加权梯度类激活映射算法和图像处理算法的众多参数，结合卷积网络的预测分类，得到钙化的精确定位。
应用时，本实施方式能够不仅能输出将钙化类型，还能将钙化区域显示在原图上，详见图8，其中，类似椭圆形状的区域为结节区域，结节区域中的白点或白斑部分就是钙化区域。
实验结果对比：
表1实验结果对比表
| 模型 | 参数量 | 单张图分析时间 | 损失函数 | 准确率 |
| VGG-16 | 138.4M | 0.5S | 0.47 | 62.26％ |
| ResNet50 | 25.6M | 0.2S | 0.38 | 75.47％ |
| XDNet-11222 | 3.5M | <0.1S | 0.35 | 88.05％ |
由此可见，本发明通过构建卷积神经网络XDNet-11222能够对输入的甲状腺结节超声图像的钙化种类进行有效识别，并且本发明构建的卷积神经网络XDNet-11222运行速度快、效率高、识别准确率较高、表现稳定。
Claims (9)
1.一种基于深度学习的甲状腺结节钙化识别装置，其特征在于，包括：
超声图像获取模块：用于获取超声图像数据集，所述超声图像数据集中的每一张超声图像均带有甲状腺结节；
标注模块：用于对所述超声图像数据集中每一张超声图像的甲状腺结节边界、钙化区域和钙化类型进行标注；
感兴趣结节图像提取模块：用于对每一张超声图像中的甲状腺结节边界进行截取，得到感兴趣结节图像数据集；
卷积神经网络构建模块：用于构建卷积神经网络XDNet-11222；
卷积神经网络训练模块：用于通过所述感兴趣结节图像数据集对所述卷积神经网络XDNet-11222进行训练，并得到训练好的卷积神经网络XDNet-11222；
甲状腺结节钙化检测模块：用于通过训练好的卷积神经网络XDNet-11222来对输入的甲状腺结节超声图像进行钙化类型检测。
2.根据权利要求1所述的基于深度学习的甲状腺结节钙化识别装置，其特征在于，所述卷积神经网络构建模块中的卷积神经网络XDNet-11222包括输入层、输出层、若干失活跳接模块DA、最终模块F、若干第一特征提取组、若干第二特征提取组；
所述第一特征提取组包括依次连接的特征提取模块EX、下采样模块DS和压缩激发模块SE；
所述第二特征提取组包括依次连接的特征提取模块EX和压缩激发模块SE，并且每个所述第二特征提取组输出端均连接有失活跳接模块DA；
所述第一特征提取组和第二特征提取组依次连接构成第一子网络，并且在所述第一子网络中，第一特征提取组的输出端与失活跳接模块DA连接；
所述第一特征提取组依次连接两个第二特征提取组构成第二子网络，并且在所述第二子网络中，第一特征提取组的输出端与第一个第二特征提取组的失活跳接模块DA连接，第一个第二特征提取组的失活跳接模块DA的输出端与第二个第二特征提取组的失活跳接模块DA连接；
所述输入层依次连接有两个所述第一子网络、三个所述第二子网络、所述最终模块F和所述输出层。
3.根据权利要求2所述的基于深度学习的甲状腺结节钙化识别装置，其特征在于，所述特征提取模块EX包括依次连接的卷积层、批归一化层和ReLU激活层。
4.根据权利要求2所述的基于深度学习的甲状腺结节钙化识别装置，其特征在于，所述下采样模块DS包括依次连接的零填充层、卷积层、批归一化层和ReLU激活层。
5.根据权利要求2所述的基于深度学习的甲状腺结节钙化识别装置，其特征在于，所述压缩激发模块SE包括依次连接的全局均值池化层、重塑层、两个卷积层和相乘层，所述全局均值池化层的输入端与相乘层连接。
6.根据权利要求2所述的基于深度学习的甲状腺结节钙化识别装置，其特征在于，所述失活跳接模块DA包括依次连接的卷积层、批归一化层、失活层和相加层，所述卷积层的输入端与相加层连接。
7.根据权利要求2所述的基于深度学习的甲状腺结节钙化识别装置，其特征在于，所述最终模块F包括依次连接的卷积层、批归一化层、全局均值池化层、失活层、全连接层和Sigmoid激活层。
8.根据权利要求3-7任一所述的基于深度学习的甲状腺结节钙化识别装置，其特征在于，所述卷积层的公式为：h(m,n)＝(f*g)(m,n)＝∑x,yf(x,y)g(m-x,n-y)，其中，h()表示输出特征图函数，f()表示输入特征图函数，g()表示卷积核函数，*表示卷积运算符，(m,n)表示输出像素值对应的坐标，(x,y)表示输入像素值对应的坐标。
9.根据权利要求1所述的基于深度学习的甲状腺结节钙化识别装置，其特征在于，还包括：
钙化初步定位模块：若输入图像的甲状腺结节存在钙化，则通过权梯度类激活映射实现对钙化进行初步定位；
钙化精确定位模块：用于通过均值池化、阈值比较、开闭运算或膨胀腐蚀图像处理算法来对初步定位好的钙化进行精确定位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111019495.9A CN113688930B (zh) | 2021-09-01 | 2021-09-01 | 一种基于深度学习的甲状腺结节钙化识别装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111019495.9A CN113688930B (zh) | 2021-09-01 | 2021-09-01 | 一种基于深度学习的甲状腺结节钙化识别装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113688930A true CN113688930A (zh) | 2021-11-23 |
| CN113688930B CN113688930B (zh) | 2024-03-19 |
Family
ID=78584628
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111019495.9A Active CN113688930B (zh) | 2021-09-01 | 2021-09-01 | 一种基于深度学习的甲状腺结节钙化识别装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113688930B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114782318A (zh) * | 2022-03-24 | 2022-07-22 | 什维新智医疗科技(上海)有限公司 | 一种基于目标检测的超声图像类型识别方法 |
| CN114782317A (zh) * | 2022-03-24 | 2022-07-22 | 什维新智医疗科技(上海)有限公司 | 一种基于目标检测的超声图像工作区域检测方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100292571A1 (en) * | 2009-05-13 | 2010-11-18 | Washington, University Of | Nodule screening using ultrasound elastography |
| US20120121159A1 (en) * | 2010-11-10 | 2012-05-17 | Hernandez-Cisneros Rolando-Rafael | Method for the detection and classification of microcalcification clusters in digital mammograms |
| US20150221081A1 (en) * | 2012-05-09 | 2015-08-06 | Industry-University Cooperation Foundation Sogang University | Method for discriminating between background and tissue of interest, and method and apparatus for generating photoacoustic images for detecting calcified tissue |
| CN110097550A (zh) * | 2019-05-05 | 2019-08-06 | 电子科技大学 | 一种基于深度学习的医学图像分割方法及系统 |
| CN111539930A (zh) * | 2020-04-21 | 2020-08-14 | 浙江德尚韵兴医疗科技有限公司 | 基于深度学习的动态超声乳腺结节实时分割与识别的方法 |
| CN111539959A (zh) * | 2020-07-13 | 2020-08-14 | 浙江省肿瘤医院(浙江省癌症中心) | 基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法 |
| CN112001895A (zh) * | 2020-08-03 | 2020-11-27 | 什维新智医疗科技(上海)有限公司 | 一种甲状腺钙化检测装置 |
| CN113223005A (zh) * | 2021-05-11 | 2021-08-06 | 天津大学 | 一种甲状腺结节自动分割及分级的智能系统 |
-
2021
- 2021-09-01 CN CN202111019495.9A patent/CN113688930B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100292571A1 (en) * | 2009-05-13 | 2010-11-18 | Washington, University Of | Nodule screening using ultrasound elastography |
| US20120121159A1 (en) * | 2010-11-10 | 2012-05-17 | Hernandez-Cisneros Rolando-Rafael | Method for the detection and classification of microcalcification clusters in digital mammograms |
| US20150221081A1 (en) * | 2012-05-09 | 2015-08-06 | Industry-University Cooperation Foundation Sogang University | Method for discriminating between background and tissue of interest, and method and apparatus for generating photoacoustic images for detecting calcified tissue |
| CN110097550A (zh) * | 2019-05-05 | 2019-08-06 | 电子科技大学 | 一种基于深度学习的医学图像分割方法及系统 |
| CN111539930A (zh) * | 2020-04-21 | 2020-08-14 | 浙江德尚韵兴医疗科技有限公司 | 基于深度学习的动态超声乳腺结节实时分割与识别的方法 |
| CN111539959A (zh) * | 2020-07-13 | 2020-08-14 | 浙江省肿瘤医院(浙江省癌症中心) | 基于跨层稀疏空洞卷积的甲状腺结节超声图像处理方法 |
| CN112001895A (zh) * | 2020-08-03 | 2020-11-27 | 什维新智医疗科技(上海)有限公司 | 一种甲状腺钙化检测装置 |
| CN113223005A (zh) * | 2021-05-11 | 2021-08-06 | 天津大学 | 一种甲状腺结节自动分割及分级的智能系统 |
Non-Patent Citations (1)
| Title |
|---|
| 左东奇;韩霖;陈科;李程;花瞻;林江莉;: "基于卷积神经网络提取超声图像甲状腺结节钙化点的研究", 生物医学工程学杂志, no. 05, 25 October 2018 (2018-10-25) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114782318A (zh) * | 2022-03-24 | 2022-07-22 | 什维新智医疗科技(上海)有限公司 | 一种基于目标检测的超声图像类型识别方法 |
| CN114782317A (zh) * | 2022-03-24 | 2022-07-22 | 什维新智医疗科技(上海)有限公司 | 一种基于目标检测的超声图像工作区域检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113688930B (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022120665A1 (zh) | 一种基于深度学习的电容缺陷智能检测方法 | |
| US20210118144A1 (en) | Image processing method, electronic device, and storage medium | |
| Saini et al. | ColpoNet for automated cervical cancer screening using colposcopy images | |
| WO2021196873A1 (zh) | 车牌字符识别方法、装置、电子设备和存储介质 | |
| US10121245B2 (en) | Identification of inflammation in tissue images | |
| WO2022237139A1 (zh) | 一种基于LaneSegNet的车道线检测方法及系统 | |
| CN113269257A (zh) | 一种图像分类方法、装置、终端设备及存储介质 | |
| CN113688930A (zh) | 一种基于深度学习的甲状腺结节钙化识别装置 | |
| Ngugi et al. | A new approach to learning and recognizing leaf diseases from individual lesions using convolutional neural networks | |
| CN114444565B (zh) | 一种图像篡改检测方法、终端设备及存储介质 | |
| Wang et al. | An accurate and efficient multi-category edge detection method | |
| CN111209873A (zh) | 一种基于深度学习的高精度人脸关键点定位方法及系统 | |
| Liu et al. | Joint disease classification and lesion segmentation via one-stage attention-based convolutional neural network in OCT images | |
| CN113781387A (zh) | 模型训练方法、图像处理方法、装置、设备及存储介质 | |
| Liang et al. | Weakly supervised deep nuclei segmentation with sparsely annotated bounding boxes for dna image cytometry | |
| CN116758336A (zh) | 一种基于人工智能的医学图像智能分析系统 | |
| Al-Huda et al. | Asymmetric dual-decoder-U-Net for pavement crack semantic segmentation | |
| Zhang et al. | Artifact detection in endoscopic video with deep convolutional neural networks | |
| CN111666813A (zh) | 一种基于非局部信息的三维卷积神经网络的皮下汗腺提取方法 | |
| CN116524315A (zh) | 一种基于Mask R-CNN的肺癌病理组织切片识别及分割方法 | |
| Sarah et al. | Evaluating the effect of super-resolution for automatic plant disease detection: application to potato late blight detection | |
| Abishek et al. | Soil Texture Prediction Using Machine Learning Approach for Sustainable Soil Health Management | |
| CN116703945A (zh) | 一种乳腺超声图像的肿瘤分割方法、系统、介质及终端 | |
| Wang et al. | An efficient hierarchical optic disc and cup segmentation network combined with multi-task learning and adversarial learning | |
| CN115689993A (zh) | 基于注意力与多特征融合的皮肤癌图像分割方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 201114 room 101-8, building 3, No. 2388, Chenhang Road, Minhang District, Shanghai Applicant after: Shiwei Xinzhi medical technology (Shanghai) Co.,Ltd. Address before: 1628 suzhao Road, Minhang District, Shanghai 201112 Applicant before: Shiwei Xinzhi medical technology (Shanghai) Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |