CN110335231A - 一种融合纹理特征和深度特征的超声影像慢性肾脏病辅助筛查方法 - Google Patents
一种融合纹理特征和深度特征的超声影像慢性肾脏病辅助筛查方法 Download PDFInfo
- Publication number
- CN110335231A CN110335231A CN201910255712.0A CN201910255712A CN110335231A CN 110335231 A CN110335231 A CN 110335231A CN 201910255712 A CN201910255712 A CN 201910255712A CN 110335231 A CN110335231 A CN 110335231A
- Authority
- CN
- China
- Prior art keywords
- image
- texture
- kidney disease
- chronic kidney
- gray level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 208000020832 chronic kidney disease Diseases 0.000 title claims abstract description 35
- 238000012216 screening Methods 0.000 title claims abstract description 35
- 230000004927 fusion Effects 0.000 title abstract 2
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 210000003734 kidney Anatomy 0.000 claims abstract description 19
- 238000002604 ultrasonography Methods 0.000 claims abstract description 14
- 238000013434 data augmentation Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 5
- 238000013526 transfer learning Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 abstract description 3
- 230000001537 neural effect Effects 0.000 abstract 1
- 230000008439 repair process Effects 0.000 abstract 1
- 238000012360 testing method Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000002790 cross-validation Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000003703 image analysis method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000002759 z-score normalization Methods 0.000 description 2
- 208000019881 Abnormality of the kidney Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 208000017169 kidney disease Diseases 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/45—Analysis of texture based on statistical description of texture using co-occurrence matrix computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30084—Kidney; Renal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
Abstract
一种融合纹理特征和深度特征的超声影像慢性肾脏病辅助筛查方法，对原始超声影像进行数据预处理，根据影像师的标注提取肾脏所在部位作为感兴趣区域，去除影像师在影像中所做的人工标记，并修复影像；进行数据增广，扩大样本数量并平衡正负例样本比例，统一影像尺寸并归一化到[0,1]区间；计算灰度共生矩阵，基于灰度共生矩阵统计量提取影像纹理特征，并进行标准化处理；构建纹理支路神经网络；完整训练纹理支路神经网络，得到能够筛查是否患有慢性肾脏病的二分类神经网络模型。本发明结合深度神经网络和图像浅层纹理特征，在小样本数据上也能实现较好的算法性能，可以自动分析肾脏超声影像筛查慢性肾脏病。
Description
技术领域
本发明涉及图像处理领域及机器学习领域，特别涉及一种超声影像慢性肾脏病筛查方法，属于基于深度学习的医学影像分析领域。
背景技术
慢性肾脏病(Chronic Kidney Disease,CKD)是指肾脏结构或功能异常，持续时间超过3个月，且这种结构或功能的异常对健康有影响，目前已成为全世界面临的重大公共卫生安全挑战之一。慢性肾脏病在早期临床症状不明显，起病隐匿，一旦发病，通常难以痊愈，如果得不到有效治疗最终易进入尿毒症期。由于目前CKD尚无强有效的治疗手段，早发现、早治疗、早干预，对延缓病情至关重要。肾脏超声检查对慢性肾脏疾病的诊断有重要意义，同时超声检查具有无创性的优点，是当前肾脏类疾病的首选影像检查方法。通过肾脏超声检查，医生可以直观、动态的观察肾脏的大小、形态、边缘、内部皮髓质结构，辅助病情诊断。
近年来，计算机视觉领域的深度学习技术日渐成熟，在医学影像的自动分析及辅助智能诊断方面展现出巨大的应用潜力。然而目前为止，泌尿应用领域的计算机辅助诊断方法较少，尤其是关于基于超声影像的研究较少，尚未出现成熟的利用超声影像对慢性肾脏病进行判断的算法模型，而适用于疾病预测的常用分类算法在慢性肾病筛查上效果不佳。此外，肾脏超声影像相比自然图像，色彩单一、边缘模糊，与其他人体组织纹理相似度高，普遍存在伪影噪声。这些不利因素使得观测难度高，难以使用统计方法获得有效特征，加上个体差异性大，使得传统图像处理方法的筛查诊断难度大、准确率低。而深度学习技术往往需要大量的数据支撑，在医疗影像数据不平衡以及数据量较小的情况下具有一定的局限性。
发明内容
为了克服传统图像分析方法在基于超声影像慢性肾脏病筛查问题上难度大、效率低下、准确率低的不足，本发明提出了一种速度快、效率高、准确率高的融合纹理特征和深度特征的超声影像慢性肾脏病辅助筛查方法，结合深度神经网络和图像浅层纹理特征，在小样本数据上也能实现较好的算法性能，实现了对肾脏超声影像的自动分析，能够有效对超声影像慢性肾脏病患病情况进行筛查判断。
为了解决其技术问题本发明所采用的技术方案是：
一种融合纹理特征和深度特征的超声影像慢性肾脏病辅助筛查方法，包括以下步骤：
步骤一，对原始超声影像进行数据预处理，根据标注提取肾脏所在部位作为感兴趣区域，去除影像中的人工标记，并修复影像；
步骤二，对步骤一中得到的感兴趣区域影像数据进行数据增广，扩大样本数量并平衡正负例样本比例，统一影像尺寸为224*224，并归一化到[0,1]区间；
步骤三，对感兴趣区域影像计算灰度共生矩阵，基于灰度共生矩阵统计量提取影像纹理特征，并进行标准化处理；
步骤四，构建纹理支路神经网络，该网络包含主干基础网络和纹理支路两大部分；
步骤五，主干基础网络采用迁移学习方式，先用预训练权重初始化纹理支路神经网络中的主干基础网络部分，再利用步骤二中得到的影像数据集试训练主干基础网络几个轮次以适应新的数据特征分布‘’
步骤六，完整训练纹理支路神经网络，得到能够筛查是否患有慢性肾脏病的二分类神经网络模型。
进一步，所述步骤一中，对原始超声影像进行数据预处理的过程为：
步骤1.1根据影像师标注的肾脏位置信息，将肾脏部位作为感兴趣区域裁剪出，从而去除影像中大部分的无关干扰信息；
步骤1.2根据超声影像人工标记偏黄色的特点，即R,G通道数值远高于B通道数值，在感兴趣区域中筛选疑似人工标记的像素区域，将区域内的像素置为0，去除人工标记；
步骤1.3对去除标记后的像素区域利用快速行进法进行修复，假设待修复区域的边缘某点为p，其近邻区域内某已知像素点为q，q为p点提供的近似值公式为：
再进一步，所述步骤二中，数据增广的方式包括：8个方向随机平移(长度不超过5个像素点)；左右小幅旋转(旋转角不超过2度)；随机灰度变换(偏差在5％以内)。
所述步骤三中，基于影像灰度共生矩阵提取纹理特征的过程为：分别计算影像在[1,2,3,4]4个距离和[0°,45°,90°,135°]4个方向上的16个灰度共生矩阵；在每个灰度共生矩阵的基础上再提取对比度(Contrast)、差异性(Dissimilarity)、同质性(Homogeneity)、能量(Energy)、自相关性(Correlation)5种纹理特征统计量，得到80维的纹理特征向量。
更进一步，所述步骤三中，采用的数据标准化方式为Z-Score标准化，公式为：其中mean为总体样本的均值，std为总体样本的标准差。
所述步骤四中，构建纹理支路神经网络的过程为：
步骤4.1输入一组224*224大小的超声影像及其对应的灰度共生矩阵纹理特征向量；
步骤4.2以ResNet-34作为主干基础网络部分，影像依次经过1个卷积层、1个最大池化层、16个残差卷积模块、1个最大池化层，得到512维深度特征向量；
步骤4.3灰度共生矩阵纹理特征向量进入纹理支路，依次经过3个神经元个数为80的全连接层，得到的80维特征再与输入的80维特征相加，得到80维优化的纹理特征向量；
步骤4.4将步骤4.2和步骤4.3中得到的两类特征向量进行拼接，经过一个全连接层输出二分类结果。
所述步骤五中，主干基础网络试训练的过程为：冻结网络中除批归一化(BatchNorm)层以外的所有参数，将学习率设置为1，训练3-5个轮次，让批归一化层参数适应超声影像集的数据分布。
本发明基于超声影像对慢性肾脏病进行早期智能筛查，利用纹理支路神经网络提取并融合深度特征和纹理特征，来实现对慢性肾脏病患病情况的判断筛查。与现有方法相比，其有益效果在于：
1.通过纹理支路神经网络对超声影像进行分析，自动筛查判断慢性肾脏病情况，相比传统图像分析方法筛查效率高，准确率更高。
2.结合影像深度特征和浅层纹理特征，可以更全面地描述超声影像中肾脏部位在不同患病情况下的差异性。
3.通过迁移学习技术对纹理支路网络中的部分网络结构进行训练，降低了网络过拟合的风险，使得深度神经网络在小样本数据上也能学习到较优的参数权重。
附图说明
图1是融合纹理特征和深度特征的超声影像慢性肾脏病辅助筛查方法的流程图。
图2是提取影像灰度共生矩阵纹理特征流程示意图。
图3是纹理支路神经网络结构示意图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图3，一种融合纹理特征和深度特征的超声影像慢性肾脏病筛查方法，包括以下步骤：
步骤一，对原始超声影像进行数据预处理，根据影像师的标注提取肾脏所在部位作为感兴趣区域，去除影像师在影像中所做的人工标记，并修复影像；
步骤二，对步骤一中得到的感兴趣区域影像数据进行数据增广，扩大样本数量以及平衡正负例样本比例，统一影像尺寸为224*224，并归一化到[0,1]区间，得到可训练的影像数据集；
步骤三，对感兴趣区域影像计算灰度共生矩阵，基于灰度共生矩阵统计量提取影像纹理特征，并进行标准化处理；
步骤四，构建纹理支路神经网络，该网络包含主干基础网络和纹理支路两大部分；
步骤五，主干基础网络采用迁移学习方式，先用预训练权重初始化纹理支路神经网络中的主干基础网络部分，利用步骤二中得到的影像数据集试训练主干基础网络几个轮次适应新的数据特征分布；
步骤六，完整训练纹理支路神经网络，得到能够筛查是否患有慢性肾脏病的二分类神经网络模型。
进一步，所述步骤一中，对原始超声影像进行数据预处理的过程为：
步骤1.1根据影像师标注的肾脏位置信息，将肾脏部位作为感兴趣区域裁剪出，从而去除影像中大部分的无关干扰信息；
步骤1.2根据超声影像人工标记偏黄色的特点，即R,G通道数值远高于B通道数值，在本实施例中，选择的RGB范围为[90,90,0]～[255,255,10]，在感兴趣区域中筛选疑似人工标记的像素区域，将区域内的像素点数置为0，去除人工标记；
步骤1.3对去除标记后的像素区域利用快速行进法进行修复，假设待修复区域的边缘某点为p，其近邻区域内某已知像素点为q，q为p点提供的近似值公式为：
再进一步，所述步骤二中，数据增广的方式包括：8个方向随机平移(长度不超过5个像素点)；左右小幅旋转(旋转角不超过2度)；随机灰度变换(偏差在5％以内)。
所述步骤三中，基于影像灰度共生矩阵提取纹理特征的流程如图2所示，过程为：首先将影像进行灰度化，得到单通道灰度影像，分别计算影像在[1,2,3,4]4个距离和[0°,45°,90°,135°]4个方向下的16个灰度共生矩阵；在灰度共生矩阵P的基础上再提取对比度(Contrast)、差异性(Dissimilarity)、同质性(Homogeneity)、能量(Energy)、自相关性(Correlation)5种纹理特征统计量，得到80维的纹理特征向量；其中，
对比度：Contrast＝∑i∑j(i-j)2P(i，j)
差异性：Dissimilarity＝∑i∑j|i-j|P(i，j)
同质性：
能量：Energy＝∑i∑jP(i，j)2
自相关性：
其中，ui＝∑i∑jP(i，j)i，
更进一步，所述步骤三中，采用的数据标准化方式为Z-Score标准化，公式为：其中mean为总体样本的均值，std为总体样本的标准差。
所述步骤四中，纹理支路神经网络的结构如图3所示，构建过程为：
步骤4.1输入一组224*224大小的超声影像及其对应的灰度共生矩阵纹理特征向量；
步骤4.2以ResNet-34作为主干基础网络部分，影像依次经过1个卷积层、1个最大池化层、16个残差卷积模块、1个平均池化层，得到512维深度特征向量；
步骤4.3灰度共生矩阵纹理特征向量进入纹理支路，纹理支路依次经过3个神经元个数为80的全连接层FC1，FC2，FC3，得到的80维特征再与输入的80维特征相加，得到80维优化的纹理特征向量；
步骤4.4将步骤4.2和步骤4.3中得到的两类特征向量进行拼接，经过一个全连接层FC4输出二分类结果。
所述步骤五中，主干基础网络试训练的过程为：冻结网络中除批归一化(BatchNorm)层以外的所有参数，将学习率设置为1，训练3～5个轮次，让批归一化层参数适应超声影像集的数据分布。
实例：本案例中使用的肾脏超声影像共2类，即患有慢性肾脏病或健康。由于采集的影像数据量有限，且正负例样本不平衡，故采用五折交叉验证方式进行训练与测试评估。经过数据预处理后，选取180例样本作为训练集，45例样本作为测试集，对训练集进行数据增广，最终得到肾脏超声影像训练集共864例样本，训练集中健康样本与慢性肾脏病样本相同数量。下面具体介绍模型的构造、训练和测试过程。
步骤一，构造过程，纹理支路神经网络的结构如图3所示，具体构建过程为：
步骤1.1纹理支路神经网络主要包含主干基础网络和纹理支路两大部分及最终用于输出结果的全连接层，本实施例中，主干基础网络选择了ResNet-34网络，包含1个卷积层、1个最大池化层、16个残差卷积模块、1个平均池化层；纹理支路部分包含3个全连接层和1条快捷支路；
步骤1.2每个卷积层后都对特征进行批标准化操作，提高训练速度，并经过ReLU激活函数，提升网络的非线性表达；
步骤1.3最后一个全连接层的输出尺寸为2，对应的二分类(患病或健康)的评估分值，以分值高的一类作为筛查结果。
步骤二，神经网络模型训练过程：
步骤2.1全连接层中所有参数权重初始化为随机正交矩阵初始化，权重正则化方式为L2正则，偏置值初始化为0。
步骤2.2主干基础网络采用迁移学习方式训练，先用ResNet-34预训练权重初始化纹理支路神经网络中的主干基础网络部分，在正式训练开始前先在训练集上试训练主干基础网络5个轮次，以适应新的数据特征分布。
步骤2.3本实例采用python语言编程，利用pytorch框架搭建网络。模型采用batch训练的方式，通过随机梯度下降法进行训练。训练集生成器每个batch的样本数batch size均为64，训练集生成器每返回14次数据作为一个轮次(epoch)，损失函数为交叉熵损失函数。模型优化器为SGD，初始学习率为0.005，每8个轮次降低到原来的0.2倍。模型最大训练轮次为50，验证与训练损失收敛后停止训练，并保存模型为作为最终训练结果。
步骤三，神经网络模型测试过程
步骤3.1载入模型，将预处理完毕的影像测试集样本输入模型分析，将筛查结果与其标签对比得到模型的筛查准确率。
步骤3.2统计五折交叉验证下五次实验筛查准确率，计算平均值，作为最终的筛查准确率。
经过上述步骤的操作，即可实现用于筛查超声影像慢性肾脏病的纹理支路神经网络的构建、训练与测试。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例，用于解释本发明，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种融合纹理特征和深度特征的超声影像慢性肾脏病辅助筛查方法，其特征在于：所述方法包括以下步骤：
步骤一，对原始超声影像进行数据预处理，根据影像师的标注提取肾脏所在部位作为感兴趣区域，去除影像师在影像中所做的人工标记，并修复影像；
步骤二，对步骤一中得到的感兴趣区域影像数据进行数据增广，扩大样本数量并平衡正负例样本比例，统一影像尺寸为224*224，并归一化到[0,1]区间；
步骤三，对感兴趣区域影像计算灰度共生矩阵，基于灰度共生矩阵统计量提取影像纹理特征，并进行标准化处理；
步骤四，构建纹理支路神经网络，该网络主要包含主干基础网络和纹理支路两大部分；
步骤五，主干基础网络采用迁移学习方式，先用预训练权重初始化纹理支路神经网络中的主干基础网络部分，再利用步骤二中得到的影像数据集试训练主干基础网络几个轮次适应新的数据特征分布；
步骤六，完整训练纹理支路神经网络，得到能够筛查是否患有慢性肾脏病的二分类神经网络模型。
2.如权利要求1所述的一种融合纹理特征和深度特征的超声影像慢性肾脏病辅助筛查方法，其特征在于：所述步骤一中，对原始超声影像进行数据预处理的过程为：
步骤1.1根据影像师标注的肾脏位置信息，将肾脏部位作为感兴趣区域裁剪出，从而去除影像中大部分的无关干扰信息；
步骤1.2根据超声影像人工标记偏黄色的特点，即R,G通道数值远高于B通道数值，在感兴趣区域中筛选疑似人工标记的像素区域，将区域内的像素置为0，去除人工标记；
步骤1.3对去除标记后的像素区域利用快速行进法进行修复，假设待修复区域的边缘某点为p，其近邻区域内某已知像素点为q，q为p点提供的近似值公式为：
3.如权利要求1或2所述的一种融合纹理特征和深度特征的超声影像慢性肾脏病辅助筛查方法，其特征在于：所述步骤二中，数据增广的方式包括：8个方向随机平移、左右小幅旋转和随机灰度变换。
4.如权利要求1或2所述的一种融合纹理特征和深度特征的超声影像慢性肾脏病辅助筛查方法，其特征在于：所述步骤三中，基于影像灰度共生矩阵提取纹理特征的过程为：分别计算影像在[1,2,3,4]4个距离和[0°,45°,90°,135°]4个方向上的16个灰度共生矩阵；在每个灰度共生矩阵的基础上再提取对比度、差异性、同质性、能量、自相关性5种纹理特征统计量，得到80维的纹理特征向量。
5.如权利要求4所述的一种融合纹理特征和深度特征的超声影像慢性肾脏病辅助筛查方法，其特征在于：所述步骤三中，采用的数据标准化方式为Z-Score标准化，公式为：x＝(x-mean)/std，其中mean为总体样本的均值，std为总体样本的标准差。
6.如权利要求1或2所述的一种融合纹理特征和深度特征的超声影像慢性肾脏病辅助筛查方法，其特征在于：所述步骤四中，构建纹理支路神经网络的过程为：
步骤4.1输入一组224*224大小的超声影像及其对应的灰度共生矩阵纹理特征向量；
步骤4.2以ResNet-34作为主干基础网络部分，影像依次经过1个卷积层、1个最大池化层、16个残差卷积模块、1个最大池化层，得到512维深度特征向量；
步骤4.3灰度共生矩阵纹理特征向量进入纹理支路，依次经过3个神经元个数为80的全连接层，得到的80维特征再与输入的80维特征相加，得到80维优化的纹理特征向量；
步骤4.4将步骤4.2和步骤4.3中得到的两类特征向量进行拼接，经过一个全连接层输出二分类结果。
7.如权利要求1或2所述的一种融合纹理特征和深度特征的超声影像慢性肾脏病辅助筛查方法，其特征在于：所述步骤五中，主干基础网络试训练的过程为：冻结网络中除批归一化(BatchNorm)层以外的所有参数，将学习率设置为1，训练3-5个轮次，让批归一化层参数适应超声影像集的数据分布。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910255712.0A CN110335231A (zh) | 2019-04-01 | 2019-04-01 | 一种融合纹理特征和深度特征的超声影像慢性肾脏病辅助筛查方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910255712.0A CN110335231A (zh) | 2019-04-01 | 2019-04-01 | 一种融合纹理特征和深度特征的超声影像慢性肾脏病辅助筛查方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110335231A true CN110335231A (zh) | 2019-10-15 |
Family
ID=68139221
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910255712.0A Pending CN110335231A (zh) | 2019-04-01 | 2019-04-01 | 一种融合纹理特征和深度特征的超声影像慢性肾脏病辅助筛查方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110335231A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110910371A (zh) * | 2019-11-22 | 2020-03-24 | 北京理工大学 | 基于生理指标和影像融合的肝肿瘤自动分类方法及装置 |
| CN111281426A (zh) * | 2020-02-28 | 2020-06-16 | 中国科学院苏州生物医学工程技术研究所 | 表浅神经的超声成像及图像分析方法 |
| CN111583320A (zh) * | 2020-03-17 | 2020-08-25 | 哈尔滨医科大学 | 融合深度卷积网络和影像组学特征的乳腺癌超声图分型方法、系统及存储介质 |
| CN111583217A (zh) * | 2020-04-30 | 2020-08-25 | 深圳开立生物医疗科技股份有限公司 | 一种肿瘤消融疗效预测方法、装置、设备及计算机介质 |
| CN112349407A (zh) * | 2020-06-23 | 2021-02-09 | 上海贮译智能科技有限公司 | 一种基于深度学习的浅表超声影像病灶辅助诊断方法 |
| CN113223022A (zh) * | 2021-05-31 | 2021-08-06 | 湖南科技大学 | 一种基于多元纹理图像分析算法的多元图像分割方法 |
| CN115546271A (zh) * | 2022-09-29 | 2022-12-30 | 锋睿领创(珠海)科技有限公司 | 基于深度联合表征的视觉分析方法、装置、设备及介质 |
| CN118570204A (zh) * | 2024-08-01 | 2024-08-30 | 深圳市龙岗中心医院 | 一种基于人工智能的医学影像分析系统 |
| RU2827672C1 (ru) * | 2023-04-14 | 2024-10-01 | Государственное бюджетное учреждение здравоохранения Московской области "Московский областной научно-исследовательский институт акушерства и гинекологии имени академика В.И. Краснопольского" (ГБУЗ МО МОНИИАГ им. акад. В.И. Краснопольского) | Способ определения хронической болезни почек у беременных |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110257505A1 (en) * | 2010-04-20 | 2011-10-20 | Suri Jasjit S | Atheromatic?: imaging based symptomatic classification and cardiovascular stroke index estimation |
| CN109242839A (zh) * | 2018-08-29 | 2019-01-18 | 上海市肺科医院 | 一种基于新型神经网络模型的ct影像肺结节良恶性分类方法 |
| CN109242791A (zh) * | 2018-08-22 | 2019-01-18 | 东北农业大学 | 一种针对破损植物叶片的批量修复方法 |
| CN109512464A (zh) * | 2018-11-23 | 2019-03-26 | 清华大学深圳研究生院 | 一种疾病筛查和诊断系统 |
-
2019
- 2019-04-01 CN CN201910255712.0A patent/CN110335231A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110257505A1 (en) * | 2010-04-20 | 2011-10-20 | Suri Jasjit S | Atheromatic?: imaging based symptomatic classification and cardiovascular stroke index estimation |
| CN109242791A (zh) * | 2018-08-22 | 2019-01-18 | 东北农业大学 | 一种针对破损植物叶片的批量修复方法 |
| CN109242839A (zh) * | 2018-08-29 | 2019-01-18 | 上海市肺科医院 | 一种基于新型神经网络模型的ct影像肺结节良恶性分类方法 |
| CN109512464A (zh) * | 2018-11-23 | 2019-03-26 | 清华大学深圳研究生院 | 一种疾病筛查和诊断系统 |
Non-Patent Citations (3)
| Title |
|---|
| 侯聪聪等: "基于二分支卷积单元的深度卷积神经网络", 《激光与光电子学进展》 * |
| 迟剑宁等: "融合深度网络和浅层纹理特征的甲状腺结节癌变超声图像诊断", 《中国图象图形学报》 * |
| 马慧彬: "《基于机器学习的乳腺图像辅助诊断算法研究》", 31 August 2016, 湖南师范大学出版社 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110910371A (zh) * | 2019-11-22 | 2020-03-24 | 北京理工大学 | 基于生理指标和影像融合的肝肿瘤自动分类方法及装置 |
| CN111281426A (zh) * | 2020-02-28 | 2020-06-16 | 中国科学院苏州生物医学工程技术研究所 | 表浅神经的超声成像及图像分析方法 |
| CN111281426B (zh) * | 2020-02-28 | 2022-09-09 | 中国科学院苏州生物医学工程技术研究所 | 表浅神经的超声成像及图像分析方法 |
| CN111583320A (zh) * | 2020-03-17 | 2020-08-25 | 哈尔滨医科大学 | 融合深度卷积网络和影像组学特征的乳腺癌超声图分型方法、系统及存储介质 |
| CN111583217A (zh) * | 2020-04-30 | 2020-08-25 | 深圳开立生物医疗科技股份有限公司 | 一种肿瘤消融疗效预测方法、装置、设备及计算机介质 |
| CN112349407A (zh) * | 2020-06-23 | 2021-02-09 | 上海贮译智能科技有限公司 | 一种基于深度学习的浅表超声影像病灶辅助诊断方法 |
| CN113223022A (zh) * | 2021-05-31 | 2021-08-06 | 湖南科技大学 | 一种基于多元纹理图像分析算法的多元图像分割方法 |
| CN113223022B (zh) * | 2021-05-31 | 2022-04-12 | 湖南科技大学 | 一种基于多元纹理图像分析算法的多元图像分割方法 |
| CN115546271A (zh) * | 2022-09-29 | 2022-12-30 | 锋睿领创(珠海)科技有限公司 | 基于深度联合表征的视觉分析方法、装置、设备及介质 |
| CN115546271B (zh) * | 2022-09-29 | 2023-08-22 | 锋睿领创(珠海)科技有限公司 | 基于深度联合表征的视觉分析方法、装置、设备及介质 |
| RU2827672C1 (ru) * | 2023-04-14 | 2024-10-01 | Государственное бюджетное учреждение здравоохранения Московской области "Московский областной научно-исследовательский институт акушерства и гинекологии имени академика В.И. Краснопольского" (ГБУЗ МО МОНИИАГ им. акад. В.И. Краснопольского) | Способ определения хронической болезни почек у беременных |
| CN118570204A (zh) * | 2024-08-01 | 2024-08-30 | 深圳市龙岗中心医院 | 一种基于人工智能的医学影像分析系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110335231A (zh) | 一种融合纹理特征和深度特征的超声影像慢性肾脏病辅助筛查方法 | |
| CN108389201B (zh) | 基于3d卷积神经网络与深度学习的肺结节良恶性分类方法 | |
| CN108806792B (zh) | 深度学习面诊系统 | |
| CN109272048B (zh) | 一种基于深度卷积神经网络的模式识别方法 | |
| CN111259982A (zh) | 一种基于注意力机制的早产儿视网膜图像分类方法和装置 | |
| CN111009324B (zh) | 脑网络多特征分析的轻度认知障碍辅助诊断系统及方法 | |
| CN113177943B (zh) | 一种脑卒中ct影像分割方法 | |
| CN111767952B (zh) | 一种可解释的肺结节良恶性分类方法 | |
| CN113095382B (zh) | 基于ct图像的可解释性肺结核分类网络识别方法 | |
| CN112784879A (zh) | 一种基于小样本域自适应的医学影像分割或分类方法 | |
| CN110910377B (zh) | 一种基于神经网络的脑梗死mri图像识别方法 | |
| CN113610118B (zh) | 一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法 | |
| CN112950614A (zh) | 一种基于多尺度空洞卷积的乳腺癌检测方法 | |
| CN115147600A (zh) | 基于分类器权重转换器的gbm多模态mr图像分割方法 | |
| CN111462082A (zh) | 一种病灶图片识别装置、方法、设备及可读存储介质 | |
| CN114398979A (zh) | 一种基于特征解耦的超声图像甲状腺结节分类方法 | |
| CN115147640A (zh) | 一种基于改进胶囊网络的脑肿瘤图像分类方法 | |
| CN118552504A (zh) | 基于人工智能的超声影像检测方法及系统 | |
| CN114820555A (zh) | 基于SENet通道注意力和迁移学习的乳腺癌病理图像分类方法 | |
| Raja et al. | Analysis of ultrasound kidney images using content descriptive multiple features for disorder identification and ANN based classification | |
| Kukreti et al. | Detection and Classification of Brain Tumour Using EfficientNet and Transfer Learning Techniques | |
| Peng et al. | Blood vessels segmentation by using cdnet | |
| CN115661185A (zh) | 一种眼底图像血管分割方法及系统 | |
| CN113658151B (zh) | 一种乳腺病变磁共振图像分类方法、设备及可读存储介质 | |
| CN115713505A (zh) | 基于聚焦交叉熵的多元特征融合的脑膜瘤分级方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191015 |