CN115762753A - 一种深度学习对膀胱输尿管返流自动分级的方法 - Google Patents
一种深度学习对膀胱输尿管返流自动分级的方法 Download PDFInfo
- Publication number
- CN115762753A CN115762753A CN202211357529.XA CN202211357529A CN115762753A CN 115762753 A CN115762753 A CN 115762753A CN 202211357529 A CN202211357529 A CN 202211357529A CN 115762753 A CN115762753 A CN 115762753A
- Authority
- CN
- China
- Prior art keywords
- vcug
- image
- reflux
- model
- grading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请属于泌尿系统疾病领域，具体地，本申请涉及膀胱输尿管返流自动分级的方法。一种深度学习对膀胱输尿管返流自动分级的方法，所述方法包括以下步骤：采集VUR患者的VCUG图像集；人工对返流区域进行标记，完成数据集的收集；利用投票法的集成深度学习方法，选择出最优结果作为整体预测标签；以预处理后的训练数据集训练模型，形成最终的VCUG自动分级的模型；输入新的图片进行预测，先进行相同的图像数据预处理，获取膀胱输尿管返流分级标准图；根据VCUG自动分级的模型，对所述获得的膀胱输尿管返流分级标准图进行自动分级。通过本发明方法能够实现高效、准确的VUR患者的自动分级。
Description
技术领域
本申请属于泌尿系统疾病领域，具体地，本申请涉及膀胱输尿管返流患儿自动分级的方法。
背景技术
膀胱输尿管反流(vesicoureteral reflux，VUR)是儿童期患儿反复尿路感染的最常见泌尿系统疾病，正常输尿管膀胱连接部具有活瓣样功能,只允许尿液自输尿管流人膀胱，阻止尿液反流。如果活瓣样功能受损，尿液逆流入输尿管和肾，这种现象称为VUR。患儿若得不到及时有效的治疗，可继发泌尿系统感染导致肾瘢痕、高血压，甚至终末期肾病。因此，早期诊治至关重要。排尿性膀胱尿道造影(voiding cystourethrography，VCUG)是诊断VUR的金标准，不仅对治疗方案的选择以及评估疗效的依据，还能提示解剖结构异常同时评估反流程度[1 ， 2]：I级：尿液反流不到肾孟，可伴不同程度输尿管扩张；II级:尿液反流可达肾孟，肾孟不扩张,肾盏穹隆形态正常；III级:输尿管轻、中度扩张和(或) 扭曲，肾孟轻、中度扩张，肾盏穹隆无或轻度变钝；IV级:输尿管中度扩张和(或) 扭曲，肾孟、肾盏中度扩张，肾盏穹隆变钝，但仍维持乳头状；V级:输尿管重度扩张和扭曲,肾孟、肾盏重度扩张，肾盏不再见乳头状，肾实质内反流(具体见图1)。然而VCUG分级准确率与医师对该疾病的认识及临床经验高度相关[3，4]，特别在广大基层医院，由于缺乏相关诊疗经验，很多VUR患儿往往被延误诊治。因此，若能对VCUG进行准确的诊断和分级，提高对VUR的早发现、早干预，从而减轻肾瘢痕的形成以及保护肾脏功能[5]。
近年来，越来越多地深度神经网络模型应用到医学图像领域中，不仅能高效、快速和自动化处理海量的医学图像分析从而减轻医生工作量；而且基于图像的诊断、评估以及图像引导的干预或治疗更加客观、准确与智能。Yesim等人[6]提出利用深度学习的方法对VCUG自动分级，但该模型仅能对VCUG进行单侧返流分级且模型，从而限制临床应用。
发明内容
为了解决现有技术存在的不足，以及能够让VCUG智能化分级临床适用场景更广，本发明的目的是提供一种新的用于VCUG自动分级的多任务深度学习网络模型，能够对VCUG的单侧和双侧返流进行智能分级。通过本发明方法能够实现高效、准确的对单、双侧的VUR患儿进行自动分级。
为了实现上述发明目的，本发明采用了以下的技术方案：
一种深度学习对膀胱输尿管返流自动分级的方法，所述方法包括以下步骤：
步骤1：采集VUR患儿的VCUG图像，排除图像质量差的图片(例如，模糊、大注释重叠、无可肾脏和输尿管区域)；
步骤2：由选取出的VCUG的照片，两名高年资小儿泌尿外科医生对返流进行分级，若二者之间有分歧让上级医生进行最终分级，完成数据集的收集；
步骤3：利用投票法的集成深度学习方法，模型根据少数服从多数的投票原则对不同深度学习模型给出的图像的预测标签进行比较，从而选择出最优结果作为整体预测标签；以预处理后的训练数据集训练模型，形成最终的VCUG自动分级的模型；
步骤4：输入新的VCUG图片进行预测，先进行相同的图像数据预处理，获取膀胱输尿管返流分级标准图；
步骤5：根据所述构建的膀胱输尿管返流自动分级的模型，对所述获得的膀胱输尿管返流分级标准图进行自动分级。
作为优选，所述图像数据收集包括：收集足够数量的标准VUR患者的VCUG 图像，高年资医生根据图像中的膀胱以及返流的输尿管区域进行分级作为训练模型的标签。
作为优选，所述膀胱输尿管返流自动返流分级模型构建时对输入的VCUG图像处理过程包括：利用膀胱输尿管返流自动分级的网络模型，首先对所得VCUG 图像进行返流的侧别判断，随后对获得膀胱输尿管返流区域进行识别并分级，投票法在多种深度学习模型中选择出最优结果作为模型的输出结果，以达到最后自动分级的目的。
作为优选，对输入的VCUG图像数据预处理包括：裁剪去除边缘的注释，用黑色填充图像的边缘，使图像形状为正方形，然后将图像统一缩放为224×224 像素的大小，最后将图像的像素值归一化到0～1区间，并对图像按照通道进行标准化，即仿射变换、透视变换、不规则形变、添加随机噪声；优选地，将每个图像随机旋转0～15°。
作为优选，所述VCUG返流的侧别判断模块是主要基于深度学习技术，结合 VCUG图像以及高年资医生给予的返流结果，构建出类Res-net架构的神经网络模型用于对VCUG返流侧别的识别的处理【见图2】。
作为优选，所述VCUG返流的自动分级模型包括：
1)对收集带有返流分级结果的VCUG图像作为训练样本的数据集；
2)对收集训练样本数据集使用数据增广技术，通过对图像进行变换以增加图像的数量及变化，从而提高网络模型的泛化能力，以及针对图像分割能力的鲁棒性；
3)深度学习的特征提取网络；
4)对VCUG自动检测与分级的模型。
作为优选，所述数据增广包括但不限于对图像随机的仿射变换、透视变换、不规则形变以及添加随机噪声；优选地将每个图像随机旋转0～15°。
作为优选，参与投票的深度学习模型都是基于卷积神经网络进行特征提取，以处理后的VCUG图像为输入，经过卷积层、池化层和激活函数层的特征提取，最终得到带有复杂语义信息的特征图。
作为优选，对VCUG自动检测与分级的模型包括：将VCUG图像的特征图展得到图像对应的特征向量，通过全连接层进行特征融合，然后通过softmax函数计算得到图像归类为各个等级的概率，最后比较概率之间的大小关系进行等级的判决。
进一步，本申请提供了所述方法在膀胱输尿管返流自动分级中的应用。
进一步，本申请提供了一种计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现所述方法的步骤3- 步骤5。
一种计算机可读存储介质，其上存储有计算机程序或指令，该计算机程序或指令被处理器执行时实现所述方法的步骤3-步骤5。
一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现所述方法的步骤3-步骤5。
本发明由于采用了上述的技术方案，有益效果如下：
本发明提供了基于VCUG图像对VUR患者的返流进行自动分级的方法，可有效减少人为因素对分级结果的影响，提高准确度，同时可显著辅助医生的判断，尤其是初级医师，使其及时做出正确诊断，有利于解决不同年资间及不同医院间的结果重复性低等问题。
附图说明
图1为一个实施例的基于VCUG图像对VUR患者自动分级方法的图像；
图2为一个实施例的使用基于VCUG图像对VUR患者返流侧别判断模型的构建示意图；
图3为一个实施例的使用基于VCUG图像对VUR患者返流自动分级模型的构建示意图；
图4为一组实施例的模型识别的分级结果以及热力图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于排尿性膀胱尿道造影(VCUG)对膀胱输尿管返流(VUR)患儿自动分级的方法，包括以下步骤：
步骤1：采集VUR患儿的VCUG的图像集；
步骤2：由选取出的VCUG的照片，两名高年资小儿泌尿外科医生对返流进行分级，若二者之间有分歧让上级医生进行最终分级，完成数据集的收集；
步骤3：利用投票法的集成深度学习方法，模型根据少数服从多数的投票原则对不同深度学习模型给出的图像的预测标签进行比较，从而选择出最优结果作为整体预测标签。对于不同的深度学习模型，我们选择了9种近年来在自然图像分类领域表现优异的深度学习模型。以预处理后的训练数据集训练模型，形成最终的VCUG自动分级的模型(见图3)；
步骤4：输入新的图片进行预测，先进行相同的图像数据预处理，获取膀胱输尿管返流分级的标准图；
步骤5：根据所述构建的膀胱输尿管返流自动分级的模型，对所述获得的膀胱输尿管返流分级标准图进行自动分级；
其中，图像数据收集，收集一定数量的膀胱输尿管返流患儿的排尿性膀胱尿道造影的图像，高年资医生对其做出返流区域的分级；
利用投票法的集成深度学习模型(EDLM)构建膀胱输尿管返流患者返流自动分级的模型，命名为Deep-VCUG。利用所述收集样本作为训练集，该模型负责完成膀胱输尿管返流分级图像的自动识别和分级。
进一步地，图像数据收集包括：
收集足够数量的标准VUR患者的VCUG照片，排除图像质量差的照片(例如，模糊、大注释重叠、无可肾脏和输尿管区域)。高年资医生对收集的照片进行返流的分级确定；
以上所收集的图像数据集，将被确定为后续构建膀胱输尿管返流自动分级模型的训练样本。
进一步地，所述构建模型工作时对输入VCUG图像的处理过程包括：
利用膀胱输尿管返流自动分级的网络模型，首先对所得VCUG图像进行侧别的判别：单侧还是双侧返流，根据输出的侧别结果将图像放入不同的模型结构中对获得膀胱输尿管返流区域进行识别并分类，分割后投票法将9种不同的深度学习返流模型输出的结果中选择出最优结果作为模型的最后输出结果，从而达到自动分级的目的。
进一步地，所述对VUR患儿的自动分级任务中各模块构建及处理过程如下： 1、输入VCUG图像的预处理
实验数据进行预处理是提升数据质量的关键步骤，其可以对图像进行标准化并通过一些简单操作减少图像中的噪声和干扰。在本研究中，我们对所有图像首先进行了裁剪以去除边缘的注释。之后用黑色对图像的边缘进行填充，使得图像形状为长和宽相等的正方形，然后将图像统一缩放为224×224像素的大小，来向机器学习模型提供一致尺寸的图像输入。之所以用对图像进行填充是因为 VCUG图像中输尿管的宽度和长度对于VCUG图像的等级分类很重要，通过首先填充为正方形再进行缩放的操作可以有效避免图像中输尿管的形状发生畸变。最后将图像的像素值归一化到0～1区间，并对图像按照通道进行标准化，即减去均值，再除以方差，这样做可以加快模型的收敛速度。
数据增强是减少过拟合和改善小数据集分类性能的常用方法。在训练过程中，通过对每个图像进行随机的数据增强操作，使得机器学习模型能够学习到更加泛化的特征，提升模型的鲁棒性。在本研究中，我们通过将每个图像仿射变换、透视变换、不规则形变；优选地将每个图像随机旋转0～15°。
2、VCUG返流侧别判断的模型模块
膀胱输尿管返流的返流侧别的识别模块，主要基于深度学习技术，构建出基类Res-net架构的神经网络模型用于对VCUG返流侧别判断的处理(如图3)。
3、进一步地，膀胱输尿管返流自动分级模块所包含模型的构建及处理 3-1、对上述收集带有返流分级结果的VCUG图片作为训练样本数据集；
3-2、对收集训练样本数据集使用数据增广技术，通过对图像进行变换以增加图像的数量及变化，从而提高网络模型的泛化能力，以及针对图像分割能力的鲁棒性。数据增广包括但不限于对图像随机的仿射变换、透视变换、不规则形变、翻转、添加随机噪声等；
3-3、深度学习的特征提取网络
深度学习的特征提取网络是其能够具有优良图像分类能力的关键，参与投票的每个模型都有自身的结构特点，但都是基于卷积神经网络进行特征提取。卷积神经网络可以理解为由若干个层结构堆叠而成，每个层结构以上一层的输出为输入进行操作。层结构又可分为包括卷积层、池化层和激活函数层。卷积层使用卷积核作为局部特征提取器，对前层输出的局部感受野进行特定的特征提取，经过卷积层的计算，保留了局部特征之间的相互位置关系，之后的层结构可以进一步利用这样的关系信息；池化层利用局部相关性原理进行下采样，保留有用信息；激活函数层给模型加入非线性因素，使模型能解决线性模型不能解决的问题。整体的特征提取网络以处理后的VCUG图像为输入，经过多层的特征提取，最终得到带有复杂语义信息的特征图。
4、模型对VCUG自动检测与分级的模型
获得VCUG图像的特征图之后，通过将特征图展开得到图像对应的特征向量，再通过全连接层进行特征融合，可以使得VCUG图像各个分立的特征融合起来。然后通过softmax函数计算便可得到图像归类为各个等级的概率，最后比较概率之间的大小关系进行等级的判决。
以上为对本发明实施例的描述，通过对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的。本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施列，而是要符合与本文所公开的原理和新颖点相一致的最宽的范围。
本发明的参考文献如下：
[1]Peters C A,Skoog S J,Arant B S,et al.Summary of the aua guidelineon management of primary vesicoureteral reflux in children[J]. 2010,184(3):1134-44.
[2]Tekgül S,Riedmiller H,Hoebeke P,et al.Eau guidelines onvesicoureteral reflux in children[J].2012,62(3):534-42.
[3]O'Neil B B,Cartwright P C,Maves C,et al.Reliability of voidingcystourethrogram for the grading of vesicoureteral reflux[J]. 2014,
[4]Schaeffer A J,Greenfield S P,Ivanova A,et al.Reliability ofgrading of vesicoureteral reflux and other findings on voidingcystourethrography[J].2016,192.
[5]Oukhouya M,Andaloussi S,Tazi M,et al.[long-term evolution ofvesicoureteral reflux in children][J].2019,33(304.
[6]Erolu Y,Yildirim K,Inar A,et al.Diagnosis and grading ofvesicoureteral reflux on voiding cystourethrography images in children usinga deep hybrid model[J].2021,1):106369.
Claims (10)
1.一种深度学习对膀胱输尿管返流自动分级的方法，其特征在于，所述方法包括以下步骤：
步骤1：采集VUR患儿的VCUG图像，排除图像质量差的图片；
步骤2：由选取出的VCUG的照片，两名高年资小儿泌尿外科医生对返流进行分级，若二者之间有分歧让上级医生进行最终分级，完成数据集的收集；
步骤3：利用投票法的集成深度学习方法，模型根据少数服从多数的投票原则对不同深度学习模型给出的图像的预测标签进行比较，从而选择出最优结果作为整体预测标签；以预处理后的训练数据集训练模型，形成最终的VCUG自动分级的模型；
步骤4：输入新的VCUG图片进行预测，先进行相同的图像数据预处理，获取膀胱输尿管返流分级标准图；
步骤5：根据所述构建的膀胱输尿管返流自动分级的模型，对所述获得的膀胱输尿管返流分级标准图进行自动分级。
2.根据权利要求1所述的方法，其特征在于，所述图像数据收集包括：收集足够数量的标准VUR患者的VCUG图像，高年资医生根据图像中的膀胱以及返流的输尿管区域进行分级作为训练模型的标签。
3.根据权利要求1所述的方法，其特征在于，所述膀胱输尿管返流自动返流分级模型构建时对输入的VCUG图像处理过程包括：利用膀胱输尿管返流自动分级的网络模型，首先对所得VCUG图像进行返流的侧别判断，随后对获得膀胱输尿管返流区域进行识别并分级，投票法在多种深度学习模型中选择出最优结果作为模型的输出结果，以达到最后自动分级的目的。
4.根据权利要求3所述的方法，其特征在于，对输入的VCUG图像数据预处理包括：裁剪去除边缘的注释，用黑色填充图像的边缘，使图像形状为正方形，然后将图像统一缩放为224×224像素的大小，最后将图像的像素值归一化到0~1区间，并对图像按照通道进行标准化，即仿射变换、透视变换、不规则形变、添加随机噪声；优选地，将每个图像随机旋转0~15°。
5.根据权利要求3所述的方法，其特征在于，所述VCUG返流的侧别判断模块是主要基于深度学习技术，结合VCUG图像以及高年资医生给予的返流结果，构建出类Res-net架构的神经网络模型用于对VCUG返流侧别的识别的处理。
6.根据权利要求3所述的方法，其特征在于所述VCUG返流的自动分级模型包括：
1）对收集带有返流分级结果的VCUG图像作为训练样本的数据集；
2）对收集训练样本数据集使用数据增广技术，通过对图像进行变换以增加图像的数量及变化，从而提高网络模型的泛化能力，以及针对图像分割能力的鲁棒性；优选，所述数据增广包括但不限于对图像随机的仿射变换、透视变换、不规则形变以及添加随机噪声；优选地将每个图像随机旋转0~15°；
3）深度学习的特征提取网络；
4）对VCUG自动检测与分级的模型；优选，对VCUG自动检测与分级的模型包括：将VCUG图像的特征图展得到图像对应的特征向量，通过全连接层进行特征融合，然后通过softmax函数计算得到图像归类为各个等级的概率，最后比较概率之间的大小关系进行等级的判决。
7.根据权利要求6所述的方法，其特征在于，参与投票的深度学习模型都是基于卷积神经网络进行特征提取，以处理后的VCUG图像为输入，经过卷积层、池化层和激活函数层的特征提取，最终得到带有复杂语义信息的特征图。
8.一种计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-7任意一项权利要求所述方法的步骤3-步骤5。
9.一种计算机可读存储介质，其上存储有计算机程序或指令，其特征在于，该计算机程序或指令被处理器执行时实现权利要求1-7任意一项权利要求所述方法的步骤3-步骤5。
10.一种计算机程序产品，包括计算机程序或指令，其特征在于，该计算机程序或指令被处理器执行时实现权利要求1-7任意一项权利要求所述方法的步骤3-步骤5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211357529.XA CN115762753A (zh) | 2022-11-01 | 2022-11-01 | 一种深度学习对膀胱输尿管返流自动分级的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211357529.XA CN115762753A (zh) | 2022-11-01 | 2022-11-01 | 一种深度学习对膀胱输尿管返流自动分级的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115762753A true CN115762753A (zh) | 2023-03-07 |
Family
ID=85355167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211357529.XA Pending CN115762753A (zh) | 2022-11-01 | 2022-11-01 | 一种深度学习对膀胱输尿管返流自动分级的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115762753A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117809190A (zh) * | 2024-02-23 | 2024-04-02 | 吉林大学 | 基于深度学习的撞击坑溅射物识别方法 |
-
2022
- 2022-11-01 CN CN202211357529.XA patent/CN115762753A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117809190A (zh) * | 2024-02-23 | 2024-04-02 | 吉林大学 | 基于深度学习的撞击坑溅射物识别方法 |
| CN117809190B (zh) * | 2024-02-23 | 2024-05-24 | 吉林大学 | 基于深度学习的撞击坑溅射物识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109325942B (zh) | 基于全卷积神经网络的眼底图像结构分割方法 | |
| CN111259982A (zh) | 一种基于注意力机制的早产儿视网膜图像分类方法和装置 | |
| CN114998210B (zh) | 一种基于深度学习目标检测的早产儿视网膜病变检测系统 | |
| CN110599448A (zh) | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 | |
| CN113420826B (zh) | 一种肝脏病灶图像处理系统及图像处理方法 | |
| CN111667456A (zh) | 一种冠状动脉x光序列造影中血管狭窄检测方法及装置 | |
| CN113610118B (zh) | 一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法 | |
| CN109886346A (zh) | 一种心肌mri图像分类系统 | |
| CN108922599A (zh) | 一种基于mil的医学图像病灶点精确标注方法 | |
| CN115762753A (zh) | 一种深度学习对膀胱输尿管返流自动分级的方法 | |
| CN112070080A (zh) | 基于Faster R-CNN的戏曲卡通人物的分类方法 | |
| Hao et al. | Automatic detection of fungi in microscopic leucorrhea images based on convolutional neural network and morphological method | |
| CN111754485A (zh) | 一种用于肝脏的人工智能超声辅助系统 | |
| Chen et al. | VGG16-based intelligent image analysis in the pathological diagnosis of IgA nephropathy | |
| CN110705615A (zh) | 一种基于TV模型与GoogLeNet模型的甲状腺结节检测和分类方法 | |
| CN114612381A (zh) | 一种带有尺度增强和注意力融合的医疗图像病灶检测算法 | |
| CN117611599A (zh) | 融合中心线图和增强对比度网络的血管分割方法及其系统 | |
| Guo et al. | LLTO: towards efficient lesion localization based on template occlusion strategy in intelligent diagnosis | |
| CN116703837B (zh) | 一种基于mri图像的肩袖损伤智能识别方法及装置 | |
| CN116681883A (zh) | 基于Swin Transformer改进的乳腺影像病灶检测方法 | |
| Tu | An integrated framework for image segmentation and perceptual grouping | |
| CN116844696A (zh) | 一种基于深度神经网络的面象中医体质辨识方法 | |
| Zhang et al. | Image Quality Assessment of Diabetic Retinopathy Based on ADD-Net | |
| CN113658151B (zh) | 一种乳腺病变磁共振图像分类方法、设备及可读存储介质 | |
| CN116012639A (zh) | 一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |