CN113160171B - 一种弹性超声成像图像处理的方法和装置 - Google Patents

Abstract

本发明公开了一种弹性超声成像图像处理的方法和装置，利用超声剪切波弹性成像技术获得肾脏的弹性图像和检测参数，并采用卷积神经网络建立肾病的分期预测模型，利用该模型进行肾病的检测或者分期预测。和其他方法相比，具有无创、简便、快捷、实时的显著特点，可以在肾病筛查和分期诊断中广泛应用。

Description

一种弹性超声成像图像处理的方法和装置

技术领域

本发明涉及医学影像领域。具体为用于肾病分期预测辅助处理功能的一种弹性超声成像图像处理的方法。

背景技术

据国际肾脏病学会2020年公布的数据，全球肾脏病患者数量达到8.5亿。根据柳叶刀发布的中国肾病流行病学调查报告，我国慢性肾病的总发病率为10.8%。也就是说，平均每10个中国人里，就有1个人是慢性肾脏病患者。慢性肾病已经成为我国重要的公共卫生问题。

慢性肾病是各种原因引起的慢性肾脏结构和功能障碍，肾脏损害病史大于3个月。包括病理损伤、血液或尿液成分异常，及影像学检查异常，或不明原因肾小球滤过率（GFR）下降超过3个月，即为慢性肾病。

慢性肾病分期，是指根据肾小球滤过率、内生肌酐清除率（Ccr）及血肌酐（Scr）水平等肾功能指标的不同对慢性肾脏病进行分期。慢性肾脏病分期可了解患者慢性肾脏病所处阶段，对于确定防治目标并采取合理的治疗措施具有重要的意义和作用。

早期慢性肾病的症状并不明显，如一般的慢性肾炎患者都没有特别明显的不适症状。一旦病人感觉自身有明显疲劳、贫血等症状出现才去就医时，可能慢性肾病病情已经过了早期阶段了，这样将为慢性肾病的后期治疗带来更大的难度。因此，开发方便、快捷、无损的筛查与分期方法对于早期慢性肾病诊疗具有重要意义。

诊断与检测慢性肾病的常用方法包括病理检查和实验室检查和影像学检查。肾脏穿刺活检是诊断肾实质损害和临床分型的重要方法，是诊断慢性肾病的金标准，但该法为有创检查，不宜重复操作和动态检测病程的进展，同时存在出血、感染和包膜下血肿等并发症的潜在危险。尿蛋白、SCr、BUN 等是临床工作中常用的诊断和监测慢性肾病病情的实验室指标。尿蛋白是肾脏损伤的标志物，可用于急慢性肾脏病的诊断，但无法对肾脏损伤进行有效分期。SCr 和 BUN 能有效判断肾脏的病变程度，但对早期肾病病变并不敏感，有学者认为在肾功能下降的早期，SCr 和 BUN 均不能直接反映肾脏损害的程度，对早期肾功能的评价其准确性和敏感性欠佳。

慢性肾病的影像学检查主要包括超声、CT、静脉尿路造影、核素显像等。肾脏核素显像包括肾动态显像及肾静态显像，可以获得双肾的血流灌注、功能及尿路通畅等信息，是临床确诊慢性肾病分期的主要依据，但所使用的造影剂可能对已受损的肾功能造成进一步损害，故肾功能损害严重者禁用，同时该项检查价格较高、具有放射性、短期内不适宜重复检查等缺点限制了临床的广泛应用。CT 及静脉尿路造影虽能同时提供肾功能和形态学信息，但肾衰竭患者及造影剂过敏者不适宜。超声检查因简单、安全且实惠，已成为慢性肾病患者首选的影像学检查方法。B型式超声可通过测量肾脏大小、皮质厚度及观察实质回声来诊断慢性肾病，尤其是晚期慢性肾病患者肾脏长径、皮质厚度与 GFR 有明显的相关性。慢性肾病的彩色血流成像表现为肾内血流信号减少，肾动脉血流速度减低，但早期慢性肾病患者的这些超声影像经常没有明显的异常改变，故常规超声对早中期慢性肾病患者的诊断价值有限。

近年来超声弹性成像技术已成为一种新型的超声诊断技术，为传统二维超声及彩色多普勒检查提供了新的、重要的信息补充，在甲状腺、乳腺、肝脏、前列腺等疾病诊断中已广泛应用并被证实其有较佳临床应用价值。超声弹性成像技术已经发展成为一种实时超声成像工具。随着组织病变程度的加重，组织的弹性会发生一定的改变。组织内的弹性信息对疾病的诊断及预后具有重要的参考价值。

超声剪切波弹性成像技术是采用探头发射安全的声辐射脉冲控制技术，在组织不同深度上连续聚焦，产生 Mach Cone 效应，被聚焦部位或者组织的粒子振动产生剪切波，剪切波为传播速度 1-10m/s 的横波，波速较慢，可利用达 2000帧/s 的超快速成像系统捕获、追踪剪切波得到实时的弹性成像图。与以往瞬时弹性成像技术(transientelastography, TE)、声脉冲辐射力成像技术(acousticradiation force impulseimaging, ARFI) 相比较，超声剪切波弹性成像可实时定量分析，不依赖操作者，可避免评分方法的主观性，且无需施压，具有较好的弹性重复性等优点。

慢性肾病的病理改变为程度不等的肾小球及肾小管硬化，肾小球明显萎缩，间质纤维化。超声剪切波弹性成像技术能定量评估组织的弹性，反映组织纤维化程度，从而可以用于早期无创诊断慢性肾病以及进行慢性肾病的分期诊断。

发明内容

具体技术方案为：

一种利用弹性超声成像进行肾病分期预测的方法，该方法利用超声剪切波弹性成像技术获得肾脏的B型超声图像、弹性图像和测量参数，并采用卷积神经网络建立慢性肾病的分期预测模型，利用该模型进行慢性肾病的检测或者分期预测，辅助医生进行诊断。具体方案为：

所述的检测参数包括，但不限于以下内容：B型超声图像、弹性超声图像、从B型超声图像分割得到的肾脏部位图像、从弹性超声图像分割得到的肾脏部位图像、左肾皮质弹性值、左肾髓质弹性值、左肾窦部弹性值、右肾皮质弹性值、右肾髓质弹性值、右肾窦部弹性值；

所述的慢性肾病的分期预测模型的输入，包括但不限于：前述的各个图像、前述的各个弹性值、前述各个弹性值经过多次测量统计后得到的中位数、平均值、最大值、最小值、方差、标准差；

所述的慢性肾病的分期预测模型的输出，包括但不限于：没有慢性肾病、有慢性肾病、慢性肾病为1期、慢性肾病为2期、慢性肾病为3期、慢性肾病为4期、慢性肾病为5期、慢性肾病为初期、慢性肾病为中期、慢性肾病为终末期；

所述的卷积神经网络，其网络结构至少包括两部分：第一部分输入从B型超声图像分割得到的肾脏部位图像，经过包括多个Dense块组成的卷积神经网络，得到肾脏B型超声的特征图；第二部分输入由检测参数组成的一维向量，经过包括多个如图2所示的KDnet块组成的卷积神经网络，得到检测参数的特征图；该检测参数的特征图与前述肾脏B型超声的特征图连接后进行分类；

所述KDnet块，对输入的一维向量经过六种不同参数的卷积和批正则化BN层的处理之后，进行连接合并，输出结果仍为一维向量；该KDnet块输入通道数为Cin，输出通道数为Cout，输入的一维向量大小为1×n，输出的一维向量大小为1×(6n-12)。该KDnet块对输入分别进行6个不同的一维卷积操作，这6个卷积操作分为两组，第一组卷积操作的卷积核分别取为(1,1)、(1,2)、(1,3)、(1,4)，词用普通卷积；第二组卷积操作的卷积核分别取为(1,2)、(1,3)，采用空洞卷积，dilation参数为2；

本发明提供一种利用弹性超声成像进行肾病分期预测的方法和装置，该方法利用超声剪切波弹性成像技术获得肾脏的图像和检测参数，进行肾脏的慢性肾病检测和慢性肾病的分期预测。目前的现有方法主要包括抽血和穿刺，而本发明的方法则是无创的，具有简便、快捷的显著特点。同时，本发明提供的卷积神经网络方法，其建立的模型的预测结果优于支持向量机和随机森林方法的模型预测结果。

附图说明

图1为本发明弹性超声成像图像处理的方法超声图像的肾脏ROI标注示例图；

图2为KDnet块的网络结构图；

图3为卷积神经网络模型结构图。

具体实施方式

下面利用实施例对本发明进行更全面的说明。本发明可以体现为多种不同形式，并不应理解为局限于这里叙述的示例性实施例。

本实施例中的弹性超声成像检测装置，包括：超声探头、数据录入模块、数据处理模块和图像显示模块。其中，所述超声探头内的信号发生器发射超声波信号，传感器接收反射的超声波信号；数据录入模块采用键盘、扫描设备分别对文字和图像数据进行录入；图像显示模块采用显示屏对文字或数据进行显示；数据处理模块用于对录入的文字及图像进行处理。数据处理模块中的图像数据处理模块用于对录入的图像进行处理；采用深度学习的机器学习方法。

样本中人员是否有慢性肾病以临床诊断为准。如果有慢性肾病，根据1999年美国肾脏基金会提出的以肾小球滤过率来划分慢性肾脏分期的标准，确定属于1-5期中具体哪期慢性肾病。

选取确诊慢性肾病5个阶段中不同阶段的病例各100例，以及肾脏健康人员100例。利用剪切波超声成像设备采集这些人员肾脏的B超图像。如图1所示，对于每张B超图像，将肾脏区域进行感兴趣区域ROI(需要分析的部位)的分割，利用Via软件完成手动分割，得到肾脏区域图像。标注由两位专业影像医师完成，所有标注结果应为达成一致意见的结果。

对所有人员利用剪切波弹性成像技术分别进行左侧和右侧肾脏的肾皮质弹性值、肾髓质弹性值和肾窦部弹性值测量，每个弹性值各测量五次，取其中位数作为测量结果，获得每个人的左侧肾皮质、左侧肾髓质、左侧肾窦部、右侧肾皮质、右肾髓质、右侧肾窦部的弹性模量值，即每个人获得6个弹性数值。

利用以上数据建立数据集。数据集中共有6类数据：无肾病、肾病1期、肾病2期、肾病3期、肾病4期、肾病5期，每类数据中有尽量多的数据，例如100个人的数据作为样本数据。每个样本数据中包含以下内容：左侧肾脏区域图像、右侧肾脏区域图像；左侧肾皮质弹性模量值、左侧肾髓质弹性模量值、左侧肾窦部弹性模量值、右侧肾皮质弹性模量值、右肾髓质弹性模量值、右侧肾窦部弹性模量值。

该数据集中，每一类的80%的数据作为训练集，20%的数据作为测试集。即每一类中随机选择80个样本用于深度学习方法的训练，得到模型。在深度学习方法训练完成得到模型之后，使用每类20个样本，总计120个样本进行模型分类测试，根据预测的结果，对照真实结果统计性能指标。深度学习方法采用卷积神经网络模型，使用Python 3.7语言，使用PyTorch框架实现。

本发明提供一种KDnet块构建卷积神经网络，其结构见图2。该KDnet块对输入的一维向量经过六种不同参数的卷积和批正则化BN层的处理之后，进行连接合并，结果仍为一维向量。该KDnet块输入通道数为Cin，输出通道数为Cout，输入的一维向量大小为1×n，输出的一维向量大小为1×(6n-12)。该KDnet块对输入分别进行6个不同的一维卷积操作，这6个卷积操作分为两组，第一组卷积操作的卷积核分别取为(1,1)、(1,2)、(1,3)、(1,4)，dilation参数为默认值1；第二组卷积操作的卷积核分别取为(1,2)、(1,3)，dilation参数为2。

深度学习模型如图3所示。分别把样本的左侧和右侧肾脏区域图像缩放到224×224大小的B超图像，输入网络，经过卷积层、最大池化层、4个Dense块后，得到1×1×1024大小的图像特征向量。把样本的6个弹性模量数值，即，排列成1×1×6的向量，输入三个连接的KDnet块，第一个KDnet块的输入输出通道分别为1和3，第二个KDnet块的输入输出通道分别为3和2，第三个KDnet块的输入输出通道分别为2和1，得到1×1×5028大小的参数特征向量。把两个图像特征向量和1个参数特征向量连接，得到1×1×7076的汇总特征向量，通过全连接网络进行输出，输出为6，分别对应没有肾病、肾病1期、肾病2期、肾病3期、肾病4期、肾病5期。在大小为1×1×1024的两个图像特征向量、大小为1×1×5028的1个参数特征向量、和大小为1×1×7076的全连接层，都使用DropOut方法防止过拟合。

上述Dense块，按照文献[1]（Gao Huang, Zhuang Liu, Laurens Van DerMaaten, Kilian Q. Weinberger. Densely Connected Convolutional Networks. 2017IEEE Conference on Computer Vision and Pattern Recognition (CVPR), p. 2261-2269. DOI 10.1109/CVPR.2017.243）中的公开的Dense块网络结构设置。网络训练中使用ADAM优化器，分类交叉熵损失训练网络模型，批处理大小设置为32，初始学习率设为0.0001，当验证数据集的损失连续20次不再下降时，学习率降低0.1倍，DropOut参数设置为0.85。

该模型训练完成后就可以用于肾病分期预测，输入预测对象的肾脏区域图像和6个数值，按照输出就可以得到该预测对象是否有肾病，如果有肾病，可以得到慢性肾病的分期。如果预测为1期和2期肾病，则其慢性肾病为初期；预测为3期和4期肾病，其慢性肾病为中期；预测为5期肾病，其慢性肾病为终末期。上述预测结果供医生参考，医生可以根据各种物化指标，病理分析和其他技术手段综合判断，得到最终的诊断结果。

为了比较本实现例的预测性能，对分类准确率、特异性、灵敏度指标和ROC曲线下面积AUC (area under the ROC curve, AUC)进行计算，计算公式如下：

准确率计算方法如下:

灵敏度计算方法如下:

特异性计算方法如下:

其中TP表示实际为正例且被分类器判定为正例的样本数；TN表示实际为负例且被分类器判定为负例的样本数；FP表示实际为负例且被分类器判定为正例的样本数； FN表示实际为正例但被分类器判定为负例的样本数。各指标越接近1表示该方法的性能越好。

本实现例对是否有肾病的预测结果与随机森林、支持向量机方法和专业医师预测的性能对比如表1所示。其中支持向量机和随机森林方法采用文献[2]( 李广涵,刘建,武敬平等, 基于支持向量机多模态超声模型诊断肾疾病. 中国医学影像技术, 2020, 36(6):898-901.)中的方法，在相同的数据集上应用这两种方法建立模型，并进行比较，使用Scikit-learn 0.22在Python 3.7中完成实验，对于支持向量机的目标函数惩罚因子参数C在[2⁴,2¹⁶]范围以2倍步长进行了参数寻优，同时对所有的核函数也进行了寻优。随机森林也对决策树数量进行了寻优。

从结果可见，本发明方法明显优于随机森林和支持向量机两种机器学习方法，而且也优于专业医师的人工诊断结果。

表1 预测模型对于是否有肾病预测结果的性能比较

本实现例对于各个肾病分期的预测性能如表2所示。目前专业医师无法根据B型超声图像和超声剪切波弹性成像结果进行肾病分期的诊断，本发明则可以完成肾病分期的预测，而且准确率都在90%以上。

表2 实现例对于肾病分期的预测性能

性能指标	1期	2期	3期	4期	5期
						灵敏度	82.0%	81.0%	85.0%	82.0%	87.0%
特异性	91.5 %	94.2%	95.4%	95.8%	95.0 %
						准确率	93.4 %	92.0%	93.6%	93.5%	93.7 %

上述示例只是用于说明本发明，除此之外，还有多种不同的实施方式，而这些实施方式都是本领域技术人员在领悟本发明思想后能够想到的，故，在此不再一一列举。

Claims (3)

1.一种弹性超声成像图像处理的方法，其特征在于，包括如下步骤：

1）利用超声剪切波弹性成像技术获取肾脏的B型超声图像和弹性成像的检测参数，所述检测参数包括：B型超声图像、弹性超声图像、从B型超声图像分割得到的肾脏部位图像、从弹性超声图像分割得到的肾脏部位图像、左肾皮质弹性值、左肾髓质弹性值、左肾窦部弹性值、右肾皮质弹性值、右肾髓质弹性值、右肾窦部弹性值；

2）利用前述肾脏的B型超声图像和弹性成像的检测参数进行肾病的预测模型训练，该肾病的预测模型采用卷积神经网络，该卷积神经网络的网络结构至少包括两部分：第一部分输入从B型超声图像分割得到的肾脏部位图像，经过包括多个Dense块组成的卷积神经网络，得到肾脏B型超声的特征图；第二部分输入由检测参数组成的一维向量，经过包括多个KDnet块组成的卷积神经网络，得到检测参数的特征图；该检测参数的特征图与前述肾脏B型超声的特征图连接后进行分类；

所述KDnet块，对输入的一维向量经过六种不同参数的卷积和批正则化BN层的处理之后，进行连接合并，输出结果仍为一维向量；该KDnet块输入通道数为Cin，输出通道数为Cout，输入的一维向量大小为1×n，输出的一维向量大小为1×(6n-12)；该KDnet块对输入分别进行6个不同的一维卷积操作，这6个卷积操作分为两组，第一组卷积操作的卷积核分别取为(1,1)、(1,2)、(1,3)、(1,4)，dilation参数为默认值1；第二组卷积操作的卷积核分别取为(1,2)、(1,3)，dilation参数为2；

3）利用步骤2）中完成训练得到的肾病的预测模型,进行肾病的预测。

2.如权利要求1所述的弹性超声成像图像处理的方法，其特征在于，预测的结果包括：没有慢性肾病、有慢性肾病、慢性肾病为1期、慢性肾病为2期、慢性肾病为3期、慢性肾病为4期、慢性肾病为5期、慢性肾病为初期、慢性肾病为中期、慢性肾病为终末期。

3.一种弹性超声成像图像处理的装置，所述装置包括：超声探头、数据录入模块、数据处理模块和图像显示模块，其特征在于，所述数据处理模块中包括图像数据处理模块；所述图像处理模块采用如权利要求1至2中任一项所述的弹性超声成像图像处理的方法对装置采集或录入的图像进行处理，并输出预测的结果。