CN112102234B

CN112102234B - 基于目标检测神经网络的耳硬化病灶检测及诊断系统

Info

Publication number: CN112102234B
Application number: CN202010784988.0A
Authority: CN
Inventors: 颜波; 王云峰; 李健; 谭伟敏; 陈鹤丹
Original assignee: Fudan University
Current assignee: Fudan University
Priority date: 2020-08-06
Filing date: 2020-08-06
Publication date: 2022-05-20
Anticipated expiration: 2040-08-06
Also published as: CN112102234A

Abstract

本发明属于医学图像智能处理技术领域，具体为一种基于目标检测神经网络的耳硬化病灶检测及诊断系统。本发明系统包括特征提取主干网络、目标检测与分类网络、对多层检测结果的后处理诊断系统；主干网络在VGG‑19的基础上构建，包括16个卷积层，用于提取输入图像的特征图；目标检测与分类网络包括区域提取网络、自适应池化层、分类网络，得到区域的类别；后处理诊断系统输入为

个分层检测结果，输出为该样本的诊断结果。本发明系统将3D的颞骨CT图像分层输入网络模型中，经过一次前向传播以及后处理，即可同时获得病灶检测及诊断结果，可有效提升诊断效率，辅助医生获取更高的诊断精度。

Description

基于目标检测神经网络的耳硬化病灶检测及诊断系统

技术领域

本发明属于医学图像智能处理技术领域，涉及一种耳硬化病灶检测及诊断系统，更具体地说，涉及一种基于目标检测神经网络的耳硬化病灶检测及诊断系统。

背景技术

耳硬化症是一种原因不明的疾病，病理上是由于骨迷路原发性局限性骨质吸收，而代以血管丰富的海绵状骨质增生，故称“硬化”。当侵犯卵圆窗时，可引起镫骨固定，失去传音功能，使听力进行性减退。

耳硬化症的发病率与人种有很大关系，白种人发病率高，黑人发病率最低，黄种人介于两者之间。发病年龄以中青年较多。双耳或单耳渐进性听力下降是本病的主要症状，约20％-80％的病人伴有耳鸣。耳鸣多为低频性、持续性或间歇性，后期可出现高频性耳鸣。患者在一般环境中分辨语音困难，在嘈杂环境中听辨能力反而提高，这种现象称为韦氏误听，少数病人在头部活动时出现短暂的轻度眩晕。

该病症有两种主要类型，分别为镫骨型和耳蜗型。其中，耳蜗型的病变特征较为明显，人工检测准确率很高，因此本发明只关注检测难度较大的镫骨型耳硬化的检测及诊断。

镫骨型耳硬化患者的颞骨CT表现为窗前裂区骨密度降低，且镫骨底板增厚。通过对CT的观察，医生可以给出相应的初步诊断结果。但是一些人为因素，比如医生经验不足、疲劳、疏忽等，可能直接影响诊断的准确性。

深度卷积神经网络(Deep convolutional neural network,DCNN)是一种机器学习技术，可以有效避免人为因素，自动从有标记的大量数据中学习如何提取丰富的具有代表性的视觉特征。该技术使用反向传播优化算法，让机器更新其内部参数，学习输入图像到标签的映射关系。近年来，DCNN大大提高了计算机视觉中各项任务的性能。

2012年，Krizhevsky等人^[1]首次在ImageNet^[2]图像分类比赛中应用深度卷积神经网络，并以15.3％的Top-5错误率获得冠军，引起了深度学习的热潮。2015年，Simonyan等人^[3]提出了16和19层的神经网络VGG-16和VGG-19，增加了网络的参数量，进一步提升了ImageNet图像分类任务的结果。2016年，He等人^[4]使用152层的残差网络ResNet取得了超过了人眼的分类效果。

DCNN不仅在图像分类任务中有卓越的表现，在一些结构化输出的任务中，如物体检测^[5-7]、语义分割^[8,9]中也同样取得了卓越的效果。如果将DCNN应用在计算机辅助诊断(computer aided diagnosis，CAD)中，则可以辅助医生做出更好的医疗诊断，早发现、早治疗，提高治疗效果。

本发明提供了一个新的基于目标检测网络的耳硬化病灶检测和诊断系统，它能够充分结合训练图像的特点，提取丰富的特征，同时实现耳硬化区域的检测和诊断。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种基于目标检测神经网络的耳硬化病灶检测及诊断系统，排除人为因素影响，实现对颞骨CT图像的自动诊断。

本发明提供基于目标检测神经网络的耳硬化病灶检测及诊断系统，具体包括：

(1)特征提取主干网络；

(2)目标检测与分类网络；

(3)对多层检测结果的后处理诊断系统。

(1)所述特征提取主干网络，是在VGG-19^[3]的基础上构建，去除VGG-19的最后三个全连接层后，主干网络包括16个卷积层，卷积层的特征图在池化层的作用下分辨率逐渐减小，根据池化层所在的位置将卷积层分成5组，分别为conv1_2,conv2_2,conv3_4,conv4_4,conv5_4。网络参数由在ImageNet数据集^[2]上预训练的VGG-19模型初始化，以便充分利用在ImageNet上学习的提取深层次特征的能力；特征提取主干网络的输入为3D的颞骨CT图像(分层输入)，输出为颞骨CT图像的特征图。

(2)所述目标检测与分类网络，为Ren等人提出的目标检测网络，将感兴趣区域用与坐标轴平行的矩形标记框框出，并给出该区域的分类结果，即正常或病变区域；具体结构包括：区域提取网络、自适应池化层、分类网络；所述区域提取网络分为两个并行的部分，其中一部分通过softmax函数将特征区域分为前景和背景两类，另一部分通过1×1卷积计算标记框的偏移量，最终将两部分的输出进行综合，得到提取出的特征区域；所述分类网络，通过全连接层产生两条输出支路：第一条支路输出每个特征区域的位置偏移量，用于进一步修正检测框的位置；第二条支路通过softmax函数计算特征的分类概率，得出区域的类别；

首先，主干网络的输出特征图送入区域提取网络，得到提取出的特征区域；

然后，将提取出的特征区域进入自适应池化层进行自适应池化，统一调整其尺寸至7×7；

最后，送入分类网络，得到区域的类别。

(3)所述对多层检测结果的后处理诊断系统，输入为N个分层检测结果，其中某个结果表示为

其中三项分别代表CT所在层数、检测区域分类类别(正常或耳硬化)和检测置信度(是指目标检测模型输出的结果属于该分类的概率，数值范围在0～1之间)，输出为该样本的诊断结果。

首先，对所有结果的置信度进行筛选，剔除掉置信度小于阈值T₁的所有结果。这一步的目的是做一个初步筛选，直接排除掉置信度明显过低的结果，以免影响后续连续最长子序列的选择，因此，阈值T₁设置较为宽松，可以根据经验设定。

然后，从剩下的分层结果中选择CT层数连续最长的子序列；如果出现多个长度相同的子序列，则选择其中最大置信度较高的。由于镫骨区域是是连续的，这一步的目的是找出镫骨所在CT层区域。

接下来，对所得子序列中的结果置信度进行筛选，剔除掉其中置信度小于阈值T₂的所有结果。这一步的目的是选择子序列中最有参考价值的结果进行后续诊断，因此阈值T₂设置，一般根据模型训练情况适当提高(即高于T₁)。

最后，对剩余结果计算检测为病变的层数与总剩余层数的比值r，并设定阈值T₃，当r>T₃时，认为该样本有耳硬化，否则认为该样本为正常人。这一步的目的是综合多层结果得到最终诊断。阈值T₃的设定的考虑因素：根据对训练数据的统计，镫骨区域通常会出现在连续3层CT中。由于临近CT层的特征与其类似，因此模型最终会检测到4至5层有效层数(包括镫骨区域的相邻前后层)。此外，由于CT的部分容积效应等因素，模型可能会出现少数误检情况，因此需要对误检的情况有一定的容忍度。综合上述条件，在4至5层的结果中，如果检测出不只一层病灶，则可以认为样本诊断为耳硬化。因此，这一步的阈值T₃最好设置在1/4至1/5之间。

进一步的，本发明网络模型的训练方法如下：

首先，在预训练好的VGG-19模型上训练区域提取网络，然后利用区域提取网络提取出的特征区域训练分类网络，交替进行两次；训练时，样本至少包括病变图像2000张，正常图像1000张。

本发明中，输入测试图像I后，只需经过一次前向传播，即可获得检测和诊断结果。

本发明的有益效果在于：本发明设计了一个以颞骨CT图像为输入的目标检测网络，通过设计的后处理算法，用于同时实现耳硬化病灶区域检测和诊断。待测试图像只需经过一次前向传播，即可获得检测和诊断结果，检测和分类任务共享主干网络参数，有效减少计算量，提高诊断效率。实验结果表明，本发明可以精确地检测出耳硬化病灶区域，并基于检测结果通过后处理得到准确的诊断结果，减少人为因素影响，提高临床诊断的效率和准确率。

附图说明

图1为本发明的网络框架图。

图2为耳硬化诊断分类的受试者工作特征曲线(ROC)。

图3为耳硬化病灶检测的IOU值分布图。

图4为本发明耳硬化病灶检测的效果图。

具体实施方式

下面对本发明实施方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

采用图1中的网络结构，用2000张异常图像、1000张正常图像训练目标检测神经网络，获得自动检测及诊断模型。

具体实施方式是：

(1)训练前，用预训练的VGG-19模型初始化网络参数，将训练集中的图像裁剪出耳朵区域，并调整到统一大小888×1496；

(2)训练时，将图像值归一化，并减去均值。设初始学习率为0.0001，用小批量随机梯度下降的方法，最小化损失函数。批的大小设为8；

首先在预训练好的VGG-19模型上训练区域提取网络，然后利用区域提取网络提取出的特征区域训练分类网络，交替进行两次；

(3)测试时，将3D颞骨CT图像的每一层I调整大小到888×1496，输入到训练好的模型中，模型输出每层图像的目标检测框和置信度p。设定阈值T₁为0.5，当p>0.5时，则保留I的结果；否则将I剔除。接下来，从剩下的分层结果中选择CT层数连续最长的子序列。如果出现多个长度相同的子序列，则选择其中最大置信度较高的。设定阈值T₂为0.99，当p>0.99时，保留I的结果；否则将I剔除。最后，对剩余结果计算检测为病变的层数与总剩余层数的比值r，并设定阈值T₃为0.25，当r>T₃时，认为该样本有耳硬化，否则认为该样本为正常人。

图2为评价本发明分类效果的ROC曲线，可以看到ROC曲线下的面积(AUC，最大值为1)达到了0.995，说明本发明的分类效果卓越。

图3为本发明耳硬化病灶检测的IOU值分布图，可以看到大部分检测结果的IOU大于0.3，且多数集中在0.6至0.8区间内，说明本发明检测准确度较高。

图4为本发明检测耳硬化病灶的实例。其中分别展示了不同IOU情况下的检测效果。图中的两个框分别为模型检测结果和实际标注结果，可以看到，IOU大于0.3的情况下模型的检测框就具有非常高的参考价值，说明了本发明的准确性。

参考文献

[1]Krizhevsky,A.,Sutskever,I.&Hinton,G.E.ImageNet classification withdeep convolutional neural networks.Advances in Neural Information ProcessingSystems,1097-1105(2012).

[2]Russakovsky,O.,Deng,J.,Su,H.et al.ImageNet Large Scale VisualRecognition Challenge.International Journal of Computer Vision 115,211-252(2015).

[3]Simonyan,K.&Zisserman A.Very deep convolutional networks forlarge-scale image recognition.International Conference on RepresentationLearning,(2014).

[4]He,K.,Zhang,X.,Ren,S.&Sun,J.Deep residual learning for imagerecognition.IEEE Conference on Computer Vision and Pattern Recognition,770-778(2016).

[5]Girshick,R.,Donahue,J.,Darrell,T.&Malik,J.Rich feature hierarchiesfor accurate object detection and semantic segmentation.IEEE Conference onComputer Vision and Pattern Recognition,580-587(2014).

[6]Girshick,R.Fast R-CNN.IEEE International Conference on ComputerVision,1440-1448(2015).

[7]Ren,S.,He,K.,Girshick,R.&Sun,J.Faster R-CNN:Towards real-timeobject detection with region proposal networks.Neural Information ProcessingSystems,(2015).

[8]Long,J.,Shelhamer,E.&Darrell,T.Fully convolutional networks forsemantic segmentation.IEEE International Conference on Computer Vision,3431-3440(2015).

[9]Chen,L.,Papandreou,G.,Kokkinos,I.,Murphy,K.&Yuille,A.L.DeepLab:Semantic image segmentation with deep convolutional nets,atrous convolution,and fully connected CRFs.IEEE Transactions on Pattern Analysis and MachineIntelligence 40,834-848(2018).。

Claims

1.一种基于目标检测神经网络的耳硬化病灶检测及诊断系统，其特征在于，包括：特征提取主干网络，目标检测与分类网络，对多层检测结果的后处理诊断系统；其中：

（1）所述特征提取主干网络，是在VGG-19的基础上构建，去除VGG-19的最后三个全连接层后，主干网络包括16个卷积层，卷积层的特征图在池化层的作用下分辨率逐渐减小，根据池化层所在的位置将卷积层分成5组，分别为conv1_2, conv2_2, conv3_4, conv4_4,conv5_4；网络参数由在ImageNet数据集上预训练的VGG-19模型初始化，以便充分利用在ImageNet上学习的提取深层次特征的能力；特征提取主干网络的输入为3D的颞骨CT图像，输出为颞骨CT图像的特征图；

（2）所述目标检测与分类网络，采用Ren提出的目标检测网络，将感兴趣区域用与坐标轴平行的矩形标记框框出，并给出该区域的分类结果，即正常或病变区域；具体结构包括：区域提取网络、自适应池化层、分类网络；所述区域提取网络分为两个并行的部分，其中一部分通过softmax函数将特征区域分为前景和背景两类，另一部分通过1×1卷积计算标记框的偏移量，最终将两部分的输出进行综合，得到提取出的特征区域；所述分类网络，通过全连接层产生两条输出支路：第一条支路输出每个特征区域的位置偏移量，用于进一步修正检测框的位置；第二条支路通过softmax函数计算特征的分类概率，得出区域的类别；其工作流程为：

首先，特征提取主干网络的输出特征图送入区域提取网络，得到提取出的特征区域；

最后，送入分类网络，得到区域的类别；

（3）所述对多层检测结果的后处理诊断系统，输入为N个分层检测结果，其中某个结果表示为

，其中三项分别代表CT所在层数、检测区域分类类别和检测置信度，输出为3D的颞骨CT图像的诊断结果；具体流程为：

首先，对所有结果的置信度进行筛选，剔除掉置信度小于阈值T ₁的所有结果；

然后，从剩下的分层结果中选择CT层数连续最长的子序列；如果出现多个长度相同的子序列，则选择其中最大置信度较高的；然后，对所得子序列中的结果置信度进行筛选，剔除掉其中置信度小于阈值T ₂的所有结果；

最后，对剩余结果计算检测为病变的层数与总剩余层数的比值r，并设定阈值T ₃，当r>T ₃时，认为3D的颞骨CT图像有耳硬化，否则认为3D的颞骨CT图像为正常人的。

2.根据权利要求1所述的基于目标检测神经网络的耳硬化病灶检测及诊断系统，其特征在于，网络模型的训练流程如下：

3.根据权利要求1所述的基于目标检测神经网络的耳硬化病灶检测及诊断系统，其特征在于，阈值T ₁根据经验设定；阈值T ₂根据模型训练情况适当高于T ₁；阈值T ₃设置为1/4--1/5。

4.根据权利要求1所述的基于目标检测神经网络的耳硬化病灶检测及诊断系统，其特征在于，输入测试图像后，经过一次前向传播，即获得检测和诊断结果。