超声视频病灶检测方法及装置
本申请是申请号为202011333447.2,申请日为2020年11月25日,发明名称为:一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法的分案申请。
技术领域
本申请涉及医学图像领域,特别涉及一种超声视频病灶检测方法及装置。
背景技术
乳腺癌即乳腺恶性肿瘤,根据国家癌症中心公布的数据显示,乳腺癌位居我国女性恶性肿瘤发病第1位,严重威胁女性健康。美国弗吉尼亚大学Hillman教授2010年在《NEngl J Med》上撰文指出:早期精确诊断可使乳腺癌患者5年生存率从25%提高到99%。
乳腺超声技术具有无创、快捷、重复性强等优点,能清楚地显示乳腺各层软组织及其中肿块的形态、内部结构及相邻组织的改变。由于无放射性,可适用于任何年龄,尤其是妊娠及哺乳期女性的乳腺检查。对X线照射有困难的部位(如乳腺边缘),可以作为弥补检查,而且能较好地显示肿块的位置、形态、结构等。对较致密乳腺,即使有肿块也难以分辨时,超声可利用声波界面反射的差别,清晰显示病灶的轮廓和形态。
但我国的超声检查却面临两大难题:一是超声医生培养难,医生在能够正确解读超声图像之前,需要经过大量的培训,且学习周期长、学习难度大,不同操作者对图像的解读具有差异性;二是我国超声医生资源严重紧缺,卫计委统计年鉴显示,超声注册医生至少有10万人的缺口。目前,乳腺超声影像诊断的高需求和现实供给之间的不平衡,已经成为临床实践中亟待解决的主要问题之一。
医学影像的全面数字化和计算机技术的发展,为从技术层面解决这一问题带来了希望。最先发展起来的是计算机辅助检测/诊断(computer aided detection/diagnosis,CAD)系统。CAD是一种通过综合运用计算机、数学、统计学、图像处理与分析方法,由人工从医学影像上进行特征提取、标注可疑病变位置、对病灶区域进行良恶性判断的AI技术。这种训练方法易于理解,因为其结果是依据输入的特征运算的,可以有效提高训练的效率和准确率,降低运算的复杂度。但传统CAD功能单一、性能不足,病灶检出假阳性率过高,在性能上很快到达瓶颈,其临床价值没有得到充分肯定。
近几年,随着深度学习算法的出现和成熟,AI技术在医学影像中的应用逐步走向了更高的层面,为突破传统CAD系统的准确性瓶颈带来了可能。与传统CAD不同的是,深度学习可以不依据人工提取的特征进行后续的图像处理。有学者指出,深度神经网络提取的特征有时比人类设计的特征更有效。大量超声CAD模型的成果构建和优秀的诊断能力也证明了这一点。例如liu以及Shi等人将有监督的深度学习技术应用到了乳腺超声影像中,将S-DPN网络应用于两个小的乳腺超声数据集中,在加入了一些后处理方法如SVM之后最高分类准确率达到了92.4%;Han S等人利用深度卷积网络GoogLeNet CNN对5151个病人的7408张超声影像进行了乳腺超声影像的分类,实现了端对端的学习,分类准确率达到了90%,超过了人类医生。但目前这些探索大多都还着眼于二维影像的结节,对于临床实际应用场景来讲,一是基于二维图的辅助检测对临床的帮助非常有限,通常需要医生手动截图,再将图像传给服务器进行检测,而临床扫描超声的过程中,图像是在不断的变化的,所以这种检测方式不仅会打破医生的诊断流程,增加操作负担,而且医生也不可能图像变化一次就截图一次,完全无法应用于临床;二是,大多研究都仅着眼于结节的辅助检测,其他类型病灶还是需要完全靠医生,并不能有效的帮助医生提高信心及效率;三是,二维图病灶信息并不充分,超声图像经常会有某些切面的一些脂肪或血管等看起来与病灶无异,必须结合前后的影像综合判断,所以基于二维图的准确性存在天然的瓶颈,通常会有很高的假阳性。
关于为什么目前极少有关于乳腺超声动态视频的探索?首先是视频数据缺乏,通常的超声检查只会保留个别二维图,而不会保存视频影像,所以乳腺超声的视频数据很难获得,即使获得了视频数据,数据的标注难度也是极大的,AI的学习是依赖于大量经过高质量标注的数据的,而视频以每秒30帧来计算,每个检查大约十分钟,所以每个病人就要标注10*60*30=18000张图像,且都需要具有丰富经验的高年资超声医生来完成,通常超声医生的工作强度非常高,要完成如此大量的标注是极为困难的,而没有高质量的大量数据,基于视频的AI就是不可能实现的;其次在技术上,从二维图像为2D的模型到视频图像为4D模型难度是飞跃式的,二维模型只需要考虑准确率,所以模型可以尽可能的复杂,提取尽可能多维度的空间特征以实现较高的准确率,通常会以更多的时间消耗为代价,而基于视频的4D技术不仅要考虑模型的准确率,同时要实现模型的实时性,这就注定了其不能通过采用复杂的模型来提高准确率,且基于视频的4D技术需要将时间维度信息加入模型,对模型本身提出了极高的要求,且目前并没有成熟的相关模型和算法参考,需要创新性的去重新设计模型。
有鉴于此,提出本发明。
发明内容
针对现有乳腺超声的检测和分割研究大多只着眼于肿块,且多为基于二维影像的研究,而临床诊断通常需要结合前后帧的信息综合判断,所以基于二维影像的人工智能临床易用性较差,如假阳性高,无法实现实时检测等,为有效解决已有方法临床易用性较差,对临床帮助严重不足的现状,本发明提出了基于AI的动态乳腺超声视频全病灶实时检测和分割的装置、系统及检测方法,以解决临床由于视觉疲劳以及视觉敏感度不足导致的漏诊问题,提高医生诊断效率。
为实现上述目的,本发明第一方面提供了一种超声视频病灶检测方法,所述方法包括:
利用特征金字塔网络对采集的超声影像进行特征提取,得到所述超声影像对应的特征矩阵;
利用可变形卷积网络确定所述特征矩阵对应的特征偏移;
基于所述特征偏移和所述特征矩阵,确定新的特征矩阵;
基于所述新的特征矩阵确定所述超声影像对应的病灶信息。
在一些方式中,所述利用特征金字塔网络对所述超声影像进行特征提取,得到所述超声影像对应的特征矩阵,包括:
获取所述超声影像包括的每帧图像;
利用自下向上网络逐层获取每帧所述图像的特征矩阵;
利用自上向下网络逐层对每帧所述图像上采样,得到上采样对应的特征矩阵;
将所述上采样对应的特征矩阵与所述每帧所述图像的特征矩阵进行处理,得到所述超声影像对应的。
在一些方式中,所述将所述上采样对应的特征矩阵与所述每帧所述图像的特征矩阵进行处理包括:
将所述上采样对应的特征矩阵与所述每帧所述图像的特征矩阵进行降维卷积处理,得到降维后的特征矩阵;
将所述降维后的特征矩阵与对应的所述上采样对应的特征矩阵进行相加运算;
将所述自上而下网络的额外反馈信息输入所述自下而上网络。
在一些方式中,所述利用可变形卷积网络确定所述特征矩阵对应的特征偏移,包括:
将所述特征矩阵输入至所述可变形卷积网络,得到所述特征矩阵在第一方向和第二方向的特征偏移。
在一些方式中,所述基于所述特征偏移和所述特征矩阵,确定新的特征矩阵,包括:
将所述特征偏移与所述特征矩阵进行卷积运算,得到所述新的特征矩阵。
在一些方式中,所述基于所述新的特征矩阵确定所述超声影像对应的病灶信息,包括:
利用长短期记忆网络确定所述超声影像中相邻两帧图像对应的新的特征矩阵;
将所述新的特征矩阵输入添加注意力机制的网络,得到所述超声影像对应的病灶分类和位置。
本发明另一方面提供了一种超声视频病灶检测装置,所述装置包括:
病灶检测模块,用于利用特征金字塔网络对采集的超声影像进行特征提取,得到所述超声影像对应的特征矩阵;
利用可变形卷积网络确定所述特征矩阵对应的特征偏移;
基于所述特征偏移和所述特征矩阵,确定新的特征矩阵;
基于所述新的特征矩阵确定所述超声影像对应的病灶信息。
在一些方式中,所述病灶检测模块,用于获取所述超声影像包括的每帧图像;
利用自下向上网络逐层获取每帧所述图像的特征矩阵;
利用自上向下网络逐层对每帧所述图像上采样,得到上采样对应的特征矩阵;
将所述上采样对应的特征矩阵与所述每帧所述图像的特征矩阵进行处理,得到所述超声影像对应的特征矩阵。
在一些方式中,所述病灶检测模块,用于将所述上采样对应的特征矩阵与所述每帧所述图像的特征矩阵进行降维卷积处理,得到降维后的特征矩阵;
将所述降维后的特征矩阵与对应的所述上采样对应的特征矩阵进行相加运算;
将所述自上而下网络的额外反馈信息输入所述自下而上网络。
在一些方式中,所述病灶检测模块,用于将所述特征矩阵输入至所述可变形卷积网络,得到所述特征矩阵在第一方向和第二方向的特征偏移。
在一些方式中,将所述特征偏移与所述特征矩阵进行卷积运算,得到所述新的特征矩阵。
在一些方式中,所述病灶检测模块,用于利用长短期记忆网络确定所述超声影像中相邻两帧图像对应的新的特征矩阵;
将所述新的特征矩阵输入添加注意力机制的网络,得到所述超声影像对应的病灶分类和位置。
1.本发明无需改动超声机,无需改变医生现有诊断流程,即可提供实时的辅助检测分割结果;
2.本发明可一站式解决乳腺超声影像所能涉及到的所有病灶,包括结节、低回声区、结构紊乱区、淋巴结、导管异常(导管扩张以及导管内异物)和钙化等;
3.本发明基于动态乳腺超声视频的智能检测和分割系统,可以在扫描病人的同时自动实时检测病灶,并对检测的病灶进行自动智能分割,可以在保证高准确率的情况下,达到每秒计算50次的计算效率,节约医生操作超声机进行测量病灶的时间,提高效率,完全满足实时需求;
4.采用速度和精度兼顾的fasterrcnn网络,在达到实时效果的同时,获得良好的精度效果;
5.通过数据扩增的方式,解决由于医学数据量过小导致的过拟合问题;
6.在充分观察学习医生检测病灶的流程和方法的基础上,引入了LSTM模块进行时间维度信息的提取,有效地利用前后帧信息,大大降低了检测的假阳性;
7.通过引入注意力机制,提高检出率的同时,降低假阳性;
8.通过对数据集分布的控制以及乳腺超声影像的预处理,可以适应不同机型、不同参数设置导致的超声影像质量层次不齐的情况,鲁棒性好表现稳定。
总体来讲,本发明可以在不改动超声机以及现有诊断流程的前提下,实现对动态乳腺超声视频影像涉及的所有病灶进行自动实时检测,并对检测出的病灶进行智能分割和测量,在提高效率和准确率的同时,能够有效的帮助医生减少漏诊。
附图说明
图1示出了本发明基于人工智能的动态乳腺超声视频全病灶实时检测和分割的系统;
图2示出了Faster RCNN的网络结构;
图3示出了利用递归特征金字塔RFP网络进行特征提取;
图4示出了利用Deformable convolutional network学习特征偏移;
图5示出了利用LSTM网络提取时间维度信息;
图6示出了利用注意力机制获得病灶的分类以及框的回归;
图7示出了将病灶的框bounding box进行病灶分割的流程图;
图8是对超声图像进行有效区域分割的结果图;
图9是对超声图像进行数据归一化处理的结果图;
图10是对超声突变进行左右反转和上下反转的效果图;
图11是本发明检测的FROC图;
图12-图17是对超声图像进行检测分割的效果图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
定义
除非在下文中另有定义,本文中所用的所有技术术语和科学术语的含义意图与本领域技术人员通常所理解的相同。提及本文中使用的技术意图指在本领域中通常所理解的技术,包括那些对本领域技术人员显而易见的技术的变化或等效技术的替换。虽然相信以下术语对于本领域技术人员很好理解,但仍然阐述以下定义以更好地解释本发明。
如本文中所使用,术语“包括”、“包含”、“具有”、“含有”或“涉及”及其在本文中的其它变体形式为包含性的(inclusive)或开放式的,且不排除其它未列举的元素或方法步骤。
在提及单数形式名词时使用的不定冠词或定冠词例如“一个”或“一种”,“所述”,包括该名词的复数形式。
本发明中的术语“大约”、“大体”表示本领域技术人员能够理解的仍可保证论及特征的技术效果的准确度区间。该术语通常表示偏离指示数值的±10%,优选±5%。
此外,说明书和权利要求书中的术语第一、第二、第三、(a)、(b)、(c)以及诸如此类,是用于区分相似的元素,不是描述顺序或时间次序必须的。应理解,如此应用的术语在适当的环境下可互换,并且本发明描述的实施方案能以不同于本发明描述或举例说明的其它顺序实施。
本发明实施例中,提供了一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割的系统。如图1所示,该系统至少包含一台超声机、超声机显示器、AI服务器、AI显示器。其中,基于AI的动态乳腺超声视频检测和分割装置部署在AI服务器中。超声机设备提供视频输出端口,超声机视频输出线通过视频输出端口与AI服务器相连接,AI服务器就可以实时接收超声动态视频信号,进行实时分析,最后将分析结果通过AI显示器实时展示给医生。
基于AI的动态乳腺超声视频检测和分割装置至少包含:(1)系统鲁棒性设计模块、(2)数据预处理模块、(3)数据扩增模块、(4)病灶检测模块、以及(5)病灶分割模块。
(1)系统鲁棒性设计模块
深度学习是基于大数据的,但一直以来,人们更重视模型架构的设计,而对数据的重视程度不足,越来越多的研究证明,数据的质量和数量对模型最终的表现至关重要,分布合理的高质量数据集能够大大提升模型的表现,为了提高本发明的准确率以及对不同机型、不同参数导致的不同质量超声影像的鲁棒性,提升后续检出和分割的效率和准确率,本发明针对性的设计了数据集,具体要求如下:
1)不同机型不同参数的数据按照1:1的比例进行采集。
2)正常和异常(包括结节、低回声区、结构紊乱区、淋巴结、导管异常(导管扩张以及导管内异物)和钙化)的数据按照1:1的比例进行采集。
3)异常数据中各类型(包括结节、低回声区、结构紊乱区、淋巴结、导管异常(导管扩张以及导管内异物)和钙化)数据按照1:1的比例进行采集。
此模块的设计目的:一是为了使系统能够自动适应不同机型、不同参数设置下的不同质量的超声影像,同时提升后续检出和分割的效率和准确率;二是为了使本产品涵盖超声影像设计的所有类型病灶。
(2)数据预处理模块
为了提高计算效率、减少计算耗时,加快模型收敛速度,节约训练时间,同时提高模型精度,本发明设计了数据预处理模块,主要包括:
2.1有效区域分割模块
采集的超声视频影像中除了包含真正有意义的超声图像还有很多对诊断病灶无意义的部分,而这些对诊断病灶无意义的图像部分会增加计算量降低计算效率,所以本发明设计了有效区域分割模块,具体为:
1)根据不同机型设定有效区域范围。
2)读取视频影像,对每一帧影像,按照对应的有效区域范围,将图像分割出来,用于参与后续处理与训练。
图8为对超声图像进行有效区域分割的结果图。
2.2数据归一化模块
不同的超声机参数,可能会导致图像明暗度差异较大,本发明采用Max/Min归一化方法,将数据映射到指定的范围,缩小由于不同参数带来的差异,还可以简化计算、加快模型收敛的速度、提高模型的精度。具体做法如下:读取视频影像,对每一帧影像进行归一化。
5)对单帧影像遍历整幅图,找到灰度值的最大值以及最小值;
根据公式对每一个像素的灰度值计算获得其归一化之后的值。图9为对超声图像进行数据归一化处理的结果图。
(3)数据扩增模块
由于医疗数据的特殊性,其获取、标注不仅难度大而且成本特别高,所以医疗影像的数据量往往很难像自然图像一样达到百万或者几十万,甚至过万都特别艰难,这种情况下对于基于大数据的深度学习来说,通过数据扩增的方式来增加训练集样本,可以大大缓解由于数据量不足导致的模型过拟合的问题,具体方法如下:
1)按顺序读取视频
2)为当前视频随机选择是否反转
3)若当前视频选择反转,继续随机选择反转方法(包括左反转和上下反转)
图10为对超声突变进行左右反转和上下反转的效果图。
(4)病灶检测模块
这一阶段主要是利用病人的超声视频影像进行检测和分割的模型训练,主要包括以下几部分:
i.平台
本发明基于Detectron2平台,Detectron2是FAIR在2018年初公开的目标检测平台,基于PyTorch实现,以maskrcnn基准测试作为起点。通过全新的模块化设计,Detectron2变得更灵活且易于扩展,它能够在单个或多个CPU服务器上提供更快速的训练速度,目前包含了大量业内最具代表性的目标检测、图像分割、关键点检测算法。
ii.框架
为了提高计算速度同时达到比较理想的计算精度,本发明采用了在速度和精度上表现都很出色的二阶段检测框架FasterRCNN(图2所示)。
iii.模型改进
因为超声视频影像的特殊性,它不同于一般的静态医疗影像如CT、MR等,也不同于普通的自然视频影像,所以目前公开的框架并不能达到实时的高精度的检测效果,因此本发明在公开的框架上进行了很多创新性的改动,最终使得模型能够在乳腺超声视频影像的检测任务中达到实时的高精度检测的效果,其具体步骤如下:
1)利用递归特征金字塔RFP(Recursive Feature Pyramid)网络进行特征提取,将连续的多幅超声影像分别输入递归特征金字塔RFP网络,进行特征提取,生成FeatureMap,这样做可以增加模型对尺度的鲁棒性并提高模型精度,首先因为低层的特征语义信息比较少,但是目标位置准确,对小目标更敏感,高层的特征语义信息比较丰富,但是目标位置比较粗略,对大目标更敏感,通过利用不同尺度的特征同步检测,可以大大提高模型的尺度的鲁棒性;其次RFP在FPN的基础上,将FPN层中的额外反馈连接加入到自下而上的主干层中,增加了网络对图片的关注次数,可以提高检出率。具体操作如下:
a.bottom-up网络:对单帧影像,首先将输入图像进行自下而上的特征卷积,如下图RFP部分的左侧,对输入图像采用3*3的卷积核进行卷积操作,得到feature map。
b.Top-down网络:对高层特征逐个进行2倍上采样,将与采样后的高层特征同尺度的bottom-up特征进行1*1卷积降低维度,将降低维度后的bottom-up特征与同尺度的top-down特征对应元素相加,得到新的feature map。;
c.将top-down中的额外反馈连接加入到bottom-up网络中(如图3中的虚线部分)。
2)利用Deformable convolutional network学习特征偏移。
Deformable convolutional network通过学习偏移,打破了传统框只能是矩形的限制,可以提升当前CNN网络对不规则物体的空间信息建模能力,从而提高检测的精度。具体做法如下(参见图4):
a.对于每一个feature map上的每个位置学习偏移offset,选择kernel为3*3,考虑xy方向都可能存在偏移,所以channel为2*3*3=18,即对原始feature map通过18*3*3的卷积,获得偏移map offsets。
b.对原始feature map做deformable conv,并且传入offsets,获得新的featuremap,参考公式如下:
其中是P0中心点,R为3x3大小的卷积核采样网格点:{(-1,-1),(-1,0),...,(0,1),(1,1)}Pn为属于R的3x3的kernel的9个位置,ΔPn为偏移量。
本阶段完成后每一个feature map会生成一个新的feature map。
3)利用LSTM网络提取时间维度信息
根据大量观察、学习医生的诊断逻辑后,发现仅仅凭借单幅超声影像来判断是否是病灶会造成非常多的假阳性,医生通常要观察前后帧信息之后,综合前后帧信息去判断是否为病灶。因此,本发明加入了LSTM去提取时间维度的前后帧信息,如果在原图上直接进行LSTM会导致运算速度慢,达不到实时效果,所以本发明对提取后的feature map进行LSTM网络提取时间维度信息,具体做法如下(参见图5):
将上一阶段获得的连续的feature map作为LSTM网络的输入,得到新的featuremap。
4)加入注意力机制提高检测精度
接下来利用上一阶段的feature map,输入faster rcnn网络的rpn网络生成proposal,然后通过ROIpooling生成统一尺寸的proposal feature map,然后将前后连续多幅图像的proposal feature map通过权重累加生成最终的feature map,得到病灶的分类以及框的回归(参见图6)。
图11为本发明检测的FROC图,横轴为假阳性率,即:FPR=FP/(FP+TN);纵轴为敏感度,即:recall=TP/(TP+FN)。(True Positive(TP)被模型预测为正的正样本;TrueNegative(TN)被模型预测为负的负样本;False Positive(FP)被模型预测为正的负样本;False Negative(FN)被模型预测为负的正样本)。
(5)病灶分割模块
利用第四阶段生成的病灶的框bounding box进行病灶分割,具体方法如下(参见图7):
1)依据bounding box的尺寸将病灶从原图像剪切下来。
2)对剪切下来的图像,利用空洞卷积ResNet网络来提取特征图,得到大小为原图1/8的特征图。
3)采用深度为4的金字塔池化模块来获取特征图的语境信息,其池化核大小分别为图像的全部、一半和小部分,通过一个1*1卷积层将特征维度缩减为原来的1/4,将这些金字塔特征直接上采样到与输入特征相同尺寸,然后和输入特征做concat操作得到最终输出的全局特征图。将融合得到的全局特征与原始特征图连接起来。
4)通过一层卷积层生成最终的分割图。
5)根据形态学方法获得病灶的长短径。
图12-图17为本发明第四和第五阶段的检测分割效果图,如图所示,不管是大病灶还是小病灶,良性病灶还是恶性病灶,本发明都能达到非常好的检出以及分割效果。