CN107563383A - 一种医学影像辅助诊断及半监督样本生成系统 - Google Patents

Abstract

本发明涉及医学影像计算机辅助诊断技术领域，公开了一种医学影像辅助诊断及半监督样本生成系统。该医学影像辅助诊断及半监督样本生成系统包括：（a）医院影像归档和通讯模块，用于影像数据的存档；（b）基于肺结节自动检测模块，用于自动检测肺结节，生成疑似肺结节的位置；（c）基于深度学习的语义标注生成模块，用于接收医生少量指导，并生成含有精确肺结节轮廓及肺结节成分性质的样本；（d）样本库模块，用于存储合格的样本，供其他自学习系统在线学习。本发明解决了计算机辅助软件无法反馈闭环、无法生成高质量样本、无法自学习的问题，为CT影像的自学习计算机辅助诊断系统提供了一种可行的办法。

Description

一种医学影像辅助诊断及半监督样本生成系统

技术领域

本发明涉及一种医学影像辅助诊断及半监督样本生成系统，尤其涉及一种利用医生少量指导信息、半监督标注肺结节精确语义样本的技术。

背景技术

电子计算机断层扫描(即CT扫描)，利用精确准直的X线束、伽马射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位一个接一个断层的扫描，具有扫描时间快，图像清晰等特点，临床结果初步证明其是检测早期无症状肺癌最有效的影像学方法。在临床诊断中，大量肺部疾病(包括肺癌)在CT影像上通常表现为肺结节。因此，利用CT影像肺结节的检测和识别是肺部疾病诊断的重要途径[1]。一般一个病例的肺部CT扫描至少有200个切片，医生诊断时间长、工作量大、易于疲劳，人工误差不可避免。计算机辅助诊断系统大大减轻了医生的工作量，提高诊断效率和准确度[2]。近年来，由于多个图像处理数据库的开源，加上图像处理单元的性能提升，基于深度学习的卷积神经网络在计算机图像处理领域取得了突飞猛进的发展，在物体检测领域首次超越人类。不出意外地，基于深度学习的计算机辅助诊断系统也大幅提高了诊断的精度[3]。

然而，基于深度学习的计算机辅助诊断系统十分依赖大量、高质量标注的图像样本。同时，几乎所有相关学者认为，样本越多标注越准确，基于深度学习的算法性能更好[3]。现如今，大多数的样本是由人力手工标注完成，不仅样本生成的效率低下，而且标注人员工作量大、易于疲劳，加上主观经验不容，不可避免的带来人工误差。

本发明采用基于深度学习的语义分割方法，利用全卷积神经网络技术，只需少量人工指导，就能生成精确的语义标注[4]。肺结节精确的语义标注含有肺结节的轮廓以及肺结节的征象，即钙化区域、毛刺和棘突区域、空洞和空泡区域、分叶区域。该技术能够应用于基于深度学习的计算机辅助诊断系统，解决计算机辅助软件无法反馈闭环、无法生成高质量样本、无法自学习的问题。

发明内容

为了解决上述技术问题，本发明提供一种医学影像辅助诊断及半监督样本生成系统，能够根据医生少量指导，即医生标记的关注点，自动计算得到关注区域内的肺结节轮廓与轮廓内各像素点的预测概率，生成含有精确语义轮廓的肺结节标注样本，供自学习系统学习。

具体包括如下内容：

1.卷积神经网络的语义分割模型的设计

1.1.提取图像特征的全卷积神经网络。采用图像卷积公式，对输入影像序列进行3D卷积，得到训练和测试样本的卷积特征图；采用多种不同尺度的平均池化方法，对训练样本和测试样本的卷积特征图进行多种不同尺度的池化处理，得到训练样本和测试样本的多种不同尺度的池化特征图；卷积层、不同尺度的池化层堆叠构成用于提取不同分辨率图像特征的卷积神经网络。

1.2.重构图像特征的卷积神经网络。利用图像3D上采样方法，对不同分辨率图像特征进行3D上采样，转化为同一分辨率的卷积特征图；串联不同尺度同一分辨率的卷积特征图；采用Softmax函数得到与基于深度学习的肺结节分割模型输入形状一致的3D正方体概率图块。

1.3.训练网络参数。将肺部CT影像数据库中的图像序列经过去噪、调整窗位、肺组织分割、归一化获得候选样本，并结合医生对样本集的标注和注释，分为训练样本和测试样本；利用训练样本训练卷积神经网络，利用测试样本调试卷积神经网络，得到基于深度学习的语义分割模型。

2.系统使用

2.1.数据准备

2.1.1.读取CT影像序列；

2.1.2.利用现有基于深度学习的肺结节自动检测模块，对CT影像序列进行结节检测，得到所有疑似肺结节的位置；

2.1.3.将结节检测结果显示在医生终端，并给予医生标记注释的权限；

2.1.4.医生根据经验判断漏检、错检的结节，并使用终端在漏检结节内部标注关注点，剔除错检的结节；其中医生仅对漏检的结节内部标记关注点，不对结节半径、轮廓进行标注。

2.2.语义标注生成

2.2.1.将医生标注信息传输给语义标注生成模块；

2.2.2.根据医生标注的关注点获取关注区域；

2.2.3.对于关注区域，利用设计好的卷积神经网络语义分割模型进行计算，得到该关注区域肺结节的语义标注，包括肺结节精确的轮廓、钙化区域、毛刺和棘突区域、空洞和空泡区域、分叶区域。

2.3.将生成的肺结节语义标注反馈至医生端，经过医生判断后，合格的语义标注存入样本库，不准确的语义标注经医生微调后存入样本库。

2.4.肺结节自动检测模块、语义标注生成模块读取样本库中的若干样本，更新各自模型参数，以获得更好的性能。

本发明具有如下优点：

1.采集了医生对结节检测模块的反馈，根据反馈信息，进一步分割出精确的肺结节语义标注，并经过医生确认和微调，形成医生与语义标注生成模块的闭环互动。

2.只需医生少量的指导，即在疑似结节区域标记关注点即可，而无需标注结节半径等。

3.通过基于深度学习的卷积神经网络方法分割肺结节的精准语义标注，给出关注区域肺结节精确的轮廓、钙化区域、毛刺和棘突区域、空洞和空泡区域、分叶区域。

生成高质量的样本供自学习系统学习，大量提高样本标注效率，不断提升自学习系统的性能。

附图说明

图1为本发明一种医学影像辅助诊断及半监督样本生成系统的结构示意图。

图2为医生对语义标注生成模块指导和评判示意。

其中：a为原始图像；b中方框为结节检测模块生成的疑似肺结节区域；c为医生判断后标记的错检结节(叉，右下角)、漏检结节(点，右上角)以及正确结节(勾，左下角)；d为c中医生标注的漏检结节放大图；e为裁剪后的关注区域；f为语义分割模型生成的肺结节语义标注；g为医生对语义标注的评判，评判结果为合格。

图3为基于深度学习的卷积神经网络的结构示意图。

其中，结果中内圈为肺结节正常性质的区域，外圈为肺结节毛刺和棘突区域。

具体实施方式

下面结合附图和具体实施方式对本发明方法进一步说明，本实施例的具体步骤如下：

1.设计步骤

1.1.制作训练样本与测试样本

1.1.1.获取大量CT影像：通常，处理的CT数据层厚为1.25-3mm，层间距为0.75-3mm，每层CT图像的高(y)和宽(x)为512×512个像素，单个病例CT图像的层数(z)为100～500，(z，y，x)方向像素大小为0.5-1.5mm；

1.1.2.调整合适的HU窗位：对原始CT图像调整至合适的HU窗位，消除CT图像中其他器官和组织的干扰。例如，关注区域为肺组织时，通常将HU值小于-1100的像素赋值为-1100，将HU值大于400的像素赋值为400；

1.1.3.将图像的像素值归一化：例如，对于每个样本，将像素值的值域归一化至[-1，1]闭区间，以符合卷积神经网络的特点。具体步骤为，将所有像素点减去该样本像素点的最小值，将得到的结果除以该样本像素点最大值与最小值的差，将得到的结果乘以2，将得到的结果减去1；

1.1.4.根据标注信息得到样本：例如，某病例的CT影像序列是形状为(200，512，512)的3D图像块，医生标注该病例某肺结节中心点的像素坐标为(100，200，200)，坐标顺序为(z，y，x)，假设提取的图像块的大小为(64，64，64)，在经过步骤1.1.1～1.1.3得到的3D图像块中取坐标范围为(68～132，168～232，168～232)的3D正方体图像块，作为一个样本；

1.1.5.将样本库分为训练样本与测试样本：例如，重复步骤1.1.4得到2000个样本，随机取其中200个样本作为测试样本，其余的作为训练样本。

1.2.建立基于深度学习的卷积神经网络语义分割模型(如图3所示)

1.2.1.特征提取单元：提取肺结节CT影像的卷积特征。例如，对与输入形状为(64，64，64)的3D图像块，经过卷积乘法之后得到，一级卷积特征图块；对一级卷积特征图块，分别进行2倍，4倍，8倍的平均池化下采样，经过卷积得到3个不同尺度不同分辨率的二级卷积特征图块；

1.2.2.特征重构单元：利用肺结节CT影像的卷积特征重构肺结节语义分割结果。例如，对步骤1.2.1得到的3个不同尺度不同分辨率的二级卷积特征图块分别进行2倍，4倍，8倍的上采样，得到不同尺度相同分辨率的二级卷积特征图块；将不同尺度相同分辨率的二级卷积特征图块与步骤1.2.1中的一级卷积特征图块进行串联组合，得到不同尺度相同分辨率不同级别的卷积特征图块，经过一次卷积乘法和Softmax函数得到3D正方体概率图，该概率图的每个像素为一个5维向量，向量中的每个概率值分别对应钙化区域、毛刺和棘突区域、空洞和空泡区域、分叶区域、其他5种肺结节性质。

1.3.训练并调试模型

1.3.1.使用训练样本训练卷积神经网络：利用反向传播(BP)算法和小批量随机梯度下降法(Mini-Batch SGD)，调整神经网络参数，使预先定义好的损失函数达到最小值；

1.3.2.使用测试样本调试卷积神经网络：观察卷积神经网络在测试样本的性能，相应调整卷进神经网络的超参数，最终取较优的模型。例如，在训练样本上达到98％的准确率，在测试样本上达到95％的准确率，认为得到了一个泛化能力和准确度都较高的模型参数。

2.使用步骤

2.1.数据准备

2.1.1.利用现有肺结节自动检测模块得到疑似肺结节区域：将步骤1.1.1～1.1.3得到的3D图像块输入到现有肺结节自动检测模块，得到该病例所有疑似结节的位置，将结果显示在医生端；

2.1.2.医生根据经验，在漏检、错检的肺结节区域内，标记关注点：例如，该病例共有5个肺结节，现有肺结节自动检测模块检出结果为，3个正确、1个错检、1个漏检；医生只需在漏检的1个结节影像内部各标记一个关注点，并剔除错检的1个结节,如图2所示；

2.1.3.根据关注点提取固定大小的3D正方体图像块：利用步骤1.1.2～1.1.4方法得到固定大小的3D正方体图像块。

2.2.利用步骤1.3得到的卷积神经网络语义分割模型得到关注区域结节分割结果

2.2.1.将步骤2.1.3得到的3D正方体图像块输入到1.3得到的卷积神经网络语义分割模型中，得到与输入3D正方体图像块形状一致的3D正方体概率图块，如图3所示：例如，得到的3D正方体图像块形状为(64，64，64)，每个像素为5维向量，向量中的每个概率值的值域为[0，1]的闭区间，分别对应钙化区域、毛刺和棘突区域、空洞和空泡区域、分叶区域、其他5种肺结节性质。

2.2.2.利用阈值法将3D正方体概率图块转化为3D正方体二值图像块：通常，取阈值为0.5，对所有像素值大于0.5的像素赋值为1，小于0.5的赋值为0，得到3D正方体二值图像块，并取3D正方体二值图像块中心区域的连通域作为最终关注区域结节分割结果。

2.3.将结果显示在医生终端，并存入服务器样本库：医生对样本合格与否进行评判，合格样本归档至正样本库中，以供肺结节检测模块、语义标注生成模块或者其他自学习系统学习；不合格样本经医生微调后归档至正样本库；生成失败的样本归档至负样本库，供后台研发人员调试。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

参考文献：

[1]Brenner D J,Hall E J.Computed tomography--an increasing source ofradiation exposure.[J].New England Journal of Medicine,2007,357(22):2277-84.

[2]Doi K.Computer-aided diagnosis in medical imaging:historical review,current status and future potential[J].Computerized medical imaging andgraphics,2007,31(4):198-211.

[3]LeCun Y,Bengio Y,Hinton G.Deep learning[J].Nature,2015,521(7553):436-444.

[4]Long J,Shelhamer E,Darrell T.Fully convolutional networks for semanticsegmentation[C]//Proceedings of the IEEE Conference on Computer Vision andPattern Recognition.2015:3431-3440。

Claims (9)

1.一种医学影像辅助诊断及半监督样本生成系统，其特征在于，包括如下步骤：

a) 结节检测：利用现有基于深度学习的肺结节自动检测模块，对CT影像序列进行结节检测，得到所有疑似肺结节的位置；

b) 医生指导：将肺结节检测结果可视化输出到医生端，医生对漏检的结节内部标记关注点，剔除错检的疑似结节，并将关注点坐标反馈至语义标注生成模块；

c) 语义标注生成：根据医生标记的关注点，提取感兴趣区域，利用语义标注生成模块，生成感兴趣区域肺结节的语义标注；

d) 样本生成：将生成的语义标注反馈到医生端，医生判断生成的语义标注是否合格并对结果进行必要的调整，将医生反馈后的样本存入样本库；

e) 在线学习：基于深度学习的结节检测模块、语义分割模块提取样本库中的样本，利用新样本在线更新模型参数，不断迭代模型，达到更好的效果。

2.如权利要求1所述的一种医学影像辅助诊断及半监督样本生成系统，其特征在于，所述步骤b）中，医生根据临床经验，剔除错检的疑似肺结节，在漏检的结节内部标记一个关注点，而无须对结节半径、轮廓进行标注。

3.如权利要求1所述的一种医学影像辅助诊断及半监督样本生成系统，其特征在于，所述步骤b）中，将医生根据临床经验标记的关注点坐标反馈至语义标注生成模块，利用医生标记的关注点对语义标注生成模块进行半监督式少量指导。

4.如权利要求1所述的一种医学影像辅助诊断及半监督样本生成系统，其特征在于，所述步骤c）中，只需根据医生标记的关注点，提取感兴趣区域，而无须利用结节半径、轮廓等信息。

5.如权利要求1所述的一种医学影像辅助诊断及半监督样本生成系统，其特征在于，所述步骤c）中语义标注生成模块，是指利用基于深度学习的语义分割模型生成感兴趣区域的语义标注。

6.如权利要求5所述的基于深度学习的语义分割模型，其特征在于，利用全卷积神经网络对感兴趣区域的肺结节提取多种尺度的卷积特征；融合感兴趣区域的肺结节多尺度卷积特征，利用全卷积神经网络进行特征重构；其最终结果为关注点处肺结节的语义标注，含有肺结节精确的轮廓以及肺结节的征象，即钙化区域、毛刺和棘突区域、空洞和空泡区域、分叶区域。

7.如权利要求1所述的一种医学影像辅助诊断及半监督样本生成系统，其特征在于，所述步骤b)-d）形成闭环互动，是指医生通过对结节检测结果经过少量指导，再根据医生的指导结果进行语义标注，然后将语义标注结果反馈至医生，医生对该结果进行评价和微调并反馈至样本库。

8.如权利要求1所述的一种医学影像辅助诊断及半监督样本生成系统，其特征在于，所述步骤d）中，将医生判断合格的语义标注存入样本库；将不准确的语义标注经医生调整后合格的样本存入样本库。

9.如权利要求1所述的一种医学影像辅助诊断及半监督样本生成系统，其特征在于，所述步骤e）中，基于深度学习的肺结节检测模块、语义标注生成模块具有在线学习新样本的功能，可以不断利用半监督样本生成系统所生成的样本更新内部模型参数，获得更优的性能。