CN110363768B - 一种基于深度学习的早期癌病灶范围预测辅助系统 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体公开了一种基于深度学习的早期癌病灶范围预测辅助系统，包括：图像获取模块，用于获取带目标框的消化道内镜的样本图像，对样本图像进行预处理，记录目标框端点的坐标信息，生成训练图像集；模型构建模块，用于构建卷积神经网络模型，并基于训练图像集对卷积神经网络模型进行迭代训练，然后进行测试，测试完成后得到训练成功的卷积神经网络模型；范围划分模块，用于接收消化道内镜的待诊断图像，基于训练成功的卷积神经网络模型对待诊断图像进行判断，输出待诊断图像的预测端点的坐标信息；范围划分模块基于预测端点的坐标信息在待诊断图像上绘制目标框。采用本发明的技术方案能标注早期癌病灶范围。

Description

一种基于深度学习的早期癌病灶范围预测辅助系统

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于深度学习的早期癌病灶范围预测辅助系统。

背景技术

消化道癌症的早发现早治疗具有十分重要的现实意义。然而，消化道气体分布较多，病灶较小，隐匿性较强，且早期癌的形态学、表面微结构、表面微血管与炎性及修复性极为相似，导致消化道癌的病理学特征复杂难辨，早期症状不易被发现。

目前消化道癌症的诊断主要是通过消化内镜的光学镜头以及图像传感器采集人体内的图像，并将采集的图像传输给显示终端，供医护人员进行观看。消化道内镜图像在提供更加详细、准确的诊断信息的同时，也给读片医生增加了工作负担，并且医生凭借阅片经验对病灶进行定性分析具有较大的主观性。同时受到医疗水平差异和内镜医师诊断水平的限制，现有的诊断率较低。

随着计算机领域的飞速发展，不同的计算机算法以及基于不同算法组合的计算模型正不断地得到开发，深度学习算法便是其中之一。它是模仿人大脑神经元工作原理的一种数学处理方法，具有自学习能力、记忆能力、预测事件发展等能力。

为了减轻读片的医护人员的工作负担，减少由于环境光、视觉疲劳、人眼惰性及对灰阶不敏感等问题，导致的消化内镜图像的辨别不准确的问题，需要引入深度学习算法对消化道内镜图像进行识别。但是目前的深度学习算法初期直接诊断的准确率还较低，如果直接输出诊断结果，容易出现错误。

为此，需要一种能标注早期癌病灶范围的辅助诊断系统。

发明内容

为解决上述技术问题，本发明的目的在于提供一种基于深度学习的早期癌病灶范围预测辅助系统。

本发明技术方案如下：

一种基于深度学习的早期癌病灶范围预测辅助系统，包括：

图像获取模块，用于获取带目标框的消化道内镜的样本图像，对样本图像进行预处理，记录目标框端点的坐标信息，生成训练图像集；

模型构建模块，用于构建卷积神经网络模型，并基于训练图像集对卷积神经网络模型进行迭代训练，然后进行测试，测试完成后得到训练成功的卷积神经网络模型；

范围划分模块，用于接收消化道内镜的待诊断图像，基于训练成功的卷积神经网络模型对待诊断图像进行判断，输出待诊断图像预测端点的坐标信息；范围划分模块基于预测端点的坐标信息在待诊断图像上绘制目标框；

显示模块，用于显示已绘制目标框的待诊断图像。

基础方案原理及有益效果如下：

通过对构建卷积神经网络模型进行迭代训练，让卷积神经网络模型逐渐学会对消化道内镜样本图像的识别，从而具备完善的识别能力。当卷积神经网络模型训练成功后，可以对消化道内镜的待诊断图像进行识别，进过处理，可以得到已绘制目标框的待诊断图像，也就是将病变范围圈出。此时，医护人员通过重点观察目标框的内的信息就可以快速进行诊断，与现有的需要在整张图像中寻找病灶相比，能减轻医护人员的工作量，提高医护人员的工作效率。而且能减少由于环境光、视觉疲劳、人眼惰性及对灰阶不敏感等问题，导致的消化内镜图像辨别不准确的情况发生。本系统简单易用,具有显著的社会及经济价值。

进一步，所述卷积神经网络模型包括卷积层、池化层、全连接层；其中卷积层的数量为7-20个，全连接层的数量为1-10个。

通过增加卷积层和全连接层的数量，可以提高卷积神经网络模型对复杂图像的处理能力。

进一步，所述模型构建模块还包括构建单元、存储单元和测试单元，存储单元中预存有消化道内镜的测试图像，测试单元用于在测试时，将测试图像输入卷积神经网络模型，判断卷积神经网络诊断模型的输出准确率，如果输出准确率低于第一阈值，测试单元向图像获取模块发送重新生成训练图像集的信息；

图像获取模块基于重新生成训练图像集的信息，调整预处理方式，生成新的训练图像集；构建单元基于新的训练图像集，对卷积神经网络模型进行迭代训练。

当卷积神经网络模型在测试中准确率偏低时，预处理的方式可能对训练产生影响，例如预处理的方式不恰当，导致预处理后的样本图像难以被识别。而且，机器识别和人的视觉识别存在一定的差异，人容易识别的图片，机器不一定容易识别，如果单纯按照人容易识别的方式对样本图像进行预处理，就容易出现机器难以识别的问题，在这里也就是容易导致卷积神经网络模型难以识别，因此，在卷积神经网络模型训练后的输出准确率低于第一阈值时，调整预处理的方式，然后重新训练，有助于提高卷积神经网络模型的输出准确率，提升训练效果。

进一步，所述预处理包括裁切、旋转、拉伸、平移、色彩空间调整、对比度调整中的一种或多种。

通过多种方式的预处理，更容易得到便于卷积神经网络模型识别的样本图像。

进一步，所述卷积神经网络模型每迭代2000-3000次后，进行测试。

在卷积神经网络充分迭代后，再进行测试，能排除训练不充分导致的输出准确率低于第一阈值的情况。

进一步，所述测试单元判断卷积神经网络模型的输出准确率时，如果输出准确率大于第一阈值且低于第二阈值，继续进行迭代训练。

此时说明迭代训练已经有了一定的效果，但是还不充分，需要继续进行训练。

进一步，所述测试单元判断卷积神经网络模型的输出准确率时，如果准确率大于或等于第二阈值，构建单元输出卷积神经网络模型，图像获取模块将调整后的预处理方式标记为有效预处理方式。

卷积神经网络模型的输出准确率满足要求时，也说明调整后的预处理方式满足要求，将调整后的预处理方式标记为有效预处理方式，便于之后处理其他图像。

进一步，所述图像获取模块还用于获取消化道内镜的待诊断图像，通过有效预处理方式对待诊断图像进行预处理，将预处理后的待诊断图像发送至范围划分模块。

通过有效预处理方式对待诊断图像进行预处理，使待诊断图像满足卷积神经网络模型的输入要求，提高识别准确率。

进一步，所述目标框为矩形框，预测端点的数量为四。

通过矩形框，方便框选病灶。

进一步，所述样本图像包括早期食道癌、早期胃癌、早期结肠癌中的一种或多种癌症类别。

通过不同的早期癌症的样本图像训练，可以提高卷积神经网络模型对不同早期癌症的识别能力。

附图说明

图1为基于深度学习的早期癌病灶范围预测辅助系统实施例一的逻辑框图。

具体实施方式

下面通过具体实施方式进一步详细说明：

实施例一

如图1所示，一种基于深度学习的早期癌病灶范围预测辅助系统，包括图像获取模块、模型构建模块、范围划分模块和显示模块。

图像获取模块用于获取带目标框的消化道内镜的样本图像，对样本图像进行预处理，记录目标框端点的坐标信息，并随机排序，生成训练图像集，并对训练图像集内的所有样本图像进行归一化处理。本实施中，归一化处理指将样本图像归一化为DICOM格式、NIfTI格式或者原始二进制格式。目标框为矩形框，目标框端点的数量为四。

本实施例中，样本图像包括早期食道癌、早期胃癌、早期结肠癌中的一种或多种癌症类别，每一癌症类别均对应有形态子类别和浸润深度子类别；形态子类别的样本图像和浸润深度子类别的样本图像均不少于3000张，预处理包括裁切、旋转、拉伸、平移、色彩空间调整、对比度调整中的一种或多种。本实施例中，预处理包括裁切、旋转、拉伸、平移、色彩空间调整和对比度调整。

模型构建模块包括构建单元、存储单元和测试单元；构建单元用于构建卷积神经网络模型；构建单元基于训练图像集对卷积神经网络模型进行迭代训练，卷积神经网络模型的权重参数为随机初始化参数，通过前向传播算法不断向前传递特征，并计算残差，随后通过反向传播算法将残差不断向后传递，修正权重参数，不断迭代直至收敛。存储单元中预存有消化道内镜的测试图像。

本实施例中，卷积神经网络模型包括卷积层、池化层和全连接层，卷积层的数量为7-20个，全连接层的数量为1-10个。卷积层将指定数量的卷积过滤器应用于图像。对于每个子区域，该层会执行一组数学运算，以在输出特征图中生成单个值。然后，卷积层通常会输出应用ReLU激活函数，以便在模型中引入非线性规律。

池化层对卷积层提取的图像数据进行下采样，以降低特征图的维度，从而缩短处理时间。常用的池化算法是最大池化，它会提取特征图的子区域，保留子区域的最大值，并舍弃其他所有值。

全连接层对由卷积层提取并由池化层下采样的特征进行分类。全连接层中的每个节点都连接到前一层中的所有节点。

卷积层具体运算过程：

对于任意给定大小为w×w的样本图像p，利用提取的k个特征计算p的一个映射表示y∈R^k，y是一个k维向量，y⁽ⁱ⁾是第i个特征φ_i对p的映射结果，即y⁽ⁱ⁾＝φ_i(p)。一幅颜色通道数为c，大小为n×n的完整样本图像I，特征卷积需要对I中所有w×w的区域计算特征映射表示，即使用一个w×w大小的窗口扫描I，使用某个特征φ_i对I落在窗口内的区域进行映射，得到一个维度为二的特征映射图。将对I的特征映射图记为M，则表示特征φ_i对样本图像I(j,k)的映射结果，M的维度为k×(n-w+1)×(n-w+1)。对以上结果进一步推广，训练图像集D包含m幅n×n的样本图像，特征窗口大小为w×w，使用φ对样本图像集执行卷积后M的维度为m×k×(n-w+1)×(n-w+1)。通过利用特征集Φ中每个特征φ_i对数据集D的每个样本I_i进行卷积，得到M∈R^{m×k×(n-w+1)×(n-w+1)}，若n较大，w较小，M中的参数量将很大，M作为后续过程的输入，过多的参数将使网络难以训练，下一步的操作是对M进行降采样来减少网络参数。

池化层的具体运算过程

利用特征集Φ来卷积输入训练图像集D的特征集M∈R^{m×k×(n-w+1)×(n-w+1)}后，理论上可以在得到的所有特征上进行后续处理，然而在时间和空间上效率不高，需要进行卷积特征采样以减少网络参数。若输入特征表示F的大小是n×n，采样窗口大小是s×s，则对F进行采样后得到的新的特征表示维度为(n/s)×(n/s)，这里n必须是s的整数倍，因为采样操作在F上所有使用的窗口扫描方式是按s步长跳跃式非重叠扫描，而不是像卷积操作那样按1步长连续重叠扫描。原始输入的特征集有多个，每个特征对数据集进行卷积后产生的输出是多层卷积特征图。

迭代训练的具体过程

主要包括两个阶段：①前向传播：即卷积和池化依次进行的过程，上一层的输出作为下一层的输入，并通过激活函数逐层传递，最后得到实际输出；②反向传播和权值更新：即通过实际输出与理想输出间的误差反向传播，得到各个网络层的误差函数，然后采用随机梯度下降法对网络权值和阈值进行优化调整。

当卷积神经网络每迭代2000-3000次后，进行测试。测试单元用于在测试时，将测试图像输入卷积神经网络模型，判断卷积神经网络模型的输出的预测端点坐标信息的准确率；如果准确率低于第一阈值，测试单元向图像获取模块发送重新生成训练图像集的信息。图像获取模块基于重新生成训练图像集的信息，调整预处理方式并进行重新排序，生成新的训练图像集；构建单元基于新的训练图像集，对卷积神经网络模型进行迭代训练；如果输出准确率低于第二阈值且大于第一阈值，继续进行迭代训练；如果准确率大于或等于第二阈值，构建单元输出卷积神经网络诊断模型。

本实施例中第一阈值为30％-40％；第二阈值为70％-80％。具体的，第一阈值为30％，第二阈值为80％。

图像获取模块还用于获取消化道内镜的待诊断图像，将待诊断图像发送至范围划分模块。

范围划分模块用于接收消化道内镜的待诊断图像，基于卷积神经网络模型对待诊断图像进行判断，输出待诊断图像的预测端点的坐标信息；范围划分模块基于预测端点的坐标信息在待诊断图像上绘制目标框。本实施例中,图像获取模块、构建单元、测试单元、范围划分模块采用通用的计算机处理器来运行，例如中央处理器(CPU)和图形处理器(GPU)等。

显示模块用于显示已绘制目标框的待诊断图像。本实施例中，显示模块为显示屏。

实施例二

一种基于深度学习的早期癌病灶范围预测辅助系统,与实施例一的区别在于,构建单元输出卷积神经网络模型时，图像获取模块将调整后的预处理方式标记为有效预处理方式。图像获取模块还用于获取消化道内镜的待诊断图像，通过有效预处理方式对待诊断图像进行预处理，将预处理后的待诊断图像发送至范围划分模块。

通过有效预处理方式对待诊断图像进行预处理，使待诊断图像满足卷积神经网络模型的输入要求，提高识别准确率。

实施例三

一种基于深度学习的早期癌病灶范围预测辅助系统,与实施例二的区别在于,还包括评判模块和环境调节模块；

评判模块用于获取医生绘制有目标框的待诊断图像，将同一待诊断图像中医生绘制的目标框与范围划分模块绘制的目标框进行对比，判断是否一致，如果不一致，评判模块输出请求评判信息；目前卷积神经网络模型还是主要进行辅助诊断，通过双重验证来减少误诊的概率，同时提高医生的诊断效率。

评判模块还用于接收已评判信息；本实施例中已评判信息为医生正确或者卷积神经网络模型正确。当判断信息不一致时，评判模块输出请求评判信息，此时可以是原医生进行自我评判，也可以是其他医生进行第三方的评判，通过评判的步骤，能知晓到底是医生诊断错了，还是卷积神经网络诊断错了。

如果卷积神经网络模型正确，记录该医生的判断错误信息，判断错误信息包括该待诊断图像的癌症类别，以及癌症类别下的形态子类别或浸润深度子类别。

当同一医生对同一形态子类别或浸润深度子类别的判断错误率大于或等于第三阈值时，评判模块输出培训建议信息。第三阈值为1％-5％，本实施例中，具体为2％。此时医生在同一子类别下容易出错，可能是某些判断方法还没有熟练掌握，评判模块输出培训建议信息，可以引起注意，医院也可以安排对该医生进行针对性培训，以提升医生诊断水平。

当同一医生对同一形态子类别或浸润深度子类别的判断错误率超过第四阈值且小于第三阈值时，评判模块向环境调节模块发送环境调节信息。第四阈值为0.4％-0.9％，本实施例中，具体为0.5％。环境调节模块接收到环境调节信息后，对医生所在的诊断室进行环境调节。调节方式为，从图像获取模中获取有效预处理方式中的色彩空间调整和对比度调整；基于色彩空间调整和对比度调整，调节医生所在的诊断室的照明设备的亮度和色温。

由于环境光的影响，可能导致某一形态子类别或浸润深度子类别不容易被人眼观察到，从而造成医生的误诊。如果这样的情况发生了，那表明标准的环境光需要进行调整，而样本图像经过效预处理方式的预处理后，容易让卷积神经网络模型识别；参考有效预处理方式调节照明设备，是为了摆脱人类的惯常思维，让机器的思维来启发人类，让经过机器验证的调节思路应用到对人类的调节上，能拓宽调节的思路。人类的调节思路不一定适合机器，但是人类有判断能力，可以参考机器的调节思路，来达到减少环境光的影响的效果。

环境调节模块还用于根据医生的语音信息调节医生所在的诊断室的照明设备的亮度和色温。当环境调节模块的自动调节不恰当时，医生可以主动介入，使用方便。本实施例中，诊断室的照明设备可以采用智能灯泡，调节的手段可以参考天猫精灵、小度音响或小爱同学等智能音箱对智能灯泡的调节，此处属于现有技术，这里不再赘述。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (9)

1.一种基于深度学习的早期癌病灶范围预测辅助系统，其特征在于，包括：

图像获取模块，用于获取带目标框的消化道内镜的样本图像，对样本图像进行预处理，记录目标框端点的坐标信息，生成训练图像集；样本图像包括早期食道癌、早期胃癌、早期结肠癌中的一种或多种癌症类别；

模型构建模块，用于构建卷积神经网络模型，并基于训练图像集对卷积神经网络模型进行迭代训练，然后进行测试，测试完成后得到训练成功的卷积神经网络模型；

范围划分模块，用于接收消化道内镜的待诊断图像，基于训练成功的卷积神经网络模型对待诊断图像进行判断，输出待诊断图像的预测端点的坐标信息；范围划分模块基于预测端点的坐标信息在待诊断图像上绘制目标框；

显示模块，用于显示已绘制目标框的待诊断图像；

还包括评判模块，评判模块用于获取医生绘制有目标框的待诊断图像，将同一待诊断图像中医生绘制的目标框与范围划分模块绘制的目标框进行对比，判断是否一致，如果不一致，评判模块输出请求评判信息；

评判模块还用于接收已评判信息；已评判信息为医生正确或者卷积神经网络模型正确；

如果卷积神经网络模型正确，记录该医生的判断错误信息，判断错误信息包括该待诊断图像的癌症类别，以及癌症类别下的形态子类别或浸润深度子类别，当同一医生对同一形态子类别或浸润深度子类别的判断错误率大于或等于第三阈值时，评判模块输出培训建议信息；

还包括环境调节模块，当同一医生对同一形态子类别或浸润深度子类别的判断错误率超过第四阈值且小于第三阈值时，评判模块向环境调节模块发送环境调节信息，环境调节模块接收到环境调节信息后，对医生所在的诊断室进行环境调节。

2.根据权利要求1所述的基于深度学习的早期癌病灶范围预测辅助系统，其特征在于：所述卷积神经网络模型包括卷积层、池化层、全连接层；其中卷积层的数量为7-20个，全连接层的数量为1-10个。

3.根据权利要求2所述的基于深度学习的早期癌病灶范围预测辅助系统，其特征在于：所述模型构建模块还包括构建单元、存储单元和测试单元，存储单元中预存有消化道内镜的测试图像，测试单元用于在测试时，将测试图像输入卷积神经网络模型，判断卷积神经网络诊断模型的输出准确率，如果输出准确率低于第一阈值，测试单元向图像获取模块发送重新生成训练图像集的信息；

图像获取模块基于重新生成训练图像集的信息，调整预处理方式，生成新的训练图像集；构建单元基于新的训练图像集，对卷积神经网络模型进行迭代训练。

4.根据权利要求3所述的基于深度学习的早期癌病灶范围预测辅助系统，其特征在于：所述预处理包括裁切、旋转、拉伸、平移、色彩空间调整、对比度调整中的一种或多种。

5.根据权利要求3所述的基于深度学习的早期癌病灶范围预测辅助系统，其特征在于：所述卷积神经网络模型每迭代2000-3000次后，进行测试。

6.根据权利要求3所述的基于深度学习的早期癌病灶范围预测辅助系统，其特征在于：所述测试单元判断诊断模块的输出准确率时，如果输出准确率大于第一阈值且低于第二阈值，继续进行迭代训练。

7.根据权利要求6所述的基于深度学习的早期癌病灶范围预测辅助系统，其特征在于：所述测试单元判断卷积神经网络模型的输出准确率时，如果准确率大于或等于第二阈值，构建单元输出卷积神经网络模型，图像获取模块将调整后的预处理方式标记为有效预处理方式。

8.根据权利要求7所述的基于深度学习的早期癌病灶范围预测辅助系统，其特征在于：所述图像获取模块还用于获取消化道内镜的待诊断图像，通过有效预处理方式对待诊断图像进行预处理，将预处理后的待诊断图像发送至范围划分模块。

9.根据权利要求1所述的基于深度学习的早期癌病灶范围预测辅助系统，其特征在于：所述目标框为矩形框，预测端点的数量为四。

Images