CN110956621A - 一种基于神经网络的组织癌变的检测方法及系统 - Google Patents

Abstract

本发明的一种基于神经网络的组织癌变的检测方法及系统，可解决现有的针对组织癌变检测的方法判断过程繁琐且误差较大的技术问题。包括以下步骤：获取图像数据，确定数据集；在数据集中确定先验知识注意力蒙版的设定；基于先验知识注意力蒙版，构建神经网络模型；对图像进行正则化处理；基于神经网络模型，使用训练数据为学习素材，手工标签作为学习目标，利用反向传播的方式对网络中的可训练参数进行训练，得到最终训练好的模型；以经过正则化处理的图像作为输入，经过训练好的神经网络模型输出，得到最终的检测结果。本发明通过注意力机制，更好的在组织切片的图像中，利用周围组织作为参考，提高对判断一小块组织切片是否患有癌症的准确率。

Description

一种基于神经网络的组织癌变的检测方法及系统

技术领域

本发明涉及神经网络应用技术领域，具体涉及一种基于神经网络的组织癌变的检测方法及系统。

背景技术

整张组织切片图像的尺寸非常的大，通常有几十万乘几十万的像素的大小。因为其尺寸过于巨大，为了判断整个组织切片患有癌症的位置，工程上通常将大块的组织切片裁剪为很多的很小的矩形，判断小的矩形是否是癌变组织，再将局部的结果拼接到一起得到整张切片患有癌症的区域。

在裁剪下来的小的矩形组织中，因为只能看到局部的信息，有时候没有办法很准确的判断小的矩形的裁剪局部是否患有癌症；并且在拼接的时候，因为相互之前没有重合，会使得拼接后的结果不连续。为了更好的解决这个问题，现在，在裁剪小的矩形的时候通常会比需要的更大，将周围的组织也囊括到这张裁剪的矩形中作为参考。当中间的区域是癌变组织的时候，整张裁剪的图就被标记为癌变，不论周围组织是否癌变，同理，当中间区域是健康组织的时候，整张裁剪的图就被标记为健康，不论周围组织是否癌变，即周围的组织只是起到参考的作用。

因为神经网络的分类方法还是一个“黑盒子”，即人们很难干预其学习的过程，也很难将上述的规则硬性的融入到神经网络的算法中，因此，神经网络很难理解周围组织和中间组织对于判断局部切片是否癌变的地位，从而产生误判。

相似方案：

1）不考虑周围区域对于判断带来的影响，直接通过神经网络对整张小切片进行判断。

2）分步判断，判断中间部分，或者将中间区域填充判断周围部分。然后通过综合周围组织和中间区域的结果得到最终的诊断。

发明内容

本发明提出的一种基于神经网络的组织癌变的检测方法及系统，可解决现有的针对组织癌变检测的方法判断过程繁琐且误差较大的技术问题。

为实现上述目的，本发明采用了以下技术方案：

一种基于神经网络的组织癌变的检测方法，包括：

包括以下步骤：

S100、获取图像数据，确定数据集；

S200、在数据集中确定待检测图像的中间组织和周围参考组织的范围，通过范围确定先验知识注意力蒙版的设定；

S300、基于步骤S200的先验知识注意力蒙版，构建神经网络模型；

S400、对步骤S100中的图像进行正则化处理，作为训练数据；

S500、基于步骤S300的神经网络模型，使用步骤S400的训练数据为学习素材，手工标签作为学习目标，利用反向传播的方式对网络中的可训练参数进行训练，得到最终训练好的模型；

S600、以经过正则化处理的图像作为输入，经过训练好的神经网络模型输出，得到最终的检测结果。

进一步的，所述步骤S200中先验知识注意力蒙版的大小和原图像的大小保持一致，蒙版中各个像素点的权重大小为0到1之间，中间组织对应的权重为1，周围组织对应的蒙版中，从中间到两边满足高斯分布，其中最靠近中间的部分权重为1，最靠近边上的权重为0。

进一步的，所述S300、基于步骤S200的先验知识注意力蒙版，构建神经网络模型；

具体步骤包括：

输入的图像首先经过一层卷积操作之后进入规则融合密集连接模块，输出经过池化操作，再进入自适应密集连接模块，重复一次之后，经过池化在经过密集连接模块，再重复一次，最后得到预测的结果。

进一步的，所述S300还包括：

在自适应密集练级模块中，输入的特征经过一个小的密集连接模块之后，进入两个分支，一个分支是密集连接模块用于特征的提取，一部分经过卷积，池化，反卷积生成蒙版，二者结果的乘积再和提取的特征加和得到输出，该输出经过两层卷积操作便得到该模块的输出结果。

进一步的，所述S300还包括：

规则融合密集连接模块在自适应密集连接模块的基础上，再用先验知识注意力蒙版和提取到的特征做乘积，散着的加和再经过两层卷积作为最终的输出结果。

进一步的，所述步骤S400中的对图像进行正则化处理，是将图像正则化为均值为0，方差为1的矩阵。

另一方面，本发明的一种基于神经网络的组织癌变的检测系统，还包括以下模块：

数据获取单元，用于获取图像数据，确定数据集；

蒙版设定单元，用于在数据集中确定待检测图像的中间组织和周围参考组织的范围，通过范围确定先验知识注意力蒙版的设定；

模型构建单元，用于基于预先设定的先验知识注意力蒙版，构建神经网络模型；

数据预处理单元，用于对获取的图像进行正则化处理，作为训练数据；

模型训练单元，用于基于构建好的神经网络模型，使用训练数据为学习素材，手工标签作为学习目标，利用反向传播的方式对网络中的可训练参数进行训练，得到最终训练好的模型；

数据检测单元，用于以经过正则化处理的图像作为输入，经过训练好的神经网络模型输出，得到最终的检测结果。

进一步的，所述蒙版设定单元确定的先验知识注意力蒙版的大小和原图像的大小保持一致，蒙版中各个像素点的权重大小为0到1之间，中间组织对应的权重为1，周围组织对应的蒙版中，从中间到两边满足高斯分布，其中最靠近中间的部分权重为1，最靠近边上的权重为0。

根据权利要求7所述的一种基于神经网络的组织癌变的检测系统，其特征在于：所述模型构建单元，具体构建步骤包括：

输入的图像首先经过一层卷积操作之后进入规则融合密集连接模块，输出经过池化操作，再进入自适应密集连接模块，重复一次之后，经过池化在经过密集连接模块，再重复一次，最后得到预测的结果。

进一步的，所述模型构建单元，具体构建步骤还包括：

在自适应密集练级模块中，输入的特征经过一个小的密集连接模块之后，进入两个分支，一个分支是密集连接模块用于特征的提取，一部分经过卷积，池化，反卷积生成蒙版，二者结果的乘积再和提取的特征加和得到输出，该输出经过两层卷积操作便得到该模块的输出结果；

规则融合密集连接模块在自适应密集连接模块的基础上，再用先验知识注意力蒙版和提取到的特征做乘积，散着的加和再经过两层卷积作为最终的输出结果。

由上述技术方案可知，本发明的基于神经网络的组织癌变的检测方法及系统基于一种新型的神经网络，通过注意力机制，更好的在组织切片的图像中，利用周围组织作为参考，提高对判断一小块组织切片是否患有癌症的准确率。

本发明设计了一个神经网络结构用于组织癌变的检测。为了增加网络对于癌变组织的识别能力，将注意力机制融入到了密集连接模块当中。同时为了使方法能够参考周围组织的信息，同时更加注重中心区域，设计并实现了将先验知识注意力蒙版加入到网络中的方法，用有先验知识的注意力蒙版调节局部的注意力，从而让注意力更多的集中在中间区域，减小周围组织的权重。

附图说明

图1是本发明方法的流程图；

图2为本发明的整个神经网络的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

如图1所示，本实施例所述的基于神经网络的组织癌变的检测方法，包括：

S100、获取图像数据，确定数据集；

S200、在数据集中确定待检测图像的中间组织和周围参考组织的范围，通过范围确定先验知识注意力蒙版的设定；

S300、基于步骤S200的先验知识注意力蒙版，构建神经网络模型；

S400、对步骤S100中的图像进行正则化处理，作为训练数据；

S500、基于步骤S300的神经网络模型，使用步骤S400的训练数据为学习素材，手工标签作为学习目标，利用反向传播的方式对网络中的可训练参数进行训练，得到最终训练好的模型；

S600、以经过正则化处理的图像作为输入，经过训练好的神经网络模型输出，得到最终的检测结果。

以下具体说明：

图2a)为整个神经网络的结构图，其中，规则融合密集连接模块和自适应密集连接模块的结构如2b)和2c)所示。

S200、在数据集中确定待检测图像的中间组织和周围参考组织的范围，通过范围确定先验知识注意力蒙版的设定；

其中，先验知识注意力蒙版的大小和原图像的大小保持一致，蒙版中各个像素点的权重大小为0到1之间，中间组织对应的权重为1，周围组织对应的蒙版中，从中间到两边满足高斯分布，其中最靠近中间的部分权重为1，最靠近边上的权重为0。

图2中蒙版图示白色的区域为1，黑色部分为0，灰色部分介于0和1中间。例如在边长为96，其中中心32×32像素的区域为中心区域，其余位置为周围参考组织的图像中，权重的计算方法如公式： Norm((d-16)/32|μ,σ^2),其中Norm表示高斯分布，μ为均值，σ为标准差。d = max(dx,dy), 代表偏离中间的距离，其中dx为在x轴偏离中心的距离，dy代表在y轴上偏离中心的距离。

S300、基于步骤S200的先验知识注意力蒙版，构建神经网络模型；其中网络模型的结构如图2所示，其中输入的图像首先经过一层卷积操作之后进入规则融合密集连接模块，输出经过池化操作，再进入自适应密集连接模块，重复一次之后。经过池化在经过密集连接模块，再重复一次，最后得到预测的结果。在自适应密集练级模块中，输入的特征经过一个小的密集连接模块之后，进入两个分支，一个分支是密集连接模块用于特征的提取，一部分经过卷积，池化，反卷积生成蒙版，二者结果的乘积再和提取的特征加和得到输出，该输出经过两层卷积操作便得到该模块的输出结果。规则融合密集连接模块在自适应密集连接模块的基础上，再用先验知识注意力蒙版和提取到的特征做乘积，散着的加和再经过两层卷积作为最终的输出结果。

S400、对步骤S100中的图像进行正则化处理，作为训练数据；

图像的正则化能更好的训练神经网络，预处理的方法是将图像正则化为均值为0，方差为1的矩阵。

S500、即对神经网络的训练；在构建好的模型中，以训练数据作为学习素材，手工标签作为学习目标，利用反向传播的方式对网络中的可训练参数进行训练，得到最终训练好的模型。

S600、癌症检测。以经过正则化的图像作为输入，经过训练好的神经网络模型之后，便可得到最终的检测结果。

在实际应用中，模型应该已经构建和训练完毕，只需要重复上述最后一步，将经过正则化的图像作为输入，使其经过训练好的神经网络模型，最终得到的就是预测的结果。

综上所述，本发明实施例在用小块图像检测癌症的问题上能达到更准确的结果。

另一方面本发明实施例还公开一种基于神经网络的组织癌变的检测系统，还包括以下模块：

数据获取单元，用于获取图像数据，确定数据集；

蒙版设定单元，用于在数据集中确定待检测图像的中间组织和周围参考组织的范围，通过范围确定先验知识注意力蒙版的设定；

模型构建单元，用于基于预先设定的先验知识注意力蒙版，构建神经网络模型；

数据预处理单元，用于对获取的图像进行正则化处理，作为训练数据；

模型训练单元，用于基于构建好的神经网络模型，使用训练数据为学习素材，手工标签作为学习目标，利用反向传播的方式对网络中的可训练参数进行训练，得到最终训练好的模型；

数据检测单元，用于以经过正则化处理的图像作为输入，经过训练好的神经网络模型输出，得到最终的检测结果。

进一步的，所述蒙版设定单元确定的先验知识注意力蒙版的大小和原图像的大小保持一致，蒙版中各个像素点的权重大小为0到1之间，中间组织对应的权重为1，周围组织对应的蒙版中，从中间到两边满足高斯分布，其中最靠近中间的部分权重为1，最靠近边上的权重为0。

进一步的，所述模型构建单元，具体构建步骤包括：

输入的图像首先经过一层卷积操作之后进入规则融合密集连接模块，输出经过池化操作，再进入自适应密集连接模块，重复一次之后，经过池化在经过密集连接模块，再重复一次，最后得到预测的结果。

进一步的，所述模型构建单元，具体构建步骤还包括：

在自适应密集练级模块中，输入的特征经过一个小的密集连接模块之后，进入两个分支，一个分支是密集连接模块用于特征的提取，一部分经过卷积，池化，反卷积生成蒙版，二者结果的乘积再和提取的特征加和得到输出，该输出经过两层卷积操作便得到该模块的输出结果；

规则融合密集连接模块在自适应密集连接模块的基础上，再用先验知识注意力蒙版和提取到的特征做乘积，散着的加和再经过两层卷积作为最终的输出结果。

可理解的是，本发明实施例提供的系统与本发明实施例提供的方法相对应，相关内容的解释、举例和有益效果可以参考上述方法中的相应部分。

本申请实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信，

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述神经网络的组织癌变的检测方法，所述方法包括以下步骤：

S100、获取图像数据，确定数据集；

S200、在数据集中确定待检测图像的中间组织和周围参考组织的范围，通过范围确定先验知识注意力蒙版的设定；

S300、基于步骤S200的先验知识注意力蒙版，构建神经网络模型；

S400、对步骤S100中的图像进行正则化处理，作为训练数据；

S500、基于步骤S300的神经网络模型，使用步骤S400的训练数据为学习素材，手工标签作为学习目标，利用反向传播的方式对网络中的可训练参数进行训练，得到最终训练好的模型；

S600、以经过正则化处理的图像作为输入，经过训练好的神经网络模型输出，得到最终的检测结果。

上述电子设备提到的通信总线可以是外设部件互连标准（英文：PeripheralComponent Interconnect，简称：PCI）总线或扩展工业标准结构（英文：Extended IndustryStandard Architecture，简称：EISA）总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，一般仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器（英文：Random Access Memory，简称：RAM），也可以包括非易失性存储器（英文：Non-Volatile Memory，简称：NVM），例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器（英文：Central ProcessingUnit，简称：CPU）、网络处理器（英文：Network Processor，简称：NP）等；还可以是数字信号处理器（英文：Digital Signal Processing，简称：DSP）、专用集成电路（英文：ApplicationSpecific Integrated Circuit，简称：ASIC）、现场可编程门阵列（英文：Field-Programmable Gate Array，简称：FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一神经网络的组织癌变的检测方法的步骤。

在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一神经网络的组织癌变的检测方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质（例如固态硬盘Solid State Disk (SSD)）等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于神经网络的组织癌变的检测方法，其特征在于：包括以下步骤：

S100、获取图像数据，确定数据集；

S200、在数据集中确定待检测图像的中间组织和周围参考组织的范围，通过范围确定先验知识注意力蒙版的设定；

S300、基于步骤S200的先验知识注意力蒙版，构建神经网络模型；

S400、对步骤S100中的图像进行正则化处理，作为训练数据；

S500、基于步骤S300的神经网络模型，使用步骤S400的训练数据为学习素材，手工标签作为学习目标，利用反向传播的方式对网络中的可训练参数进行训练，得到最终训练好的模型；

S600、以经过正则化处理的图像作为输入，经过训练好的神经网络模型输出，得到最终的检测结果。

2.根据权利要求1所述的基于神经网络的组织癌变的检测方法，其特征在于：所述步骤S200中先验知识注意力蒙版的大小和原图像的大小保持一致，蒙版中各个像素点的权重大小为0到1之间，中间组织对应的权重为1，周围组织对应的蒙版中，从中间到两边满足高斯分布，其中最靠近中间的部分权重为1，最靠近边上的权重为0。

3.根据权利要求1所述的基于神经网络的组织癌变的检测方法，其特征在于：所述S300、基于步骤S200的先验知识注意力蒙版，构建神经网络模型；

具体步骤包括：

输入的图像首先经过一层卷积操作之后进入规则融合密集连接模块，输出经过池化操作，再进入自适应密集连接模块，重复一次之后，经过池化在经过密集连接模块，再重复一次，最后得到预测的结果。

4.根据权利要求3所述的基于神经网络的组织癌变的检测方法，其特征在于：所述S300还包括：

在自适应密集练级模块中，输入的特征经过一个小的密集连接模块之后，进入两个分支，一个分支是密集连接模块用于特征的提取，一部分经过卷积，池化，反卷积生成蒙版，二者结果的乘积再和提取的特征加和得到输出，该输出经过两层卷积操作便得到该模块的输出结果。

5.根据权利要求3所述的基于神经网络的组织癌变的检测方法，其特征在于：所述S300还包括：

规则融合密集连接模块在自适应密集连接模块的基础上，再用先验知识注意力蒙版和提取到的特征做乘积，散着的加和再经过两层卷积作为最终的输出结果。

6.根据权利要求1所述的基于神经网络的组织癌变的检测方法，其特征在于：

所述步骤S400中的对图像进行正则化处理，是将图像正则化为均值为0，方差为1的矩阵。

7.一种基于神经网络的组织癌变的检测系统，其特征在于：包括以下模块：

数据获取单元，用于获取图像数据，确定数据集；

蒙版设定单元，用于在数据集中确定待检测图像的中间组织和周围参考组织的范围，通过范围确定先验知识注意力蒙版的设定；

模型构建单元，用于基于预先设定的先验知识注意力蒙版，构建神经网络模型；

数据预处理单元，用于对获取的图像进行正则化处理，作为训练数据；

模型训练单元，用于基于构建好的神经网络模型，使用训练数据为学习素材，手工标签作为学习目标，利用反向传播的方式对网络中的可训练参数进行训练，得到最终训练好的模型；

数据检测单元，用于以经过正则化处理的图像作为输入，经过训练好的神经网络模型输出，得到最终的检测结果。

8.根据权利要求7所述的一种基于神经网络的组织癌变的检测系统，其特征在于：所述蒙版设定单元确定的先验知识注意力蒙版的大小和原图像的大小保持一致，蒙版中各个像素点的权重大小为0到1之间，中间组织对应的权重为1，周围组织对应的蒙版中，从中间到两边满足高斯分布，其中最靠近中间的部分权重为1，最靠近边上的权重为0。

9.根据权利要求7所述的一种基于神经网络的组织癌变的检测系统，其特征在于：所述模型构建单元，具体构建步骤包括：

输入的图像首先经过一层卷积操作之后进入规则融合密集连接模块，输出经过池化操作，再进入自适应密集连接模块，重复一次之后，经过池化在经过密集连接模块，再重复一次，最后得到预测的结果。

10.根据权利要求9所述的一种基于神经网络的组织癌变的检测系统，其特征在于：所述模型构建单元，具体构建步骤还包括：

在自适应密集练级模块中，输入的特征经过一个小的密集连接模块之后，进入两个分支，一个分支是密集连接模块用于特征的提取，一部分经过卷积，池化，反卷积生成蒙版，二者结果的乘积再和提取的特征加和得到输出，该输出经过两层卷积操作便得到该模块的输出结果；

规则融合密集连接模块在自适应密集连接模块的基础上，再用先验知识注意力蒙版和提取到的特征做乘积，散着的加和再经过两层卷积作为最终的输出结果。

Images