CN110689525A - 基于神经网络识别淋巴结的方法及装置 - Google Patents

Abstract

本发明公开了基于神经网络识别淋巴结的方法及装置。涉及数字图像处理领域，其中，方法通过获取待检测病理图像，然后搭建神经网络检测模型，并利用训练样本集进行神经网络检测模型训练，将待检测病理图像输入到训练后的神经网络检测模型，预测每个像素是淋巴/背景的概率，选择概率大的作为类标签得到预测结果，其中预测结果为表示为二值图像的淋巴结区域掩码。克服了现有技术中识别算法抗噪性差及鲁棒性差等问题，根据优化后的神经网络检测模型和输入的检测图像产生对淋巴结区域掩码，能够更加接近医生实际诊断过程，从而能够提高判断的准确率，同时减轻医生的负担，节约了时间成本和人工成本，为淋巴结中肿瘤识别等后续问题奠定了基础。

Description

基于神经网络识别淋巴结的方法及装置

技术领域

本发明涉及数字图像处理领域，尤其是一种基于神经网络识别淋巴结的方法及装置。

背景技术

淋巴结转移是肿瘤最常见的转移方式，一般浸润的肿瘤细胞脱离原始肿瘤，附着在淋巴管或血管的外壁上；然后，它们穿过血管壁，随着血液或淋巴液流到新的器官或淋巴结，并以此为中心生长出同样的肿瘤。未转移的癌症通常更容易治疗，并且生存前景更好，而已经扩散到远离原发性癌症更可能需要额外的化疗或放射治疗。研究表明，确定转移淋巴结的数量可以提高患者预后的预测效率。

阴性淋巴结计数已被越来越多地认为是与肿瘤预后显着相关的重要因素，因此识别淋巴结对于肿瘤治疗至关重要，然而医生在短期内阅读大量组织病理图像，可能会导致由疲劳而产生的诊断准确率下降，同时人工诊断过程还存在工作量大、主观性强以及效率低等问题。因此，由计算机通过人工智能算法实现自动阅片变得极其需要。随着计算机硬件和算法的飞跃式发展，以深度学习为核心的人工智能技术在医疗卫生领域得到了广泛应用。

机器学习中有很多传统的图像分割算法可用于进行病理图像识别，如基于阈值的分割方法(直方图双峰法、大津法等)、基于边缘的分割方法(Canny边缘检测器、Harris角点检测器等)、基于区域的分割方法(分水岭法等)以及基于能量泛函的分割方法(CLM有约束的局部模型等)，但是这些传统的图像分割算法普遍存在抗噪性差及鲁棒性差等问题，并且由于淋巴结具有肿瘤异质性，即不同患者或同一患者体内不同部位肿瘤细胞间从基因型到表型都存在差异，同时淋巴结中存在类似脂肪细胞的肿瘤细胞以及颜色相似的组织与淋巴结相连的问题，因此需要提出一种能够提高淋巴结识别准确率的基于神经网络识别淋巴结的方法。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的目的是提供一种能够提高淋巴结识别准确率的基于神经网络识别淋巴结的方法。

本发明所采用的技术方案是：

第一方面，本发明提供一种基于神经网络识别淋巴结的方法，包括：

获取待检测病理图像，所述待检测病理图像为H&E组织病理图像；

将所述待检测病理图像输入到训练后的神经网络检测模型，预测每个像素是淋巴/背景的概率，选择概率大的作为类标签得到预测结果，所述预测结果表示为二值图像的淋巴结区域掩码。

进一步地，所述神经网络检测模型为卷积神经网络模型，具体结构为U-net网络结构，所述U-net网络结构包括10个卷积层组、4个池化层和4个上采样层组，卷积核大小为3x3，卷积层激活函数为ReLU激活函数，输出激活函数为Sigmoid激活函数，损失函数为交叉熵损失函数。

进一步地，还包括利用训练样本集进行所述神经网络检测模型训练，训练所述神经网络检测模型的过程包括：

获取大量病理图像样本进行图像预处理形成训练样本集，所述训练样本集包括：病理图像和对应的标签掩码；

通过特征提取从病理图像中提取语义特征形成语义特征图；

根据所述语义特征图得到输出分割图，结合所述标签掩码计算像素损失，通过反向传播优化模型参数。

进一步地，所述图像预处理包括：

将病理图像样本进行压缩得到预设尺寸病理图像；

生成对应大小的标签掩码；

对所述预设尺寸病理图像和所述标签掩码进行图像数据处理。

进一步地，所述图像数据处理包括：裁剪、调整尺寸、旋转、翻转。

进一步地，所述U-net网络结构还包括跳跃连接。

进一步地，还包括对经过图像预处理的图像进行灰度归一化处理。

第二方面，本发明还提供一种基于神经网络识别淋巴结的装置，包括：

获取模块：用于获取待检测病理图像，所述待检测病理图像为H&E组织病理图像；

预测模块：用于将所述待检测病理图像输入到训练后的神经网络检测模型，预测每个像素是淋巴/背景的概率，选择概率大的作为类标签得到预测结果，所述预测结果表示为二值图像的淋巴结区域掩码。

第三方面，本发明提供一种基于神经网络识别淋巴结的设备，包括：

至少一个处理器，以及与所述至少一个处理器通信连接的存储器；

其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如第一方面任一项所述的方法。

第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面任一项所述的方法。

本发明的有益效果是：

本发明通过获取待检测病理图像，然后搭建神经网络检测模型，并利用训练样本集进行神经网络检测模型训练，将待检测病理图像输入到训练后的神经网络检测模型，预测每个像素是淋巴/背景的概率，选择概率大的作为类标签得到预测结果，其中预测结果为表示为二值图像的淋巴结区域掩码。克服了现有技术中识别算法抗噪性差及鲁棒性差等问题，根据优化后的神经网络检测模型和输入的检测图像产生对淋巴结区域掩码，能够更加接近医生实际诊断过程，从而能够提高判断的准确率，同时减轻医生的负担，节约了时间成本和人工成本，为淋巴结中肿瘤识别等后续问题奠定了基础，可广泛应用于肿瘤病例识别领域。

附图说明

图1是本发明中基于神经网络识别淋巴结方法的一具体实施例的实现流程图；

图2是本发明中基于神经网络识别淋巴结方法的一具体实施例的训练神经网络检测模型过程示意图；

图3是本发明中基于神经网络识别淋巴结装置的一具体实施例的结构框图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

实施例一：

本发明实施例一提供一种基于神经网络识别淋巴结的方法，图1为本发明实施例提供的一种基于神经网络识别淋巴结的方法的实现流程图，如图1所示，该方法包括以下步骤：

S1：获取待检测病理图像，本实施例中，待检测病理图像为H&E组织病理图像，H&E即苏木精-伊红染色法，H&E组织病理图像是通过H&E石蜡切片技术进行染色得到的病理组织切片，然后使用高分辨率的整体切片扫描设备，将病理切片扫描成数字化的tiff格式的组织病理图像，实现对病理图像肿瘤区域进行观察和标注。

S2：搭建神经网络检测模型，并利用训练样本集进行神经网络检测模型训练；

S3：进行淋巴结识别结果预测，具体为：将待检测病理图像输入到训练后的神经网络检测模型，预测每个像素是淋巴/背景的概率，选择概率大的作为类标签得到预测结果，预测结果为表示为二值图像的淋巴结区域掩码。

具体的，步骤S2中，神经网络检测模型为卷积神经网络模型，由于卷积神经网络兼具权值共享和局部感受野的优点，因此，能够极大地减小参数的训练难度，同时提高处理速度和节约硬件开销。

如图2所示，为本实施例训练神经网络检测模型过程示意图，包括：

S21：获取大量病理图像样本进行图像预处理形成训练样本集，训练样本集包括：病理图像和对应的标签掩码；

S22：通过特征提取从病理图像中提取语义特征形成语义特征图；

S23：根据语义特征图得到输出分割图，结合标签掩码计算像素损失，通过反向传播优化模型参数。

步骤S21中，图像预处理具体包括步骤：

S211：将病理图像样本进行压缩得到预设尺寸病理图像，即将原始tiff病理图像缩小到一定尺寸，例如将高分辨率的原始tiff病理图像缩小40倍，得到40倍下采样后的图像。

S212：生成对应大小的标签掩码，一种可选的方式为：根据先验信息进行标签标记，将淋巴结轮廓坐标画在上述40倍缩放后的预设尺寸病理图像中，在标记的淋巴结轮廓内部填充为白色，标记外部填充为黑色，生成的掩码图像为二值图像。

S213：对预设尺寸病理图像和标签掩码进行图像数据处理，图像数据处理包括：裁剪、调整尺寸、旋转、翻转以及归一化处理和灰度化处理。可选的是，将上述预设尺寸病理图像和标签掩码进行统一裁剪，例如调整尺寸成700x700固定大小，也可以使用随机裁剪、旋转、翻转等方法进行数据增强。通过对图像及标签进行有效的图像预处理，能够提高后续神经网络预测模型对图像特征提取的准确度，从而改善对图像分割的判断效果。

由于训练样本集中病理切片可能是不同时间采集于不同医院的病理图像样本，由于不同的染色技术使得切片在染色方面存在很大差异，因此，可选的是，为了避免染色变化对模型训练结果的影响，在生成训练数据集阶段对样本数据进行灰度归一化处理，将图像的像素灰度值归一化在0-255之间。

步骤S22中，特征提取即语义分割过程，用于从组织病理图像中提取特征，获得高级语义特征图，具体的，语义分割的输入是一个原始灰度图像，其输出不是简单的分类类别或目标定位，而是带有各个像素类别标签的与输入同分辨率的分割图像，简单地说，输入输出都是同样大小的图像。对于语义分割过程来说需要将逐渐变小的特征图给还原到输入图像的大小。为了实现上述目标，采用编码和解码的网络结构，将多层卷积和池化的过程视作图像编码过程，即不断的下采样的过程，而解码为编码的逆运算，即对编码的输出特征图进行不断的上采样逐渐得到一个与原始输入大小一致的全分辨率的分割图，即高级语义分割图。

进一步地，本实施例选择一种适合医学影像分割的卷积神经网络U-Net网络作为基础进行神经网络检测模型搭建，U-Net具有编码器-解码器结构。编码器逐层增加图像的空间维度，解码器逐层对特征图进行反卷积降低空间维度。编码器和解码器之间存在快捷连接，因此解码器能够更好地修复目标的细节。具体的，U-net网络结构包括：10个卷积层组、4个池化层和4个上采样层组，卷积核大小为3x3，卷积层激活函数为ReLU激活函数，输出激活函数为Sigmoid激活函数，损失函数为交叉熵损失函数。如下表1所示，为本实施例U-net网络结构示意表。

从上表可知，本实施例中首先进行卷积+池化进行下采样，MaxPooling步长为2，其后紧接着一个ReLU激活函数，然后反卷积操作进行上采样，结合之前的低层特征图，融合底层特征，再次上采样，多次重复这个过程，直到获得输出700x700x2的特征图，上采样是对将特征提取之后获得高级语义特征图恢复到原组织病理图像的分辨率，其中设置crop层是因为每次卷积都会丢失图像边缘，所以需要进行裁剪，最后的1x1卷积层，用来将元素映射到一个类标签，即本实施例中，预测每个像素是淋巴/背景的概率时，选择概率大的作为类标签得到预测结果。

训练过程中，将经过下采样700x700大小的灰度图像以及对应的标签掩码作为输入图像，输入神经网络预测模型中，神经网络预测模型使用连续的卷积池化等操作对输入图像进行下采样提取特征，并通过编码器和解码器逐层提取语义信息，使模型提取丰富的特征。

进一步地，U-net网络结构还包括跳跃连接，通过跳连方式连接结合低级语义特征和高级语义特征，使模型对病理图像纹理和其他识别信息更敏感。由于U-net能够提取低级别/中级别/高级别的特征，因此网络的层数越多，意味着能够提取到不同级别的特征越丰富，越深的网络提取的特征越抽象，越具有实际信息。不同层所对应的不同尺度的特征得到融合，保证融合更多底层特征以及更加精细的边缘信息，采用较浅的层用来解决像素定位的问题，而较深的层用来解决像素分类的问题。

进一步地，本实施例使用二分类交叉熵损失函数以及随机梯度下降法SGD对损失函数求解最优值，可选的实施方式中，动量设置为0.9，权重衰减为1e-4，训练期间的批大小设置为32，同时，初始学习率设置为0.001，在总迭代次数的20％后衰减为原来的二分之一,40％后为原来的八分之一,60％后为原来的十六分之一，80％后为原来的三十二分之一，将训练过程重复12,000次，获得参数最优的神经网络预测模型。

步骤S3中，将经过40倍下采样的待检测病理图像输入到训练后的神经网络检测模型，进行逐像素计算各个像素的损失，预测每个像素是淋巴/背景的概率，选择概率大的作为类标签得到预测结果，预测结果为表示为二值图像的淋巴结区域掩码，可选的，淋巴结区域内部显示为白色，背景为黑色，能够更加接近医生实际诊断过程，从而能够提高判断的准确率。

本实施例通过获取待检测病理图像，然后搭建神经网络检测模型，并利用训练样本集进行神经网络检测模型训练，将待检测病理图像输入到训练后的神经网络检测模型，预测每个像素是淋巴/背景的概率，选择概率大的作为类标签得到预测结果，其中预测结果为表示为二值图像的淋巴结区域掩码。

实施例二：

如图3所示，为本实施例的一种基于神经网络识别淋巴结的装置结构框图，用于执行如实施例一所述的方法，包括：

获取模块10：用于获取待检测病理图像，待检测病理图像为H&E组织病理图像；

预测模块20：用于将待检测病理图像输入到训练后的神经网络检测模型，预测每个像素是淋巴/背景的概率，选择概率大的作为类标签得到预测结果，预测结果表示为二值图像的淋巴结区域掩码。

另外，本发明还提供一种基于神经网络识别淋巴结的设备，包括：

至少一个处理器，以及与所述至少一个处理器通信连接的存储器；

其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如实施例一所述的方法。

另外，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，其中计算机可执行指令用于使计算机执行如实施例一所述的方法。

本发明克服了现有技术中识别算法抗噪性差及鲁棒性差等问题，根据优化后的神经网络检测模型和输入的检测图像产生对淋巴结区域掩码，能够更加接近医生实际诊断过程，从而能够提高判断的准确率，同时减轻医生的负担，节约了时间成本和人工成本，为淋巴结中肿瘤识别等后续问题奠定了基础，可广泛应用于肿瘤病例识别领域。

以上各实施例仅用以说明本发明的技术方案，而非对其限制，尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种基于神经网络识别淋巴结的方法，其特征在于，包括：

获取待检测病理图像，所述待检测病理图像为H&E组织病理图像；

将所述待检测病理图像输入到训练后的神经网络检测模型中，预测每个像素是淋巴/背景的概率，选择概率大的作为类标签得到预测结果，所述预测结果表示为二值图像的淋巴结区域掩码。

2.根据权利要求1所述的一种基于神经网络识别淋巴结的方法，其特征在于，所述神经网络检测模型为卷积神经网络模型，具体结构为U-net网络结构，所述U-net网络结构包括10个卷积层组、4个池化层和4个上采样层组，卷积核大小为3x3，卷积层激活函数为ReLU激活函数，输出激活函数为Sigmoid激活函数，损失函数为交叉熵损失函数。

3.根据权利要求1所述的一种基于神经网络识别淋巴结的方法，其特征在于，还包括利用训练样本集进行所述神经网络检测模型训练，训练所述神经网络检测模型的过程包括：

获取大量病理图像样本进行图像预处理形成训练样本集，所述训练样本集包括：病理图像和对应的标签掩码；

通过特征提取从病理图像中提取语义特征形成语义特征图；

根据所述语义特征图得到输出分割图，结合所述标签掩码计算像素损失，通过反向传播优化模型参数。

4.根据权利要求3所述的一种基于神经网络识别淋巴结的方法，其特征在于，所述图像预处理包括：

将病理图像样本进行压缩得到预设尺寸病理图像；

生成对应大小的标签掩码；

对所述预设尺寸病理图像和所述标签掩码进行图像数据处理。

5.根据权利要求4所述的一种基于神经网络识别淋巴结的方法，其特征在于，所述图像数据处理包括：裁剪、调整尺寸、旋转、翻转。

6.根据权利要求2所述的一种基于神经网络识别淋巴结的方法，其特征在于，所述U-net网络结构还包括跳跃连接。

7.根据权利要求3至6任一项所述的一种基于神经网络识别淋巴结的方法，其特征在于，还包括对经过图像预处理的图像进行灰度归一化处理。

8.一种基于神经网络识别淋巴结的装置，其特征在于，包括：

获取模块：用于获取待检测病理图像，所述待检测病理图像为H&E组织病理图像；

预测模块：用于将所述待检测病理图像输入到训练后的神经网络检测模型，预测每个像素是淋巴/背景的概率，选择概率大的作为类标签得到预测结果，所述预测结果表示为二值图像的淋巴结区域掩码。

9.一种基于神经网络识别淋巴结的设备，其特征在于，包括：

至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；

其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的方法。

Images