CN109472789A - 一种用于皮肤病理图像处理的神经网络训练方法及装置 - Google Patents

Abstract

本发明实施例公开了一种用于皮肤病理图像处理的神经网络训练方法及装置，属于图像处理领域，该方法包括：将至少一个待分割皮肤病理图像输入到待训练用于皮肤病理图像分割的神经网络进行图像分割，得到至少一个训练分割图像，获取每个训练分割图像的各像素的类别标签，获取每个标准分割图像的各像素的类别标签，针对每个训练分割图像，根据该训练分割图像的图像特征与该训练分割图像的标准分割图像的之间各像素的类别标签差异，对所述待训练用于皮肤病理图像分割的神经网络进行训练，得到目标用于皮肤病理图像分割的神经网络，解决了现有技术中不存在用于皮肤病理图像分割的神经网络的问题。

Description

一种用于皮肤病理图像处理的神经网络训练方法及装置

技术领域

本发明涉及图像处理领域，具体涉及一种用于皮肤病理图像处理的神经网络训练方法及装置。

背景技术

实际应用中，需要进行皮肤病理图像分割，得到分割后的图像，用于辅助疾病诊断、图像引导手术以及医学数据可视化等操作。这里所说的皮肤病理图像分割，是指确定出皮肤病理图像中的各组织的区域范围，比如确定出表皮层或真皮层的区域范围。随着病人数量的增加，加之专业病理学医师数量的匮乏，计算机辅助皮肤病理图像分割成为了一个重要的发展方向。

然而，现有技术中，虽然有多种功用的神经网络，但是却不存在用于皮肤病理图像分割的神经网络，因此，目前，亟需解决这一问题，尽快实现分割皮肤病理图像的科技化、现代化。

发明内容

本发明实施例的目的在于提供一种用于皮肤病理图像处理的神经网络训练方法及装置，用以解决现有技术中不存在用于皮肤病理图像处理的神经网络的问题。

为实现上述目的，本发明实施例提供下述技术方案：

本发明实施例提供一种用于皮肤病理图像处理的神经网络训练方法，所述方法包括：

获取至少一个待分割皮肤病理图像以及每个待分割皮肤病理图像的标准分割图像，其中，每个标准分割图像中的各像素被标记出该像素对应的类别标签；

将所述至少一个待分割皮肤病理图像输入到待训练用于皮肤病理图像分割的神经网络进行图像分割，得到至少一个训练分割图像，并将至少一个标准分割图像输入到所述待训练用于皮肤病理图像分割的神经网络，其中，每个训练分割图像中的各像素被标记出该像素对应的类别标签；

针对每个训练分割图像，获取该训练分割图像的各像素的类别标签，并针对所述每个标准分割图像，获取该标准分割图像的各像素的类别标签；

针对所述每个训练分割图像，根据该训练分割图像的图像特征与该训练分割图像的标准分割图像的之间各像素的类别标签差异，对所述待训练用于皮肤病理图像分割的神经网络进行训练，得到目标用于皮肤病理图像分割的神经网络。

进一步的，针对所述每个训练分割图像，根据该训练分割图像的图像特征与该训练分割图像的标准分割图像的之间各像素的类别标签差异，对所述待训练用于皮肤病理图像分割的神经网络进行训练，得到目标神经网络，具体包括：

针对所述每个训练分割图像，根据该训练分割图像与该训练分割图像的标准分割图像之间各像素的类别标签差异，得到所述待训练用于皮肤病理图像分割的神经网络的损失函数的值，根据所述损失函数的值更新所述待训练用于皮肤病理图像分割的神经网络的模型参数。

进一步的，获取至少一个待分割皮肤病理图像以及每个待分割皮肤病理图像的标准分割图像，具体包括：

获取至少一个完整待分割皮肤病理图像，以及每个完整待分割皮肤病理图像的标准分割图像；

针对每个完整待分割皮肤病理图像，采用滑窗的形式，将该完整待分割皮肤病理图像，划分为预设尺寸的至少一个待分割皮肤病理图像；

针对所述每个完整待分割皮肤病理图像的标准分割图像，采用所述滑窗的形式，将该完整待分割皮肤病理图像的标准分割图像，划分为所述预设尺寸的至少一个待分割皮肤病理图像的标准分割图像。

进一步的，所述待训练用于皮肤病理图像分割的神经网络包括卷积部分、反卷积部分和输出部分，所述卷积部分包括至少一层卷积神经网络，每层卷积神经网络包括卷积层、激活层和池化层，所述反卷积部分包括至少一层反卷积神网络，每层反卷积神经网络包括反卷积层和卷积层，所述输出部分包括卷积层和输出层，所述输出层利用分类器输出结果。

进一步的，所述卷积部分包括5层卷积神经网络，所述反卷积部分包括5层反卷积神经网络。

进一步的，所述方法包括：

获取需要分割的皮肤病理图像；

将所述需要分割的皮肤病理图像，输入到所述目标神经网络模型，得到所述需要分割的皮肤病理图像的分割图像。

进一步的，若所述需要分割的皮肤病理图像的尺寸与所述预设尺寸不同，则将所述需要分割的皮肤病理图像，输入到所述目标神经网络模型，得到分割图像，具体包括：

采用所述滑窗的形式，将所述需要分割的皮肤病理图像，划分为预设尺寸的至少一个待处理图像，并记录每个待处理图像在所述需要分割的皮肤病理图像中的位置；

根据所述至少一个待处理图像，并根据所述目标神经网络模型，得到每个待处理图像的分割图像；

按照记录下的每个待处理图像在所述需要分割的皮肤病理图像中的位置，将每个待处理图像的分割图像，拼接为所述需要分割的皮肤病理图像的分割图像。

本发明实施例提供一种用于皮肤病理图像处理的神经网络训练装置，所述装置包括：

获取模块，用于获取至少一个待分割皮肤病理图像以及每个待分割皮肤病理图像的标准分割图像，其中，每个标准分割图像中的各像素被标记出该像素对应的类别标签；

分割模块，用于将所述至少一个待分割皮肤病理图像输入到待训练用于皮肤病理图像分割的神经网络进行图像分割，得到至少一个训练分割图像，并将至少一个标准分割图像输入到所述待训练用于皮肤病理图像分割的神经网络，其中，每个训练分割图像中的各像素被标记出该像素对应的类别标签；

所述获取模块，还用于针对每个训练分割图像，获取该训练分割图像的各像素的类别标签，并针对所述每个标准分割图像，获取该标准分割图像的各像素的类别标签；

所述获取模块，还用于针对所述每个训练分割图像，根据该训练分割图像的图像特征与该训练分割图像的标准分割图像的之间各像素的类别标签差异，对所述待训练用于皮肤病理图像分割的神经网络进行训练，得到目标用于皮肤病理图像分割的神经网络。

本发明实施例具有如下优点：

本发明实施例提供的训练方法，可得到目标用于皮肤病理图像分割的神经网络，解决了现有技术中不存在用于皮肤病理图像分割的神经网络的问题。

附图说明

图1为本发明实施例提供的一种用于皮肤病理图像处理的神经网络训练方法的流程示意图。

图2为本发明实施例提供的需要分割的皮肤病理图像。

图3为本发明实施例提供的需要分割的皮肤病理图像的分割图像。

图4为本发明实施例提供的一种用于皮肤病理图像处理的神经网络训练装置的结构示意图。

图中：获取模块-201，分割模块-202。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、右”、“中间”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

本发明实施例提供一种用于皮肤病理图像处理的神经网络训练方法，该方法的流程示意图可参见图1，该方法包括下述步骤：

步骤101，获取至少一个待分割皮肤病理图像以及每个待分割皮肤病理图像的标准分割图像，其中，每个标准分割图像中的各像素被标记出该像素对应的类别标签。

其中，任一像素对应的类别标签，可为该像素对应的皮肤组织名称或唯一标识信息。皮肤组织名称可为角质层、棘层、基层、真皮层或背景。

一般情况下，训练神经网络的样本越多，最终训练结果越准确，但是实际应用中，由于人工标记皮肤病理图像较为困难，因此标准分割图像的数量较少，为了获取到较多的待分割皮肤病理图像，使得最终得到的目标神经网络较为准确，可根据下述方法获取至少一个待分割皮肤病理图像以及每个待分割皮肤病理图像的标准分割图像：

获取至少一个完整待分割皮肤病理图像，以及每个完整待分割皮肤病理图像的标准分割图像，针对每个完整待分割皮肤病理图像，采用滑窗的形式，将该完整待分割皮肤病理图像，划分为预设尺寸的至少一个待分割皮肤病理图像，针对每个完整待分割皮肤病理图像的标准分割图像，利用滑动窗口，将该完整待分割皮肤病理图像的标准分割图像，划分为预设尺寸的至少一个待分割皮肤病理图像的标准分割图像。滑窗的形式为：在一张X×Y的完整待分割皮肤病理图像上，用一个m×m矩形窗口，从左上角开始，以步长为S开始滑动，每滑动一次就将该窗口内的图像保存为一个小块，一共可以保存为n块，每个小块便为待分割皮肤病理图像。例如，获取一个完整待分割皮肤病理图像，图像大小为1024×1280，采用滑窗的形式，窗口大小为16×16，步长为8开始滑动，保留每次滑动时对应的图像为一个待分割皮肤病理图像。一个完整待分割皮肤病理图像可以划分成19344块32×32的待分割皮肤病理图像。

其中，至少一个待分割皮肤病理图像的数量可为5000、6000或10000等，本发明实施例对此不进行任何限定。

步骤102，将至少一个待分割皮肤病理图像输入到待训练用于皮肤病理图像分割的神经网络进行图像分割，得到至少一个训练分割图像，并将至少一个标准分割图像输入到待训练用于皮肤病理图像分割的神经网络，其中，每个训练分割图像中的各像素被标记出该像素对应的类别标签。

其中，待训练用于皮肤病理图像分割的神经网络包括卷积部分、反卷积部分和输出部分，卷积部分包括至少一层卷积神经网络，每层卷积神经网络包括卷积层、激活层和池化层，反卷积部分包括至少一层反卷积神网络，每层反卷积神经网络包括反卷积层和卷积层，输出部分包括卷积层和输出层，输出层利用分类器输出结果。一种实施场景中，卷积部分可包括5层卷积神经网络，反卷积部分可包括5层反卷积神经网络。

步骤103，针对每个训练分割图像，获取该训练分割图像的各像素的类别标签，并针对每个标准分割图像，获取该标准分割图像的各像素的类别标签。

步骤104，针对每个训练分割图像，根据该训练分割图像的图像特征与该训练分割图像的标准分割图像的之间各像素的类别标签差异，对待训练用于皮肤病理图像分割的神经网络进行训练，得到目标用于皮肤病理图像分割的神经网络。

具体的，可针对每个训练分割图像，根据该训练分割图像与该训练分割图像的标准分割图像之间各像素的类别标签差异，得到待训练用于皮肤病理图像分割的神经网络的损失函数的值，根据损失函数的值更新待训练用于皮肤病理图像分割的神经网络的模型参数。一般情况下，损失函数的值越小，表明神经网络输出结果越准确。可将每次得到的损失函数的值，与预设的值作比较，若这两个值的差值的绝对值小于预设标准值，则根据该损失函数的值更新待训练用于皮肤病理图像分割的神经网络的模型参数。

本发明实施例提供的上述训练方法，可得到目标用于皮肤病理图像分割的神经网络，解决了现有技术中不存在用于皮肤病理图像分割的神经网络的问题。

需要说明的是，在一种实施场景中，上述待训练用于皮肤病理图像分割的神经网络，可以是全卷积神经网络和残差网络相结合的神经网络，具有识别速度快、精度高、鲁棒性好，当输入样本量少时表现良好的特性。

一种实施场景中，还可获取需要分割的皮肤病理图像，将需要分割的皮肤病理图像，输入到目标神经网络模型，得到需要分割的皮肤病理图像的分割图像。

若需要分割的皮肤病理图像的尺寸与预设尺寸不同，则具体的，可采用滑窗的形式，将需要分割的皮肤病理图像，划分为预设尺寸的至少一个待处理图像，并记录每个待处理图像在需要分割的皮肤病理图像中的位置，根据至少一个待处理图像，并根据目标神经网络模型，得到每个待处理图像的分割图像，按照记录下的每个待处理图像在需要分割的皮肤病理图像中的位置，将每个待处理图像的分割图像，拼接为需要分割的皮肤病理图像的分割图像。例如参见图2，图2为需要分割的皮肤病理图像，最终得到的需要分割的皮肤病理图像的分割图像可参见图3，图3中，1为背景，2为角质层，3为棘层4为基层，5为真皮层。

现有技术中，均为人工手动分割皮肤病理图像，效率慢且较容易出错，而本发明实施例中，通过目标神经网络进行皮肤病理图像的分割，提高了分割效率和准确性。

为了使得用户更容易理解本发明实施例提供的方法，下面具体说明如何训练的：

将10张32×32的待分割皮肤病理图像送入待训练用于皮肤病理图像分割的神经网络，待训练用于皮肤病理图像分割的神经网络如表1所示，

表1待训练用于皮肤病理图像分割的神经网络

依次经过：

第一层：输入为(10,32,32,3)，经过激活函数ReLU，标准化，卷积(尺寸为3*3，通道数为3)，ReLU，标准化，卷积(尺寸为3*3，通道数为3)，残差网络Res1。Res1就是将卷积后的结构与输入的图像进行相加，输出为(10,32,32,3)。

其中，上述(10,32,32,3)中的第一个数字为输入的待分割皮肤病理图像的数量，第二和第三个数字，用于表征待分割皮肤病理图像的尺寸，最后一个数字用于表明通道数。后续每个括号中的每个位置的数字表示的含义，与此处相同，下文不再进行解释。另外，这里说的输入(10,32,32,3)，并非真的输入这几个数字，而是输入这几个数字对应的图像和该层对应的通道数。(10,32,32,3)表征输入10张32×32的待分割皮肤病理图像，该层通道数为3。

第二层：输入为(10,32,32,3)。经过ReLU，标准化，卷积(尺寸为3*3，通道数为6)，最大池化，ReLU，卷积(尺寸为3*3，通道数为6)，残差网络Res2。Res2就是先将第一层输出的结果经过双三次插值，改变尺寸大小为16×16，再经过卷积(尺寸为1*1，通道数为6)后，与第二层卷积的结果相加。输出为(10,16,16,6)。

第三层：输入为(10,16,16,6)。经过ReLU，标准化，卷积(尺寸为3*3，通道数为12)，最大池化，ReLU，卷积(尺寸为3*3，通道数为12)，残差网络Res3。Res3就是先将第二层输出的结果经过双三次插值，改变尺寸大小为8×8，再经过卷积(尺寸为1*1，通道数为12)后，与第三层卷积的结果相加。输出为(10,8,8,12)。

第四层：输入为(10,8,8,12)。经过ReLU，标准化，卷积(尺寸为3*3，通道数为24)，最大池化，ReLU，卷积(尺寸为3*3，通道数为24)，残差网络Res4。Res4就是先将第三层输出的结果经过双三次插值，改变尺寸大小为4×4，再经过卷积(尺寸为1*1，通道数为24)后，与第二层卷积的结果相加。输出为(10,4,4,24)。

第五层：输入为(10,4,4,24)。经过ReLU，标准化，卷积(尺寸为3*3，通道数为48)，最大池化，ReLU，卷积(尺寸为3*3，通道数为48)，残差网络Res5。Res5就是先将第三层输出的结果经过双三次插值，改变尺寸大小为2×2，再经过卷积(尺寸为1*1，通道数为48)后，与第二层卷积的结果相加。输出为(10,2,2,48)。

第六层：输入为(10,2,2,48)。经过双三次插值，尺寸变为4×4，再经过卷积(尺寸为3*3，通道数为24)后，与第四层的结果相叠加。输出为(10,4,4,48)。

第七层：输入为(10,4,4,48)。经过双三次插值，尺寸变为8×8，再经过卷积(尺寸为3*3，通道数为12)后，与第三层的结果相叠加。输出为(10,8,8,24)。

第八层：输入为(10,8,8,24)。经过双三次插值，尺寸变为16×16，再经过卷积(尺寸为3*3，通道数为6)后，与第二层的结果相叠加。输出为(10,16,16,12)。

第九层：输入为(10,16,16,12)。经过双三次插值，尺寸变为32×32，再经过卷积(尺寸为3*3，通道数为3)后，与第一层的结果相叠加。输出为(10,32,32,6)。

第十层：输入为(10,32,32,6)。经过双三次插值，没有改变尺寸，再经过卷积(尺寸为3*3，通道数为3)后，与输入原始数据相叠加。输出为(10,32,32,6)。

第十一层：输入为(10,32,32,6)。第十层输出的结果经过卷积(尺寸为3*3，通道数为class_num＝5)，利用softmax分类器，输出结果，获得每一个像素点类别的概率。输出为(10,32,32,5)。

所有运算过程都采用python语言实现，包括卷积、激活函数、池化、标准化、反卷积过程、梯度下降运算以及softmax运算。

经过上述训练方法训练后，可得到用于分割皮肤病理图像的目标神经网络，解决了现有技术中不存在用于分割皮肤病理图像的神经网络的问题。

本发明实施例还提供一种用于皮肤病理图像处理的神经网络训练装置，该装置的结构示意图可参见图4，所述装置包括：

获取模块201，用于获取至少一个待分割皮肤病理图像以及每个待分割皮肤病理图像的标准分割图像，其中，每个标准分割图像中的各像素被标记出该像素对应的类别标签；

分割模块202，用于将所述至少一个待分割皮肤病理图像输入到待训练用于皮肤病理图像分割的神经网络进行图像分割，得到至少一个训练分割图像，并将至少一个标准分割图像输入到所述待训练用于皮肤病理图像分割的神经网络，其中，每个训练分割图像中的各像素被标记出该像素对应的类别标签；

所述获取模块201，还用于针对每个训练分割图像，获取该训练分割图像的各像素的类别标签，并针对所述每个标准分割图像，获取该标准分割图像的各像素的类别标签；

所述获取模块202，还用于针对所述每个训练分割图像，根据该训练分割图像的图像特征与该训练分割图像的标准分割图像的之间各像素的类别标签差异，对所述待训练用于皮肤病理图像分割的神经网络进行训练，得到目标神经网络。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (8)

1.一种用于皮肤病理图像处理的神经网络训练方法，其特征在于，所述方法包括：

获取至少一个待分割皮肤病理图像以及每个待分割皮肤病理图像的标准分割图像，其中，每个标准分割图像中的各像素被标记出该像素对应的类别标签；

将所述至少一个待分割皮肤病理图像输入到待训练用于皮肤病理图像分割的神经网络进行图像分割，得到至少一个训练分割图像，并将至少一个标准分割图像输入到所述待训练用于皮肤病理图像分割的神经网络，其中，每个训练分割图像中的各像素被标记出该像素对应的类别标签；

针对每个训练分割图像，获取该训练分割图像的各像素的类别标签，并针对所述每个标准分割图像，获取该标准分割图像的各像素的类别标签；

针对所述每个训练分割图像，根据该训练分割图像的图像特征与该训练分割图像的标准分割图像的之间各像素的类别标签差异，对所述待训练用于皮肤病理图像分割的神经网络进行训练，得到目标用于皮肤病理图像分割的神经网络。

2.如权利要求1所述的方法，其特征在于，针对所述每个训练分割图像，根据该训练分割图像的图像特征与该训练分割图像的标准分割图像的之间各像素的类别标签差异，对所述待训练用于皮肤病理图像分割的神经网络进行训练，得到目标神经网络，具体包括：

针对所述每个训练分割图像，根据该训练分割图像与该训练分割图像的标准分割图像之间各像素的类别标签差异，得到所述待训练用于皮肤病理图像分割的神经网络的损失函数的值，根据所述损失函数的值更新所述待训练用于皮肤病理图像分割的神经网络的模型参数。

3.如权利要求1所述的方法，其特征在于，获取至少一个待分割皮肤病理图像以及每个待分割皮肤病理图像的标准分割图像，具体包括：

获取至少一个完整待分割皮肤病理图像，以及每个完整待分割皮肤病理图像的标准分割图像；

针对每个完整待分割皮肤病理图像，采用滑窗的形式，将该完整待分割皮肤病理图像，划分为预设尺寸的至少一个待分割皮肤病理图像；

针对所述每个完整待分割皮肤病理图像的标准分割图像，采用所述滑窗的形式，将该完整待分割皮肤病理图像的标准分割图像，划分为所述预设尺寸的至少一个待分割皮肤病理图像的标准分割图像。

4.如权利要求3所述的方法，其特征在于，所述待训练用于皮肤病理图像分割的神经网络包括卷积部分、反卷积部分和输出部分，所述卷积部分包括至少一层卷积神经网络，每层卷积神经网络包括卷积层、激活层和池化层，所述反卷积部分包括至少一层反卷积神网络，每层反卷积神经网络包括反卷积层和卷积层，所述输出部分包括卷积层和输出层，所述输出层利用分类器输出结果。

5.如权利要求4所述的方法，其特征在于，所述卷积部分包括5层卷积神经网络，所述反卷积部分包括5层反卷积神经网络。

6.如权利要求5所述的方法，其特征在于，所述方法包括：

获取需要分割的皮肤病理图像；

将所述需要分割的皮肤病理图像，输入到所述目标神经网络模型，得到所述需要分割的皮肤病理图像的分割图像。

7.如权利要求6所述的方法，其特征在于，若所述需要分割的皮肤病理图像的尺寸与所述预设尺寸不同，则将所述需要分割的皮肤病理图像，输入到所述目标神经网络模型，得到分割图像，具体包括：

采用所述滑窗的形式，将所述需要分割的皮肤病理图像，划分为预设尺寸的至少一个待处理图像，并记录每个待处理图像在所述需要分割的皮肤病理图像中的位置；

根据所述至少一个待处理图像，并根据所述目标神经网络模型，得到每个待处理图像的分割图像；

按照记录下的每个待处理图像在所述需要分割的皮肤病理图像中的位置，将每个待处理图像的分割图像，拼接为所述需要分割的皮肤病理图像的分割图像。

8.一种用于皮肤病理图像处理的神经网络训练装置，其特征在于，所述装置包括：

获取模块，用于获取至少一个待分割皮肤病理图像以及每个待分割皮肤病理图像的标准分割图像，其中，每个标准分割图像中的各像素被标记出该像素对应的类别标签；

分割模块，用于将所述至少一个待分割皮肤病理图像输入到待训练用于皮肤病理图像分割的神经网络进行图像分割，得到至少一个训练分割图像，并将至少一个标准分割图像输入到所述待训练用于皮肤病理图像分割的神经网络，其中，每个训练分割图像中的各像素被标记出该像素对应的类别标签；

所述获取模块，还用于针对每个训练分割图像，获取该训练分割图像的各像素的类别标签，并针对所述每个标准分割图像，获取该标准分割图像的各像素的类别标签；

所述获取模块，还用于针对所述每个训练分割图像，根据该训练分割图像的图像特征与该训练分割图像的标准分割图像的之间各像素的类别标签差异，对所述待训练用于皮肤病理图像分割的神经网络进行训练，得到目标用于皮肤病理图像分割的神经网络。