CN115471507B - 一种基于深度学习的明场多色免疫组化图像染色拆分方法 - Google Patents

Abstract

本发明提供了一种基于深度学习的明场多色免疫组化图像染色拆分方法，包括将单张明场多色免疫组化图像输入至GANs模型的生成模块中，获取若干单色预测图像，并对所述生成模块进行训练；将若干所述单色预测图像输入至所述GANs模型的鉴别模块中，对所述鉴别模块进行训练；利用训练后的所述生成模块和所述鉴别模块将所述明场多色免疫组化图像染色拆分，获取单色图像。使用本发明拆分后的图像更加平滑、生物标志物的轮廓更清晰、能够正确地处理生物标志物共定位的情况，拆分速度快。

Description

一种基于深度学习的明场多色免疫组化图像染色拆分方法

技术领域

本发明属于人工智能以及医疗技术领域，尤其涉及一种基于深度学习的明场多色免疫组化图像染色拆分方法。

背景技术

免疫组织化学是一种被广泛使用的诊断工具，它通过使用标记抗体的显色剂和组织细胞中的抗原进行化学反应，使得组织切片中的蛋白质可视化。免疫组化技术保留了组织的结构，并且可用来确定蛋白质的位置和分布情况。

GANs是一种特殊类型的神经网络模型，由两个网络组成：一个生成网络和一个鉴别网络，它们在相互竞争中同时训练。生成网络函数G(x)生成新数据，判别网络函数D(y)学习区分真实数据和生成数据。两个网络总是为了优化自身而竞争,鉴别器D尝试最大化其目标函数，而生成器G尝试最小化其目标函数。

目前，对于三色以上免疫组化图像拆分没有很好的解决方案，使用多光谱技术采集原始图像来拆分图像，成本过高，难以普及；利用卷积神经网络实现染色解混无法从相邻像素点之间的彩色染色中捕获丰富的信息，尤其是针对染色数量较多的免疫组化图像。GANs在许多图像处理任务中的表现都很出色，但目前并未被用于免疫组化图像拆分的工作上，因此亟需一种算法支持，解决多色图像解混问题。

发明内容

为解决上述技术问题，本发明提出了一种基于深度学习的明场多色免疫组化图像染色拆分方法，从拆分质量角度上看较其他算法更好，拆分后的图像更加平滑、生物标志物的轮廓逐渐清晰、能够正确地处理生物标志物共定位的情况；拆分速度更快，这样可以高效地分解出单色染色样本。

为实现上述目的，本发明提供了一种基于深度学习的明场多色免疫组化图像染色拆分方法，包括：

将单张明场多色免疫组化图像输入至GANs模型的生成模块中，获取若干单色预测图像，并对所述生成模块进行训练；

将若干所述单色预测图像输入至所述GANs模型的鉴别模块中，对所述鉴别模块进行训练；

利用训练后的所述生成模块和所述鉴别模块将所述明场多色免疫组化图像染色拆分，获取单色图像。

可选地，获取若干所述单色预测图像包括：

在所述生成模块中引入拆分器，基于预设准则，通过所述拆分器将所述明场多色免疫组化图像拆分为若干所述单色预测图像；其中，所述预设准则为：拆分的图像输出和参考图像之间的距离最小。

可选地，对所述生成模块进行训练包括：

引入损失函数Crossroad L1，获取所述Crossroad L1的损失，并最小化所述损失，基于最小化后的所述损失对所述生成模块进行训练。

可选地，所述Crossroad L1的损失为：

其中，d_i,j为交换图像输出顺序交叉计算出的距离， 为若干张免疫组化染色单色图像，(x₁,x₂,x₃,x₄)为若干张单色预测图像。

可选地，最小化后的所述损失L_cross(G)为：

其中，为图像数据的分布,i∈{1,2,3,4}。

可选地，对所述鉴别模块进行训练包括：

在所述鉴别模块中引入若干马尔科夫鉴别器，获得含有若干所述马尔科夫鉴别器和拆分鉴别器的所述鉴别模块；

基于若干所述单色预测图像分别对所述拆分鉴别器和若干所述马尔科夫鉴别器进行训练，完成所述鉴别模块的训练。

可选地，所述拆分鉴别器的目标函数L_critic(G,Dc)为：

其中，分别代表原始图像数据和输出图像数据的分布。

可选地，若干所述马尔科夫鉴别器的目标函数为：

其中，i＝1,2,3,4，代表四张单色图像混合后的图像。

可选地，训练后的所述鉴别模块的目标函数为：

其中，β_C,β_M均为自行设定的超参数，为了控制函数中各项的平衡，令β_C＞0,β_M＞0。

与现有技术相比，本发明具有如下优点和技术效果：

本发明所提出的基于深度学习的明场多色免疫组化图像染色拆分方法，从拆分质量角度上看较其他算法更好，拆分后的图像更加平滑、生物标志物的轮廓逐渐清晰、能够正确地处理生物标志物共定位的情况；拆分速度更快，这样可以高效地分解出单色染色样本，辅助医生进行医疗诊断，提高效率，同时还能降低误诊率。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例的明场多色免疫组化图像染色拆分方法流程示意图；

图2为本发明实施例的实现程序所使用的参数示意图；

图3为本发明实施例的多色免疫组化组织样本示意图；

图4为本发明实施例的进行图像分解后的四种单色组织样本示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例

本实施例提供了一种基于深度学习的明场多色免疫组化图像染色拆分方法，包括：

将单张明场多色免疫组化图像输入至GANs模型的生成模块中，获取若干单色预测图像，并对所述生成模块进行训练；

将若干所述单色预测图像输入至所述GANs模型的鉴别模块中，对所述鉴别模块进行训练；

利用训练后的所述生成模块和所述鉴别模块将所述明场多色免疫组化图像染色拆分，获取单色图像。

进一步地，获取若干所述单色预测图像包括：

在所述生成模块中引入拆分器，基于预设准则，通过所述拆分器将所述明场多色免疫组化图像拆分为若干所述单色预测图像；其中，所述预设准则为：拆分的图像输出和参考图像之间的距离最小。

进一步地，对所述生成模块进行训练包括：

引入Crossroad L1，获取所述Crossroad L1的损失，并最小化所述损失，基于最小化后的所述损失对所述生成模块进行训练。

进一步地，最小化后的所述损失L_cross(G)为：

其中，为图像数据的分布,i∈{1,2,3,4}。

进一步地，对所述鉴别模块进行训练包括：

在所述鉴别模块中引入若干马尔科夫鉴别器，获得含有若干所述马尔科夫鉴别器和拆分鉴别器的所述鉴别模块；

基于若干所述单色预测图像分别对所述拆分鉴别器和若干所述马尔科夫鉴别器进行训练，完成所述鉴别模块的训练。

如图1所示，本实施所提出的一种基于深度学习的明场多色免疫组化图像染色拆分方法具体包括：

步骤1：设代表四张免疫组化染色单色图像；

步骤2：确定单张多色混合染色图像y(即单张明场多色免疫组化图像如图3所示)表示为：

该步骤具体为：

设定现有的一张多色免疫组化染色图像y由四张单色图像(即四张免疫组化染色单色图像)混合构成，具体表述为：

在本实施例中所用程序使用参数具体如图2所示。

步骤3：将图像y输入生成器G得到四张单色预测图像x₁,x₂,x₃,x₄。

该步骤具体为：

引入拆分器G，G以使得拆分的图像输出和他们的参考图像之间的距离最小为准则生成单层图像。G具体参数配置为UNet网络。

步骤4：计算crossroad L1损失获得L_cross，最小化L_cross，训练生成器G；

该步骤具体为：

引入Crossroad L1，以交叉的方式计算输出和参考之间的距离。通过这种方式，每个像素都会被较好地拆分。给定单张混合图像y后，生成器G预测4张单色图像(x₁,x₂,x₃,x₄)以恢复原始四张单色图像

x₁,x₂,x₃,x₄＝G(y)

G以使得(x₁,x₂,x₃,x₄)和之间的距离最小为准则生成单层图像。由于G的输出可能是无序的，引入Crossroad L1，通过交换输出顺序交叉计算距离，然后将其最小值作为最终值：

其中，d_i,j为交换图像输出顺序交叉计算出的距离， 为若干张免疫组化染色单色图像，(x₁,x₂,x₃,x₄)为若干张单色预测图像。则在整个数据集中，G以最小化L_cross损失为准则被训练：

其中代表图像数据的分布。

步骤5：运用生成的图像x₁,x₂,x₃,x₄训练拆分鉴别器D_c。

该步骤具体为：

引入需要区分输出图像(x₁,x₂,x₃,x₄)和原始图像的拆分鉴别器D_c。目标函数表示如下：

其中，分别代表原始图像数据和输出图像数据的分布。

图像为虚构图像，用来增强鉴别器D_C鉴别能力。在D_c的输入端，只需在通道维度中将4个图像连接在一起，以模拟它们的联合概率分布。G和D_c的对抗训练本质上是一个最小最大化的优化过程，其中，G试图最小化目标，而D_c试图最大化目标：

步骤6：训练四个马尔科夫鉴别器D_M1,D_M2,D_M3,D_M4；

该步骤具体为：

引入4个条件鉴别器D_M1,D_M2,D_M3,D_M4来重点关注高频部分细节。并且设计4个感知网络，仅在块级别上惩罚结构。D_M1,D_M2,D_M3,D_M4尝试在N×N的块级别上辨别图像的真伪。这种结构可以通过构建一个具有N×N个感知区的全卷积网络来等效实现。将D_M1,D_M2,D_M3,D_M4的目标函数表示如下：

其中i＝1,2,3,4，代表四张单色图像混合后的图像。

最终的网络目标函数表示如下:

其中，β_C,β_M均为自行设定的超参数，为了控制函数中各项的平衡，令β_c>0、β_M>0，最终求解：

使用本实施例进行图像分解后的四种单色组织样本图如图4所示。

当要进行n色(n＝5,6)染色解混时则需要用到的判别网络为一个图像生成器G、一个拆分鉴别器D_c和n个马尔可夫鉴别器

本实施例所提出的基于深度学习的明场多色免疫组化图像染色拆分方法，从拆分质量角度上看较其他算法更好，拆分后的图像更加平滑、生物标志物的轮廓逐渐清晰、能够正确地处理生物标志物共定位的情况；拆分速度更快，拆分大小为512x512的图像只需要大约12秒。这样可以高效地分解出单色染色样本，辅助医生进行医疗诊断，提高效率，同时还能降低误诊率。

本实施例利用GANs及其衍生技术(cGANs)，基于深度学习技术、颜色相似性原理，设计出一种用于明场多色免疫组化图像染色拆分的方法，能够辅助进行医学诊断，减轻医生诊断压力，具有算法创新性和应用价值。

以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (2)

1.一种基于深度学习的明场多色免疫组化图像染色拆分方法，其特征在于，包括：

将单张明场多色免疫组化图像输入至GANs模型的生成模块中，获取若干单色预测图像，并对所述生成模块进行训练；

对所述生成模块进行训练包括：

引入损失函数Crossroad L1，获取所述Crossroad L1的损失，并最小化所述损失，基于最小化后的所述损失对所述生成模块进行训练；

所述Crossroad L1的损失为：

其中，d_i,j为交换图像输出顺序交叉计算出的距离， 为若干张免疫组化染色单色图像，(x₁,x₂,x₃,x₄)为若干张单色预测图像；

最小化后的所述损失L_cross(G)为：

其中，为原始图像数据的分布,i∈{1,2,3,4}；

将若干所述单色预测图像输入至所述GANs模型的鉴别模块中，对所述鉴别模块进行训练；

对所述鉴别模块进行训练包括：

在所述鉴别模块中引入若干马尔科夫鉴别器，获得含有若干所述马尔科夫鉴别器和拆分鉴别器的所述鉴别模块；

基于若干所述单色预测图像分别对所述拆分鉴别器和若干所述马尔科夫鉴别器进行训练，完成所述鉴别模块的训练；

所述拆分鉴别器的目标函数L_critic(G,D_c)为：

其中，分别代表原始图像数据的分布和输出图像的分布；

若干所述马尔科夫鉴别器的目标函数为：

其中，i＝1,2,3,4，代表四张单色图像混合后的图像；

训练后的所述GANs模型的目标函数为：

其中，β_C,β_M均为自行设定的超参数，为了控制函数中各项的平衡，令β_C＞0,β_M＞0；

利用训练后的所述生成模块和所述鉴别模块将所述明场多色免疫组化图像染色拆分，获取单色图像。

2.根据权利要求1所述的基于深度学习的明场多色免疫组化图像染色拆分方法，其特征在于，获取若干所述单色预测图像包括：

在所述生成模块中引入拆分器，基于预设准则，通过所述拆分器将所述明场多色免疫组化图像拆分为若干所述单色预测图像；其中，所述预设准则为：拆分的图像输出和参考图像之间的距离最小。