CN108804878A - 一种染色模拟方法及装置 - Google Patents

Abstract

本申请实施例提供一种染色模拟方法及装置，应用于计算机设备，所述计算机设备中配置有染色模拟模型，所述染色模拟模型包括各种染色的编码器和解码器。该方法包括：获取所需预测生物组织处于第一染色下的数字切片图像以及需要对所需预测生物组织进行模拟染色的第二染色；将所述处于第一染色下的数字切片图像输入到第一染色对应的编码器中，得到所述第一染色对应的特征；将所述特征输入到所述第二染色对应的解码器中，得到模拟的所述所需预测生物组织在第二染色下的数字切片图像。由此，本申请能够在获取某一生物组织样本图像后提取特征，并模拟出另外染色类型的图像效果，从而为研究人员提供参考。

Description

一种染色模拟方法及装置

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种染色模拟方法及装置。

背景技术

如何获取同一生物组织样本在所需检验流程下可能形成的图像，是本领域技术人员亟待解决的技术问题。

发明内容

为了克服现有技术中的上述不足，本申请的目的在于提供一种染色模拟方法及装置，以解决或者改善上述问题。

为了实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供一种染色模拟方法，应用于计算机设备，所述计算机设备中配置有染色模拟模型，所述染色模拟模型包括各种染色的编码器和解码器，所述方法包括：

获取所需预测生物组织处于第一染色下的数字切片图像以及需要对所需预测生物组织进行模拟染色的第二染色；

将所述处于第一染色下的数字切片图像输入到第一染色对应的编码器中，得到所述第一染色对应的特征；

将所述特征输入到所述第二染色对应的解码器中，得到模拟的所述所需预测生物组织在第二染色下的数字切片图像。

可选地，所述方法还包括：

配置所述染色模拟模型；

所述配置所述染色模拟模型的方式，包括：

获取训练样本，所述训练样本包括至少两种染色下的训练图像；

基于所述训练样本训练对应的判别器、编码器与解码器；

判断训练过程是否达到训练终止条件；

若判定训练过程达到训练终止条件，且所述训练终止条件表征训练成功，则输出训练成功的染色模拟模型；

若判定训练过程达到训练终止条件，且所述训练终止条件表征训练失败，则初始化所述染色模拟模型的网络参数后进行重新训练。

可选地，所述基于所述训练样本训练对应的判别器、编码器与解码器的步骤，包括：

基于每种染色下的训练图像以及各染色对应的编码器输出的特征对所述判别器进行训练，得到训练后的每种染色对应的判别器；

基于训练后的每种染色对应的判别器、至少一种染色下的训练图像对所述解码器进行训练，得到训练后的每种染色对应的解码器；

基于训练后的每种染色对应的判别器、训练后的每种染色对应的判别器以及至少两种染色下的训练图像对所述编码器进行训练，得到训练后的每种染色对应的编码器。

可选地，所述基于每种染色下的训练图像以及各染色对应的编码器输出的特征对所述判别器进行训练，得到训练后的每种染色对应的判别器的步骤，包括：

针对每种染色下的训练图像，将该染色下的训练图像输入到该染色对应的判别器中，得到第一判别结果，并根据所述第一判别结果对对应的染色判别器进行训练，以此类推，得到训练后的每种染色对应的判别器；

将至少一种染色下的特征输入到上述染色对应的判别器中，得到第二判别结果，并根据所述第二判别结果对对应的特征判别器进行训练，以此类推，得到训练后的每种特征对应的判别器。

可选地，所述基于训练后的每种染色对应的判别器、至少一种染色下的训练图像对所述解码器进行训练，得到训练后的每种染色对应的解码器的步骤，包括：

针对每种染色下的训练图像，将该染色下的训练图像输入到该染色对应的编码器中，得到该染色对应的特征；

将该染色对应的特征输入到该染色对应的解码器中，得到所述特征对应的重构图像；

计算所述重构图像与该染色下的训练图像之间的重构损失，并基于所述重构损失训练所述解码器，得到该染色对应的解码器，以此类推，得到训练后的每种染色对应的解码器；和/或

将该染色对应的特征输入到另一染色对应的解码器中，得到另一染色下该特征对应的重构图像，并将所述另一染色下该特征对应的重构图像输入到所述另一染色对应的判别器中，得到第一判别结果，同时将所述另一染色下的训练图像输入到所述对应的判别器中，得到第二判别结果；

计算所述第一判别结果与所述第二判别结果之间的判别损失，并基于所述判别损失训练所述解码器，得到该染色对应的解码器，以此类推，得到训练后的每种染色对应的解码器。

可选地，所述基于训练后的每种染色对应的判别器、训练后的每种染色对应的判别器以及至少两种染色下的训练图像对所述编码器进行训练，得到训练后的每种染色对应的编码器的步骤，包括：

针对每种染色下的训练图像，分别将该染色下的训练图像和其它至少一种染色下的训练图像输入到对应的编码器中，得到该染色对应的特征和所述其它至少一种染色对应的特征；

将该染色对应的特征和所述其它至少一种染色对应的特征分别输入到特征判别器中，得到该染色对应的特征和所述其它至少一种染色对应的特征之间的判别损失；

基于所述判别损失对该染色对应的编码器进行训练，得到该染色对应的编码器，以此类推，得到训练后的每种染色对应的编码器；或者

针对每种染色下的训练图像，将该染色下的训练图像输入到该染色对应的编码器中，得到该染色对应的特征；

将该染色对应的特征输入到其它至少一种染色对应的解码器中，得到该染色下的训练图像在所述其它至少一种染色下的图像信息，并分别将所述图像信息与所述其它至少一种染色下的训练图像输入到所述其它至少一种染色对应的判别器中，得到所述图像信息与所述其它至少一种染色下的训练图像之间的判别损失；

基于所述判别损失对该染色对应的编码器进行训练，得到该染色对应的编码器，以此类推，得到训练后的每种染色对应的编码器；或者

针对每种染色下的训练图像，将该染色下的训练图像输入到该染色对应的编码器中，得到该染色对应的特征；

将该染色对应的特征输入到该染色对应的解码器中，得到所述特征对应的重构图像；

计算所述重构图像与该染色下的训练图像之间的重构损失，并基于所述重构损失训练所述解码器，得到该染色对应的编码器，以此类推，得到训练后的每种染色对应的编码器。

可选地，所述基于所述训练样本训练对应的判别器、编码器与解码器的步骤，还包括：

针对每种染色下的训练图像，依次将该染色下的训练图像输入到该染色对应的编码器、另一染色对应的解码器、所述另一染色对应的编码器以及该染色对应的解码器中，得到对应的重构图像，并计算所述重构图像与该染色下的训练图像之间的损失函数，基于所述损失函数对该染色对应的编码器、所述另一染色对应的解码器、所述另一染色对应的编码器以及该染色对应的解码器进行优化。

可选地，所述基于所述训练样本训练对应的判别器、编码器与解码器的步骤，还包括：

针对每种染色下的训练图像，对该染色下的训练图像中进行加噪处理，并基于加噪处理后的该染色下的训练图像对该染色下的编码器和解码器进行优化。

可选地，所述基于所述训练样本训练对应的判别器、编码器与解码器的步骤，还包括：

针对每种染色下的训练图像，将每种染色下的训练图像输入到对应的编码器中，得到多个特征，并对所述多个特征进行排序，计算得到不同染色对应的编码器输出的累积分布函数；

基于不同染色对应的编码器输出的累积分布函数计算得到对应的判别损失或者重构损失，并基于计算得到的判别损失或者重构损失对对应的编码器进行优化。

第二方面，本申请实施例还提供一种染色模拟装置，应用于计算机设备，所述计算机设备中配置有染色模拟模型，所述染色模拟模型包括各种染色的编码器和解码器，所述装置包括：

获取模块，用于获取所需预测生物组织处于第一染色下的数字切片图像以及需要对所需预测生物组织进行模拟染色的第二染色；

第一输入模块，用于将所述处于第一染色下的数字切片图像输入到第一染色对应的编码器中，得到对应的特征；

第二输入模块，用于将所述特征输入到所述第二染色对应的解码器中，得到模拟的所述所需预测生物组织在第二染色下的数字切片图像。

第三方面，本申请实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述的染色模拟方法。

相对于现有技术而言，本申请具有以下有益效果：

本申请实施例提供的染色模拟方法及装置，通过获取所需预测生物组织处于第一染色下的数字切片图像以及需要对所需预测生物组织进行模拟染色的第二染色，并将所述处于第一染色下的数字切片图像输入到第一染色对应的编码器中，得到所述第一染色对应的特征，而后将所述特征输入到所述第二染色对应的解码器中，得到模拟的所述所需预测生物组织在第二染色下的数字切片图像。由此，本申请能够在获取某一生物组织样本图像后提取特征，并模拟出另外染色类型的图像效果，从而为研究人员提供参考。本申请提供的技术方案模拟准确率高，模拟周期短，不依赖抗体稳定性，无需苛刻的实验条件和昂贵的仪器。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1为本申请实施例提供的计算机设备的结构示意框图；

图2为本申请实施例提供的染色模拟装置的功能模块图；

图3为本申请实施例提供的染色模拟方法的流程示意图；

图4为图3所示的步骤S109包括的各个子步骤的流程示意图；

图5为本申请实施例提供的染色模拟模型的架构示意图；

图6为本申请实施例提供的判别器训练示意图；

图7为本申请实施例提供的解码器训练示意图；

图8为本申请实施例提供的编码器训练示意图；

图9为本申请实施例提供的HE染色与CK染色互相转换示意图；

图10为本申请实施例提供的训练结果示意图之一；

图11为本申请实施例提供的训练结果示意图之二；

图12为本申请实施例提供的训练结果示意图之三。

图标：100-计算机设备；110-总线；120-处理器；130-存储介质；140-总线接口；150-网络适配器；160-用户接口；200-染色模拟装置；210-获取模块；220-第一输入模块；230-第二输入模块。

具体实施方式

本申请发明人在实现本申请实施例提供的技术方案过程中，发现目前采用的技术主要是多重荧光染色及其数字化技术，该技术是通过使用荧光显色剂，同时对生物组织样本进行多种染色后使用荧光显微镜捕获荧光信号，但是其实验周期较长，依赖抗体稳定性，实验条件苛刻，仪器价格昂贵，且不能提供与染色无关的描述组织信息的特征。

或者，目前还有业界普遍知晓的方法，通过反复染抗体并用荧光显色剂显色，捕获荧光信号后灭活并进行下一种染色。但是此方法较上述方法，增加了由于生物组织样本脱落切片而导致的失败风险。

又或者，目前虽然也有利用机器学习方法，基于细胞学亮场信号来预测细胞是否为神经细胞，是否为运动神经细胞，以及是否为癌细胞系的方法。但该方法主要集中于细胞学，考虑组织学内容较少，且该方法为利用神经网络直接由亮场信号预测暗场荧光信号，没有通用特征提取环节，故也不会输出生物组织样本的通用特征。

以上现有技术中的方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本申请实施例针对上述问题所提出的解决方案，都应该是发明人在本申请过程中对本申请做出的贡献。

发明人为了解决上述问题，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

进一步地，请参阅图1，为本申请实施例提供的计算机设备100的一种结构示意框图。本实施例中，所述计算机设备100可以是手机(mobile phone)、平板电脑(Pad)、虚拟现实(Virtual Reality，VR)终端设备、增强现实(Augmented Reality，AR)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self driving)中的无线终端、远程医疗(remote medical)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等等。本申请的实施例对应用场景不做限定。

如图1所示，计算机设备100可以由总线110作一般性的总线体系结构来实现。根据计算机设备100的具体应用和整体设计约束条件，总线110可以包括任意数量的互连总线和桥接。总线110将各种电路连接在一起，这些电路包括处理器120、存储介质130和总线接口140。可选地，计算机设备100可以使用总线接口140将网络适配器150等经由总线110连接。网络适配器150可用于实现计算机设备100中物理层的信号处理功能，并通过天线实现射频信号的发送和接收。用户接口160可以连接外部设备，例如：键盘、显示器、鼠标或者操纵杆等。总线110还可以连接各种其它电路，如定时源、外围设备、电压调节器或者功率管理电路等，这些电路是本领域所熟知的，因此不再详述。

可以替换的，计算机设备100也可配置成通用处理系统，例如通称为芯片，该通用处理系统包括：提供处理功能的一个或多个微处理器，以及提供存储介质130的至少一部分的外部存储器，所有这些都通过外部总线体系结构与其它支持电路连接在一起。

可替换的，计算机设备100可以使用下述来实现：具有处理器120、总线接口140、用户接口160的ASIC(专用集成电路)；以及集成在单个芯片中的存储介质130的至少一部分，或者，计算机设备100可以使用下述来实现：一个或多个FPGA(现场可编程门阵列)、PLD(可编程逻辑器件)、控制器、状态机、门逻辑、分立硬件部件、任何其它适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任意组合。

其中，处理器120负责管理总线110和一般处理(包括执行存储在存储介质130上的软件)。处理器120可以使用一个或多个通用处理器和/或专用处理器来实现。处理器120的例子包括微处理器、微控制器、DSP处理器和能够执行软件的其它电路。应当将软件广义地解释为表示指令、数据或其任意组合，而不论是将其称作为软件、固件、中间件、微代码、硬件描述语言还是其它。

在图1中存储介质130被示为与处理器120分离，然而，本领域技术人员很容易明白，存储介质130或其任意部分可位于计算机设备100之外。举例来说，存储介质130可以包括传输线、用数据调制的载波波形、和/或与无线节点分离开的计算机制品，这些介质均可以由处理器120通过总线接口140来访问。可替换地，存储介质130或其任意部分可以集成到处理器120中，例如，可以是高速缓存和/或通用寄存器。

所述处理器120可执行上述实施例，具体地，所述存储介质130中可以存储有所述染色模拟装置200，所述处理器120可以用于执行所述染色模拟装置200。

请参阅图2，所述染色模拟装置200可以包括：

获取模块210，用于获取所需预测生物组织处于第一染色下的数字切片图像以及需要对所需预测生物组织进行模拟染色的第二染色。

第一输入模块220，用于将所述处于第一染色下的数字切片图像输入到第一染色对应的编码器中，得到对应的特征。

第二输入模块230，用于将所述特征输入到所述第二染色对应的解码器中，得到模拟的所述所需预测生物组织在第二染色下的数字切片图像。

请参阅图3，为本申请实施例提供的染色模拟方法的一种流程示意图，下面结合图3对图2中所示的染色模拟装置200的各个软件功能模块进行详细阐述。所应说明的是，本申请实施例提供的染色模拟方法不以图3及以下所述的具体顺序为限制。所述方法的具体流程如下：

步骤S110，获取所需预测生物组织处于第一染色下的数字切片图像以及需要对所需预测生物组织进行模拟染色的第二染色。本实施例中，该步骤S110可以由上述获取模块210执行。

本实施例中，所述计算机设备100中配置有染色模拟模型，所述染色模拟模型包括各种染色的编码器和解码器。在对所述步骤S110进行进行阐述之前，下面首先对所述染色模拟模型的配置过程进行详细说明。在所述步骤S110之前，本实施例还可以包括如下步骤：

步骤S109，配置染色模拟模型。

作为一种实施方式，所述配置所述染色模拟模型的方式，请参阅图4，所述步骤S109可以包括如下子步骤：

子步骤S1091，获取训练样本。

本实施例中，所述训练样本可包括至少两种染色下的训练图像。也即，对于染色1到n(n>＝2)，每种染色可以准备多张用于训练染色模拟模型的图像。

子步骤S1092，基于所述训练样本训练对应的判别器、编码器与解码器。

请参阅图5，本实施例中，可以通过将不同的染色通过不同的编码器，以生成不同来源的特征，并通过对齐损失、判别器损失等机制使得不同编码器生成的特征大致符合相同的分布，并难以进行来源的判别，以使得特征和染色无关。也即，当获得染色k的图像时，若想获得对应的特征，则将其输入染色k编码器即可。若还想获得该图像的其它染色图像如染色j的图像，则将获得的特征输入染色j解码器即可。

特别地，若染色A同时具有其它具有空间一致性的其它信息(如获得了HE染色图像，并在其上人工标注了癌细胞的所在区域)，可以将它仍看作染色A(带有附加信息的染色A)，即使染色A可以和附加信息被分开编码或解码(如仅有染色A编码器，但是具有染色A解码器以及染色A附加信息解码器)。

基于此，下面结合图6-图8，分别对判别器、编码器与解码器的训练过程进行说明，从而制定一个描述数字切片图像与样本着色无直接关系但可用于推断染色信息的特征。其中，与样本着色无直接关系是指无法从当前特征推断出该特征从什么种类染色图像中提取得到，可用于推断染色信息是指可以通过当前特征提供的信息(如形态学信息、细胞种类信息等)，可推测出样本进行某种染色(比如HE染色、CK染色)后得到的结果。

所述判别器的训练方式请参阅图6，本实施例基于每种染色下的训练图像以及各染色对应的编码器输出的特征对所述判别器进行训练，得到训练后的每种染色对应的判别器。详细地，可以针对每种染色下的训练图像(真实染色1图片)，将该染色下的训练图像输入到该染色对应的判别器中，得到第一判别结果，并根据所述第一判别结果对对应的染色判别器进行训练，以此类推，得到训练后的每种染色对应的判别器。

与此同时，可以将至少一种染色下的特征(各染色对应的编码器输出的特征)输入到上述染色对应的判别器中，得到第二判别结果，并根据所述第二判别结果对对应的特征判别器进行训练，以此类推，得到训练后的每种特征对应的判别器。

由此，可以借助训练得到的每种染色对应的判别器(染色判别器)和每种特征对应的判别器(特征判别器)，对后续的解码器和编码器进行训练。

所述解码器的训练方式请结合参阅图7，本实施例基于训练后的每种染色对应的判别器、至少一种染色下的训练图像对所述解码器进行训练，得到训练后的每种染色对应的解码器。下面结合染色的重构损失和判别器的判别损失对所述解码器的训练过程进行说明。

染色的重构损失：详细地，首先，针对每种染色(染色1)下的训练图像，将该染色下的训练图像输入到该染色对应的编码器中，得到该染色对应的特征(特征1)。

接着，将该染色对应的特征输入到该染色对应的解码器中，得到所述特征对应的重构图像。

接着，计算所述重构图像(染色1重构图像)与该染色下的训练图像之间的重构损失，并基于所述重构损失训练所述解码器，得到该染色对应的解码器，以此类推，得到训练后的每种染色对应的解码器。

判别器的判别损失：将该染色对应的特征输入到另一染色对应的解码器(染色2解码器)中，得到该染色对应的特征在另一染色下的重构图像，并将所述该染色对应的特征在另一染色下的重构图像输入到所述另一染色对应的判别器中，得到第一判别结果，同时将所述另一染色下的训练图像(真实染色2图片)输入到所述对应的判别器中，得到第二判别结果。

接着，计算所述第一判别结果与所述第二判别结果之间的判别损失，并基于所述判别损失训练所述解码器，得到该染色对应的解码器，以此类推，得到训练后的每种染色对应的解码器。

需要说明的是，图7中实线表示计算推理过程，虚线表示优化过程。上述的重构损失可以是指，重构图像与染色1图像的差别构成的损失，这个损失可以但不限于通过均方误差、平均绝对误差、交叉熵等方式衡量。此外，上述的判别损失可以是指，解码器得到的结果经过判别器后，与数字1(或是判别器训练时，表示真样本的其它代号)的损失。这个损失可以但不限于通过均方误差、平均绝对误差、交叉熵等方式衡量。

此外还需要注意的是，可以同时基于上述染色的重构损失和判别器的判别损失对所述解码器进行训练，也可以仅基于上述染色的重构损失对所述解码器进行训练，或者仅基于上述判别器的判别损失对所述解码器进行训练。

所述编码器的训练方式请结合参阅图8，本实施例基于训练后的每种染色对应的判别器、训练后的每种染色对应的判别器以及至少两种染色下的训练图像对所述编码器进行训练，得到训练后的每种染色对应的编码器。

请结合参阅图8，下面结合特征判别器的判别损失、染色2判别器的判别损失、染色1解码器的重构损失对所述编码器的训练过程进行详细说明。

特征判别器的判别损失：首先，针对每种染色下的训练图像，分别将该染色下的训练图像(染色1图片)和其它至少一种染色下的训练图像(染色2图片)输入到对应的编码器(染色2编码器)中，得到该染色对应的特征(特征1)和所述其它至少一种染色对应的特征(特征2)。

接着，将该染色对应的特征和所述其它至少一种染色对应的特征分别输入到特征判别器中，得到该染色对应的特征和所述其它至少一种染色对应的特征之间的判别损失。

最后，基于所述判别损失对该染色对应的编码器(染色1编码器)进行训练，得到该染色对应的编码器，以此类推，得到训练后的每种染色对应的编码器。

染色2判别器的判别损失：首先，针对每种染色下的训练图像，将该染色下的训练图像(染色1图片)输入到该染色对应的编码器中，得到该染色对应的特征(特征1)。

接着，将该染色对应的特征输入到其它至少一种染色对应的解码器(染色2解码器)中，得到该染色下的训练图像在所述其它至少一种染色下的图像信息，并分别将所述图像信息与所述其它至少一种染色下的训练图像输入到所述其它至少一种染色对应的判别器(染色2判别器)中，得到所述图像信息与所述其它至少一种染色下的训练图像之间的判别损失。

最后，基于所述判别损失对该染色对应的编码器进行训练，得到该染色对应的编码器，以此类推，得到训练后的每种染色对应的编码器。

染色1解码器的重构损失：首先，针对每种染色下的训练图像，将该染色下的训练图像(染色1图片)输入到该染色对应的编码器(染色1编码器)中，得到该染色对应的特征(特征1)。

接着，将该染色对应的特征输入到该染色对应的解码器(染色1解码器)中，得到所述特征对应的重构图像。

最后，计算所述重构图像与该染色下的训练图像之间的重构损失，并基于所述重构损失训练所述解码器，得到该染色对应的编码器，以此类推，得到训练后的每种染色对应的编码器。

由此，基于上述方法，分别对判别器、解码器以及编码器进行了一次训练，本实施例将分别训练编码器、解码器、判别器一次称为一个迭代，染色模拟模型可能需要若干个迭代才能完成训练。

可选地，在上述基础上，本实施例还可以进行一些额外的限制，从而对所述判别器、解码器以及编码器进行进一步地优化。

例如，可以针对每种染色下的训练图像，依次将该染色下的训练图像输入到该染色对应的编码器、另一染色对应的解码器、所述另一染色对应的编码器以及该染色对应的解码器中，得到对应的重构图像，并计算所述重构图像与该染色下的训练图像之间的损失函数，基于所述损失函数对该染色对应的编码器、所述另一染色对应的解码器、所述另一染色对应的编码器以及该染色对应的解码器进行优化。

又例如，还可以针对每种染色下的训练图像，对该染色下的训练图像中进行加噪处理，并基于加噪处理后的该染色下的训练图像对该染色下的编码器和解码器进行优化。

又例如，还可以针对每种染色下的训练图像，将每种染色下的训练图像输入到对应的编码器中，得到多个特征，并对所述多个特征进行排序，计算得到不同染色对应的编码器输出的累积分布函数。而后，基于不同染色对应的编码器输出的累积分布函数计算得到对应的判别损失或者重构损失，并基于计算得到的判别损失或者重构损失对对应的编码器进行优化。

子步骤S1093，判断训练过程是否达到训练终止条件。

本实施例中，可选地，所述训练终止条件可以是但不限于网络损失函数出现Nan(Nan，not a number，表示训练失败)，网络无法进入稳态(失败)，网络在若干迭代内无法继续提升性能(成功)，达到划定的性能阈值(成功)，到达最大迭代次数(成功)等。

基于上述示例性的训练终止条件，若判定训练过程达到训练终止条件，且所述训练终止条件表征训练成功，则执行：

子步骤S1094，输出训练成功的染色模拟模型。

若判定训练过程达到训练终止条件，且所述训练终止条件表征训练失败，则执行：

子步骤S1095，初始化所述染色模拟模型的网络参数后进行重新训练。

由此，基于上述设计，训练得到了可用于模拟染色的染色模拟模型。

下面结合图9-图12对上述方案下的一种示例进行说明，本示例为HE染色与CK染色互相转换。详细地，发明人以HE染色作为染色1，CK-pan抗体染色作为染色2，在提供足够的训练样本对整个染色模拟模型进行50000个迭代训练后，可以得到图10-图12中的结果，基于该结果可以看出，本实施例提供的染色模拟模型能够在获取某一生物组织样本图像后提取特征，并模拟出另外染色类型的图像效果。

由此，当需要进行染色模拟时，计算机设备100获取所需预测生物组织处于第一染色下的数字切片图像以及需要对所需预测生物组织进行模拟染色的第二染色。

步骤S120，将所述处于第一染色下的数字切片图像输入到第一染色对应的编码器中，得到所述第一染色对应的特征。本实施例中，该步骤S120可以由上述第一输入模块220执行。

本实施例中，通过将所述处于第一染色下的数字切片图像输入到第一染色对应的编码器中，可以得到所述第一染色对应的特征

步骤S130，将所述特征输入到所述第二染色对应的解码器中，得到模拟的所述所需预测生物组织在第二染色下的数字切片图像。本实施例中，该步骤S130可以由上述第二输入模块230执行。

本实施例中，通过将所述特征输入到所述第二染色对应的解码器中，得到模拟的所述所需预测生物组织在第二染色下的数字切片图像。由此，本实施例能够在获取某一生物组织样本图像后提取特征，并模拟出另外染色类型的图像效果，从而为研究人员提供参考。本申请提供的技术方案模拟准确率高，模拟周期短，不依赖抗体稳定性，无需苛刻的实验条件和昂贵的仪器。

综上所述，本申请实施例提供的染色模拟方法及装置，通过获取所需预测生物组织处于第一染色下的数字切片图像以及需要对所需预测生物组织进行模拟染色的第二染色，并将所述处于第一染色下的数字切片图像输入到第一染色对应的编码器中，得到所述第一染色对应的特征，而后将所述特征输入到所述第二染色对应的解码器中，得到模拟的所述所需预测生物组织在第二染色下的数字切片图像。由此，本申请能够在获取某一生物组织样本图像后提取特征，并模拟出另外染色类型的图像效果，从而为研究人员提供参考。本申请提供的技术方案模拟准确率高，模拟周期短，不依赖抗体稳定性，无需苛刻的实验条件和昂贵的仪器。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

可以替换的，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其它可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的电子设备、服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种染色模拟方法，其特征在于，应用于计算机设备，所述计算机设备中配置有染色模拟模型，所述染色模拟模型包括各种染色的编码器和解码器，所述方法包括：

获取所需预测生物组织处于第一染色下的数字切片图像以及需要对所需预测生物组织进行模拟染色的第二染色；

将所述处于第一染色下的数字切片图像输入到第一染色对应的编码器中，得到所述第一染色对应的特征；

将所述特征输入到所述第二染色对应的解码器中，得到模拟的所述所需预测生物组织在第二染色下的数字切片图像。

2.根据权利要求1所述的染色模拟方法，其特征在于，所述方法还包括：

配置所述染色模拟模型；

所述配置所述染色模拟模型的方式，包括：

获取训练样本，所述训练样本包括至少两种染色下的训练图像；

基于所述训练样本训练对应的判别器、编码器与解码器；

判断训练过程是否达到训练终止条件；

若判定训练过程达到训练终止条件，且所述训练终止条件表征训练成功，则输出训练成功的染色模拟模型；

若判定训练过程达到训练终止条件，且所述训练终止条件表征训练失败，则初始化所述染色模拟模型的网络参数后进行重新训练。

3.根据权利要求2所述的染色模拟方法，其特征在于，所述基于所述训练样本训练对应的判别器、编码器与解码器的步骤，包括：

基于每种染色下的训练图像以及各染色对应的编码器输出的特征对所述判别器进行训练，得到训练后的每种染色对应的判别器；

基于训练后的每种染色对应的判别器、至少一种染色下的训练图像对所述解码器进行训练，得到训练后的每种染色对应的解码器；

基于训练后的每种染色对应的判别器、训练后的每种染色对应的判别器以及至少两种染色下的训练图像对所述编码器进行训练，得到训练后的每种染色对应的编码器。

4.根据权利要求3所述的染色模拟方法，其特征在于，所述基于每种染色下的训练图像以及各染色对应的编码器输出的特征对所述判别器进行训练，得到训练后的每种染色对应的判别器的步骤，包括：

针对每种染色下的训练图像，将该染色下的训练图像输入到该染色对应的判别器中，得到第一判别结果，并根据所述第一判别结果对对应的染色判别器进行训练，以此类推，得到训练后的每种染色对应的判别器；

将至少一种染色下的特征输入到上述染色对应的判别器中，得到第二判别结果，并根据所述第二判别结果对对应的特征判别器进行训练，以此类推，得到训练后的每种特征对应的判别器。

5.根据权利要求3所述的染色模拟方法，其特征在于，所述基于训练后的每种染色对应的判别器、至少一种染色下的训练图像对所述解码器进行训练，得到训练后的每种染色对应的解码器的步骤，包括：

针对每种染色下的训练图像，将该染色下的训练图像输入到该染色对应的编码器中，得到该染色对应的特征；

将该染色对应的特征输入到该染色对应的解码器中，得到所述特征对应的重构图像；

计算所述重构图像与该染色下的训练图像之间的重构损失，并基于所述重构损失训练所述解码器，得到该染色对应的解码器，以此类推，得到训练后的每种染色对应的解码器；和/或

将该染色对应的特征输入到另一染色对应的解码器中，得到另一染色下该特征对应的重构图像，并将所述另一染色下该特征对应的重构图像输入到所述另一染色对应的判别器中，得到第一判别结果，同时将所述另一染色下的训练图像输入到所述对应的判别器中，得到第二判别结果；

计算所述第一判别结果与所述第二判别结果之间的判别损失，并基于所述判别损失训练所述解码器，得到该染色对应的解码器，以此类推，得到训练后的每种染色对应的解码器。

6.根据权利要求3所述的染色模拟方法，其特征在于，所述基于训练后的每种染色对应的判别器、训练后的每种染色对应的判别器以及至少两种染色下的训练图像对所述编码器进行训练，得到训练后的每种染色对应的编码器的步骤，包括：

针对每种染色下的训练图像，分别将该染色下的训练图像和其它至少一种染色下的训练图像输入到对应的编码器中，得到该染色对应的特征和所述其它至少一种染色对应的特征；

将该染色对应的特征和所述其它至少一种染色对应的特征分别输入到特征判别器中，得到该染色对应的特征和所述其它至少一种染色对应的特征之间的判别损失；

基于所述判别损失对该染色对应的编码器进行训练，得到该染色对应的编码器，以此类推，得到训练后的每种染色对应的编码器；或者

针对每种染色下的训练图像，将该染色下的训练图像输入到该染色对应的编码器中，得到该染色对应的特征；

将该染色对应的特征输入到其它至少一种染色对应的解码器中，得到该染色下的训练图像在所述其它至少一种染色下的图像信息，并分别将所述图像信息与所述其它至少一种染色下的训练图像输入到所述其它至少一种染色对应的判别器中，得到所述图像信息与所述其它至少一种染色下的训练图像之间的判别损失；

基于所述判别损失对该染色对应的编码器进行训练，得到该染色对应的编码器，以此类推，得到训练后的每种染色对应的编码器；或者

针对每种染色下的训练图像，将该染色下的训练图像输入到该染色对应的编码器中，得到该染色对应的特征；

将该染色对应的特征输入到该染色对应的解码器中，得到所述特征对应的重构图像；

计算所述重构图像与该染色下的训练图像之间的重构损失，并基于所述重构损失训练所述解码器，得到该染色对应的编码器，以此类推，得到训练后的每种染色对应的编码器。

7.根据权利要求2-6中任意一项所述的染色模拟方法，其特征在于，所述基于所述训练样本训练对应的判别器、编码器与解码器的步骤，还包括：

针对每种染色下的训练图像，依次将该染色下的训练图像输入到该染色对应的编码器、另一染色对应的解码器、所述另一染色对应的编码器以及该染色对应的解码器中，得到对应的重构图像，并计算所述重构图像与该染色下的训练图像之间的损失函数，基于所述损失函数对该染色对应的编码器、所述另一染色对应的解码器、所述另一染色对应的编码器以及该染色对应的解码器进行优化。

8.根据权利要求2-6中任意一项所述的染色模拟方法，其特征在于，所述基于所述训练样本训练对应的判别器、编码器与解码器的步骤，还包括：

针对每种染色下的训练图像，对该染色下的训练图像中进行加噪处理，并基于加噪处理后的该染色下的训练图像对该染色下的编码器和解码器进行优化。

9.根据权利要求2-6中任意一项所述的染色模拟方法，其特征在于，所述基于所述训练样本训练对应的判别器、编码器与解码器的步骤，还包括：

针对每种染色下的训练图像，将每种染色下的训练图像输入到对应的编码器中，得到多个特征，并对所述多个特征进行排序，计算得到不同染色对应的编码器输出的累积分布函数；

基于不同染色对应的编码器输出的累积分布函数计算得到对应的判别损失或者重构损失，并基于计算得到的判别损失或者重构损失对对应的编码器进行优化。

10.一种染色模拟装置，其特征在于，应用于计算机设备，所述计算机设备中配置有染色模拟模型，所述染色模拟模型包括各种染色的编码器和解码器，所述装置包括：

获取模块，用于获取所需预测生物组织处于第一染色下的数字切片图像以及需要对所需预测生物组织进行模拟染色的第二染色；

第一输入模块，用于将所述处于第一染色下的数字切片图像输入到第一染色对应的编码器中，得到对应的特征；

第二输入模块，用于将所述特征输入到所述第二染色对应的解码器中，得到模拟的所述所需预测生物组织在第二染色下的数字切片图像。