CN110490247B - 图像处理模型生成方法、图像处理方法及装置、电子设备 - Google Patents

图像处理模型生成方法、图像处理方法及装置、电子设备 Download PDF

Info

Publication number
CN110490247B
CN110490247B CN201910755063.0A CN201910755063A CN110490247B CN 110490247 B CN110490247 B CN 110490247B CN 201910755063 A CN201910755063 A CN 201910755063A CN 110490247 B CN110490247 B CN 110490247B
Authority
CN
China
Prior art keywords
image
dyeing
original
biological
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910755063.0A
Other languages
English (en)
Other versions
CN110490247A (zh
Inventor
周昵昀
韩骁
姚建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Healthcare Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910755063.0A priority Critical patent/CN110490247B/zh
Publication of CN110490247A publication Critical patent/CN110490247A/zh
Application granted granted Critical
Publication of CN110490247B publication Critical patent/CN110490247B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供一种基于对抗生成网络的图像处理模型生成方法、图像处理模型生成方法及装置、电子设备、存储介质；涉及人工智能技术领域。所述图像处理模型生成方法包括：获取原始生物染色图像的染色特征；通过第一生成器将原始生物染色图像转换为第一生物染色图像，并通过第一判别器对第一生物染色图像和参考生物染色图像进行判别；结合原始生物染色图像的染色特征，通过第二生成器将第一生物染色图像转换为第二生物染色图像；根据各生成器以及各判别器的输出计算对抗生成网络的损失函数，并根据损失函数对对抗生成网络进行训练；基于训练后的对抗生成网络获取图像处理模型。本公开可以在保证色彩转换准确性的同时具有更强的泛化能力。

Description

图像处理模型生成方法、图像处理方法及装置、电子设备
技术领域
本公开涉及人工智能技术领域，具体而言，涉及基于人工智能的一种图像处理模型生成方法、图像处理模型生成方法装置、图像处理方法、图像处理装置、电子设备以及计算机可读存储介质。
背景技术
在很多领域，会使用化学方法或其他方法影响物质本身而使其着色，并通过图像采集设备得到染色图像。在获取染色图像后，还经常需要对染色图像进行色彩转换。
举例而言，在生物显微玻片标本制作中，染色是很常用的。为了便于计算机后续更好的处理生物染色图像，通常需要首先将多个生物染色图像的色彩风格归一化到相同的范围。
然而，相关技术中的图像处理模型的色彩转换准确性或泛化能力仍存在一定的提升空间。因此，提供一种在保证色彩转换准确性的同时具有更强的泛化能力的图像处理模型是非常必要的。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种图像处理模型生成方法、图像处理模型生成装置、图像处理方法、图像处理装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的图像处理模型色彩转换准确性不足以及泛化能力弱的问题。
根据本公开的第一方面，提供一种图像处理模型生成方法，包括：
获取原始染色图像的染色特征；
将所述原始染色图像及其染色特征输入对抗生成网络，对所述对抗生成网络进行训练；在所述训练中包括：将所述原始染色图像转换为第一染色图像以及结合所述原始染色图像的染色特征将所述第一染色图像转换为第二染色图像；
基于训练后的对抗生成网络获取图像处理模型。
在本公开的一种示例性实施例中，所述对抗生成网络包括第一生成器以及第二生成器；对所述对抗生成网络进行训练过程中包括：
通过所述第一生成器将所述原始染色图像转换为第一染色图像；以及结合所述原始染色图像的染色特征，通过所述第二生成器将所述第一染色图像转换为第二染色图像。
在本公开的一种示例性实施例中，所述对抗生成网络包括第一生成器、第二生成器以及判别器；对所述对抗生成网络进行训练包括：
通过所述第一生成器将所述原始染色图像转换为第一染色图像，并通过所述判别器对所述第一染色图像和参考染色图像进行判别；
结合所述原始染色图像的染色特征，通过所述第二生成器将所述第一染色图像转换为第二染色图像；
根据所述原始染色图像、所述第二染色图像以及所述判别器的判别结果计算损失函数；
根据所述损失函数修正所述对抗生成网络，直至所述损失函数达到目标值。
在本公开的一种示例性实施例中，所述计算损失函数包括：
根据所述判别器对于所述第一染色图像和所述参考染色图像的判别结果计算第一损失函数；
根据所述第二染色图像与原始染色图像的一致性计算第二损失函数；
根据所述第一损失函数以及第二损失函数确定所述对抗生成网络的损失函数。
在本公开的一种示例性实施例中，所述对抗生成网络包括第一生成器、第二生成器、第一判别器以及第二判别器；对所述对抗生成网络进行训练包括：
通过所述第一生成器将所述原始染色图像转换为第一染色图像，并通过所述第一判别器对所述第一染色图像和参考染色图像进行判别；
结合所述原始染色图像的染色特征，通过所述第二生成器将所述第一染色图像转换为第二染色图像；
结合所述原始染色图像的染色特征，通过所述第二生成器将所述参考染色图像转换为第三染色图像，并通过所述第二判别器对所述第三染色图像和所述原始染色图像进行判别；
通过所述第一生成器将所述第三染色图像转换为第四染色图像；
根据所述原始染色图像、第二染色图像、第四染色图像以及所述第一判别器、第二判别器的判别结果计算损失函数；
根据所述损失函数修正所述对抗生成网络，直至所述损失函数达到目标值。
在本公开的一种示例性实施例中，所述计算损失函数包括：
根据所述第一判别器对于所述第一染色图像和所述参考染色图像的判别结果计算第一损失函数；
根据所述第二染色图像与原始染色图像的一致性计算第二损失函数；
根据所述第二判别器对于所述第三染色图像和所述原始染色图像的判别结果计算第三损失函数；
根据所述第四染色图像与参考染色图像的一致性计算第四损失函数；
根据所述第一损失函数至第四损失函数确定所述对抗生成网络的损失函数。
在本公开的一种示例性实施例中，所述将所述第一染色图像转换为第二染色图像包括：
将所述原始染色图像的染色特征添加至所述第一染色图像的颜色通道，得到混合图像；
通过所述第二生成器将所述混合图像转换为所述第二染色图像。
在本公开的一种示例性实施例中，所述获取原始染色图像的染色特征包括：
计算所述原始染色图像的染料吸收系数，根据所述原始染色图像的染料吸收系数计算原始染色图像的染色特征。
在本公开的一种示例性实施例中，所述计算原始染色图像的染色特征包括：
对所述原始染色图像的染料吸收系数进行非负矩阵因子分解，并以分解得到的染色矩阵作为所述原始染色图像的染色特征。
在本公开的一种示例性实施例中，所述方法还包括：
从所述原始染色图像中获取所述参考染色图像。
在本公开的一种示例性实施例中，从所述原始染色图像中获取所述参考染色图像，包括：
基于各所述原始染色图像的染色特征，对所有所述原始染色图像进行聚类；
将位于一聚类簇中的所述原始染色图像，作为所述参考染色图像。
在本公开的一种示例性实施例中，基于训练后的对抗生成网络获取图像处理模型包括：
将修正后的所述对抗生成网络中的第一生成器作为所述图像处理模型。
根据本公开的第二方面，提供一种图像处理方法，包括：
获取原始染色图像的染色特征；
将所述原始染色图像及其染色特征输入对抗生成网络，对所述对抗生成网络进行训练；在所述训练中包括：将所述原始染色图像转换为第一染色图像以及结合所述原始染色图像的染色特征将所述第一染色图像转换为第二染色图像；
基于训练后的对抗生成网络获取图像处理模型；
通过获取的所述图像处理模型对待处理染色图像进行处理。
根据本公开的第三方面，提供一种图像处理模型生成装置，包括：
特征提取模块，用于获取原始染色图像的染色特征；
训练模块，用于将所述原始染色图像及其染色特征输入对抗生成网络，对所述对抗生成网络进行训练；在所述训练中包括：将所述原始染色图像转换为第一染色图像以及结合所述原始染色图像的染色特征将所述第一染色图像转换为第二染色图像；
模型获取模块，用于基于训练后的对抗生成网络获取图像处理模型。
在本公开的一种示例性实施例中，所述训练模块包括：
通过所述第一生成器将所述原始染色图像转换为第一染色图像；以及结合所述原始染色图像的染色特征，通过所述第二生成器将所述第一染色图像转换为第二染色图像。
在本公开的一种示例性实施例中，所述对抗生成网络包括第一生成器、第二生成器以及判别器；所述特征提取模块包括：
第一训练单元，用于通过所述第一生成器将所述原始染色图像转换为第一染色图像，并通过所述判别器对所述第一染色图像和参考染色图像进行判别；
第二训练单元，用于结合所述原始染色图像的染色特征，通过所述第二生成器将所述第一染色图像转换为第二染色图像；
损失函数计算单元，用于根据所述原始染色图像、所述第二染色图像以及所述判别器的判别结果计算损失函数；
反馈修正单元，用于根据所述损失函数修正所述对抗生成网络，直至所述损失函数达到目标值。
在本公开的一种示例性实施例中，所述损失函数计算单元通过下述方法计算损失函数：根据所述判别器对于所述第一染色图像和所述参考染色图像的判别结果计算第一损失函数；根据所述第二染色图像与原始染色图像的一致性计算第二损失函数；根据所述第一损失函数以及第二损失函数确定所述对抗生成网络的损失函数。
在本公开的一种示例性实施例中，所述对抗生成网络包括第一生成器、第二生成器、第一判别器以及第二判别器；所述特征提取模块包括：
第一训练单元，用于通过所述第一生成器将所述原始染色图像转换为第一染色图像，并通过所述第一判别器对所述第一染色图像和参考染色图像进行判别；
第二训练单元，用于结合所述原始染色图像的染色特征，通过所述第二生成器将所述第一染色图像转换为第二染色图像；
第三训练单元，用于结合所述原始染色图像的染色特征，通过所述第二生成器将所述参考染色图像转换为第三染色图像，并通过所述第二判别器对所述第三染色图像和所述原始染色图像进行判别；
第四训练单元，用于通过所述第一生成器将所述第三染色图像转换为第四染色图像；
损失函数计算单元，用于根据所述原始染色图像、第二染色图像、第四染色图像以及所述第一判别器、第二判别器的判别结果计算损失函数；
反馈修正单元，用于根据所述损失函数修正所述对抗生成网络，直至所述损失函数达到目标值。
在本公开的一种示例性实施例中，损失函数计算单元通过下述方法计算损失函数：根据所述第一判别器对于所述第一染色图像和所述参考染色图像的判别结果计算第一损失函数；根据所述第二染色图像与原始染色图像的一致性计算第二损失函数；根据所述第二判别器对于所述第三染色图像和所述原始染色图像的判别结果计算第三损失函数；根据所述第四染色图像与参考染色图像的一致性计算第四损失函数；根据所述第一损失函数至第四损失函数确定所述对抗生成网络的损失函数。
在本公开的一种示例性实施例中，第二训练单元通过下述方法将所述第一染色图像转换为第二染色图像：将所述原始染色图像的染色特征添加至所述第一染色图像的颜色通道，得到混合图像；通过所述第二生成器将所述混合图像转换为所述第二染色图像。
在本公开的一种示例性实施例中，所述特征提取模块用于计算所述原始染色图像的染料吸收系数，根据所述原始染色图像的染料吸收系数计算原始染色图像的染色特征。
在本公开的一种示例性实施例中，所述特征提取模块通过下述方法计算原始染色图像的染色特征：对所述原始染色图像的染料吸收系数进行非负矩阵因子分解，并以分解得到的染色矩阵作为所述原始染色图像的染色特征。
在本公开的一种示例性实施例中，所述装置还包括：
参考染色图像获取模块，用于从所述原始染色图像中获取所述参考染色图像。
在本公开的一种示例性实施例中，所述参考染色图像获取模块包括：
聚类单元，用于基于各所述原始染色图像的染色特征，对所有所述原始染色图像进行聚类；
图像选取单元，用于将位于一聚类簇中的所述原始染色图像，作为所述参考染色图像。
在本公开的一种示例性实施例中，所述模型获取模块用于将修正后的所述对抗生成网络中的第一生成器作为所述图像处理模型。
根据本公开的第四方面，提供一种图像处理装置，包括：
特征提取模块，用于获取原始染色图像的染色特征；
训练模块，用于将所述原始染色图像及其染色特征输入对抗生成网络，对所述对抗生成网络进行训练；在所述训练中包括：将所述原始染色图像转换为第一染色图像以及结合所述原始染色图像的染色特征将所述第一染色图像转换为第二染色图像；
模型获取模块，用于基于训练后的对抗生成网络获取图像处理模型。
图像处理模块，用于通过获取的所述图像处理模型对待处理染色图像进行处理。
根据本公开的第五方面，提供一种图像处理装置，包括：
特征提取模块，用于获取原始染色图像的染色特征；
对抗生成网络，能够结合所述原始染色图像及其染色特征进行训练；且在所述训练中能够将所述原始染色图像转换为第一染色图像以及结合所述原始染色图像的染色特征将所述第一染色图像转换为第二染色图像。
在本公开的一种示例性实施例中，所述对抗生成网络包括：
第一生成器，用于将所述原始染色图像转换为第一染色图像；
判别器，用于对所述第一染色图像和参考染色图像进行判别；
第二生成器，用于结合所述原始染色图像的染色特征，将所述第一染色图像转换为第二染色图像；
训练控制模块，用于根据所述原始染色图像、所述第二染色图像以及所述判别器的判别结果计算损失函数；以及根据所述损失函数修正所述对抗生成网络，直至所述损失函数达到目标值。
在本公开的一种示例性实施例中，所述对抗生成网络包括：
第一生成器，用于将所述原始染色图像转换为第一染色图像；以及，将第三染色图像转换为第四染色图像；
第一判别器，用于对所述第一染色图像和参考染色图像进行判别；
第二生成器，用于结合所述原始染色图像的染色特征，将所述第一染色图像转换为第二染色图像；以及，结合所述原始染色图像的染色特征，将所述参考染色图像转换为所述第三染色图像；
第二判别器，用于对所述第三染色图像和所述原始染色图像进行判别；
训练控制模块，用于根据所述原始染色图像、第二染色图像、第四染色图像以及所述第一判别器、第二判别器的判别结果计算损失函数；以及，根据所述损失函数修正所述对抗生成网络，直至所述损失函数达到目标值。
根据本公开的第六方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的方法。
根据本公开的第七方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的方法。
本公开示例性实施例可以具有以下部分或全部有益效果：
在本公开的一示例实施方式所提供的基于人工智能的图像处理模型生成方法中，创新性的引入原始染色图像的染色特征作为对抗生成网络的输入，一方面，可以结合原始染色图像的染色特征辅助生成特定色彩的染色图像(即第二染色图像)，从而可以确保循环一致性损失函数能够被正确的计算，使得模型能够收敛，从而能够保证色彩转换的准确性；另一方面，由于染色特征的引入，可以使得不同色彩风格的染色图像都可以正确的转换为第二染色图像，因此相比于现有技术中对于样本数据的高要求，本示例实施方式中的方法对于样本数据基本不做特殊要求；再一方面，由于在训练过程中可以使用各种色彩风格的样本数据，因此训练得到的模型也可以相应的对于各种色彩风格的染色图像进行色彩归一化转换，突破了现有技术只能在两种特定色彩风格的染色图像之间进行色彩转换的局限，使得模型的泛化能力得到较大的增强，从而具有更广阔的应用场景。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了可以应用本公开实施例的一种图像处理模型生成方法及装置的示例性系统架构的示意图；
图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图；
图3示意性示出了根据本公开的一个实施例的图像处理模型生成方法的流程图；
图4示意性示出了根据本公开的一个实施例中对抗生成网络的架构及处理流程图；
图5示意性示出了根据本公开的一个实施例中对对抗生成网络进行训练的流程图；
图6示意性示出了根据本公开的一个实施例中计算损失函数的步骤的流程图；
图7示意性示出了根据本公开的一个实施例中对对抗生成网络进行训练的流程图；
图8示意性示出了根据本公开的一个实施例中对原始染色图像进行聚类的流程图；
图9示意性示出了根据本公开的一个实施例中对原始染色图像进行聚类得到的聚类簇；
图10示意性示出了根据本公开的一个实施例中原始染色图像和参考染色图像的染色矩阵对比图；
图11示意性示出了根据本公开的一个实施例中对染色图像进行色彩转换的实例图；
图12示意性示出了根据本公开的一个实施例的图像处理方法的流程图；
图13示意性示出了根据本公开的一个实施例的图像处理模型生成装置的框图；
图14示意性示出了根据本公开的一个实施例的图像处理装置的框图；
图15示意性示出了根据本公开的另一个实施例的图像处理装置的框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了可以应用本公开实施例的一种图像处理模型生成方法及装置、图像处理方法及装置的示例性应用环境的系统架构的示意图。
如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
本公开实施例所提供的图像处理模型生成方法以及图像处理方法一般由服务器105执行，相应地，图像处理模型生成装置一般设置于服务器105中。但本领域技术人员容易理解的是，本公开实施例所提供的图像处理模型生成方法以及图像处理方法也可以由终端设备101、102、103执行，相应的，图像处理模型生成装置及图像处理装置也可以设置于终端设备101、102、103中，本示例性实施例中对此不做特殊限定。
图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图2示出的电子设备的计算机系统200仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图2所示，计算机系统200包括中央处理单元(CPU)201，其可以根据存储在只读存储器(ROM)202中的程序或者从存储部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。
以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。
特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的方法和装置中限定的各种功能。在一些实施例中，计算机系统200还可以包括AI(ArtificialIntelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图3～图12所示的各个步骤等。
以下对本公开实施例的技术方案进行详细阐述：
本示例实施方式中，图像处理模型处理的图像主要为染色图像；染色图像是指使用化学方法或其他方法影响物质本身而使其着色后，通过图像采集设备对其取像得到的图像。举例而言，很多生物显微玻片标本(例如病理切片)等制作过程中，会先破坏细胞膜的选择透过性，再将生物组织浸入染色剂内，使组织细胞的某一部分染上与其他部分不同的颜色或深度不同的颜色，产生不同的折射率，以便观察。其中，使用最为广泛的是苏木精-伊红(Hematoxylin and Eosin,H&E)染色法；苏木精为碱性染料，可以将细胞质和胞质内某些组织染成蓝色或蓝紫色；伊红为酸性染料，可以将细胞质和细胞间质内某些组织染成红色或紫红色；此外，常用的染色方法还有银染法等，本示例性实施例中对于染色图像的来源不进行特殊限定。除此之外，本示例实施方式中的染色图像还可以是通过计算机渲染等方式人工生成的染色图像或其他染色图像，这同样属于本公开的保护范围。
随着时代的发展，越来越多的医院机构及科研机构将实体的病理切片等生物显微玻片标本使用数字扫描设备转换为数字染色图像，进而用于诊断或研究；然而，由于切片的厚度、染色流程、数字扫描设备的型号等差异，导致不同的染色图像存在明显的色彩差异。不同染色图像的色彩差异对于医生的诊断或科研人员的研究几乎没有影响，但对于染色图像的计算机处理存在非常显著影响。例如，在一个机构的染色图像基础上开发的处理算法通常无法在另一个机构的染色图像上获得相同的性能。因此，首先需要将不同的染色图像的色彩风格归一化到相同的范围。
人工智能技术正在快速的发展，从传统的机器学习到如今的深度学习，人类已经能够在某些任务上创造出一些具有自我决策能力的“智能模型”。在早期的传统机器学习时代，人们需要精心设计如何从数据中提取有用的特征，设计针对特定任务的目标函数，再利用一些通用的优化算法来搭建机器学习系统。在深度学习崛起之后，人们很大程度上不再依赖于精心设计的特征，而让神经网络去自动学习有用的特征。在有了对抗生成网络之后，在很多场景中已不再需要精心设计的目标函数。
结合上述人工智能技术中的对抗生成网络，本示例实施方式中的一种技术方案是，基于样本染色图像，对对抗生成网络进行训练，从而利用训练后的对抗生成网络对染色图像进行归一化处理。下面以循环对抗生成网络为例进行说明。具体而言：
首先，获取具有第一色彩的染色图像集合A以及具有第二色彩的染色图像集合B作为样本数据集。其次，循环对抗生成网络的训练过程包括正向阶段和反向阶段；在正向阶段，可以将集合A中的染色图像XA通过第一生成器转换为染色图像
Figure BDA0002168472450000141
接着，将得到的染色图像
Figure BDA0002168472450000142
与集合B中的染色图像随机混合，利用判别器对转换结果进行判别同时对判别器本身进行训练；随后，通过第二染色器将染色图像
Figure BDA0002168472450000143
转换为染色图像
Figure BDA0002168472450000144
并基于染色图像
Figure BDA0002168472450000145
和染色图像XA的差异计算一致性损失函数；在反向阶段，则将集合B中的染色图像输入至第一生成器，其余过程与正向阶段类似。最后，基于两个阶段的一致性损失函数以及判别器的损失函数，对循环对抗生成网络进行修正。在实际使用时，可以利用训练好的第一生成器或第二生成器，对染色图像集合A以及染色图像集合B中的染色图像的色彩风格进行相互转换。
但上述方案存在一些待改进之处：例如，在训练过程中，对于样本数据的要求较高，需要同一个样本染色图像集合中的染色图像色彩一致；但实际应用中很难找到这样色彩一致的染色图像；而如果不进行这种限制，模型的循环一致性将无法保证，导致训练无法收敛，色彩转换准确性降低。同时，由于这样的限制，训练得到的模型只能在两种特定色彩的染色图像(XA和XH)之间进行色彩的相互转换，如果出现另一种与之前色彩都不同的染色图像，色彩归一化将会出现问题；即模型的泛化能力不足，导致模型的应用场景较小。
基于上述一个或多个问题，本示例实施方式提供了一种基于人工智能技术中的对抗生成网络实现的，新的图像处理模型生成方法。该图像处理模型生成方法可以应用于上述服务器105，也可以应用于上述终端设备101、102、103中的一个或多个，本示例性实施例中对此不做特殊限定。参考图3所示，该图像处理模型生成方法可以包括以下步骤：
步骤S310.获取原始染色图像的染色特征。
步骤S320.将所述原始染色图像及其染色特征输入对抗生成网络，对所述对抗生成网络进行训练；在所述训练中包括：将所述原始染色图像转换为第一染色图像以及结合所述原始染色图像的染色特征将所述第一染色图像转换为第二染色图像。
步骤S330.基于训练后的对抗生成网络获取图像处理模型。
在本示例实施方式所提供的图像处理模型生成方法中，创新性的引入原始染色图像的染色特征作为对抗生成网络的输入，一方面，可以结合原始染色图像的染色特征辅助生成特定色彩的染色图像(即第二染色图像)，从而可以确保循环一致性损失函数能够被正确的计算，使得模型能够收敛，从而能够保证色彩转换的准确性，这一点也得到了实验验证；另一方面，由于染色特征的引入，可以使得不同色彩风格的染色图像都可以正确的转换为第二染色图像，因此相比于现有技术中对于样本数据的高要求，本示例实施方式中的方法对于样本数据基本不做特殊要求；再一方面，由于在训练过程中可以使用各种色彩风格的样本数据，因此训练得到的模型也可以相应的对于各种色彩风格(甚至未处理过的色彩风格)的染色图像进行色彩归一化转换，突破了现有技术只能在两种特定色彩风格的染色图像之间进行色彩转换的局限，使得模型的泛化能力得到较大的增强，从而具有更广阔的应用场景。
下面，对于本示例实施方式的上述步骤进行更加详细的说明。
步骤S310.获取原始染色图像的染色特征。
本示例实施方式中，原始染色图像即色彩归一化之前的染色图像，下面将原始染色图像所在的染色图像集合记为染色图像集合A；原始染色图像可以是任意色彩风格的染色图像；但为了提高图像处理模型的泛化能力，染色图像集合A中的不同的染色图像具有的色彩风格越多越好。染色图像的染色特征是指能够描述整张染色图像染色状态的信息，其可以表现为向量、矩阵或者其他形式。
本示例实施方式中，可以通过多种方式获取原始染色图像的染色特征。举例而言，可以首先计算所述原始染色图像的染料吸收系数，再根据所述原始染色图像的染料吸收系数计算原始染色图像的染色特征。以苏木精-伊红染色图像为例，在苏木精-伊红染色的切片中，苏木精和伊红分别结合特定的组织组织，并且吸收不同波长的光。这个过程可由比尔-朗伯定律表示：
Figure BDA0002168472450000161
其中，V表示染料的吸收系数，I0表示入射光强度(通常是白光，可视为固定参数)，It表示透射光强度(可以通过染色图像获得)；因此，在得到染色图像之后，即可基于染色图像本身计算该染色图像的染料吸收系数。
此外，苏木精-伊红染色染色过程可以表示为染料本身的浓度与每个像素点上染料附着的比例的乘积，即：
It＝I0exp(-WH)
其中，W为染色矩阵，H为每个像素点上的染料强度矩阵。将上述两式合并可以得到：
V＝WH
非负矩阵因子分解(Non-ngative Matrix Factor，NMF)算法能够找到一非负矩阵W和一个非负矩阵H，满足V≈WH，从而将一个非负矩阵分解为两个非负矩阵的乘积。因此，在计算出所述原始染色图像的染料吸收系数V之后，即可以对染料吸收系数V进行非负矩阵因子分解，从而得到染色矩阵W和染料强度矩阵H；染色矩阵W即可作为所述原始染色图像的染色特征。
例如，本示例实施方式中可通过稀疏非负矩阵因子分解法(Sparse Non-negativeMatrix Factorization，SNMF)对染料吸收系数V进行分解；稀疏非负矩阵因子分解法中通过引入稀疏性限制，可以保证染料吸收系数V所需要的基向量个数最小化，同时使基向量的冗余尽可能达到最小。但在本公开的其他示例性实施例中，也可以采用其他非负矩阵因子分解方法得到上述染色矩阵，例如采用基本NMF算法、基于散度偏差的NMF算法、基于加权的NMF算法、基于分类的NMF算法等，本示例性实施例中对此不做特殊限定。
通过上述方法，即可得到染色图像集合A中各原始染色图像Ai的染色特征
Figure BDA0002168472450000171
需要说明的是，在上述示例性实施例中，染色图像的染色特征为染色矩阵；但在本公开的其他示例性实施例中，染色特征也可以为向量或者其他形式；同时，染色图像的染色特征也可以通过卷积神经网络(例如ResNet、Inception等)模型或其他特征提取模型从染色图像中提取得到；这同样属于本公开的保护范围。
步骤S320.将所述原始染色图像及其染色特征输入对抗生成网络，对所述对抗生成网络进行训练。
本示例实施方式中，以循环对抗生成网络为例进行说明。参考图4所示，循环对抗生成网络通常包括第一生成器GA、第二生成器GB、第一判别器DB以及第二判别器DA；其中，第一生成器GA、第二生成器GB、第一判别器DB以及第二判别器DA可以为卷积神经网络模型、残差网络模型，还可以为如Uet、LinkNet、DenseNet等其他网络模块；本示例性实施例中对此不做特殊限定。参考图5所示，对该对抗生成网络进行训练可以包括步骤S510～S560。其中步骤S510以及步骤S520为正向阶段；步骤S530以及步骤S540为反向阶段。详细而言：
在步骤S510中，通过所述第一生成器GA将所述原始染色图像Ai转换为第一染色图像
Figure BDA0002168472450000181
并通过所述第一判别器DB对所述第一染色图像
Figure BDA0002168472450000182
和所述参考染色图像Bi进行判别。
上述第一生成器GA主要用于将输入的染色图像转换为色彩归一化后的染色图像。本示例实施方式中，第一生成器GA可以为深度学习网络；举例而言，第一生成器GA可以为残差神经网络，该残差神经网络可以包括依次级联的卷积网络、残差网络以及反卷积网络。将原始染色图像Ai输入第一生成器GA后，所述原始染色图像Ai依次经过卷积网络、残差网络以及反卷积网络的处理，生成第一染色图像
Figure BDA0002168472450000183
即疑似参考染色图像。在本公开的其他示例性实施例中，第一生成器GA也可以为如循环神经网络等其他处理模型，本示例性实施例中对此不做特殊限定。
本示例实施方式中，各所述参考染色图像具有一致的染色色彩；将各原始染色图像进行色彩归一化之后的色彩风格应与参考染色图像的染色色彩一致。本示例实施方式中，将参考染色图像所在的集合记为染色图像集合B；染色图像集合B中的染色图像具有一致的染色色彩。关于参考染色图像的获取，将在下文进行详述；此处暂不详述。
上述第一判别器DB主要用于对第一生成器GA输出的疑似参考染色图像与参考染色图像进行判别；如果第一判别器DB有效，但无法区分疑似参考染色图像与参考染色图像，则说明第一生成器GA转换的染色图像已可以满足要求。本示例实施方式中，第一判别器DB可以为卷积神经网络；举例而言，该卷积神经网络可以包括输入层、卷积层、池化层以及全连接层，此外，还可以添加一个用于分类的分类器(如Softmax分类器)。将第一染色图像
Figure BDA0002168472450000184
以及染色图像集合B中的参考染色图像输入至该卷积神经网络之后，通过该卷积神经网络可以从第一染色图像
Figure BDA0002168472450000185
以及参考染色图像中提取特征，然后进一步判断这些特征是否属于特定类别，从而实现对于第一染色图像
Figure BDA0002168472450000186
和参考染色图像的判别。当然在本公开的其他示例性实施例中，也可以在上述第一生成器GA后直接级联分类器(如Softmax分类器)；或者，第一判别器DB可以为如支持向量机(Support Vector Machine,SVM)或贝叶斯分类器等其他判别模型；本示例性实施例中对此不做特殊限定。
在步骤S520中，结合所述原始染色图像Ai的染色特征，通过所述第二生成器GB将所述第一染色图像
Figure BDA0002168472450000191
转换为第二染色图像
Figure BDA0002168472450000192
本示例实施方式中，可以将所述原始染色图像Ai的染色特征添加至所述第一染色图像
Figure BDA0002168472450000193
的颜色通道，得到混合图像；然后通过所述第二生成器GB将所述混合图像转换为所述第二染色图像
Figure BDA0002168472450000194
举例而言，首先将染色矩阵进行扩展，使染色矩阵行列数与原始染色图像Ai的像素行列数相同，然后将染色矩阵中的值与第一染色图像中对应位置的像素的颜色通道进行连接。例如：原始染色图像Ai的染色矩阵
Figure BDA0002168472450000195
为：
Figure BDA0002168472450000196
以第一染色图像的像素包括RGB(红绿蓝)三个颜色通道为例，则第一染色图像可以表示为：
Figure BDA0002168472450000197
将染色矩阵中的值与第一染色图像中对应位置的像素的颜色通道进行连接之后，混合图像则可以表示为：
Figure BDA0002168472450000198
其中，函数f可以表示将染色特征中的值与第一染色图像中对应位置的像素的RGB值直接组合，也可以表示进行乘积运算或其他处理，本示例性实施例中对此不做特殊限定。
上述第二生成器GB主要用于将输入的混合图像转换为色彩归一化之前的染色图像。本示例实施方式中，与第一生成器GA类似，第二生成器GB可以为深度学习网络；举例而言，第二生成器GB可以为残差神经网络，该残差神经网络可以包括依次级联的卷积网络、残差网络以及反卷积网络。将第一染色图像
Figure BDA0002168472450000201
与染色特征的混合图像输入第二生成器GB后，所述混合图像依次经过卷积网络、残差网络以及反卷积网络的处理，生成第二染色图像
Figure BDA0002168472450000202
即一个疑似原始染色图像。在本公开的其他示例性实施例中，第二生成器GB也可以为如循环神经网络等其他处理模型，本示例性实施例中对此不做特殊限定。
相比于现有技术，本示例实施方式中由于加入了染色特征辅助对第一染色图像进行转换，确保了对第一染色图像的转换可以正确的完成。
在步骤S530中，结合所述原始染色图像的染色特征，通过所述第二生成器GB将所述参考染色图像Bj转换为第三染色图像
Figure BDA0002168472450000203
并通过所述第二判别器DA对所述第三染色图像
Figure BDA0002168472450000204
和所述原始染色图像进行判别。
本示例实施方式中，可以将原始染色图像的染色特征添加至所述参考染色图像Bj的颜色通道，得到混合图像；然后通过所述第二生成器GB将所述混合图像转换为所述第三染色图像
Figure BDA0002168472450000205
第三染色图像
Figure BDA0002168472450000206
即一个疑似原始染色图像。
上述第二判别器DA主要用于对第二生成器GB输出的疑似原始染色图像与染色图像集合B中的真正原始染色图像进行判别；如果第二判别器DA有效，但无法区分疑似原始染色图像与真正原始染色图像，则说明第二生成器GB转换的染色图像已可以满足要求。本示例实施方式中，第二判别器DA与第一判别器DB类似，可以为卷积神经网络、支持向量机或贝叶斯分类器等判别模型。
在步骤S540中，通过所述第一生成器GA将所述第三染色图像
Figure BDA0002168472450000207
转换为第四染色图像
Figure BDA0002168472450000208
即一个疑似参考染色图像。本示例实施方式中，第一生成器GA将第三染色图像
Figure BDA0002168472450000209
转换为第四染色图像
Figure BDA00021684724500002010
的过程，与将原始染色图像Ai转换为第一染色图像
Figure BDA00021684724500002011
的过程类似，因此此处不再重复赘述。
在步骤S550中，根据所述原始染色图像Ai、第二染色图像
Figure BDA00021684724500002012
参考图像Bj、第四染色图像
Figure BDA00021684724500002013
以及所述第一判别器DB、第二判别器DA的判别结果计算损失函数。举例而言：
参考图6所示，本示例实施方式中，所述计算损失函数可以包括：
S610.根据所述第一判别器DB对于所述第一染色图像和所述参考染色图像的判别结果计算第一损失函数。
第一损失函数可以用于表征第一判别器DB的判别性能。本示例实施方式中，可以采用多种方式计算第一损失函数。例如，本示例实施方式中可以采用损失函数CrossEntropy交叉熵表示第一判别器DB的损失函数；即通过
Figure BDA0002168472450000211
表示第一损失函数
Figure BDA0002168472450000212
再例如，本示例实施方式中还可以采用损失函数Squaring Loss、Hinge Loss、Contrastive Loss等其他损失函数表示第一损失函数，且本示例性实施例中并不以此为限。
S620.根据所述第二染色图像与原始染色图像Ai的一致性计算第二损失函数。
第二损失函数又称重建函数或循环一致性损失函数，用于表征第二染色图像与原始染色图像Ai的一致性。本示例实施方式中，第二损失函数
Figure BDA0002168472450000213
可以通过公式
Figure BDA0002168472450000214
表示。其中，‖·‖1为矩阵的一范数。当然，本领域技术人员也可以通过如最小二乘法等其他方式表示第二损失函数，本示例性实施例中对此不做特殊限定。
S630.根据所述第二判别器DA对于所述第三染色图像和所述原始染色图像Ai的判别结果计算第三损失函数。第三损失函数
Figure BDA0002168472450000215
的计算方法与第一损失函数类似，因此此处不再重复赘述。
S640.根据所述第四染色图像与参考染色图像的一致性计算第四损失函数。与第二损失函数类似，本示例实施方式中，第四损失函数
Figure BDA0002168472450000216
可以通过公式
Figure BDA0002168472450000217
表示。其中，‖·‖2为矩阵的二范数。当然，本领域技术人员也可以通过如最小二乘法等其他方式表示第四损失函数，本示例性实施例中对此不做特殊限定。
S650.根据所述第一损失函数至第四损失函数确定所述对抗生成网络的损失函数。举例而言，对抗生成网络的损失函数L可以表示为：
Figure BDA0002168472450000218
其中，
Figure BDA0002168472450000219
表示第二判别器DA的损失函数，即第三损失函数；
Figure BDA00021684724500002110
表示第一判别器DB的损失函数，即第一损失函数；
Figure BDA00021684724500002111
表示原始染色图像Ai与疑似原始染色图像，即第二染色图像
Figure BDA0002168472450000221
的循环一致性损失函数，即第二损失函数；
Figure BDA0002168472450000222
表示参考染色图像Bj与疑似参考染色图像，即第四染色图像
Figure BDA0002168472450000223
的循环一致性损失函数，即第四损失函数；λ为比例系数，用于调整权重。
在步骤S560中，根据所述损失函数修正所述对抗生成网络，直至所述损失函数达到目标值。
当损失函数L没有达到目标值时，则可以进行反向传播，利用梯度下降等优化算法对对抗生成网络中的第一生成器GA、第二生成器GB、第一判别器DB以及第二判别器DA的参数分别进行修正；例如，在第一生成器GA、第二生成器GB、第一判别器DB以及第二判别器DA为卷积神经网络模型时，可以对卷积神经网络模型的卷积权值以及偏置参数等进行更新，并重复上述步骤S510至步骤550，直至所述损失函数达到目标值。
上述示例性实施例中，是以循环对抗生成网络为例进行的说明。但在本公开的其他示例性实施例中，对抗生成网络也可以为如StarGAN(星型对抗生成网络)等其他类型的对抗生成网络，本示例性实施例中对此不做特殊限定。此外，在部分对抗生成网络中，可以不进行上述反向阶段；例如，在本公开的一种示例性实施例中，所述对抗生成网络包括第一生成器、第二生成器以及判别器；参考图7所示，对所述对抗生成网络进行训练可以包括步骤S710至步骤740。其中：
在步骤S710中，通过所述第一生成器将所述原始染色图像转换为第一染色图像，并通过所述判别器对所述第一染色图像和所述参考染色图像进行判别。在步骤720中，结合所述原始染色图像的染色特征，通过所述第二生成器将所述第一染色图像转换为第二染色图像。在步骤S730中，根据所述原始染色图像、所述第二染色图像以及所述判别器的判别结果计算损失函数；本示例实施方式中，所述计算损失函数可以包括：根据所述判别器对于所述第一染色图像和所述参考染色图像的判别结果计算第一损失函数；根据所述第二染色图像与原始染色图像的一致性计算第二损失函数；以及根据所述第一损失函数以及第二损失函数确定所述对抗生成网络的损失函数。在步骤S740中，根据所述损失函数修正所述对抗生成网络，直至所述损失函数达到目标值。
本示例实施方式中，步骤S710至步骤740的具体实现与上述步骤S510、S520、S550以及S560类似，因此此处不再重复赘述。
上述本示例实施方式中，参考染色图像可以是人工筛选或指定的染色图像，也可以是通过机器学习等方法自动获取的染色图像。例如，本示例实施方式中，可以从所述原始染色图像中获取所述参考染色图像，从而进一步降低对于训练数据的要求。参考图8所示，本示例实施方式中，可以通过下述步骤S810以及步骤S820从所述原始染色图像中获取所述参考染色图像。其中：
在步骤S810中，基于各所述原始染色图像的染色特征，对所述原始染色图像进行聚类。
如上所述，本示例实施方式中的原始染色图像包括多种色彩风格的染色图像。在获取各个原始染色图像的染色特征之后，可以根据各原始染色图像的染色特征，通过k-means算法、k-medoids算法或者clara算法等聚类算法对所有所述原始染色图像进行聚类；以k-means算法聚类为例，聚类过程可以包括下述步骤S811至步骤S814。其中：
在步骤S811中，选取预设数目的原始染色图像作为初始聚类中心。
本示例实施方式中，首先确定聚类簇的数量；聚类簇的数量可以依经验确定，同时也可以进一步经过不断的迭代测试，最终确定最合适的聚类簇数量；下文以4个聚类簇即聚类簇A0、聚类簇B0、聚类簇C0以及聚类簇D0为例进行说明。在确定聚类簇的数量之后，可以选取对应数量的原始染色图像分别作为初始聚类中心。例如，对于聚类簇A0，初始选取的原始染色图像记为a1；对于聚类簇B0，初始选取的原始染色图像记为b1；对于聚类簇C0，初始选取的原始染色图像记为c1；对于聚类簇D0，初始选取的原始染色图像记为d1；初始选取的方式可以是人工选取，也可以是随机选取或其他选取方式，本示例性实施例中对此不做特殊限定。
在步骤S812中，选择一未聚类的原始染色图像作为当前原始染色图像。
在步骤S813中，根据染色特征计算所述当前原始染色图像和当前各聚类中心的距离。
举例而言，假设当前聚类簇A0中原始染色图像个数为o，聚类簇B0中原始染色图像个数为p，聚类簇C0中原始染色图像个数为k，聚类簇D0中原始染色图像个数为m。在各聚类簇中，每一个原始染色图像均被表示为n维向量。因此对聚类簇A0、聚类簇B0、聚类簇C0、聚类簇D0的一般化表示如下；其中其中，N为主题的数量，RN表示是N维向量空间：
A0＝{a1,a2,...,ao}ai∈RN(i＝1,2,...,o)
B0＝{b1,b2,...,bp}bi∈RN(i＝1,2,...,p)
C0＝{c1,c2,...,ck}ci∈RN(i＝1,2,...,k)
D0＝{d1,d2,...,dm}di∈RN(i＝1,2,...,m)
在得到聚类簇A0、聚类簇B0、聚类簇C0、聚类簇D0的一般化表示后，则聚类簇A0、聚类簇B0、聚类簇C0、聚类簇D0的聚类中心μa、μb、μc、μd可以通过下式计算：
Figure BDA0002168472450000241
Figure BDA0002168472450000242
Figure BDA0002168472450000243
Figure BDA0002168472450000244
即在本示例实施方式中，聚类簇的聚类中心计算的方法是计算聚类簇中所有原始染色图像的特征应向量的平均值，最终得到的μa、μb、μc、μd均为n维向量。但在本公开的其他示例性实施例中，也可以通过其他方式计算聚类簇的聚类中心，本示例性实施例中并不以此为限。
在计算得到各聚类簇的聚类中心之后，对于所述当前原始染色图像，可以计算当前原始染色图像的染色特征N与聚类簇A0、聚类簇B0、聚类簇C0、聚类簇D0的聚类中心μa、μb、μc、μd的距离Dis_a、Dis_b、Dis_c、Dis_d。例如：
Dis_a＝||N-μa||2
Dis_b＝||N-μb||2
Dis_c＝||N-μc||2
Dis_d＝||N-μd||2
其中，||X-Y||是向量作差之后各分量的平方和的开根号。
需要说明的，在本示例实施方式中，计算的是欧式距离，但在本公开的其他示例性实施例中，也可以计算马氏距离、余弦距离、曼哈顿距离等；这些同样属于本公开的保护范围。
在步骤S814中，将所述当前原始染色图像分配至距离最近的聚类中心，并在分配后重新计算所述聚类中心。
如果该所述原始染色图像与一所述聚类簇的聚类中心的距离最小，则将该所述原始染色图像分配至该所述聚类簇。举例而言，对于上述当前原始染色图像，如果其与所述聚类簇A0的聚类中心的距离最小，则将上述当前原始染色图像分配至所述聚类簇A0；如果其与所述聚类簇B0的聚类中心的距离最小，则将上述当前原始染色图像分配至所述聚类簇B0。
在对当前原始染色图像分配完毕之后，则可以重新计算聚类簇的聚类中心。本示例实施方式中，可以通过上述步骤S813中的方法重新计算其聚类中心。然后，迭代上述步骤S812～步骤S814，直至满足聚类终止条件，例如聚类终止条件可以为，对于所有原始染色图像均聚类完成。
在步骤S820中，将位于一聚类簇中的所述原始染色图像，作为所述参考染色图像。
参考图9所示，在聚类完成之后，可以得到多个聚类簇。染色图像集合A和其中任意聚类簇(下称染色图像集合B)中的染色图像的相互关系如图10所示：染色图像集合A包含多种色彩风格的染色图像，染色图像集合B为染色图像集合A的子集。图10中上方的坐标系表示染色矩阵在RGB空间的位置，每一个向量表示一张染色图像的染色矩阵，染色图像集合A中的色彩风格很多，因此其染色矩阵的方向及位置也有多种情况；染色图像集合B来源于染色图像集合A聚类的子集，其色彩风格单一，染色矩阵的方向也较为一致；由于位于同一聚类簇中的染色图像均具有相同的染色色彩风格；因此，可以选择位于同一聚类簇中的所述原始染色图像，作为所述参考染色图像。如上所述，染色图像集合A和B在染色矩阵的辅助下，可以通过第一生成器GA以及第二生成器GB相互转化。
此外，发明人还使用Camelyon16(癌症细胞区域检测竞赛16)数据集中提取的256×256的染色图像作为输入数据，通过本示例实施方式中的方法对对抗生成网络进行训练；在训练约200个迭代周期之后即可获得较好的效果。训练过程中，第一生成器GA以及第二生成器GB输出的部分结果如图11所示。
图11左侧是正向训练阶段第一生成器GA以及第二生成器GB输出的结果。左侧第一行输入的原始染色图像A的染色是比较偏紫色的，经过第一生成器GA之后，其颜色转换为棕色，再经过第二生成器GB之后，恢复到原来的染色状态，这个恢复过程由本示例实施方式中的染色特征辅助进行。左侧第二行的输入图像染色偏红，第一生成器GA同样可以将其转换为棕色，也同样可以由第二生成器GB进行还原。左侧第三行的染色本身就是棕色，第一生成器GA和第二生成器GB不会对其进行明显的色彩转换。由此，第一生成器GA确实实现了，将不同色彩风格的染色图像转换为相同色彩风格的染色图像的功能。图11右侧是反向训练阶段的输出结果，其结果与正向训练阶段类似，此处不再赘述。
步骤S330.基于训练后的对抗生成网络获取图像处理模型。
举例而言，本示例实施方式中，可以将修正后的所述对抗生成网络中的第一生成器GA作为所述图像处理模型；通过第一生成器GA，即可将不同色彩风格的染色图像转换为相同色彩风格的染色图像。
进一步的，本示例实施方式还在上述图像处理模型训练方法的基础上提供了一种基于人工智能的图像处理方法。参考图12所示，该图像处理方法可以包括步骤S1210至步骤S1220。其中：
在步骤S1210中，获取原始染色图像的染色特征。
在步骤S1230中，将所述原始染色图像及其染色特征输入对抗生成网络，对所述对抗生成网络进行训练；在所述训练中包括：将所述原始染色图像转换为第一染色图像以及结合所述原始染色图像的染色特征将所述第一染色图像转换为第二染色图像。
在步骤S1230中，基于训练后的对抗生成网络获取图像处理模型。
关于步骤S1210至步骤S1230的具体细节已经在上文有详细说明，此处不再重复赘述。
在步骤S1240中，通过获取的所述图像处理模型对待处理染色图像进行处理。举例而言，本示例实施方式中，可以将修正后的所述对抗生成网络中的第一生成器GA作为所述图像处理模型；通过第一生成器GA，即可将不同色彩风格的染色图像转换为相同色彩风格的染色图像。
在实际使用过程中，只需将待进行色彩归一化的染色图像输入到第一生成器GA中，其输出结果即为色彩归一化之后的染色图像。
为了进一步验证本公开的有效性，发明人将训练好的图像处理模型与其他的色彩归一化方法进行了比较。具体而言，将Camelyon17(癌症细胞区域检测竞赛17)数据集中导出的256×256的染色图像作为输入，分别使用学者Reinhard、Macenko和Vahadane提出的方法进行色彩归一化。接着，将归一化之后的染色图像作为癌症二分类任务的输入，使用ResNet50作为分类网络，区分当前染色图像中是否含有癌症区域。进而，通过比较分类网络的AUC(模型评价)，反映色彩归一化方法的性能。
Camelyon17数据集来源于5个医学中心，每个医学中心的染色方法以及扫描仪型号等不尽相同，导致给出的染色图像的色彩有很大差异。我们按医学中心的数据分类，分别进行上述的比较，并计算分类网络的平均AUC作为结果。色彩归一化方法的性能比较结果如下表1所示。
表1
方法 医学中心0 医学中心1 医学中心2 医学中心3 医学中心4 平均
Original 0.8300 0.7099 0.7211 0.8450 0.8017 0.7815
Reinhard 0.7810 0.7729 0.8202 0.7962 0.7608 0.7862
Macenko 0.7407 0.7035 0.8495 0.7151 0.7263 0.7470
Vahadane 0.9266 0.7169 0.9145 0.8797 0.8044 0.8484
本公开 0.9575 0.7878 0.7897 0.9505 0.9113 0.8794
从比较结果来看，使用本公开的图像处理方法进行色彩归一化，可以使后续网络的性能在大多数情况下(4/5)都达到最优。
综上所述，在本示例实施方式所提供的图像处理模型生成方法中，创新性的引入原始染色图像的染色特征作为对抗生成网络的输入，一方面，可以结合原始染色图像的染色特征辅助生成特定色彩的染色图像(即第二染色图像)，从而可以确保循环一致性损失函数能够被正确的计算，使得模型能够收敛，从而能够保证色彩转换的准确性，这一点也得到了实验验证。另一方面，由于染色特征的引入，可以使得不同色彩风格的染色图像都可以正确的转换为第二染色图像，因此相比于现有技术中对于样本数据的高要求，本示例实施方式中的方法对于样本数据基本不做特殊要求；再一方面，由于在训练过程中可以使用各种色彩风格的样本数据，因此训练得到的模型也可以相应的对于各种色彩风格染色图像进行色彩归一化转换，突破了现有技术只能在两种特定色彩风格的染色图像之间进行色彩转换的局限，使得模型的泛化能力得到较大的增强，从而具有更广阔的应用场景。举例而言：在Camelyon16数据集上训练的模型，可以直接跨数据集的用于Camelyon17数据集上进行色彩归一化，而不会出现问题。甚至还可以跨病种，Camelyon16和Camelyon 17数据集都是乳腺淋巴结染色图像的数据集，经过测试，将Camelyon16上训练的模型可以直接用在结直肠染色图像的数据集的色彩归一化上。
此外，本公开的一个示例性实施例中，可以不需要预先设定色彩归一化的目标。学者Reinhard、Macenko和Vahadane提出的方法均需要给出一张染色图像作为色彩归一化的目标，然后才能归一化其他图像。该示例性实施例在训练过程中对原始染色图像进行聚类，并基于聚类结果选定色彩归一化的方向，不需要在实际使用时额外给出归一化的参考染色图像。
其次，本示例实施方式中的方法可通过GPU进行加速，实际使用中计算加速的性价比较高：由于本示例实施方式使用了深度学习相关的方法，可以使用各种针对深度学习优化的加速方案，其加速计算的性价比高于Reinhard、Macenko和Vahadane提出的只能使用CPU计算的方法。
最后，本示例实施方式中的训练方法可使用神经网络压缩方法移植到专用芯片上，用于各种染色图像处理仪器的前处理。例如，其中基于深度学习的方法可以使用相关的网络压缩技术，在损失少量精度的情况下极大的提高其计算速度，从而可以移植到专用的计算芯片(如FPGA(Field-Programmable Gate Array，现场可编程门阵列))上，作为生物染色图像处理仪器(如智能显微镜等)的前处理策略。
应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
进一步的，本示例实施方式中，还提供了基于人工智能的一种图像处理模型生成装置。该图像处理模型生成装置可以应用于一服务器或终端设备。参考图13所示，该图像处理模型生成装置1300可以包括特征提取模块1310、训练模块1320以及模型获取模块1330。其中：
特征提取模块1310可以用于获取原始染色图像的染色特征；训练模块1320可以用于将所述原始染色图像及其染色特征输入对抗生成网络，对所述对抗生成网络进行训练；在所述训练中包括：将所述原始染色图像转换为第一染色图像以及结合所述原始染色图像的染色特征将所述第一染色图像转换为第二染色图像；模型获取模块1330可以用于基于训练后的对抗生成网络获取图像处理模型。
在本公开的一种示例性实施例中，所述训练模块1320包括：
通过所述第一生成器将所述原始染色图像转换为第一染色图像；以及结合所述原始染色图像的染色特征，通过所述第二生成器将所述第一染色图像转换为第二染色图像。
在本公开的一种示例性实施例中，所述对抗生成网络包括第一生成器、第二生成器以及判别器；所述特征提取模块1310包括：
第一训练单元可以用于通过所述第一生成器将所述原始染色图像转换为第一染色图像，并通过所述判别器对所述第一染色图像和参考染色图像进行判别；
第二训练单元可以用于结合所述原始染色图像的染色特征，通过所述第二生成器将所述第一染色图像转换为第二染色图像；
损失函数计算单元可以用于根据所述原始染色图像、所述第二染色图像以及所述判别器的判别结果计算损失函数；
反馈修正单元可以用于根据所述损失函数修正所述对抗生成网络，直至所述损失函数达到目标值。
在本公开的一种示例性实施例中，所述损失函数计算单元通过下述方法计算损失函数：根据所述判别器对于所述第一染色图像和所述参考染色图像的判别结果计算第一损失函数；根据所述第二染色图像与原始染色图像的一致性计算第二损失函数；根据所述第一损失函数以及第二损失函数确定所述对抗生成网络的损失函数。
在本公开的一种示例性实施例中，所述对抗生成网络包括第一生成器、第二生成器、第一判别器以及第二判别器；所述特征提取模块1310包括：
第一训练单元可以用于通过所述第一生成器将所述原始染色图像转换为第一染色图像，并通过所述第一判别器对所述第一染色图像和参考染色图像进行判别；
第二训练单元可以用于结合所述原始染色图像的染色特征，通过所述第二生成器将所述第一染色图像转换为第二染色图像；
第三训练单元可以用于结合所述原始染色图像的染色特征，通过所述第二生成器将所述参考染色图像转换为第三染色图像，并通过所述第二判别器对所述第三染色图像和所述原始染色图像进行判别；
第四训练单元可以用于通过所述第一生成器将所述第三染色图像转换为第四染色图像；
损失函数计算单元可以用于根据所述原始染色图像、第二染色图像、第四染色图像以及所述第一判别器、第二判别器的判别结果计算损失函数；
反馈修正单元可以用于根据所述损失函数修正所述对抗生成网络，直至所述损失函数达到目标值。
在本公开的一种示例性实施例中，损失函数计算单元通过下述方法计算损失函数：根据所述第一判别器对于所述第一染色图像和所述参考染色图像的判别结果计算第一损失函数；根据所述第二染色图像与原始染色图像的一致性计算第二损失函数；根据所述第二判别器对于所述第三染色图像和所述原始染色图像的判别结果计算第三损失函数；根据所述第四染色图像与参考染色图像的一致性计算第四损失函数；根据所述第一损失函数至第四损失函数确定所述对抗生成网络的损失函数。
在本公开的一种示例性实施例中，第二训练单元通过下述方法将所述第一染色图像转换为第二染色图像：将所述原始染色图像的染色特征添加至所述第一染色图像的颜色通道，得到混合图像；通过所述第二生成器将所述混合图像转换为所述第二染色图像。
在本公开的一种示例性实施例中，所述特征提取模块1310用于计算所述原始染色图像的染料吸收系数，根据所述原始染色图像的染料吸收系数计算原始染色图像的染色特征。
在本公开的一种示例性实施例中，所述特征提取模块1310通过下述方法计算原始染色图像的染色特征：对所述原始染色图像的染料吸收系数进行非负矩阵因子分解，并以分解得到的染色矩阵作为所述原始染色图像的染色特征。
在本公开的一种示例性实施例中，所述装置还包括：
参考染色图像获取模块可以用于从所述原始染色图像中获取所述参考染色图像。
在本公开的一种示例性实施例中，所述参考染色图像获取模块包括：
聚类单元可以用于基于各所述原始染色图像的染色特征，对所有所述原始染色图像进行聚类；
图像选取单元可以用于将位于一聚类簇中的所述原始染色图像，作为所述参考染色图像。
在本公开的一种示例性实施例中，所述模型获取模块1330用于将修正后的所述对抗生成网络中的第一生成器作为所述图像处理模型。
进一步的，本示例实施方式中，还提供了一种基于人工智能的图像处理装置。该图像处理装置可以应用于一服务器或终端设备。参考图14所示，该图像处理装置1400可以包括特征提取模块1410、训练模块1420、模型获取模块1430以及图像处理模块1440。其中：
特征提取模块1410可以用于获取原始染色图像的染色特征；
训练模块1420可以用于将所述原始染色图像及其染色特征输入对抗生成网络，对所述对抗生成网络进行训练；在所述训练中包括：将所述原始染色图像转换为第一染色图像以及结合所述原始染色图像的染色特征将所述第一染色图像转换为第二染色图像；模型获取模块1430可以用于基于训练后的对抗生成网络获取图像处理模型；图像处理模块1440可以用于通过获取的所述图像处理模型对待处理染色图像进行处理。
进一步的，本示例实施方式中，还提供了一种图像处理装置。该图像处理装置可以应用于一服务器或终端设备。参考图15所示，该图像处理装置1500可以包括特征提取模块1510以及对抗生成网络1520。其中：
特征提取模块1510可以用于获取原始染色图像的染色特征；对抗生成网络1520能够结合所述原始染色图像及其染色特征进行训练；且在所述训练中能够将所述原始染色图像转换为第一染色图像以及结合所述原始染色图像的染色特征将所述第一染色图像转换为第二染色图像。
在本公开的一种示例性实施例中，所述对抗生成网络1520包括：
第一生成器，用于将所述原始染色图像转换为第一染色图像；
判别器，用于对所述第一染色图像和参考染色图像进行判别；
第二生成器，用于结合所述原始染色图像的染色特征，将所述第一染色图像转换为第二染色图像；
训练控制模块，用于根据所述原始染色图像、所述第二染色图像以及所述判别器的判别结果计算损失函数；以及根据所述损失函数修正所述对抗生成网络，直至所述损失函数达到目标值。
在本公开的一种示例性实施例中，所述对抗生成网络1520包括：
第一生成器，用于将所述原始染色图像转换为第一染色图像；以及，将第三染色图像转换为第四染色图像；
第一判别器，用于对所述第一染色图像和参考染色图像进行判别；
第二生成器，用于结合所述原始染色图像的染色特征，将所述第一染色图像转换为第二染色图像；以及，结合所述原始染色图像的染色特征，将所述参考染色图像转换为所述第三染色图像；
第二判别器，用于对所述第三染色图像和所述原始染色图像进行判别；
训练控制模块，用于根据所述原始染色图像、第二染色图像、第四染色图像以及所述第一判别器、第二判别器的判别结果计算损失函数；以及，根据所述损失函数修正所述对抗生成网络，直至所述损失函数达到目标值。
上述图像处理模型生成装置以及图像处理装置中各模块或单元的具体细节已经在对应的图像处理模型生成方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (13)

1.一种基于对抗生成网络的图像处理模型生成方法，所述对抗生成网络包括第一生成器、第二生成器及第一判别器；其特征在于，所述方法包括：
获取原始生物染色图像的染色特征；
通过所述第一生成器将所述原始生物染色图像转换为第一生物染色图像，并通过所述第一判别器对所述第一生物染色图像和参考生物染色图像进行判别；
将所述原始生物染色图像的染色特征添加至所述第一生物染色图像的颜色通道，得到混合图像，通过所述第二生成器将所述混合图像转换为第二生物染色图像；
根据各所述生成器以及所述判别器的输出计算所述对抗生成网络的损失函数，并根据所述损失函数对所述对抗生成网络进行训练；
基于训练后的对抗生成网络获取图像处理模型。
2.根据权利要求1所述的图像处理模型生成方法，其特征在于，计算所述对抗生成网络的损失函数，包括：
根据所述第一判别器对于所述第一生物染色图像和所述参考生物染色图像的判别结果计算第一损失函数；
根据所述第二生物染色图像与原始生物染色图像的一致性计算第二损失函数；
根据所述第一损失函数以及第二损失函数确定所述对抗生成网络的损失函数。
3.根据权利要求1所述的图像处理模型生成方法，其特征在于，所述对抗生成网络还包括第二判别器；在计算所述对抗生成网络的损失函数之前，所述方法还包括：
结合所述原始生物染色图像的染色特征，通过所述第二生成器将所述参考生物染色图像转换为第三生物染色图像，并通过所述第二判别器对所述第三生物染色图像和所述原始生物染色图像进行判别；
通过所述第一生成器将所述第三生物染色图像转换为第四生物染色图像。
4.根据权利要求3所述的图像处理模型生成方法，其特征在于，计算所述对抗生成网络的损失函数，包括：
根据所述第一判别器对于所述第一生物染色图像和所述参考生物染色图像的判别结果计算第一损失函数；
根据所述第二生物染色图像与原始生物染色图像的一致性计算第二损失函数；
根据所述第二判别器对于所述第三生物染色图像和所述原始生物染色图像的判别结果计算第三损失函数；
根据所述第四生物染色图像与参考生物染色图像的一致性计算第四损失函数；
根据所述第一损失函数至第四损失函数确定所述对抗生成网络的损失函数。
5.根据权利要求1所述的图像处理模型生成方法，其特征在于，所述获取原始生物染色图像的染色特征包括：
计算所述原始生物染色图像的染料吸收系数，根据所述原始生物染色图像的染料吸收系数计算原始生物染色图像的染色特征。
6.根据权利要求5所述的图像处理模型生成方法，其特征在于，所述计算原始生物染色图像的染色特征包括：
对所述原始生物染色图像的染料吸收系数进行非负矩阵因子分解，并以分解得到的染色矩阵作为所述原始生物染色图像的染色特征。
7.根据权利要求1～4任意一项所述的图像处理模型生成方法，其特征在于，所述方法还包括：
从多个所述原始生物染色图像中获取所述参考生物染色图像。
8.根据权利要求7所述的图像处理模型生成方法，其特征在于，从多个所述原始生物染色图像中获取所述参考生物染色图像，包括：
基于各所述原始生物染色图像的染色特征，对所有所述原始生物染色图像进行聚类；
将位于一聚类簇中的所述原始生物染色图像，作为所述参考生物染色图像。
9.根据权利要求1～4任意一项所述的图像处理模型生成方法，其特征在于，基于训练后的对抗生成网络获取图像处理模型包括：
将训练后的所述对抗生成网络中的第一生成器作为所述图像处理模型。
10.一种基于对抗生成网络的图像处理方法，所述对抗生成网络包括第一生成器、第二生成器第一判别器；其特征在于，所述方法包括：
获取原始生物染色图像的染色特征；
通过所述第一生成器将所述原始生物染色图像转换为第一生物染色图像，并通过所述第一判别器对所述第一生物染色图像和参考生物染色图像进行判别；
将所述原始生物染色图像的染色特征添加至所述第一生物染色图像的颜色通道，得到混合图像，通过所述第二生成器将所述混合图像转换为第二生物染色图像；
根据各所述生成器以及所述判别器的输出计算所述对抗生成网络的损失函数，并根据所述损失函数对所述对抗生成网络进行训练；
基于训练后的对抗生成网络获取图像处理模型；
通过获取的所述图像处理模型对待处理生物染色图像进行处理。
11.一种图像处理装置，其特征在于，包括：
特征提取模块，用于获取原始生物染色图像的染色特征；以及
对抗生成网络，所述对抗生成网络包括：
第一生成器，用于将所述原始生物染色图像转换为第一生物染色图像；
第一判别器，用于对所述第一生物染色图像和参考生物染色图像进行判别；
第二生成器，用于将所述原始生物染色图像的染色特征添加至所述第一生物染色图像的颜色通道，得到混合图像，将所述混合图像转换为第二生物染色图像；
训练控制模块，用于根据所述原始生物染色图像、所述第二生物染色图像以及所述第一判别器的判别结果计算损失函数；以及根据所述损失函数训练所述对抗生成网络，直至所述损失函数达到目标值。
12.一种图像处理装置，其特征在于，包括：
特征提取模块，用于获取原始生物染色图像的染色特征；以及
对抗生成网络，所述对抗生成网络包括：
第一生成器，用于将所述原始生物染色图像转换为第一生物染色图像；以及，将第三生物染色图像转换为第四生物染色图像；
第一判别器，用于对所述第一生物染色图像和参考生物染色图像进行判别；
第二生成器，用于将所述原始生物染色图像的染色特征添加至所述第一生物染色图像的颜色通道，得到混合图像，将所述混合图像转换为第二生物染色图像；以及，结合所述原始生物染色图像的染色特征，将所述参考生物染色图像转换为所述第三生物染色图像；
第二判别器，用于对所述第三生物染色图像和所述原始生物染色图像进行判别；
训练控制模块，用于根据所述原始生物染色图像、第二生物染色图像、第四生物染色图像以及所述第一判别器、第二判别器的判别结果计算损失函数；以及，根据所述损失函数训练所述对抗生成网络，直至所述损失函数达到目标值。
13.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-10任一项所述的方法。
CN201910755063.0A 2019-03-08 2019-03-08 图像处理模型生成方法、图像处理方法及装置、电子设备 Active CN110490247B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910755063.0A CN110490247B (zh) 2019-03-08 2019-03-08 图像处理模型生成方法、图像处理方法及装置、电子设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910177348.0A CN110263801B (zh) 2019-03-08 2019-03-08 图像处理模型生成方法及装置、电子设备
CN201910755063.0A CN110490247B (zh) 2019-03-08 2019-03-08 图像处理模型生成方法、图像处理方法及装置、电子设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910177348.0A Division CN110263801B (zh) 2019-03-08 2019-03-08 图像处理模型生成方法及装置、电子设备

Publications (2)

Publication Number Publication Date
CN110490247A CN110490247A (zh) 2019-11-22
CN110490247B true CN110490247B (zh) 2020-12-04

Family

ID=67911763

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910177348.0A Active CN110263801B (zh) 2019-03-08 2019-03-08 图像处理模型生成方法及装置、电子设备
CN201910755063.0A Active CN110490247B (zh) 2019-03-08 2019-03-08 图像处理模型生成方法、图像处理方法及装置、电子设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910177348.0A Active CN110263801B (zh) 2019-03-08 2019-03-08 图像处理模型生成方法及装置、电子设备

Country Status (1)

Country Link
CN (2) CN110263801B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909509B (zh) * 2019-11-28 2022-08-05 哈尔滨理工大学 基于InfoLSGAN和AC算法的轴承寿命预测方法
CN112994115B (zh) * 2019-12-18 2023-09-29 华北电力大学（保定） 一种基于wgan场景模拟和时序生产模拟的新能源容量配置方法
CN111242833B (zh) * 2019-12-31 2023-05-26 西安翔腾微电子科技有限公司 一种染色器管理方法、装置、电子设备及存储介质
WO2021159234A1 (zh) * 2020-02-10 2021-08-19 深圳先进技术研究院 图像处理方法、装置及计算机可读存储介质
CN111539883B (zh) * 2020-04-20 2023-04-14 福建帝视信息科技有限公司 基于强可逆对抗网络的数字病理图像h&e染色复原方法
CN114513684B (zh) * 2020-11-16 2024-05-28 飞狐信息技术（天津）有限公司 视频画质增强模型的构建方法、视频画质增强方法及装置
CN114240883B (zh) * 2021-12-16 2022-06-07 易构智能科技(广州)有限公司 一种染色体图像处理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108615073A (zh) * 2018-04-28 2018-10-02 北京京东金融科技控股有限公司 图像处理方法及装置、计算机可读存储介质、电子设备
CN108875766A (zh) * 2017-11-29 2018-11-23 北京旷视科技有限公司 图像处理的方法、装置、系统及计算机存储介质
CN109061131A (zh) * 2018-06-29 2018-12-21 志诺维思（北京）基因科技有限公司 染色图片处理方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10614287B2 (en) * 2014-06-16 2020-04-07 Siemens Healthcare Diagnostics Inc. Virtual staining of cells in digital holographic microscopy images using general adversarial networks
KR102403494B1 (ko) * 2017-04-27 2022-05-27 에스케이텔레콤 주식회사 생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법
CN108460720A (zh) * 2018-02-01 2018-08-28 华南理工大学 一种基于生成对抗网络模型改变图像风格的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875766A (zh) * 2017-11-29 2018-11-23 北京旷视科技有限公司 图像处理的方法、装置、系统及计算机存储介质
CN108615073A (zh) * 2018-04-28 2018-10-02 北京京东金融科技控股有限公司 图像处理方法及装置、计算机可读存储介质、电子设备
CN109061131A (zh) * 2018-06-29 2018-12-21 志诺维思（北京）基因科技有限公司 染色图片处理方法及装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Adversarial Stain Transfer for Histopathology Image Analysis;Aïcha BenTaieb et al;《IEEE TRANSACTIONS ON MEDICAL IMAGING》;20180331;第37卷(第3期);792-802 *
HE染色乳腺癌组织病理图像癌巢与间质分割研究;阚贤响等;《计算机工程与科学》;20170228;第39卷(第2期);311-316 *
STAIN NORMALIZATION OF HISTOPATHOLOGY IMAGES USING GENERATIVE ADVERSARIAL NETWORKS;Farhad Ghazvinian Zanjani et al;《2018 IEEE 15th International Symposium on Biomedical Imaging》;20180407;573-577 *
StainGAN: Stain Style Transfer for Digital Histological Images;M Tarek Shaban et al;《arXiv:1804.01601v1》;20180404;1-8 *
Structure-preserved color normalization for histological images;Abhishek Vahadane et al;《2015 IEEE 12th International Symposium on Biomedical Imaging》;20150723;1012-1015 *
Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks;Jun-Yan Zhu et al;《2017 IEEE International Conference on Computer Vision》;20171231;2242-2251 *

Also Published As

Publication number Publication date
CN110263801B (zh) 2022-07-08
CN110263801A (zh) 2019-09-20
CN110490247A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN110490247B (zh) 图像处理模型生成方法、图像处理方法及装置、电子设备
WO2021036471A1 (zh) 样本生成方法、装置、计算机设备及存储介质
CN109361934B (zh) 图像处理方法、装置、设备及存储介质
CN111932529B (zh) 一种图像分类分割方法、装置及系统
Jiang et al. Blind image quality measurement by exploiting high-order statistics with deep dictionary encoding network
CN110717953B (zh) 基于cnn-lstm组合模型的黑白图片的着色方法和系统
CN112800869B (zh) 图像人脸表情迁移方法、装置、电子设备及可读存储介质
WO2022166797A1 (zh) 图像生成模型的训练方法、生成方法、装置及设备
CN114037699B (zh) 一种病理图像分类方法、设备、系统及存储介质
CN112784902B (zh) 一种模态有缺失数据的图像分类方法
CN117557683A (zh) 一种新型的文本和语义分割图共同驱动的图像生成方法
CN113837179B (zh) 一种处理图像的多判别gan网络构建方法、装置、系统和存储介质
Cherian et al. A Novel AlphaSRGAN for Underwater Image Super Resolution.
CN114580510A (zh) 骨髓细胞细粒度分类方法、系统、计算机设备及存储介质
Timofeev et al. Self-supervised neural architecture search for imbalanced datasets
Xu et al. Correlation via synthesis: end-to-end nodule image generation and radiogenomic map learning based on generative adversarial network
Gong et al. A superpixel segmentation algorithm based on differential evolution
CN115115734A (zh) 基于结构分解和重染色的病理图像颜色标准化方法及装置
Hu et al. MAUN: Memory-Augmented Deep Unfolding Network for Hyperspectral Image Reconstruction
Breen et al. Generative Adversarial Networks for Stain Normalisation in Histopathology
Wei et al. Application of U-net with variable fractional order gradient descent method in rectal tumor segmentation
Wang et al. CrossU-Net: Dual-modality cross-attention U-Net for segmentation of precancerous lesions in gastric cancer
Fan et al. Non-negative Subspace Feature Representation for Few-shot Learning in Medical Imaging
CN110287982A (zh) 一种基于卷积神经网络的ct影像分类方法、装置及介质
Baldeon-Calisto et al. Deepsit: Deeply supervised framework for image translation on breast cancer analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211119

Address after: 518052 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong

Patentee after: Tencent Medical Health (Shenzhen) Co.,Ltd.

Address before: 518000 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 Floors

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.