CN111406274A - 图像着色设备、图像着色方法、图像学习设备、图像学习方法、程序及图像着色系统 - Google Patents

Abstract

基于关于目标图像的形态、形状等的信息，对目标图像进行高精确度的着色。根据本公开，提供了一种图像着色设备，包括：获取单元，从颜色已去除的图像获取脱色图像；以及着色单元，基于从脱色图像获得的形态信息，参考预先学习的形态信息和颜色信息之间的对应关系的学习结果信息，并使用与形态信息相对应的颜色对脱色图像着色。这种配置使得能够基于关于目标图像的形态、形状等的信息来高精确度地对目标图像着色。

Description

图像着色设备、图像着色方法、图像学习设备、图像学习方法、 程序及图像着色系统

技术领域

本公开涉及图像着色设备、图像着色方法、图像学习设备、图像学习方法、计算机程序及图像着色系统。

背景技术

传统上，例如，下面的专利文献1描述了一种用于使染色样本图像的染料量分布近似于标准样本图像的染料量分布以充分校正染色样本图像中的每个图像位置的染料量的技术。下面的专利文献2描述了一种通过对病理图像执行的向量分析来执行染色分离处理的技术。

引文目录

专利文献

专利文献1：日本专利申请特开第2009-014355号

专利文献2：美国专利第9036889号的说明书

发明内容

技术问题

然而，在专利文献1中描述的技术中，因为基于目标图像的染料量分布的分布形状的特征与标准样本类别的染料量分布的分布形状的特征的比较来校正染料量，所以难以根据目标图像中的形态特征和形状来施加期望的颜色。

鉴于该困难，已经存在针对基于诸如目标图像中的形态特征和形状的信息对目标图像进行高精确度着色的需求。

问题的解决方案

根据本公开，提供了一种图像着色设备，包括：获取单元，被配置为获取已脱色的脱色图像；以及着色单元，被配置为基于从脱色图像获得的形态信息，参考作为预先学习形态信息和颜色信息之间的对应关系的结果而获得的学习结果信息，使用与形态信息相对应的颜色对脱色图像着色。

根据本公开，提供了一种图像着色方法，包括：获取已脱色的脱色图像；以及基于从脱色图像获得的形态信息，参考作为预先学习形态信息和颜色信息之间的对应关系的结果而获得的学习结果信息，使用与形态信息相对应的颜色对脱色图像着色。

根据本公开，提供了一种计算机程序，使计算机起以下作用：被配置为获取已脱色的脱色图像的单元；以及被配置为基于从脱色图像获得的形态信息，参考作为预先学习形态信息和颜色信息之间的对应关系的结果而获得的学习结果信息，使用与形态信息相对应的颜色对脱色图像着色的单元。

根据本公开，提供了一种图像学习设备，包括：脱色处理单元，被配置为对单独着色的学习用图像执行脱色处理；以及学习单元，被配置为在将形态信息和颜色信息彼此关联的同时学习形态信息和颜色信息，该形态信息是在对学习用图像执行脱色处理之后从每个学习用图像获得的，该颜色信息是在对学习用图像执行脱色处理之前从一个单个学习用图像获得的。

根据本公开，提供了一种图像学习方法，包括：对单个着色学习用图像执行脱色处理；并且在将形态信息和颜色信息彼此关联的同时学习形态信息和颜色信息，形态信息是在对学习用图像执行脱色处理之后从每个学习用图像获得的，该颜色信息是在对学习用图像执行脱色处理之前从单个学习用图像获得的。

根据本公开，提供了一种计算机程序，使计算机起以下作用：被配置为对单独着色的学习用图像执行脱色处理的单元；以及被配置为在将形态信息和颜色信息彼此关联的同时学习形态信息和颜色信息的单元，该形态信息是在对学习用图像执行脱色处理之后从每个学习用图像获得的，该颜色信息是在对学习用图像执行脱色处理之前从一个单独的学习用图像获得的。

根据本公开，提供了一种图像着色系统，包括：图像学习设备，包括脱色处理单元和学习单元，该脱色处理单元被配置为对单独着色的学习用图像执行脱色处理，该学习单元被配置为在将形态信息和颜色信息彼此关联的同时学习形态信息和颜色信息，该形态信息是在对每个学习用图像执行脱色处理之后从每个学习用图像获得的，该颜色信息是在对其上执行脱色处理之前从一个单独的学习用图像获得的；以及图像着色设备，包括获取单元和着色单元，该获取单元被配置成获取已脱色的脱色图像，该着色单元被配置成基于从脱色图像获得的形态信息，参考从学习单元获得的学习结果信息，使用与形态信息相对应的颜色对脱色图像着色。

发明的有利效果

如上所述，根据本公开，能够基于诸如目标图像中的形态特征和形状的信息对目标图像进行高度精确的着色。

上面的效果不一定是限制性的，并且本说明书中描述的任何效果或可以从本说明书理解的另一种效果可以与上面的效果一起产生或代替上述效果产生。

附图说明

[图1]是示出根据本公开的实施例的系统的配置的示意图。

[图2]是示出学习用图像的数据的示例的示意图。

[图3]示意性地示出其中输入图像是通过苏木精-伊红(HE)染色而获得的HE图像的染色分离处理的分离结果。

[图4]示意性地示出其中HE图像用作输入图像的染色分离处理的分离结果的实际示例。

[图5]是示出明场图像的颜色转换的流程图。

[图6]示出其中免疫组织化学(IHC)图像转换为HE图像的情况的示例。

[图7]是示出用于荧光图像转换为明场图像的处理的流程图。

[图8]示出其中荧光图像转换成HE图像的情况的示例。

[图9]是示出当样本包括异物时用于对样本与诸如伪影的异物一起着色的处理的流程图。

[图10]是示出其中并排显示IHC图像作为输入图像且HE图像作为输出图像的情况的示例的示意图。

[图11]是示出其中观察目标对象显示在整个屏幕上，同时在屏幕的左侧显示为IHC图像而在屏幕的右侧显示为HE图像的情况的示例的示意图。

[图12]是示出其中以IHC图像作为在左侧显示的输入图像，而以HE图像作为在右侧显示的输出图像来显示在其深度方向上具有多个切片的图像的情况的示例的示意图。

具体实施方式

下面根据附图详细描述本公开的优选实施例。在本说明书和附图中，相同的附图标记用于具有基本相同的功能配置的构成元件，并且因此省略重叠的描述。

描述按以下顺序给出：

1.系统的配置示例

2.根据本实施例的系统的着色处理的具体示例

2.1.明场图像上的颜色转换

2.2.荧光图像上的颜色转换

2.3.含有伪影的样本的明场图像的示例

3.显示应用的示例

1.系统的配置示例

本公开涉及一种用于使用机器学习来执行图像的颜色转换的方法。目标图像的示例包括诸如病理染色图像的病理图像。在本实施例中，特别描述了当转换病理染色图像的颜色时，使用染料的位置和来自病理图像的染色信息来自动且高精确度地对细胞核、其它细胞区域以及组织区域着色的技术。

图1是示出根据本公开的实施例的系统1000的配置的示意图。如图1所示，该系统1000包括学习装置100、颜色转换装置200以及显示设备250。学习装置100包括学习用图像输入单元102、学习单元104以及脱色过滤器106。

学习用图像(参考图像)的红、绿、蓝(RGB)图像数据被输入到学习用图像输入单元102。学习用图像例如是如上所述的病理染色图像。输入到学习用图像输入单元102的学习用图像被输入到学习单元104。脱色过滤器106对输入到学习用图像输入单元102的学习用图像执行脱色处理。通过脱色处理得到灰度图像数据。灰度图像数据被输入到学习单元104。使用输入到其的多个这种学习用图像，学习单元104学习关于灰度图像中的形态特征和形状以及RGB数据的对应颜色的信息(下文称为形态信息)。形态特征包括纹理和灰度级。

可以使用边缘图像代替灰度图像。当要使用边缘图像时，执行用于从RGB数据检测边缘的处理，并且将所得边缘图像输入到学习单元104。学习单元104学习关于RGB数据的边缘图像和对应颜色的信息。即，脱色过滤器106用作脱色处理单元以从学习用图像中去除颜色。

对于学习单元104的学习，可以使用深度学习。深度学习是一种使用多层神经网络(深度神经网络(DNN))的机器学习技术。期望每个学习用图像包括细胞核、纤维、血细胞、脂肪、细菌等的区域。可通过将在学习处理中输入的学习用图像限制为病理染色图像，来配置不太可能导致错误颜色的学习装置100。

图2是示出学习用图像的数据的示例的示意图，并且逐像素示出通过脱色过滤器106的脱色处理而获得的灰度图像数据300和作为学习用图像本身的RGB图像数据400。图2在其左侧示出提供形态信息的灰度图像数据300。图2还在其右侧示出图像数据400，该图像数据400对应于灰度图像数据300并且提供理想的颜色信息作为正确的解决方案。因此，学习单元104相对于每个像素从关于任意形态特征和形状的信息学习像素的颜色。在本实施例中，学习单元104基本上仅学习在诸如病理图像中观察到的那些的情况下由染色产生的特征颜色。病理图像中染色产生的特征颜色在明场的情况下大约是两到三种颜色。为了增加需要进行颜色转换的染色的种类的数量，期望提供多个学习装置100。

作为学习单元104的学习的结果，获得了学习结果信息，其中关于单独的学习用图像的形态信息和颜色信息彼此关联。学习结果信息被发送到着色装置200中的着色单元206。

颜色转换装置200包括图像输入单元202、脱色过滤器204、着色单元206、染色分离单元208、显示处理单元210以及操作输入单元212。图1所示的学习装置100和颜色转换装置200的每个构成元件可以由以下组成：电路(硬件)或诸如中央处理器单元(CPU)的中央处理器；以及用于使电路或中央处理器运作的计算机程序(软件)。

要着色的输入图像被输入到图像输入单元202。输入图像被发送到脱色过滤器204。脱色过滤器204对输入图像执行脱色处理以生成灰度图像。可以使用边缘图像代替灰度图像。在这种情况下，从输入图像检测边缘图像。脱色过滤器204可以用作从学习用图像中去除颜色的脱色处理单元，并且具有检测边缘的功能。当输入图像是荧光图像时，因为荧光图像是灰度图像，所以不需要脱色过滤器202执行处理。图像输入单元202或脱色过滤器204用作获取脱色图像的获取单元。优选地，与用于学习装置100中的脱色过滤器106的元件相同的元件用于颜色转换装置200中的脱色过滤器204。然而，当输入图像具有模糊区域等时，脱色过滤器204可以对输入图像应用边缘增强过滤器以作为对其的预处理。

通过对输入图像应用脱色过滤器204获得输入图像的灰度图像。因此获得的灰度图像输入到着色单元206。染色分离单元208与脱色过滤器204执行的脱色处理并行地对输入图像执行染色分离处理。染色分离单元208使用上面的专利文献2中描述的技术，并且基于表示图像的颜色的特征的染色向量来分离输入图像的颜色。染色分离处理能够使细胞核与细胞核以外的区域区分开。

着色单元206对从学习单元104获得的学习结果信息应用关于输入灰度图像的形态信息，从而获取与形态信息相对应的颜色信息。然后，着色单元206使用与形态信息相对应的颜色信息对灰度图像着色。

在该着色期间，仅需要灰度图像使着色单元206能够执行着色。然而，当输入图像包含例如具有与细胞核相同的形状且不是细胞核的物体时，存在该物体可作为细胞核着色的可能性。因此，通过染色分离处理而获得的信息用作着色的线索(补充信息)，使得着色的精确度可以更高。

图3示意性地示出当通过苏木精-伊红(HE)染色而获得的图像(以下称为HE图像)被设置为输入图像时，通过染色分离处理的分离结果。图4示出HE图像用作输入图像时，通过染色分离处理的分离结果的实际示例。通过HE染色，HE图像中的细胞核被染为紫色，除细胞核以外的其中的组织元素被染为红色。如图3和图4所示，对每个HE图像执行的染色分离处理将细胞核分离成紫色，而将细胞核之外的区域分离成红色。

染色分离单元202从通过基于颜色的分离而获得的两个或更多个图像中提取可用作用于由着色单元206着色的线索的坐标。在坐标的提取中，通过阈值处理找到高亮度代表点，由此提取具有高于或等于某种阈值的高亮度的区域。然后获得与质心或区域中心相对应的坐标。诸如非最大抑制(NMS)的算法可以用于缩小检测到的位置。通过染色分离单元202而彼此分离的颜色和关于坐标的位置信息被提供给着色单元206作为线索，由此可以实现着色单元206的高精确度颜色转换。作为用于染色分离的染色向量，可以应用从学习用图像获得的该染色向量。作为用于染色分离的染色向量，可以应用从学习用图像获得的染色向量。

根据由染色分离单元202的染色分离处理，细胞核的区域被识别为图3和图4中的紫色区域。因此，当着色单元206执行着色时，即使根据灰度图像上的形态信息将细胞核以外的区域识别为细胞核，但该区域的坐标根据通过染色分离处理而获得的补充信息也不与任何细胞核的坐标相对应。因此，该区域可以确定为细胞核以外的区域。因此，通过染色分离处理而获得的补充信息用于由着色单元206进行的着色，由此可以高度精确地执行着色。

着色单元206通过从输入到图像输入单元202的原始图像中提取颜色，将该颜色应用到通过染色分离处理而获得的区域。例如，如果通过染色分离处理已将根据形态信息确定为不是细胞核区域的区域着色为细胞核，则使用从原始图像中的对应区域中获得的颜色对该区域着色。附加地，着色单元206能够基于通过染色分离处理而获得的区域来参考学习用图像的颜色。当参考学习用图像的颜色时，着色单元206选择原始图像中的染色向量与学习用图像中的染色向量(参考向量)之间的距离较小的颜色，并且使用该颜色作为着色的补充信息。在这种情况下，学习单元104被配置成预先提取学习用图像的染色向量。可使用机器学习提取学习用图像的染色向量。

如上所述，通过颜色转换装置200着色的处理包括：相对于每个区域或点确定并存储输入图像的细胞核、其它细胞区域、以及组织区域的颜色；将数字过滤器应用于图像以对该图像脱色，并从而获取形态或形状信息；并且通过使用相对于每个区域或点存储的颜色信息来导出基于相对于每个区域的形态或形状信息的学习颜色，并且使用理想颜色对图像进行数字染色。在着色过程中的染色分离处理的使用使“区域”的检测能够自动化。在着色过程中，“点”可被检测为通过染色分离而获得的区域的中心或质心的坐标，或者也可被检测为图像中的随机坐标。如上所述，基本上，学习单元104仅学习由染色产生的特征颜色，该特征颜色如在病理图像中观察到的那些颜色。为此，当着色单元206执行着色时，例如，如果输入图像具有具有最初不应由HE染色而显影的颜色的区域，则使用在由HE染色而显影的颜色范围内的颜色以有限的方式对该区域着色。因此，可以防止使用不期望的颜色的着色。

由着色单元206着色的图像作为输出图像被输入到显示处理单元210。显示处理单元210执行用于在显示设备250上显示输出图像的处理。来自用户的操作信息经由鼠标、键盘等输入到操作输入单元212。操作输入单元212向显示处理单元210发送操作信息。基于操作信息，显示处理单元210控制要在显示设备250上显示的显示内容。下面描述了显示处理单元210的处理。

2.根据本实施例的系统的着色处理的具体示例

接下来，描述了根据本实施例的系统的着色处理(颜色转换处理)的一些特定示例。

2.1.明场图像的颜色转换

首先，给出了明场图像的颜色转换的描述。明场图像的示例包括上述HE图像和免疫组织化学(IHC)图像。本文，在使用基于IHC的抗原-抗体反应来具体地检测组织或细胞中的特定物质时所使用的图像称为IHC图像。本实施例使得能够在这种明场图像之间进行颜色转换处理。

首先，在当输入图像是HE图像且HE图像作为输出图像要输出时，通过染色分离处理找到的颜色信息被保留为用于着色的标准颜色。如上所述，可以从原始图像中提取通过染色分离处理而获得的区域的颜色，或者可以参考学习用图像的颜色。

当对不同种类的染色的图像进行转换时，诸如当HE图像作为输出图像输出而IHC图像用作输入图像时，期望通过将参考颜色分配给通过染色分离处理而获得的颜色来设置标准颜色。例如，当HE图像作为输出图像输出而IHC图像用作输入图像时，因为细胞核在IHC图像中染为蓝色，所以将HE图像中的紫色作为与着色后的IHC图像中的蓝色相对应的标准颜色赋予细胞核的区域。因此，当IHC图像被着色并转换成HE图像时，细胞核的区域可被着色为紫色。着色单元206将参考颜色分配给通过由染色分离单元208执行的染色分离而获得的颜色，然后使用该参考颜色作为标准颜色来执行着色。

如上所述，在通过染色分离处理而获得的区域中采样染色位置，并且基于脱色转换之后的灰度图像和标准颜色信息来执行着色。HE图像到IHC图像的颜色转换也是可以的。

图5是示出明场图像的颜色转换的流程图。首先，在步骤S10处，染色分离单元208对输入图像执行染色分离处理。在其的随后步骤S12处，基于通过染色分离而获得的图像，对染色位置(核信息)采样。在其随后步骤S14处，脱色过滤器204通过对输入图像执行脱色处理(脱色转换)来获得灰度图像。在其随后步骤S16处，着色单元206通过将灰度图像上的形态信息应用到从学习单元104获得的学习结果信息来对灰度图像着色。

图6示出其中IHC图像转换为HE图像(仿真HE)的示例。IHC图像表示使用抗原-抗体反应的染色，并且虽然适合于例如识别癌细胞等，但不一定总是适合于精确地观察细胞的形状。在其中IHC图像因此不适合的情况下，根据本实施例的技术使得能够通过IHC图像到HE图像的转换来容易地观察细胞的形状等。如上所述，因为细胞核在IHC图像中染为蓝色，所以图6的左侧所示的作为IHC图像的输入图像具有染为蓝色的细胞核(在图6的左侧图示中指示为灰点的区域)。图6的右侧所示的着色后的HE图像具有着色为紫色的细胞核(在图6的右侧表示为黑点的区域)，并且具有着色为红色的细胞核以外的区域。这表明，由于颜色转换后的HE图像中的细胞核的位置对应于其在原始IHC图像中的位置，因此准确地执行了转换。

2.2.荧光图像的颜色转换

接下来，描述了荧光图像到明场图像的颜色转换。颜色转换的示例包括荧光图像到HE图像或IHC图像的颜色转换。通过使用例如DAPI(4'，6-二脒基-2-苯基吲哚)作为荧光染料对观察目标对象进行染色，来获得观察目标对象的荧光图像。然后为了核信息对荧光图像进行采样。然后，通过将参考标准颜色分配给核信息来执行着色。参考标准颜色对于HE图像是紫色，而对于IHC图像是蓝色。

来自荧光图像的信号较弱，并且因此需要执行增益调节。附加地，例如灰度图像具有明度和暗度反转，因此期望对其应用负-正反转处理。

完成着色后，多次执行相同的处理，次数等于荧光图像的数目，并叠加获得的图像。例如，在与IHC图像一样的两种或更多种颜色的多路复用染色的情况下，需要学习每种颜色，并且学习装置100因此需要预先学习多路复用染色的明场图像。

当处理多路复用(叠加)图像时，需要执行与各个荧光图像中的颜色分配相对应的增益调节。

图7是示出用于荧光图像转换为明场图像的处理的流程图。首先，在步骤S20处，对每个指示其中核已被荧光染色的区域的染色核图像进行采样。在这种情况下，染色核图像从通过利用某种光辐射利用荧光团染色的生物组织而获得的荧光图像中采样。在其随后步骤S22处，对采样图像执行增益调节。在其随后步骤S24处，执行负-正反转处理。

在其随后步骤S26处，因此对取样的细胞核着色。在其随后步骤S28处，多路复用图像。在通过多个染色图像集成到一个图像中执行的荧光观察中，可以以这种方式获得仿真的染色明场图像，即，相对于荧光图像中的每个区域确定颜色，然后对通过集成而获得的图像执行着色处理。

图8示出其中荧光图像转换成HE图像(仿真HE)的示例。关于荧光图像，在图8的左侧所示的作为荧光图像的输入图像基本上是灰度图像，其中显现白色的部分基本上与细胞核的区域相对应。在荧光图像中，与核相对应的部分比围绕这些部分的区域更亮，因此被采样为染色核图像。因此，基于采样细胞核的形状，着色单元206可以对与核相对应的部分着色。参照图8，可以看出，在通过转换荧光图像而获得的HE图像(仿真HE)中，在荧光图像中显现白色的细胞核的区域被着色为HE图像中细胞核的区域450的颜色。学习装置100不需要学习新的荧光图像，并且可以基于HE图像的学习数据将荧光图像转换为HE图像。

2.3.含有伪影样本的明场图像情况

这里描述了含伪影(人造物体或外来物体)的样本的明场图像。可能包含在病理染色图像中的伪影的示例包括气泡。伪影是非常深的黑色，因此可以很容易地与其他颜色区分开。通过用于检测该黑色的阈值处理生成掩模图像，并且例如将用于HE图像的标准颜色中的红色(粉红色)分配给与伪影向对应的区域。因此，该区域利用与正常组织相同的颜色着色，从而具有增强的可见度。当该处理和“2.1.明场图像的颜色转换”中的上述处理组合执行时，即使在其中存在伪影的样本的情况下，也可以再现接近参考图像的颜色。

图9是示出当样本包括异物时用于对输入图像中的样本与伪影(异物)一起着色的处理的流程图。首先，在步骤S30处，对输入图像的像素值执行阈值处理，由此检测黑色部分。在其随后步骤S32中，执行掩模处理，由此去除在步骤S30中提取的黑色部分。在其随后步骤S34处，对已去除黑色部分的图像执行染色分离处理。

在其随后步骤S36处，从通过染色分离处理而获得的图像中对染色位置采样。在其随后步骤S38处，对输入图像执行脱色处理，由此获得灰度图像。在其随后步骤S39处，通过将灰度图像上的形态信息应用于从学习单元104获得的学习结果信息，来对灰度图像着色。

3.显示应用的示例

接下来，描述了当输出图像显示在显示设备250上时要使用的应用的示例的描述。在本实施例中，由显示处理单元210执行的处理使得输入图像和输出图像能够在显示设备250上同时显示。例如，当HE图像是输出图像而IHC图像是输入图像时，可设想地执行的是观察IHC图像以判别癌细胞等，并且观察HE图像以判别细胞的形状。

图10是示出其中作为输入图像的IHC图像和作为输出图像的HE图像并排显示的情况的示例的示意图。在图10所示的示例中，显示设备250的显示屏幕252具有在其左侧显示的作为输入图像的IHC图像，并且具有在其右侧显示的作为输出图像的HE图像。因此，观察者可以从左侧的IHC图像中识别癌细胞的位置，并且可以从右侧的HE图像中识别细胞的形状。当用户经由操作输入单元212操作鼠标等以输入用于在屏幕内移动图像的指令时，显示处理单元210在显示屏幕252上沿相同方向移动作为输入图像的IHC图像和作为输出图像的HE图像。因此，可以增强用户观察期间的便利性。

图11是示出其中观察目标对象显示在整个屏幕上，同时观察目标对象在屏幕的左侧显示为IHC图像而在屏幕的右侧显示为HE图像的情况的示例的示意图。当用户经由操作输入单元212操作鼠标等以输入信息时，可以向左或向右移动IHC图像和HE图像之间的边界254。以如图11所示的方式显示，使得能够在屏幕左侧从单个观察目标对象中识别癌细胞而在屏幕右侧从单个观察目标对象中识别细胞的形状。

图12是示出其中以IHC图像作为在左侧显示的输入图像，而以HE图像作为在右侧显示的输出图像来显示每个在其深度方向上具有多个切片的图像的情况的示例的示意图。在IHC图像和HE图像的相同深度位置处的各个图像具有彼此相关联的其暗背景的图像。用户可以通过从操作输入单元212输入信息来显示IHC图像和HE图像的期望深度位置处的切片。

如上所述，根据本实施例，通过颜色转换装置200的着色，使得即使当样本的染色已劣化时，也能够精细地再现样本的颜色。虽然通过扫描仪的病理染色图像中的颜色的色调会不同，但是通过颜色转换装置200的着色使得染色的色调能够被校正为优选参考颜色的色调。通过颜色转换装置200的着色可以通过隐藏样本的染色来增强样本的可见性。此外，通过颜色转换装置200的着色使得能够在以类似于明场图像的方式对荧光图像着色之后观察该荧光图像。此外，与色调再现曲线校正不同，可以将图像的每个幻灯片单独地校正成适当的颜色。

虽然参考附图详细描述了本公开的优选实施例，但是本公开的技术范围不限于该示例。显然，在本公开的技术领域中具有普通知识的人可以得出各种修改的示例或校正的示例，而不脱离权利要求范围中定义的技术思想。应当理解，这种示例也自然地落入本公开的技术范围内。

本说明书中描述的效果仅仅是解释性和说明性的，而不是限制性的。级，根据本公开的技术可以与上面的效果一起产生或者代替上述效果产生来自本说明书中的描述中的对技术人员显而易见的其它效果。

下面描述的配置也落入本公开的技术范围内。

(1)

一种图像着色设备，包括：

获取单元，被配置为获取已脱色的脱色图像；以及

着色单元，被配置为基于从脱色图像获得的形态信息，参考作为预先学习形态信息和颜色信息之间的对应关系的结果而获得的学习结果信息，使用与形态信息相对应的颜色对脱色图像着色。

(2)

根据(1)所述的图像着色设备，其中，获取单元由脱色处理单元构成，脱色处理单元被配置为对已着色的输入图像执行脱色处理。

(3)

根据(1)或(2)所述的图像着色设备，其中，学习结果信息作为学习多个学习用图像的形态信息与对应于形态信息的颜色信息之间的对应关系的结果而获得。

(4)

根据(2)所述的图像着色设备，还包括染色分离单元，染色分离单元被配置为对输入图像执行染色分离处理，其中，

着色单元使用通过染色分离处理而获得的补充信息来执行着色。

(5)

根据(4)所述的图像着色设备，其中，

补充信息是关于输入图像中的某部分的位置信息，该某部分通过染色分离处理而分离，并且

着色单元使用与该某部分相对应的颜色对输入图像内的与位置信息相对应的部分着色。

(6)

根据(5)所述的图像着色设备，其中，该某部分是与细胞核相对应的部分。

(7)

根据(5)或(6)所述的图像着色设备，其中，着色单元使用从输入图像获得的颜色对通过染色分离处理分离出的该某部分着色。

(8)

根据(5)或(6)所述的图像着色设备，其中，着色单元使用基于染色分离处理从学习结果信息获得的参考颜色，对通过染色分离处理而获得的该某部分着色。

(9)

根据(2)所述的图像着色设备，其中，输入图像是通过苏木精-伊红(HE)染色而获得的苏木精-伊红图像，并且着色单元使用与HE图像相对应的颜色对经过脱色处理的输入图像着色。

(10)

根据(2)所述的图像着色设备，其中，输入图像是通过免疫组织化学(IHC)染色而获得的免疫组织化学图像，并且着色单元使用与通过苏木精-伊红(HE)染色而获得的苏木精-伊红图像相对应的颜色对经过脱色处理的输入图像着色。

(11)

根据(1)所述的图像着色设备，其中，

获取单元获取通过将荧光团施加到观察目标对象而获得的荧光图像作为脱色图像，并且

着色单元使用与通过苏木精-伊红(HE)图染色而获得的苏木精-伊红图像相对应或与通过免疫组织化学(IHC)染色而获得的免疫组织化学图像相对应的颜色对荧光图像着色。

(12)

根据(11)所述的图像着色设备，其中，着色单元对构成荧光图像的多个图像着色，并叠加由此着色的图像。

(13)

根据(11)或(12)所述的图像着色设备，其中，在通过着色单元着色之前，荧光图像经过增益调节或负-正反转处理。

(14)

根据(1)至(13)中任一项所述的图像着色设备，其中，着色单元从脱色图像获取黑色区域，并且使用预先确定的某种颜色对黑色区域着色。

(15)

根据(1)至(14)中任一项所述的图像着色设备，还包括显示处理单元，该显示处理单元被配置为执行用于在显示设备上显示尚未由着色单元着色的图像和已由着色单元着色的图像的处理。

(16)

根据(15)所述的图像着色设备，其中，当显示单个观察目标对象时，显示处理单元使针对观察目标对象的第一区域显示尚未着色的图像，并且使针对观察目标对象的第二区域显示已着色的图像。

(17)

根据(15)所述的图像着色设备，其中，显示处理单元使尚未着色的图像和已着色的图像在单个屏幕上显示，并且基于操作信息，使尚未着色的图像和已着色的图像在相同的方向上移动。

(18)

根据(15)所述的图像着色设备，其中，显示处理单元使与深度方向上的某单个切片位置相对应的尚未着色的图像和已着色的图像显示，并且基于操作信息将切片位置改变为另一切片位置。

(19)

根据权利要求1所述的图像着色设备，其中，图像着色设备对病理染色图像着色。

(20)

一种图像着色方法，包括：

获取已脱色的脱色图像；并且

基于从脱色图像获得的形态信息，参考作为预先学习形态信息和颜色信息之间的对应关系的结果而获得的学习结果信息，使用与形态信息相对应的颜色对脱色图像着色。

(21)

一种计算机程序，使计算机起以下作用：

被配置为获取已脱色的脱色图像的单元；以及

被配置为基于从脱色图像获得的形态信息，参考作为预先学习形态信息和颜色信息之间的对应关系的结果而获得的学习结果信息，使用与形态信息相对应的颜色对脱色图像着色的单元。

(22)

一种图像学习设备，包括：

脱色处理单元，被配置为对单独的已着色的学习用图像执行脱色处理；以及

学习单元，被配置为在将形态信息和颜色信息彼此关联的同时学习形态信息和颜色信息，该形态信息是在对学习用图像执行脱色处理之后从每个学习用图像获得的，该颜色信息是在对学习用图像执行脱色处理之前从一个单独的学习用图像获得的。

(23)

一种图像学习方法，包括：

对单独的已着色的学习用图像执行脱色处理；并且

将形态信息和颜色信息彼此关联的同时学习形态信息和颜色信息，该形态信息是在学习用图像执行脱色处理之后从每个学习用图像获得的，该颜色信息是在对学习用图像执行脱色处理之前从一个单独的学习用图像获得的。

(24)

一种计算机程序，使计算机起以下作用：

被配置为对单独着色的学习用图像执行脱色处理的单元；以及

被配置为在将形态信息和颜色信息彼此关联的同时学习形态信息和颜色信息的单元，该形态信息是在对学习用图像执行脱色处理之后从每个学习用图像获得的，该颜色信息是在对学习用图像执行脱色处理之前从一个单独的学习用图像获得的。

(25)

一种图像着色系统，包括：

图像学习设备，包括：脱色处理单元和学习单元，该脱色处理单元被配置为对单独的已着色的学习用图像执行脱色处理，该学习单元被配置为在将形态信息和颜色信息彼此关联的同时学习形态信息和颜色信息，该形态信息是在对学习用图像执行脱色处理之后从每个学习用图像获得的，该颜色信息是在对学习用图像执行脱色处理之前从一个单独的学习用图像获得的；以及

图像着色设备，包括：获取单元和着色单元，该获取单元被配置为获取已脱色的脱色图像，该着色单元被配置为基于从脱色图像获得的形态信息，参考从学习单元获得的学习结果信息，使用与形态信息相对应的颜色对脱色图像着色。

参考标号列表

100 学习装置

104 学习单元

106 脱色过滤器

200 着色装置

202 图像输入单元

204 脱色过滤器

206 着色单元

208 染色分离单元

210 显示处理单元。

Claims (25)

1.一种图像着色设备，包括：

获取单元，被配置为获取已脱色的脱色图像；以及

着色单元，被配置为基于从所述脱色图像获得的形态信息，参考作为预先学习所述形态信息和颜色信息之间的对应关系的结果而获得的学习结果信息，使用与所述形态信息相对应的颜色对所述脱色图像着色。

2.根据权利要求1所述的图像着色设备，其中，所述获取单元由脱色处理单元构成，所述脱色处理单元被配置为对已着色的输入图像执行脱色处理。

3.根据权利要求1所述的图像着色设备，其中，所述学习结果信息作为学习多个学习用图像的形态信息与对应于所述形态信息的颜色信息之间的对应关系的结果而获得。

4.根据权利要求2所述的图像着色设备，还包括染色分离单元，所述染色分离单元被配置为对所述输入图像执行染色分离处理，其中，

所述着色单元使用通过所述染色分离处理而获得的补充信息来执行所述着色。

5.根据权利要求4所述的图像着色设备，其中，

所述补充信息是关于所述输入图像中的某部分的位置信息，所述某部分通过所述染色分离处理而分离，并且

所述着色单元使用与所述某部分相对应的颜色对所述输入图像内的与所述位置信息相对应的部分着色。

6.根据权利要求5所述的图像着色设备，其中，所述某部分是与细胞核相对应的部分。

7.根据权利要求5所述的图像着色设备，其中，所述着色单元使用从所述输入图像获得的颜色对通过所述染色分离处理分离出的所述某部分着色。

8.根据权利要求5所述的图像着色设备，其中，所述着色单元使用基于所述染色分离处理从所述学习结果信息获得的参考颜色，对通过所述染色分离处理而获得的所述某部分着色。

9.根据权利要求2所述的图像着色设备，其中，所述输入图像是通过苏木精-伊红(HE)染色而获得的苏木精-伊红图像，并且所述着色单元使用与所述苏木精-伊红图像相对应的颜色对经过所述脱色处理的所述输入图像着色。

10.根据权利要求2所述的图像着色设备，其中，所述输入图像是通过免疫组织化学(IHC)染色而获得的免疫组织化学图像，并且所述着色单元使用与通过苏木精-伊红(HE)染色而获得的苏木精-伊红图像相对应的颜色对经过所述脱色处理的所述输入图像着色。

11.根据权利要求1所述的图像着色设备，其中，

所述获取单元获取通过将荧光团施加到观察目标对象而获得的荧光图像作为所述脱色图像，并且

所述着色单元使用与通过苏木精-伊红(HE)染色而获得的苏木精-伊红图像相对应或与通过免疫组织化学(IHC)染色而获得的免疫组织化学图像相对应的颜色对所述荧光图像着色。

12.根据权利要求11所述的图像着色设备，其中，所述着色单元对构成所述荧光图像的多个图像着色，并叠加由此着色的所述图像。

13.根据权利要求11所述的图像着色设备，其中，在通过所述着色单元着色之前，所述荧光图像经受增益调节或负-正反转处理。

14.根据权利要求1所述的图像着色设备，其中，所述着色单元从所述脱色图像获取黑色区域，并且使用预先确定的某种颜色对所述黑色区域着色。

15.根据权利要求1所述的图像着色设备，还包括显示处理单元，所述显示处理单元被配置为执行用于在显示设备上显示尚未由所述着色单元着色的图像和已由所述着色单元着色的图像的处理。

16.根据权利要求15所述的图像着色设备，其中，当显示单个观察目标对象时，所述显示处理单元使针对所述观察目标对象的第一区域显示尚未着色的图像，并且使针对所述观察目标对象的第二区域显示已着色的图像。

17.根据权利要求15所述的图像着色设备，其中，所述显示处理单元使尚未着色的图像和已着色的图像在单个屏幕上显示，并且基于操作信息，使所述尚未着色的图像和所述已着色的图像在相同的方向上移动。

18.根据权利要求15所述的图像着色设备，其中，所述显示处理单元使与深度方向上的某单个切片位置相对应的尚未着色的图像和已着色的图像显示，并且基于操作信息将所述切片位置改变为另一切片位置。

19.根据权利要求1所述的图像着色设备，其中，所述图像着色设备对病理染色图像着色。

20.一种图像着色方法，包括：

获取已脱色的脱色图像；并且

基于从所述脱色图像获得的形态信息，参考作为预先学习所述形态信息和颜色信息之间的对应关系的结果而获得的学习结果信息，使用与所述形态信息相对应的颜色对所述脱色图像着色。

21.一种计算机程序，使计算机起以下作用：

被配置为获取已脱色的脱色图像的单元；以及

被配置为基于从所述脱色图像获得的形态信息，参考作为预先学习所述形态信息和颜色信息之间的对应关系的结果而获得的学习结果信息，使用与所述形态信息相对应的颜色对所述脱色图像着色的单元。

22.一种图像学习设备，包括：

脱色处理单元，被配置为对单独的已着色的学习用图像执行脱色处理；以及

学习单元，被配置为在将形态信息和颜色信息彼此关联的同时学习所述形态信息和所述颜色信息，所述形态信息是在对所述学习用图像执行所述脱色处理之后从每个所述学习用图像获得的，所述颜色信息是在对所述学习用图像执行所述脱色处理之前从一个单独的所述学习用图像获得的。

23.一种图像学习方法，包括：

对单独的已着色的学习用图像执行脱色处理；并且

将形态信息和颜色信息彼此关联的同时学习所述形态信息和所述颜色信息，所述形态信息是在所述学习用图像执行所述脱色处理之后从每个所述学习用图像获得的，所述颜色信息是在对所述学习用图像执行所述脱色处理之前从一个单独的所述学习用图像获得的。

24.一种计算机程序，使计算机起以下作用：

被配置为对单独的已着色的学习用图像执行脱色处理的单元；以及

被配置为在将形态信息和颜色信息彼此关联的同时学习所述形态信息和所述颜色信息的单元，所述形态信息是在对所述学习用图像执行所述脱色处理之后从每个所述学习用图像获得的，所述颜色信息是在对所述学习用图像执行所述脱色处理之前从一个单独的所述学习用图像获得的。

25.一种图像着色系统，包括：

图像学习设备，包括：脱色处理单元和学习单元，所述脱色处理单元被配置为对单独的已着色的学习用图像执行脱色处理，所述学习单元被配置为在将形态信息和颜色信息彼此关联的同时学习所述形态信息和所述颜色信息，所述形态信息是在对所述学习用图像执行所述脱色处理之后从每个所述学习用图像获得的，所述颜色信息是在对所述学习用图像执行所述脱色处理之前从一个单独的所述学习用图像获得的；以及

图像着色设备，包括：获取单元和着色单元，所述获取单元被配置为获取已脱色的脱色图像，所述着色单元被配置为基于从所述脱色图像获得的形态信息，参考从所述学习单元获得的学习结果信息，使用与所述形态信息相对应的颜色对所述脱色图像着色。

Images