CN110246116B - 数字病理切片由he染色到ihc染色的计算机自动生成方法 - Google Patents
数字病理切片由he染色到ihc染色的计算机自动生成方法 Download PDFInfo
- Publication number
- CN110246116B CN110246116B CN201910331836.2A CN201910331836A CN110246116B CN 110246116 B CN110246116 B CN 110246116B CN 201910331836 A CN201910331836 A CN 201910331836A CN 110246116 B CN110246116 B CN 110246116B
- Authority
- CN
- China
- Prior art keywords
- staining
- ihc
- image
- generator
- pathological section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 title claims abstract description 79
- 230000001575 pathological effect Effects 0.000 title claims abstract description 58
- 238000011532 immunohistochemical staining Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000005070 sampling Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 15
- 230000007170 pathology Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 claims description 2
- 238000004806 packaging method and process Methods 0.000 claims description 2
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 238000011002 quantification Methods 0.000 abstract description 6
- 238000002360 preparation method Methods 0.000 abstract description 5
- 210000001519 tissue Anatomy 0.000 description 29
- 210000004027 cell Anatomy 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004043 dyeing Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 102000036639 antigens Human genes 0.000 description 2
- 108091007433 antigens Proteins 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000010186 staining Methods 0.000 description 2
- 102000004127 Cytokines Human genes 0.000 description 1
- 108090000695 Cytokines Proteins 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007489 histopathology method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002055 immunohistochemical effect Effects 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 210000004969 inflammatory cell Anatomy 0.000 description 1
- 230000003834 intracellular effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 230000017074 necrotic cell death Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 239000012188 paraffin wax Substances 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000005945 translocation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种数字病理切片由HE染色到IHC染色的计算机自动生成方法，包括：步骤S1，获取检测者的原始HE染色病理切片图像，对HE染色病理切片图像进行预处理以得到HE染色有效组织区域；步骤S2，对HE染色有效组织区域进行网格化处理，并映射到原始HE染色病理切片图像，得到包含有效组织区域的多个HE图像小块；步骤S3，将每个HE图像小块发送至训练好的生成器，生成多个对应的IHC染色图像块；步骤S4，将多个IHC染色图像块进行拼接组装，得到IHC染色病理图像。本发明可以在只有HE染色数字切片的情况下，由计算机自动生成IHC染色的预测，为检测者在没有IHC染色实验制备的情况下提前更精准的进行定量或半定量的预判。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种数字病理切片由HE染色到IHC染色的计算机自动生成方法。
背景技术
病理切片，是指取一定大小的病变组织，用病理组织学方法制成病理切片。通常将病变组织包埋在石蜡块里，用切片机切成薄片，再用苏木精－伊红(H-E)染色，采用显微镜进一步检查。
HE染色是用苏木素和伊红分别染上胞核和胞浆，可以区分出一般细胞的形态，在实际应用中可以鉴定组织细胞坏死、水肿、变性和炎性细胞浸润等异常病理学改变。
IHC染色是用一抗与被检测组织中目的蛋白抗原结合，然后HRP等标记的二抗与一抗进行结合，最后通过DAB显色剂反应，进而确认所要检测蛋白抗原的定位、半定量等目的。
HE染色比较粗略地辨认不同细胞形态学改变；而IHC能够针对特异性细胞标志物来检测特异性细胞的改变(数量)，也可以检测细胞内细胞因子的转位、组织中一些特异性蛋白的表达的量改变。通过图像分析系统分析颜色深浅、分布的面积等进行综合分析。
病理医生观察HE染色切片后，如果要进一步观测IHC染色确认时，只能通过再次取相邻组织标本，重新IHC染色实验的方式得到。这种方式存在以下缺陷：
(1)增加了检测者的时间成本和制备费用；
(2)不同薄层切片在结构形态方面也会存在差别，会影响医生对不同染色的图像的对比分析。
因此，如何根据其中一种染色的病理切片图像自动生成对应的另外一种染色的图像的技术是检测者急需的方法。
发明内容
本发明的目的旨在至少解决所述技术缺陷之一。
为此，本发明的目的在于提出一种数字病理切片由HE染色到IHC染色的计算机自动生成方法，可以在只有HE染色数字切片的情况下，由计算机自动生成IHC染色的预测，从而为检测者在没有IHC染色实验制备的情况下提前更精准的进行定量或半定量的预判。
为了实现上述目的，本发明的实施例提供一种数字病理切片由HE染色到IHC染色的计算机自动生成方法，包括如下步骤：
步骤S1，获取检测者的原始HE染色病理切片图像，对所述HE染色病理切片图像进行预处理以得到HE染色有效组织区域；
步骤S2，对所述HE染色有效组织区域进行网格化处理，并映射到所述原始HE染色病理切片图像，得到包含有效组织区域的多个HE图像小块；
步骤S3，将每个所述HE图像小块发送至训练好的生成器，生成多个对应的IHC染色图像块；
步骤S4，将所述多个IHC染色图像块进行拼接组装，得到IHC染色病理图像。
进一步，在所述步骤S1中，所述对HE染色病理切片图像进行预处理，包括：首先将所述原始HE染色病理切片图像进行采样，然后对采样后的图像从RGB图像空间转换至LUV颜色空间，再去除所述原始HE染色病理切片图像的背景，得到HE染色有效组织区域。
进一步，采用最大类间方差法0TSU算法去除所述原始HE染色病理切片图像的背景，获取掩码图，从而得到HE染色有效组织区域。
进一步，在所述步骤S2中，获取有效组织区域的轮廓边界，以确定最大组织区域边框；然后对最大组织区域边框划分为网格，记录每个网格的中心点坐标，将网格映射到掩码图上，得到包含有效组织区域的多个HE图像小块。
进一步，每个HE图像小块满足如下条件：
S0＝S·2l+2·Δd
其中，S0为HE图像小块的大小，Δd为在S.2l的图像块的基础上周围向外扩展Δd个像素，S为在采样规格下的网络大小。
进一步，在所述步骤S3中，包括如下步骤：
(1)训练生成器
所述生成器基于深度学习神经网络，包括：IHC生成器、HE生成器、IHC判别器和HE判别器，其中，
将真实HE染色图输入至所述IHC生成器，由所述IHC生成器将该HE图像小块由HE染色映射到IHC染色，生成对应的IHC图像块；
IHC图像块进一步输送至HE生成器和IHC判别器，由HE生成器将IHC图像块由IHC染色映射到HE染色，得到变换后的HE图像块，由IHC判别器对IHC生成器生成的IHC染色图和真实的IHC染色图的真假进行区分；由HE判别器对HE生成器生成的HE染色图和真实的HE染色图的真假进行区分；
通过多次迭代训练，使得变换后的HE图像块和真实的HE染色图的差异最小，完成对所述生成器的训练；
(2)将每个所述HE图像小块发送至训练好的生成器，生成多个对应的IHC染色图像块。
进一步，采用最小化对抗损失函数对所述IHC判别器和HE判别器进行训练。
进一步，采用最小化还原性损失函数对IHC生成器和HE生成器进行训练。
进一步，在所述步骤S4中，采用多线程写入模式对多个IHC染色图像块进行拼接组装。
进一步，首先，根据原始HE染色病理切片图像的尺寸，对训练得到的IHC图像块进行尺寸初始化处理；然后将步骤S2中得到的网格的中心坐标与对应生成的IHC图像块打包为元数据，采用多线程的方式将IHC图像块的中心区域写入输出图像文件中，去除外周像素，并进行存储。
根据本发明实施例的数字病理切片由HE染色到IHC染色的计算机自动生成方法，具有以下有益效果：
(1)利用HE染色病理图像作为输入，通过计算机视觉技术自动生成IHC染色的病理图像。本发明可以在只有HE染色数字切片的情况下，由计算机自动生成IHC染色的预测，为检测者在没有IHC染色实验制备的情况下提前更精准的进行定量或半定量的预判。
(2)在对病理图像采样的基础上，对LUV颜色空间的U通道使用OTSU算法获取掩码图，从而得到有效的组织区域的范围，然后通过坐标映射到原图水平提取对应的图像块。本发明一方面计算效率比直接在原图上提前图像块高效，另一方去背景效果比使用HSV或者LAB颜色空间的方法要好，可以有效去除病理切片图像的黑边与固定器的影响。
(3)采用自适应的方法进行图像块网格划分，根据最大组织区域边框进行划分，并且多线程处理剔除空白网格，极大的减少了后续图像块计算的数量。
(4)采用多线程写入的模式进行图像块拼接，大大缩短了输出图像的生成时间。
(5)本发明大大减少检测者的制片、染色时间和资金成本。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的数字病理切片由HE染色到IHC染色的计算机自动生成方法的流程图；
图2为根据本发明实施例的数字病理切片由HE染色到IHC染色的计算机自动生成方法的示意图；
图3a至图3d为根据本发明实施例的HE染色病理切片去背景以及网格化的示意图；
图4a和图4b为根据本发明实施例的IHC生成器G的训练流程图；
图5为根据本发明实施例的图像采样规格的示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
如图1和图2所示，本发明实施例的数字病理切片由苏木精-伊红HE染色到免疫组化IHC染色的计算机自动生成方法，包括如下步骤：
步骤S1，获取检测者的原始HE染色病理切片图像，对HE染色病理切片图像进行预处理以得到HE染色有效组织区域。
病理切片通常以多分辨率的金字塔结构存储，在最大放大倍率(通常为40X)下，一张病理切片可达百亿级像素，而且包含很大部分的白色背景区，因此需要对HE染色病理切片图像进行预处理，以去除白色背景。
具体的，首先将原始HE染色病理切片图像进行采样N倍，然后对采样后的图像从RGB图像空间转换至LUV颜色空间，再去除原始HE染色病理切片图像的背景，得到HE染色有效组织区域。其中，N的数值可以根据用户需要进行选取。
在本发明的实施例中，采用最大类间方差法OTSU算法去除原始HE染色病理切片图像的背景，获取掩码图，从而得到HE染色有效组织区域。
需要说明的是，去除原始HE染色病理切片图像的背景的算法不限于上述举例的算法，还可以采用其他类型的算法实现。
下面以对病理切片采样N倍为例，对本步骤进行说明。
S11：将病理切片的原图(如图3a所示)下采样N倍(Levell水平)。
如图5所示，Level0表示为原始扫描影像，Levell表示下采样N＝2l倍的影像,其中l的取值范围建议3,4,5，即采样倍数为8、16、32倍。
S12：将RGB图像转换为LUV颜色空间，包括：
(1)将RGB转换到CIE-XYZ颜色系统：
(2)将CIEXYZ转换到CIELUV空间：
u*＝13L*·(u′-u′n)
v*＝13L*·(v′-v′n)
S13：对LUV颜色空间的U*通道使用OTSU算法，获取像素阈值，生成去除背景得到的掩码图(如图3b所示)，掩码图中的白色区域即为有效组织区域。计算过程U通道归一化至[0,255]，像素阈值的可行范围[90,110]。
步骤S2，对HE染色有效组织区域进行网格化处理，并映射到原始HE染色病理切片图像，得到包含有效组织区域的多个HE图像小块。
具体的，为了尽可能涵盖更多的组织区域的局部环境，对步骤S13得到的采样规格下(例如采样32倍，则对应Level5水平)的掩码图进行膨胀-腐蚀操作。根据掩码图勾画出有效组织区域的轮廓边界(如图3c所示)，从而确定最大组织区域边框。然后对最大组织区域边框划分为网格，记录每个网格的中心点坐标，将网格映射到掩码图上，得到包含有效组织区域的多个HE图像小块。
将最大边框划分为正方形网格(如图3d所示)，每个网格记录其在采样倍数对应水平下的中心点坐标(x,y)，该点与原图(Level0)上对应的点坐标(x0,y0)满足以下关系：
将网格映射到掩码图上，如果网格中不包含值为1的像素，则将该网格去掉，不记录其坐标。
在采样倍数对应采样规格下的网格边长为S，根据网格在原图上获取到的图像小块边长为S0，两者满足以下关系：
S0＝S·2l+2·Δd (4)
其中，S0为HE图像小块的大小，Δd可视为在S·2l的图像块的基础上周围向外扩展Δd个像素，这样做的目的是为了减少后面图像块拼接的边缘不平滑的现象，S为在采样规格下的网络大小。
步骤S3，将每个HE图像小块发送至训练好的生成器，生成多个对应的IHC染色图像块。即，将步骤S2提取的大小为S0的图像块作为输入分别送入训练好的IHC生成器，得到对应的IHC染色的图像块的输出。
如图4a和图4b所示，IHC生成器G的训练流程分两个过程A：x→G(x)→F(G(x))和B：y→F(y)→G(F(y))。下面对其进行详细说明。
(1)训练生成器
生成器基于深度神经学习网络，包括：IHC生成器G、HE生成器F、IHC判别器DIHC和HE判别器DHE。
将真实HE染色图输入至IHC生成器G，由IHC生成器G将该HE图像小块由HE染色映射到IHC染色，生成对应的IHC图像块；
IHC图像块进一步输送至HE生成器F和IHC判别器DIHC，由HE生成器F将IHC图像块由IHC染色映射到HE染色，得到变换后的HE图像块，由IHC判别器DIHC对IHC生成器生成的IHC染色图和真实的IHC染色图的真假进行区分；由HE判别器DHE对HE生成器生成的HE染色图和真实的HE染色图的真假进行区分；
本步骤中的训练集包含两个子图像集，分别是大小为S0的HE图像X和IHC图像Y。通过多次迭代训练，使得变换后的HE图像块和真实的HE染色图的差异最小，完成对生成器的训练。
在本发明的一个实施例中，采用最小化对抗损失函数对IHC判别器和HE判别器进行训练。最小化对抗损失函数的目的是让判别器对生成的图片尽可能的判断为假，对真实的图片判断为真。
此外，本步骤中采用最小化还原性损失函数对IHC生成器和HE生成器进行训练。
最小化还原性损失函数的目的是让输入图片与分别经过两个生成器得到的输出图片之间的差异最小，包括两个过程：
x→G(x)→F(G(x))过程还原性损失为：
y→F(y)→G(F(y))过程的还原性损失为：
于是总的还原性损失为：
总损失函数为：
L(G，F，DIHC，DHE)＝α·LGAN(G，DIHC，X，Y)+β·LGAN(F，DHE，Y，X)+γ·Lresto，e(G，F) (11)
其中α，β，γ为对应损失函数的权重因子，其中α，β＝1，γ取值范围建议为[1，10]。
解决优化问题：
(2)将每个HE图像小块发送至训练好的生成器，生成多个对应的IHC染色图像块。
步骤S4，将多个IHC染色图像块进行拼接组装，得到IHC染色病理图像。
在本步骤中，采用多线程写入模式对多个IHC染色图像块进行拼接组装。
首先，IHC图像块记为P(x0，y0)，其中(x0，y0)为图像块在原HE染色的病理图像Level0水平下的坐标。根据原始HE染色病理切片图像的尺寸，对训练得到的IHC图像块进行尺寸初始化处理。
将步骤S2得到的HE图像小块的中心坐标(x0，y0)与对应生成的IHC图像块P(x0，y0)，打包为元数据，采用多线程的方式将IHC图像块P(x0，y0)的中心区域S·2l写入输出图像文件中，即去除IHC图像块P(x0，y0)外周的Δd个像素的部分，并以金字塔结构存储，将IHC图像小块拼接组装成原图尺寸并输出
需要说明的是，图像提取时，采用了外周扩展Ad个像素的策略，相当于给核心S·2l的图像块增加了周围的局部环境，使得核心S.2l图像块边缘处的颜色和边界生成更为平滑。图像拼接时，该Δd像素将会舍弃，只取核心S·2l部分进行拼接。
根据本发明实施例的数字病理切片由HE染色到IHC染色的计算机自动生成方法，具有以下有益效果：
(1)利用HE染色病理图像作为输入，通过计算机视觉技术自动生成IHC染色的病理图像。本发明可以在只有HE染色数字切片的情况下，由计算机自动生成IHC染色的预测，为检测者在没有IHC染色实验制备的情况下提前更精准的进行定量或半定量的预判。
(2)在对病理图像采样的基础上，对LUV颜色空间的U通道使用OTSU算法获取掩码图，从而得到有效的组织区域的范围，然后通过坐标映射到原图水平提取对应的图像块。本发明一方面计算效率比直接在原图上提前图像块高效，另一方去背景效果比使用HSV或者LAB颜色空间的方法要好，可以有效去除病理切片图像的黑边与固定器的影响。
(3)采用自适应的方法进行图像块网格划分，根据最大组织区域边框进行划分，并且多线程处理剔除空白网格，极大的减少了后续图像块计算的数量。
(4)采用多线程写入的模式进行图像块拼接，大大缩短了输出图像的生成时间。
(5)本发明大大减少检测者的制片、染色时间和资金成本。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。
Claims (10)
1.一种数字病理切片由HE染色到IHC染色的计算机自动生成方法，其特征在于，包括如下步骤：
步骤S1，获取检测者的原始HE染色病理切片图像，对所述HE染色病理切片图像进行预处理以得到HE染色有效组织区域；
步骤S2，对所述HE染色有效组织区域进行网格化处理，并映射到所述原始HE染色病理切片图像，得到包含有效组织区域的多个HE图像小块；
步骤S3，将每个所述HE图像小块发送至训练好的生成器，生成多个对应的IHC染色图像块；
步骤S4，将多个IHC染色图像块进行拼接组装，得到IHC染色病理图像。
2.如权利要求1所述的数字病理切片由HE染色到IHC染色的计算机自动生成方法，其特征在于，在所述步骤S1中，对HE染色病理切片图像进行预处理，包括：首先将所述原始HE染色病理切片图像进行采样，然后对采样后的图像从RGB图像空间转换至LUV颜色空间，再去除所述原始HE染色病理切片图像的背景，得到HE染色有效组织区域。
3.如权利要求2所述的数字病理切片由HE染色到IHC染色的计算机自动生成方法，其特征在于，采用最大类间方差法OTSU算法去除所述原始HE染色病理切片图像的背景，获取掩码图，从而得到HE染色有效组织区域。
4.如权利要求1所述的数字病理切片由HE染色到IHC染色的计算机自动生成方法，其特征在于，在所述步骤S2中，
获取有效组织区域的轮廓边界，以确定最大组织区域边框；然后对最大组织区域边框划分为网格，记录每个网格的中心点坐标，将网格映射到掩码图上，得到包含有效组织区域的多个HE图像小块。
5.如权利要求1或4所述的数字病理切片由HE染色到IHC染色的计算机自动生成方法，其特征在于，每个HE图像小块满足如下条件：
S0＝S·2l+2·Δd
其中，S0为HE图像小块的大小，Δd为在S·2l的图像块的基础上周围向外扩展Δd个像素，S为在采样规格下的网络大小。
6.如权利要求1所述的数字病理切片由HE染色到IHC染色的计算机自动生成方法，其特征在于，在所述步骤S3中，包括如下步骤：
(1)训练生成器
所述生成器基于深度学习神经网络，包括：IHC生成器、HE生成器、IHC判别器和HE判别器，其中，
将真实HE染色图输入至所述IHC生成器，由所述IHC生成器将该HE图像小块由HE染色映射到IHC染色，生成对应的IHC图像块；
IHC图像块进一步输送至HE生成器和IHC判别器，由HE生成器将IHC图像块由IHC染色映射到HE染色，得到变换后的HE图像块，由IHC判别器对IHC生成器生成的IHC染色图和真实的IHC染色图的真假进行区分；由HE判别器对HE生成器生成的HE染色图和真实的HE染色图的真假进行区分；
通过多次迭代训练，使得变换后的HE图像块和真实的HE染色图的差异最小，完成对所述生成器的训练；
(2)将每个所述HE图像小块发送至训练好的生成器，生成多个对应的IHC染色图像块。
7.如权利要求6所述的数字病理切片由HE染色到IHC染色的计算机自动生成方法，其特征在于，采用最小化对抗损失函数对所述IHC判别器和HE判别器进行训练。
8.如权利要求6所述的数字病理切片由HE染色到IHC染色的计算机自动生成方法，其特征在于，采用最小化还原性损失函数对IHC生成器和HE生成器进行训练。
9.如权利要求1所述的数字病理切片由HE染色到IHC染色的计算机自动生成方法，其特征在于，在所述步骤S4中，采用多线程写入模式对多个IHC染色图像块进行拼接组装。
10.如权利要求1或9所述的数字病理切片由HE染色到IHC染色的计算机自动生成方法，其特征在于，
首先，根据原始HE染色病理切片图像的尺寸，对训练得到的IHC图像块进行尺寸初始化处理；然后将步骤S2中得到的网格的中心坐标与对应生成的IHC图像块打包为元数据，采用多线程的方式将IHC图像块的中心区域写入输出图像文件中，去除外周像素，并进行存储。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910331836.2A CN110246116B (zh) | 2019-04-24 | 2019-04-24 | 数字病理切片由he染色到ihc染色的计算机自动生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910331836.2A CN110246116B (zh) | 2019-04-24 | 2019-04-24 | 数字病理切片由he染色到ihc染色的计算机自动生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110246116A CN110246116A (zh) | 2019-09-17 |
| CN110246116B true CN110246116B (zh) | 2020-12-25 |
Family
ID=67883245
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910331836.2A Expired - Fee Related CN110246116B (zh) | 2019-04-24 | 2019-04-24 | 数字病理切片由he染色到ihc染色的计算机自动生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110246116B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110838094B (zh) * | 2019-11-06 | 2023-07-04 | 杭州迪英加科技有限公司 | 病理切片染色风格转换方法和电子设备 |
| CN111883237B (zh) * | 2020-09-28 | 2021-01-15 | 平安科技（深圳）有限公司 | 病理切片图像处理方法、装置、电子设备及存储介质 |
| CN113469939B (zh) * | 2021-05-26 | 2022-05-03 | 透彻影像(北京)科技有限公司 | 一种基于特性曲线的her-2免疫组化自动判读系统 |
| CN113361580A (zh) * | 2021-05-31 | 2021-09-07 | 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） | 一种结直肠癌错配修复功能的预测方法及装置 |
| CN113256617B (zh) * | 2021-06-23 | 2024-02-20 | 重庆点检生物科技有限公司 | 一种病理切片虚拟免疫组化染色方法及系统 |
| CN114511514B (zh) * | 2022-01-14 | 2023-07-21 | 兰州大学 | 一种基于he染色图像的细胞分割方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104318574A (zh) * | 2014-11-05 | 2015-01-28 | 盐城工学院 | 一种经he染色的蛤蚧脑图谱的分割方法 |
| CN105027164A (zh) * | 2013-03-14 | 2015-11-04 | 文塔纳医疗系统公司 | 完整载片图像配准和交叉图像注释设备、系统和方法 |
| CN108765408A (zh) * | 2018-05-31 | 2018-11-06 | 杭州同绘科技有限公司 | 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统 |
| CN108830788A (zh) * | 2018-04-25 | 2018-11-16 | 安徽师范大学 | 一种组织切片显微图像的平面拼接合成方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5663873B2 (ja) * | 2007-03-01 | 2015-02-04 | 日本電気株式会社 | 乳癌病理画像診断支援システム、乳癌病理画像診断支援方法、乳癌病理画像診断支援プログラム、及び、乳癌病理画像診断支援プログラムを記録した記録媒体 |
-
2019
- 2019-04-24 CN CN201910331836.2A patent/CN110246116B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105027164A (zh) * | 2013-03-14 | 2015-11-04 | 文塔纳医疗系统公司 | 完整载片图像配准和交叉图像注释设备、系统和方法 |
| CN104318574A (zh) * | 2014-11-05 | 2015-01-28 | 盐城工学院 | 一种经he染色的蛤蚧脑图谱的分割方法 |
| CN108830788A (zh) * | 2018-04-25 | 2018-11-16 | 安徽师范大学 | 一种组织切片显微图像的平面拼接合成方法 |
| CN108765408A (zh) * | 2018-05-31 | 2018-11-06 | 杭州同绘科技有限公司 | 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统 |
Non-Patent Citations (1)
| Title |
|---|
| Automatic color unmixing of IHC stained whole slide images;D.J.Geijs et al.;《ResearchGate》;20180420;第1-8页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110246116A (zh) | 2019-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110246116B (zh) | 数字病理切片由he染色到ihc染色的计算机自动生成方法 | |
| US10127675B2 (en) | Edge-based local adaptive thresholding system and methods for foreground detection | |
| CN107452010B (zh) | 一种自动抠图算法和装置 | |
| Sommer et al. | Learning-based mitotic cell detection in histopathological images | |
| CA3100642A1 (en) | Multi-sample whole slide image processing in digital pathology via multi-resolution registration and machine learning | |
| US20160321495A1 (en) | Systems and methods for comprehensive multi-assay tissue analysis | |
| CN111819569A (zh) | 对组织切片图像的虚拟染色 | |
| EP1646964B1 (en) | Method and arrangement for determining an object contour | |
| Khan et al. | HyMaP: A hybrid magnitude-phase approach to unsupervised segmentation of tumor areas in breast cancer histology images | |
| Haggerty et al. | Segmentation of epidermal tissue with histopathological damage in images of haematoxylin and eosin stained human skin | |
| WO2019071976A1 (zh) | 基于区域增长和眼动模型的全景图像显著性检测方法 | |
| US20130342694A1 (en) | Method and system for use of intrinsic images in an automotive driver-vehicle-assistance device | |
| US20200193139A1 (en) | Systems and methods for automated cell segmentation and labeling in immunofluorescence microscopy | |
| US8559714B2 (en) | Post processing for improved generation of intrinsic images | |
| CN108431751A (zh) | 背景去除 | |
| CN112424825A (zh) | 染色聚集体中信号的定量 | |
| CN115170518A (zh) | 基于深度学习和机器视觉的细胞检测方法及系统 | |
| CN114399764A (zh) | 一种病理切片的扫描方法及系统 | |
| CN113781468A (zh) | 一种基于轻量级卷积神经网络的舌图像分割方法 | |
| CN109003255B (zh) | 荧光原位杂交图像的细胞核分割方法及系统 | |
| US20130114905A1 (en) | Post processing for improved generation of intrinsic images | |
| CN114445814B (zh) | 一种字符区域提取方法、计算机可读存储介质 | |
| EP2776979B1 (en) | Post processing for improved generation of intrinsic images | |
| Roullier et al. | Mitosis extraction in breast-cancer histopathological whole slide images | |
| CN110807776A (zh) | 一种基于全局区域对比度的农作物半翅目害虫图像自动分割算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201225 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |