CN114596298B - 基于高光谱成像的精标注数字病理数据集自动生成方法 - Google Patents

基于高光谱成像的精标注数字病理数据集自动生成方法 Download PDF

Info

Publication number
CN114596298B
CN114596298B CN202210259318.6A CN202210259318A CN114596298B CN 114596298 B CN114596298 B CN 114596298B CN 202210259318 A CN202210259318 A CN 202210259318A CN 114596298 B CN114596298 B CN 114596298B
Authority
CN
China
Prior art keywords
image
hyperspectral
double
dyeing
hyperspectral image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210259318.6A
Other languages
English (en)
Other versions
CN114596298A (zh
Inventor
李庆利
王健生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lishui Ruilian Medical Technology Co.,Ltd.
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN202210259318.6A priority Critical patent/CN114596298B/zh
Publication of CN114596298A publication Critical patent/CN114596298A/zh
Application granted granted Critical
Publication of CN114596298B publication Critical patent/CN114596298B/zh
Priority to US18/107,567 priority patent/US11763453B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了基于高光谱成像的精标注数字病理数据集自动生成方法，包括如下步骤：基于病理样本，获取基准组织学染色切片与双重染色切片；基于基准组织学染色切片，获取二维彩色基准全玻片图像，基于双重染色切片，获取双染高光谱图像；基于二维彩色基准全玻片图像与双染高光谱图像，建立虚拟染色模型；基于双染高光谱图像，建立自动生成标注信息的分割模型，基于双染高光谱图像和虚拟染色模型、双染高光谱图像和分割模型，获得精标注数字病理数据集。本发明利用了高光谱双染图像的光谱与形态信息，解决了病理数据集的建立和自动生成标注文件的问题，避免了单标记物图像之间位置不一致的难题，取缔了人工标注，省时省力，智能可靠。

Description

基于高光谱成像的精标注数字病理数据集自动生成方法
技术领域
本发明属于数字图像处理技术领域，尤其涉及基于高光谱成像的精标注数字病理数据集自动生成方法。
背景技术
组织病理学是肿瘤疾病诊断过程中的“金标准”。不仅决定了术前肿瘤的切除范围和癌组织的浸润程度，而且为临床治疗和预后提供了不可或缺的信息。目前，受限于染色工艺和成像系统差异，不同来源的病理图像组织学染色差异明显，病理数据集中的标注信息需要专业人员手工完成，工作量大，费力繁琐、耗时且容易出错。而在计算机辅助诊断中，深度学习算法依赖于大规模的病理数据集和精准标注信息，现有人工标注数据集的数量稀缺，规模偏小，深度学习算法识别分析结果的准确率和算法鲁棒性不足以满足实际诊断的需求。同时，目前的大量研究基于普通显微镜图像，信息量有限，除了空间维度，无法从其他维度获取肿瘤特征，这也限制了高难度的自动标注方法的研究。
发明内容
为解决上述技术问题，本发明提出基于高光谱成像的精标注数字病理数据集自动生成方法，该方法准确高效，智能可靠，有助于为深度学习算法提供大规模精标注数字病理数据集。
为实现上述目的，本发明提供了基于高光谱成像的精标注数字病理数据集自动生成方法，包括如下步骤：
基于病理样本，获取基准组织学染色切片与双重染色切片；
基于所述基准组织学染色切片，获取二维彩色基准全玻片图像，基于所述双重染色切片，获取双染高光谱图像；
基于所述二维彩色基准全玻片图像与所述双染高光谱图像，建立虚拟染色模型；
基于所述双染高光谱图像，建立标注信息分割模型，
基于所述双染高光谱图像和所述虚拟染色模型、所述双染高光谱图像和所述标注信息分割模型，获得所述精标注数字病理数据集。
可选地，获取基准组织学染色切片与双重染色切片的步骤包括：
基于病理样本获取病理切片；
基于苏木素-伊红对病理切片进行染色处理，获得所述基准组织学染色切片；
基于苏木素-伊红与免疫组化标记物对病理切片进行染色处理，获得所述双重染色切片。
可选地，所述二维彩色基准全玻片图像的获取方式为:利用全玻片扫描仪对所述基准组织学染色切片进行放大视场采集，获得所述二维彩色基准全玻片图像。
可选地，获取双染高光谱图像的步骤包括：
基于所述双重染色切片获取三维显微高光谱图像与空白高光谱图像；
对所述三维显微高光谱图像与空白高光谱图像进行预处理，获取双染高光谱图像。
可选地，所述三维显微高光谱图像与空白高光谱图像的获取方式为：利用高光谱显微镜对所述双重染色切片进行放大单视场采集，其中，采集包含生物组织的图像，获得所述三维显微高光谱图像，采集无任何生物组织的空白图像，获得所述空白高光谱图像。
可选地，对所述三维显微高光谱图像与空白高光谱图像进行预处理的方式为：利用光谱归一化方法对所述三维显微高光谱图像与空白高光谱图像进行浮点除法运算处理。
可选地，建立虚拟染色模型的步骤包括：
建立高光谱循环生成对抗网络；
基于所述双染高光谱图像获取伪彩色合成图像；
基于所述二维彩色基准全玻片图像与所述伪彩色合成图像对所述高光谱循环生成对抗网络进行训练，获得所述虚拟染色模型。
可选地，所述高光谱循环生成对抗网络包括两个生成器与两个判别器；
两个所述生成器均设置编码器、转码器和解码器；
所述编码器包括3个降采样层，所述转码器包括9个残差块，所述解码器包括3个上采样层；
两个所述判别器均包括若干个降采样层。
可选地，建立标注信息分割模型的步骤包括：
基于梯度提升决策树和图割算法对所述双染高光谱图像进行图像分割处理，获取感兴趣肿瘤区域的二值图像；
通过提取所述二值图像的外轮廓，获得病例数据集所需的标注文件，完成标注信息分割模型的构建。
可选地，获得所述精标注数字病理数据集的步骤包括：
将所述双染高光谱图像输入所述虚拟染色模型中，获得彩色基准染色图像；
将所述双染高光谱图像输入所述标注信息分割模型中，获取标注信息；
基于所述彩色基准染色图像与所述标注信息，构成所述精标注数字病理数据集。
与现有技术相比，本发明具有如下优点和技术效果：
本发明所提出的基于高光谱成像的精标注数字病理数据集自动生成方法，通过对两种染料同时染色的高光谱图像数据进行染色反演和目标分割，染色反演与生成标准苏木-伊红染色的病理图像相关，有助于去除不同来源病理切片的染色差异；进一步地，目标分割与生成肿瘤区域标注文件相关，通过“图谱合一”的分割方法提取感兴趣肿瘤区域的二值化结果，转化为标注文件，解决了人工标注的问题。本发明所提出的方法准确高效，智能可靠，有助于为深度学习算法提供大规模精标注数字病理数据集。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例的基于高光谱成像的精标注数字病理数据集自动生成方法流程示意图；
图2为本发明实施例的虚拟染色模型建立流程示意图；
图3为本发明实施例的生成标注文件的分割流程示意图；
图4为本发明实施例的感兴趣肿瘤区域标注二值化结果示意图；
图5为本发明实施例的虚拟染色模型的输出结果示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例
如图1所示，本实施例提供了基于高光谱成像的精标注数字病理数据集自动生成方法，其特征在于，包括如下步骤：
S1.基于病理样本，获取基准组织学染色切片与双重染色切片；
S101.基于病理样本获取病理切片；
S102.基于苏木素-伊红对病理切片进行染色处理，获得基准组织学染色切片；
S103.基于苏木素-伊红与免疫组化标记物对病理切片进行染色处理，获得双重染色切片。
进一步地，在本实施例中，上述步骤具体为：
通过活检得到病理样本，分别制备两批病理切片：
首先将所有样本用苏木素-伊红H&E进行标准组织学染色，得到染色切片Slide(N)，将Slide(N)分为两批Slide(N1)和Slide(N2)，得到的Slide(N1)作为基准组织学染色切片；
另一批Slide(N2)再利用免疫组化标记物CAM5.2染料进行染色处理，得到双重染色切片DoubleStain(N2)。
S2.基于基准组织学染色切片，获取二维彩色基准全玻片图像，基于双重染色切片，获取双染高光谱图像；
S201.利用全玻片扫描仪对基准组织学染色切片进行20倍放大视场采集，获得二维彩色基准全玻片图像。
S202.基于双重染色切片获取三维显微高光谱图像与空白高光谱图像；对三维显微高光谱图像与空白高光谱图像进行预处理，获取双染高光谱图像。
其中，利用高光谱显微镜对双重染色切片进行20倍放大的单视场采集，其中，采集包含生物组织的图像，获得三维显微高光谱图像，采集无任何生物组织的空白图像，获得空白高光谱图像；利用光谱归一化方法对三维显微高光谱图像与空白高光谱图像进行浮点除法运算处理。
进一步地，在本实施例中，上述步骤具体为：
利用全玻片扫描仪对基准组织学染色切片Slide(N1)进行20倍放大视场采集，获取二维彩色基准全玻片图像ColorWSI(x,y)。
利用高光谱显微镜对双重染色切片DoubleStain(N2)进行20倍放大的单视场采集，其中包含生物组织的图像为有效图像HyperData(m,n,λ)，即三维显微高光谱图像，三维显微高光谱图像的波长范围380nm～800nm，波段数为60，其中，无任何生物组织的空白图像为无效图像Blank(m,n,λ)，即空白高光谱图像。
读入原始三维显微高光谱图像数据HyperData(m,n,λ)和空白高光谱图像Blank(m,n,λ)，利用光谱归一化方法逐波长在每个二维视场逐像素做浮点除法运算进行预处理，即三维显微高光谱数据HyperData(m,n,λ)除以空白高光谱图像Blank(m,n,λ)，获取消除光路和系统噪声后的双染高光谱图像HyperData’(m,n,λ)。
S3.基于二维彩色基准全玻片图像与双染高光谱图像，建立虚拟染色模型；
S301.建立高光谱循环生成对抗网络；
S302.基于双染高光谱图像获取伪彩色合成图像；
S303.基于二维彩色基准全玻片图像与伪彩色合成图像对高光谱循环生成对抗网络进行训练，获得虚拟染色模型。
进一步地，在本实施例中，构建地基于空谱信息的高光谱循环生成对抗网络中，包含两个生成器即生成器G1、G2，和两个判别器即判别器D1、D2。
生成器G1和G2设置编码器，转换器和解码器，分别使用3个降采样层，9个残差块Residual Blocks和3个上采样层实现。其中编码器的降采样层第一层卷积核大小为7×7，后两层卷积核大小为3×3，每一层卷积后加入空间批归一化Spatial BatchNormalization做归一化和ReLU非线性函数做激活函数。上采样层中卷积核大小为3×3，每一层反卷积后加入空间批归一化Spatial Batch Normalization做归一化，前两层使用ReLU非线性函数做激活函数，最后一层输出层利用tanh做激活函数。
判别器D1和D2设置一系列降采样层，输入图像大小尺寸不限，每一层后加入空间批归一化Spatial Batch Normalization做归一化和LeakyReLU函数做激活函数，最后一层输出层添加偏置参数。
首先通过波段选择方法从双染高光谱图像HyperData’(m,n,λ)中提取三个波段做伪彩色合成，得到伪彩色合成图像PsudoData(m,n,λ)。
其次，网络生成器G1的双输入通道分别放入彩色基准全玻片图像ColorWSI(x,y)和伪彩色双染高光谱图像PsudoData(m,n,λ)，输入图像尺寸大小为512×512像素。
生成器G1通过学习彩色基准全玻片图像ColorWSI(x,y)训练模型，将伪彩色双染高光谱图像PsudoData(m,n,λ)反演得到了虚拟彩色H&E染色图像ColorData(m,n)。
判别器D1将虚拟彩色H&E染色图像ColorData(m,n)转换成一个70×70的矩阵，与彩色基准全玻片图像ColorWSI(x,y)进行特征判别，输出0-1之间的置信度大小。
生成器D2反向学习伪彩色双染高光谱图像PsudoData(m,n,λ)训练模型，再将虚拟彩色H&E染色图像ColorData(m,n)反演得到虚拟双染高光谱图像FakeData(m,n,λ)。
判别器D2将虚拟双染高光谱图像FakeData(m,n,λ)与伪彩色双染高光谱图像PsudoData(m,n,λ)进行特征判别，输出0-1之间的置信度大小。
通过以上方法对基于空谱信息的高光谱循环生成对抗网络模型进行训练，最终建立一个能将三维双染高光谱图像HyperData’(m,n,λ)反演成二维彩色基准染色图像ColorData(m,n)的虚拟染色模型StainModel(X)，如图2所示。
S4.基于双染高光谱图像，建立标注信息分割模型，
S401.基于梯度提升决策树和图割算法对高光谱图像进行图像分割处理，获取感兴趣肿瘤区域的二值图像；
S402.通过提取二值图像的外轮廓，获得病例数据集所需的标注文件，完成标注信息分割模型的构建。
进一步地，在本实施例中，如图3所示上述步骤具体为：
利用梯度提升决策树方法，将三维双染高光谱数据HyperData’(m,n,λ)输入到基于光谱信息的决策树进行图像分割处理，获取初步分割结果SegmentImg(x,y)。
将初步分割结果SegmentImg(x,y)作为掩膜，和伪彩色合成图像PsudoData(m,n,λ)一起输入到基于形态信息的图割算法中进行分割结果优化，获取感兴趣的肿瘤区域二值图像BinaryImg(x,y)，如图4所示。
通过提取肿瘤区域二值图像BinaryImg(x,y)的外轮廓得到病理数据集所需的标注文件Label(x,y)，最终建立一个自动生成标注信息的分割模型AutoLabel(Y)。
S5.基于双染高光谱图像和虚拟染色模型、双染高光谱图像和标注信息分割模型，获得精标注数字病理数据集。
进一步地，在本实施例中，该步骤具体为：
向已建立的虚拟染色模型StainModel(X)中输入大量未用作训练的双染高光谱图像HyperData’(m,n,λ)，模型输出彩色基准H&E染色图像ColorData’(m,n)，如图5所示。
向分割模型AutoLabel(Y)同步输入大量双染高光谱图像HyperData’(m,n,λ)，模型输出对应的标注信息Label’(x,y)。
两个模型的输出结果彩色基准H&E染色图像ColorData’(m,n)和对应标注信息Label’(x,y)共同构建一个带精标注信息的数字病理数据集Dataset。
以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.基于高光谱成像的精标注数字病理数据集自动生成方法，其特征在于，包括如下步骤：
基于病理样本，获取基准组织学染色切片与双重染色切片；
基于所述基准组织学染色切片，获取二维彩色基准全玻片图像，基于所述双重染色切片，获取双染高光谱图像；
基于所述二维彩色基准全玻片图像与所述双染高光谱图像，建立虚拟染色模型；
基于所述双染高光谱图像，建立标注信息分割模型，
基于所述双染高光谱图像和所述虚拟染色模型、所述双染高光谱图像和所述标注信息分割模型，获得所述精标注数字病理数据集；
建立虚拟染色模型的步骤包括：
建立高光谱循环生成对抗网络；
基于所述双染高光谱图像获取伪彩色合成图像；
基于所述二维彩色基准全玻片图像与所述伪彩色合成图像对所述高光谱循环生成对抗网络进行训练，获得所述虚拟染色模型；
所述高光谱循环生成对抗网络包括两个生成器与两个判别器；
两个所述生成器均设置编码器、转码器和解码器；
所述编码器包括3个降采样层，所述转码器包括9个残差块，所述解码器包括3个上采样层；
两个所述判别器均包括若干个降采样层；
建立标注信息分割模型的步骤包括：
基于梯度提升决策树和图割算法对所述双染高光谱图像进行图像分割处理，获取感兴趣肿瘤区域的二值图像；
通过提取所述二值图像的外轮廓，获得病例数据集所需的标注文件，完成标注信息分割模型的构建；
获得所述精标注数字病理数据集的步骤包括：
将所述双染高光谱图像输入所述虚拟染色模型中，获得彩色基准染色图像；
将所述双染高光谱图像输入所述标注信息分割模型中，获取标注信息；
基于所述彩色基准染色图像与所述标注信息，构成所述精标注数字病理数据集。
2.根据权利要求1所述的基于高光谱成像的精标注数字病理数据集自动生成方法，其特征在于，
获取基准组织学染色切片与双重染色切片的步骤包括：
基于病理样本获取病理切片；
基于苏木素-伊红对病理切片进行染色处理，获得所述基准组织学染色切片；
基于苏木素-伊红与免疫组化标记物对病理切片进行染色处理，获得所述双重染色切片。
3.根据权利要求1所述的基于高光谱成像的精标注数字病理数据集自动生成方法，其特征在于，
所述二维彩色基准全玻片图像的获取方式为:利用全玻片扫描仪对所述基准组织学染色切片进行放大视场采集，获得所述二维彩色基准全玻片图像。
4.根据权利要求1所述的基于高光谱成像的精标注数字病理数据集自动生成方法，其特征在于，
获取双染高光谱图像的步骤包括：
基于所述双重染色切片获取三维显微高光谱图像与空白高光谱图像；
对所述三维显微高光谱图像与空白高光谱图像进行预处理，获取双染高光谱图像。
5.根据权利要求4所述的基于高光谱成像的精标注数字病理数据集自动生成方法，其特征在于，
所述三维显微高光谱图像与空白高光谱图像的获取方式为：利用高光谱显微镜对所述双重染色切片进行放大单视场采集，其中，采集包含生物组织的图像，获得所述三维显微高光谱图像，采集无任何生物组织的空白图像，获得所述空白高光谱图像。
6.根据权利要求4所述的基于高光谱成像的精标注数字病理数据集自动生成方法，其特征在于，
对所述三维显微高光谱图像与空白高光谱图像进行预处理的方式为：利用光谱归一化方法对所述三维显微高光谱图像与空白高光谱图像进行浮点除法运算处理。
CN202210259318.6A 2022-03-16 2022-03-16 基于高光谱成像的精标注数字病理数据集自动生成方法 Active CN114596298B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210259318.6A CN114596298B (zh) 2022-03-16 2022-03-16 基于高光谱成像的精标注数字病理数据集自动生成方法
US18/107,567 US11763453B1 (en) 2022-03-16 2023-02-09 Automatic generation method of fine-labeled digital pathological data set based on hyperspectral imaging

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210259318.6A CN114596298B (zh) 2022-03-16 2022-03-16 基于高光谱成像的精标注数字病理数据集自动生成方法

Publications (2)

Publication Number Publication Date
CN114596298A CN114596298A (zh) 2022-06-07
CN114596298B true CN114596298B (zh) 2022-11-15

Family

ID=81808820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210259318.6A Active CN114596298B (zh) 2022-03-16 2022-03-16 基于高光谱成像的精标注数字病理数据集自动生成方法

Country Status (2)

Country Link
US (1) US11763453B1 (zh)
CN (1) CN114596298B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115274093B (zh) * 2022-07-26 2023-06-23 华东师范大学 生成包含自动标注文件的基准病理数据集的方法及系统
CN118068030A (zh) * 2024-02-28 2024-05-24 华东师范大学 结合显微镜高光谱成像技术的尿样自动分析方法和装置
CN118096757B (zh) * 2024-04-26 2024-07-09 天津市肿瘤医院（天津医科大学肿瘤医院） 基于双染数字病理图像的图像标注方法和图像标注设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629768A (zh) * 2018-04-29 2018-10-09 山东省计算中心（国家超级计算济南中心） 一种食管病理图像中上皮组织的分割方法
CN108765408A (zh) * 2018-05-31 2018-11-06 杭州同绘科技有限公司 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统
CN109061131A (zh) * 2018-06-29 2018-12-21 志诺维思（北京）基因科技有限公司 染色图片处理方法及装置
CN110088804A (zh) * 2016-12-22 2019-08-02 文塔纳医疗系统公司 基于原色和免疫组织化学图像的计算机评分
CN110838094A (zh) * 2019-11-06 2020-02-25 杭州迪英加科技有限公司 病理切片染色风格转换方法和电子设备
CN111539883A (zh) * 2020-04-20 2020-08-14 福建帝视信息科技有限公司 基于强可逆对抗网络的数字病理图像h&e染色复原方法
CN111819569A (zh) * 2018-03-07 2020-10-23 谷歌有限责任公司 对组织切片图像的虚拟染色
CN111986150A (zh) * 2020-07-17 2020-11-24 万达信息股份有限公司 一种数字病理图像的交互式标注精细化方法
CN113256617A (zh) * 2021-06-23 2021-08-13 重庆点检生物科技有限公司 一种病理切片虚拟免疫组化染色方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190252075A1 (en) * 2018-02-12 2019-08-15 Definiens Ag Predicting Prostate Cancer Recurrence Using a Prognostic Model that Combines Immunohistochemical Staining and Gene Expression Profiling
WO2019191697A1 (en) * 2018-03-30 2019-10-03 The Regents Of The University Of California Method and system for digital staining of label-free fluorescence images using deep learning
US10957041B2 (en) * 2018-05-14 2021-03-23 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
EP3811281A1 (en) * 2018-06-22 2021-04-28 H-Labs Gmbh A method to determine a degree of abnormality, a respective computer readable medium and a distributed cancer analysis system
KR20220119669A (ko) * 2019-12-23 2022-08-30 더 리전트 오브 더 유니버시티 오브 캘리포니아 심층 학습을 이용한 현미경 검사 이미지들의 디지털 염색을 위한 방법 및 시스템
WO2021198252A1 (en) * 2020-03-30 2021-10-07 Carl Zeiss Ag Virtual staining logic
EP4222692A1 (en) * 2020-10-01 2023-08-09 PAIGE.AI, Inc. Systems and methods to process electronic images to provide localized semantic analysis of whole slide images

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110088804A (zh) * 2016-12-22 2019-08-02 文塔纳医疗系统公司 基于原色和免疫组织化学图像的计算机评分
CN111819569A (zh) * 2018-03-07 2020-10-23 谷歌有限责任公司 对组织切片图像的虚拟染色
CN108629768A (zh) * 2018-04-29 2018-10-09 山东省计算中心（国家超级计算济南中心） 一种食管病理图像中上皮组织的分割方法
CN108765408A (zh) * 2018-05-31 2018-11-06 杭州同绘科技有限公司 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统
CN109061131A (zh) * 2018-06-29 2018-12-21 志诺维思（北京）基因科技有限公司 染色图片处理方法及装置
CN110838094A (zh) * 2019-11-06 2020-02-25 杭州迪英加科技有限公司 病理切片染色风格转换方法和电子设备
CN111539883A (zh) * 2020-04-20 2020-08-14 福建帝视信息科技有限公司 基于强可逆对抗网络的数字病理图像h&e染色复原方法
CN111986150A (zh) * 2020-07-17 2020-11-24 万达信息股份有限公司 一种数字病理图像的交互式标注精细化方法
CN113256617A (zh) * 2021-06-23 2021-08-13 重庆点检生物科技有限公司 一种病理切片虚拟免疫组化染色方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Single Generative Networks for Stain Normalization and Quality Enhancement of Histological Images in Digital Pathology;Xintian Mao et al.;《Published in: 2021 14th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics (CISP-BMEI)》;20211207;正文第1-5页 *

Also Published As

Publication number Publication date
CN114596298A (zh) 2022-06-07
US20230298169A1 (en) 2023-09-21
US11763453B1 (en) 2023-09-19

Similar Documents

Publication Publication Date Title
CN114596298B (zh) 基于高光谱成像的精标注数字病理数据集自动生成方法
Aswathy et al. Detection of breast cancer on digital histopathology images: Present status and future possibilities
Wang et al. Identification of melanoma from hyperspectral pathology image using 3D convolutional networks
US12094105B2 (en) System and method for automatic labeling of pathology images
CN111512383B (zh) 用于图像处理的自动测定评估和归一化
Hodneland et al. CellSegm-a MATLAB toolbox for high-throughput 3D cell segmentation
Phoulady et al. Nucleus segmentation in histology images with hierarchical multilevel thresholding
Veta et al. Detecting mitotic figures in breast cancer histopathology images
Liu et al. Predict Ki-67 positive cells in H&E-stained images using deep learning independently from IHC-stained images
CN111095358B (zh) 辅助组织样本分析的载玻片图像颜色反卷积系统及方法
Hoque et al. Retinex model based stain normalization technique for whole slide image analysis
CN110838094B (zh) 病理切片染色风格转换方法和电子设备
Falahkheirkhah et al. Deep learning-based protocols to enhance infrared imaging systems
Jaworek-Korjakowska A deep learning approach to vascular structure segmentation in dermoscopy colour images
WO2021198247A1 (en) Optimal co-design of hardware and software for virtual staining of unlabeled tissue
Juhong et al. Super-resolution and segmentation deep learning for breast cancer histopathology image analysis
Abraham et al. Applications of artificial intelligence for image enhancement in pathology
Ma et al. Hyperspectral microscopic imaging for the detection of head and neck squamous cell carcinoma on histologic slides
CN114708229A (zh) 一种病理切片数字图像的全层次分析系统
Bench et al. Unsupervised segmentation of biomedical hyperspectral image data: tackling high dimensionality with convolutional autoencoders
WO2021198252A1 (en) Virtual staining logic
Bayat et al. Automated end-to-end deep learning framework for classification and tumor localization from native non-stained pathology images
Sharma et al. Discrimination and quantification of live/dead rat brain cells using a non-linear segmentation model
CN115274093A (zh) 生成包含自动标注文件的基准病理数据集的方法及系统
Dos Santos et al. Influence of data augmentation strategies on the segmentation of Oral histological images using fully convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230414

Address after: Floor 11-356, Building 15, International Car City, No. 309 Green Valley Avenue, Nanmingshan Street, Liandu District, Lishui City, Zhejiang Province, 323010

Patentee after: Lishui Ruilian Medical Technology Co.,Ltd.

Address before: 200241 No. 500, Dongchuan Road, Shanghai, Minhang District

Patentee before: EAST CHINA NORMAL University