CN110826560B - 一种食管癌病理图像标注方法 - Google Patents
一种食管癌病理图像标注方法 Download PDFInfo
- Publication number
- CN110826560B CN110826560B CN201911074711.2A CN201911074711A CN110826560B CN 110826560 B CN110826560 B CN 110826560B CN 201911074711 A CN201911074711 A CN 201911074711A CN 110826560 B CN110826560 B CN 110826560B
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- edge
- kernel
- epithelial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 42
- 238000002372 labelling Methods 0.000 title claims abstract description 33
- 208000000461 Esophageal Neoplasms Diseases 0.000 title claims abstract description 30
- 201000004101 esophageal cancer Diseases 0.000 title claims abstract description 30
- 206010030155 Oesophageal carcinoma Diseases 0.000 title claims abstract description 28
- 210000000981 epithelium Anatomy 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 230000007170 pathology Effects 0.000 claims abstract description 22
- 210000001519 tissue Anatomy 0.000 claims abstract description 16
- 238000004043 dyeing Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 10
- 238000012937 correction Methods 0.000 claims abstract description 8
- 238000013507 mapping Methods 0.000 claims abstract description 4
- 230000004913 activation Effects 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 12
- 238000010186 staining Methods 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 9
- 238000003062 neural network model Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 7
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 claims description 6
- 230000003213 activating effect Effects 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 6
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims 1
- 230000036285 pathological change Effects 0.000 claims 1
- 231100000915 pathological change Toxicity 0.000 claims 1
- 230000014509 gene expression Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 50
- 238000013473 artificial intelligence Methods 0.000 description 5
- 201000011510 cancer Diseases 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Primary Health Care (AREA)
- Medical Informatics (AREA)
- Epidemiology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明的食管癌病理图像标注方法，包括：a).对H&E染色的食管病理图像进行染色校正处理；b).专家癌变区域标注；c).将专家标注的癌变区域轮廓映射到40X的病理图像中；d).构建上皮组织轮廓检测模型，d‑1).标注出像素点属于上皮区域、间质组织还是无关空白区域；d‑2).构建一个端到端的卷积神经网络模型；e).标注区域融合。本发明根据食管癌发病区域发生在上皮组织基底层区域的特点，在标注的过程中自动绘制上皮组织轮廓，大大节省专家标注的时间成本。本专利方法只针对食管病理切片图像建模，只检测上皮组织的边缘，模型相对简单，运行快速，对上皮边界的检测，在检测精度上也具有明显优势，同时本方法自动学习到有效的特征和表达，避免了复杂的手工特征选取过程，可以满足实际应用需求。
Description
技术领域
本发明涉及一种食管癌病理图像标注方法，更具体的说，尤其涉及一种可将专家标注的粗略轮廓转化为精准轮廓的食管癌病理图像标注方法。
背景技术
食道癌是生活中常见的一种恶性肿瘤，严重影响人类身体健康。目前，针对食道癌的病理切片进行检测，随着病人的增多，仅依靠专家来筛查及诊断变得越来越吃力。医学影像与人工智能的结合，是数字医疗领域较新的分支和产业热点。人工智能在医疗领域应用已经成为一种趋势，大数据驱动的人工智能应用于构建食道癌计算机辅助诊断系统，缓解医生的工作压力及强度，是未来食道癌检测的发展方向。这无疑为患者开辟出一线生机，不仅可以挽救无数患者的生命，而且对于缓解医疗资源紧张和医患矛盾也有重大意义。
是人工智能医学影像落地过程中至关重要的一环。通过大数据驱动下的人工智能技术诊断食管癌，需要大量高质量的食管病理切片数据。这只能依靠病理专家亲自用线条绘制癌症区域轮廓。对于一张完整的病理组织全扫描切片，其尺寸约为100000×700000个像素点，这种高分辨率、大尺度图像在不同分辨率下，比如10X、20X、40X，均可以提供不同的有效信息。有经验的专家通常无需对每一张病理切片图像放大到最大分辨率40X，便已经能够断定食管的癌症病变区域。而为了尽最大可能地保留食管病理图像所包含的信息，需要病理专家在最大分辨率40X下制作食管癌病理图像样本。医学影像的解读需要长时间专业经验的积累，病理专家的培养周期相对较长，而食管癌病变发生在食管上皮组织基底层区域，临近上皮组织与间质组织交界处，因此让病理专家严格地用线条精细地绘制上皮组织的轮廓，非常耗费精力，是对医学资源的巨大浪费。所以，如何避免病理专家在样本标注过程中消耗不必要的精力，帮助病理专家快速简单地用线条绘制癌症区域，制作充足的食管癌症病理图像样本数据，是构建大数据驱动的食管癌计算机辅助诊疗系统关键的一步。
发明内容
本发明为了克服上述技术问题的缺点，提供了一种食管癌病理图像标注方法。
本发明的食管癌病理图像标注方法，通过以下步骤来现：
a).图像染色校正，对H&E染色的食管病理图像进行染色校正处理，缩小病理图像之间由于切片染色制作过程中产生的染色不均匀造成的颜色差异；
b).癌变区域标注，专家诊断食管病理图像中癌症病变区域，用线条在某一放大倍率下的图像中绘制出病变区域的轮廓；
c).图像映射，将专家步骤b)中在某一放大倍率下标注的癌变区域轮廓映射到最大放大倍率40X的病理图像中；
d).构建上皮组织轮廓检测模型，
d-1).首先构建上皮组织轮廓检测训练样本集，选取上皮区域与非上皮区域的病理图像，使用滑动窗口的方法，窗口大小固定为m×m，滑动步幅为m，沿着上皮组织区域与非上皮组织区域交界处依次提取若干个m×m大小的图像，进行像素级别的组织区域标注，标注出像素点属于上皮区域、间质组织还是无关空白区域，标注后的图像形成标签图像；标签图像与灰度图像组成训练数据集；
d-2).构建一个端到端的卷积神经网络模型，构建的卷积神经网络包括编码网络和解码网络，其中，编码网络由卷积层、激活层和池化层堆叠而成，解码网络由上采样层、卷积层和激活层堆叠而成，并采取跨层连接结构将编码网络卷积层的输出特征与解码网络卷积层的输出特征图进行融合，解码网络的最终输出连接sigmoid层，sigmoid层实现像素的分类；
e).标注区域融合，将步骤c)得到的图像输入到步骤d)训练好的深度卷积神经网络模型中，得到专家用线条绘制的轮廓内上皮组织的轮廓线；步骤b中专家绘制的轮廓线，其在上皮组织的轮廓线部分予以保留，轮廓线在非上皮组织的部分予以替换，利用步骤d)中像素分类后形成的检测边缘代替，得到更加精准的上皮组织区域的标注轮廓线。
本发明的食管癌病理图像标注方法，步骤a)中所述的图像染色校的方法为：首先根据朗伯-比尔定律，将彩色值转化为光密度值，并利用奇异值分解，将用于病理图像染色的苏木素Haematoxylin和伊红Eosin两种染色剂分离，得到H和E的单染色图像，使用统一的染色剂矩阵对其分别进行标准化校正，将校正后的单色图像合成即可得到校正图像；相应的RGB三通道-染色剂光密度矩阵为如(1)所示。
本发明的食管癌病理图像标注方法，步骤d-1)所构建的上皮组织轮廓检测训练样本集，窗口大小固定为512像素×512像素大小，滑动步幅为512像素，所标注的上皮区域、间质组织、无关空白区域像素点的灰度值分别为128、0、255。
本发明的食管癌病理图像标注方法，步骤d-2)所构建的卷积神经网络模型采用Keras框架，其结构如下：
第一层使用64个卷积核conv对图像进行卷积操作，卷积核大小kernel size＝3，步长Stride＝2，随后使用ReLU激活函数；
第二层使用128个卷积核conv对图像进行卷积操作，卷积核大小Kernel size＝3，步长Stride＝2，随后使用ReLU激活函数；
第三层使用256个卷积核conv对图像进行卷积操作，卷积核大小Kernel size＝3，步长Stride＝1，随后使用ReLU激活函数；
第四层使用最大值池化pool的方式对卷积结果进行下采样，池化核大小Kernelsize＝2，步长Stride＝2；
第五层使用上采样层upsampling的方式对卷积结果进行上采样，上采样核大小Kernel size＝2，步长Stride＝2；
第六层使用256个卷积核conv对图像进行卷积操作(卷积核大小Kernel size＝3；步长Stride＝1，随后使用ReLU激活函数；
第七层使用融合merge的方式对第三层与第六层卷积结果进行组合；
第八层使用256个卷积核conv对图像进行卷积操作，卷积核大小Kernel size＝3，步长Stride＝1，随后使用ReLU激活函数；
第九层使用上采样层upsampling的方式对卷积结果进行上采样，上采样核大小Kernel size＝2，步长Stride＝2；
第十层使用128个卷积核conv对图像进行卷积操作，卷积核大小Kernel size＝3，步长Stride＝1，随后使用ReLU激活函数；
第十一层使用融合merge的方式对第二层与第十层卷积结果进行组合；
第十二层使用128个卷积核conv对图像进行卷积操作，卷积核大小Kernel size＝3，步长Stride＝1，随后使用ReLU激活函数；
第十三层使用上采样层upsampling的方式对卷积结果进行上采样，上采样核大小Kernel size＝2，步长Stride＝2；
第十四层使用64个卷积核conv对图像进行卷积操作，卷积核大小Kernel size＝3，步长Stride＝1，随后使用ReLU激活函数；
第十五层使用3个卷积核conv对图像进行卷积操作，卷积核大小Kernel size＝3，步长Stride＝1，随后使用Sigmoid激活函数。
本发明的食管癌病理图像标注方法，步骤d)所述的构建上皮组织轮廓检测模型过程中，采用一种新的损失函数Focal Edge Loss，来降低远离边缘处像素点的重要性，把训练优化集中在食管病理图像上皮组合区域与非上皮组织区域交界处；为了防止根据交叉熵cross-entropy计算代价函数的时候被远离边缘的正负例主导，将代价函数分成四个部分，临近边缘正例的损失函数、临近边缘负例的损失函数、远离边缘正例的损失函数、远离边缘负例的损失函数，代价函数C表示为：
其中，为临近边缘正例的损失函数，为临近边缘负例的损失函数，/>为远离边缘正例的损失函数，/>远离边缘负例的损失函数；pi是模型的输出，pi *是标签图像中的值经过独热编码的结果；
损失函数F EL通过公式(3)进行求取：
其中，对于图像中的任意一点i，d是该像素点到边缘的最小曼哈顿距离,dmax是图像中同类别像素点到边缘的最小距离中的最大值；选取一个距离阈值dthreshold，当di＜dthreshold时，定义该点为临近边缘点，即为i∈Apixel_near_edge，否则i∈Apixel_rest；γ的取值为0时，FEL变为传统的交叉熵函数；γ的取值越大，代价函数对远离边缘正负例的依赖程度越低，公式(3)中取γ＝1。
本发明的食管癌病理图像标注方法，步骤e)标注区域融合过程中，将步骤c)得到的图像使用滑动窗口的方法，窗口大小固定为512×512，滑动步幅为512，将专家圈取的轮廓内病理图像的分割若干个512×512的图像，输入到步骤d)训练好的深度卷积神经网络模型,得到预测热图；根据预测结果，将选取出来区域与背景区域转变为二值图像，进行腐蚀膨胀处理，然后进行开运算；开运算之后根据连通性剔除孤立的小区域与噪点，输出最终的上皮分割结果，绘制上皮组织轮廓线；步骤b)中专家粗略绘制轮廓线，其在上皮组织的轮廓部分予以保留，轮廓线在非上皮组织的部分予以替换，使用检测边缘代替，得到更加精细的标注区域轮廓线。
本发明的有益效果是：
(1)、标注简单，节省专家的人力成本。传统的病理图像语义标注过程，需要专家用线条绘制精确的轮廓线。本发明根据食管癌发病区域发生在上皮组织基底层区域的特点，在标注的过程中自动绘制上皮组织轮廓，大大节省专家标注的时间成本。
(2)、上皮组织轮廓检测精确。传统的边缘检测Sobel滤波器，Canny检测器具有广泛的应用，但是这些检测器只考虑到局部的急剧变化，特别是颜色、亮度等的急剧变化，通过这些特征来找边缘例如，忽略了图像中的上下文信息，这样往往导致边缘检测的效果不好，检测结果受染色的影响非常大。通过深度学习进行边缘检测，由于边缘含有较少的语义信息，需要对目标形状和结构更深的理解，通常层数非常深。基于卷积神经网络的DeepContour,DeepEdge,CSCNN与HED是根据自然图像的特征而建模的。本专利方法只针对食管病理切片图像建模，只检测上皮组织的边缘，模型相对简单，运行快速，对上皮边界的检测，在检测精度上也具有明显优势，同时本方法自动学习到有效的特征和表达，避免了复杂的手工特征选取过程，可以满足实际应用需求。
附图说明
图1为本发明的食管癌病理图像标注方法的流程图；
图2为本发明中构建上皮组织轮廓检测模型的流程图；
图3为本发明中图像的1X、10X、40X的放大示意图；
图4为本发明中食管病理图像及其形成的标签图像的示意图；
图5为本发明所构建的深度卷积网络的结构图；
图6为专家用线条标注的粗略轮廓与融合后的精细轮廓对比图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
如图1所示，给出了本发明的食管癌病理图像标注方法的流程图，图2给出了本发明中构建上皮组织轮廓检测模型的流程图，其通过以下步骤来实现：
a).图像染色校正，对H&E染色的食管病理图像进行染色校正处理，缩小病理图像之间由于切片染色制作过程中产生的染色不均匀造成的颜色差异；
该步骤中，所述的图像染色校的方法为：首先根据朗伯-比尔定律，将彩色值转化为光密度值，并利用奇异值分解，将用于病理图像染色的苏木素Haematoxylin和伊红Eosin两种染色剂分离，得到H和E的单染色图像，使用统一的染色剂矩阵对其分别进行标准化校正，将校正后的单色图像合成即可得到校正图像；相应的RGB三通道-染色剂光密度矩阵为如(1)所示。
b).癌变区域标注，专家诊断食管病理图像中癌症病变区域，用线条在某一放大倍率下的图像中绘制出病变区域的轮廓；
c).图像映射，将专家步骤b)中在某一放大倍率下标注的癌变区域轮廓映射到最大放大倍率40X的病理图像中；
如图3所示，给出了本发明中图像的1X、10X、40X的放大示意图，图像的1X、10X、40X放大倍数逐次增大。
d).构建上皮组织轮廓检测模型，
d-1).首先构建上皮组织轮廓检测训练样本集，选取上皮区域与非上皮区域的病理图像，使用滑动窗口的方法，窗口大小固定为m×m，滑动步幅为m，沿着上皮组织区域与非上皮组织区域交界处依次提取若干个m×m大小的图像，进行像素级别的组织区域标注，标注出像素点属于上皮区域、间质组织还是无关空白区域，标注后的图像形成标签图像；标签图像与灰度图像组成训练数据集；
该步骤中，所构建的上皮组织轮廓检测训练样本集，窗口大小固定为512像素×512像素大小，滑动步幅为512像素，所标注的上皮区域、间质组织、无关空白区域像素点的灰度值分别为128、0、255。如图4所示，给出了本发明中食管病理图像及其形成的标签图像的示意图，所示的图a为病理图像，进行像素级别的组织区域识别后，其就形成了图A所示的标签图像；同样地，图B为图b的标签图像，图C为图c的标签图像。
d-2).构建一个端到端的卷积神经网络模型，构建的卷积神经网络包括编码网络和解码网络，其中，编码网络由卷积层、激活层和池化层堆叠而成，解码网络由上采样层、卷积层和激活层堆叠而成，并采取跨层连接结构将编码网络卷积层的输出特征与解码网络卷积层的输出特征图进行融合，解码网络的最终输出连接sigmoid层，sigmoid层实现像素的分类；
如图5所示，给出了本发明所构建的深度卷积网络的结构图，步骤d-2)所构建的卷积神经网络模型采用Keras框架，其结构如下：
第一层使用64个卷积核conv对图像进行卷积操作，卷积核大小kernel size＝3，步长Stride＝2，随后使用ReLU激活函数；
第二层使用128个卷积核conv对图像进行卷积操作，卷积核大小Kernel size＝3，步长Stride＝2，随后使用ReLU激活函数；
第三层使用256个卷积核conv对图像进行卷积操作，卷积核大小Kernel size＝3，步长Stride＝1，随后使用ReLU激活函数；
第四层使用最大值池化pool的方式对卷积结果进行下采样，池化核大小Kernelsize＝2，步长Stride＝2；
第五层使用上采样层upsampling的方式对卷积结果进行上采样，上采样核大小Kernel size＝2，步长Stride＝2；
第六层使用256个卷积核conv对图像进行卷积操作(卷积核大小Kernel size＝3；步长Stride＝1，随后使用ReLU激活函数；
第七层使用融合merge的方式对第三层与第六层卷积结果进行组合；
第八层使用256个卷积核conv对图像进行卷积操作，卷积核大小Kernel size＝3，步长Stride＝1，随后使用ReLU激活函数；
第九层使用上采样层upsampling的方式对卷积结果进行上采样，上采样核大小Kernel size＝2，步长Stride＝2；
第十层使用128个卷积核conv对图像进行卷积操作，卷积核大小Kernel size＝3，步长Stride＝1，随后使用ReLU激活函数；
第十一层使用融合merge的方式对第二层与第十层卷积结果进行组合；
第十二层使用128个卷积核conv对图像进行卷积操作，卷积核大小Kernel size＝3，步长Stride＝1，随后使用ReLU激活函数；
第十三层使用上采样层upsampling的方式对卷积结果进行上采样，上采样核大小Kernel size＝2，步长Stride＝2；
第十四层使用64个卷积核conv对图像进行卷积操作，卷积核大小Kernel size＝3，步长Stride＝1，随后使用ReLU激活函数；
第十五层使用3个卷积核conv对图像进行卷积操作，卷积核大小Kernel size＝3，步长Stride＝1，随后使用Sigmoid激活函数。
步骤d)中，所述的构建上皮组织轮廓检测模型过程中，采用一种新的损失函数Focal Edge Loss，来降低远离边缘处像素点的重要性，把训练优化集中在食管病理图像上皮组合区域与非上皮组织区域交界处；为了防止根据交叉熵cross-entropy计算代价函数的时候被远离边缘的正负例主导，将代价函数分成四个部分，临近边缘正例的损失函数、临近边缘负例的损失函数、远离边缘正例的损失函数、远离边缘负例的损失函数，代价函数C表示为：
其中，为临近边缘正例的损失函数，为临近边缘负例的损失函数，/>为远离边缘正例的损失函数，/>远离边缘负例的损失函数；pi是模型的输出，pi *是标签图像中的值经过独热编码的结果；
损失函数F EL通过公式(3)进行求取：
其中，对于图像中的任意一点i，d是该像素点到边缘的最小曼哈顿距离,dmax是图像中同类别像素点到边缘的最小距离中的最大值；选取一个距离阈值dthreshold，当di＜dthreshold时，定义该点为临近边缘点，即为i∈Apixel_near_edge，否则i∈Apixel_rest；γ的取值为0时，FEL变为传统的交叉熵函数；γ的取值越大，代价函数对远离边缘正负例的依赖程度越低，公式(3)中取γ＝1。
e).标注区域融合，将步骤c)得到的图像输入到步骤d)训练好的深度卷积神经网络模型中，得到专家用线条绘制的轮廓内上皮组织的轮廓线；步骤b中专家绘制的轮廓线，其在上皮组织的轮廓线部分予以保留，轮廓线在非上皮组织的部分予以替换，利用步骤d)中像素分类后形成的检测边缘代替，得到更加精准的上皮组织区域的标注轮廓线。
该步骤中，将步骤c)得到的图像使用滑动窗口的方法，窗口大小固定为512×512，滑动步幅为512，将专家圈取的轮廓内病理图像的分割若干个512×512的图像，输入到步骤d)训练好的深度卷积神经网络模型,得到预测热图；根据预测结果，将选取出来区域与背景区域转变为二值图像，进行腐蚀膨胀处理，然后进行开运算；开运算之后根据连通性剔除孤立的小区域与噪点，输出最终的上皮分割结果，绘制上皮组织轮廓线；步骤b)中专家粗略绘制轮廓线，其在上皮组织的轮廓部分予以保留，轮廓线在非上皮组织的部分予以替换，使用检测边缘代替，得到更加精细的标注区域轮廓线。如图6所示，给出了专家用线条标注的粗略轮廓与融合后的精细轮廓对比图，图6中的左侧图为专家用线条标注的粗略轮廓，经过本发明所训练的上皮组织轮廓检测模型的处理后，其就形成了图6中右侧的精细轮廓图，可见，其可对病理图像中专家绘制的粗略轮廓进行精准的标注，既降低了专家的劳动强度，又提高了工作效率和保证了较高的精准度。
Claims (5)
1.一种食管癌病理图像标注方法，其特征在于，通过以下步骤来现：
a).图像染色校正，对H&E染色的食管病理图像进行染色校正处理，缩小病理图像之间由于切片染色制作过程中产生的染色不均匀造成的颜色差异；
b).癌变区域病变，专家诊断食管病理图像中癌症病变区域，用线条在某一放大倍率下的图像中绘制出病变区域的轮廓；
c).图像映射，将专家步骤b)中在某一放大倍率下标注的癌变区域轮廓映射到最大放大倍率40X的病理图像中；
d).构建上皮组织轮廓检测模型，
d-1).首先构建上皮组织轮廓检测训练样本集，选取上皮区域与非上皮区域的病理图像，使用滑动窗口的方法，窗口大小固定为m×m，滑动步幅为m，沿着上皮组织区域与非上皮组织区域交界处依次提取若干个m×m大小的图像，进行像素级别的组织区域标注，标注出像素点属于上皮区域、间质组织还是无关空白区域，标注后的图像形成标签图像；标签图像与灰度图像组成训练数据集；
d-2).构建一个端到端的卷积神经网络模型，构建的卷积神经网络包括编码网络和解码网络，其中，编码网络由卷积层、激活层和池化层堆叠而成，解码网络由上采样层、卷积层和激活层堆叠而成，并采取跨层连接结构将编码网络卷积层的输出特征与解码网络卷积层的输出特征图进行融合，解码网络的最终输出连接sigmoid层，sigmoid层实现像素的分类；
e).标注区域融合，将步骤c)得到的图像输入到步骤d)训练好的深度卷积神经网络模型中，得到专家用线条绘制的轮廓内上皮组织的轮廓线；步骤b中专家绘制的轮廓线，其在上皮组织的轮廓线部分予以保留，轮廓线在非上皮组织的部分予以替换，利用步骤d)中像素分类后形成的检测边缘代替，得到更加精准的上皮组织区域的标注轮廓线；
步骤d)所述的构建上皮组织轮廓检测模型过程中，采用一种新的损失函数Focal EdgeLoss，来降低远离边缘处像素点的重要性，把训练优化集中在食管病理图像上皮组合区域与非上皮组织区域交界处；为了防止根据交叉熵cross-entropy计算代价函数的时候被远离边缘的正负例主导，将代价函数分成四个部分，临近边缘正例的损失函数、临近边缘负例的损失函数、远离边缘正例的损失函数、远离边缘负例的损失函数，代价函数C表示为：
其中，为临近边缘正例的损失函数，为临近边缘负例的损失函数，/>为远离边缘正例的损失函数，/>远离边缘负例的损失函数；pi是模型的输出，pi *是标签图像中的值经过独热编码的结果；
损失函数F EL通过公式(3)进行求取：
其中，对于图像中的任意一点i，d是该像素点到边缘的最小曼哈顿距离,dmax是图像中同类别像素点到边缘的最小距离中的最大值；选取一个距离阈值dthreshold，当di＜dthreshold时，定义该点为临近边缘点，即为i∈Apixel_near_edge，否则i∈Apixel_rest；γ的取值为0时，FEL变为传统的交叉熵函数；γ的取值越大，代价函数对远离边缘正负例的依赖程度越低，公式(3)中取γ＝1。
2.根据权利要求1所述的食管癌病理图像标注方法，其特征在于，步骤a)中所述的图像染色校的方法为：首先根据朗伯-比尔定律，将彩色值转化为光密度值，并利用奇异值分解，将用于病理图像染色的苏木素Haematoxylin和伊红Eosin两种染色剂分离，得到H和E的单染色图像，使用统一的染色剂矩阵对其分别进行标准化校正，将校正后的单色图像合成即可得到校正图像；相应的RGB三通道-染色剂光密度矩阵为如(1)所示。
3.根据权利要求1或2所述的食管癌病理图像标注方法，其特征在于：步骤d-1)所构建的上皮组织轮廓检测训练样本集，窗口大小固定为512像素×512像素大小，滑动步幅为512像素，所标注的上皮区域、间质组织、无关空白区域像素点的灰度值分别为128、0、255。
4.根据权利要求1或2所述的食管癌病理图像标注方法，其特征在于：步骤d-2)所构建的卷积神经网络模型采用Keras框架，其结构如下：
第一层使用64个卷积核conv对图像进行卷积操作，卷积核大小kernel size＝3，步长Stride＝2，随后使用ReLU激活函数；
第二层使用128个卷积核conv对图像进行卷积操作，卷积核大小Kernel size＝3，步长Stride＝2，随后使用ReLU激活函数；
第三层使用256个卷积核conv对图像进行卷积操作，卷积核大小Kernel size＝3，步长Stride＝1，随后使用ReLU激活函数；
第四层使用最大值池化pool的方式对卷积结果进行下采样，池化核大小Kernel size＝2，步长Stride＝2；
第五层使用上采样层upsampling的方式对卷积结果进行上采样，上采样核大小Kernelsize＝2，步长Stride＝2；
第六层使用256个卷积核conv对图像进行卷积操作(卷积核大小Kernel size＝3；步长Stride＝1，随后使用ReLU激活函数；
第七层使用融合merge的方式对第三层与第六层卷积结果进行组合；
第八层使用256个卷积核conv对图像进行卷积操作，卷积核大小Kernel size＝3，步长Stride＝1，随后使用ReLU激活函数；
第九层使用上采样层upsampling的方式对卷积结果进行上采样，上采样核大小Kernelsize＝2，步长Stride＝2；
第十层使用128个卷积核conv对图像进行卷积操作，卷积核大小Kernel size＝3，步长Stride＝1，随后使用ReLU激活函数；
第十一层使用融合merge的方式对第二层与第十层卷积结果进行组合；
第十二层使用128个卷积核conv对图像进行卷积操作，卷积核大小Kernel size＝3，步长Stride＝1，随后使用ReLU激活函数；
第十三层使用上采样层upsampling的方式对卷积结果进行上采样，上采样核大小Kernel size＝2，步长Stride＝2；
第十四层使用64个卷积核conv对图像进行卷积操作，卷积核大小Kernel size＝3，步长Stride＝1，随后使用ReLU激活函数；
第十五层使用3个卷积核conv对图像进行卷积操作，卷积核大小Kernel size＝3，步长Stride＝1，随后使用Sigmoid激活函数。
5.根据权利要求1或2所述的食管癌病理图像标注方法，其特征在于：步骤e)标注区域融合过程中，将步骤c)得到的图像使用滑动窗口的方法，窗口大小固定为512×512，滑动步幅为512，将专家圈取的轮廓内病理图像的分割若干个512×512的图像，输入到步骤d)训练好的深度卷积神经网络模型,得到预测热图；根据预测结果，将选取出来区域与背景区域转变为二值图像，进行腐蚀膨胀处理，然后进行开运算；开运算之后根据连通性剔除孤立的小区域与噪点，输出最终的上皮分割结果，绘制上皮组织轮廓线；步骤b)中专家粗略绘制轮廓线，其在上皮组织的轮廓部分予以保留，轮廓线在非上皮组织的部分予以替换，使用检测边缘代替，得到更加精细的标注区域轮廓线。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911074711.2A CN110826560B (zh) | 2019-11-06 | 2019-11-06 | 一种食管癌病理图像标注方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911074711.2A CN110826560B (zh) | 2019-11-06 | 2019-11-06 | 一种食管癌病理图像标注方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110826560A CN110826560A (zh) | 2020-02-21 |
| CN110826560B true CN110826560B (zh) | 2023-10-27 |
Family
ID=69552836
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911074711.2A Active CN110826560B (zh) | 2019-11-06 | 2019-11-06 | 一种食管癌病理图像标注方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110826560B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111353547B (zh) * | 2020-03-06 | 2023-07-04 | 重庆金山医疗技术研究院有限公司 | 一种基于深度学习的图片处理方法、设备及系统 |
| CN111680706B (zh) * | 2020-06-17 | 2023-06-23 | 南开大学 | 一种基于编码和解码结构的双通道输出轮廓检测方法 |
| CN112967266B (zh) * | 2021-03-23 | 2024-02-06 | 湖南珞佳智能科技有限公司 | 一种全卷积神经网络的激光定向能量沉积面积计算方法 |
| WO2022226949A1 (zh) * | 2021-04-29 | 2022-11-03 | 深圳硅基智控科技有限公司 | 基于人工神经网络的组织病变识别的识别方法及识别系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229576A (zh) * | 2018-01-23 | 2018-06-29 | 北京航空航天大学 | 一种跨倍率病理图像特征学习方法 |
| CN108288506A (zh) * | 2018-01-23 | 2018-07-17 | 雨声智能科技（上海）有限公司 | 一种基于人工智能技术的癌症病理辅助诊断方法 |
| CN108364288A (zh) * | 2018-03-01 | 2018-08-03 | 北京航空航天大学 | 用于乳腺癌病理图像的分割方法和装置 |
| CN108629768A (zh) * | 2018-04-29 | 2018-10-09 | 山东省计算中心（国家超级计算济南中心） | 一种食管病理图像中上皮组织的分割方法 |
| CN108876804A (zh) * | 2017-10-12 | 2018-11-23 | 北京旷视科技有限公司 | 抠像模型训练和图像抠像方法、装置和系统及存储介质 |
| CN109378052A (zh) * | 2018-08-31 | 2019-02-22 | 透彻影像(北京)科技有限公司 | 图像标注的预处理方法及系统 |
| CN110059694A (zh) * | 2019-04-19 | 2019-07-26 | 山东大学 | 电力行业复杂场景下的文字数据的智能识别方法 |
| CN110097559A (zh) * | 2019-04-29 | 2019-08-06 | 南京星程智能科技有限公司 | 基于深度学习的眼底图像病灶区域标注方法 |
| CN110322435A (zh) * | 2019-01-20 | 2019-10-11 | 北京工业大学 | 一种基于深度学习的胃癌病理图像癌变区域分割方法 |
| CN110348445A (zh) * | 2019-06-06 | 2019-10-18 | 华中科技大学 | 一种融合空洞卷积和边缘信息的实例分割方法 |
| CN110378885A (zh) * | 2019-07-19 | 2019-10-25 | 王晓骁 | 一种基于机器学习的wsi病灶区域自动标注方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10878576B2 (en) * | 2018-02-14 | 2020-12-29 | Elekta, Inc. | Atlas-based segmentation using deep-learning |
-
2019
- 2019-11-06 CN CN201911074711.2A patent/CN110826560B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108876804A (zh) * | 2017-10-12 | 2018-11-23 | 北京旷视科技有限公司 | 抠像模型训练和图像抠像方法、装置和系统及存储介质 |
| CN108229576A (zh) * | 2018-01-23 | 2018-06-29 | 北京航空航天大学 | 一种跨倍率病理图像特征学习方法 |
| CN108288506A (zh) * | 2018-01-23 | 2018-07-17 | 雨声智能科技（上海）有限公司 | 一种基于人工智能技术的癌症病理辅助诊断方法 |
| CN108364288A (zh) * | 2018-03-01 | 2018-08-03 | 北京航空航天大学 | 用于乳腺癌病理图像的分割方法和装置 |
| CN108629768A (zh) * | 2018-04-29 | 2018-10-09 | 山东省计算中心（国家超级计算济南中心） | 一种食管病理图像中上皮组织的分割方法 |
| CN109378052A (zh) * | 2018-08-31 | 2019-02-22 | 透彻影像(北京)科技有限公司 | 图像标注的预处理方法及系统 |
| CN110322435A (zh) * | 2019-01-20 | 2019-10-11 | 北京工业大学 | 一种基于深度学习的胃癌病理图像癌变区域分割方法 |
| CN110059694A (zh) * | 2019-04-19 | 2019-07-26 | 山东大学 | 电力行业复杂场景下的文字数据的智能识别方法 |
| CN110097559A (zh) * | 2019-04-29 | 2019-08-06 | 南京星程智能科技有限公司 | 基于深度学习的眼底图像病灶区域标注方法 |
| CN110348445A (zh) * | 2019-06-06 | 2019-10-18 | 华中科技大学 | 一种融合空洞卷积和边缘信息的实例分割方法 |
| CN110378885A (zh) * | 2019-07-19 | 2019-10-25 | 王晓骁 | 一种基于机器学习的wsi病灶区域自动标注方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 傅裕等.人工智能技术在皮肤病辅助诊断的应用研究.中国数字医学.2018,(第10期),第34-36、43页. * |
| 闫雯等.深度学习在数字病理中的应用.中国生物医学工程学报.2018,(第01期),第98-108页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110826560A (zh) | 2020-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110826560B (zh) | 一种食管癌病理图像标注方法 | |
| CN108364288B (zh) | 用于乳腺癌病理图像的分割方法和装置 | |
| Bao et al. | Multi-scale structured CNN with label consistency for brain MR image segmentation | |
| Bi et al. | Step-wise integration of deep class-specific learning for dermoscopic image segmentation | |
| CN112017191B (zh) | 基于注意力机制的肝脏病理图像分割模型建立及分割方法 | |
| CN104463804B (zh) | 一种基于直觉模糊集的图像增强方法 | |
| CN108629768B (zh) | 一种食管病理图像中上皮组织的分割方法 | |
| CN108229576B (zh) | 一种跨倍率病理图像特征学习方法 | |
| CN108305253B (zh) | 一种基于多倍率深度学习的病理图像分类方法 | |
| Cui et al. | Semi-supervised image deraining using knowledge distillation | |
| Sengupta et al. | Improved skin lesions detection using color space and artificial intelligence techniques | |
| Youssef et al. | Deep convolutional pixel-wise labeling for skin lesion image segmentation | |
| Wang et al. | EAR-U-Net: EfficientNet and attention-based residual U-Net for automatic liver segmentation in CT | |
| Mubashshira et al. | An unsupervised approach for road surface crack detection | |
| CN115546466A (zh) | 一种基于多尺度显著特征融合的弱监督图像目标定位方法 | |
| Celebi et al. | Guest editorial skin lesion image analysis for melanoma detection | |
| Jie et al. | Medical image fusion based on extended difference-of-Gaussians and edge-preserving | |
| CN114708229A (zh) | 一种病理切片数字图像的全层次分析系统 | |
| Gopikha et al. | Regularised Layerwise Weight Norm Based Skin Lesion Features Extraction and Classification. | |
| Li et al. | Noise-tolerant deep learning for histopathological image segmentation | |
| CN114972291B (zh) | 基于混合增强智能的医学影像结构化自动标注方法与系统 | |
| CN114627136B (zh) | 一种基于特征金字塔网络的舌象分割与对齐方法 | |
| Guo et al. | An indeterminacy fusion of encoder-decoder network based on neutrosophic set for white blood cells segmentation | |
| CN114882282A (zh) | 基于mri和ct图像的结直肠癌治疗效果的神经网络预测方法 | |
| Naqvi et al. | Automated gland segmentation leading to cancer detection for colorectal biopsy images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |