CN114494155A - 非小细胞肺癌ihc染色图像肿瘤区域免疫分级方法、系统及存储介质 - Google Patents
非小细胞肺癌ihc染色图像肿瘤区域免疫分级方法、系统及存储介质 Download PDFInfo
- Publication number
- CN114494155A CN114494155A CN202111675374.XA CN202111675374A CN114494155A CN 114494155 A CN114494155 A CN 114494155A CN 202111675374 A CN202111675374 A CN 202111675374A CN 114494155 A CN114494155 A CN 114494155A
- Authority
- CN
- China
- Prior art keywords
- patch
- immune
- tumor
- tumor region
- grading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明公开了一种非小细胞肺癌IHC染色图像肿瘤区域免疫分级方法、系统及存储介质,方法包括下述步骤:肿瘤区域自动识别,定位全视野数字切片WSI上肿瘤区域的具体位置,为肿瘤区域的定量分析做基础;细胞分割计数,确定每一个全视野数字切片WSI切割的patch上的T淋巴细胞数,为计算每个WSI上的免疫分级提供数据支持;免疫分级,根据病理切片肿瘤区域CD3、CD8阳性细胞密度确定患者的免疫分级,所述免疫分级包括高级和低级。本发明通过对患者的免疫状况进行分级,有利于研究非小细胞肺癌中不同的免疫级别对患者生存状况的影响。
Description
技术领域
本发明属于数字图像处理的技术领域,具体涉及一种非小细胞肺癌IHC染色图像肿瘤区域免疫分级方法、系统及存储介质。
背景技术
据2020年最新数据显示,肺癌是全球癌症相关死亡率最主要的原因,非小细胞肺癌约占所有肺癌总数的75%。在对非小细胞肺癌患者进行预后分析时,IHC染色数字图像肿瘤区域T淋巴细胞(CD3阳性和CD8阳性)是重要的分析指标,因此,自动地实现肿瘤区域T淋巴细胞的定量分析具有重要意义。它能辅助病理医生对IHC染色图像进行快速、高通量地自动分析,极大减轻病理医生工作负担。
发明内容
本发明的目的在于根据现实需求,探索影响患者预后的独立性因素,提供一种非小细胞肺癌IHC染色图像肿瘤区域免疫分级方法、系统及存储介质,该方法可根据提供的非小细胞肺癌患者的IHC染色病理切片,自动计算出基于T淋巴细胞的免疫分级。
为了达到上述目的,本发明采用以下技术方案:
本发明一方面提供了一种非小细胞肺癌IHC染色图像肿瘤区域免疫分级方法,包括下述步骤
肿瘤区域自动识别,定位全视野数字切片WSI上肿瘤区域的具体位置,为肿瘤区域的定量分析做基础;
细胞分割计数,确定每一个全视野数字切片WSI切割的patch上的T淋巴细胞数,为计算每个WSI上的免疫分级提供数据支持;
免疫分级,根据病理切片肿瘤区域CD3、CD8阳性细胞密度确定患者的免疫分级,所述免疫分级包括高级和低级。
作为优选的技术方案,所述肿瘤区域自动识别的步骤具体为:
采样,将放大M倍的数字病理切片下采样N倍,得到区别肿瘤与非肿瘤区域的小倍率数字病理切片,所述小倍率数字病理切片保持图片中各目标的相对位置及空间关系不变;
肿瘤区域分割,将下采样后的小倍率数字病理切片中的肿瘤区域分割出来,分割的结果用二值图像表示,肿瘤区域的像素值为255,非肿瘤区域的使用像素值为0。
作为优选的技术方案,所述肿瘤区域分割的分割方法为:
将采样后输出的小倍率数字病理切片提取RGB三个颜色通道,同时将小倍率数字病理切片颜色空间转化为HSV模式,提取H、S通道;
将得到的RGB三个颜色通道,H、S通道,分别运用大津法OTSU操作,在RGB上运用大津法操作得到的值再与其对应的RGB通道做一个大小比较,然后对比较后的结果作逻辑按位与操作,最后将所得到结果取反即可得到肿瘤区域;H、S通道执行上诉同样的操作,主要用于调整复杂区域的肿瘤区域分割,最后将各通道的结果作逻辑运算,分割出肿瘤区域。
作为优选的技术方案,所述细胞分割计数的步骤具体为:
patch切割,将放大后IHC图像的数字病理图像肿瘤区域分割成不重叠的设定像素大小的patch,并确保每张patch上的肿瘤组织区域占整个patch面积不少于50%,同时获取每个patch在其所属数字病理切片中的相对位置起始坐标;
预处理,将所述patch切割步骤中输出的patch上碳尘过滤掉;
细胞分割识别,将所述预处理步骤后的patch上的相应细胞分割出来,同时分别识别出染色阳性和染色阴性的细胞;
细胞计数,统计所述分割识别步骤输出的每张patch上染色阳性和染色阴性的细胞。
作为优选的技术方案,所述patch切割的步骤包括:
切割执行,完成肿瘤区域的切割操作,所述切割操作具体为:
根据自动识别步骤得到的二值图像,将肿瘤区域所有点的横坐标和纵坐标进行排序,计算出肿瘤区域所对应的最小外接矩形;
在得到最小外接矩形后,选定每个patch的起始坐标,在横纵两个方向上以设定的步长进行切割,为了保证每个patch上的肿瘤区域占比不小于50%,通过设置一个阈值来筛选符合要求的patch;
上述筛选出来的patch是经过了N倍下采样,为了得到每个实际的patch的起始坐标,需要进行坐标转换,得到原始倍率下的patch起始坐标:(Xi*N,Yi*N),对于得到的每个patch保留所属病理切片的ID号、patch所属病理切片中的起始坐标、patch尺寸大小信息;
检验切割的肿瘤区域patch是否正确,检测方法具体为:
可视化最小外接矩形,用二值图像表示:根据所述切割执行步骤中得到的最小外接矩形的四个顶点坐标,绘制肿瘤区域的最小外接矩形,或者根据得到的最小外接矩形的起始坐标,结合每个patch的尺寸,绘制最小外接矩形;
在二值图像上可视化所有可能切割的patch区域:根据所述切割执行步骤中得到的每个patch上的起始坐标和尺寸大小,在包含肿瘤区域的二值图像上画出每个patch可能的区域;
在二值图像上可视化所有切割的patch区域:根据所述切割执行步骤中得到的阈值,筛选出肿瘤区域占比大于50%的patch,并在所述自动识别步骤中得到的二值图像中画出筛选后的patch区域,检查筛选是否得当;
在N倍下采样的数字病理图片上画出筛选后的patch,并在每个patch区域标注上该patch的起始坐标:首先是对原始的病理切片进行N倍下采样,然后根据所述切割执行步骤中得到的筛选后的patch起始坐标和patch尺寸,在采样后的病理图像上绘制patch区域,同时根据patch所属的原始病理图像上的空间起始坐标,在采样后的病例图像对应的patch区域标出其起始坐标;
检验切割结果:根据所述切割执行步骤中得到的patch及其对应的坐标信息,找到对应的切割区域,如若能找到,且patch内容一样,则表明切割正确。
作为优选的技术方案,所述计算出肿瘤区域所对应的最小外接矩形的方法为:
根据肿瘤区域的所有点的像素坐标,将所有的横坐标(x1,x2,x3,...),所有的纵坐标(y1,y2,y3...)分别进行从小到大的排序,然后分别选取最大、最小值,即Xmin=min(x1,x2,x3,...)、Xmax=max(x1,x2,x3,...)、Ymin=min(y1,y2,y3,...)、Ymax=max(y1,y2,y3,...),肿瘤区域的最小外接矩形可以这样表示(Xmin,Ymin)、(Xmin,Ymax)、(Xmax,Ymin)、(Xmax,Ymax)。
作为优选的技术方案,所述免疫分级步骤进行分级的具体方法为:
1)计算单位面积内CD3阳性细胞数:首先计算与CD3相关的肿瘤区域面积,即所有patch上肿瘤区域面积之和,其次提取所述分割步骤的计数结果,所有patch上的阳性细胞数之和为总的肿瘤区域阳性细胞数,总的阳性细胞数与总的肿瘤区域面积之比即为单位面积内CD3阳性细胞数;
2)计算与CD3相同病理号IHC染色下CD8单位面积阳性细胞数;在IHC染色的CD8数字病理切片下重复步骤2操作;
3)归一化单位面积阳性细胞数,对某个数据中心的单位面积内CD3阳性细胞数和单位面积内CD8阳性细胞数归一化,(Si-Smin)/(Smax-Smin),Si为当前某一个病理切片步骤2)得分,Smin,Smax分别为某一个中心步骤2)中最大、最小得分;
4)利用病人的生存状态和生存期OS,或是无病生存期DFS,分别将单位面积内CD3阳性细胞数、CD8阳性细胞数分为高、低两组,最佳截断点确定原则为高、低两组Log-rank检验的P值最小;
5)二值化单位面积内阳性细胞数:根据步骤4)确定的两个最佳截断点,将单位面积内CD3阳性细胞数分为HIGHCD3、LOWCD3两组,同样的单位面积内CD8阳性细胞数也可分为HIGHCD8、LOWCD8两组;
6)免疫分级:根据步骤5)得到的HIGHCD3、LOWCD3、HIGHCD8、LOWCD8,对患者相应的免疫环境进行分级,若患者的单位面积内CD3阳性细胞数和单位面积内CD8阳性细胞数分别为HIGHCD3,HIGHCD8,则该患者对应的免疫分级为高,否则为低。
作为优选的技术方案,所述细胞分割计数步骤中,还包括定量T淋巴细胞空间分布的方法,包括下述步骤:
根据细胞计数步骤得到的一张数字病理图像切割下来的patch上的T淋巴细胞数,计算相应的空间权重矩阵w:
wij为第i个patch与第j个patch之间的权重值,
空间分布计算由下面公式得出:
本发明另一方面提供了一种非小细胞肺癌IHC染色图像肿瘤区域免疫分级系统,应用于所述的非小细胞肺癌IHC染色图像肿瘤区域免疫分级方法,包括肿瘤区域自动识别模块、细胞分割计数模块和免疫分级模块;
所述肿瘤区域自动识别模块,用于定位全视野数字切片WSI上肿瘤区域的具体位置,为肿瘤区域的定量分析做基础;
所述细胞分割计数模块,用于确定每一个全视野数字切片WSI切割的patch上的T淋巴细胞数,为计算每个WSI上的免疫分级提供数据支持;
所述免疫分级模块,用于根据病理切片肿瘤区域CD3、CD8阳性细胞密度确定患者的免疫分级,所述免疫分级包括高级和低级。
本发明又一方面提供了一种计算机可读存储介质,存储有程序,所述程序被处理器执行时,实现所述的非小细胞肺癌IHC染色图像肿瘤区域免疫分级方法。
本发明与现有技术相比,具有如下优点和有益效果:
本发明综合非小细胞肺癌CD8、CD3阳性细胞数密度对患者的免疫状况进行免疫分级:
1、本发明可精准的定位到肿瘤区域位置,可为肿瘤区域人工分析或自动分析提供信息支撑。
2、本发明计算IHC免疫分级是在patch级别进行的,通过patch定位,可追踪每一个patch在整个WSI和肿瘤区域的具体位置,确保了数据分析的准确性和可回溯性。
3、本发明提出的非小细胞肺癌IHC的免疫分级,结合临床数据,对患者的无病生存期做预后分析,与不加入本发明提出的预后因素相比,相对应模型的C-index有显著性提高。结合临床数据和本发明提出的免疫分级因素做生存分析,证实了本发明提出的免疫分级因素可作为一个独立的预后因素,在对患者作预后预测时,可起到一个积极的作用。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中非小细胞肺癌IHC染色图像肿瘤区域免疫分级方法整体流程图;
图2为本发明实施例中patch切割与验证的可视化展示示意图;
图3为本发明实施例中非小细胞肺癌IHC染色图像肿瘤区域免疫分级系统整体方框图;
图4为本发明实施例中计算机可读存储介质的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。
如图1所示,本实施例非小细胞肺癌IHC染色图像肿瘤区域免疫分级方法,包括下述步骤:
S1、肿瘤区域自动识别,定位全视野数字切片WSI上肿瘤区域的具体位置,为肿瘤区域的定量分析做基础;
S2、细胞分割计数,确定每一个全视野数字切片WSI切割的patch上的T淋巴细胞数,为计算每个WSI上的免疫分级提供数据支持;
S3、免疫分级,根据病理切片肿瘤区域CD3、CD8阳性细胞密度确定患者的免疫分级,所述免疫分级包括高级和低级。
进一步的,所述肿瘤区域自动识别的步骤具体为:
S1.1、采样,将一张放大400倍的数字病理切片下采样16倍,得到区别肿瘤与非肿瘤区域的小倍率数字病理切片,所述小倍率数字病理切片保持图片中各目标的相对位置及空间关系不变;
S1.2、肿瘤区域分割,将下采样后的小倍率数字病理切片中的肿瘤区域分割出来,分割的结果用二值图像表示,肿瘤区域的像素值为255,非肿瘤区域的使用像素值为0。
更进一步的,所述肿瘤区域分割的分割方法为:
S1.2.1、将采样后输出的小倍率数字病理切片提取RGB三个颜色通道,同时将小倍率数字病理切片颜色空间转化为HSV模式,提取H、S通道;
S1.2.2、将得到的RGB三个颜色通道,H、S通道,分别运用大律法(OTSU)操作,在RGB上运用大津法操作得到的值再与其对应的RGB通道做一个大小比较,然后对比较后的结果作逻辑按位与操作,最后将所得到结果取反即可得到肿瘤区域;H、S通道执行上述同样的操作,主要用于调整复杂区域的肿瘤区域分割;最后将各通道的结果作逻辑运算,分割出肿瘤区域。以一张单通道的图片表示分割结果,用255的像素值表示肿瘤区域,非肿瘤区域用像素值0表示。
更进一步的,步骤S2中,所述细胞分割计数的步骤具体为:
S2.1、patch切割,将400放大下IHC图像的数字病理图像肿瘤区域分割成不重叠的1024*1024像素大小的patch,并确保每张patch上的肿瘤组织区域占整个patch面积不少于50%,同时获取每个patch在其所属数字病理切片中的相对位置起始坐标;
S2.2、预处理,将所述patch切割步骤中输出的patch上碳尘过滤掉,减弱因患者吸烟或是患者生活环境恶劣而形成的肺部碳尘对分割识别的干扰;
S2.3、细胞分割识别,将所述预处理步骤后的patch上的相应细胞分割出来,同时分别识别出染色阳性和染色阴性的细胞;
S2.4、细胞计数,统计所述分割识别步骤输出的每张patch上染色阳性和染色阴性的细胞。
更进一步的,步骤S2.1中,所述patch切割的步骤包括:
S2.1.1、切割执行,完成肿瘤区域的切割操作,所述切割操作具体为:
S2.1.1.1、根据自动识别步骤得到的二值图像,将肿瘤区域所有点的横坐标和纵坐标进行排序,计算出肿瘤区域所对应的最小外接矩形:根据肿瘤区域的所有点的像素坐标,将所有的横坐标(x1,x2,x3,...),所有的纵坐标(y1,y2,y3,...)分别进行从小到大的排序,然后分别选取最大、最小值,即Xmin=min(x1,x2,x3,...)、Xmax=max(x1,x2,x3,...)、Ymin=min(y1,y2,y3,...)、Ymax=max(y1,y2,y3,...),肿瘤区域的最小外接矩形可以这样表示(Xmin,Ymin)、(Xmin,Ymax)、(Xmax,Ymin)、(Xmax,Ymax)。
S2.1.1.2、确定每个patch的起始坐标:在得到最小外接矩形后,在横纵两个方向上以1024/16=64为步长进行切割,即Xi∈[Xmin:Xmax:64]、Yi∈[Ymin:Ymax:64]。每个patch的起始坐标为(Xi,Yi),patch大小为64,为了保证每个patch上的肿瘤区域占比不小于50%,这里通过一个阈值来筛选。得到每一个patch的起始坐标后,每个patch对应的阈值为64*64*255*0.5=522240,通过该阈值,就可以对patch进行筛选,保证每个patch中肿瘤区域占比不小于50%。以上的patch是经过了16倍下采样,为了得到每个实际的patch的起始坐标,需要进行坐标转换,得到原始倍率下的patch起始坐标:(Xi*16,Yi*16),patch尺寸大小为1024*1024像素,对于得到的每个patch保留所属病理切片的ID号、patch所属病理切片中的起始坐标、patch尺寸大小等信息。
S2.1.2、检验切割的肿瘤区域patch是否正确,检测方法具体为:
S2.1.2.1、可视化最小外接矩形,用二值图像表示:根据所述切割执行模块中步骤1得到的最小外接矩形的四个顶点坐标,可绘制肿瘤区域的最小外接矩形,也可根据得到的最小外接矩形的起始坐标,结合每个patch的尺寸64像素,绘制最小外接矩形;
S2.1.2.2、在二值图像上可视化所有可能切割的patch区域:根据所述切割执行步骤中得到的每个patch上的起始坐标和尺寸大小,在包含肿瘤区域的二值图像上画出每个patch可能的区域;
S2.1.2.3、在二值图像上可视化所有切割的patch区域:根据所述切割执行步骤中得到的阈值,筛选出肿瘤区域占比大于50%的patch,并在所述自动识别步骤中得到的二值图像中画出筛选后的patch区域,检查筛选是否得当;
S2.1.2.4、在16倍下采样的数字病理图片上画出筛选后的patch,并在每个patch区域标注上该patch的起始坐标:首先是对原始的病理切片进行16倍下采样,然后根据所述切割执行步骤中得到的筛选后的patch起始坐标和patch尺寸,在采样后的病理图像上绘制patch区域,同时根据patch所属的原始病理图像上的空间起始坐标,在采样后的病例图像对应的patch区域标出其起始坐标;
S2.1.25、检验切割结果:根据所述切割执行步骤中得到的patch及其对应的坐标信息,找到对应的切割区域,如若能找到,且patch内容一样,则表明切割正确,如图2所示。
进一步的,步骤S3中,所述免疫分级步骤进行分级的具体方法为:
S3.1、计算单位面积内CD3阳性细胞数:首先计算与CD3相关的肿瘤区域面积,即所有patch上肿瘤区域面积之和,其次提取所述分割步骤的计数结果,所有patch上的阳性细胞数之和为总的肿瘤区域阳性细胞数,总的阳性细胞数与总的肿瘤区域面积之比即为单位面积内CD3阳性细胞数;
S3.2、计算与CD3相同病理号IHC染色下CD8单位面积阳性细胞数;在IHC染色的CD8数字病理切片下重复步骤S3.2操作;
S3.3、归一化单位面积阳性细胞数,对某个数据中心的单位面积内CD3阳性细胞数和单位面积内CD8阳性细胞数归一化,(Si-Smin)/(Smax-Smin),Si为当前某一个病理切片得分,Smin,Smax分别为某一个中心步骤2)中最大、最小得分;
S3.4、利用病人的生存状态和生存期OS,或是无病生存期DFS,分别将单位面积内CD3阳性细胞数、CD8阳性细胞数分为高、低两组,最佳截断点确定原则为高、低两组Log-rank检验的P值最小;
S3.5、二值化单位面积内阳性细胞数:根据步骤4确定的两个最佳截断点,确定,将单位面积内CD3阳性细胞数分为HIGHCD3、LOWCD3两组,同样的单位面积内CD8阳性细胞数也可分为HIGHCD8、LOWCD8两组;
S3.6、免疫分级:根据步骤S3.5得到的HIGHCD3、LOWCD3、HIGHCD8、LOWCD8,可对患者相应的免疫环境进行分级,若患者的单位面积内CD3阳性细胞数和单位面积内CD8阳性细胞数分别为HIGHCD3,HIGHCD8,则该患者对应的免疫分级为高,否则为低;
更进一步的,所述细胞分割计数步骤中,还包括定量T淋巴细胞空间分布的方法,包括下述步骤:
根据细胞计数步骤得到的一张数字病理图像切割下来的patch上的T淋巴细胞数,计算相应的空间权重矩阵w:
wij为第i个patch与第j个patch之间的权重值,
空间分布计算由下面公式得出:
本发明一方面提了一种IHC染色的非小细胞肺癌免疫分级系统及空间自相关性计算方法,可根据提供的非小细胞肺癌患者的IHC染色病理切片,自动计算出基于T淋巴细胞的免疫分级,本发明同时还提供了一种计算相应T淋巴细胞在病理切片中空间分布的方法,这两个因素都可作为重要的分析指标。可以为医生或者研究人员的下游任务提供更为快速、客观的分析结果。
需要说明的是,对于前述的各方法实施例,为了简便描述,将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。
基于与上述实施例中的非小细胞肺癌IHC染色图像肿瘤区域免疫分级方法相同的思想,本发明还提供非小细胞肺癌IHC染色图像肿瘤区域免疫分级系统,该系统可用于执行上述非小细胞肺癌IHC染色图像肿瘤区域免疫分级方法。为了便于说明,非小细胞肺癌IHC染色图像肿瘤区域免疫分级系统实施例的结构示意图中,仅仅示出了与本发明实施例相关的部分,本领域技术人员可以理解,图示结构并不构成对装置的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图3所示,本发明另一个实施例提供了一种非小细胞肺癌IHC染色图像肿瘤区域免疫分级系统,包括肿瘤区域自动识别模块、细胞分割计数模块和免疫分级模块;
所述肿瘤区域自动识别模块,用于定位全视野数字切片WSI上肿瘤区域的具体位置,为肿瘤区域的定量分析做基础。
进一步的,所述肿瘤区域自动识别模块包括采样模块和肿瘤区域分割模块;
所述采样模块,用于将放大M倍的数字病理切片下采样N倍,得到区别肿瘤与非肿瘤区域的小倍率数字病理切片,所述小倍率数字病理切片保持图片中各目标的相对位置及空间关系不变;
所述肿瘤区域分割模块,用于将下采样后的小倍率数字病理切片中的肿瘤区域分割出来,分割的结果用二值图像表示,肿瘤区域的像素值为255,非肿瘤区域的使用像素值为0。
所述细胞分割计数模块,用于确定每一个全视野数字切片WSI切割的patch上的T淋巴细胞数,为计算每个WSI上的免疫分级提供数据支持;
进一步的,所述细胞分割计数模块包括patch切割模块、预处理模块、细胞分割识别模块、细胞计数模块;
所述patch切割模块,用于将放大后IHC图像的数字病理图像肿瘤区域分割成不重叠的设定像素大小的patch,并确保每张patch上的肿瘤组织区域占整个patch面积不少于50%,同时获取每个patch在其所属数字病理切片中的相对位置起始坐标;
所述的预处理模块,用于将所述patch切割模块中输出的patch上碳尘过滤掉;
所述的细胞分割识别模块,用于将所述预处理模块后的patch上的相应细胞分割出来,同时分别识别出染色阳性和染色阴性的细胞;
所述的细胞计数模块,用于统计所述分割识别模块输出的每张patch上染色阳性和染色阴性的细胞。
更进一步的,所述patch切割模块包括切割执行模块和检验模块;
所述的切割执行模块,用于完成肿瘤区域的切割操作,所述切割操作具体为:
根据自动识别模块得到的二值图像,将肿瘤区域所有点的横坐标和纵坐标进行排序,计算出肿瘤区域所对应的最小外接矩形;
在得到最小外接矩形后,选定每个patch的起始坐标,在横纵两个方向上以设定的步长进行切割,为了保证每个patch上的肿瘤区域占比不小于50%,通过设置一个阈值来筛选符合要求的patch;
上述筛选出来的patch是经过了N倍下采样,为了得到每个实际的patch的起始坐标,需要进行坐标转换,得到原始倍率下的patch起始坐标:(Xi*N,Yi*N),对于得到的每个patch保留所属病理切片的ID号、patch所属病理切片中的起始坐标、patch尺寸大小信息。
所述的检验模块,用于检验切割的肿瘤区域patch是否正确,检测方法具体为:
可视化最小外接矩形,用二值图像表示:根据所述切割执行模块中得到的最小外接矩形的四个顶点坐标,绘制肿瘤区域的最小外接矩形,或者根据得到的最小外接矩形的起始坐标,结合每个patch的尺寸,绘制最小外接矩形;
在二值图像上可视化所有可能切割的patch区域:根据所述切割执行模块中得到的每个patch上的起始坐标和尺寸大小,在包含肿瘤区域的二值图像上画出每个patch可能的区域;
在二值图像上可视化所有切割的patch区域:根据所述切割执行模块中得到的阈值,筛选出肿瘤区域占比大于50%的patch,并在所述自动识别模块中得到的二值图像中画出筛选后的patch区域,该步用于检查筛选是否得当;
在N倍下采样的数字病理图片上画出筛选后的patch,并在每个patch区域标注上该patch的起始坐标:首先是对原始的病理切片进行N倍下采样,然后根据所述切割执行模块中得到的筛选后的patch起始坐标和patch尺寸,在采样后的病理图像上绘制patch区域,同时根据patch所属的原始病理图像上的空间起始坐标,在采样后的病例图像对应的patch区域标出其起始坐标;
检验切割结果根据所述切割执行模块中得到的patch及其对应的坐标信息,找到对应的切割区域,如若能找到,且patch内容一样,则表明切割正确。
所述免疫分级模块,用于根据病理切片肿瘤区域CD3、CD8阳性细胞密度确定患者的免疫分级,所述免疫分级包括高级和低级。
进一步的,所述免疫分级模块进行分级的具体方法为:
1)计算单位面积内CD3阳性细胞数:首先计算与CD3相关的肿瘤区域面积,即所有patch上肿瘤区域面积之和,其次提取所述分割模块的计数结果,所有patch上的阳性细胞数之和为总的肿瘤区域阳性细胞数,总的阳性细胞数与总的肿瘤区域面积之比即为单位面积内CD3阳性细胞数;
2)计算与CD3相同病理号IHC染色下CD8单位面积阳性细胞数;在IHC染色的CD8数字病理切片下重复步骤2)操作;
3)归一化单位面积阳性细胞数,对某个数据中心的单位面积内CD3阳性细胞数和单位面积内CD8阳性细胞数归一化,(Si-Smin)/(Smax-Smin),Si为当前某一个病理切片步骤2得分,Smin,Smax分别为某一个中心步骤2)中最大、最小得分;
4)利用病人的生存状态和生存期OS,或是无病生存期DFS,分别将单位面积内CD3阳性细胞数、CD8阳性细胞数分为高、低两组,最佳截断点确定原则为高、低两组Log-rank检验的P值最小;
5)二值化单位面积内阳性细胞数:根据步骤4)确定的两个最佳截断点,确定,将单位面积内CD3阳性细胞数分为HIGHCD3、LOWCD3两组,同样的单位面积内CD8阳性细胞数也可分为HIGHCD8、LOWCD8两组;
6)免疫分级:根据步骤5)得到的HIGHCD3、LOWCD3、HIGHCD8、LOWCD8,可对患者相应的免疫环境进行分级,若患者的单位面积内CD3阳性细胞数和单位面积内CD8阳性细胞数分别为HIGHCD3,HIGHCD8,则该患者对应的免疫分级为高,否则为低。
需要说明的是,本发明的非小细胞肺癌IHC染色图像肿瘤区域免疫系统与本发明的非小细胞肺癌IHC染色图像肿瘤区域免疫分级方法一一对应,在上述非小细胞肺癌IHC染色图像肿瘤区域免疫分级方法的实施例阐述的技术特征及其有益效果均适用于非小细胞肺癌IHC染色图像肿瘤区域免疫分级系统的实施例中,具体内容可参见本发明方法实施例中的叙述,此处不再赘述,特此声明。
此外,上述实施例的非小细胞肺癌IHC染色图像肿瘤区域免疫分级系统的实施方式中,各程序模块的逻辑划分仅是举例说明,实际应用中可以根据需要,例如出于相应硬件的配置要求或者软件的实现的便利考虑,将上述功能分配由不同的程序模块完成,即将所述非小细胞肺癌IHC染色图像肿瘤区域免疫分级系统的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分功能。
如图4所示,在一个实施例中,提供了一种计算机可读存储介质,存储有程序于存储器中,所述程序被处理器执行时,实现所述的非小细胞肺癌IHC染色图像肿瘤区域免疫分级方法,具体为:
肿瘤区域自动识别,定位全视野数字切片WSI上肿瘤区域的具体位置,为肿瘤区域的定量分析做基础;
细胞分割计数,确定每一个全视野数字切片WSI切割的patch上的T淋巴细胞数,为计算每个WSI上的免疫分级提供数据支持;
免疫分级,根据病理切片肿瘤区域CD3、CD8阳性细胞密度确定患者的免疫分级,所述免疫分级包括高级和低级。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (10)
1.非小细胞肺癌IHC染色图像肿瘤区域免疫分级方法,其特征在于,包括下述步骤
肿瘤区域自动识别,定位全视野数字切片WSI上肿瘤区域的具体位置,为肿瘤区域的定量分析做基础;
细胞分割计数,确定每一个全视野数字切片WSI切割的patch上的T淋巴细胞数,为计算每个WSI上的免疫分级提供数据支持;
免疫分级,根据病理切片肿瘤区域CD3、CD8阳性细胞密度确定患者的免疫分级,所述免疫分级包括高级和低级。
2.根据权利要求1所述的非小细胞肺癌IHC染色图像肿瘤区域免疫分级系统,其特征在于,所述肿瘤区域自动识别的步骤具体为:
采样,将放大M倍的数字病理切片下采样N倍,得到区别肿瘤与非肿瘤区域的小倍率数字病理切片,所述小倍率数字病理切片保持图片中各目标的相对位置及空间关系不变;
肿瘤区域分割,将下采样后的小倍率数字病理切片中的肿瘤区域分割出来,分割的结果用二值图像表示,肿瘤区域的像素值为255,非肿瘤区域的使用像素值为0。
3.根据权利要求2所述的非小细胞肺癌IHC染色图像肿瘤区域免疫分级系统,其特征在于,所述肿瘤区域分割的分割方法为:
将采样后输出的小倍率数字病理切片提取RGB三个颜色通道,同时将小倍率数字病理切片颜色空间转化为HSV模式,提取H、S通道;
将得到的RGB三个颜色通道,H、S通道,分别运用大津法OTSU操作,在RGB上运用大津法操作得到的值再与其对应的RGB通道做一个大小比较,然后对比较后的结果作逻辑按位与操作,最后将所得到结果取反即可得到肿瘤区域;H、S通道执行上诉同样的操作,主要用于调整复杂区域的肿瘤区域分割,最后将各通道的结果作逻辑运算,分割出肿瘤区域。
4.根据权利要求1所述的非小细胞肺癌IHC染色图像肿瘤区域免疫分级系统,其特征在于,所述细胞分割计数的步骤具体为:
patch切割,将放大后IHC图像的数字病理图像肿瘤区域分割成不重叠的设定像素大小的patch,并确保每张patch上的肿瘤组织区域占整个patch面积不少于50%,同时获取每个patch在其所属数字病理切片中的相对位置起始坐标;
预处理,将所述patch切割步骤中输出的patch上碳尘过滤掉;
细胞分割识别,将所述预处理步骤后的patch上的相应细胞分割出来,同时分别识别出染色阳性和染色阴性的细胞;
细胞计数,统计所述分割识别步骤输出的每张patch上染色阳性和染色阴性的细胞。
5.根据权利要求4所述的非小细胞肺癌IHC染色图像肿瘤区域免疫分级系统,其特征在于,所述patch切割的步骤包括:
切割执行,完成肿瘤区域的切割操作,所述切割操作具体为:
根据自动识别步骤得到的二值图像,将肿瘤区域所有点的横坐标和纵坐标进行排序,计算出肿瘤区域所对应的最小外接矩形;
在得到最小外接矩形后,选定每个patch的起始坐标,在横纵两个方向上以设定的步长进行切割,为了保证每个patch上的肿瘤区域占比不小于50%,通过设置一个阈值来筛选符合要求的patch;
上述筛选出来的patch是经过了N倍下采样,为了得到每个实际的patch的起始坐标,需要进行坐标转换,得到原始倍率下的patch起始坐标:(Xi*N,Yi*N),对于得到的每个patch保留所属病理切片的ID号、patch所属病理切片中的起始坐标、patch尺寸大小信息;
检验切割的肿瘤区域patch是否正确,检测方法具体为:
可视化最小外接矩形,用二值图像表示:根据所述切割执行步骤中得到的最小外接矩形的四个顶点坐标,绘制肿瘤区域的最小外接矩形,或者根据得到的最小外接矩形的起始坐标,结合每个patch的尺寸,绘制最小外接矩形;
在二值图像上可视化所有可能切割的patch区域:根据所述切割执行步骤中得到的每个patch上的起始坐标和尺寸大小,在包含肿瘤区域的二值图像上画出每个patch可能的区域;
在二值图像上可视化所有切割的patch区域:根据所述切割执行步骤中得到的阈值,筛选出肿瘤区域占比大于50%的patch,并在所述自动识别步骤中得到的二值图像中画出筛选后的patch区域,检查筛选是否得当;
在N倍下采样的数字病理图片上画出筛选后的patch,并在每个patch区域标注上该patch的起始坐标:首先是对原始的病理切片进行N倍下采样,然后根据所述切割执行步骤中得到的筛选后的patch起始坐标和patch尺寸,在采样后的病理图像上绘制patch区域,同时根据patch所属的原始病理图像上的空间起始坐标,在采样后的病例图像对应的patch区域标出其起始坐标;
检验切割结果:根据所述切割执行步骤中得到的patch及其对应的坐标信息,找到对应的切割区域,如若能找到,且patch内容一样,则表明切割正确。
6.根据权利要求5所述的非小细胞肺癌IHC染色图像肿瘤区域免疫分级系统,其特征在于,所述计算出肿瘤区域所对应的最小外接矩形的方法为:
根据肿瘤区域的所有点的像素坐标,将所有的横坐标(x1,x2,x3,...),所有的纵坐标(y1,y2,y3...)分别进行从小到大的排序,然后分别选取最大、最小值,即Xmin=min(x1,x2,x3,...)、Xmax=max(x1,x2,x3,...)、Ymin=min(y1,y2,y3,...)、Ymax=max(y1,y2,y3,...),肿瘤区域的最小外接矩形可以这样表示(Xmin,Ymin)、(Xmin,Ymax)、(Xmax,Ymin)、(Xmax,Ymax)。
7.根据权利要求1所述的非小细胞肺癌IHC染色图像肿瘤区域免疫分级系统,其特征在于,所述免疫分级步骤进行分级的具体方法为:
1)计算单位面积内CD3阳性细胞数:首先计算与CD3相关的肿瘤区域面积,即所有patch上肿瘤区域面积之和,其次提取所述分割步骤的计数结果,所有patch上的阳性细胞数之和为总的肿瘤区域阳性细胞数,总的阳性细胞数与总的肿瘤区域面积之比即为单位面积内CD3阳性细胞数;
2)计算与CD3相同病理号IHC染色下CD8单位面积阳性细胞数;在IHC染色的CD8数字病理切片下重复步骤2操作;
3)归一化单位面积阳性细胞数,对某个数据中心的单位面积内CD3阳性细胞数和单位面积内CD8阳性细胞数归一化,(Si-Smin)/(Smax-Smin),Si为当前某一个病理切片步骤2)得分,Smin,Smax分别为某一个中心步骤2)中最大、最小得分;
4)利用病人的生存状态和生存期OS,或是无病生存期DFS,分别将单位面积内CD3阳性细胞数、CD8阳性细胞数分为高、低两组,最佳截断点确定原则为高、低两组Log-rank检验的P值最小;
5)二值化单位面积内阳性细胞数:根据步骤4)确定的两个最佳截断点,将单位面积内CD3阳性细胞数分为HIGHCD3、LOWCD3两组,同样的单位面积内CD8阳性细胞数也可分为HIGHcD8、LOWCD8两组;
6)免疫分级:根据步骤5)得到的HIGHCD3、LOWCD3、HIGHCD8、LOWCD8,对患者相应的免疫环境进行分级,若患者的单位面积内CD3阳性细胞数和单位面积内CD8阳性细胞数分别为HIGHCD3,HIGHCD8,则该患者对应的免疫分级为高,否则为低。
9.非小细胞肺癌IHC染色图像肿瘤区域免疫分级系统,其特征在于,应用于权利要求1-8中任一项所述的非小细胞肺癌IHC染色图像肿瘤区域免疫分级方法,包括肿瘤区域自动识别模块、细胞分割计数模块和免疫分级模块;
所述肿瘤区域自动识别模块,用于定位全视野数字切片WSI上肿瘤区域的具体位置,为肿瘤区域的定量分析做基础;
所述细胞分割计数模块,用于确定每一个全视野数字切片WSI切割的patch上的T淋巴细胞数,为计算每个WSI上的免疫分级提供数据支持;
所述免疫分级模块,用于根据病理切片肿瘤区域CD3、CD8阳性细胞密度确定患者的免疫分级,所述免疫分级包括高级和低级。
10.一种计算机可读存储介质,存储有程序,其特征在于,所述程序被处理器执行时,实现权利要求1-8任一项所述的非小细胞肺癌IHC染色图像肿瘤区域免疫分级方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111675374.XA CN114494155A (zh) | 2021-12-31 | 2021-12-31 | 非小细胞肺癌ihc染色图像肿瘤区域免疫分级方法、系统及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111675374.XA CN114494155A (zh) | 2021-12-31 | 2021-12-31 | 非小细胞肺癌ihc染色图像肿瘤区域免疫分级方法、系统及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114494155A true CN114494155A (zh) | 2022-05-13 |
Family
ID=81508649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111675374.XA Pending CN114494155A (zh) | 2021-12-31 | 2021-12-31 | 非小细胞肺癌ihc染色图像肿瘤区域免疫分级方法、系统及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114494155A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117575989A (zh) * | 2023-10-19 | 2024-02-20 | 广州市第一人民医院(广州消化疾病中心、广州医科大学附属市一人民医院、华南理工大学附属第二医院) | 一种肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法 |
-
2021
- 2021-12-31 CN CN202111675374.XA patent/CN114494155A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117575989A (zh) * | 2023-10-19 | 2024-02-20 | 广州市第一人民医院(广州消化疾病中心、广州医科大学附属市一人民医院、华南理工大学附属第二医院) | 一种肿瘤-淋巴细胞空间相互作用评分确定及预后判断方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220180518A1 (en) | Improved histopathology classification through machine self-learning of "tissue fingerprints" | |
US20050266395A1 (en) | Method and system for morphology based mitosis identification and classification of digital images | |
CN114841947A (zh) | 肺腺癌h&e染色病理图像肿瘤区域多尺度特征提取与预后分析方法、装置 | |
López et al. | Digital image analysis in breast cancer: an example of an automated methodology and the effects of image compression | |
Nandy et al. | Automatic segmentation and supervised learning‐based selection of nuclei in cancer tissue images | |
US9852354B2 (en) | Method and apparatus for image scoring and analysis | |
AU2021349226C1 (en) | Critical component detection using deep learning and attention | |
CN109147932B (zh) | 癌细胞her2基因扩增分析方法及系统 | |
CN113011257A (zh) | 一种乳腺癌免疫组化人工智能判读方法 | |
CN112288760A (zh) | 一种粘连细胞图像筛除方法、系统及细胞图像分析方法 | |
CN114494155A (zh) | 非小细胞肺癌ihc染色图像肿瘤区域免疫分级方法、系统及存储介质 | |
CN112703531A (zh) | 生成组织图像的注释数据 | |
CN114511523A (zh) | 基于自监督学习的胃癌分子亚型分类方法及装置 | |
EP4214626A1 (en) | Training end-to-end weakly supervised networks at the specimen (supra-image) level | |
CN116468690B (zh) | 基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统 | |
Razavi et al. | An automated and accurate methodology to assess ki-67 labeling index of immunohistochemical staining images of breast cancer tissues | |
Santamaria-Pang et al. | Cell segmentation and classification via unsupervised shape ranking | |
CN113689950B (zh) | 肝癌ihc染色图的血管分布模式的识别方法、系统和存储介质 | |
Cai et al. | Image analysis and pattern extraction of proteins classes from one-dimensional gels electrophoresis | |
CN114494288A (zh) | 非小细胞肺癌h&e染色图像多种组织分割方法、系统及存储介质 | |
CN113591791A (zh) | 基于自学习人工智能的肺癌自动化识别系统 | |
CN113221860B (zh) | Dna碎片识别方法、装置、计算机设备和存储介质 | |
CN117995317B (zh) | 一种基于电子密度图预估重原子位置的方法、装置和介质 | |
CN112200801B (zh) | 数字病理图像的细胞核自动检测方法 | |
Sangüesa Recalde | Image analysis and deep learning for urothelial carcinoma tumor microenvironment characterization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |