CN113724235B - 镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数系统及方法 - Google Patents
镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数系统及方法 Download PDFInfo
- Publication number
- CN113724235B CN113724235B CN202111026447.2A CN202111026447A CN113724235B CN 113724235 B CN113724235 B CN 113724235B CN 202111026447 A CN202111026447 A CN 202111026447A CN 113724235 B CN113724235 B CN 113724235B
- Authority
- CN
- China
- Prior art keywords
- image
- positive
- dab
- cells
- negative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000007781 pre-processing Methods 0.000 claims abstract description 31
- 206010006187 Breast cancer Diseases 0.000 claims abstract description 29
- 208000026310 Breast neoplasm Diseases 0.000 claims abstract description 28
- 230000011218 segmentation Effects 0.000 claims abstract description 20
- 230000001575 pathological effect Effects 0.000 claims abstract description 19
- 230000000877 morphologic effect Effects 0.000 claims abstract description 15
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 230000008859 change Effects 0.000 claims abstract description 7
- 230000007613 environmental effect Effects 0.000 claims abstract description 5
- 210000004027 cell Anatomy 0.000 claims description 158
- 238000012937 correction Methods 0.000 claims description 47
- 238000004043 dyeing Methods 0.000 claims description 29
- 239000003086 colorant Substances 0.000 claims description 16
- 210000003855 cell nucleus Anatomy 0.000 claims description 14
- 238000000926 separation method Methods 0.000 claims description 10
- 150000001768 cations Chemical class 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 8
- 239000003795 chemical substances by application Substances 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 5
- 230000007170 pathology Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 6
- 238000001514 detection method Methods 0.000 abstract description 2
- 239000003814 drug Substances 0.000 abstract description 2
- 238000010606 normalization Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 101001012157 Homo sapiens Receptor tyrosine-protein kinase erbB-2 Proteins 0.000 description 2
- 102100030086 Receptor tyrosine-protein kinase erbB-2 Human genes 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012758 nuclear staining Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002055 immunohistochemical effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002018 overexpression Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Probability & Statistics with Applications (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数系统及方法，属于计算医学和图像处理技术领域。所述计数系统，包括：镜下环境预处理单元，用于对不同镜下环境进行预处理获得乳腺癌病理图像；图像预处理单元，用于对所述乳腺癌病理图像进行滤波处理获得对应图像；阴性细胞计数单元，对所述图像基于形态学分割算法针对阴性细胞进行统计计数；阳性细胞计数单元，对所述图像基于亮度信息区分并确定强阳、中阳、弱阳三个级别细胞所在位置，进而对所述图像基于形态学分割算法针对三个级别的阳性细胞进行统计计数。本发明将将镜下环境变化充分考虑在内，从而提高了检测的准确性，因此具有良好的实际应用之价值。
Description
技术领域
本发明属于计算医学和图像处理技术领域，具体涉及镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数系统及方法。
背景技术
公开该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不必然被视为承认或以任何形式暗示该信息构成已经成为本领域一般技术人员所公知的现有技术。
针对原发性乳腺癌，目前国际上均是根据患者ER、PR、HER2以及Ki67的阳性状态进行免疫组化分型，将乳腺癌分为四种分子亚型，包括腔面A型、腔面B型、HER2过表达型以及三阴性型，根据不同分型确定不同的治疗方式。
其中，ER、PR以及Ki67是通过计算切片中阴性、阳性细胞的个数占当前切片全部细胞个数的比例来判断的。通常情况下，检验人员通过显微镜放大切片的某一区域，粗略估计当前镜前各类细胞的个数，再挪动到下一个区域观察并估计，总共观察5个左右的区域，从而粗略判断整个切片的阳性状态。通过计算机辅助分析的方式，能够帮助检验人员完成这项检查工作，但是发明人发现，由于成像设备以及采集设备的不同，并且检验人员的观察习惯不尽相同，导致最后要进行图像分析的乳腺癌病理图像的背景差别很大。
发明内容
针对上述现有技术的不足，本发明提供镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数系统及方法。本发明通过设计镜下环境预处理单元，进而提供了一种将镜下环境变化考虑在内的一款乳腺癌核染色细胞计数系统和方法，实现镜下乳腺癌Ki67/ER/PR阴性、阳性细胞计数，因此具有良好的实际应用之价值。
本发明是通过如下技术方案实现的：
本发明的第一个方面，提供一种镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数系统，包括：
镜下环境预处理单元，用于对不同镜下环境进行预处理获得乳腺癌病理图像；
图像预处理单元，用于对所述乳腺癌病理图像进行滤波处理获得对应图像；
阴性细胞计数单元，对所述图像基于形态学分割算法针对阴性细胞进行统计计数；
阳性细胞计数单元，对所述图像基于亮度信息区分并确定强阳、中阳、弱阳三个级别细胞所在位置，进而对所述图像基于形态学分割算法针对强阳、中阳、弱阳三个级别的阳性细胞进行统计计数。
其中，所述镜下环境预处理单元至少包括直方图匹配颜色校正模块、染色标准化颜色校正模块和窗口取色模块；
所述直方图匹配颜色校正模块是基于RGB颜色通道的直方图匹配算法进行直方图匹配的颜色校正；
所述染色标准化颜色校正模块是基于H染色剂与DAB显色剂的染色标准化算法进行染色标准化的颜色校正；
所述窗口取色模块用于上述两种颜色校正模块处理后对细胞间质所在的背景区域颜色的抽取，消除或减轻除细胞核外的区域对细胞计数的影响。
本发明的第二个方面，提供一种镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数方法，所述方法包括采用上述镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数系统对乳腺癌Ki67/ER/PR阴性、阳性细胞进行统计计数。
具体的，所述方法包括：
将镜下采集的乳腺癌病理图像输入上述系统中，获取Ki67/ER/PR阴性、阳性细胞统计结果。
本发明的第三个方面，提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数方法所进行的步骤。
本发明的第四个方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数方法所进行的步骤。
上述一个或多个技术方案的有益技术效果：
上述技术方案通过设计镜下环境预处理单元等单元模块，进而提供了一种将镜下环境变化考虑在内的一款乳腺癌核染色细胞计数系统和方法，从而将镜下环境变化考虑在内，更有利于实现针对不同镜检环境下乳腺癌Ki67/ER/PR阴性、阳性细胞计数，提高检测的准确性，因此具有良好的实际应用之价值。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明的实施例1中镜下环境不同时采集的病理图像，图(a)-(d)为不同病理医生采集的镜下图像，整体颜色偏暗，背景不清晰，细胞边界不清晰；图(e)为通过数字化病理图像扫描仪采集的镜下图像，颜色明亮，背景干净，细胞边界清晰。
图2为本发明实施例1中颜色校正示意图。
图3为本发明实施例1中染色分离示意图。
图4为本发明实施例1中滤波示意图。
图5为本发明实施例1中形态学分割示意图。
图6为本发明实施例1中阴性、阳性细胞统计结果示意图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。应理解，本发明的保护范围不局限于下述特定的具体实施方案；还应当理解，本发明实施例中使用的术语是为了描述特定的具体实施方案，而不是为了限制本发明的保护范围。
本发明公开了可用于执行所公开的方法和系统的部件。本文公开了这些以及其他部件，并且应当理解，当公开这些部件的组合、子组、交互、组等时，尽管可能没有明确公开对这些部件的各种单独和集合组合和排列中每一者的特定引用，但对于所有的方法和系统，本文对每一者都进行了具体地设想和描述。这适用于本申请的所有方面，包括但不限于所公开的方法中的步骤。因此，如果存在可进行的各种另外的步骤，则应当理解，这些另外的步骤中的每一个步骤可利用所公开的方法的任何特定实施方案或实施方案的组合来进行。
本发明的一个典型具体实施方式中，提供一种镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数系统，包括：
镜下环境预处理单元，用于对不同镜下环境进行预处理获得乳腺癌病理图像；
图像预处理单元，用于对所述乳腺癌病理图像进行滤波处理获得对应图像；
阴性细胞计数单元，对所述图像基于形态学分割算法针对阴性细胞进行统计计数；
阳性细胞计数单元，对所述图像基于亮度信息区分并确定强阳、中阳、弱阳三个级别细胞所在位置，进而对所述图像基于形态学分割算法针对强阳、中阳、弱阳三个级别的阳性细胞进行统计计数。
本发明的又一具体实施方式中，所述镜下环境预处理单元至少包括直方图匹配颜色校正模块、染色标准化颜色校正模块和窗口取色模块；
所述直方图匹配颜色校正模块是基于RGB颜色通道的直方图匹配算法进行直方图匹配的颜色校正；
本发明的又一具体实施方式中，所述直方图匹配颜色校正模块其运行模式如下：
选择一幅通颜色清晰、背景干净的乳腺癌数字化病理图像作为标准图(可通过数字化扫描仪扫描后获取)，记为Targetmatch，待匹配的镜下采集的乳腺癌病理图像记为Image；分别获取标准图Targetmatch和待匹配图Image的RGB三通道的二维图像，记为R_Targetmatch/G_Targetmatch/B_Targetmatch和R_Image/G_Image/B_Image，并做出两幅图像三个颜色通道共六幅图像的直方图，运用直方图均衡化原理，建立标准图像与待匹配图像之间的关系，即建立R_Targetmatch与R_Image、G_Targetmatch与G_Image、B_Targetmatch与B_Image的直方图间的对应关系，利用对应关系将R_Image、G_Image和B_Image转换为符合Targetmatch的直方图的RGB三通道的图像，即实现了待匹配图Image的直方图匹配，得到匹配后的图像Imagematch，完成了直方图匹配的颜色校正。
本发明的又一具体实施方式中，所述染色标准化颜色校正模块是基于H染色剂与DAB显色剂的染色标准化算法进行染色标准化的颜色校正。
本发明的又一具体实施方式中，所述染色标准化颜色校正模块其运行模式如下：
根据细胞核阴性和阳性的颜色特性，H染色剂能够使阴性细胞核显色为蓝色，DAB显色剂能够使阳性细胞核显色为棕色，H染色剂与DAB显色剂的染色标准化算法应用染色分离技术，对选取的标准图Targetmatch做染色分离，得到H分量和DAB分量对应的两个光密度场H_Targetmatch与DAB_Targetmatch，以此作为待匹配图像的参考光密度矩阵；算法采用同样的染色分离技术对待匹配图像Image做染色分离，得到对应的H_Image分量与DAB_Image分量，利用参考的H_Targetmatch与DAB_Targetmatch将H_Image分量与DAB_Image分量转换回RGB空间，即可得到标准化后的H染色剂的图像和DAB显色剂的图像，以及标准化后的病理图像Imagematch，完成了染色标准化的颜色校正。
颜色校正模块的作用是将细胞核的颜色进行校正，由于校正的同时除细胞核外的区域颜色也会存在变化，因此加入窗口取色模块，所述窗口取色模块用于上述两种颜色校正模块处理后对细胞间质所在的背景区域颜色的抽取，从而消除或减轻除细胞核外的区域对细胞计数的影响。
本发明的又一具体实施方式中，所述窗口取色模块其运行模式如下：
采用可变矩形窗口，当检验人员需要进行细胞计数操作时，选择了颜色校正后，会自动提示检验人员进行背景取色；检验人员可拖动鼠标完成矩形区域选择；由于本发明是基于H染色剂的图像进行阴性细胞计数和基于DAB显色剂的图像进行阳性细胞计数，因此当检验人员完成背景取色的矩形区域选择后，首先会将经过颜色校正的图像进行染色分离，得到对应的H_Imagematch与DAB_Imagematch，并分别获得B通道的H_Imagematch与G通道的DAB_Imagematch，然后根据检验人员选择的矩形框所在位置，提取该矩形区域的Block_BH_Imagematch与Block_GDAB_Imagematch的均值Background_H和Background_DAB作为后续背景区域滤除的阈值。
本发明的又一具体实施方式中，所述图像预处理单元其运行模式如下：
采用由镜下环境预处理模块给出的背景区域的阈值Background_H和Background_DAB作为分界线，将高于这两个阈值的所有像素点的对应位置填充为白色，只保留低于阈值的像素点对应的位置，从而实现图像H_Imagematch和DAB_Imagematch的滤波，得到Filtered_H_Imagematch和Filtered_DAB_Imagematch。
需要说明的是，滤波后的Filtered_H_Imagematch图像即可用于阴性细胞个数的统计，而阳性细胞个数的统计还需要对图像Filtered_DAB_Imagematch进行颜色空间转换处理。针对阳性细胞，因其需统计强阳、中阳、弱阳细胞各自的个数，因此还需对强阳、中阳、弱阳的描述方式进行量化。本申请具体采用图像的亮度信息对其进行量化。考虑到阳性细胞均是棕色显色，即其色调(H)和饱和度(S)是相同的，亮度(V)是变化的，因此将图像Filtered_DAB_Imagematch由RGB空间转换为HSV空间，并提出对应的亮度图V_DAB，作为阳性细胞个数统计的依据，用于统计各个阳性级别的细胞个数。
本发明的又一具体实施方式中，所述阴性细胞计数单元其运行模式如下：
对经图像预处理单元处理后的图像采用k-means非监督的形态学分割算法；首先，算法将蓝色区域所在位置转化为二值图像，利用该二值图像的连通区面积分布，构造基于面积的直方图，确定单个细胞的区域面积阈值，从而找出成团细胞的位置；然后对成团细胞进行位置空间聚类，完成对成团细胞的分割，继而获取蓝色细胞个数即得到阴性细胞个数。
本发明的又一具体实施方式中，所述阳性细胞计数单元其运行模式如下：
对经图像预处理单元处理后的图像基于亮度信息区分并确定强阳、中阳、弱阳三个级别细胞所在位置，确定各个级别的细胞所在位置之后，采用k-means非监督的形态学分割算法进行聚类分割，获取对应不同级别(强阳、中阳、弱阳)的阳性细胞个数；
本发明的又一具体实施方式中，所述“对经图像预处理单元处理后的图像基于亮度信息区分并确定强阳、中阳、弱阳三个级别细胞所在位置”具体方法为：
利用先验知识对三个级别的阳性细胞进行分类；分别对图像中强阳、中阳、弱阳细胞对应的亮度信息进行提取，获取每个图像中强阳的亮度信息、中阳的亮度信息和弱阳的亮度信息，分别对三个级别阳性的亮度取众数，得到代表每一类阳性级别的亮度值V_DAB_strong/V_DAB_medium/V_DAB_weak，取Th1＝(V_DAB_strong+V_DAB_medium)/2作为区分强阳和中阳的阈值，Th2＝(V_DAB_weak+V_DAB_medium)/2作为区分中阳和弱阳的阈值；低于Th1的为深棕色细胞(强阳)所在位置，高于Th2的为浅棕色细胞(弱阳)所在位置，两阈值中间为中棕色细胞(中阳)所在位置。
本发明的又一具体实施方式中，提供一种镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数方法，所述方法包括采用上述镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数系统对乳腺癌Ki67/ER/PR阴性、阳性细胞进行统计计数。
本发明的又一具体实施方式中，所述方法包括：
将镜下采集的乳腺癌病理图像输入上述系统中，获取Ki67/ER/PR阴性、阳性细胞统计结果。
本发明的又一具体实施方式中，提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数方法所进行的步骤。
本发明的又一具体实施方式中，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数方法所进行的步骤。
以下通过实施例对本发明做进一步解释说明，但不构成对本发明的限制。应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。
实施例1
镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数系统，包括：
1.镜下环境预处理模块
本实施例的镜下环境预处理模块提供了三种镜下环境预处理的方式，分别为无处理、直方图匹配颜色校正模块和染色标准化颜色校正模块，并附加了一个窗口取色模块用于两种颜色校正模块处理后对细胞间质所在的背景区域颜色的抽取。
本实施例所采用的直方图匹配颜色校正模块算法，是基于RGB颜色通道的直方图匹配算法。算法首先选择了一幅通过数字化扫描仪扫描后的颜色清晰、背景干净的乳腺癌数字化病理图像作为标准图，记为Targetmatch，待匹配的镜下采集的乳腺癌病理图像记为Image。分别获取标准图Targetmatch和待匹配图Image的RGB三通道的二维图像，记为R_Targetmatch/G_Targetmatch/B_Targetmatch和R_Image/G_Image/B_Image。并做出两幅图像三个颜色通道共六幅图像的直方图，运用直方图均衡化原理，建立标准图像与待匹配图像之间的关系，即建立R_Targetmatch与R_Image、G_Targetmatch与G_Image、B_Targetmatch与B_Image的直方图间的对应关系，利用对应关系将R_Image、G_Image和B_Image转换为符合Targetmatch的直方图的RGB三通道的图像，即实现了待匹配图Image的直方图匹配，得到匹配后的图像Imagematch，完成了直方图匹配的颜色校正。
本实施例所采用的染色标准化颜色校正模块算法，是基于H染色剂与DAB显色剂的染色标准化算法。根据细胞核阴性和阳性的颜色特性，H染色剂能够使阴性细胞核显色为蓝色，DAB显色剂能够使阳性细胞核显色为棕色，算法首先应用染色分离技术，对选取的标准图Targetmatch做染色分离，得到H分量和DAB分量对应的两个光密度场H_Targetmatch与DAB_Targetmatch，以此作为待匹配图像的参考光密度矩阵。算法采用同样的染色分离技术对待匹配图像Image做染色分离，得到对应的H_Image分量与DAB_Image分量，利用参考的H_Targetmatch与DAB_Targetmatch将H_Image分量与DAB_Image分量转换回RGB空间，即可得到标准化后的H染色剂的图像和DAB显色剂的图像，以及标准化后的病理图像Imagematch，完成了染色标准化的颜色校正。
颜色校正模块的作用是将细胞核的颜色进行校正，由于校正的同时除细胞核外的区域颜色也会存在变化，因此加入窗口取色模块，其目的即是消除或减轻除细胞核外的区域对细胞计数的影响。窗口取色模块采用的是可变矩形窗口，当医生需要进行细胞计数操作时，选择了颜色校正后，会自动提示医生进行背景取色。医生可拖动鼠标完成矩形区域选择。由于本实施例是基于H染色剂的图像进行阴性细胞计数和基于DAB显色剂的图像进行阳性细胞计数，因此当医生完成背景取色的矩形区域选择后，本实施例首先会将经过颜色校正的图像进行染色分离，得到对应的H_Imagematch与DAB_Imagematch，并分别获得B通道的H_Imagematch与G通道的DAB_Imagematch，然后根据医生选择的矩形框所在位置，提取该矩形区域的Block_BH_Imagematch与Block_GDAB_Imagematch的均值Background_H和Background_DAB作为后续背景区域滤除的阈值。
2.图像预处理模块
乳腺癌数字化病理图像已经过颜色校正模块的处理，可以得到一幅标准化后的乳腺癌病理图像Imagematch、后续背景区域滤除的阈值Background_H和Background_DAB，以及细胞的尺寸Cell_size。本实施例首先应用染色分离技术，将Imagematch进行H染色剂与DAB显色剂的显色作用分离，得到基于H染色剂的图像H_Imagematch和基于DAB显色剂的图像DAB_Imagematch。
采用由镜下环境预处理模块给出的背景区域的阈值Background_H和Background_DAB作为分界线，将高于这两个阈值的所有像素点的对应位置填充为白色，只保留低于阈值的像素点对应的位置，从而实现图像H_Imagematch和DAB_Imagematch的滤波，得到Filtered_H_Imagematch和Filtered_DAB_Imagematch。
滤波后的Filtered_H_Imagematch图像即可用于阴性细胞个数的统计，而阳性细胞个数的统计还需要对图像Filtered_DAB_Imagematch做进一步的颜色空间转换处理。针对阳性细胞，因其需统计强阳、中阳、弱阳细胞各自的个数，因此还需对强阳、中阳、弱阳的描述方式进行量化。本实施例采用图像的亮度信息对其进行量化。考虑到阳性细胞均是棕色显色，即其色调(H)和饱和度(S)是相同的，亮度(V)是变化的，因此将图像Filtered_DAB_Imagematch由RGB空间转换为HSV空间，并提出对应的亮度图V_DAB，作为阳性细胞个数统计的依据，用于统计各个阳性级别的细胞个数。
3.阴性细胞计数模块和阳性细胞计数模块
针对阴性细胞计数模块，只需计出蓝色细胞个数。本实施例采用k-means非监督的形态学分割算法。首先，算法将蓝色区域所在位置转化为二值图像，利用该二值图像的连通区面积分布，构造基于面积的直方图，确定单个细胞的区域面积阈值，从而找出成团细胞的位置。然后对成团细胞进行位置空间聚类，完成对成团细胞的分割。
针对阳性细胞计数模块，需统计强阳、中阳、弱阳三个级别的细胞个数。本实施例利用先验知识对其进行分类。根据医生标出的强阳、中阳、弱阳细胞所在位置，本实施例分别将三类细胞对应的亮度信息进行提取。即，医生首先在若干图像中标出强阳、中阳、弱阳细胞所在位置，然后分别获取每个图像中强阳的亮度信息V_DAB_strong_1/V_DAB_strong_2/V_DAB_strong_3/…/V_DAB_strong_n，中阳的亮度信息V_DAB_medium__1/V_DAB_medium_2/V_DAB_medium_3/…/V_DAB_medium_n，弱阳的亮度信息V_DAB_weak_1/V_DAB_weak_2/V_DAB_weak_3/…/V_DAB_weak_n，分别对三个级别阳性的亮度取众数，得到代表每一类阳性级别的亮度值V_DAB_strong/V_DAB_medium/V_DAB_weak，取Th1＝(V_DAB_strong+V_DAB_medium)/2作为区分强阳和中阳的阈值，Th2＝(V_DAB_weak+V_DAB_medium)/2作为区分中阳和弱阳的阈值。低于Th1的为深棕色细胞(强阳)所在位置，高于Th2的为浅棕色细胞(弱阳)所在位置，两阈值中间为中棕色细胞(中阳)所在位置。确定各个级别的细胞所在位置之后，采用与阴性细胞计数模块相同的形态学分割算法和小目标区域滤除方法来统计细胞个数。
实施例2
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1方法中的各个操作，为了简洁，在此不再赘述。
所述电子设备可以是移动终端以及非移动终端，非移动终端包括台式计算机，移动终端包括智能手机(Smart Phone，如Android手机、IOS手机等)、智能眼镜、智能手表、智能手环、平板电脑、笔记本电脑、个人数字助理等可以进行无线通信的移动互联网设备。
应理解，在本实施例中，该处理器可以是中央处理单元CPU，该处理器还算可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外一点，所显示或讨论的相互之间的耦合或者直接耦合或者通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意的是，以上实例仅用于说明本实施例的技术方案而非对其进行限制。尽管参照所给出的实例对本实施例进行了详细说明，但是本领域的普通技术人员可根据需要对本实施例的技术方案进行修改或者等同替换，而不脱离本实施例技术方案的精神和范围。
Claims (8)
1.一种镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数系统，其特征在于，包括：
镜下环境预处理单元，用于对不同镜下环境进行预处理获得乳腺癌病理图像；
图像预处理单元，用于对所述乳腺癌病理图像进行滤波处理获得对应图像；
阴性细胞计数单元，对所述图像基于形态学分割算法针对阴性细胞进行统计计数；
阳性细胞计数单元，对所述图像基于亮度信息区分并确定强阳、中阳、弱阳三个级别细胞所在位置，进而对所述图像基于形态学分割算法针对强阳、中阳、弱阳三个级别的阳性细胞进行统计计数；
所述镜下环境预处理单元至少包括直方图匹配颜色校正模块、染色标准化颜色校正模块和窗口取色模块；
所述直方图匹配颜色校正模块是基于RGB颜色通道的直方图匹配算法进行直方图匹配的颜色校正；
所述染色标准化颜色校正模块是基于H染色剂与DAB显色剂的染色标准化算法进行染色标准化的颜色校正；
所述窗口取色模块用于上述两种颜色校正模块处理后对细胞间质所在的背景区域颜色的抽取，消除或减轻除细胞核外的区域对细胞计数的影响；
所述直方图匹配颜色校正模块其运行模式如下：
选择一幅通颜色清晰、背景干净的乳腺癌数字化病理图像作为标准图和待匹配的镜下采集的乳腺癌病理图像；分别获取标准图和待匹配图的RGB三通道的二维图像，并做出两幅图像三个颜色通道共六幅图像的直方图，运用直方图均衡化原理，建立标准图像与待匹配图像之间的关系，实现了待匹配图的直方图匹配，得到匹配后的图像；
所述染色标准化颜色校正模块其运行模式如下：
对选取的标准图做染色分离，得到H分量和DAB分量对应的两个光密度场，以此作为待匹配图像的参考光密度矩阵；算法采用同样的染色分离技术对待匹配图像做染色分离，得到对应的H_Image分量与DAB_Image分量，利用参考的H_Targetmatch与DAB_Targetmatch将H_Image分量与DAB_Image分量转换回RGB空间，即可得到标准化后的H染色剂的图像和DAB显色剂的图像，以及标准化后的病理图像Imagematch，完成了染色标准化的颜色校正；
所述窗口取色模块其运行模式如下：
采用可变矩形窗口，将经过颜色校正的图像进行染色分离，得到对应的H_Imagematch与DAB_Imagematch，并分别获得B通道的H_Imagematch与G通道的DAB_Imagematch，然后根据检验人员选择的矩形框所在位置，提取该矩形区域的Block_BH_Imagematch与Block_GDAB_Imagematch的均值Background_H和Background_DAB作为后续背景区域滤除的阈值。
2.如权利要求1所述的系统，其特征在于，所述图像预处理单元其运行模式如下：
采用由镜下环境预处理模块给出的背景区域的阈值Background_H和Background_DAB作为分界线，将高于这两个阈值的所有像素点的对应位置填充为白色，只保留低于阈值的像素点对应的位置，从而实现图像H_Imagematch和DAB_Imagematch的滤波，得到Filtered_H_Imagematch和Filtered_DAB_Imagematch。
3.如权利要求1所述的系统，其特征在于，所述阴性细胞计数单元其运行模式如下：
对经图像预处理单元处理后的图像采用k-means非监督的形态学分割算法；首先，算法将蓝色区域所在位置转化为二值图像，利用该二值图像的连通区面积分布，构造基于面积的直方图，确定单个细胞的区域面积阈值，从而找出成团细胞的位置；然后对成团细胞进行位置空间聚类，完成对成团细胞的分割，继而获取蓝色细胞个数即得到阴性细胞个数。
4.如权利要求1所述的系统，其特征在于，所述阳性细胞计数单元其运行模式如下：
对经图像预处理单元处理后的图像基于亮度信息区分并确定强阳、中阳、弱阳三个级别细胞所在位置，确定各个级别的细胞所在位置之后，采用k-means非监督的形态学分割算法进行聚类分割，获取对应不同级别的阳性细胞个数。
5.如权利要求4所述的系统，其特征在于，所述“对经图像预处理单元处理后的图像基于亮度信息区分并确定强阳、中阳、弱阳三个级别细胞所在位置”具体方法为：
利用先验知识对三个级别的阳性细胞进行分类；分别对图像中强阳、中阳、弱阳细胞对应的亮度信息进行提取，获取每个图像中强阳的亮度信息、中阳的亮度信息和弱阳的亮度信息，分别对三个级别阳性的亮度取众数，得到代表每一类阳性级别的亮度值V_DAB_strong/ V_DAB_medium/ V_DAB_weak，取Th1 =(V_DAB_strong+V_DAB_medium)/2作为区分强阳和中阳的阈值，Th2=(V_DAB_weak +V_DAB_medium)/2作为区分中阳和弱阳的阈值；低于Th1的为深棕色细胞即强阳所在位置，高于Th2的为浅棕色细胞即弱阳所在位置，两阈值中间为中棕色细胞即中阳所在位置。
6.一种镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数方法，其特征在于，所述方法包括采用权利要求1-5任一项所述镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数系统对乳腺癌Ki67/ER/PR阴性、阳性细胞进行统计计数。
7.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求6所述镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数方法所进行的步骤。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求6所述镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数方法所进行的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111026447.2A CN113724235B (zh) | 2021-09-02 | 2021-09-02 | 镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111026447.2A CN113724235B (zh) | 2021-09-02 | 2021-09-02 | 镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113724235A CN113724235A (zh) | 2021-11-30 |
| CN113724235B true CN113724235B (zh) | 2023-07-25 |
Family
ID=78681072
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111026447.2A Active CN113724235B (zh) | 2021-09-02 | 2021-09-02 | 镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113724235B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114638782B (zh) * | 2022-01-10 | 2023-02-07 | 武汉中纪生物科技有限公司 | 一种宫颈脱落细胞标本的检测方法 |
| CN116258676B (zh) * | 2022-12-30 | 2024-03-19 | 广州市第一人民医院（广州消化疾病中心、广州医科大学附属市一人民医院、华南理工大学附属第二医院） | 结直肠癌ihc病理图像的细胞密度量化方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109712142A (zh) * | 2019-01-11 | 2019-05-03 | 山东省计算中心（国家超级计算济南中心） | 基于染色分离的乳腺癌Ki67/ER/PR核染色细胞计数方法 |
| CN111583186A (zh) * | 2020-04-14 | 2020-08-25 | 山东省千佛山医院 | 面向临床应用的病理er/pr细胞核计数方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5630674B2 (ja) * | 2010-09-30 | 2014-11-26 | 日本電気株式会社 | 情報処理装置、情報処理システム、情報処理方法、プログラム及び記録媒体 |
-
2021
- 2021-09-02 CN CN202111026447.2A patent/CN113724235B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109712142A (zh) * | 2019-01-11 | 2019-05-03 | 山东省计算中心（国家超级计算济南中心） | 基于染色分离的乳腺癌Ki67/ER/PR核染色细胞计数方法 |
| CN111583186A (zh) * | 2020-04-14 | 2020-08-25 | 山东省千佛山医院 | 面向临床应用的病理er/pr细胞核计数方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113724235A (zh) | 2021-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108364288B (zh) | 用于乳腺癌病理图像的分割方法和装置 | |
| Khan et al. | A nonlinear mapping approach to stain normalization in digital histopathology images using image-specific color deconvolution | |
| CN107316077B (zh) | 一种基于图像分割及边缘检测的脂肪细胞自动计数方法 | |
| Veta et al. | Automatic nuclei segmentation in H&E stained breast cancer histopathology images | |
| Kothari et al. | Automatic batch-invariant color segmentation of histological cancer images | |
| CN111986150B (zh) | 一种数字病理图像的交互式标注精细化方法 | |
| Bándi et al. | Comparison of different methods for tissue segmentation in histopathological whole-slide images | |
| Veta et al. | Detecting mitotic figures in breast cancer histopathology images | |
| CN113724235B (zh) | 镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数系统及方法 | |
| US20180253590A1 (en) | Systems, methods, and apparatuses for digital histopathological imaging for prescreened detection of cancer and other abnormalities | |
| CN112215790A (zh) | 基于深度学习的ki67指数分析方法 | |
| US11538261B2 (en) | Systems and methods for automated cell segmentation and labeling in immunofluorescence microscopy | |
| CN111145209A (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
| CN110838100A (zh) | 一种基于滑动窗口的结肠镜病理切片筛查与分割系统 | |
| Rachna et al. | Detection of Tuberculosis bacilli using image processing techniques | |
| CN113470041B (zh) | 免疫组化细胞图像细胞核分割与计数方法和系统 | |
| KR101789513B1 (ko) | 디지털 병리 시스템의 이미지 품질 평가 방법 | |
| Lal et al. | A robust method for nuclei segmentation of H&E stained histopathology images | |
| CN111047559A (zh) | 一种数字病理切片异常区域快速检测的方法 | |
| Kalkan et al. | Automated colorectal cancer diagnosis for whole-slice histopathology | |
| WO2021188477A1 (en) | Scalable and high precision context-guided segmentation of histological structures including ducts/glands and lumen, cluster of ducts/glands, and individual nuclei in whole slide images of tissue samples from spatial multi-parameter cellular and sub-cellular imaging platforms | |
| WO2021139447A1 (zh) | 一种宫颈异常细胞检测装置及方法 | |
| CN113850792A (zh) | 一种基于计算机视觉的细胞分类计数方法及系统 | |
| CN110458042B (zh) | 一种荧光ctc中的探针数目检测方法 | |
| CN117496276B (zh) | 肺癌细胞形态学分析、识别方法及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: No. 16766, Jingshi Road, Lixia District, Jinan City, Shandong Province Patentee after: The First Affiliated Hospital of Shandong First Medical University Address before: No. 16766, Jingshi Road, Lixia District, Jinan City, Shandong Province Patentee before: QIFO MOUNTAIN HOSPTIAL OF SHANDONG PRVOVINCE |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231208 Address after: Building 2, 5th Floor, National Supercomputing Jinan Center Science and Technology Park, No. 28666 Jingshi East Road, Licheng District, Jinan City, Shandong Province, 250100 Patentee after: Shandong yunqi Information Technology Co.,Ltd. Address before: No. 16766, Jingshi Road, Lixia District, Jinan City, Shandong Province Patentee before: The First Affiliated Hospital of Shandong First Medical University |