CN110736748A - 免疫组化核浆染色切片诊断方法及系统 - Google Patents
免疫组化核浆染色切片诊断方法及系统 Download PDFInfo
- Publication number
- CN110736748A CN110736748A CN201910863375.3A CN201910863375A CN110736748A CN 110736748 A CN110736748 A CN 110736748A CN 201910863375 A CN201910863375 A CN 201910863375A CN 110736748 A CN110736748 A CN 110736748A
- Authority
- CN
- China
- Prior art keywords
- cell
- image
- pathological
- pathological image
- immunohistochemical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002055 immunohistochemical effect Effects 0.000 title claims abstract description 66
- 238000010186 staining Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000003745 diagnosis Methods 0.000 title claims abstract description 25
- 230000001575 pathological effect Effects 0.000 claims abstract description 111
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 210000004027 cell Anatomy 0.000 claims description 123
- 230000007170 pathology Effects 0.000 claims description 28
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 210000003855 cell nucleus Anatomy 0.000 claims description 12
- 210000004881 tumor cell Anatomy 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 11
- 210000001685 thyroid gland Anatomy 0.000 claims description 6
- 230000001413 cellular effect Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 5
- 239000007787 solid Substances 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000003364 immunohistochemistry Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 description 16
- 238000012549 training Methods 0.000 description 15
- 238000013145 classification model Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012758 nuclear staining Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000002002 slurry Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- Hematology (AREA)
- Data Mining & Analysis (AREA)
- Urology & Nephrology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Medicinal Chemistry (AREA)
- Biotechnology (AREA)
- Microbiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Food Science & Technology (AREA)
- Cell Biology (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明涉及免疫组化核浆染色切片诊断方法，包括：S10，显微镜摄像头采集免疫组化核浆染色切片位于显微镜下的病理图像并发送至处理器；S20，处理器对所述病理图像进行预处理，使得病理图像的HSV颜色空间与设定阈值相一致；S30，处理器对经过预处理的病理图像进行细胞检测和细胞分类，在所述病理图像上标注出细胞位置、细胞类型及相应的免疫组化指数，输出经过标注的病理图像；S40，显示器接收并显示来自处理器的经过标注的病理图像。本申请还提供了一种免疫组化核浆染色切片诊断系统。采用本发明，可实现分析的，无需存储大量GB级别的数字病理切片，节省了处理器的存储开销。
Description
技术领域
本发明涉及免疫组化核浆染色切片诊断领域，特别是涉及一种免疫组化核浆染色切片诊断方法及系统。
背景技术
应用免疫学及组织化学原理，对组织切片或细胞标本中的某些化学成分进行原位的定性、定位或定量研究，这种技术称为免疫组织化学技术或免疫细胞化学技术。免疫组化染色是依据抗原抗体相结合的方法对特异性细胞进行标记，来检测特异性细胞的改变，以实现对肿瘤进行定位、定量、定性的作用。传统计算免疫组化指标的方法是病理医生在镜下统计肿瘤区域阳性肿瘤细胞占所有肿瘤细胞百分比，然而其工作量巨大，且准确性较低。随着近些年人工智能与数字病理的发展，基于深度学习的辅助诊断计数方法应声而起，不仅提高了医生阅片的效率，准确性也得到了质的提高。然而这样的方法需要将病理切片在高倍镜下扫描成全场图，再上传至诊断工具中才能进行分析，一方面病理切片数字扫描仪设备价格昂贵，另一方面全场图数字化扫描也需额外耗费时间，这使得核染与浆染辅助诊断计数临床实用性大大降低。
发明内容
本发明的目的在于解决现有技术中存在的需要将免疫组化核浆染色切片在高倍镜下扫描成全场图，再上传至诊断工具中才能进行分析的问题，本发明提供了一种免疫组化核浆染色切片诊断方法及系统。
本发明通过以下技术方案来实现上述目的：免疫组化核浆染色切片诊断方法，适用于免疫组化核浆染色切片诊断系统，所述系统包括显微镜、显微镜摄像头、处理器以及显示器，所述显微镜摄像头安装在显微镜上，与处理器通讯连接，处理器与显示器连接，所述诊断方法包括：
S10，显微镜摄像头采集免疫组化核浆染色切片位于显微镜下的病理图像并发送至处理器；
S20，处理器对所述病理图像进行预处理，使得病理图像的HSV颜色空间与设定阈值相一致；
S30，处理器对经过预处理的病理图像进行细胞检测和细胞分类，在所述病理图像上标注出细胞位置、细胞类型及相应的免疫组化指数，输出经过标注的病理图像；
S40，显示器接收并显示来自处理器的经过标注的病理图像。处理器对所述进一步地，所述S20，预处理是指，调节所述病理图像的HSV颜色空间，使得经过预处理的病理图像与所述免疫组化核浆染色切片的数字病理全场图的HSV颜色空间相一致或是误差处于设定范围内。
进一步地，所述S30，具体包括：
S31，检测所述病理图像的MPP值；
S32，将所述病理图像的MPP值与设定的MPP值m1进行对比，若病理图像的MPP值与设定的MPP值m1不同，则调整所述病理图像，使得病理图像的MPP值达到m1，进入S33；否则，直接进入S33；其中，m1为足以区分细胞图像的病理图像的MPP值；
S33，通过用于细胞检测的人工神经网络模型确定并标注出所述病理图像中所有细胞核的中心位置；
所述用于细胞检测的人工神经网络模型，是以从所述数字病理全场图上截取的细胞图像作为样本数据训练得到的，所述数字病理全场图的MPP值为m1，数字病理全场图上标注有每个细胞的中心位置；
S34，根据所述细胞核的中心位置提取每个细胞图像；
S35，根据所述细胞图像对细胞进行分类和标注，将细胞分为阳性肿瘤细胞、阳性正常细胞、阴性肿瘤细胞以及阴性正常细胞，并统计每类细胞的数量；
S36，计算并标注相应的免疫组化指标。
进一步地，所述S31，通过倍率识别模型确定所述病理图像的MPP值；所述倍率识别模型根据所述病理图像中的细胞大小预测该病理图像的MPP值。
进一步地，所述m1分别为0.48。
进一步地，所述S33，用于细胞检测的人工神经网络模型，是以从所述免疫组化核浆染色切片的数字病理全场图上截取的细胞图像作为样本数据训练得到的，所述数字病理全场图的MPP值为m1，数字病理全场图上标注有每个细胞的中心位置。
进一步地，所述S40，显示器与显微镜摄像头同步显示所述甲状腺冰冻切片同一部位的病理图像。本申请还提供了一种免疫组化核浆染色切片诊断系统，包括：显微镜，用于观察实体免疫组化核浆染色切片；显微镜摄像头，与所述显微镜镜头连接，用于采集显微镜下实体免疫组化核浆染色切片的病理图像；处理器，与所述显微镜摄像头通讯连接，接收来自显微镜摄像头的病理图像，对所述病理图像进行处理检测后，输出标注有细胞位置、细胞类型以及相应的免疫组化指数的病理图像；；显示器，与所述处理器连接，接收并显示所述经过标注的病理图像。
进一步地，所述显微镜包括1个目镜和4个物镜；目镜的放大倍数为10倍，物镜的放大倍数依次为4倍，10倍、20倍、40倍，显微镜摄像头采集到的图像的MPP值分别为1.5，0.6，0.3和0.15。
本申请还提供了一种计算机可读存储介质，存储有与免疫组化核浆染色切片诊断系统结合使用的计算机程序，所述计算机程序可被处理器执行以完成以下步骤：接收位于显微镜下的免疫组化核浆染色切片的病理图像；对所述病理图像进行预处理，使得病理图像的HSV颜色空间与设定阈值相一致；对经过预处理的病理图像进行细胞检测和细胞分类，在所述病理图像上标注出细胞位置、细胞类型及相应的免疫组化指数，输出经过标注的病理图像。
进一步地，所述对经过预处理的病理图像进行细胞检测和细胞分类，在所述病理图像上标注出细胞位置、细胞类型及相应的免疫组化指数，具体包括：
S31，检测所述病理图像的MPP值；
S32，将所述病理图像的MPP值与设定的MPP值m1进行对比，若病理图像的MPP值与设定的MPP值m1不同，则调整所述病理图像，使得病理图像的MPP值达到m1，进入S33；否则，直接进入S33；其中，m1为足以区分细胞图像的病理图像的MPP值；
S33，通过用于细胞检测的人工神经网络模型确定并标注出所述病理图像中所有细胞核的中心位置；
S34，根据所述细胞核的中心位置提取每个细胞图像；
S35，根据所述细胞图像对细胞进行分类和标注，将细胞分为阳性肿瘤细胞、阳性正常细胞、阴性肿瘤细胞以及阴性正常细胞，并统计每类细胞的数量；
S36，计算并标注相应的免疫组化指标。
与现有技术相比，本发明的实质性效果如下：（1）设备成本低：移动摄像头较高通量扫描仪价格便宜数十倍；并且本系统是分析的，无需存储大量GB级别的数字病理切片，节省了存储开销；（2）节省时间：本系统是即时使用的，只需将切片标本置于显微镜下即可进行分析，无需花费大量时间制作数字病理全场图片；（3）便携性：扫描仪与移动摄像头自成一体，体积小，携带方便；（4）采用本发明提出的免疫组化核浆染色切片诊断方法及系统，病理科医生只需将免疫组化核浆染色切片放置于显微镜下，随机移动切片，停留在显微镜摄像头下的任意感兴趣区域都会同步在显示屏上，并显示出感兴趣区域内的细胞位置、细胞类型、各类细胞的数量及相应的免疫组化指标。
附图说明
图1是免疫组化核浆染色切片诊断系统示意图；
图2是免疫组化核浆染色切片诊断方法流程图；
图3是倍率识别模型所采用的卷积神经网络示意图；
图4是细胞检测模型所采用的全卷积神经网络示意图；
图5是处理器处理流程图。
具体实施方式
下面结合附图对本发明作进一步说明：
本实施例中所用到的数字病理全场图的MPP值分别为0.48、0.96、1.92、3.84，选用不同厂家生产的扫描仪所采集的图像在同一倍率下的MPP值略有不同，但不影响采用本申请所提供的方法进行诊断的结果的准确性。MPP就是mircons per pixel，是描述图像倍率的一个通用参数，代表屏幕上一个像素对应到物理世界所代表的长度。所用的显微镜为直插式显微镜，包括1个目镜和4个物镜；目镜的放大倍数为10倍，物镜的放大倍数依次为4倍，10倍、20倍、40倍，显微镜摄像头采集到的图像的MPP值分别为1.5，0.6，0.3和0.15。
一种免疫组化核浆染色切片诊断系统，如图1所示，包括：显微镜、显微镜摄像头、处理器以及显示器。显微镜用于观察实体免疫组化核浆染色切片，包括1个目镜和4个物镜；目镜的放大倍数为10倍，物镜的放大倍数依次为4倍，10倍、20倍、40倍，显微镜摄像头采集到的图像的MPP值分别为1.5，0.6，0.3和0.15。显微镜摄像头与所述显微镜镜头连接，用于采集显微镜下实体免疫组化核浆染色切片的病理图像。处理器与所述显微镜摄像头通讯连接，接收来自显微镜摄像头的病理图像，对所述病理图像进行预处理，对处理后的病理图像进行细胞检测和细胞分类，在所述病理图像上标注出细胞位置、细胞类型及以及相应的免疫组化指数，输出经过标注的病理图像，如图5所示。显示器与所述处理器连接，接收并显示所述经过标注的病理图像，显示器与显微镜摄像头同步显示所述免疫组化核浆染色切片同一部位的病理图像。显微镜摄像头通过USB数据线与处理器相连，处理器上安装有配套的驱动软件，安装完成后，处理器即可接收来自于显微镜摄像头传入的图像，使用配套开发的显示软件将所采集的图像显示在显示器上。
采用免疫组化核浆染色切片诊断系统进行实施诊断的方法，如图2所示，包括：
S10，显微镜摄像头采集免疫组化核浆染色切片位于显微镜下的病理图像并发送至处理器；
S20，处理器对所述病理图像进行预处理，使得病理图像的HSV颜色空间与设定阈值相一致；
处理器调节所述病理图像，使得病理图像的HSV颜色空间与设定阈值相一致，这里的设定阈值与甲状腺术中冰冻切片的数字病理全场图的HSV颜色空间相一致。具体地，调节所述病理图像色相，明暗度，饱和度和白平衡，使得经过预处理的病理图像与所述免疫组化核浆染色切片的数字病理全场图的色相，明暗度，饱和度和白平衡相一致或是误差处于设定范围内。这是因为本实施例所采用的倍率识别模型和用于细胞检测的人工神经网络模型都是采用数字病理全场图进行训练的，显微镜摄像头采集到的图像数据的白平衡、色相，明度和彩度等和数字病理全场图很不一样，通过缩小这些不同，来确保后面细胞检测的准确性尽可能不会受此影响。
S30，处理器对经过预处理的病理图像进行细胞检测和细胞分类，在所述病理图像上标注出细胞位置、细胞类型及相应的免疫组化指数，输出经过标注的病理图像；
S40，显示器接收并显示来自处理器的经过标注的病理图像，所述显示器与显微镜摄像头同步显示所述免疫组化核浆染色切片同一部位的病理图像。这里的同步显示并不局限于时间上的完全一致，不应做限制性的解释，例如将显微镜端下看到的图像与显示器端看到的图像的时间差精确到多少秒或多少微秒，应用场景下人眼能够接受的时间差也属于本申请中同步的概念，显示器端即便产生几微秒或几秒的延时，也不影响甲状腺术中冰冻切片诊断系统的使用或运行，同样落入本发明的保护范围。。
步骤S30具体包括：
S31，检测所述病理图像的MPP值；
通过倍率识别模型确定所述病理图像的MPP值。倍率识别模型是一种普通卷积神经网络，该模型的主要目的是根据输入图像(1024*1024像素）中的细胞大小来预测该输入图像的MPP值，由于本实施例采用的显微镜是主要依靠切换物镜来改变图像的放大倍率，显微镜摄像头采集到的图像只有4个倍率，分别是MPP等于0.15， 0.3， 0.6 和1.5，因此倍率识别模型需要将接收到的病理图像分为以上四类即可。卷积神经网络的结构，如图3所示，是由一系列卷积层（CONV1, CONV2...），池化层（Pooling）和全连接层(Fully ConnectedLayers)组成，最后通过使用激活函数（Softmax）对图像进行分类。卷积层主要用于提取图像的局部特征，池化层对提取的特征图进行降维压缩后，再将降维后的特征图传入下一个卷积层进行特征提取，经过一系列的卷积和池化操作后，将提炼特征图平铺为一个数组作为全连接层的输入，全连接层进一步提取特征，并对特征进行分类，从而对输入图像进行分类。倍率识别模型的训练数据为从MPP等于0.15， 0.3， 0.6于1.5的随机视野下截取的图像（1024*1024像素）各10000张，将所有训练图像洗牌，采用交叉熵为损失函数，Adam为优化方法，训练直到损失函数不再明显变化为止。
S32，将所述病理图像的MPP值与设定的MPP值m1进行对比，若病理图像的MPP值与设定的MPP值m1不同，则调整所述病理图像，使得病理图像的MPP值达到m1，进入S33；否则，直接进入S33；其中，m1为足以区分细胞图像的病理图像的MPP值；
MPP是用来将图像中的细胞尺寸与细胞的实际尺寸对应起来的。细胞的实际大小是固定的，但是通过不同倍率的显微镜放大后，观察到的细胞图像的大小是完全不一样的。 例如一个细胞的实际直径是10微米，在放大倍率为20倍的显微镜下观察到的细胞直径为10x20=200微米， 在放大倍率为40倍的显微镜下观察到的细胞直径为10x40=400微米。在免疫组化分析中，细胞的大小和形态是区分肿瘤细胞核正常细胞的重要指标，因此在细胞检测和分类中，必须要将不同放大倍率的图片根据MPP值通过缩放统一到同一放大倍率。本实施例中由于细胞检测和细胞分类模型的训练样本均是来自由放大倍率为20倍的（MPP=0.48）的病理图像，因此本实施例中的设定的MPP值m1即为0.48，先判断病理图像的MPP值是否等于0.48，如果不等于0.48则将病理图片进行缩放，使其MPP等于0.48。
S33，通过用于细胞检测的人工神经网络模型确定并标注出所述病理图像中所有细胞核的中心位置；
所述用于细胞检测的人工神经网络模型，是以从所述数字病理全场图上截取的细胞图像作为样本数据训练得到的，所述数字病理全场图的MPP值为m1，数字病理全场图上标注有每个细胞的中心位置；
用于细胞检测的人工神经网络模型即细胞检测模型是一种全卷积神经网络，该模型的主要目的是对输入图像（1024*1024像素）中的所有细胞做语义分割，通过语义分割产生的细胞分割图像，可以通过寻找局部极大值的方式来确定每个细胞的中心位置。全卷积神经网络的结构如图4所示， 网络呈一个U型形状， 全卷积神经网络的前半部分（U型左边）和普通神经网络一样， 均是由一系列卷积层和池化层组成，不同的是，全卷积神经网络没有全连接层，在经过一系列提取和压缩特征后，全卷积神经网络通过反卷积操作，将特征图像逐步映射到更大的维度上，最终逐渐将特征图像恢复到和输入图像一样的维度下，输出图像则为一个细胞分割图像，细胞分割图像上的每个亮点对应输入图像上的一个细胞。 每个亮点的中心（局部极大值）则为每个细胞的中心。本实施例所采用的训练样本是，医生在免疫组化图像上每个细胞的中心用画笔点一个点，通过图像处理的方法将这些医生标注的点都提取出来，生成相应的二值分割图并对其使用高斯模糊作为标注，模型即使用医生标注前的图片与生成的二值细胞分割图作为训练数据。训练此模型，采用标注了二十余张1024*1024的图像，其中每张图像包含400-600个细胞。对这些数据进行大量数据增强处理，如随机翻转，旋转，随机变换色相，亮度，随机截取等操作来增加训练数据量。在训练模型时，采用二值交叉熵为损失函数，梯度下降法为优化方法，训练直到能生成满意的细胞分割图像为止。
S34，根据所述细胞核的中心位置提取每个细胞图像；
在得到图片上检测到的细胞核的中心位置坐标后，需要进一步的将每个细胞的图像提取出来，主要通过以每个细胞核坐标为中心，截取大小为32*32像素的正方形图片，这些32*32像素的图片则是每个细胞的图像。 之所以这些截取是因为在免疫组化图片中，不同类型的细胞大小差别不是特别大， 在放大倍率为20倍的情况下（即MPP=0.48），一个细胞一般不会超过32*32个像素， 而32*32个像素的图像通常也不会包含多个细胞。
S35，根据所述细胞图像对细胞进行分类和标注，将细胞分为阳性肿瘤细胞、阳性正常细胞、阴性肿瘤细胞以及阴性正常细胞，并统计每类细胞的数量；
本实施例中，采用细胞分类模型进行细胞分类，细胞分类模型与倍率识别模型一样，均为普通的卷积神经网络，细胞分类模型的输入为32*32像素的单个细胞图像，输出为该细胞图像的类别。细胞分类模型的训练数据由医生在不同类型的细胞上用不同颜色画笔画点，之后再通过图像处理的方法以医生画的点的位置为中心，截取32*32像素大小的图片，再根据医生画笔的颜色，将细胞定为不同类别。在训练模型时，将所有训练图像洗牌，采用交叉熵为损失函数，Adam为优化方法，训练直到损失函数不再明显变化为止。
S36，计算并标注相应的免疫组化指标。
Ki-67、ER、PR等均是通过免疫组化核染方式进行染色制片的切片对应的免疫组化指标，而CK5/6等则是通过免疫组化浆染方式进行染色制片的切片对应的免疫组化指标。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。
Claims (11)
1.免疫组化核浆染色切片诊断方法，适用于免疫组化核浆染色切片诊断系统，所述系统包括显微镜、显微镜摄像头、处理器以及显示器，所述显微镜摄像头安装在显微镜上，与处理器通讯连接，处理器与显示器连接，其特征在于，所述诊断方法包括：
S10，显微镜摄像头采集免疫组化核浆染色切片位于显微镜下的病理图像并发送至处理器；S20，处理器对所述病理图像进行预处理，使得病理图像的HSV颜色空间与设定阈值相一致；
S30，处理器对经过预处理的病理图像进行细胞检测和细胞分类，在所述病理图像上标注出细胞位置、细胞类型及相应的免疫组化指数，输出经过标注的病理图像；
S40，显示器接收并显示来自处理器的经过标注的病理图像。
2.根据权利要求1所述的免疫组化核浆染色切片诊断方法，其特征在于，所述S20，预处理是指，调节所述病理图像的HSV颜色空间，使得经过预处理的病理图像与所述免疫组化核浆染色切片的数字病理全场图的HSV颜色空间相一致或是误差处于设定范围内。
3.根据权利要求1所述的免疫组化核浆染色切片诊断方法，其特征在于，所述S30，具体包括：
S31，检测所述病理图像的MPP值；
S32，将所述病理图像的MPP值与设定的MPP值m1进行对比，若病理图像的MPP值与设定的MPP值m1不同，则调整所述病理图像，使得病理图像的MPP值达到m1，进入S33；否则，直接进入S33；其中，m1为足以区分细胞图像的病理图像的MPP值；
S33，通过用于细胞检测的人工神经网络模型确定并标注出所述病理图像中所有细胞核的中心位置；
S34，根据所述细胞核的中心位置提取每个细胞图像；
S35，根据所述细胞图像对细胞进行分类和标注，将细胞分为阳性肿瘤细胞、阳性正常细胞、阴性肿瘤细胞以及阴性正常细胞，并统计每类细胞的数量；
S36，计算并标注相应的免疫组化指标。
4.根据权利要求3所述的免疫组化核浆染色切片诊断方法，其特征在于，所述S31，通过倍率识别模型确定所述病理图像的MPP值；所述倍率识别模型根据所述病理图像中的细胞大小预测该病理图像的MPP值。
5.根据权利要求3所述的免疫组化核浆染色切片诊断方法，其特征在于，所述m1分别为0.48。
6.根据权利要求3所述的甲状腺冰冻切片诊断方法，其特征在于，所述S33，用于细胞检测的人工神经网络模型，是以从所述免疫组化核浆染色切片的数字病理全场图上截取的细胞图像作为样本数据训练得到的，所述数字病理全场图的MPP值为m1，数字病理全场图上标注有每个细胞的中心位置。
7.根据权利要求1所述的甲状腺冰冻切片诊断方法，其特征在于，所述S40，显示器与显微镜摄像头同步显示所述甲状腺冰冻切片同一部位的病理图像。
8.免疫组化核浆染色切片诊断系统，其特征在于，包括：
显微镜，用于观察实体免疫组化核浆染色切片；
显微镜摄像头，与所述显微镜镜头连接，用于采集显微镜下实体免疫组化核浆染色切片的病理图像；
处理器，与所述显微镜摄像头通讯连接，接收来自显微镜摄像头的病理图像，对所述病理图像进行处理检测后，输出标注有细胞位置、细胞类型以及相应的免疫组化指数的病理图像；显示器，与所述处理器连接，接收并显示所述经过标注的病理图像。
9.根据权利要求8所述的免疫组化核浆染色切片诊断系统，其特征在于，所述显微镜包括1个目镜和4个物镜；目镜的放大倍数为10倍，物镜的放大倍数依次为4倍，10倍、20倍、40倍，显微镜摄像头采集到的图像的MPP值分别为1.5，0.6，0.3和0.15。
10.一种计算机可读存储介质，其特征在于，存储有与免疫组化核浆染色切片诊断系统结合使用的计算机程序，所述计算机程序可被处理器执行以完成以下步骤：
接收位于显微镜下的免疫组化核浆染色切片的病理图像；
对所述病理图像进行预处理，使得病理图像的HSV颜色空间与设定阈值相一致；
对经过预处理的病理图像进行细胞检测和细胞分类，在所述病理图像上标注出细胞位置、细胞类型及相应的免疫组化指数，输出经过标注的病理图像。
11.根据权利要求10所述的一种计算机可读存储介质，其特征在于，所述对经过预处理的病理图像进行细胞检测和细胞分类，在所述病理图像上标注出细胞位置、细胞类型及相应的免疫组化指数，具体包括：
S31，检测所述病理图像的MPP值；
S32，将所述病理图像的MPP值与设定的MPP值m1进行对比，若病理图像的MPP值与设定的MPP值m1不同，则调整所述病理图像，使得病理图像的MPP值达到m1，进入S33；否则，直接进入S33；其中，m1为足以区分细胞图像的病理图像的MPP值；
S33，通过用于细胞检测的人工神经网络模型确定并标注出所述病理图像中所有细胞核的中心位置；
S34，根据所述细胞核的中心位置提取每个细胞图像；
S35，根据所述细胞图像对细胞进行分类和标注，将细胞分为阳性肿瘤细胞、阳性正常细胞、阴性肿瘤细胞以及阴性正常细胞，并统计每类细胞的数量；
S36，计算并标注相应的免疫组化指标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910863375.3A CN110736748A (zh) | 2019-09-12 | 2019-09-12 | 免疫组化核浆染色切片诊断方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910863375.3A CN110736748A (zh) | 2019-09-12 | 2019-09-12 | 免疫组化核浆染色切片诊断方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110736748A true CN110736748A (zh) | 2020-01-31 |
Family
ID=69267885
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910863375.3A Pending CN110736748A (zh) | 2019-09-12 | 2019-09-12 | 免疫组化核浆染色切片诊断方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110736748A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111260677A (zh) * | 2020-02-20 | 2020-06-09 | 腾讯科技（深圳）有限公司 | 基于显微图像的细胞分析方法、装置、设备及存储介质 |
| CN111290685A (zh) * | 2020-02-28 | 2020-06-16 | 杭州依图医疗技术有限公司 | 细胞染色图像的显示方法、病理图像分析系统及存储介质 |
| CN111430011A (zh) * | 2020-03-31 | 2020-07-17 | 杭州依图医疗技术有限公司 | 细胞染色图像的显示方法、处理方法及存储介质 |
| CN111583185A (zh) * | 2020-04-14 | 2020-08-25 | 山东省千佛山医院 | 基于病理免疫组织化学的Ki67细胞核计数方法及系统 |
| CN112750106A (zh) * | 2020-12-31 | 2021-05-04 | 山东大学 | 一种基于非完备标记的深度学习的核染色细胞计数方法、计算机设备、存储介质 |
| CN112991263A (zh) * | 2021-02-06 | 2021-06-18 | 杭州迪英加科技有限公司 | 用于提升pd-l1免疫组化病理切片tps计算准确度的方法及设备 |
| CN113284085A (zh) * | 2021-02-08 | 2021-08-20 | 上海衡道医学病理诊断中心有限公司 | 一种细胞膜识别及分割方法 |
| CN113470041A (zh) * | 2021-05-26 | 2021-10-01 | 透彻影像(北京)科技有限公司 | 免疫组化细胞图像细胞核分割与计数方法和系统 |
| CN114511559A (zh) * | 2022-04-18 | 2022-05-17 | 杭州迪英加科技有限公司 | 染色鼻息肉病理切片质量多维评价方法、系统及介质 |
| WO2022267447A1 (zh) * | 2021-06-22 | 2022-12-29 | 上海杏脉信息科技有限公司 | 一种病理图像处理系统、方法及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103777337A (zh) * | 2012-10-26 | 2014-05-07 | 董涛 | 早期癌症检测仪镜头自动变倍实现方法及装置 |
| US20140233826A1 (en) * | 2011-09-27 | 2014-08-21 | Board Of Regents Of The University Of Texas System | Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images |
| US20180232883A1 (en) * | 2017-02-13 | 2018-08-16 | Amit Sethi | Systems & Methods for Computational Pathology using Points-of-interest |
| CN108717554A (zh) * | 2018-05-22 | 2018-10-30 | 复旦大学附属肿瘤医院 | 一种甲状腺肿瘤病理组织切片图像分类方法及其装置 |
| CN109872335A (zh) * | 2019-02-28 | 2019-06-11 | 志诺维思（北京）基因科技有限公司 | 一种用于pd-l1抗体染色切片的自动读片方法及其系统 |
| CN109903284A (zh) * | 2019-03-04 | 2019-06-18 | 武汉大学 | 一种her2免疫组化图像自动判别方法及系统 |
-
2019
- 2019-09-12 CN CN201910863375.3A patent/CN110736748A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140233826A1 (en) * | 2011-09-27 | 2014-08-21 | Board Of Regents Of The University Of Texas System | Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images |
| CN103777337A (zh) * | 2012-10-26 | 2014-05-07 | 董涛 | 早期癌症检测仪镜头自动变倍实现方法及装置 |
| US20180232883A1 (en) * | 2017-02-13 | 2018-08-16 | Amit Sethi | Systems & Methods for Computational Pathology using Points-of-interest |
| CN108717554A (zh) * | 2018-05-22 | 2018-10-30 | 复旦大学附属肿瘤医院 | 一种甲状腺肿瘤病理组织切片图像分类方法及其装置 |
| CN109872335A (zh) * | 2019-02-28 | 2019-06-11 | 志诺维思（北京）基因科技有限公司 | 一种用于pd-l1抗体染色切片的自动读片方法及其系统 |
| CN109903284A (zh) * | 2019-03-04 | 2019-06-18 | 武汉大学 | 一种her2免疫组化图像自动判别方法及系统 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111260677A (zh) * | 2020-02-20 | 2020-06-09 | 腾讯科技（深圳）有限公司 | 基于显微图像的细胞分析方法、装置、设备及存储介质 |
| CN111290685A (zh) * | 2020-02-28 | 2020-06-16 | 杭州依图医疗技术有限公司 | 细胞染色图像的显示方法、病理图像分析系统及存储介质 |
| CN111430011A (zh) * | 2020-03-31 | 2020-07-17 | 杭州依图医疗技术有限公司 | 细胞染色图像的显示方法、处理方法及存储介质 |
| CN111430011B (zh) * | 2020-03-31 | 2023-08-29 | 杭州依图医疗技术有限公司 | 细胞染色图像的显示方法、处理方法及存储介质 |
| CN111583185A (zh) * | 2020-04-14 | 2020-08-25 | 山东省千佛山医院 | 基于病理免疫组织化学的Ki67细胞核计数方法及系统 |
| CN112750106A (zh) * | 2020-12-31 | 2021-05-04 | 山东大学 | 一种基于非完备标记的深度学习的核染色细胞计数方法、计算机设备、存储介质 |
| CN112750106B (zh) * | 2020-12-31 | 2022-11-04 | 山东大学 | 一种基于非完备标记的深度学习的核染色细胞计数方法、计算机设备、存储介质 |
| CN112991263B (zh) * | 2021-02-06 | 2022-07-22 | 杭州迪英加科技有限公司 | 用于提升pd-l1免疫组化病理切片tps计算准确度的方法及设备 |
| CN112991263A (zh) * | 2021-02-06 | 2021-06-18 | 杭州迪英加科技有限公司 | 用于提升pd-l1免疫组化病理切片tps计算准确度的方法及设备 |
| CN113284085A (zh) * | 2021-02-08 | 2021-08-20 | 上海衡道医学病理诊断中心有限公司 | 一种细胞膜识别及分割方法 |
| CN113470041B (zh) * | 2021-05-26 | 2022-04-22 | 透彻影像(北京)科技有限公司 | 免疫组化细胞图像细胞核分割与计数方法和系统 |
| CN113470041A (zh) * | 2021-05-26 | 2021-10-01 | 透彻影像(北京)科技有限公司 | 免疫组化细胞图像细胞核分割与计数方法和系统 |
| WO2022267447A1 (zh) * | 2021-06-22 | 2022-12-29 | 上海杏脉信息科技有限公司 | 一种病理图像处理系统、方法及介质 |
| CN114511559A (zh) * | 2022-04-18 | 2022-05-17 | 杭州迪英加科技有限公司 | 染色鼻息肉病理切片质量多维评价方法、系统及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110736748A (zh) | 免疫组化核浆染色切片诊断方法及系统 | |
| CN111474701B (zh) | 一种病理显微图像实时采集分析系统、方法、装置及介质 | |
| CN111524137B (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
| US8116543B2 (en) | System for and method of intelligently directed segmentation analysis for automated microscope systems | |
| US7027627B2 (en) | Medical decision support system and method | |
| KR101628276B1 (ko) | 클라우드 기반 병리 분석 시스템 및 방법 | |
| US8600143B1 (en) | Method and system for hierarchical tissue analysis and classification | |
| CN110763678A (zh) | 一种病理切片判读方法及系统 | |
| JP2018180635A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP6194791B2 (ja) | 画像処理装置及びプログラム | |
| WO2014030380A1 (ja) | 画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム | |
| CN112200793B (zh) | 数字病理切片质量的实时监控方法及系统、计算机设备 | |
| CN110853005A (zh) | 一种免疫组化膜染色切片诊断方法及装置 | |
| CN111160301A (zh) | 基于机器视觉的隧道病害目标智能识别及提取方法 | |
| JP2013050713A (ja) | 合焦位置を決定する方法及びビジョン検査システム | |
| US20220012884A1 (en) | Image analysis system and analysis method | |
| CN113781455B (zh) | 宫颈细胞图像异常检测方法、装置、设备及介质 | |
| CN112464802B (zh) | 一种玻片样本信息的自动识别方法、装置和计算机设备 | |
| WO2016189469A1 (en) | A method for medical screening and a system therefor | |
| CN111582276B (zh) | 一种基于多特征融合的寄生虫虫卵的识别方法及系统 | |
| CN110738658B (zh) | 图像质量评价方法 | |
| JP2007516428A (ja) | 分散プロット分布を用いてスライドの染色品質を決定するシステム | |
| JP4938428B2 (ja) | 標本画像作成方法及び装置 | |
| CN114387596A (zh) | 细胞病理涂片自动判读系统 | |
| WO2020007587A1 (en) | Method and apparatus for training a neural network classifier to classify an image depicting one or more objects of a biological sample |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200131 |
|
| RJ01 | Rejection of invention patent application after publication |