CN110763678A - 一种病理切片判读方法及系统 - Google Patents

一种病理切片判读方法及系统 Download PDF

Info

Publication number
CN110763678A
CN110763678A CN201910863401.2A CN201910863401A CN110763678A CN 110763678 A CN110763678 A CN 110763678A CN 201910863401 A CN201910863401 A CN 201910863401A CN 110763678 A CN110763678 A CN 110763678A
Authority
CN
China
Prior art keywords
pathological
pathological image
image
visual field
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910863401.2A
Other languages
English (en)
Inventor
李涵生
崔灿
慧文丽
杨林
崔磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Di Ying Jia Technology Co Ltd
Original Assignee
Hangzhou Di Ying Jia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Di Ying Jia Technology Co Ltd filed Critical Hangzhou Di Ying Jia Technology Co Ltd
Priority to CN201910863401.2A priority Critical patent/CN110763678A/zh
Publication of CN110763678A publication Critical patent/CN110763678A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
    • G01N33/574—Immunoassay; Biospecific binding assay; Materials therefor for cancer
    • G01N33/57484—Immunoassay; Biospecific binding assay; Materials therefor for cancer involving compounds serving as markers for tumor, cancer, neoplasia, e.g. cellular determinants, receptors, heat shock/stress proteins, A-protein, oligosaccharides, metabolites
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/68—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving proteins, peptides or amino acids
    • G01N33/6803—General methods of protein analysis not limited to specific proteins or families of proteins
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Cell Biology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microbiology (AREA)
  • Biotechnology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Data Mining & Analysis (AREA)
  • Optics & Photonics (AREA)
  • Hospice & Palliative Care (AREA)
  • Oncology (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明涉及病理切片判读方法，适用于病理切片判读系统，包括：S10，显微镜摄像头采集显微镜下的实体PD‑L1免疫组化染色切片的病理图像，并发送至处理器；S20，处理器对所述病理图像进行预处理，使得病理图像的HSV颜色空间与设定阈值相一致；S30，处理器对经过预处理的病理图像进行处理、检测、标注，输出经过标注的病理图像；S40，显示器接收并显示来自处理器的经过标注的病理图像。本申请还公开了病理切片判读系统；一种计算机可读存储介质，存储有与病理切片判读系统结合使用的计算机程序。本申请使用人工智能方法提高医生的诊断效率的同时准确而快速的提供PD‑L1阳性评分，辅助医生进行临床判断。

Description

一种病理切片判读方法及系统
技术领域
本发明涉及病理诊断领域，特别是涉及一种病理切片判读方法及系统。
背景技术
癌症威胁着人类健康，近年来，PD-L1靶向药物有希望成为一种癌症治疗的新方法。PD-1的全称为“程序性死亡蛋白-1”（programmedcell death protein 1)，是一种重要的免疫抑制分子。PD-1免疫疗法是治疗肿瘤极具代表性的一种疗法。PD-L1和PD-1是免疫检查信号通路的一部分，该信号通路可以抑制T细胞的增值以及对于肿瘤细胞的免疫防御能力。PD-L1和PD-1共同协调抑制T细胞受体信号通路，PD-L1靶向药物与PD-L1结合从而阻断PD-L1与激活的T细胞上的PD-1结合，从而使得T细胞仍处于激活状态杀死肿瘤细胞。PD-1主要表达于活化的T淋巴细胞、B淋巴细胞和巨噬细胞表面，PD-L1是多种肿瘤细胞表面表达的蛋白质。PD-L1是PD-1的配体，PD-1与PD-L1结合后可提供抑制性信号，诱导T细胞凋亡，抑制T细胞的活化和增殖，最终抑制T细胞免疫，导致免疫抑制性肿瘤微环境形成，使肿瘤细胞逃避机体的免疫监控和杀伤。随着人工智能与数字病理的发展，针对PD-L1免疫组化染色切片智能辅助诊断的技术不断完善，诊断结果越来越趋于精准，解决了不少由于医师经验不足或者不明确下导致的误诊，以及延迟诊断。然而这样的技术需要将病理切片在高倍镜下扫描成全场图，再上传至诊断工具中才能进行分析。可是病理切片数字扫描仪设备价格昂贵，特别是全场图数字化扫描也需额外耗费时间，因此其临床实用性也大大降低。
发明内容
本发明的目的在于解决现有技术中需要将实体PD-L1免疫组化染色切片在高倍镜下扫描成全场图，再上传至诊断工具中才能进行分析诊断的问题，本发明提供了病理切片判读方法及系统。
本发明通过以下技术方案来实现上述目的：病理切片判读方法，适用于病理切片判读系统，所述系统包括显微镜、显微镜摄像头、处理器以及显示器，所述显微镜摄像头安装在显微镜上，与处理器通讯连接，处理器与显示器连接，所述判读方法包括：S10，显微镜摄像头采集显微镜下的实体PD-L1免疫组化染色切片的病理图像，并发送至处理器；S20，处理器对所述病理图像进行预处理，使得病理图像的HSV颜色空间与设定阈值相一致；S30，处理器对经过预处理的病理图像进行处理、检测，判断所述实体PD-L1免疫组化染色切片当前处于低倍视野下还是高倍视野下，当所述实体PD-L1免疫组化染色切片当前处于低倍视野下时，在病理图像上标注出感兴趣区域，当所述实体PD-L1免疫组化染色切片当前处于高倍视野下时，在病理图像上标注出感兴趣病理指标；输出经过标注的病理图像；
S40，显示器接收并显示来自处理器的经过标注的病理图像。
进一步地，所述S30，具体包括：
S31，处理器确定所述病理图像的MPP值；
S32，处理器将所述病理图像的MPP值与设定的MPP值m1进行对比，当所述病理图像的MPP值大于等于m1时，所述实体PD-L1免疫组化染色切片当前处于低倍视野下，则采用低倍视野肿瘤区域分割模型进行肿瘤区域划分，计算阳性区域的置信度，将阳性区域置信度转换为热力图映射至原病理图形后输出；当所述病理图像的MPP值小于m1时，所述实体PD-L1免疫组化染色切片当前处于高倍视野下，则采用高倍视野细胞检测模型进行阴性/阳性细胞检测，统计阳性细胞数和阴性细胞数，计算PD-L1阳性评分，并标注在所述病理图像上输出。
进一步地，所述S32在将采用低倍视野肿瘤区域分类模型进行肿瘤区域划分前，还包括：将所述经过预处理的病理图像调整为MPP值为m1的病理图像；将所述MPP值为m2的病理图像分割成若干个大小适宜的小图片，输入所述低倍视野肿瘤区域分类模型。
进一步地，所述S32采用高倍视野细胞检测模型进行阴性/阳性细胞检测前，还包括：将所述经过预处理的病理图像调整为MPP值为m1的病理图像；将所述MPP值为m1的病理图像分割成若干个大小适宜的小图片，输入所述高倍视野细胞检测模型。
进一步地，所述高倍视野细胞检测模型采用循环神经网络作为编码器，采用关键点检测网络作为解码器，输出阳性细胞与阴性色细胞的细胞核，每个关键点就是一个细胞，结合先验知识分别统计阳性细胞数和阴性细胞数。
进一步地，所述编码器采用残差网络，包括残差块1、残差块2、残差块3以及残差块4，4个残差块的感受野由低到高逐渐变大，所述循环神经网络在残差块2和残差块3之间共享其他输入图片的切片特征。
进一步地，所述S40，显示器与显微镜摄像头同步显示所述甲状腺冰冻切片同一部位的病理图像。
本申请还提供了病理切片判读系统，包括：显微镜，用于观察实体PD-L1免疫组化染色切片；显微镜摄像头，与所述显微镜镜头连接，用于采集显微镜下实体PD-L1免疫组化染色切片的病理图像；处理器，与所述显微镜摄像头通讯连接，接收来自显微镜摄像头的病理图像，对所述病理图像进行处理、检测，标注出病理图像上的感兴趣区域或是感兴趣病理指标输出经过标注的病理图像；显示器，与所述处理器连接，接收并显示经过标注的病理图像。
本申请还提供了一种计算机可读存储介质，存储有与病理切片判读系统结合使用的计算机程序，所述计算机程序可被处理器执行以完成以下步骤：S100，接收位于显微镜下的实体PD-L1免疫组化染色切片的病理图像；S200，对所述病理图像进行预处理，使得病理图像的HSV颜色空间与设定阈值相一致；S300，对经过预处理的病理图像进行处理、检测，判断所述实体PD-L1免疫组化染色切片当前处于低倍视野下还是高倍视野下，当所述实体PD-L1免疫组化染色切片当前处于低倍视野下时，在病理图像上标注出感兴趣区域，当所述实体PD-L1免疫组化染色切片当前处于高倍视野下时，在病理图像上标注出感兴趣病理指标；S400，输出经过标注的病理图像。
进一步地，所述S300，具体包括：S310，处理器确定所述病理图像的MPP值；S320，处理器将所述病理图像的MPP值与设定的MPP值m1进行对比，当所述病理图像的MPP值大于等于m1时，所述实体PD-L1免疫组化染色切片当前处于低倍视野下，则采用低倍视野肿瘤区域分割模型进行肿瘤区域划分，计算阳性区域的置信度，将阳性区域置信度转换为热力图映射至原病理图形后输出；当所述病理图像的MPP值小于m1时，所述实体PD-L1免疫组化染色切片当前处于高倍视野下，则采用高倍视野细胞检测模型进行阴性/阳性细胞检测，统计阳性细胞数和阴性细胞数，计算PD-L1阳性评分，并标注在所述病理图像上输出。
与现有技术相比，本发明的有益效果如下：采用本发明提出的病理切片判读方法及系统，病理科医生只需将实体PD-L1免疫组化染色切片放置于显微镜下，随机移动切片，停留在显微镜摄像头下的任意感兴趣区域都会同步在显示屏上，并显示出病理图像中的肿瘤区域范围，或阳性细胞数、阴性细胞数及阳性率。不仅免去高额扫描仪的经费，而且诊断的准确率高，缩短了甲状腺术中诊断的时间，缩短了手术时间，为实现快速精准治疗带来了便利。采用结合先验知识的高倍视野染色细胞检测模型利用医生的经验和先验知识进行阳性细胞、阴性细胞的检测，结合相邻区域的相关性的，大大提高了细胞检测的准确性。使用人工智能方法提高医生的诊断效率的同时准确而快速的提供PD-L1阳性评分，便于医生更精准的进行临床判断。
附图说明
图1是病理切片判读系统处理器的处理流程图；
图2是病理切片判读方法低倍视野肿瘤区域分割模型架构图；
图3是病理切片判读方法结合先验知识的高倍视野染色细胞检测模型。
具体实施方式
下面结合附图对本发明作进一步说明：
本实施例中所用到的数字病理全场图的MPP值分别为0.48、0.96、1.92、3.84，选用不同厂家生产的扫描仪所采集的图像在同一倍率下的MPP值略有不同，但不影响采用本申请所提供的方法进行诊断的结果的准确性。所用的显微镜为直插式显微镜，包括1个目镜和4个物镜；目镜的放大倍数为10倍，物镜的放大倍数依次为4倍，10倍、20倍、40倍，显微镜摄像头采集到的图像的MPP值分别为1.5，0.6，0.3和0.15。
一种病理切片判读系统，包括：显微镜、显微镜摄像头、处理器以及显示器。显微镜，用于观察实体PD-L1免疫组化染色切片。显微镜镜头与显微镜摄像头连接，组成电子目镜，电子目镜插入到直插式显微镜的第三镜筒，用于采集显微镜下实体PD-L1免疫组化染色切片的病理图像。处理器与所述显微镜摄像头通讯连接，接收来自显微镜摄像头的病理图像，对所述病理图像进行处理检测，标注出病理图像上的感兴趣区域或是感兴趣病理指标输出经过标注的病理图像。显示器与处理器连接，接收并显示标注后病理图像。显微镜摄像头通过USB数据线与处理器相连，处理器上安装有配套的驱动软件，安装完成后，处理器即可接收来自于显微镜摄像头传入的图像，使用配套开发的显示软件将经过处理的病理图像显示在显示器上。
采用病理切片判读系统进行病理切片诊断的方法，包括：
S10，显微镜摄像头采集显微镜下的实体PD-L1免疫组化染色切片的病理图像，并发送至处理器；
S20，处理器对所述病理图像进行预处理，使得病理图像的HSV颜色空间与设定阈值相一致；
S30，处理器对经过预处理的病理图像进行处理、检测，判断所述实体PD-L1免疫组化染色切片当前处于低倍视野下还是高倍视野下，当所述实体PD-L1免疫组化染色切片当前处于低倍视野下时，在病理图像上标注出感兴趣区域，当所述实体PD-L1免疫组化染色切片当前处于高倍视野下时，在病理图像上标注出感兴趣病理指标；输出经过标注的病理图像；
S40，显示器接收并显示来自处理器的经过标注的病理图像。
显示器与显微镜摄像头同步显示实体PD-L1免疫组化染色切片同一部位的病理图像，也就是显示器与显微镜摄像头显示的图像内容是一致的，只是显示器上显示的图像是经过标注的病理图像。这里的同步显示并不局限于时间上的完全一致，不应做限制性的解释，例如将显微镜端下看到的图像与显示器端看到的图像的时间差精确到多少秒或多少微秒，应用场景下人眼能够接受的时间差也属于本申请中同步的概念，显示器端即便产生几微秒或几秒的延时，也不影响病理切片判读系统使用或运行，同样落入本发明的保护范围。
在S20中，处理器调节所述病理图像，使得病理图像的HSV颜色空间与设定阈值相一致，这里的设定阈值与实体PD-L1免疫组化染色切片的数字病理全场图的HSV颜色空间相一致。具体地，调节所述病理图像色相，明暗度，饱和度和白平衡，使得经过预处理的病理图像与实体PD-L1免疫组化染色切片的数字病理全场图的色相，明暗度，饱和度和白平衡相一致或是误差处于设定范围内。这是因为本实施例所采用的倍率识别模型、低倍视野肿瘤区域分类模型以及高倍视野细胞检测模型都是采用数字病理全场图进行训练的，显微镜摄像头采集到的图像数据的白平衡、色相，明度和彩度等和数字病理全场图很不一样，通过缩小这些不同，来确保对于病理图像检测的准确性不受此影响。
如图1所示，S30具体包括：
S31，处理器确定所述病理图像的MPP值；
通过倍率识别模型确定病理图像的MPP值，MPP就是mircons per pixel，是描述图像倍率的一个通用参数，代表屏幕上一个像素对应到物理世界所代表的长度。倍率识别模型为：以MPP值为1.5，0.6，0.3和0.15的随机视野下截取的病理图像作为训练样本，提取不同MPP值的病理图像的细胞大小，根据不同MPP值的病理图像的细胞大小及对应的识别结果构建的人工神经网络。
S32，处理器将所述病理图像的MPP值与设定的MPP值0.96进行对比，当所述病理图像的MPP值大于等于0.96时，所述实体PD-L1免疫组化染色切片当前处于低倍视野下，则采用低倍视野肿瘤区域分割模型进行肿瘤区域划分，计算阳性区域的置信度，将阳性区域置信度转换为热力图映射至原病理图形后输出；当所述病理图像的MPP值小于0.96时，所述实体PD-L1免疫组化染色切片当前处于高倍视野下，则采用高倍视野细胞检测模型进行阴性/阳性细胞检测，统计阳性细胞数和阴性细胞数，计算PD-L1阳性评分，并标注在所述病理图像上输出。PD-L1阳性评分TPS = （PD-L1阳性细胞数）/（阳性细胞数+阴性细胞数）x 100%。
0.96对应10倍放大倍率，MPP值大于等于0.96，即处于低倍视野下，视野内包含的组织区域较多，低倍视野肿瘤区域分类模型可以快速且粗略分割出肿瘤区域。但在低倍视野下，图像的精细信息不能体现，因此可能会造成分析不够准确的问题。MPP值小于0.96，即处于高倍视野下，可以得到更加精细的图像信息，更加准确地分析出当前视野下是阳性染色细胞核阴性染色细胞。
低倍视野—>肿瘤区域分割：
在MPP≥0.96时，首先将当前视野内的采集到的病理图像（2048*2048）通过缩放，使MPP=0.96，然后将病理图片切分为512*512的小图片，输入低倍视野肿瘤区域分割模型，低倍视野肿瘤区域分割模型会提示肿瘤区域的范围，输出结果为0至1间的阳性肿瘤区域的置信度，根据输出的置信度将阳性肿瘤区域转换为热力图后映射至原病理图像。医生可参照病理图像上的热力图，定位到感兴趣区域转到高倍视野进行更精细的观察。
低倍视野肿瘤区域分类模型，如图2所示，模型的建立包括：
S101，选取N1张PD-L1免疫组化染色切片数字病理全场图，在PD-L1免疫组化数字病理全场图上标注出阳性染色区域；
S102，对PD-L1免疫组化染色切片数字病理全场图进行缩放，使PD-L1免疫组化染色切片数字病理全场图的MPP值为0.96；
S103，在医生标注的阳性染色区域内截取512*512小图作为阳性样本数据，在阳性染色区域外截取数量相近的512*512的小图作为阴性样本数据；
S104，将阳性样本数据和阴性样本数据进行洗牌，采用交叉熵为损失函数，Adam为优化方法，训练得到低倍视野肿瘤区域分类模型。
所采用的训练模型：由于区域分割需要模型有大的感受野，因此设计了编码器有6次下采样的分类网络，经过6次下采样后，又使用膨胀卷积的方式使得每次卷积操作的感受野都能覆盖原图，解码过程中，进行了多个尺度的特征融合，使得模型在多个尺度下做出最后的预测。
高倍视野—>结合先验知识的高倍视野染色细胞检测模型：
本申请的诊断系统允许医生切换高倍物镜对可疑区域进行进一步精细分析。医生只需调整视野位置，将显微镜视野定格在可疑区域，接着切换高放大倍率物镜即可。在切换了物镜之后，系统会通过倍率识别模型检测到当前的MPP， 如若MPP＜0.96， 则将分析流程转换为高倍视野分析流程，将当前视野的图像通过缩放使其MPP=0.96， 然后将缩放后的图片切分成多个512*512的小图，接着使用结合先验知识的高倍视野染色细胞检测模型对这些小图进行阳性，阴性细胞检测，将检测结果进行显示，统计当前视野下的阳性细胞数，阴性细胞数及阳性率，并将统计结果送入后端进行存储。
结合先验知识的高倍视野染色细胞检测模型，如图3所示，
1）模型介绍：对于PD-L1免疫组化阳性细胞，阴性细胞的判断，需要参照上下文特征，即判断阳性细胞与否需要参照其他视野下的细胞，因此本模型采用循环神经网络作为编码器，循环神经网络可充分融合其他视野下的特征在当前视野下进行决策。解码器采用关键点检测网络，分别输出阳性染色细胞与阴性染色细胞的细胞核，每个关键点就是一个细胞，最终可分别统计其阳性染色细胞与阴性染色细胞的个数。具体地，编码器采用残差网络，其具有四个残差块，各个残差快的感受野由低到高逐渐变大。值得注意的是对于PD-L1免疫组化阳性细胞的判断，其各个视野下的形态联系至关重要，考虑到残差块1感受野较小，残差块4感受野太大，空间性太差，而与形态至关重要的特征集中在残差块2与残差块3，因此我们的序列神经网络在残差块2与残差块3之间共享了切片之间的特征。其架构如图3所示。
2）训练数据：此数据为医生标注，医生先在100余张的免疫组化染色切片全场图上进行了每个阳性染色细胞与阴性染色细胞的全精标注，然后，将全场图进行缩放，使其MPP=0.96。
3）训练模型：在训练模型时，将所有训练图像按照全场图的顺序，依次送入网络中进行训练，采用交叉熵为损失函数，Adam为优化方法， 训练直到损失函数不再明显变化为止。
4）测试模型：在测试过程中，依然使用训练好的循环神经网络作为编码器将医生所选择看的区域提取到的特征进行特征融合。使得本模型充分利用医生的经验和先验知识，充分利用了相关区域的相关性的，做出当前视野下的决策。
一种计算机可读存储介质，存储有与病理切片判读系统结合使用的计算机程序，所述计算机程序可被处理器执行以完成以下步骤：
S100，接收位于显微镜下的实体PD-L1免疫组化染色切片的病理图像；
S200，对所述病理图像进行预处理，使得病理图像的HSV颜色空间与设定阈值相一致；
S300，对经过预处理的病理图像进行处理、检测，判断所述实体PD-L1免疫组化染色切片当前处于低倍视野下还是高倍视野下，当所述实体PD-L1免疫组化染色切片当前处于低倍视野下时，在病理图像上标注出感兴趣区域，当所述实体PD-L1免疫组化染色切片当前处于高倍视野下时，在病理图像上标注出感兴趣病理指标；具体包括：
S310，处理器确定所述病理图像的MPP值；
S320，处理器将所述病理图像的MPP值与设定的MPP值m1进行对比，当所述病理图像的MPP值大于等于m1时，所述实体PD-L1免疫组化染色切片当前处于低倍视野下，则采用低倍视野肿瘤区域分割模型进行肿瘤区域划分，计算阳性区域的置信度，将阳性区域置信度转换为热力图映射至原病理图形后输出；当所述病理图像的MPP值小于m1时，所述实体PD-L1免疫组化染色切片当前处于高倍视野下，则采用高倍视野细胞检测模型进行阴性/阳性细胞检测，统计阳性细胞数和阴性细胞数，计算PD-L1阳性评分，并标注在所述病理图像上输出。
S400，输出经过标注的病理图像。
每个步骤相应的内容同前所述。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (10)

1.病理切片判读方法，适用于病理切片判读系统，所述系统包括显微镜、显微镜摄像头、处理器以及显示器，所述显微镜摄像头安装在显微镜上，与处理器通讯连接，处理器与显示器连接，其特征在于，所述判读方法包括：
S10，显微镜摄像头采集显微镜下的实体PD-L1免疫组化染色切片的病理图像，并发送至处理器；
S20，处理器对所述病理图像进行预处理，使得病理图像的HSV颜色空间与设定阈值相一致；
S30，处理器对经过预处理的病理图像进行处理、检测，判断所述实体PD-L1免疫组化染色切片当前处于低倍视野下还是高倍视野下；当所述实体PD-L1免疫组化染色切片当前处于低倍视野下时，在病理图像上标注出感兴趣区域，当所述实体PD-L1免疫组化染色切片当前处于高倍视野下时，在病理图像上标注出感兴趣病理指标；输出经过标注的病理图像；
S40，显示器接收并显示来自处理器的经过标注的病理图像。
2.根据权利要求1所述的病理切片判读方法，其特征在于，S30，具体包括：S31，处理器确定所述病理图像的MPP值；
S32，处理器将所述病理图像的MPP值与设定的MPP值m1进行对比，当所述病理图像的MPP值大于等于m1时，所述实体PD-L1免疫组化染色切片当前处于低倍视野下，则采用低倍视野肿瘤区域分割模型进行肿瘤区域划分，计算阳性区域的置信度，将阳性区域置信度转换为热力图映射至原病理图形后输出；当所述病理图像的MPP值小于m1时，所述实体PD-L1免疫组化染色切片当前处于高倍视野下，则采用高倍视野细胞检测模型进行阴性/阳性细胞检测，统计阳性细胞数和阴性细胞数，计算PD-L1阳性评分，并标注在所述病理图像上输出。
3.根据权利要求2所述的病理切片判读方法，其特征在于，所述S32在将采用低倍视野肿瘤区域分类模型进行肿瘤区域划分前，还包括：
将所述经过预处理的病理图像调整为MPP值为m1的病理图像；
将所述MPP值为m2的病理图像分割成若干个大小适宜的小图片，输入所述低倍视野肿瘤区域分类模型。
4.根据权利要求3所述的病理切片判读方法，其特征在于，所述S32采用高倍视野细胞检测模型进行阴性/阳性细胞检测前，还包括：
将所述经过预处理的病理图像调整为MPP值为m1的病理图像；
将所述MPP值为m1的病理图像分割成若干个大小适宜的小图片，输入所述高倍视野细胞检测模型高倍视野细胞检测模型。
5.根据权利要求3所述的病理切片判读方法，其特征在于，所述高倍视野细胞检测模型采用循环神经网络作为编码器，采用关键点检测网络作为解码器，输出阳性细胞与阴性色细胞的细胞核，每个关键点就是一个细胞，结合先验知识分别统计阳性细胞数和阴性细胞数。
6.根据权利要求5所述的病理切片判读方法，其特征在于，所述编码器采用残差网络，包括残差块1、残差块2、残差块3以及残差块4，4个残差块的感受野由低到高逐渐变大，所述循环神经网络在残差块2和残差块3之间共享其他输入图片的切片特征。
7.根据权利要求1所述的甲状腺冰冻切片诊断方法，其特征在于，所述S40，显示器与显微镜摄像头同步显示所述甲状腺冰冻切片同一部位的病理图像。
8.病理切片判读系统，其特征在于，包括：
显微镜，用于观察实体PD-L1免疫组化染色切片；
显微镜摄像头，与所述显微镜镜头连接，用于采集显微镜下实体PD-L1免疫组化染色切片的病理图像；
处理器，与所述显微镜摄像头通讯连接，接收来自显微镜摄像头的病理图像，对所述病理图像进行处理、检测，标注出病理图像上的感兴趣区域或是感兴趣病理指标输出经过标注的病理图像；
显示器，与所述处理器连接，接收并显示经过标注的病理图像。
9.一种计算机可读存储介质，其特征在于，存储有与病理切片判读系统结合使用的计算机程序，所述计算机程序可被处理器执行以完成以下步骤：
S100，接收位于显微镜下的实体PD-L1免疫组化染色切片的病理图像；
S200，对所述病理图像进行预处理，使得病理图像的HSV颜色空间与设定阈值相一致；
S300，对经过预处理的病理图像进行处理、检测，判断所述实体PD-L1免疫组化染色切片当前处于低倍视野下还是高倍视野下，当所述实体PD-L1免疫组化染色切片当前处于低倍视野下时，在病理图像上标注出感兴趣区域，当所述实体PD-L1免疫组化染色切片当前处于高倍视野下时，在病理图像上标注出感兴趣病理指标；
S400，输出经过标注的病理图像。
10.根据权利要求11所述的一种计算机可读存储介质，其特征在于，所述S300，具体包括：
S310，处理器确定所述病理图像的MPP值；
S320，处理器将所述病理图像的MPP值与设定的MPP值m1进行对比，当所述病理图像的MPP值大于等于m1时，所述实体PD-L1免疫组化染色切片当前处于低倍视野下，则采用低倍视野肿瘤区域分割模型进行肿瘤区域划分，计算阳性区域的置信度，将阳性区域置信度转换为热力图映射至原病理图形后输出；当所述病理图像的MPP值小于m1时，所述实体PD-L1免疫组化染色切片当前处于高倍视野下，则采用高倍视野细胞检测模型进行阴性/阳性细胞检测，统计阳性细胞数和阴性细胞数，计算PD-L1阳性评分，并标注在所述病理图像上输出。
CN201910863401.2A 2019-09-12 2019-09-12 一种病理切片判读方法及系统 Pending CN110763678A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910863401.2A CN110763678A (zh) 2019-09-12 2019-09-12 一种病理切片判读方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910863401.2A CN110763678A (zh) 2019-09-12 2019-09-12 一种病理切片判读方法及系统

Publications (1)

Publication Number Publication Date
CN110763678A true CN110763678A (zh) 2020-02-07

Family

ID=69329785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910863401.2A Pending CN110763678A (zh) 2019-09-12 2019-09-12 一种病理切片判读方法及系统

Country Status (1)

Country Link
CN (1) CN110763678A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111290685A (zh) * 2020-02-28 2020-06-16 杭州依图医疗技术有限公司 细胞染色图像的显示方法、病理图像分析系统及存储介质
CN111462087A (zh) * 2020-04-01 2020-07-28 腾讯科技（深圳）有限公司 基于人工智能的图像检测方法、装置、系统及存储介质
CN111640098A (zh) * 2020-05-29 2020-09-08 合肥美石生物科技有限公司 一种病理图像的分析方法及系统
CN112102331A (zh) * 2020-08-26 2020-12-18 广州金域医学检验中心有限公司 病理切片的训练图像集获取方法、系统、设备和介质
CN112270684A (zh) * 2020-12-25 2021-01-26 宁波兰茜生物科技有限公司 一种显微图像免疫组化虚拟多重标记及分析方法及系统
CN112801939A (zh) * 2020-12-31 2021-05-14 杭州迪英加科技有限公司 一种用于提高病理图像ki67指标准确性的方法
CN112884724A (zh) * 2021-02-02 2021-06-01 广州智睿医疗科技有限公司 一种用于肺癌组织病理分型的智能判断方法及系统
CN113313705A (zh) * 2021-06-22 2021-08-27 上海杏脉信息科技有限公司 一种病理图像处理系统、方法及介质
CN113418920A (zh) * 2021-05-14 2021-09-21 广州金域医学检验中心有限公司 切片染色质量判读方法、装置、计算机设备及存储介质
CN114058682A (zh) * 2021-10-19 2022-02-18 杭州迪英加科技有限公司 一种用于防伪的原位杂交缓冲液及其应用
CN114202510A (zh) * 2021-11-11 2022-03-18 西北大学 显微镜下病理切片图像智能分析系统
CN114235539A (zh) * 2021-12-22 2022-03-25 宁波舜宇仪器有限公司 基于深度学习的pd-l1病理切片自动判读方法及系统
CN114240836A (zh) * 2021-11-12 2022-03-25 杭州迪英加科技有限公司 一种鼻息肉病理切片分析方法、系统和可读存储介质
CN114280014A (zh) * 2021-11-30 2022-04-05 杭州迪英加科技有限公司 一种用于ai判读单独计费试剂
CN114529554A (zh) * 2021-12-28 2022-05-24 福州大学 一种胃癌her2数字病理切片智能辅助判读方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1662412A2 (en) * 2004-11-30 2006-05-31 NEC Corporation Pathological diagnosis support device, program, method, and system
CN103777337A (zh) * 2012-10-26 2014-05-07 董涛 早期癌症检测仪镜头自动变倍实现方法及装置
CN107833620A (zh) * 2017-11-28 2018-03-23 北京羽医甘蓝信息技术有限公司 图像处理方法和图像处理装置
CN108288506A (zh) * 2018-01-23 2018-07-17 雨声智能科技（上海）有限公司 一种基于人工智能技术的癌症病理辅助诊断方法
US20180232883A1 (en) * 2017-02-13 2018-08-16 Amit Sethi Systems & Methods for Computational Pathology using Points-of-interest
CN207850938U (zh) * 2018-01-18 2018-09-11 帝麦克斯(苏州)医疗科技有限公司 变倍装置及数字病理切片扫描仪
CN109271969A (zh) * 2018-10-29 2019-01-25 北京青燕祥云科技有限公司 一种脑胶质瘤分级评价方法及其装置
CN109903284A (zh) * 2019-03-04 2019-06-18 武汉大学 一种her2免疫组化图像自动判别方法及系统
CN109975291A (zh) * 2019-03-08 2019-07-05 广州金域医学检验中心有限公司 数字病理切片的生成方法、装置和计算机设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1662412A2 (en) * 2004-11-30 2006-05-31 NEC Corporation Pathological diagnosis support device, program, method, and system
CN103777337A (zh) * 2012-10-26 2014-05-07 董涛 早期癌症检测仪镜头自动变倍实现方法及装置
US20180232883A1 (en) * 2017-02-13 2018-08-16 Amit Sethi Systems & Methods for Computational Pathology using Points-of-interest
CN107833620A (zh) * 2017-11-28 2018-03-23 北京羽医甘蓝信息技术有限公司 图像处理方法和图像处理装置
CN207850938U (zh) * 2018-01-18 2018-09-11 帝麦克斯(苏州)医疗科技有限公司 变倍装置及数字病理切片扫描仪
CN108288506A (zh) * 2018-01-23 2018-07-17 雨声智能科技（上海）有限公司 一种基于人工智能技术的癌症病理辅助诊断方法
CN109271969A (zh) * 2018-10-29 2019-01-25 北京青燕祥云科技有限公司 一种脑胶质瘤分级评价方法及其装置
CN109903284A (zh) * 2019-03-04 2019-06-18 武汉大学 一种her2免疫组化图像自动判别方法及系统
CN109975291A (zh) * 2019-03-08 2019-07-05 广州金域医学检验中心有限公司 数字病理切片的生成方法、装置和计算机设备

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111290685A (zh) * 2020-02-28 2020-06-16 杭州依图医疗技术有限公司 细胞染色图像的显示方法、病理图像分析系统及存储介质
CN111462087A (zh) * 2020-04-01 2020-07-28 腾讯科技（深圳）有限公司 基于人工智能的图像检测方法、装置、系统及存储介质
CN111640098A (zh) * 2020-05-29 2020-09-08 合肥美石生物科技有限公司 一种病理图像的分析方法及系统
CN111640098B (zh) * 2020-05-29 2023-12-29 合肥美石生物科技有限公司 一种病理图像的分析方法及系统
CN112102331A (zh) * 2020-08-26 2020-12-18 广州金域医学检验中心有限公司 病理切片的训练图像集获取方法、系统、设备和介质
CN112102331B (zh) * 2020-08-26 2024-03-29 广州金域医学检验中心有限公司 病理切片的训练图像集获取方法、系统、设备和介质
CN112270684A (zh) * 2020-12-25 2021-01-26 宁波兰茜生物科技有限公司 一种显微图像免疫组化虚拟多重标记及分析方法及系统
CN112801939A (zh) * 2020-12-31 2021-05-14 杭州迪英加科技有限公司 一种用于提高病理图像ki67指标准确性的方法
CN112884724A (zh) * 2021-02-02 2021-06-01 广州智睿医疗科技有限公司 一种用于肺癌组织病理分型的智能判断方法及系统
CN113418920A (zh) * 2021-05-14 2021-09-21 广州金域医学检验中心有限公司 切片染色质量判读方法、装置、计算机设备及存储介质
WO2022267447A1 (zh) * 2021-06-22 2022-12-29 上海杏脉信息科技有限公司 一种病理图像处理系统、方法及介质
CN113313705A (zh) * 2021-06-22 2021-08-27 上海杏脉信息科技有限公司 一种病理图像处理系统、方法及介质
CN114058682B (zh) * 2021-10-19 2023-07-04 杭州迪英加科技有限公司 一种用于防伪的原位杂交缓冲液及其应用
CN114058682A (zh) * 2021-10-19 2022-02-18 杭州迪英加科技有限公司 一种用于防伪的原位杂交缓冲液及其应用
CN114202510A (zh) * 2021-11-11 2022-03-18 西北大学 显微镜下病理切片图像智能分析系统
CN114202510B (zh) * 2021-11-11 2024-01-19 西北大学 显微镜下病理切片图像智能分析系统
CN114240836A (zh) * 2021-11-12 2022-03-25 杭州迪英加科技有限公司 一种鼻息肉病理切片分析方法、系统和可读存储介质
CN114280014A (zh) * 2021-11-30 2022-04-05 杭州迪英加科技有限公司 一种用于ai判读单独计费试剂
CN114235539A (zh) * 2021-12-22 2022-03-25 宁波舜宇仪器有限公司 基于深度学习的pd-l1病理切片自动判读方法及系统
CN114529554A (zh) * 2021-12-28 2022-05-24 福州大学 一种胃癌her2数字病理切片智能辅助判读方法

Similar Documents

Publication Publication Date Title
CN110763678A (zh) 一种病理切片判读方法及系统
US9934571B2 (en) Image processing device, program, image processing method, computer-readable medium, and image processing system
EP3839885A1 (en) Real-time pathological microscopic image collection and analysis system, method and device and medium
Veta et al. Assessment of algorithms for mitosis detection in breast cancer histopathology images
EP2803015B1 (en) Two stage categorization of objects in images
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
Raimondo et al. Automated evaluation of Her-2/neu status in breast tissue from fluorescent in situ hybridization images
KR101628276B1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
US9014443B2 (en) Image diagnostic method, image diagnostic apparatus, and image diagnostic program
CN110736748A (zh) 免疫组化核浆染色切片诊断方法及系统
CN110765855B (zh) 一种病理图像处理方法及系统
JP5333570B2 (ja) 画像処理装置、プログラム及び画像処理システム
CN108830149B (zh) 一种目标细菌的检测方法及终端设备
KR102155381B1 (ko) 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 판단방법, 장치 및 소프트웨어 프로그램
CN110763677A (zh) 甲状腺冰冻切片诊断方法及系统
CN113781455B (zh) 宫颈细胞图像异常检测方法、装置、设备及介质
CN111429474A (zh) 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法
US20210090248A1 (en) Cervical cancer diagnosis method and apparatus using artificial intelligence-based medical image analysis and software program therefor
CN112419295A (zh) 医学图像处理方法、装置、计算机设备和存储介质
EP1579366A1 (en) Histological assessment of nuclear pleomorphism
JP2007516428A (ja) 分散プロット分布を用いてスライドの染色品質を決定するシステム
US20120155739A1 (en) Localization of a valid area of a blood smear
CN113538545A (zh) 一种基于电液可调焦镜头的单目深度估计方法及相应的相机和存储介质
CN110738658B (zh) 图像质量评价方法
CN111339899B (zh) 导管特征获取方法、装置、设备、介质和智能显微镜

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200207