CN111242961A - 一种用于pd-l1抗体染色切片的自动读片方法及其系统 - Google Patents

一种用于pd-l1抗体染色切片的自动读片方法及其系统 Download PDF

Info

Publication number
CN111242961A
CN111242961A CN202010118217.8A CN202010118217A CN111242961A CN 111242961 A CN111242961 A CN 111242961A CN 202010118217 A CN202010118217 A CN 202010118217A CN 111242961 A CN111242961 A CN 111242961A
Authority
CN
China
Prior art keywords
image
cells
cell
analyzed
positive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010118217.8A
Other languages
English (en)
Other versions
CN111242961B (zh
Inventor
刘小晴
吴江华
孙巍
林冬梅
刘昌灵
张军杰
凌少平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Genowis Beijing Gene Technology Co ltd
Beijing Cancer Hospital
Original Assignee
Genowis Beijing Gene Technology Co ltd
Beijing Cancer Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Genowis Beijing Gene Technology Co ltd, Beijing Cancer Hospital filed Critical Genowis Beijing Gene Technology Co ltd
Publication of CN111242961A publication Critical patent/CN111242961A/zh
Application granted granted Critical
Publication of CN111242961B publication Critical patent/CN111242961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M11/00—Counting of objects distributed at random, e.g. on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本公开提供一种用于PD‑L1抗体染色切片的自动读片方法及其系统，基于医疗数字图像分析处理实现PD‑L1免疫组织化学染色切片的自动读片。详细地，本公开的方法通过对PD‑L1染色的数字切片图像进行预处理，得到待分析图像，并将所述待分析图像输入预先建立的预测模型，得到所述待分析图像中设定细胞所对应的目标区域，进而对所述目标区域内每个设定细胞的细胞图像进行图像分析，识别出该目标区域中的细胞总数和呈膜阳性的细胞数量，得到该目标区域内为膜阳性的细胞比例，最终实现对设定细胞快速、精确地自动读片。

Description

一种用于PD-L1抗体染色切片的自动读片方法及其系统
技术领域
本公开涉及数据处理技术领域，具体而言，涉及一种基于医疗数字图像分析处理的一种用于PD-L1抗体染色切片的自动读片方法及其系统。
背景技术
随着免疫治疗的兴起，以免疫信号通路中PD-L1蛋白作为靶点产生了对应药物，如Atezolizumab、Pembrolizumab、Nivolumab等。在提高治疗效果的同时，对PD-L1免疫组织化学染色切片的定量分析提出了更高的要求。目前，对PD-L1免疫组织化学染色切片的定量分析主要通过人工进行，医生的读片劳动量较大，实现较为不便。
发明内容
本公开提供一种用于PD-L1抗体染色切片的自动读片方法及其系统。
第一方面，本公开提供了一种用于PD-L1抗体染色切片的自动读片方法，包括：
对PD-L1染色的数字切片图像进行预处理，得到待分析图像；
将所述待分析图像输入预先建立的预测模型，得到所述待分析图像中设定细胞所在的目标区域；
对所述目标区域内每个设定细胞的细胞图像进行图像分析，识别出该目标区域中的细胞总数和呈膜阳性的细胞数量，得到该目标区域内为膜阳性的细胞比例。
可选地，所述对PD-L1染色的数字切片图像进行预处理，得到待分析图像的步骤，包括：
将所述PD-L1染色的数字切片图像从线性空间转化到对数空间；
采用颜色反卷积基于所述转化到对数空间的图像对细胞核染色、抗体染色和残差进行分离，分别得到核染色通道图像、抗体染色通道图像和残差图像。
可选地，所述对所述目标区域内每个设定细胞的细胞图像进行图像分析，识别出该目标区域中的细胞总数的步骤，包括：
分别在核染色通道和抗体染色通道上，运用形态学方法对所述目标区域中的各所述设定细胞进行分割，得到所述目标区域中各所述设定细胞的细胞图像和细胞总数。
可选地，所述对所述目标区域内每个设定细胞的细胞图像进行图像分析，识别出该目标区域中的细胞总数和呈膜阳性的细胞数量，得到该目标区域内为膜阳性的细胞比例的步骤，包括：
将分割得到的每个设定细胞的细胞图像，对照采用颜色反卷积得到的抗体染色通道图像，判断该设定细胞是否为膜阳性；
统计判断结果为膜阳性的设定细胞的数量；
根据判断结果为膜阳性的设定细胞的数量和所述目标区域中的细胞总数，计算得到所述目标区域中为膜阳性的细胞比例。
可选地，将所述待分析图像输入预先建立的预测模型，得到所述待分析图像中设定细胞所在的目标区域的步骤，包括：
将所述待分析图像输入预先建立的预测模型；
所述预先建立的预测模型基于待分析组织和细胞的病理学相关特征，识别所述待分析图像中所述待分析组织和细胞所在的区域，将该区域作为所述待分析图像中设定细胞所在的目标区域。
可选地，该方法还包括预先建立所述预测模型的步骤，所述步骤包括：
在包括所述目标区域的各组织切片图像中的每张组织切片图像上，分别标注出所述目标区域；
将标注后的各组织切片图像划分为训练图像、校验图像和测试图像；
使用所述训练图像、校验图像和测试图像训练神经网络模型并进行测试，将经训练后输出的目标区域满足设定要求的神经网络模型作为预测模型。
第二方面，本公开提供一种用于PD-L1抗体染色切片的自动读片系统，包括：
预处理模块，用于对PD-L1染色的数字切片图像进行预处理，得到待分析图像；
区域获取模块，用于将所述待分析图像输入预先建立的预测模型，得到所述待分析图像中设定细胞所在的目标区域；
数量分析模块，用于对所述目标区域内每个设定细胞的细胞图像进行图像分析，识别出该目标区域中的细胞总数和呈膜阳性的细胞数量，得到该目标区域内为膜阳性的细胞比例。
可选地，所述预处理模块用于通过以下步骤对PD-L1染色的数字切片图像进行预处理，得到待分析图像：
将所述PD-L1染色的数字切片图像从线性空间转化到对数空间；
采用颜色反卷积基于所述转化到对数空间的图像对细胞核染色、抗体染色和残差进行分离，分别得到核染色通道图像、抗体染色通道图像和残差图像。
可选地，所述数量分析模块用于通过以下步骤对所述目标区域内每个设定细胞的细胞图像进行图像分析，识别出该目标区域中的细胞总数：
分别在核染色通道和抗体染色通道上，运用形态学方法对所述目标区域中的各所述设定细胞进行分割，得到所述目标区域中各所述设定细胞的细胞图像和细胞总数。
可选地，所述数量分析模块用于通过以下步骤对所述目标区域内每个设定细胞的细胞图像进行图像分析，识别出该目标区域中的细胞总数和呈膜阳性的细胞数量，得到该目标区域内为膜阳性的细胞比例：
将分割得到的每个设定细胞的细胞图像，对照采用颜色反卷积得到的抗体染色通道图像，判断该设定细胞是否为膜阳性；
统计判断结果为膜阳性的设定细胞的数量；
根据判断结果为膜阳性的设定细胞的数量和所述目标区域中的细胞总数，计算得到所述目标区域中为膜阳性的细胞比例。
第三方面，本公开提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述自动读片方法。
第四方面，本公开提供一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，所述计算机程序运行时控制所述计算机可读存储介质所在电子设备执行上述自动读片方法。
本公开提供的一种用于PD-L1抗体染色切片的自动读片方法及其系统，通过对PD-L1染色的数字切片图像进行预处理，得到待分析图像，并将待分析图像输入预先建立的预测模型，得到待分析图像中设定细胞所对应的目标区域，进而对目标区域内每个设定细胞进行图像分析，识别出该目标区域中的细胞总数和呈膜阳性的细胞数量，得到该目标区域内为膜阳性的细胞比例，从而实现对设定细胞的自动读片，与现有技术中通过人工对设定细胞进行读片相比，降低了人工的读片劳动量，且分析更为快捷、更精确。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本公开提供的一种应用场景示意图。
图2为本公开提供的一种用于PD-L1抗体染色切片的自动读片方法的流程示意图。
图3为图2中步骤S21的一种子流程示意图。
图4为本公开提供的一种预测模型建立方法的流程示意图。
图5为图2中步骤S22的一种子流程示意图。
图6为图2中步骤S23的一种子流程示意图。
图7为本公开提供的一种PD-L1染色的数字切片图像的示例图。
图8为本公开提供的一种将图7的颜色从线性空间转化为对数空间之后的示例图。
图9为本公开提供的一种将图8进行颜色反卷积处理之后的示例图。
图10为本公开提供的一种将图8进行颜色反卷积处理之后核染色通道的示例图。
图11为本公开提供的一种将图8进行颜色反卷积处理之后抗体染色通道的示例图。
图12为本公开提供的一种将图8进行颜色反卷积处理之后残差的示例图。
图13至图16为本公开提供的一种癌区预测效果示意图。
图17为本公开提供的一种进行细胞分割之后的示例图。
图18为本公开提供的一种用于PD-L1抗体染色切片的自动读片系统的方框示意图。
图标：10-电子设备；11-存储器；12-处理器；13-网络模块；20-自动读片系统；21-预处理模块；22-区域获取模块；23-数量分析模块。
具体实施方式
下面将结合本公开中附图，对本公开中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
请参阅图1，是本公开提供的一种应用场景示意图。本公开中的自动读片方案可以应用于图1所示的电子设备10。如图1所示，电子设备10可以包括：存储器11、处理器12和网络模块13。
所述存储器11、处理器12以及网络模块13相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器11中存储有至少一个可以软件或固件(firmware)的形式存储于所述存储器11中的功能模块，所述处理器12通过运行存储在存储器11内的软件或硬件形式的功能模块，从而执行各种功能应用以及数据处理，即实现本公开中由电子设备10执行的自动读片方法。
其中，所述存储器11可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)、磁盘或固态硬盘等。其中，存储器11用于存储程序，所述处理器12在接收到执行指令后，执行所述程序。
所述处理器12可能是一种集成电路芯片，具有数据的处理能力。上述的处理器12可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等。可以实现或者执行本公开中的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
网络模块13用于通过网络建立电子设备10与外部通信终端之间的通信连接，实现网络信号及数据的收发操作。上述网络信号可包括无线信号或者有线信号。
可以理解，图1所示的结构仅为示意，电子设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。例如，本公开中的电子设备10可以包括光学成像设备和进行数据处理的服务器如计算机，光学成像设备和服务器共同完成自动读片。
在上述基础上，本公开还提供一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，所述计算机程序运行时控制所述计算机可读存储介质所在电子设备10执行下述的自动读片方法。
请结合参阅图2，本公开提供一种用于PD-L1抗体染色切片的自动读片方法，该方法可以由电子设备10实现。所述方法主要包括数据预处理、设定细胞所在区域预测和细胞计数三个部分，可以通过步骤S21、步骤S22和步骤S23实现。
步骤S21，对PD-L1染色的数字切片图像进行预处理，得到待分析图像。
本公开中，对PD-L1染色的数字切片图像所进行的预处理可以包括多种，只要能够获得所需的规范化的数据即可。例如，数据预处理包括但不限于颜色空间变换、颜色反卷积、归一化等步骤，通过这些预处理步骤获得规范化的数据，从而更好地进行模型训练，完成自动读片。
请结合参阅图3，本公开提供了一种步骤S21的可选实现方式，步骤S21可以通过步骤S211和步骤S212实现。
步骤S211，将所述PD-L1染色的数字切片图像从线性空间转化到对数空间。
将PD-L1染色的数字切片图像从线性空间转化到对数空间的方式有多种。例如，在PD-L1染色的数字切片图像为R(Red，红)G(Green，绿)B(Blue，蓝)格式的图像的情况下，为了进行后续处理，针对PD-L1染色的数字切片图像在红、绿、蓝三个颜色通道中每个通道的各像素，对于像素值为0的像素可以进行像素值加1。然后针对PD-L1染色的数字切片图像在红、绿、蓝三个颜色通道中每个通道的每个像素，将该像素的像素值除以该像素所在通道中的像素最大值，从而将各像素的像素值归一化到0～1之间。之后，对于归一化到0～1之间的每个像素值，以10为底取对数之后，再取相反数，得到像素值在0～1之间的图像，从而将PD-L1染色的数字切片图像的颜色从线性空间转化到对数空间。
由于细胞核染色、抗体染色和残差在颜色空间上的分布差异较大，因此可以用颜色反卷积对细胞核染色、抗体染色和残差进行分离，从而更好地进行模型训练、自动读片等流程。具体分离方式请参阅下述步骤S212。
步骤S212，采用颜色反卷积基于所述转化到对数空间的图像对细胞核染色、抗体染色和残差进行分离，分别得到核染色通道图像、抗体染色通道图像和残差图像。
通过上述步骤，从而实现对PD-L1染色的数字切片图像的预处理，得到待分析图像，如上述步骤S212所得到的核染色通道图像、抗体染色通道图像和残差图像。在通过数据预处理得到待分析图像之后，继续执行设定细胞所在区域预测步骤，设定细胞所在区域预测可以通过步骤S22实现。
步骤S22，将所述待分析图像输入预先建立的预测模型，得到所述待分析图像中设定细胞所在的目标区域。
预先建立的预测模型为能够得到设定细胞所在的目标区域的模型。预测模型可以有多种选择，只要能得到设定细胞所在的目标区域即可。例如，预测模型可以通过提取图像的尺度不变特征变换(Scale-invariant feature transform，SIFT)或其他特征，用支持向量机或随机森林等方法进行分类，从而完成设定细胞所在的目标区域的检测。又例如，预测模型可以通过神经网络方法完成设定细胞所在的目标区域的检测，如采用基于分类或基于分割的深度神经网络模型进行设定细胞所在的目标区域的检测。
本公开以采用基于分割的神经网络模型进行设定细胞所在的目标区域的检测为例，对预测模型的可实现架构进行举例说明。本公开中的预测模型可以以全卷积神经网络为基础，加入池化层和上采样层，借鉴残差网络的思路，在预测模型中添加残差块及残差链接，使得网络可以更好地拟合给定区域(目标区域)的特征，从而达到较好的预测结果。具体地，请结合参阅图4，本公开中的预测模型可以通过下述步骤S221、步骤S222和步骤S223进行构建。
步骤S221，在包括所述目标区域的各组织切片图像中的每张组织切片图像上，分别标注出所述目标区域。
包括目标区域的各组织切片图像的数量可以灵活设置，例如，可以为58张、60张、65张、71张等，每张组织切片图像上均包括有至少一个目标区域。可选地，不同的组织切片图像上可以包括不同数量的目标区域，例如，某些组织切片图像上可以包括一个目标区域、某些组织切片图像上可以包括两个目标区域等。为了实现模型训练，可以在每张组织切片图像上框出包括目标区域的多个像素区域(多个像素区域中至少有一个像素区域为目标区域)，并标注出其中的目标区域。完成目标区域标注之后，执行步骤S222。
步骤S222，将标注后的各组织切片图像划分为训练图像、校验图像和测试图像。
根据包括目标区域的各组织切片图像的数量的不同，训练图像、校验图像和测试图像的数量可以灵活分配。例如，训练图像、校验图像和测试图像可以按4:1:1的比例进行分配，又例如，训练图像、校验图像和测试图像可以按5:2:2、4:1.5:1、4:1:1.5等的比例进行分配，本公开对此不作限制。
步骤S223，使用所述训练图像、校验图像和测试图像训练神经网络模型并进行测试，将经训练后输出的目标区域满足设定要求的神经网络模型作为预测模型。
本公开中，设定要求可以灵活设置，例如，设定要求可以为输出的目标区域的精度满足设定阈值。设定阈值可以为80％、85％、90％、92％、94％、96％等。基于上述设计，从而得到输出的目标区域满足设定要求的预测模型。
请结合参阅图5，得到预测模型之后，可以通过下述步骤S224和步骤S225得到所述待分析图像中设定细胞所在的目标区域。
步骤S224，将所述待分析图像输入预先建立的预测模型。
步骤S225，所述预先建立的预测模型基于待分析组织和细胞的病理学相关特征，识别所述待分析图像中所述待分析组织和细胞所在的区域，将该区域作为所述待分析图像中设定细胞所在的目标区域。
在目标区域为具有病理学相关特征的待分析组织和细胞如癌细胞所在区域的情况下，预测模型基于癌细胞的病理学相关特征，即可分析得出癌细胞所在的目标区域。在分析得到目标区域之后，继续执行细胞计数步骤，细胞计数主要包括根据目标区域预测的结果，对设定细胞进行分割，并分别求出目标区域中的设定细胞总数和PD-L1膜阳性细胞数，得到阳性细胞比，细胞计数可以通过步骤S23实现。
步骤S23，对所述目标区域内每个设定细胞的细胞图像进行图像分析，识别出该目标区域中的细胞总数和呈膜阳性的细胞数量，得到该目标区域内为膜阳性的细胞比例。
鉴于目标区域中一般存在多个设定细胞，为了准确地实现细胞计数以及便于进行后续的细胞分析，可以对目标区域中的各设定细胞进行分割。本公开中，可以通过多种方式实现细胞分割，例如，可以基于形态学的细胞分割方法实现细胞分割。又例如，可以基于神经网络的细胞分割方法实现细胞分割。
在基于形态学的细胞分割方法进行细胞分割的情况下，步骤S23中的细胞总数可以通过以下方式实现：分别在核染色通道和抗体染色通道上，运用形态学方法对所述目标区域中的各所述设定细胞进行分割，得到所述目标区域中各所述设定细胞的细胞图像和细胞总数。
请结合参阅图6，在一种可选实现方式中，步骤S23中呈膜阳性的细胞数量和目标区域内为膜阳性的细胞比例可以通过下述步骤S231、步骤S232和步骤S233获得。
步骤S231，将分割得到的每个设定细胞的细胞图像，对照采用颜色反卷积得到的抗体染色通道图像，判断该设定细胞是否为膜阳性。
步骤S232，统计判断结果为膜阳性的设定细胞的数量。
步骤S233，根据判断结果为膜阳性的设定细胞的数量和所述目标区域中的细胞总数，计算得到所述目标区域中为膜阳性的细胞比例。
基于上述步骤，实现了对PD-L1免疫组织化学染色切片自动化定量，在进行更精准、可重现的定量化的同时降低了病理人工的读片劳动量。自动判读PD-L1的免疫组织化染色图像，并给出设定种类细胞中PD-L1染色阳性细胞比，从而便于相关人员，如医生根据为膜阳性的细胞比例进行后续分析判断，无需医生人工进行细胞计数。
为了更为清楚地阐述本公开中的自动读片方法，现以目标区域为癌区为例，对本公开中的自动读片方法进行举例说明。
预测模型训练流程包括图像预处理和癌区预测，预处理流程包括颜色空间转换和颜色反卷积。训练得到预测模型之后，基于预测模型进行细胞计数。
预处理流程中的颜色空间转换流程包括：读入PD-L1染色的数字切片图像，该PD-L1染色的数字切片图像为RGB格式，如图7所示，本公开列举了其中一种PD-L1染色的数字切片图像的示例图。为了进行后续处理，对于PD-L1染色的数字切片图像中像素值为0的像素，将其像素值+1。对于RGB每个通道的每个像素的像素值，分别除以该通道中像素的最大像素值，以将全部像素值归一化到0～1之间。对于归一化到0～1之间的每个像素值，以10为底取对数，再取相反数，得到像素值在0～1之间的图像，从而将颜色从线性空间转化为对数空间。如图8所示，本公开列举了其中一种将图7的颜色从线性空间转化为对数空间之后的示例图。
由于细胞核染色、抗体染色和残差在颜色空间上的分布差异较大，因此可以用颜色反卷积进行分离，从而更好地进行后续模型训练等流程。预处理流程中的颜色反卷积流程包括：对经过上述颜色空间转换流程所得到的像素值在0～1之间的图像进行颜色反卷积处理，如图9所示，本公开列举了其中一种将图8进行颜色反卷积处理之后的示例图。如图10所示，本公开列举了其中一种将图8进行颜色反卷积处理之后核染色通道的示例图。如图11所示，本公开列举了其中一种将图8进行颜色反卷积处理之后抗体染色通道的示例图。如图12所示，本公开列举了其中一种将图8进行颜色反卷积处理之后残差的示例图。
为了实现预测模型的建立，采用上述预处理流程对所需使用的多张PD-L1染色的数字切片图像分别进行预处理，例如，对60张组织切片全片(抗体为仿142抗体)按上述预处理流程进行预处理。对60张组织切片全片进行预处理之后，在每张组织切片全片上框出3～5个2000*2000像素的区域，标注出其中的癌区域(目标区域)。取其中40张作为训练集，10张作为校验集，10张作为测试集，训练神经网络模型，并在测试集上进行测试。假设最终测试集上的性能，精度90.0％，召回率92.8％，f1-score(f1分数，统计学中用来衡量二分类模型精确度的一种指标)91.2％，满足设定要求，从而将该训练后的神经网络模型作为预测模型。
为了进一步确保预测模型的预测准确性，还可以采用该预测模型对另一批抗体染色切片图像进行预测，例如，基于该预测模型在另外一批49张的22c3抗体染色切片上预测，假设最终的预测精度86.5％，召回率88.1％，f1-score为85.7％，满足设定要求，从而确定该预测模型满足要求。本公开中，预测模型采取的是全卷积网络模型，并加入了残差模块。
请结合参阅图13至图16，本公开列举了一种癌区预测效果图。图13为原图，图14为癌区预测概率图(颜色越浅表示预测为癌区的概率越大)，图15为癌区预测图(预测之后的结果，白色为癌区，黑色为非癌区)，图16为标注图(黑色为未标注区域，浅灰色为标注的癌区，深灰色为标注的非癌区)。
训练得到预测模型之后，基于预测模型进行细胞计数的实现流程包括：将需要进行自动读片的PD-L1染色的数字切片图像按上述预处理流程转化到对数空间并进行颜色反卷积，之后分别在核染色通道及抗体染色通道上，运用形态学方法在预测模型所预测的目标区域(癌区)中进行细胞分割，如图17所示，本公开列举了其中一种运用形态学方法进行细胞分割之后的示例图，分割之后的效果如图17所示，其中用线圈出的部分是细胞。
针对预测模型所预测出的癌区进行细胞分割之后，得到细胞总数。对于分割结果，对照颜色反卷积得到的抗体染色通道，判断各细胞是否为膜阳性，统计为膜阳性的细胞数量，根据膜阳性细胞数和细胞总数，计算癌区中的阳性细胞比例。
经验证，采用本公开中的自动读片方法，在具有读数的样本中，实验得到的阳性细胞比与人工的读数具有较高的一致性，具体见下述表1。与现有技术中不同人员之间的读数差异较大相比，采用本公开中的自动读片方法进行自动化读数较为稳定，且自动化读数与人工读数的平均值一致性较高。
样本编号 人工读数1 人工读数2 人工读数3 自动化读数
1 15％ 35％ 20％ 25.9％
2 <1％ 0 0 1.4％
3 <1％ 5％ 0 1.8％
4 5％ 5％ 1～5％ 5.5％
5 5％ 10％ 5％ 6.1％
表1
基于上述分析可知，采用本公开中的自动读片方法，能够快速、准确地对癌细胞中PD-L1阳性比进行自动估计，在实现精准、可重现的定量化的同时降低了人工的读片劳动量，实现较为便捷。
在上述基础上，请结合参阅图18，本公开还提供了一种用于PD-L1抗体染色切片的自动读片系统20，应用于电子设备10，所述自动读片系统20包括预处理模块21、区域获取模块22和数量分析模块23。
其中，预处理模块21用于对PD-L1染色的数字切片图像进行预处理，得到待分析图像。
关于预处理模块21的实现方式可以参阅图2中步骤S21的相关描述，在此不作赘述。
区域获取模块22用于将所述待分析图像输入预先建立的预测模型，得到所述待分析图像中设定细胞所在的目标区域。
关于区域获取模块22的实现方式可以参阅图2中步骤S22的相关描述，在此不作赘述。
数量分析模块23用于对所述目标区域内每个设定细胞的细胞图像进行图像分析，识别出该目标区域中的细胞总数和呈膜阳性的细胞数量，得到该目标区域内为膜阳性的细胞比例。
关于数量分析模块23的实现方式可以参阅图2中步骤S23的相关描述，在此不作赘述。
在一种示例性实现方式中，所述预处理模块21用于通过以下步骤对PD-L1染色的数字切片图像进行预处理，得到待分析图像：将所述PD-L1染色的数字切片图像从线性空间转化到对数空间；采用颜色反卷积基于所述转化到对数空间的图像对细胞核染色、抗体染色和残差进行分离，分别得到核染色通道图像、抗体染色通道图像和残差图像。
在一种示例性实现方式中，所述数量分析模块23用于通过以下步骤对所述目标区域内每个设定细胞的细胞图像进行图像分析，识别出该目标区域中的细胞总数：分别在核染色通道和抗体染色通道上，运用形态学方法对所述目标区域中的各所述设定细胞进行分割，得到所述目标区域中各所述设定细胞的细胞图像和细胞总数。
在一种示例性实现方式中，所述数量分析模块23用于通过以下步骤对所述目标区域内每个设定细胞的细胞图像进行图像分析，识别出该目标区域中的细胞总数和呈膜阳性的细胞数量，得到该目标区域内为膜阳性的细胞比例：将分割得到的每个设定细胞的细胞图像，对照采用颜色反卷积得到的抗体染色通道图像，判断该设定细胞是否为膜阳性；统计判断结果为膜阳性的设定细胞的数量；根据判断结果为膜阳性的设定细胞的数量和所述目标区域中的细胞总数，计算得到所述目标区域中为膜阳性的细胞比例。
本公开中，自动读片系统20的实现原理与前述自动读片方法中的实现原理类似，相应内容可以参阅前述方法中的描述，因而在此不作赘述。
本公开中的一种用于PD-L1抗体染色切片的自动读片方法及其系统，可以准确识别数字切片中设定类型的细胞，并计算阳性细胞比例，解决了现有技术中人工读数人力成本较高且不同人员之间判断的差异较大的技术问题，通过对PD-L1免疫组织化学染色切片的自动化定量，在进行更精准、可重现的定量化的同时降低了病理人员的读片劳动量，从而为辅助医生快速、精准地进行诊断，以及指导用药等提供了可靠基础。
在本公开所提供的几个实施例中，应该理解到，所揭露的系统和方法，也可以通过其它的方式实现。以上所描述的系统和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本公开各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本公开的可选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种用于PD-L1抗体染色切片的自动读片方法，其特征在于，包括：
对PD-L1染色的数字切片图像进行预处理，得到待分析图像；
将所述待分析图像输入预先建立的预测模型，得到所述待分析图像中设定细胞所在的目标区域；
对所述目标区域内每个设定细胞的细胞图像进行图像分析，识别出该目标区域中的细胞总数和呈膜阳性的细胞数量，得到该目标区域内为膜阳性的细胞比例。
2.根据权利要求1所述的方法，其特征在于，所述对PD-L1染色的数字切片图像进行预处理，得到待分析图像的步骤，包括：
将所述PD-L1染色的数字切片图像从线性空间转化到对数空间；
采用颜色反卷积基于所述转化到对数空间的图像对细胞核染色、抗体染色和残差进行分离，分别得到核染色通道图像、抗体染色通道图像和残差图像。
3.根据权利要求2所述的方法，其特征在于，所述对所述目标区域内每个设定细胞的细胞图像进行图像分析，识别出该目标区域中的细胞总数的步骤，包括：
分别在核染色通道和抗体染色通道上，运用形态学方法对所述目标区域中的各所述设定细胞进行分割，得到所述目标区域中各所述设定细胞的细胞图像和细胞总数。
4.根据权利要求3所述的方法，其特征在于，所述对所述目标区域内每个设定细胞的细胞图像进行图像分析，识别出该目标区域中的细胞总数和呈膜阳性的细胞数量，得到该目标区域内为膜阳性的细胞比例的步骤，包括：
将分割得到的每个设定细胞的细胞图像，对照采用颜色反卷积得到的抗体染色通道图像，判断该设定细胞是否为膜阳性；
统计判断结果为膜阳性的设定细胞的数量；
根据判断结果为膜阳性的设定细胞的数量和所述目标区域中的细胞总数，计算得到所述目标区域中为膜阳性的细胞比例。
5.根据权利要求1所述的方法，其特征在于，将所述待分析图像输入预先建立的预测模型，得到所述待分析图像中设定细胞所在的目标区域的步骤，包括：
将所述待分析图像输入预先建立的预测模型；
所述预先建立的预测模型基于待分析组织和细胞的病理学相关特征，识别所述待分析图像中所述待分析组织和细胞所在的区域，将该区域作为所述待分析图像中设定细胞所在的目标区域。
6.根据权利要求1所述的方法，其特征在于，该方法还包括预先建立所述预测模型的步骤，所述步骤包括：
在包括所述目标区域的各组织切片图像中的每张组织切片图像上，分别标注出所述目标区域；
将标注后的各组织切片图像划分为训练图像、校验图像和测试图像；
使用所述训练图像、校验图像和测试图像训练神经网络模型并进行测试，将经训练后输出的目标区域满足设定要求的神经网络模型作为预测模型。
7.一种用于PD-L1抗体染色切片的自动读片系统，其特征在于，包括：
预处理模块，用于对PD-L1染色的数字切片图像进行预处理，得到待分析图像；
区域获取模块，用于将所述待分析图像输入预先建立的预测模型，得到所述待分析图像中设定细胞所在的目标区域；
数量分析模块，用于对所述目标区域内每个设定细胞的细胞图像进行图像分析，识别出该目标区域中的细胞总数和呈膜阳性的细胞数量，得到该目标区域内为膜阳性的细胞比例。
8.根据权利要求7所述的系统，其特征在于，所述预处理模块用于通过以下步骤对PD-L1染色的数字切片图像进行预处理，得到待分析图像：
将所述PD-L1染色的数字切片图像从线性空间转化到对数空间；
采用颜色反卷积基于所述转化到对数空间的图像对细胞核染色、抗体染色和残差进行分离，分别得到核染色通道图像、抗体染色通道图像和残差图像。
9.根据权利要求8所述的系统，其特征在于，所述数量分析模块用于通过以下步骤对所述目标区域内每个设定细胞的细胞图像进行图像分析，识别出该目标区域中的细胞总数：
分别在核染色通道和抗体染色通道上，运用形态学方法对所述目标区域中的各所述设定细胞进行分割，得到所述目标区域中各所述设定细胞的细胞图像和细胞总数。
10.根据权利要求9所述的系统，其特征在于，所述数量分析模块用于通过以下步骤对所述目标区域内每个设定细胞的细胞图像进行图像分析，识别出该目标区域中的细胞总数和呈膜阳性的细胞数量，得到该目标区域内为膜阳性的细胞比例：
将分割得到的每个设定细胞的细胞图像，对照采用颜色反卷积得到的抗体染色通道图像，判断该设定细胞是否为膜阳性；
统计判断结果为膜阳性的设定细胞的数量；
根据判断结果为膜阳性的设定细胞的数量和所述目标区域中的细胞总数，计算得到所述目标区域中为膜阳性的细胞比例。
CN202010118217.8A 2019-02-28 2020-02-25 一种用于pd-l1抗体染色切片的自动读片方法及其系统 Active CN111242961B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2019101549339 2019-02-28
CN201910154933.9A CN109872335A (zh) 2019-02-28 2019-02-28 一种用于pd-l1抗体染色切片的自动读片方法及其系统

Publications (2)

Publication Number Publication Date
CN111242961A true CN111242961A (zh) 2020-06-05
CN111242961B CN111242961B (zh) 2023-11-17

Family

ID=66919622

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910154933.9A Pending CN109872335A (zh) 2019-02-28 2019-02-28 一种用于pd-l1抗体染色切片的自动读片方法及其系统
CN202010118217.8A Active CN111242961B (zh) 2019-02-28 2020-02-25 一种用于pd-l1抗体染色切片的自动读片方法及其系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910154933.9A Pending CN109872335A (zh) 2019-02-28 2019-02-28 一种用于pd-l1抗体染色切片的自动读片方法及其系统

Country Status (1)

Country Link
CN (2) CN109872335A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270684A (zh) * 2020-12-25 2021-01-26 宁波兰茜生物科技有限公司 一种显微图像免疫组化虚拟多重标记及分析方法及系统
CN113418920A (zh) * 2021-05-14 2021-09-21 广州金域医学检验中心有限公司 切片染色质量判读方法、装置、计算机设备及存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458835B (zh) * 2019-08-16 2022-02-01 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备、系统及介质
CN110504032B (zh) * 2019-08-23 2022-09-09 元码基因科技(无锡)有限公司 基于苏木精-伊红染片的图像处理来预测肿瘤突变负荷的方法
CN110376198B (zh) * 2019-08-29 2021-08-10 广州锟元方青医疗科技有限公司 一种宫颈液基细胞切片质量检测系统
CN110736748A (zh) * 2019-09-12 2020-01-31 杭州迪英加科技有限公司 免疫组化核浆染色切片诊断方法及系统
CN110780080A (zh) * 2019-11-08 2020-02-11 安邦（厦门）生物科技有限公司 一种血型分析仪及血型分析方法
CN111413504B (zh) * 2020-04-03 2022-01-28 河北医科大学第四医院 一种辅助判读ki67增殖指数的标准比对卡
CN113763370A (zh) * 2021-09-14 2021-12-07 佰诺全景生物技术(北京)有限公司 数字病理图像的处理方法、装置、电子设备及存储介质
CN114235539A (zh) * 2021-12-22 2022-03-25 宁波舜宇仪器有限公司 基于深度学习的pd-l1病理切片自动判读方法及系统
CN114581908B (zh) * 2022-02-21 2024-03-19 广州锟元方青医疗科技有限公司 一种pd-l1免疫组化评分方法、系统、装置与存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130301898A1 (en) * 2012-05-11 2013-11-14 Rohit Jain Method and Apparatus for Image Scoring and Analysis
WO2018065434A1 (en) * 2016-10-07 2018-04-12 Ventana Medical Systems, Inc. Digital pathology system and associated workflow for providing visualized whole-slide image analysis
CN108074243A (zh) * 2018-02-05 2018-05-25 志诺维思（北京）基因科技有限公司 一种细胞定位方法以及细胞分割方法
CN108596046A (zh) * 2018-04-02 2018-09-28 上海交通大学 一种基于深度学习的细胞检测计数方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130301898A1 (en) * 2012-05-11 2013-11-14 Rohit Jain Method and Apparatus for Image Scoring and Analysis
WO2018065434A1 (en) * 2016-10-07 2018-04-12 Ventana Medical Systems, Inc. Digital pathology system and associated workflow for providing visualized whole-slide image analysis
CN108074243A (zh) * 2018-02-05 2018-05-25 志诺维思（北京）基因科技有限公司 一种细胞定位方法以及细胞分割方法
CN108596046A (zh) * 2018-04-02 2018-09-28 上海交通大学 一种基于深度学习的细胞检测计数方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王也;笪冀平;王德文;徐新萍;王秀红;宋爱平;张红雷;陈圣;: "应用图像分析技术定量检测肺腺癌中PD-L1的蛋白表达及其临床意义" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270684A (zh) * 2020-12-25 2021-01-26 宁波兰茜生物科技有限公司 一种显微图像免疫组化虚拟多重标记及分析方法及系统
CN113418920A (zh) * 2021-05-14 2021-09-21 广州金域医学检验中心有限公司 切片染色质量判读方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN109872335A (zh) 2019-06-11
CN111242961B (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
CN111242961B (zh) 一种用于pd-l1抗体染色切片的自动读片方法及其系统
CN110120040B (zh) 切片图像处理方法、装置、计算机设备和存储介质
Huang et al. A computer assisted method for leukocyte nucleus segmentation and recognition in blood smear images
US11593656B2 (en) Using a first stain to train a model to predict the region stained by a second stain
Veta et al. Assessment of algorithms for mitosis detection in breast cancer histopathology images
Cruz et al. Determination of blood components (WBCs, RBCs, and Platelets) count in microscopic images using image processing and analysis
Zarella et al. An alternative reference space for H&E color normalization
Tadrous On the concept of objectivity in digital image analysis in pathology
WO2019102277A1 (en) Method and system for determining hematological parameters in a peripheral blood smear
Safdar et al. Intelligent microscopic approach for identification and recognition of citrus deformities
Parab et al. Red blood cell classification using image processing and CNN
CN112215790A (zh) 基于深度学习的ki67指数分析方法
CN111369523B (zh) 显微图像中细胞堆叠的检测方法、系统、设备及介质
US11847817B2 (en) Methods and systems for automated assessment of spermatogenesis
Hegde et al. Development of a robust algorithm for detection of nuclei of white blood cells in peripheral blood smear images
CN113658174A (zh) 基于深度学习和图像处理算法的微核组学图像检测方法
CN113393443A (zh) 一种he病理图像细胞核分割方法及系统
Sapna et al. Computer-aided system for Leukocyte nucleus segmentation and Leukocyte classification based on nucleus characteristics
Naruenatthanaset et al. Red blood cell segmentation with overlapping cell separation and classification on imbalanced dataset
CN109564683A (zh) 图像诊断辅助装置、图像诊断辅助方法及试料分析系统
CN114332058A (zh) 基于神经网络的血清质量识别方法、装置、设备及介质
CN116758074B (zh) 一种多光谱食品图像智能增强方法
Nagata et al. Skin tear classification using machine learning from digital RGB image
US20220366619A1 (en) Systems and methods to process electronic images to adjust attributes of the electronic images
CN114037868B (zh) 图像识别模型的生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant