CN113763370A - 数字病理图像的处理方法、装置、电子设备及存储介质 - Google Patents
数字病理图像的处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113763370A CN113763370A CN202111074585.8A CN202111074585A CN113763370A CN 113763370 A CN113763370 A CN 113763370A CN 202111074585 A CN202111074585 A CN 202111074585A CN 113763370 A CN113763370 A CN 113763370A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- staining
- biological tissue
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 88
- 238000003672 processing method Methods 0.000 title description 2
- 238000010186 staining Methods 0.000 claims abstract description 117
- 210000001519 tissue Anatomy 0.000 claims abstract description 87
- 230000007170 pathology Effects 0.000 claims abstract description 60
- 210000004027 cell Anatomy 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000013145 classification model Methods 0.000 claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 44
- 210000003855 cell nucleus Anatomy 0.000 claims abstract description 30
- 238000004043 dyeing Methods 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 238000004891 communication Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 230000001413 cellular effect Effects 0.000 claims description 3
- 206010028980 Neoplasm Diseases 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 101001117317 Homo sapiens Programmed cell death 1 ligand 1 Proteins 0.000 description 7
- 102100024216 Programmed cell death 1 ligand 1 Human genes 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000008045 co-localization Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000005748 tumor development Effects 0.000 description 4
- 101000934372 Homo sapiens Macrosialin Proteins 0.000 description 3
- 101000946843 Homo sapiens T-cell surface glycoprotein CD8 alpha chain Proteins 0.000 description 3
- 102100025136 Macrosialin Human genes 0.000 description 3
- 102100034922 T-cell surface glycoprotein CD8 alpha chain Human genes 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 239000000090 biomarker Substances 0.000 description 3
- 230000036039 immunity Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 210000001744 T-lymphocyte Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000002865 immune cell Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000001239 CD8-positive, alpha-beta cytotoxic T lymphocyte Anatomy 0.000 description 1
- 230000027455 binding Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000017188 evasion or tolerance of host immune response Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000002540 macrophage Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000004940 nucleus Anatomy 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009870 specific binding Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本申请公开了一种数字病理图像的处理方法、装置、电子设备及存储介质。其中，该方法包括：确定待检测的目标数字病理图像，其中，所述目标数字病理图像图中包括多种不同的染色通道；将所述目标数字病理图像输入第一分类模型，以使所述第一分类模型根据所述染色通道的通道属性确定所述目标数字病理图像中的目标生物组织；从所述目标数字病理图像中提取所述目标生物组织对应的目标图像，并调用细胞核对应的目标染色通道确定所述目标图像中的细胞信息；根据所述细胞信息确定所述目标生物组织的检测结果。本申请基于多染色通道建立分类模型，能够实现对荧光/明场类型的病理图像中的生物组织进行精准的定位，从而保证最终检测结果的准确。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种数字病理图像的处理方法、装置、电子设备及存储介质。
背景技术
针对全景数字病理图像的分析软件目前主要是模块式交互为主，对于用户的使用有较高的学习门槛和使用成本；大部分数字病理图像的分析过程主要通过医生进行主观判断，需要耗费较长的时间，而且对医生专业能力要求很高；传统的机器学习方法对病理图像进行分析，主要依赖于提取特征的效果，在实际算法的搭建中，仍然是以单一的特征进行分析，而忽略了多染色通道的特征。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种数字病理图像的处理方法、装置、电子设备及存储介质。
根据本申请实施例的一个方面，提供了一种数字病理图像的处理方法，包括：
确定待检测的目标数字病理图像，其中，所述目标数字病理图像图中包括多种不同的染色通道；
将所述目标数字病理图像输入第一分类模型，以使所述第一分类模型根据所述染色通道的通道属性确定所述目标数字病理图像中的目标生物组织；
从所述目标数字病理图像中提取所述目标生物组织对应的目标图像，并调用细胞核对应的目标染色通道确定所述目标图像中的细胞信息；
根据所述细胞信息确定所述目标生物组织的检测结果。
进一步地，在确定待处理的数目标数字病理图像之前，所述方法还包括：
获取待检测的初始数字病理图像；
检测所述初始数字病理图像，确定所述初始数字病理图像的图像类型，其中，所述图像类型包括：荧光类型以及明场类型；
获取所述图像类型对应的染色通道处理策略；
基于所述染色通道处理策略，调整所述初始数字病理图像中的染色通道，得到所述目标数字病理图像。
进一步地，所述基于所述染色通道处理策略，调整所述初始数字病理图像中的染色通道，得到所述目标数字病理图像，包括：
在所述图像类型为所述荧光类型的情况下，确定所述初始数字病理图像的当前染色通道，并利用预先设置的染色通道对所述当前染色通道进行更新；
在所述图像类型为所述荧光类型的情况下，对所述初始数字病理图像中的初始染色通道进行拆分得到携带多个染色通道的目标数字病理图像。
进一步地，在将所述目标数字病理图像输入第一分类模型，以使所述第一分类模型根据所述染色通道的通道属性确定所述目标数字病理图像中的目标生物组织之前，所述方法还包括；
获取生物组织样本图像，其中，所述生物组织样本图像中包括携带至少两个染色通道的生物组织样本；
获取所述生物组织样本对应的标签信息，其中，所述标签信息用于标识所述染色通道对应的通道属性；
利用所述生物组织样本图像和所述标签信息对初始分类模型进行训练，以使所述初始分类模型学习所述通道属性与所述生物组织样本之间的对应关系，得到所述第一分类模型。
进一步地，所述从所述目标数字病理图像中提取所述目标生物组织对应的目标图像，包括：
确定所述目标生物组织在所述目标数字病理图像中的最小外接矩形；
基于所述最小外接矩形生成所述目标图像。
进一步地，所述调用细胞核对应的目标染色通道确定所述目标图像中的细胞信息，包括：
将所述目标图像输入第二分类模型，以使所述第二分类模型调用所述目标染色通道确定所述细胞核的位置信息以及边界信息；
将所述目标图像输入第二分类模型，以使所述第二分类模型调用所述目标染色通道确定所述细胞核的位置信息以及边界信息；
根据所述位置信息和所述边界信息确定所述细胞核所在细胞的染色信息；
基于所述位置信息、所述边界信息以及所述染色信息，生成所述细胞信息。
进一步地，所述根据所述细胞信息确定所述目标生物组织的检测结果，包括：
根据所述细胞信息中的染色信息确定所述细胞的染色强度；
根据所述染色强度确定所述细胞的阴阳性，得到所述目标生物组织的细胞阳性率。
根据本申请实施例的另一个方面，还提供了一种数字病理图像的处理装置，包括：
确定模块，用于确定待检测的目标数字病理图像，其中，所述目标数字病理图像图中包括多种不同的染色通道；
分类模块，用于将所述目标数字病理图像输入第一分类模型，以使所述第一分类模型根据所述染色通道的通道属性确定所述目标数字病理图像中的目标生物组织；
识别模块，用于从所述目标数字病理图像中提取所述目标生物组织对应的目标图像，并调用细胞核对应的目标染色通道确定所述目标图像中的细胞信息；
处理模块，用于根据所述细胞信息确定所述目标生物组织的检测结果。
根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的步骤。
根据本申请实施例的另一方面，还提供了一种电子装置，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：存储器，用于存放计算机程序；处理器，用于通过运行存储器上所存放的程序来执行上述方法中的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请基于多染色通道建立分类模型，能够实现对荧光/明场类型的病理图像中的生物组织进行精准的定位，从而保证最终检测结果的准确。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数字病理图像的处理方法的流程图；
图2为本申请实施例提供的荧光类型的数字病理图像的示意图；
图3为本申请实施例提供的明场类型的数字病理图像的示意图；
图4为本申请实施例提供的数字病理图像中细胞核结构的示意图；
图5为本申请另一实施例提供的一种数字病理图像的处理方法的流程图；
图6为本申请实施例提供的一种数字病理图像的处理装置的框图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个类似的实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本申请实施例提供了一种数字病理图像的处理方法、装置、电子设备及存储介质。本发明实施例所提供的方法可以应用于任意需要的电子设备，例如，可以为服务器、终端等电子设备，在此不做具体限定，为描述方便，后续简称为电子设备。
根据本申请实施例的一方面，提供了一种数字病理图像的处理方法的方法实施例，图1为本申请实施例提供的一种数字病理图像的处理方法方法的流程图，如图1所示，该方法包括：
步骤S11，确定待检测的目标数字病理图像，其中，目标数字病理图像图中包括多种不同的染色通道。
在本申请实施例中，在确定待处理的数目标数字病理图像之前，方法还包括以下步骤A1-A3：
步骤A1，获取待检测的初始数字病理图像。
在本申请实施例中，初始数字病理图像可以是通过扫描仪直接扫描得到的，例如利用扫描仪的透扫功能，可以直接对病理切片进行扫描获得数字病理图像。也可以是摄像机加图像采集卡得到的，例如：许多医院和科室配备的真彩色病理图像处理系统、荧光显微计算机分析系统等设备大多采用该方式。具体为：摄像机拍摄模拟病理图像，通过图像采集卡实现数字病理图像。摄像头或摄像机的分辨率要求达到480线，图像采集卡要求能采集真彩色、分辩率至少为1024*768的图像。
步骤A2，检测初始数字病理图像，确定初始数字病理图像的图像类型，其中，图像类型包括：荧光类型以及明场类型。
在本申请实施例中，对初始数字病理图像进行检测，提取初始数字病理图像的特征信息，根据特征信息确定初始数字病理图像的图像类型。其中，图像类型为荧光类型和明场类型，
步骤A3，获取图像类型对应的染色通道处理策略。
在本申请实施例中，不同图像类型的初始数字病理图像对应不同的处理策略。其中，处理策略用于对初始数字病理图像中的原始染色通道进行调整。
步骤A4，基于染色通道处理策略，调整初始数字病理图像中的染色通道，得到目标数字病理图像。
在本申请实施例中，步骤A4，基于染色通道处理策略，调整初始数字病理图像中的染色通道，得到目标数字病理图像，包括：
在图像类型为荧光类型的情况下，确定初始数字病理图像的当前染色通道，并利用预先设置的染色通道对当前染色通道进行更新。
在本申请实施例中，图2为本申请实施例提供的荧光类型的数字病理图像的示意图，如图2所示，在图像类型为荧光类型的情况下，获取初始数字病理图像的当前染色通道以及当前染色通道对应的第一通道属性。对初始数字病理图像的当前染色通道进行初始化，并采用调用预设染色通道对当前染色通道进行更新。
其中，更新过程可以是，将预设染色通道的第二通道属性与第一通道属性进行匹配，使用匹配成功的预设染色通道对当前染色通道进行替换，完成更新。
在本申请实施例中，步骤A4，基于染色通道处理策略，调整初始数字病理图像中的染色通道，得到目标数字病理图像，包括：
在图像类型为荧光类型的情况下，对初始数字病理图像中的初始染色通道进行拆分得到携带多个染色通道的目标数字病理图像。
在本申请实施例中，图3为本申请实施例提供的明场类型的数字病理图像的示意图，如图3所示，在图像类型为明场类型的情况下，初始数字病理图像中的初始染色通道进行拆分得到携带多个染色通道的目标数字病理图像。
考虑到现有技术中，对于明场图像的染色通道拆分功能十分匮乏，并不能支持对多染色通道的明场图像中的生物标记物共定位分析。因此本申请提供了一种基于明场图像的染色通道拆分方法，具体如下：
确定明场类型的数字病理图像中初始染色通道对应的光密度矢量，并基于光密度矢量构建数字病理图像的光密度矩阵，将光密度矩阵输入预先训练的时间序列预测模型中，以使时间序列预测模型提取光密度矩阵的特征信息，并对特征信息进行卷积计算来预测该特征矩阵对应的至少两个染色颜色矩阵，最终将染色颜色矩阵转换为相应的染色通道，最终得到目标数字病理图像。
在本申请实施例中，时间序列预测模型由卷积模块、反卷积模块和输出模块，卷积模块和反卷积模块之间通过连接模块对接，通过时间序列预测模型中的卷积模块从光密度矩阵中提取特征信息，提取的特征被传递到卷积模块中的各个子模块，以使各个子模块压缩特征信息的维度，得到第一卷积结果，并将第一卷积结果通过连接模块传输至反卷积模块，反卷积模块中的各个子模块恢复第一卷积结果的维度，得到第二卷积结果，并将第二卷积结果传输给输出模块，输出模块根据第二卷积结果预测每个像素对应的染色颜色矩阵以及概率分布，通过概率分布能够直观地表达每个像素点所属染色颜色矩阵，以达到染色通道拆分的目的。其中，计算公示如下：
上述公式中，θ1、θ2、ε1、ε2均为正态分布的参数，P为概率分布。
需要说明的是，卷积模块用于减少特征图的空间维度，同时逐层增加特征的数量；反卷积模块用于逐步恢复特征的空间维度，反卷积模块主要对特征将进行上采样，每上采样一次，就与卷积模块对应的通道数相同尺度融合，以将输出分别用于染色颜色矩阵，输出模块，用于实现染色颜色矩阵的预测功能。其中，卷积模块有若干个子模块，每个子模块中，通过卷积以将特征映射减少一半。相应地，反卷积模块也由对应的子模块组成；在每个子模块之前，存在来自较低级别的特征映射的上采样以及来自相应编码路径的特征映射的级联。
步骤S12，将目标数字病理图像输入第一分类模型，以使第一分类模型根据染色通道的通道属性确定目标数字病理图像中的目标生物组织。
在本申请实施例中，在将目标数字病理图像输入第一分类模型，以使第一分类模型根据染色通道的通道属性确定目标数字病理图像中的目标生物组织之前，方法还包括以下步骤B1-B3；
步骤B1，获取生物组织样本图像，其中，生物组织样本图像中包括携带至少两个染色通道的生物组织样本。
步骤B2，获取生物组织样本对应的标签信息，其中，标签信息用于标识生物组织样本对应染色通道的通道属性。
步骤B3，利用生物组织样本图像和标签信息对初始分类模型进行训练，以使初始分类模型学习通道属性与生物组织样本之间的对应关系，得到第一分类模型。
在本申请实施例中，生物组织样本图像中包括的生物组织样本可以是肿瘤组织样本、基质组织样本等等。生物组织样本对应的标签信息可以是肿瘤组织样本对应染色通道的通道属性，基质组织样本对应染色通道的通道属性。例如：肿瘤组织样本对应染色通道的通道属性为绿色，基质组织样本对应染色通道的通道属性为红色。
然后使用生物组织样本图像和标签信息对初始分类模型进行训练，使初始分类模型学习通道属性与生物组织样本之间的对应关系，得到第一分类模型。其中，初始分类模型可以是分类器。
步骤S13，从目标数字病理图像中提取目标生物组织对应的目标图像，并调用细胞核对应的目标染色通道确定目标图像中的细胞信息。
在本申请实施例中，从目标数字病理图像中提取目标生物组织对应的目标图像，包括以下步骤C1-C2：
步骤C1，确定目标生物组织在目标数字病理图像中的最小外接矩形。
步骤C2，基于最小外接矩形生成目标图像。
在本申请实施例中，采用检测模型检测目标生物组织在目标数字图像中的最小外接矩形，然后根据最小外接矩形对目标数字病理图像进行分割，得到目标生物组织的目标图像。
在本申请实施例中，检测模型可以是根据多个生物组织样本图像进行训练得到的，生物组织样本图像包括生物组织样本以及标注信息，标注信息用于标注生物组织样本的包围框以及包围框的坐标。
在本申请实施例中，调用细胞核对应的目标染色通道确定目标图像中的细胞信息，包括以下步骤D1-D3：
步骤D1，将目标图像输入第二分类模型，以使第二分类模型调用目标染色通道确定细胞核的位置信息以及边界信息。
步骤D2，根据位置信息和边界信息确定细胞核所在细胞的染色信息。
步骤D3，基于位置信息、边界信息以及染色信息，生成细胞信息。
在本申请实施例中，第二分类模型内设有细胞核以及细胞核对应的目标染色通道，因此将目标图像输入第二分类模型后，可以通过第二分类模型调用目标染色通道来明确细胞核的位置信息以及边界信息，最终结合目标染色通道对应的染色信息生成细胞信息。
步骤S14，根据细胞信息确定目标生物组织的检测结果。
在本申请实施例中，步骤S14，根据细胞信息确定目标生物组织的检测结果，包括：
步骤D1，根据细胞信息中的染色信息确定细胞的染色强度。
步骤D2，根据染色强度确定细胞的阴阳性，得到目标生物组织的细胞阳性率。
在本申请实施例中，染色信息包括：不同靶点在该细胞上到表达情况，其中，靶点表达，则细胞为阳性；靶点未表达，则细胞为阴性。根据表达情况确定细胞的染色强度，从而能够计算出目标生物组织的细胞阳性率。同时还可以根据靶点的表达，确定细胞是否存在共定位的情况，即同一个细胞上有多个靶点同时表达，通过分析共定位能够确定肿瘤发展程度和/或免疫程度。
在本申请实施例中，分析共定位能够确定肿瘤发展程度以及免疫程度的具体过程可以是：获取目标靶点的表达情况，其中目标靶点用于判定肿瘤发展程度的靶点，根据目标靶点的表达情况确定肿瘤发展程度，并根据肿瘤发展程度和预设提示信息之间对应关系，获取目标提示信息，并按照目标提示信息进行提示。
作为一个示例，目标靶点：PDL1(PDL1结合到肿瘤上面，帮助肿瘤扩散)，结果分析：PDL1是用来帮助肿瘤免疫逃逸的靶点，如果检测结果发现PDL1表达很高(即阳性率很高)，则可以确定肿瘤恶化的速度较快。此时提示信息用于提示使用阻断PDL1的药物，例如PD1，PDL1和PD1特异性结合，就阻断了PDL1和肿瘤的结合，达到减缓肿瘤扩散的速度。
作为一个示例，目标靶点：CD8A(用于在T细胞上表达)，结果分析：CD8A在T细胞上表达，T细胞是用来杀伤分解肿瘤的免疫细胞，如果CD8A表达很高(即阳性率很高)，则可以判定杀伤性T细胞越多，当前的免疫程度较高。
作为一个示例，目标靶点：M1(CD68+CD86+)，结果分析：M1型细胞(定义为CD68阳性且CD86阳性的双阳细胞，即细胞上即表达了CD68这个靶点，也表达了CD86)是巨噬细胞，一方面可以吞噬肿瘤，另一方面也可以吸引其他类型的免疫细胞来杀伤肿瘤，如果检测结果发现M1表达很高，则可以确定当前的免疫程度较高。
在本申请实施例中，还可以根据染色强度确定所述细胞核的阴阳性，得到目标生物组织的肿瘤区域和基质区域。
本申请实施例提供了基于多色染色的同时适用与明场和荧光的全景数字病理分析方法，首先获取图像中的数据信息；根据图像类型进行预处理；通过学习输入的样本，对图像中包含的组织输出分类；根据细胞核染色建立每个细胞核的边界；根据每个生物标记物染色强度建立颜色分类器；根据实际的需求选择要输出的结果内容，同时此流程也可以再次使用。通过实施本发明的提供的方法，可以解决明场多色染色的生物标记物共定位问题，同时简化了工作流程；通过引导式的交互替代了模块化的软件降低了用户的学习成本，提升了工作效率。
图5为本申请实施例提供的一种数字病理图像的处理方法方法的流程图，如图5所示，该方法还包括：
步骤S21，根据检测结果确定目标生物组织的目标区域，其中，目标区域为不确定阴性区域。
步骤S22，对目标区域中的各个细胞进行检测，确定目标区域中的阳性细胞核。
步骤S23，基于目标图像标记阳性细胞核。
在本申请实施例中，存在一些目标生物组织是由大量阴性细胞构成，因此阴性细胞的形态特征辨识度更高，所以采用阴性区域分类算法模型先将数字细胞病理图像数据中确定为只包含阴性细胞的确定阴性区域排除掉，而在可能包含阳性细胞核的非确定阴性区域进行阳性细胞核的筛选，仅降低了获取训练数据的难度，也大大缩小了阳性细胞核的检出范围，使得检出效率和检出可能性都大大提高。
在本申请实施例中，还提供了一种数字病理图像的处理方法，该方法包括：将当前采集的数字病理图像确定为第一数字病理图像，获取第一数字病理图像对应的用户标识，用户标识可以是用户名称、用户编号等等，将当前数字病理图像内各个细胞上靶点的第一表达情况与用户标识进行存储。在预设周期时候，采集用户标识对应目标用户的第二数字病理图像，分析第二数字病理图像中各个细胞上第二靶点的表达情况。对比第一表达情况和第二表达情况，得到病变程度，然后将病变程度发送至预设终端进行显示，以使医护人员根据显示的病变程度进行分析。
图6为本申请实施例提供的一种数字病理图像的处理装置的框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图6所示，该装置包括：
确定模块61，用于确定待检测的目标数字病理图像，其中，目标数字病理图像图中包括多种不同的染色通道；
分类模块62，用于将目标数字病理图像输入第一分类模型，以使第一分类模型根据染色通道的通道属性确定目标数字病理图像中的目标生物组织；
识别模块63，用于从目标数字病理图像中提取目标生物组织对应的目标图像，并调用细胞核对应的目标染色通道确定目标图像中的细胞信息；
处理模块64，用于根据细胞信息确定目标生物组织的检测结果。
在本申请实施例中，数字病理图像的处理装置还包括：染色通道处理模块，用于获取待检测的初始数字病理图像；检测初始数字病理图像，确定初始数字病理图像的图像类型，其中，图像类型包括：荧光类型以及明场类型；获取图像类型对应的染色通道处理策略；基于染色通道处理策略，调整初始数字病理图像中的染色通道，得到目标数字病理图像。
在本申请实施例中，染色通道处理模块，用于在图像类型为荧光类型的情况下，确定初始数字病理图像的当前染色通道，并利用预先设置的染色通道对当前染色通道进行更新；
染色通道处理模块，用于在图像类型为荧光类型的情况下，对初始数字病理图像中的初始染色通道进行拆分得到携带多个染色通道的目标数字病理图像。
在本申请实施例中，数字病理图像的处理装置还包括：训练模块，用于获取生物组织样本图像，其中，生物组织样本图像中包括携带至少两个染色通道的生物组织样本；获取生物组织样本对应的标签信息，其中，标签信息用于标识染色通道对应的通道属性；利用生物组织样本图像和标签信息对初始分类模型进行训练，以使初始分类模型学习通道属性与生物组织样本之间的对应关系，得到第一分类模型。
在本申请实施例中，识别模块63，用于确定目标生物组织在目标数字病理图像中的最小外接矩形；基于最小外接矩形生成目标图像。
在本申请实施例中，识别模块63，用于将目标图像输入第二分类模型，以使第二分类模型调用目标染色通道确定细胞核的位置信息以及边界信息；根据位置信息和边界信息确定细胞核的染色信息；基于位置信息、边界信息以及染色信息，生成细胞信息。
在本申请实施例中，处理模块64，用于根据细胞信息中的染色信息确定细胞的染色强度；根据染色强度确定细胞核的阴阳性，并将阴阳性作为检测结果。
本申请实施例还提供一种电子设备，如图7所示，电子设备可以包括：处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信。
存储器1503，用于存放计算机程序；
处理器1501，用于执行存储器1503上所存放的计算机程序时，实现上述实施例的步骤。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数字病理图像的处理方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数字病理图像的处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk)等。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数字病理图像的处理方法，其特征在于，包括：
确定待检测的目标数字病理图像，其中，所述目标数字病理图像图中包括多种不同的染色通道；
将所述目标数字病理图像输入第一分类模型，以使所述第一分类模型根据所述染色通道的通道属性确定所述目标数字病理图像中的目标生物组织；
从所述目标数字病理图像中提取所述目标生物组织对应的目标图像，并调用细胞核对应的目标染色通道确定所述目标图像中的细胞信息；
根据所述细胞信息确定所述目标生物组织的检测结果。
2.根据权利要求1所述的方法，其特征在于，在确定待处理的数目标数字病理图像之前，所述方法还包括：
获取待检测的初始数字病理图像；
检测所述初始数字病理图像，确定所述初始数字病理图像的图像类型，其中，所述图像类型包括：荧光类型以及明场类型；
获取所述图像类型对应的染色通道处理策略；
基于所述染色通道处理策略，调整所述初始数字病理图像中的染色通道，得到所述目标数字病理图像。
3.根据权利要求2所述的方法，其特征在于，所述基于所述染色通道处理策略，调整所述初始数字病理图像中的染色通道，得到所述目标数字病理图像，包括：
在所述图像类型为所述荧光类型的情况下，确定所述初始数字病理图像的当前染色通道，并利用预先设置的染色通道对所述当前染色通道进行更新；
在所述图像类型为所述荧光类型的情况下，对所述初始数字病理图像中的初始染色通道进行拆分得到携带多个染色通道的目标数字病理图像。
4.根据权利要求1所述的方法，其特征在于，在将所述目标数字病理图像输入第一分类模型，以使所述第一分类模型根据所述染色通道的通道属性确定所述目标数字病理图像中的目标生物组织之前，所述方法还包括；
获取生物组织样本图像，其中，所述生物组织样本图像中包括携带至少两个染色通道的生物组织样本；
获取所述生物组织样本对应的标签信息，其中，所述标签信息用于标识所述生物组织样本对应染色通道的通道属性；
利用所述生物组织样本图像和所述标签信息对初始分类模型进行训练，以使所述初始分类模型学习所述通道属性与所述生物组织样本之间的对应关系，得到所述第一分类模型。
5.根据权利要求1所述的方法，其特征在于，所述从所述目标数字病理图像中提取所述目标生物组织对应的目标图像，包括：
确定所述目标生物组织在所述目标数字病理图像中的最小外接矩形；
基于所述最小外接矩形生成所述目标图像。
6.根据权利要求5所述的方法，其特征在于，所述调用细胞核对应的目标染色通道确定所述目标图像中的细胞信息，包括：
将所述目标图像输入第二分类模型，以使所述第二分类模型调用所述目标染色通道确定所述细胞核的位置信息以及边界信息；
根据所述位置信息和所述边界信息确定所述细胞核所在细胞的染色信息；
基于所述位置信息、所述边界信息以及所述染色信息，生成所述细胞信息。
7.根据权利要求6所述的方法，其特征在于，所述根据所述细胞信息确定所述目标生物组织的检测结果，包括：
根据所述细胞信息中的染色信息确定所述细胞的染色强度；
根据所述染色强度确定所述细胞的阴阳性，得到所述目标生物组织的细胞阳性率。
8.一种数字病理图像的处理装置，其特征在于，包括：
确定模块，用于确定待检测的目标数字病理图像，其中，所述目标数字病理图像图中包括多种不同的染色通道；
分类模块，用于将所述目标数字病理图像输入第一分类模型，以使所述第一分类模型根据所述染色通道的通道属性确定所述目标数字病理图像中的目标生物组织；
识别模块，用于从所述目标数字病理图像中提取所述目标生物组织对应的目标图像，并调用细胞核对应的目标染色通道确定所述目标图像中的细胞信息；
处理模块，用于根据所述细胞信息确定所述目标生物组织的检测结果。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7中任一项所述的方法步骤。
10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：
存储器，用于存放计算机程序；
处理器，用于通过运行存储器上所存放的程序来执行权利要求1-7中任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111074585.8A CN113763370A (zh) | 2021-09-14 | 2021-09-14 | 数字病理图像的处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111074585.8A CN113763370A (zh) | 2021-09-14 | 2021-09-14 | 数字病理图像的处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113763370A true CN113763370A (zh) | 2021-12-07 |
Family
ID=78795512
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111074585.8A Pending CN113763370A (zh) | 2021-09-14 | 2021-09-14 | 数字病理图像的处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113763370A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116665210A (zh) * | 2023-07-28 | 2023-08-29 | 珠海横琴圣澳云智科技有限公司 | 基于多通道信息融合的细胞分类方法和装置 |
| WO2024021825A1 (zh) * | 2022-07-26 | 2024-02-01 | 腾讯科技（深圳）有限公司 | 生理图像处理方法、模型训练方法、装置、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109035210A (zh) * | 2018-06-29 | 2018-12-18 | 志诺维思（北京）基因科技有限公司 | 染色图片处理方法及装置 |
| CN109872335A (zh) * | 2019-02-28 | 2019-06-11 | 志诺维思（北京）基因科技有限公司 | 一种用于pd-l1抗体染色切片的自动读片方法及其系统 |
| CN111402267A (zh) * | 2020-03-13 | 2020-07-10 | 中山大学孙逸仙纪念医院 | 前列腺癌病理图像中上皮细胞核的分割方法、装置和终端 |
| CN111448569A (zh) * | 2017-12-06 | 2020-07-24 | 文塔纳医疗系统公司 | 存储和检索数字病理学分析结果的方法 |
| US20210209753A1 (en) * | 2020-01-06 | 2021-07-08 | PAIGE.AI, Inc. | Systems and methods for processing electronic images for computational assessment of disease |
-
2021
- 2021-09-14 CN CN202111074585.8A patent/CN113763370A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111448569A (zh) * | 2017-12-06 | 2020-07-24 | 文塔纳医疗系统公司 | 存储和检索数字病理学分析结果的方法 |
| CN109035210A (zh) * | 2018-06-29 | 2018-12-18 | 志诺维思（北京）基因科技有限公司 | 染色图片处理方法及装置 |
| CN109872335A (zh) * | 2019-02-28 | 2019-06-11 | 志诺维思（北京）基因科技有限公司 | 一种用于pd-l1抗体染色切片的自动读片方法及其系统 |
| US20210209753A1 (en) * | 2020-01-06 | 2021-07-08 | PAIGE.AI, Inc. | Systems and methods for processing electronic images for computational assessment of disease |
| CN111402267A (zh) * | 2020-03-13 | 2020-07-10 | 中山大学孙逸仙纪念医院 | 前列腺癌病理图像中上皮细胞核的分割方法、装置和终端 |
Non-Patent Citations (2)
| Title |
|---|
| 林嘉雯;刘勇;刘秉瀚;: "肿瘤细胞膜免疫组化病理图像的自动分割", 莆田学院学报, no. 05, 25 October 2007 (2007-10-25) * |
| 闫雯;汤烨;张益肇;来茂德;许燕;: "深度学习在数字病理中的应用", 中国生物医学工程学报, no. 01, 20 February 2018 (2018-02-20) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024021825A1 (zh) * | 2022-07-26 | 2024-02-01 | 腾讯科技（深圳）有限公司 | 生理图像处理方法、模型训练方法、装置、设备及介质 |
| CN116665210A (zh) * | 2023-07-28 | 2023-08-29 | 珠海横琴圣澳云智科技有限公司 | 基于多通道信息融合的细胞分类方法和装置 |
| CN116665210B (zh) * | 2023-07-28 | 2023-10-17 | 珠海横琴圣澳云智科技有限公司 | 基于多通道信息融合的细胞分类方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110705583B (zh) | 细胞检测模型训练方法、装置、计算机设备及存储介质 | |
| CN109389129B (zh) | 一种图像处理方法、电子设备及存储介质 | |
| US10115191B2 (en) | Information processing apparatus, information processing system, information processing method, program, and recording medium | |
| JP7026826B2 (ja) | 画像処理方法、電子機器および記憶媒体 | |
| CN113793336B (zh) | 一种检测血细胞的方法、装置、设备及可读存储介质 | |
| JP2017516992A (ja) | 画像内の生物学的構造及び／又はパターンの検出のためのシステム及び方法 | |
| CN113763370A (zh) | 数字病理图像的处理方法、装置、电子设备及存储介质 | |
| CN105701489A (zh) | 一种新型的数字提取和识别的方法及系统 | |
| CN112102929A (zh) | 医学图像标注方法、装置、存储介质及电子设备 | |
| CN109919149A (zh) | 基于物体检测模型的物体标注方法及相关设备 | |
| CN110473176B (zh) | 图像处理方法及装置、眼底图像处理方法、电子设备 | |
| CN113793301A (zh) | 基于稠密卷积网络模型的眼底影像分析模型的训练方法 | |
| JP6819445B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
| CN114332854A (zh) | 图像处理方法、装置、设备及存储介质 | |
| US20230096719A1 (en) | Scalable and high precision context-guided segmentation of histological structures including ducts/glands and lumen, cluster of ducts/glands, and individual nuclei in whole slide images of tissue samples from spatial multi-parameter cellular and sub-cellular imaging platforms | |
| CN111666884B (zh) | 活体检测方法、装置、计算机可读介质及电子设备 | |
| CN116977260A (zh) | 目标物的缺陷检测方法、装置、电子设备及存储介质 | |
| CN111612749A (zh) | 基于肺部影像的病灶检测方法和装置 | |
| Salvi et al. | cyto‐Knet: An instance segmentation approach for multiple myeloma plasma cells using conditional kernels | |
| Chang et al. | Batch-invariant nuclear segmentation in whole mount histology sections | |
| CN112801960B (zh) | 图像处理方法及装置、存储介质、电子设备 | |
| CN115063807A (zh) | 图像处理方法、装置、可读存储介质及电子设备 | |
| CN112750124A (zh) | 模型生成、图像分割方法、装置、电子设备及存储介质 | |
| Gavilan Ruiz et al. | Image categorization using color blobs in a mobile environment | |
| CN107992853B (zh) | 人眼检测方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |