CN110363762A - 细胞检测方法、装置、智能显微镜系统和可读存储介质 - Google Patents
细胞检测方法、装置、智能显微镜系统和可读存储介质 Download PDFInfo
- Publication number
- CN110363762A CN110363762A CN201910664262.0A CN201910664262A CN110363762A CN 110363762 A CN110363762 A CN 110363762A CN 201910664262 A CN201910664262 A CN 201910664262A CN 110363762 A CN110363762 A CN 110363762A
- Authority
- CN
- China
- Prior art keywords
- image
- cell
- testing result
- cell membrane
- cell detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本公开提供了一种基于细胞染色图像的细胞检测方法、装置、智能显微镜系统和可读存储介质。根据本公开的细胞检测方法、装置、智能显微镜系统和可读存储介质可以应用于诸如智能医疗等的人工智能领域。所述基于细胞染色图像的细胞检测方法包括:将所述细胞染色图像分解成第一通道图像和第二通道图像;对于所述第一通道图像,通过提取局部极大值来确定第一检测结果;对于所述第二通道图像,通过提取局部极小值来确定第二检测结果;基于所述第一检测结果和所述第二检测结果确定细胞检测结果。
Description
技术领域
本公开涉及细胞检测领域,具体的涉及一种细胞检测方法、装置、智能显微镜系统和可读存储介质。
背景技术
对于诸如利用显微镜获取的细胞图像,需要细胞检测方法来检测其中包括的细胞的位置以及数量等数据。此外,得到的细胞检测数据可以广泛应用于诸如智能医疗的人工智能领域。例如,可以将细胞检测数据用于后续的分析步骤,诸如分析所述细胞图像中是否存在癌变细胞等。由此,细胞检测数据的准确性将直接影响后续分析步骤的准确性。然而,现有的细胞检测方法均依赖于细胞分割算法,即,将细胞图像中的细胞以细胞膜为边界进行分割,再对分割后的图像进行统计分析,确定其中包括的细胞的位置和数量。这种通过细胞分割算法进行的细胞检测过多地依赖于细胞分割的准确性,在例如细胞紧密相邻等无法准确分割细胞的情况下,将降低细胞检测的准确性。
发明内容
本公开提供一种细胞检测方法、装置、智能显微镜系统和可读存储介质,用于快速、准确地进行细胞检测,以确定细胞图像中包括的细胞的位置及数量。
根据本公开的一方面,提供了一种基于细胞染色图像的细胞检测方法,包括:将所述细胞染色图像分解成第一通道图像和第二通道图像;对于所述第一通道图像,通过提取局部极大值来确定第一检测结果;对于所述第二通道图像,通过提取局部极小值来确定第二检测结果;基于所述第一检测结果和所述第二检测结果确定细胞检测结果。
根据本公开的一些实施例,所述细胞染色图像是HER2染色图像,其中,细胞核被染色为第一颜色,细胞膜被染色为第二颜色。
根据本公开的一些实施例,所述第一通道图像是对所述第一颜色具有强响应的图像,所述第二通道图像是对所述第二颜色具有强响应的图像。
根据本公开的一些实施例,所述方法还包括:在所述第二通道图像中确定细胞膜染色区域,其中,所述基于所述第一检测结果和所述第二检测结果确定细胞检测结果包括:将所述第二检测结果中对应于所述细胞膜染色区域的检测结果作为所述细胞膜染色区域的细胞检测结果,将所述第一检测结果中对应于除细胞膜染色区域之外的区域的检测结果作为所述除细胞膜染色区域之外的区域的细胞检测结果;以及基于所述细胞膜染色区域的细胞检测结果和除细胞膜染色区域之外的区域的细胞检测结果确定细胞检测结果。
根据本公开的一些实施例,在所述第二通道图像中确定细胞膜染色区域包括:对所述第二通道图像进行二值化处理,生成二值化图像;基于所述二值化图像确定所述细胞膜染色区域。
根据本公开的一些实施例,所述方法还包括:对所述二值化图像进行孔洞填充和膨胀操作,得到边缘增强的二值化图像,其中,确定所述细胞膜染色区域还包括:基于所述边缘增强的二值化图像确定所述细胞膜染色区域。
根据本公开的一些实施例,所述细胞检测结果包括所述细胞染色图像中细胞核的位置和数量。
根据本公开的另一方面,还提供了一种基于细胞染色图像的细胞检测装置,包括:色彩分解单元,配置成将所述细胞染色图像分解成第一通道图像和第二通道图像;提取单元,配置成对于所述第一通道图像,通过提取局部极大值来确定第一检测结果;以及对于所述第二通道图像,通过提取局部极小值来确定第二检测结果;确定单元,配置成基于所述第一检测结果和所述第二检测结果确定细胞检测结果。
根据本公开的一些实施例,所述细胞染色图像是HER2染色图像,其中,细胞核被染色为第一颜色,细胞膜被染色为第二颜色,所述第一通道图像是对所述第一颜色具有强响应的图像,所述第二通道图像是对所述第二颜色具有强响应的图像。
根据本公开的一些实施例,所述确定单元还配置成在所述第二通道图像中确定细胞膜染色区域,其中,所述确定单元将所述第二检测结果中对应于所述细胞膜染色区域的检测结果作为所述细胞膜染色区域的细胞检测结果,将所述第一检测结果中对应于除细胞膜染色区域之外的区域的检测结果作为所述除细胞膜染色区域之外的区域的细胞检测结果;以及基于所述细胞膜染色区域的细胞检测结果和除细胞膜染色区域之外的区域的细胞检测结果确定细胞检测结果。
根据本公开的一些实施例,所述确定单元还包括图像处理子单元,配置成对所述第二通道图像进行二值化处理,生成二值化图像,所述确定单元基于所述二值化图像确定所述细胞膜染色区域。
根据本公开的一些实施例,所述图像处理子单元还配置成对所述二值化图像进行孔洞填充和膨胀操作,得到边缘增强的二值化图像,所述确定单元基于所述边缘增强的二值化图像确定所述细胞膜染色区域。
根据本公开的一些实施例,所述细胞检测结果包括所述细胞染色图像中细胞核的位置和数量。
根据本公开的又一方面,还提供了一种用于细胞检测的智能显微镜系统,包括:显微镜,配置成对细胞染色图像进行放大成像;相机,配置成获取经过所述显微镜放大成像的细胞染色图像;一个或多个处理器;和一个或多个存储器,其中,所述存储器中存储有计算机可读代码,所述计算机可读代码当由所述一个或多个处理器运行时,执行如上所述的基于细胞染色图像的细胞检测方法。
根据本公开的又一方面,还提供了一种计算机可读存储介质,其上存储有指令,所述指令在被处理器执行时,使得所述处理器执行如上所述的基于细胞染色图像的细胞检测方法。
利用本公开提供的基于细胞染色图像的细胞检测方法,能实现快速、准确地完成细胞检测,从而确定细胞染色图像的细胞检测结果。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据本公开实施例的基于细胞染色图像的细胞检测方法的流程图;
图2示出了根据本公开实施例的HER2染色图像示意图;
图3示出了根据本公开实施例的色彩通道分解示意图;
图4示出了根据本公开实施例的滤波效果示意图;
图5示出了根据本公开实施例的细胞检测结果的示意图;
图6示出了根据本公开一些实施例的细胞检测过程的示意图;
图7A示出了根据本公开实施例的细胞检测效果的示意图;
图7B示出了根据本公开实施例的另一细胞检测效果的示意图;
图8示出了根据本公开实施例的基于细胞染色图像的细胞检测装置的示意性框图;
图9示出了图8中的细胞检测装置进行细胞检测的具体示意图;
图10示出了根据本公开实施例的用于细胞检测的智能显微镜系统的示意性框图;
图11示出了根据本公开实施例的示例性计算设备的架构的示意图;
图12示出了根据本公开实施例的存储介质的示意图。
具体实施方式
下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本公开一部分的实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。同样,“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。
本公开中使用了流程图用来说明根据本公开的实施例的方法的步骤。应当理解的是,前面或后面的步骤不一定按照顺序来精确的进行。相反,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能领域中硬件层面的技术一般可以包括诸如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理、操作/交互系统、机电一体化等。人工智能领域中软件层面的技术可以包括计算机视觉技术(Computer Vision,CV)、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
具体的,计算机视觉CV是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还可以包括常见的人脸识别、指纹识别等生物特征识别技术。
作为人工智能领域中计算机视觉技术的一种具体应用,细胞检测算法可以对诸如显微细胞图像进行图像处理以识别所述图像中包括的细胞位置、数目等数据,识别得到的细胞检测数据可以应用于诸如智能医疗领域。
准确的细胞检测有利于与细胞分析相关的处理步骤,对于一幅细胞图像,获取其中包括的细胞的位置和数量是进行后续分析处理的前提。换句话说,在细胞分析领域,需要首先快速、准确地完成细胞检测,然后才能依据细胞检测结果进行例如是否具有癌症细胞等的分析步骤。
然而,现有的细胞检测方法均依赖于细胞分割算法,例如,通常采用分水岭算法(watershed)完成细胞分割和检测。这使得细胞检测的准确性过多地依赖于细胞分割的结果。在多个细胞紧密连接等情形下,将出现无法准确分割细胞的情况,例如将紧密连接的多个细胞分割为一个细胞,这大大降低了细胞检测的准确性。此外,如果期望提高细胞分割算法的准确性,往往需要额外的后处理算法对上述紧密连接的细胞进行区分,这也将增加算法的复杂度、降低细胞检测的速度,无法实现实时地细胞检测。
本公开提供了一种基于细胞染色图像的细胞检测方法,用于快速、准确地检测细胞染色图像中的细胞的位置和数量。图1示出了根据本公开实施例的基于细胞染色图像的细胞检测方法的流程图。以下,将结合图1来详细描述根据本公开的基于细胞染色图像的细胞检测方法。
如图1所示,首先,在步骤S101,将细胞染色图像分解成第一通道图像和第二通道图像。根据本公开实施例,所述细胞染色图像可以是HER2染色图像,其中,所述HER2是人类表皮生长因子受体2(Human epidermal growth factor receptor 2)的简称。例如,在经过HER2染色的细胞图像中,细胞核被染色为第一颜色,细胞膜被染色为第二颜色。所述第一颜色可以是蓝色,所述第二颜色可以是棕色。换句话说,在所述HER2染色图像中,细胞核被染为蓝色,细胞膜被染为棕色。
具体的,所述HER2染色是属于免疫组织化学(IHC)染色的一种染色方式,其可以通过使用二氨基联苯胺(Diaminobenzidine)将细胞膜染成棕色,并利用苏木精(Haematoxylin)将细胞核染成蓝色。图2示出了根据本公开实施例的HER2染色图像示意图,其中,201示出了未经HER2染色的原始细胞图像,其中包括有若干数量的细胞。经过HER2染色之后,由于细胞特性等原因的影响,可能出现不同程度的染色情况,例如,图2中的202示出了浅染色的示意性效果,203示出了中等程度染色的示意性效果,204示出了深染色的示意性效果。需要注意的是,以上图2中202-204中示出的染色图像的染色效果仅为示意性地,以便于理解HER2染色,这并不构成对于所述细胞染色图像的限制,其还可以由其他的染色方式获得,或者,具有其他未示出的染色效果。
在根据本公开的细胞检测方法中,需要将所述细胞染色图像分解成第一通道图像和第二通道图像。例如,可以通过色彩通道分解的方式来获得所述第一通道图像和第二通道图像。所述色彩通道分解是指对彩色图像(例如,RGB图像)进行色彩变换以将颜色分量分解到不同的色彩通道。
色彩通道分解可以采用基于python语言的算法包(诸如,skimage)中的函数(诸如,skimage.color.rgb2hed)来实现,所述函数可以对细胞染色图像进行色彩通道分解。通过所述函数,可以将获取的细胞染色图像分解成苏木精(hematoxylin,简称H)通道、依红(eosin,简称E)通道和二氨基联苯胺(diaminobenzidine,简称DAB)通道,以分别得到对应于上述通道的图像。例如,根据本公开的第一通道图像可以是对应于H通道的图像,其是对蓝色具有强响应的图像,所述第二通道图像可以是对应于DAB通道的图像,其是对棕色具有强响应的图像。所述具有强响应是指,诸如201的原始细胞图像中的蓝色分量在H通道将响应成较高的灰度值,而其他在H通道不具有响应的量将形成较低的灰度值。
具体的,图3示出了根据本公开实施例的色彩通道分解示意图,以示意性地示出经过色彩通道分解后获得的通道图像。其中,301示出了未经色彩分解的细胞染色图像,302示出了H通道图像,303示出了E通道图像,304示出了DAB通道图像。需要注意的是,302、303和304示出的通道图像是由301中示出的图像经过色彩通道分解获得的,这并不改变分解后的每个通道图像包括的像素的数量。换句话说,对于具有N*N个像素的细胞染色图像,经过色彩通道分解获得的各个通道图像包括的像素数量也是N*N个。
根据本公开实施例,所述细胞检测方法还可以包括对获得的通道图像进行滤波处理,以去除通道图像中的噪声。例如,可以采用双边滤波算法来分别对各个通道图像进行处理,以得到经过滤波增强的通道图像。所述双边滤波算法是一种非线性滤波器,它可以实现突出边缘、平滑降噪的处理效果。图4示出了根据本公开实施例的滤波效果示意图。在图4中,401示出了滤波之前的H通道图像,402示出了经过双边滤波之后的H通道图像,403示出了滤波之前的DAB通道图像,404示出了经过双边滤波之后的DAB通道图像。需要注意的是,在根据本公开的方法中,并不限于采用所述双边滤波算法,还可以采用其他的滤波算法来实现对于各个通道图像的滤波处理。
接着,如图1所示,在步骤S102,对于所述第一通道图像,通过提取局部极大值来确定第一检测结果。其中,所述提取局部极大值可以通过在确定的邻域范围内确定灰度最大值的方式来实现。例如,可以对图3中302示出的H通道图像在邻域范围内提取灰度最大值,以作为所述第一检测结果。其中,所述邻域范围可以由像素个数来确定,例如,对于具有N*N个像素的H通道图像,可以在n*n个像素区域内确定灰度最大值所在的像素。然后,可以以n*n个像素区域为单位,以遍历的方式在所述H通道图像中分别提取各个区域内的灰度最大值,以确定所述第一检测结果。其中,可以根据细胞染色图像包括的像素个数N*N、获取该细胞染色图像时的放大倍率等参数来确定所述n的具体数值。
由于所述H通道对蓝色具有强响应,即,对被染为蓝色的细胞核具有强响应,则,在邻域范围内提取的灰度最大值所在的像素可以用于表示该区域内的细胞核所在的位置。换句话说,在根据本公开的方法中,通过对H通道图像在邻域范围内提取最大值来确定H通道图像中包括的细胞核的位置。此外,在确定了H通道图像中包括的细胞核的位置之后,还可以进一步统计H通道图像中包括的细胞核的数量。所述细胞核的位置和数量则可以直接地用于反映细胞染色图像中包括的细胞的位置和数量。
被染为蓝色的细胞核会在H通道有强响应,这使得通过提取局部极大值的方式可以检测到这些强响应所在的位置。由此,由H通道图像确定的第一检测结果可以用于确定细胞染色图像中细胞核的位置和数量,即作为最终的细胞检测结果。然而,在细胞染色图像中,如果细胞膜有深染色,例如,如204中所示出的,对应于棕色的深染色区域也会在H通道有强响应。在H通道具有强响应的细胞膜染色区域将会干扰基于H通道图像确定的第一检测结果的准确性,换句话说,在所述第一检测结果中,部分结果可能是由于深染色的细胞膜所引起的,这将降低第一检测结果的准确性。
接着,如图1所示,根据本公开的细胞检测方法还可以包括步骤S103。在步骤S103中,对于所述第二通道图像,通过提取局部极小值来确定第二检测结果。其中,所述提取局部极小值可以类似地通过在确定的邻域范围内确定灰度最小值的方式来实现。例如,可以对图3中304示出的DAB通道图像在邻域范围内提取灰度最小值,以作为所述第二检测结果。其中,所述邻域范围可以与步骤S102中采用的邻域范围相同,即n*n。例如,对于具有N*N个像素的DAB通道图像,可以在n*n个像素区域内确定灰度最小值所在的像素。
所述DAB通道图像对棕色具有强响应,即,对被染为棕色的细胞膜具有强响应,在对棕色响应的过程中,DAB通道将抑制对蓝色的响应,即,对所述DAB通道图像在邻域范围内提取的灰度最小值所在的像素可以用于表示该区域内的细胞核所在的位置。换句话说,在DAB通道图像中,不响应的像素位置(即,灰度最小值所在的像素)可以用于表示染为蓝色的细胞核。在根据本公开的方法中,通过对DAB通道图像在邻域范围内提取最小值来确定DAB通道图像中包括的细胞核的位置。此外,在确定了DAB通道图像中包括的细胞核的位置之后,还可以进一步统计DAB通道图像中包括的细胞核的数量。所述细胞核的位置和数量则可以直接地反映细胞染色图像中包括的细胞的位置和数量。
接着,如图1所示,在步骤S104,基于所述第一检测结果和所述第二检测结果确定细胞检测结果。根据本公开实施例,所述细胞检测结果包括所述细胞染色图像中细胞核的位置和数量。
在根据本公开的方法中,通过提取局部极大值可以确定H通道图像中的细胞核的位置和数量,以作为所述第一检测结果,通过提取局部极小值可以确定DAB通道图像中的细胞核的位置和数量,以作为所述第二检测结果。然后,结合所述第一检测结果和所述第二检测结果两者来确定最终的细胞检测结果。上述结合所述第一检测结果和所述第二检测结果两者来确定最终的细胞检测结果的过程将在下文详细描述。
根据本公开实施例,所述细胞检测方法还可以包括:在所述第二通道图像中确定细胞膜染色区域。例如,可以在所述DAB通道图像中确定细胞膜染色区域。根据本公开实施例,所述基于所述第一检测结果和所述第二检测结果确定细胞检测结果包括:将所述第二检测结果中对应于所述细胞膜染色区域的检测结果作为所述细胞膜染色区域的细胞检测结果,将所述第一检测结果中对应于除细胞膜染色区域之外的区域的检测结果作为所述除细胞膜染色区域之外的区域的细胞检测结果;以及基于所述细胞膜染色区域的细胞检测结果和除细胞膜染色区域之外的区域的细胞检测结果确定细胞检测结果。
如上所述的,在H通道图像中,深染色的细胞膜也将会具有强响应,这将影响基于H通道图像确定的第一检测结果的准确性。根据本公开的方法可以基于DAB通道确定所述细胞膜染色区域,并根据所确定的细胞膜染色区域来基于所述第一检测结果和所述第二检测结果两者确定最终的细胞检测结果。
具体的,对于所述细胞膜染色区域,将采用第二检测结果中对应于所述细胞膜染色区域的检测结果作为所述细胞膜染色区域的细胞检测结果,而在除细胞膜染色区域之外的区域,将所述第一检测结果中对应于除细胞膜染色区域之外的区域的检测结果作为所述除细胞膜染色区域之外的区域的细胞检测结果,从而可以有效地避免细胞膜染色区域对于第一检测结果的干扰,提高细胞检测结果的准确性。图5示出了根据本公开实施例的细胞检测结果的示意图。在图5中,501示出了细胞染色图像,502示出了根据本公开的细胞检测方法确定的细胞检测结果的示意图,其中,由深色的点表示通过根据本公开的细胞检测方法确定的细胞核的位置。
根据本公开实施例,在所述第二通道图像中确定细胞膜染色区域包括:对所述第二通道图像进行二值化处理,生成二值化图像,基于所述二值化图像确定所述细胞膜染色区域。例如,可以采用最大类间方差法来对DAB通道图像进行所述二值化处理。所述最大类间方差法是一种自适应确定阈值方法,又可以称为大津法,简称OTSU,其可以实现根据图像的灰度值来实现自适应二值化处理。根据本公开实施例,还可以对所述二值化图像进行孔洞填充和膨胀操作,得到边缘增强的二值化图像。所述孔洞填充和膨胀操作均可以采用现有算法来实现,接着,可以基于边缘增强的二值化图像确定所述细胞膜染色区域。
图6示出了根据本公开一些实施例的细胞检测过程的示意图,图7A示出了根据本公开实施例的细胞检测效果的示意图,图7B示出了根据本公开实施例的另一细胞检测效果的示意图。以下,将结合图6、图7A和图7B来具体描述利用根据本公开的细胞检测方法进行细胞检测的过程。
如图6所示,首先获取输入图像,例如可以是如上所述的细胞染色图像。接着,可以对所述细胞染色图像进行色彩通道分解,例如将具有RGB彩色格式的细胞染色图像分解成H、E、DAB通道图像,其中,H通道图像可以作为上述第一通道图像,DAB通道图像可以作为上述第二通道图像。接着,可以对所述H通道图像和DAB通道图像分别进行双边滤波处理,以实现保持边缘、降噪平滑的处理效果,并由此获得滤波增强后的H通道图像和DAB通道图像。
接着,根据本公开的细胞检测方法,可以对所述H通道图像在邻域范围(诸如,n*n)内提取最大值以确定第一检测结果,并对所述DAB通道图像在邻域范围(诸如,n*n)内提取最小值以确定第二检测结果。所述第一检测结果和第二检测结果分别用于表示在H通道图像和DAB通道图像中确定的细胞核的位置和数量。
接着,可以对所述DAB通道图像进行二值化处理,以得到细胞膜染色区域,并基于所述细胞膜染色区域来融合所述第一检测结果和第二检测结果以确定最终的细胞核检测结果。具体的,在根据本公开的方法中,对于所述细胞膜染色区域,采用第二检测结果中对应于该细胞膜染色区域的检测结果作为该细胞膜染色区域的细胞检测结果,而在除该细胞膜染色区域之外的区域,将所述第一检测结果中对应于除细胞膜染色区域之外的区域的检测结果作为所述除细胞膜染色区域之外的区域的细胞检测结果,从而可以有效地避免细胞膜染色区域对于第一检测结果的干扰,提高细胞检测结果的准确性。如图7A和图7B中所示出的,利用根据本公开的细胞检测方法可以准确的确定细胞染色图像中包括的细胞的位置和数量,即使在多个细胞紧密连接的区域,也能依据细胞核准确地进行细胞检测,并且避免采用细胞分割等处理算法,从而可以提高细胞检测的速度。
根据本公开的方法,可以实现基于细胞染色的特性以及H通道和DAB通道对于颜色进行响应的特性来实现准确、快速的细胞检测,从而实现基于对应于H通道图像的第一检测结果和对应于DAB通道图像的第二检测结果来确定最终的细胞检测结果。
本公开还提供了一种基于细胞染色图像的细胞检测装置。图8示出了根据本公开实施例的基于细胞染色图像的细胞检测装置的示意性框图。如图4所示,所述细胞检测装置1000可以包括色彩分解单元1010、提取单元1020和确定单元1030。
所述色彩分解单元1010可以配置成将细胞染色图像分解成第一通道图像和第二通道图像。所述提取单元1020可以配置成对于所述第一通道图像,通过提取局部极大值来确定第一检测结果;以及对于所述第二通道图像,通过提取局部极小值来确定第二检测结果。所述确定单元1030可以配置成基于所述第一检测结果和所述第二检测结果确定细胞检测结果。
根据本公开实施例,所述细胞染色图像是HER2染色图像,其中,细胞核被染色为第一颜色,细胞膜被染色为第二颜色,所述第一通道图像是对所述第一颜色具有强响应的图像,所述第二通道图像是对所述第二颜色具有强响应的图像。
例如,在经过HER2染色的细胞图像中,细胞核被染色为第一颜色,细胞膜被染色为第二颜色。所述第一颜色可以是蓝色,所述第二颜色可以是棕色。即,在所述HER2染色图像中,细胞核被染为蓝色,细胞膜被染为棕色。
根据本公开实施例,所述确定单元1030还配置成在所述第二通道图像中确定细胞膜染色区域。所述确定单元1030将所述第二检测结果中对应于所述细胞膜染色区域的检测结果作为所述细胞膜染色区域的细胞检测结果,将所述第一检测结果中对应于除细胞膜染色区域之外的区域的检测结果作为所述除细胞膜染色区域之外的区域的细胞检测结果;以及基于所述细胞膜染色区域的细胞检测结果和除细胞膜染色区域之外的区域的细胞检测结果确定细胞检测结果。
根据本公开实施例,所述确定单元1030还包括图像处理子单元。所述图像处理子单元可以配置成对所述第二通道图像进行二值化处理,生成二值化图像,所述确定单元1030基于所述二值化图像确定所述细胞膜染色区域。
根据本公开实施例,图像处理子单元所述图像处理子单元还可以配置成对所述二值化图像进行孔洞填充和膨胀操作,得到边缘增强的二值化图像。进一步地,所述确定单元1030还配置成基于所述边缘增强的二值化图像确定所述细胞膜染色区域。
根据本公开实施例,所述细胞检测结果包括所述细胞染色图像中细胞核的位置和数量。
图9示出了图8中的细胞检测装置进行细胞检测的具体示意图。如图9所示,根据本公开的细胞检测装置1000还可以包括用于放大细胞染色图像的显微镜1040。此外,其还可以包括用于实时采集经由显微镜放大的细胞染色图像的相机,从而获得细胞染色图像1050。接着,可以基于色彩分解单元1010、提取单元1020和确定单元1030来对所述细胞染色图像1050实施如上所述的根据本公开的细胞检测方法,并获得如1060所示的细胞检测结果,具体的处理过程在此不再重复描述。
根据本公开的又一方面,还提供了一种智能显微镜系统。图10示出了根据本公开实施例的用于细胞检测的智能显微镜系统2000的示意性框图。
如图10所示,所述智能显微镜系统2000可以包括显微镜2010、相机2020、一个或多个处理器2030,和一个或多个存储器2040。根据本公开实施例,所述显微镜2010可以配置成对细胞染色图像进行放大成像,例如,所述显微镜2010可以具有图9中示出的1040的示意性结构,其可以对经过染色的细胞图像,即细胞染色图像进行放大。接着,所述相机2020可以配置成获取经过所述显微镜2010放大成像的细胞染色图像,换句话说,所述相机2020用于经过放大后的细胞染色图像,所述获取的过程可以实时地进行。
根据本公开实施例,所述存储器2040中存储有计算机可读代码,所述计算机可读代码当由所述一个或多个处理器2030运行时,可以执行如上所述的基于细胞染色图像的细胞检测方法。
根据本公开的智能显微镜系统2000例如可以应用于智能医疗设备,以实现识别细胞染色图像中的细胞检测数据,即,细胞位置和数目等的参数。所述细胞检测数据可以作为智能医疗应用中的分析对象,例如,可以用于分析细胞染色图像中的细胞是否发生癌变等。
根据本公开实施例的方法或装置也可以借助于图11所示的计算设备3000的架构来实现。如图11所示,计算设备3000可以包括总线3010、一个或多个CPU3020、只读存储器(ROM)3030、随机存取存储器(RAM)3040、连接到网络的通信端口3050、输入/输出组件3060、硬盘3070等。计算设备3000中的存储设备,例如ROM 3030或硬盘3070可以存储本公开提供的基于细胞染色图像的细胞检测方法的处理和/或通信使用的各种数据或文件以及CPU所执行的程序指令。计算设备800还可以包括用户界面3080。当然,图11所示的架构只是示例性的,在实现不同的设备时,根据实际需要,可以省略图11示出的计算设备中的一个或多个组件。
根据本公开的又一方面,还提供了一种计算机可读存储介质。图12示出了根据本公开的存储介质的示意图4000。
如图12所示,所述计算机存储介质4020上存储有计算机可读指令4010。当所述计算机可读指令4010由处理器运行时,可以执行参照以上附图描述的根据本公开实施例的基于细胞染色图像的细胞检测方法。所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。
本领域技术人员能够理解,本公开所披露的内容可以出现多种变型和改进。例如,以上所描述的各种设备或组件可以通过硬件实现,也可以通过软件、固件、或者三者中的一些或全部的组合实现。
此外,虽然本公开对根据本公开的实施例的系统中的某些单元做出了各种引用,然而,任何数量的不同单元可以被使用并运行在客户端和/或服务器上。所述单元仅是说明性的,并且所述系统和方法的不同方面可以使用不同单元。
本领域普通技术人员可以理解上述方法中的全部或部分的步骤可通过程序来指令相关硬件完成,所述程序可以存储于计算机可读存储介质中,如只读存储器、磁盘或光盘等。可选地,上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地,上述实施例中的各模块/单元可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。本公开并不限制于任何特定形式的硬件和软件的结合。
除非另有定义,这里使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解,诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义,而不应用理想化或极度形式化的意义来解释,除非这里明确地这样定义。
以上是对本公开的说明,而不应被认为是对其的限制。尽管描述了本公开的若干示例性实施例,但本领域技术人员将容易地理解,在不背离本公开的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此,所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解,上面是对本公开的说明,而不应被认为是限于所公开的特定实施例,并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。
Claims (15)
1.一种基于细胞染色图像的细胞检测方法,包括:
将所述细胞染色图像分解成第一通道图像和第二通道图像;
对于所述第一通道图像,通过提取局部极大值来确定第一检测结果;
对于所述第二通道图像,通过提取局部极小值来确定第二检测结果;
基于所述第一检测结果和所述第二检测结果确定细胞检测结果。
2.根据权利要求1所述的方法,其中,
所述细胞染色图像是HER2染色图像,其中,细胞核被染色为第一颜色,细胞膜被染色为第二颜色。
3.根据权利要求2所述的方法,其中,
所述第一通道图像是对所述第一颜色具有强响应的图像,所述第二通道图像是对所述第二颜色具有强响应的图像。
4.根据权利要求1所述的方法,还包括:
在所述第二通道图像中确定细胞膜染色区域,其中,所述基于所述第一检测结果和所述第二检测结果确定细胞检测结果包括:
将所述第二检测结果中对应于所述细胞膜染色区域的检测结果作为所述细胞膜染色区域的细胞检测结果,
将所述第一检测结果中对应于除细胞膜染色区域之外的区域的检测结果作为所述除细胞膜染色区域之外的区域的细胞检测结果;以及
基于所述细胞膜染色区域的细胞检测结果和除细胞膜染色区域之外的区域的细胞检测结果确定细胞检测结果。
5.根据权利要求4所述的方法,其中,在所述第二通道图像中确定细胞膜染色区域包括:
对所述第二通道图像进行二值化处理,生成二值化图像;
基于所述二值化图像确定所述细胞膜染色区域。
6.根据权利要求5所述的方法,还包括:
对所述二值化图像进行孔洞填充和膨胀操作,得到边缘增强的二值化图像,其中,确定所述细胞膜染色区域还包括:
基于所述边缘增强的二值化图像确定所述细胞膜染色区域。
7.根据权利要求1所述的方法,其中,所述细胞检测结果包括所述细胞染色图像中细胞核的位置和数量。
8.一种基于细胞染色图像的细胞检测装置,包括:
色彩分解单元,配置成将所述细胞染色图像分解成第一通道图像和第二通道图像;
提取单元,配置成对于所述第一通道图像,通过提取局部极大值来确定第一检测结果;以及对于所述第二通道图像,通过提取局部极小值来确定第二检测结果;
确定单元,配置成基于所述第一检测结果和所述第二检测结果确定细胞检测结果。
9.根据权利要求8所述的装置,其中,
所述细胞染色图像是HER2染色图像,其中,细胞核被染色为第一颜色,细胞膜被染色为第二颜色,
所述第一通道图像是对所述第一颜色具有强响应的图像,所述第二通道图像是对所述第二颜色具有强响应的图像。
10.根据权利要求8所述的装置,其中,所述确定单元还配置成在所述第二通道图像中确定细胞膜染色区域,其中,
所述确定单元将所述第二检测结果中对应于所述细胞膜染色区域的检测结果作为所述细胞膜染色区域的细胞检测结果,将所述第一检测结果中对应于除细胞膜染色区域之外的区域的检测结果作为所述除细胞膜染色区域之外的区域的细胞检测结果;以及基于所述细胞膜染色区域的细胞检测结果和除细胞膜染色区域之外的区域的细胞检测结果确定细胞检测结果。
11.根据权利要求10所述的装置,其中,所述确定单元还包括图像处理子单元,配置成对所述第二通道图像进行二值化处理,生成二值化图像,所述确定单元基于所述二值化图像确定所述细胞膜染色区域。
12.根据权利要求11所述的装置,其中,所述图像处理子单元还配置成对所述二值化图像进行孔洞填充和膨胀操作,得到边缘增强的二值化图像,所述确定单元基于所述边缘增强的二值化图像确定所述细胞膜染色区域。
13.根据权利要求8所述的装置,其中,所述细胞检测结果包括所述细胞染色图像中细胞核的位置和数量。
14.一种用于细胞检测的智能显微镜系统,包括:
显微镜,配置成对细胞染色图像进行放大成像;
相机,配置成获取经过所述显微镜放大成像的细胞染色图像;
一个或多个处理器;和
一个或多个存储器,其中,所述存储器中存储有计算机可读代码,所述计算机可读代码当由所述一个或多个处理器运行时,执行权利要求1-7中任一项所述的基于细胞染色图像的细胞检测方法。
15.一种计算机可读存储介质,其上存储有指令,所述指令在被处理器执行时,使得所述处理器执行如权利要求1-7中任一项所述的基于细胞染色图像的细胞检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910664262.0A CN110363762B (zh) | 2019-07-23 | 2019-07-23 | 细胞检测方法、装置、智能显微镜系统和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910664262.0A CN110363762B (zh) | 2019-07-23 | 2019-07-23 | 细胞检测方法、装置、智能显微镜系统和可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110363762A true CN110363762A (zh) | 2019-10-22 |
CN110363762B CN110363762B (zh) | 2023-03-14 |
Family
ID=68220754
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910664262.0A Active CN110363762B (zh) | 2019-07-23 | 2019-07-23 | 细胞检测方法、装置、智能显微镜系统和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110363762B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111534563A (zh) * | 2020-04-17 | 2020-08-14 | 中山大学附属第一医院 | 一种细胞免疫疗法评价方法及系统 |
WO2021093451A1 (zh) * | 2019-11-14 | 2021-05-20 | 腾讯科技(深圳)有限公司 | 病理切片图像的处理方法、装置、系统及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104392460A (zh) * | 2014-12-12 | 2015-03-04 | 山东大学 | 一种基于胞核标记分水岭变换的粘连白细胞分割方法 |
US20170103521A1 (en) * | 2014-02-21 | 2017-04-13 | Ventana Medical Systems, Inc. | Medical image analysis for identifying biomarker-positive tumor cells |
CN107240093A (zh) * | 2017-05-12 | 2017-10-10 | 清华大学 | 一种癌变细胞的自动诊断方法 |
WO2019025514A2 (en) * | 2017-08-04 | 2019-02-07 | Ventana Medical Systems, Inc. | METHODS AND AUTOMATED SYSTEMS FOR DETECTING CELLS IN IMAGES OF COLORED SAMPLES |
CN109859179A (zh) * | 2019-01-24 | 2019-06-07 | 平安科技(深圳)有限公司 | 系膜细胞图像处理方法、装置、计算机设备及存储介质 |
-
2019
- 2019-07-23 CN CN201910664262.0A patent/CN110363762B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170103521A1 (en) * | 2014-02-21 | 2017-04-13 | Ventana Medical Systems, Inc. | Medical image analysis for identifying biomarker-positive tumor cells |
CN104392460A (zh) * | 2014-12-12 | 2015-03-04 | 山东大学 | 一种基于胞核标记分水岭变换的粘连白细胞分割方法 |
CN107240093A (zh) * | 2017-05-12 | 2017-10-10 | 清华大学 | 一种癌变细胞的自动诊断方法 |
WO2019025514A2 (en) * | 2017-08-04 | 2019-02-07 | Ventana Medical Systems, Inc. | METHODS AND AUTOMATED SYSTEMS FOR DETECTING CELLS IN IMAGES OF COLORED SAMPLES |
CN109859179A (zh) * | 2019-01-24 | 2019-06-07 | 平安科技(深圳)有限公司 | 系膜细胞图像处理方法、装置、计算机设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
MONJOY SAHA ET AL.: ""Her2Net: A Deep Framework for Semantic Segmentation and Classification of Cell Membranes and Nuclei in Breast Cancer Evaluation"", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
王娅: ""血液红细胞图像自适应标记分水岭分割算法"", 《中国图象图形学报》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021093451A1 (zh) * | 2019-11-14 | 2021-05-20 | 腾讯科技(深圳)有限公司 | 病理切片图像的处理方法、装置、系统及存储介质 |
US11967069B2 (en) | 2019-11-14 | 2024-04-23 | Tencent Technology (Shenzhen) Company Limited | Pathological section image processing method and apparatus, system, and storage medium |
CN111534563A (zh) * | 2020-04-17 | 2020-08-14 | 中山大学附属第一医院 | 一种细胞免疫疗法评价方法及系统 |
CN111534563B (zh) * | 2020-04-17 | 2021-08-31 | 中山大学附属第一医院 | 一种细胞免疫疗法评价方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110363762B (zh) | 2023-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3961484B1 (en) | Medical image segmentation method and device, electronic device and storage medium | |
US11967069B2 (en) | Pathological section image processing method and apparatus, system, and storage medium | |
Kang et al. | Stainnet: a fast and robust stain normalization network | |
CN112435243A (zh) | 一种全切片数字病理图像的自动分析系统及方法 | |
Landini et al. | Automatic thresholding from the gradients of region boundaries | |
US20210118144A1 (en) | Image processing method, electronic device, and storage medium | |
CN111429474B (zh) | 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法 | |
CN110570352B (zh) | 图像标注方法、装置、系统及细胞标注方法 | |
CN109389129A (zh) | 一种图像处理方法、电子设备及存储介质 | |
US20150186755A1 (en) | Systems and Methods for Object Identification | |
CN113920309B (zh) | 图像检测方法、装置、医学图像处理设备及存储介质 | |
US20200175325A1 (en) | Systems and methods for encoding image features of high-resolution digital images of biological specimens | |
CN112419295A (zh) | 医学图像处理方法、装置、计算机设备和存储介质 | |
WO2020123767A1 (en) | Systems and methods for automated cell segmentation and labeling in immunofluorescence microscopy | |
US10825195B2 (en) | Spatial index creation for IHC image analysis | |
Manning et al. | Image analysis and machine learning-based malaria assessment system | |
CN115546605A (zh) | 一种基于图像标注和分割模型的训练方法及装置 | |
CN110363762A (zh) | 细胞检测方法、装置、智能显微镜系统和可读存储介质 | |
CN110490159B (zh) | 识别显微图像中的细胞的方法、装置、设备及存储介质 | |
CN113724235B (zh) | 镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数系统及方法 | |
CN112330690B (zh) | 基于显微图像的细胞分割方法、装置、设备及存储介质 | |
CN109102510A (zh) | 一种基于半监督k-means算法的乳腺癌病理组织图像分割方法 | |
JP2023517703A (ja) | 空間マルチパラメータ細胞・細胞内撮像プラットフォームからの組織サンプルの全スライド画像における管/腺及び内腔、管/腺のクラスタ、並びに個々の核を含む組織学的構造のスケーラブルで高精度なコンテクストガイドセグメンテーション | |
CN115861250B (zh) | 自适应数据集的半监督医学图像器官分割方法及系统 | |
CN113421270B (zh) | 基于单中心标定数据实现医学图像域自适应分割的方法、系统、装置、处理器及其存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20211124 Address after: 518052 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong Applicant after: Tencent Medical Health (Shenzhen) Co.,Ltd. Address before: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors Applicant before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |