CN110853022B - 病理切片图像的处理方法、装置、系统及存储介质 - Google Patents

病理切片图像的处理方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN110853022B
CN110853022B CN201911115369.6A CN201911115369A CN110853022B CN 110853022 B CN110853022 B CN 110853022B CN 201911115369 A CN201911115369 A CN 201911115369A CN 110853022 B CN110853022 B CN 110853022B
Authority
CN
China
Prior art keywords
staining
image
cell membrane
cells
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911115369.6A
Other languages
English (en)
Other versions
CN110853022A (zh
Inventor
张军
颜克洲
姚建华
韩骁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911115369.6A priority Critical patent/CN110853022B/zh
Publication of CN110853022A publication Critical patent/CN110853022A/zh
Priority to PCT/CN2020/115842 priority patent/WO2021093451A1/zh
Priority to EP20887251.5A priority patent/EP3989160A4/en
Application granted granted Critical
Publication of CN110853022B publication Critical patent/CN110853022B/zh
Priority to US17/515,170 priority patent/US11967069B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

本申请提供了一种病理切片图像的处理方法、装置、系统及存储介质，涉及人工智能的智能医疗技术领域。所述方法包括：获取经细胞膜染色后的病理切片在显微镜的n个视野下的染色图像；对于n个视野中第i个视野下的染色图像，确定第i个视野下的染色图像中癌症细胞的细胞核位置；生成第i个视野下的染色图像的细胞膜描述结果，该细胞膜描述结果用于指示细胞膜染色的完整性和染色强度；根据细胞核位置和细胞膜描述结果，确定第i个视野下的染色图像中各种类型的细胞数量；根据n个视野下的染色图像中各种类型的细胞数量，确定病理切片的分析结果。本申请提供了一种对病理切片进行系统性的细胞膜染色分析的技术方案，有助于提升检测结果的准确性。

Description

病理切片图像的处理方法、装置、系统及存储介质
技术领域
本申请实施例涉及人工智能的智能医疗技术领域，特别涉及一种病理切片图像的处理方法、装置、系统及存储介质。
背景技术
正确检测和评定乳腺癌的HER2(Human Epidermal growth factor Receptor-2，人类表皮生长因子受体-2)蛋白表达和基因扩增状态，对乳腺癌的临床治疗及预后判断至关重要。
在相关技术中，通过对病理切片进行细胞膜染色，然后在显微镜下对该经细胞膜染色后的病理切片进行观察和分析，能够辅助医生进行HER2检测。但是，相关技术缺少对病理切片进行系统性的细胞膜染色分析，导致最终检测结果不够准确。
发明内容
本申请实施例提供了一种病理切片图像的处理方法、装置、系统及存储介质，可用于解决相关技术中对病理切片的分析不够准确的技术问题。所述技术方案如下：
一方面，本申请实施例提供了一种病理切片图像的处理方法，所述方法包括：
获取经细胞膜染色后的病理切片在显微镜的n个视野下的染色图像，所述n为正整数；
对于所述n个视野中第i个视野下的染色图像，确定所述第i个视野下的染色图像中癌症细胞的细胞核位置，所述i为小于或等于所述n的正整数；
生成所述第i个视野下的染色图像的细胞膜描述结果，所述细胞膜描述结果用于指示细胞膜染色的完整性和染色强度；
根据所述细胞核位置和所述细胞膜描述结果，确定所述第i个视野下的染色图像中各种类型的细胞数量；
根据所述n个视野下的染色图像中所述各种类型的细胞数量，确定所述病理切片的分析结果。
另一方面，本申请实施例提供了一种病理切片图像的处理装置，所述装置包括：
图像获取模块，用于获取经细胞膜染色后的病理切片在显微镜的n个视野下的染色图像，所述n为正整数；
细胞核检测模块，用于对于所述n个视野中第i个视野下的染色图像，确定所述第i个视野下的染色图像中癌症细胞的细胞核位置，所述i为小于或等于所述n的正整数；
细胞膜描述模块，用于生成所述第i个视野下的染色图像的细胞膜描述结果，所述细胞膜描述结果用于指示细胞膜染色的完整性和染色强度；
数量确定模块，用于根据所述细胞核位置和所述细胞膜描述结果，确定所述第i个视野下的染色图像中各种类型的细胞数量；
结果确定模块，用于根据所述n个视野下的染色图像中所述各种类型的细胞数量，确定所述病理切片的分析结果。
另一方面，本申请实施例提供了一种智能显微镜系统，所述智能显微镜系统包括：显微镜、相机和计算机设备；
所述显微镜，用于对经细胞膜染色后的病理切片进行观察；
所述相机，用于获取所述病理切片在所述显微镜的n个视野下的染色图像，所述n为正整数；
所述计算机设备，用于对于所述n个视野中第i个视野下的染色图像，确定所述第i个视野下的染色图像中癌症细胞的细胞核位置，所述i为小于或等于所述n的正整数；生成所述第i个视野下的染色图像的细胞膜描述结果，所述细胞膜描述结果用于指示细胞膜染色的完整性和染色强度；根据所述细胞核位置和所述细胞膜描述结果，确定所述第i个视野下的染色图像中各种类型的细胞数量；根据所述n个视野下的染色图像中所述各种类型的细胞数量，确定所述病理切片的分析结果。
再一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述病理切片图像的处理方法。
再一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述病理切片图像的处理方法。
还一方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品被处理器执行时，用于实现上述病理切片图像的处理方法。
本申请实施例提供的技术方案可以包括如下有益效果：
通过获取经细胞膜染色后的病理切片在显微镜的n个视野下的染色图像，对各个染色图像进行细胞检测和细胞膜描述，得到各个染色图像中癌症细胞的细胞核位置和细胞膜描述结果，结合上述两方面信息确定出各种类型的细胞数量，进而确定该病例切片的分析结果，提供了一种对病理切片进行系统性的细胞膜染色分析的技术方案，有助于提升检测结果的准确性。
另外，在本申请实施例提供的技术方案中，并没有直接使用深度学习方法直接对病理切片的染色图像进行分析，由模型直接输出分析结果，这种黑盒处理方式并不符合相关诊断指南对于HER2分级的规定。在本申请实施例提供的技术方案中，依据相关诊断指南的定义，对癌症细胞进行检测并分类，从而可以依照指南的判定准则进行HER2分级，从而提升最终得到的HER2分级结果的规范性和准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的智能显微镜系统的示意图；
图2是本申请一个实施例提供的病理切片图像的处理方法的流程图；
图3是本申请示出的一种在显微镜的多个视野下的染色图像的示意图；
图4是本申请示出的一种细胞核检测模型的输入和输出的示意图；
图5是本申请示出的一种染色图像原图、封闭区域分割图像、弱染色分割图像和强染色分割图像的示意图；
图6是本申请示出的一种完整技术方案的流程图；
图7是本申请一个实施例提供的病理切片图像的处理装置的框图；
图8是本申请另一个实施例提供的病理切片图像的处理装置的框图；
图9是本申请一个实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
AI(Artificial Intelligence，人工智能)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)：计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
ML(Machine Learning，机器学习)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及智能医疗技术领域，利用计算机视觉技术对经细胞膜染色后的病理切片进行图像处理和分析，最终确定出该病理切片对应的分析结果，从而辅助医生进行疾病的诊断与治疗。
下面，将通过几个实施例对本申请技术方案进行介绍说明。
请参考图1，其示出了本申请一个实施例提供的智能显微镜系统的示意图。该智能显微镜系统可以包括：显微镜11、相机12和计算机设备13。
显微镜11用于对病理切片进行观察。在本申请的实施例中，显微镜11用于对经细胞膜染色后的病理切片进行观察。
相机12用于拍摄获取病理切片在显微镜11的视野下的病理切片图像。可选地，上述病理切片为HER2染色切片。HER2染色将阳性癌症细胞膜染成棕色，细胞核染成蓝色。HER2分级一般包括0、1+、2+和3+四类。通常，需要在显微镜的中高倍视野下(如10倍、20倍或40倍)采集获取上述病理切片图像。
计算机设备13用于基于相机12拍摄获取的上述病理切片图像，通过执行稍后将详细描述的方法流程，获得该病理切片图像对应的分析结果。在上述病理切片为HER2染色切片的情况下，该分析结果可以是HER2分级结果。计算机设备13可以是任何具备计算和存储能力的电子设备，如PC(Personal Computer，个人计算机)。
显微镜11、相机12和计算机设备13可以配置为处于同一物理位置，甚至配置为属于同一物理设备。可替代地，显微镜11、相机12和计算机设备13可以配置为处于不同位置，并且通过有线或者无线通信网络连接，从而在相互之间传输数据或者命令。
请参考图2，其示出了本申请一个实施例提供的病理切片图像的处理方法的流程图。该方法各步骤的执行主体可以是上文介绍的智能显微镜系统中的计算机设备。该方法可以包括如下几个步骤：
步骤201，获取经细胞膜染色后的病理切片在显微镜的n个视野下的染色图像，n为正整数。
可选地，上述n个视野是对病理切片进行观察后得到的多个包含癌症细胞的显微镜视野。该n个视野可以由医生负责选择。例如，以确定病理切片的HER2分级为例，由于HER2分级是定义在浸润癌细胞染色状况上的，因此可以由医生负责采集多个典型包含浸润癌细胞区域的显微镜视野。
在一个示例中，n为大于1的整数，例如n为10。由于相关诊断指南(比如乳腺癌HER2检测指南)上对HER2分级是定义在对病理切片进行全片分析的基础上，而显微镜应用场景的图像获取来自多个视野，因此很难拼接出完整的病理切片图像。本申请通过采用医生选择的多个典型视野图像近似替代全片诊断结果的策略进行HER2分级，能够避免全片扫描，并得到准确的HER2分级结果。
示例性地，如图3所示，其示出了经细胞膜染色后的病理切片在显微镜的多个视野下的染色图像的示意图，其中，图像31、32和33分别表示同一病理切片在显微镜的3个视野下的染色图像。需要说明的是，该染色图像实际上是RGB图像，阳性癌症细胞膜染成棕色，细胞核染成蓝色。
步骤202，对于n个视野中第i个视野下的染色图像，确定第i个视野下的染色图像中癌症细胞的细胞核位置，i为小于或等于n的正整数。
在示例性实施例中，可以采用深度学习方法对染色图像进行癌症细胞检测，确定出染色图像中癌症细胞的细胞核位置。比如，可以采用FCN(Fully ConvolutionalNetworks，全卷积网络)构建细胞核检测模型，采用热力图回归的方式对该细胞核检测模型进行训练，完成训练的细胞核检测模型则可用于细胞核检测。细胞核检测模型的输入可以是染色图像(该染色图像为RGB图像)，输入为以细胞中心点为中心的类高斯响应图像。通过寻找输入热力图的局部最大响应位置的方式，便可得到所有的癌症细胞。
可选地，通过细胞核检测模型对第i个视野下的染色图像进行处理，得到第i个视野下的染色图像中癌症细胞的细胞核位置。该细胞核位置可以包括第i个视野下的染色图像中癌症细胞的坐标集合(记为Ddetect)，该坐标集合Ddetect包括第i个视野下的染色图像中各个癌症细胞的细胞核的位置坐标。示例性地，如图4所示，左侧为细胞核检测模型的输入图像41，也即某一个视野下的染色图像，右侧为标记出检测到的癌症细胞的细胞核位置的染色图像42，其中，细胞核位置以黑色小圆点标记。
当然，上文介绍的癌症细胞检测方法仅是示例性和解释性的，本申请实施例并不限定还可以采用其它的癌症细胞检测方法。
步骤203，生成第i个视野下的染色图像的细胞膜描述结果，该细胞膜描述结果用于指示细胞膜染色的完整性和染色强度。
由于细胞膜染色的完整性和染色强度决定了该病理切片的分析结果，因此需要获取染色图像的细胞膜描述结果。其中，细胞膜染色的完整性是指染色后的细胞膜是否为一个完整的细胞膜，染色强度是指染色后的细胞膜所呈现的着色深度。
在本申请实施例中，可以对染色图像进行处理和分析，得到该染色图像的细胞膜描述结果，相关流程可参见下文实施例中的介绍说明。
步骤204，根据细胞核位置和细胞膜描述结果，确定第i个视野下的染色图像中各种类型的细胞数量。
在本申请实施例中，依据细胞膜染色情况将细胞分为多种类型。可选地，上述类型包括：完整强染色细胞、不完整强染色细胞、完整弱染色细胞、不完整弱染色细胞和无染色细胞共5种类型。其中，完整强染色细胞是指细胞膜染色完整且染色强度高的细胞，不完整强染色细胞是指细胞膜染色不完整且染色强度高的细胞，完整弱染色细胞是指细胞膜染色完整且染色强度低的细胞，不完整弱染色细胞是指细胞膜染色不完整且染色强度低的细胞，无染色细胞是指没有进行染色的细胞。
通过结合染色图像的细胞核位置和细胞膜描述结果，可以确定出该染色图像中各种类型的细胞数量，从而实现对细胞的量化分析和判断。例如，确定出某个视野下的染色图像中各种类型的细胞数量包括：完整强染色细胞170个，不完整强染色细胞230个，完整弱染色细胞2个，不完整弱染色细胞104个，无染色细胞47个。
步骤205，根据n个视野下的染色图像中各种类型的细胞数量，确定病理切片的分析结果。
当n为大于1的整数时，对于该多个视野中每个视野下的染色图像，均可以执行上述步骤202-204，得到每个视野下的染色图像中各种类型的细胞数量。之后，综合统计出该n个视野下的染色图像中各种类型的细胞数量。对于每一种类型的细胞，将该种类型的细胞在上述各个染色图像中的数量求和，得到该种类型的细胞在所有n个染色图像中的总数量。
可选地，根据上述n个视野下的染色图像中各种类型的细胞数量，确定n个视野下的染色图像中各种类型的细胞占比；根据各种类型的细胞占比，确定病理切片的分析结果。以对乳腺癌病理切片进行HER2分级为例，如果完整强染色细胞的细胞占比大于10％，则HER2分级为3+。如果完整弱染色细胞的细胞占比大于10％或者完整强染色细胞的细胞占比小于或等于10％，则HER2分级为2+。如果不完整弱染色细胞的细胞占比大于10％，则HER2分级为1+。如果无染色细胞或者不完整弱染色细胞的细胞占比小于或等于10％，则HER2分级为0。当HER2分级为3+时判断为HAR2阳性，当HER2分级为2+时需要进一步应用原位杂交的方法进行HER2基因增扩状态检测，也可以选取不同的组织块重新检测。当HER2分级为1+或者0时判断为HAR2阴性。当然，上述关于根据各种类型的细胞占比确定病理切片的分析结果的介绍说明，仅是示例性和解释性的，在实际应用中，可以结合实际情况设定相应的分析结果判定标准，本申请实施例对此不作限定。
综上所述，本申请实施例提供的技术方案中，通过获取经细胞膜染色后的病理切片在显微镜的n个视野下的染色图像，对各个染色图像进行细胞检测和细胞膜描述，得到各个染色图像中癌症细胞的细胞核位置和细胞膜描述结果，结合上述两方面信息确定出各种类型的细胞数量，进而确定该病例切片的分析结果，提供了一种对病理切片进行系统性的细胞膜染色分析的技术方案，有助于提升检测结果的准确性。
另外，在本申请实施例提供的技术方案中，并没有直接使用深度学习方法直接对病理切片的染色图像进行分析，由模型直接输出分析结果，这种黑盒处理方式并不符合相关诊断指南对于HER2分级的规定。在本申请实施例提供的技术方案中，依据相关诊断指南的定义，对癌症细胞进行检测并分类，从而可以依照指南的判定准则进行HER2分级，从而提升最终得到的HER2分级结果的规范性和准确性。
在示例性实施例中，上述步骤203可以包括如下几个子步骤：
1、对第i个视野下的染色图像进行色彩通道分解和重组，得到目标染色通道图像；
染色图像是一个RGB三通道图像，可以表示为IRGB，通过对该染色图像IRGB进行色彩通道分解和重组，生成3个免疫组化通道图像，分别是IH(苏木精)，IE(依红)和IDAB(二氨基联苯胺)，其中，IDAB通道图像为棕色染色通道图像。在本申请实施例中，目标染色通道图像即为上述棕色染色通道图像，通过对棕色染色通道图像进行分析，可以得到需要的细胞膜描述结果。
2、根据目标染色通道图像生成细胞膜描述结果。
在本申请实施例中，细胞膜描述结果包括第一区域分割结果、第二区域分割结果和第三区域分割结果。其中，第一区域分割结果用于指示染色完整的细胞膜位置，第二区域分割结果用于指示染色强度大于第一门限值的细胞膜位置，第三区域分割结果用于指示染色强度大于第二门限值的细胞膜位置。如果染色强度的取值越大表示染色强度越高，那么上述第一门限值小于第二门限值，也即染色强度大于第一门限值且小于等于第二门限值的细胞即为弱染色细胞，染色强度大于第二门限值的细胞即为强染色细胞，染色强度小于第一门限值的细胞可以视为无染色细胞。
可选地，本步骤可以包括如下几个子步骤：
2.1、对目标染色通道图像以第一阈值进行阈值分割处理，得到弱染色分割图像；
例如，对于目标染色通道图像中的每个像素，如果该像素的像素值大于第一阈值，则将该像素的像素值记为1，如果该像素的像素值小于或等于第一阈值，则将该像素的像素值记为0，最终将目标染色通道图像转化为一个二值化的弱染色分割图像。该第一阈值可以结合实际情况预先设定，本申请实施例对此不作限定。
2.2、对目标染色通道图像以第二阈值进行阈值分割处理，得到强染色分割图像；
例如，对于目标染色通道图像中的每个像素，如果该像素的像素值大于第二阈值，则将该像素的像素值记为1，如果该像素的像素值小于或等于第二阈值，则将该像素的像素值记为0，最终将目标染色通道图像转化为一个二值化的强染色分割图像。该第二阈值可以结合实际情况预先设定，本申请实施例对此不作限定。
2.3、根据弱染色分割图像和强染色分割图像，生成细胞膜描述结果。
以目标染色通道图像为上述IDAB通道图像为例，由于IDAB通道图像中各个像素的像素值为负数，因此可以采用第一阈值t1对图像IDAB进行阈值分割处理得到弱染色分割图像Mlight，采用第二阈值t2对图像IDAB进行阈值分割处理得到强染色分割图像Mheavy，t2＝a×t1，a为小于1的系数。示例性地，t1＝-0.35，a＝0.9。
需要说明的一点是，上述弱染色分割图像中除了包含弱染色细胞之外还包括比弱染色更强的强染色细胞，但上述强染色分割图像中仅包括强染色细胞。
可选地，在得到弱染色分割图像和强染色分割图像之后，可以对弱染色分割图像进行第一形态学处理，得到第一区域分割结果；对弱染色分割图像进行第二形态学处理，得到第二区域分割结果；对强染色分割图像进行第二形态学处理，得到第三区域分割结果。
其中，对弱染色分割图像进行第一形态学处理可以包括：对弱染色分割图像进行骨架提取处理，得到弱染色分割图像中的细胞骨架；查找细胞骨架闭合的封闭区域；若封闭区域是最内层封闭区域，则填充该最内层封闭区域，得到封闭区域分割图像；提取封闭区域分割图像中前景像素的位置信息，得到第一区域分割结果。可选地，对弱染色分割图像Mlight进行中心线提取处理，完成细胞膜勾画得到细胞骨架，然后对中心线进行统计分析，统计每个连通的边界构成的封闭区域。如果封闭区域是最内层封闭区域，则将该最内层封闭区域确定为是一个完整细胞膜的勾画边界。填充所有最内层封闭区域，得到封闭区域分割图像Menclosed，如图5所示，并定义封闭区域分割图像Menclosed中所有前景像素的位置坐标集合为Penclosed，该Penclosed即为第一区域分割结果。
对弱染色分割图像进行第二形态学处理可以包括：对弱染色分割图像进行区域膨胀处理，得到处理后的弱染色分割图像；提取处理后的弱染色分割图像中前景像素的位置信息，得到第二区域分割结果。区域膨胀处理的膨胀距离d可以结合实际情况预先设定，示例性地d＝45，本申请实施例对此不作限定。如图5所示，假设对弱染色分割图像Mlight进行区域膨胀处理，得到处理后的弱染色分割图像Elight，并定义处理后的弱染色分割图像Elight中所有前景像素的位置坐标集合为Plight，该Plight即为第二区域分割结果。
对强染色分割图像进行第二形态学处理可以包括：对强染色分割图像进行区域膨胀处理，得到处理后的强染色分割图像；提取处理后的强染色分割图像中前景像素的位置信息，得到第三区域分割结果。区域膨胀处理的膨胀距离d可以结合实际情况预先设定，示例性地d＝45，本申请实施例对此不作限定。如图5所示，假设对强染色分割图像Mheavy进行区域膨胀处理，得到处理后的强染色分割图像Eheavy，并定义处理后的强染色分割图像Eheavy中所有前景像素的位置坐标集合为Pheavy，该Pheavy即为第三区域分割结果。
相应地，根据细胞核位置和细胞膜描述结果，确定第i个视野下的染色图像中各种类型的细胞数量，包括如下几个子步骤：
1、将细胞核位置、第一区域分割结果和第三区域分割结果的交集中元素的个数，确定为完整强染色细胞的数量；
也即，完整强染色细胞坐标集合为Ddetect∩Penclosed∩Pheavy，对应的细胞数目为集合元素个数，即card(Ddetect∩Penclosed∩Pheavy)。
2、将细胞核位置、第一区域分割结果相对于第i个视野下的染色图像的补集、以及第二区域分割结果的交集中元素的个数，确定为不完整强染色细胞的数量；
也即，不完整强染色细胞坐标集合为Ddetect∩CUPenclosed∩Pheavy，这里CUPenclosed为Penclosed相对于全图U(也即第i个视野下的染色图像)的补集。对应的细胞数目为card(Ddetect∩CUPenclosed∩Pheavy)。
3、将细胞核位置、第一区域分割结果、第三区域分割结果相对于第i个视野下的染色图像的补集、以及第二区域分割结果的交集中元素的个数，确定为完整弱染色细胞的数量；
也即，完整弱染色细胞坐标集合为Ddetect∩Penclosed∩CUPheavy∩Plight，这里CUPheavy为Pheavy相对于全图U(也即第i个视野下的染色图像)的补集。对应的细胞数目为card(Ddetect∩Penclosed∩CUPheavy∩Plight)。
4、将细胞核位置、第一区域分割结果相对于第i个视野下的染色图像的补集、第三区域分割结果相对于第i个视野下的染色图像的补集、以及第二区域分割结果的交集中元素的个数，确定不完整弱染色细胞的数量；
也即，不完整弱染色细胞坐标集合为Ddetect∩CUPenclosed∩CUPheavy∩Plight。对应的细胞数目为card(Ddetect∩CUPenclosed∩CUPheavy∩Plight)。
5、将细胞核位置与第二区域分割结果相对于第i个视野下的染色图像的补集的交集中元素的个数，确定为无染色细胞的数量。
也即，无染色细胞坐标集合为Ddetect∩CUPlight，这里CUPlight为Plight相对于全图U(也即第i个视野下的染色图像)的补集。对应的细胞数目为card(Ddetect∩CUPlight)。
在本申请实施例中，通过上述方式，实现了对病理切片的染色图像中各种细胞类型进行量化统计和分析，为HER2分级提供了可靠的数据支持。
结合参考图6，其示出了本申请完整技术方案的流程图。获取经细胞膜染色后的病理切片在显微镜的多个视野下的染色图像，对于单视野下的染色图像，进行细胞核检测和细胞膜描述，得到该单视野下的染色图像中癌症细胞的细胞核位置和细胞膜描述结果，结合上述两方面信息得到该单视野下的细胞分类结果，也即各种类型的细胞数量。综合各个单视野下的细胞分类结果，得到多视野下的细胞分类结果，然后据此确定出该病理切片对应的HER2分级。例如，多视野下的细胞分类结果为：完整强染色细胞的细胞占比为20％，不完整强染色细胞的细胞占比为35％，完整弱染色细胞的细胞占比为5％，不完整弱染色细胞的细胞占比为10％，无染色细胞的细胞占比为30％，则HER2分级为3+。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图7，其示出了本申请一个实施例提供的病理切片图像的处理装置的框图。该装置具有实现上述方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是上文介绍的计算机设备，也可以设置在计算机设备中。该装置700可以包括：图像获取模块710、细胞核检测模块720、细胞膜描述模块730、数量确定模块740和结果确定模块750。
图像获取模块710，用于获取经细胞膜染色后的病理切片在显微镜的n个视野下的染色图像，所述n为正整数。
细胞核检测模块720，用于对于所述n个视野中第i个视野下的染色图像，确定所述第i个视野下的染色图像中癌症细胞的细胞核位置，所述i为小于或等于所述n的正整数。
细胞膜描述模块730，用于生成所述第i个视野下的染色图像的细胞膜描述结果，所述细胞膜描述结果用于指示细胞膜染色的完整性和染色强度。
数量确定模块740，用于根据所述细胞核位置和所述细胞膜描述结果，确定所述第i个视野下的染色图像中各种类型的细胞数量。
结果确定模块750，用于根据所述n个视野下的染色图像中所述各种类型的细胞数量，确定所述病理切片的分析结果。
综上所述，本申请实施例提供的技术方案中，通过获取经细胞膜染色后的病理切片在显微镜的n个视野下的染色图像，对各个染色图像进行细胞检测和细胞膜描述，得到各个染色图像中癌症细胞的细胞核位置和细胞膜描述结果，结合上述两方面信息确定出各种类型的细胞数量，进而确定该病例切片的分析结果，提供了一种对病理切片进行系统性的细胞膜染色分析的技术方案，有助于提升检测结果的准确性。
在示例性实施例中，如图8所示，所述细胞膜描述模块730包括：分解重组子模块731和细胞膜描述子模块732。
分解重组子模块731，用于对所述第i个视野下的染色图像进行色彩通道分解和重组，得到目标染色通道图像。
细胞膜描述子模块732，用于根据所述目标染色通道图像生成所述细胞膜描述结果，所述细胞膜描述结果包括第一区域分割结果、第二区域分割结果和第三区域分割结果。
其中，所述第一区域分割结果用于指示染色完整的细胞膜位置，所述第二区域分割结果用于指示染色强度大于第一门限值的细胞膜位置，所述第三区域分割结果用于指示染色强度大于第二门限值的细胞膜位置。
在示例性实施例中，如图8所示，所述细胞膜描述子模块732包括：第一分割单元732a、第二分割单元732b和细胞膜描述单元732c。
第一分割单元732a，用于对所述目标染色通道图像以第一阈值进行阈值分割处理，得到弱染色分割图像。
第二分割单元732b，用于对所述目标染色通道图像以第二阈值进行阈值分割处理，得到强染色分割图像。
细胞膜描述单元732c，用于根据所述弱染色分割图像和所述强染色分割图像，生成所述细胞膜描述结果。
在示例性实施例中，如图8所示，所述细胞膜描述单元732c，用于：
对所述弱染色分割图像进行第一形态学处理，得到所述第一区域分割结果；
对所述弱染色分割图像进行第二形态学处理，得到所述第二区域分割结果；
对所述强染色分割图像进行所述第二形态学处理，得到所述第三区域分割结果。
在示例性实施例中，所述细胞膜描述单元732c，用于：
对所述弱染色分割图像进行骨架提取处理，得到所述弱染色分割图像中的细胞骨架；
查找所述细胞骨架闭合的封闭区域；
若所述封闭区域是最内层封闭区域，则填充所述最内层封闭区域，得到封闭区域分割图像；
提取所述封闭区域分割图像中前景像素的位置信息，得到所述第一区域分割结果。
在示例性实施例中，所述细胞膜描述单元732c，用于：
对所述弱染色分割图像进行区域膨胀处理，得到处理后的弱染色分割图像；
提取所述处理后的弱染色分割图像中前景像素的位置信息，得到所述第二区域分割结果。
在示例性实施例中，所述细胞膜描述单元732c，用于：
对所述强染色分割图像进行区域膨胀处理，得到处理后的强染色分割图像；
提取所述处理后的强染色分割图像中前景像素的位置信息，得到所述第三区域分割结果。
在示例性实施例中，所述类型包括：完整强染色细胞、不完整强染色细胞、完整弱染色细胞、不完整弱染色细胞和无染色细胞。
在示例性实施例中，所述数量确定模块740，用于：
将所述细胞核位置、第一区域分割结果和第三区域分割结果的交集中元素的个数，确定为所述完整强染色细胞的数量；
将所述细胞核位置、所述第一区域分割结果相对于所述第i个视野下的染色图像的补集、以及第二区域分割结果的交集中元素的个数，确定为所述不完整强染色细胞的数量；
将所述细胞核位置、所述第一区域分割结果、所述第三区域分割结果相对于所述第i个视野下的染色图像的补集、以及所述第二区域分割结果的交集中元素的个数，确定为所述完整弱染色细胞的数量；
将所述细胞核位置、所述第一区域分割结果相对于所述第i个视野下的染色图像的补集、所述第三区域分割结果相对于所述第i个视野下的染色图像的补集、以及所述第二区域分割结果的交集中元素的个数，确定所述不完整弱染色细胞的数量；
将所述细胞核位置与所述第二区域分割结果相对于所述第i个视野下的染色图像的补集的交集中元素的个数，确定为所述无染色细胞的数量；
其中，所述细胞膜描述结果包括所述第一区域分割结果、所述第二区域分割结果和所述第三区域分割结果，所述第一区域分割结果用于指示染色完整的细胞膜位置，所述第二区域分割结果用于指示染色强度大于第一门限值的细胞膜位置，所述第三区域分割结果用于指示染色强度大于第二门限值的细胞膜位置。
在示例性实施例中，所述细胞核检测模块720，用于通过细胞核检测模型对所述第i个视野下的染色图像进行处理，得到所述细胞核位置。
在示例性实施例中，所述结果确定模块750，用于：
根据所述n个视野下的染色图像中所述各种类型的细胞数量，确定所述n个视野下的染色图像中所述各种类型的细胞占比；
根据所述各种类型的细胞占比，确定所述病理切片的分析结果。
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请一示例性实施例还提供了一种智能显微镜系统，包括：显微镜、相机和计算机设备。
所述显微镜，用于对经细胞膜染色后的病理切片进行观察。
所述相机，用于获取所述病理切片在所述显微镜的n个视野下的染色图像，所述n为正整数。
所述计算机设备，用于对于所述n个视野中第i个视野下的染色图像，确定所述第i个视野下的染色图像中癌症细胞的细胞核位置，所述i为小于或等于所述n的正整数；生成所述第i个视野下的染色图像的细胞膜描述结果，所述细胞膜描述结果用于指示细胞膜染色的完整性和染色强度；根据所述细胞核位置和所述细胞膜描述结果，确定所述第i个视野下的染色图像中各种类型的细胞数量；根据所述n个视野下的染色图像中所述各种类型的细胞数量，确定所述病理切片的分析结果。
可选地，所述计算机设备还用于执行上文方法实施例中介绍的其它步骤，本申请实施例对此不作限定。
请参考图9，其示出了本申请一个实施例提供的计算机设备的结构示意图。具体来讲：
所述计算机设备900包括CPU(Central Processing Unit，中央处理单元)901、包括RAM(Random Access Memory，随机存取存储器)902和ROM(Read Only Memory，只读存储器)903的系统存储器904，以及连接系统存储器904和中央处理单元901的系统总线905。所述计算机设备900还包括帮助计算机内的各个器件之间传输信息的基本I/O(Input/Output输入/输出)系统906，和用于存储操作系统913、应用程序914和其他程序模块915的大容量存储设备907。
所述基本输入/输出系统906包括有用于显示信息的显示器908和用于用户输入信息的诸如鼠标、键盘之类的输入设备909。其中所述显示器908和输入设备909都通过连接到系统总线905的输入输出控制器910连接到中央处理单元901。所述基本输入/输出系统906还可以包括输入输出控制器910以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器910还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备907通过连接到系统总线905的大容量存储控制器(未示出)连接到中央处理单元901。所述大容量存储设备907及其相关联的计算机可读介质为计算机设备900提供非易失性存储。也就是说，所述大容量存储设备907可以包括诸如硬盘或者CD-ROM(Compact Disc Read-Only Memory，只读光盘)驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM(Erasable Programmable Read Only Memory，可擦除可编程只读存储器)、闪存或其他固态存储其技术，CD-ROM或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器904和大容量存储设备907可以统称为存储器。
根据本申请的各种实施例，所述计算机设备900还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备900可以通过连接在所述系统总线905上的网络接口单元911连接到网络912，或者说，也可以使用网络接口单元911来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集存储于存储器中，且经配置以由一个或者一个以上处理器执行，以实现上述病理切片图像的处理方法。
在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被终端的处理器执行时以实现上述病理切片图像的处理方法。
可选地，该计算机可读存储介质可以包括：ROM、RAM、SSD(Solid State Drives，固态硬盘)或光盘等。其中，随机存取记忆体可以包括ReRAM(Resistance Random AccessMemory，电阻式随机存取记忆体)和DRAM(Dynamic Random Access Memory，动态随机存取存储器)。
在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品被终端的处理器执行时，用于实现上述病理切片图像的处理方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本申请实施例对此不作限定。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种病理切片图像的处理方法，其特征在于，所述方法包括：
获取经细胞膜染色后的病理切片在显微镜的n个视野下的染色图像，所述n为正整数；
对于所述n个视野中第i个视野下的染色图像，确定所述第i个视野下的染色图像中癌症细胞的细胞核位置，所述i为小于或等于所述n的正整数；
生成所述第i个视野下的染色图像的细胞膜描述结果，所述细胞膜描述结果用于指示细胞膜染色的完整性和染色强度，所述细胞膜描述结果包括第一区域分割结果、第二区域分割结果和第三区域分割结果，所述第一区域分割结果用于指示染色完整的细胞膜位置，所述第二区域分割结果用于指示所述染色强度大于第一门限值的所述细胞膜位置，所述第三区域分割结果用于指示所述染色强度大于第二门限值的所述细胞膜位置；
根据所述细胞核位置、所述第一区域分割结果、所述第二区域分割结果和所述第三区域分割结果，确定所述第i个视野下的染色图像中各种类型的细胞数量，所述各种类型的细胞包括完整染色细胞、不完整强染色细胞、完整弱染色细胞、不完整弱染色细胞和无染色细胞；
根据所述n个视野下的染色图像中所述各种类型的细胞数量，确定所述病理切片的分析结果。
2.根据权利要求1所述的方法，其特征在于，所述生成所述第i个视野下的染色图像的细胞膜描述结果，包括：
对所述第i个视野下的染色图像进行色彩通道分解和重组，得到目标染色通道图像；
根据所述目标染色通道图像生成所述细胞膜描述结果。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标染色通道图像生成所述细胞膜描述结果，包括：
对所述目标染色通道图像以第一阈值进行阈值分割处理，得到弱染色分割图像；
对所述目标染色通道图像以第二阈值进行阈值分割处理，得到强染色分割图像；
根据所述弱染色分割图像和所述强染色分割图像，生成所述细胞膜描述结果。
4.根据权利要求3所述的方法，其特征在于，所述根据所述弱染色分割图像和所述强染色分割图像，生成所述细胞膜描述结果，包括：
对所述弱染色分割图像进行第一形态学处理，得到所述第一区域分割结果；
对所述弱染色分割图像进行第二形态学处理，得到所述第二区域分割结果；
对所述强染色分割图像进行所述第二形态学处理，得到所述第三区域分割结果。
5.根据权利要求4所述的方法，其特征在于，所述对所述弱染色分割图像进行第一形态学处理，得到所述第一区域分割结果，包括：
对所述弱染色分割图像进行骨架提取处理，得到所述弱染色分割图像中的细胞骨架；
查找所述细胞骨架闭合的封闭区域；
若所述封闭区域是最内层封闭区域，则填充所述最内层封闭区域，得到封闭区域分割图像；
提取所述封闭区域分割图像中前景像素的位置信息，得到所述第一区域分割结果。
6.根据权利要求4所述的方法，其特征在于，所述对所述弱染色分割图像进行第二形态学处理，得到所述第二区域分割结果，包括：
对所述弱染色分割图像进行区域膨胀处理，得到处理后的弱染色分割图像；
提取所述处理后的弱染色分割图像中前景像素的位置信息，得到所述第二区域分割结果。
7.根据权利要求4所述的方法，其特征在于，所述对所述强染色分割图像进行所述第二形态学处理，得到所述第三区域分割结果，包括：
对所述强染色分割图像进行区域膨胀处理，得到处理后的强染色分割图像；
提取所述处理后的强染色分割图像中前景像素的位置信息，得到所述第三区域分割结果。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述根据所述细胞核位置、所述第一区域分割结果、所述第二区域分割结果和所述第三区域分割结果，确定所述第i个视野下的染色图像中各种类型的细胞数量，包括：
将所述细胞核位置、所述第一区域分割结果和所述第三区域分割结果的交集中元素的个数，确定为所述完整强染色细胞的数量；
将所述细胞核位置、所述第一区域分割结果相对于所述第i个视野下的染色图像的补集、以及所述第二区域分割结果的交集中元素的个数，确定为所述不完整强染色细胞的数量；
将所述细胞核位置、所述第一区域分割结果、所述第三区域分割结果相对于所述第i个视野下的染色图像的补集、以及所述第二区域分割结果的交集中元素的个数，确定为所述完整弱染色细胞的数量；
将所述细胞核位置、所述第一区域分割结果相对于所述第i个视野下的染色图像的补集、所述第三区域分割结果相对于所述第i个视野下的染色图像的补集、以及所述第二区域分割结果的交集中元素的个数，确定所述不完整弱染色细胞的数量；
将所述细胞核位置与所述第二区域分割结果相对于所述第i个视野下的染色图像的补集的交集中元素的个数，确定为所述无染色细胞的数量。
9.根据权利要求1至7任一项所述的方法，其特征在于，所述确定所述第i个视野下的染色图像中癌症细胞的细胞核位置，包括：
通过细胞核检测模型对所述第i个视野下的染色图像进行处理，得到所述细胞核位置。
10.根据权利要求1至7任一项所述的方法，其特征在于，所述根据所述n个视野下的染色图像中所述各种类型的细胞数量，确定所述病理切片的分析结果，包括：
根据所述n个视野下的染色图像中所述各种类型的细胞数量，确定所述n个视野下的染色图像中所述各种类型的细胞占比；
根据所述各种类型的细胞占比，确定所述病理切片的分析结果。
11.一种病理切片图像的处理装置，其特征在于，所述装置包括：
图像获取模块，用于获取经细胞膜染色后的病理切片在显微镜的n个视野下的染色图像，所述n为正整数；
细胞核检测模块，用于对于所述n个视野中第i个视野下的染色图像，确定所述第i个视野下的染色图像中癌症细胞的细胞核位置，所述i为小于或等于所述n的正整数；
细胞膜描述模块，用于生成所述第i个视野下的染色图像的细胞膜描述结果，所述细胞膜描述结果用于指示细胞膜染色的完整性和染色强度，所述细胞膜描述结果包括第一区域分割结果、第二区域分割结果和第三区域分割结果，所述第一区域分割结果用于指示染色完整的细胞膜位置，所述第二区域分割结果用于指示所述染色强度大于第一门限值的所述细胞膜位置，所述第三区域分割结果用于指示所述染色强度大于第二门限值的所述细胞膜位置；
数量确定模块，用于根据所述细胞核位置、所述第一区域分割结果、所述第二区域分割结果和所述第三区域分割结果，确定所述第i个视野下的染色图像中各种类型的细胞数量，所述各种类型的细胞包括完整染色细胞、不完整强染色细胞、完整弱染色细胞、不完整弱染色细和无染色细胞；
结果确定模块，用于根据所述n个视野下的染色图像中所述各种类型的细胞数量，确定所述病理切片的分析结果。
12.一种智能显微镜系统，其特征在于，所述智能显微镜系统包括：显微镜、相机和计算机设备；
所述显微镜，用于对经细胞膜染色后的病理切片进行观察；
所述相机，用于获取所述病理切片在所述显微镜的n个视野下的染色图像，所述n为正整数；
所述计算机设备，用于对于所述n个视野中第i个视野下的染色图像，确定所述第i个视野下的染色图像中癌症细胞的细胞核位置，所述i为小于或等于所述n的正整数；生成所述第i个视野下的染色图像的细胞膜描述结果，所述细胞膜描述结果用于指示细胞膜染色的完整性和染色强度，所述细胞膜描述结果包括第一区域分割结果、第二区域分割结果和第三区域分割结果，所述第一区域分割结果用于指示染色完整的细胞膜位置，所述第二区域分割结果用于指示所述染色强度大于第一门限值的所述细胞膜位置，所述第三区域分割结果用于指示所述染色强度大于第二门限值的所述细胞膜位置；根据所述细胞核位置、所述第一区域分割结果、所述第二区域分割结果和所述第三区域分割结果，确定所述第i个视野下的染色图像中各种类型的细胞数量，所述各种类型的细胞包括完整染色细胞、不完整强染色细胞、完整弱染色细胞、不完整弱染色细和无染色细胞；根据所述n个视野下的染色图像中所述各种类型的细胞数量，确定所述病理切片的分析结果。
13.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至10任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至10任一项所述的方法。
CN201911115369.6A 2019-11-14 2019-11-14 病理切片图像的处理方法、装置、系统及存储介质 Active CN110853022B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911115369.6A CN110853022B (zh) 2019-11-14 2019-11-14 病理切片图像的处理方法、装置、系统及存储介质
PCT/CN2020/115842 WO2021093451A1 (zh) 2019-11-14 2020-09-17 病理切片图像的处理方法、装置、系统及存储介质
EP20887251.5A EP3989160A4 (en) 2019-11-14 2020-09-17 PATHOLOGICAL SECTION IMAGE PROCESSING METHOD, APPARATUS, SYSTEM AND INFORMATION HOLDER
US17/515,170 US11967069B2 (en) 2019-11-14 2021-10-29 Pathological section image processing method and apparatus, system, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911115369.6A CN110853022B (zh) 2019-11-14 2019-11-14 病理切片图像的处理方法、装置、系统及存储介质

Publications (2)

Publication Number Publication Date
CN110853022A CN110853022A (zh) 2020-02-28
CN110853022B true CN110853022B (zh) 2020-11-06

Family

ID=69600907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911115369.6A Active CN110853022B (zh) 2019-11-14 2019-11-14 病理切片图像的处理方法、装置、系统及存储介质

Country Status (3)

Country Link
EP (1) EP3989160A4 (zh)
CN (1) CN110853022B (zh)
WO (1) WO2021093451A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110853022B (zh) * 2019-11-14 2020-11-06 腾讯科技（深圳）有限公司 病理切片图像的处理方法、装置、系统及存储介质
CN111430011B (zh) * 2020-03-31 2023-08-29 杭州依图医疗技术有限公司 细胞染色图像的显示方法、处理方法及存储介质
CN113705318B (zh) * 2021-04-22 2023-04-18 腾讯医疗健康(深圳)有限公司 基于图像的识别方法、装置、设备及可读存储介质
CN113077486B (zh) * 2021-04-30 2021-10-08 深圳世源工程技术有限公司 一种山区植被覆盖率监测方法及系统
CN114638782B (zh) * 2022-01-10 2023-02-07 武汉中纪生物科技有限公司 一种宫颈脱落细胞标本的检测方法
CN115130543B (zh) * 2022-04-29 2024-04-12 腾讯科技（深圳）有限公司 图像识别方法和装置、存储介质及电子设备
CN115222734B (zh) * 2022-09-20 2023-01-17 山东大学齐鲁医院 一种用于胃黏膜肠上皮化生的图像分析方法及系统
CN116246019B (zh) * 2023-02-27 2024-01-05 上海迪派生物科技有限公司 一种病理切片的3d重建方法、装置、设备及介质
CN117218139A (zh) * 2023-09-12 2023-12-12 珠海横琴圣澳云智科技有限公司 样本细胞密度的确定方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014088049A1 (en) * 2012-12-07 2014-06-12 Canon Kabushiki Kaisha Image generating apparatus and image generating method
CN108346145A (zh) * 2018-01-31 2018-07-31 浙江大学 一种病理切片中非常规细胞的识别方法
CN109903284A (zh) * 2019-03-04 2019-06-18 武汉大学 一种her2免疫组化图像自动判别方法及系统
CN110021013A (zh) * 2019-03-27 2019-07-16 广州金域医学检验中心有限公司 病理切片细胞的类型识别方法、装置和计算机设备
CN110390676A (zh) * 2019-07-26 2019-10-29 腾讯科技（深圳）有限公司 显微镜下医学染色图像的细胞检测方法、智能显微镜系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1036118C (zh) * 1992-12-29 1997-10-15 陈立奇 肿瘤图像诊断方法及系统
US7899624B2 (en) * 2005-07-25 2011-03-01 Hernani Del Mundo Cualing Virtual flow cytometry on immunostained tissue-tissue cytometer
CN101560544B (zh) * 2008-04-18 2012-09-19 麦克奥迪实业集团有限公司 一种细胞综合检测方法
WO2012041333A1 (en) * 2010-09-30 2012-04-05 Visiopharm A/S Automated imaging, detection and grading of objects in cytological samples
WO2013146843A1 (ja) * 2012-03-30 2013-10-03 コニカミノルタ株式会社 医用画像処理装置及びプログラム
US9147104B2 (en) * 2012-11-05 2015-09-29 The United States Of America As Represented By The Secretary Of The Air Force Systems and methods for processing low contrast images
AU2013369439B2 (en) * 2012-12-28 2019-01-17 Cleveland Clinic Foundation Image analysis for breast cancer prognosis
WO2015124777A1 (en) * 2014-02-21 2015-08-27 Ventana Medical Systems, Inc. Medical image analysis for identifying biomarker-positive tumor cells
US10078895B2 (en) * 2015-12-30 2018-09-18 Case Western Reserve University Prediction of recurrence of non-small cell lung cancer with tumor infiltrating lymphocyte (TIL) graphs
CN105741266B (zh) * 2016-01-22 2018-08-21 北京航空航天大学 一种病理图像细胞核快速定位方法
CN106940889B (zh) * 2017-03-30 2020-09-04 福建师范大学 基于像素邻域特征聚类的淋巴结he染色病理图像分割方法
CN108181334B (zh) * 2018-01-25 2021-11-16 浙江海洋大学 大菱鲆精细胞变态阶段的细胞学划分方法
CN110363762B (zh) * 2019-07-23 2023-03-14 腾讯医疗健康(深圳)有限公司 细胞检测方法、装置、智能显微镜系统和可读存储介质
CN110853022B (zh) * 2019-11-14 2020-11-06 腾讯科技（深圳）有限公司 病理切片图像的处理方法、装置、系统及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014088049A1 (en) * 2012-12-07 2014-06-12 Canon Kabushiki Kaisha Image generating apparatus and image generating method
CN108346145A (zh) * 2018-01-31 2018-07-31 浙江大学 一种病理切片中非常规细胞的识别方法
CN109903284A (zh) * 2019-03-04 2019-06-18 武汉大学 一种her2免疫组化图像自动判别方法及系统
CN110021013A (zh) * 2019-03-27 2019-07-16 广州金域医学检验中心有限公司 病理切片细胞的类型识别方法、装置和计算机设备
CN110390676A (zh) * 2019-07-26 2019-10-29 腾讯科技（深圳）有限公司 显微镜下医学染色图像的细胞检测方法、智能显微镜系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Automated Quantitative Image Analysis of Hematoxylin-Eosin Staining Slides in Lymphoma Based on Hierarchical Kmeans Clustering;Pemng Shi等;《2016 8th International Conference on Information Technology in Medicine and Education》;20161225;99-104 *
HE染色乳腺癌组织病理图像癌巢与间质分割研究;阚贤响等;《计算机工程与科学》;20170228;311-316 *

Also Published As

Publication number Publication date
US20220051404A1 (en) 2022-02-17
EP3989160A1 (en) 2022-04-27
EP3989160A4 (en) 2022-08-24
WO2021093451A1 (zh) 2021-05-20
CN110853022A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
CN110853022B (zh) 病理切片图像的处理方法、装置、系统及存储介质
US11901077B2 (en) Multiple instance learner for prognostic tissue pattern identification
US11935644B2 (en) Deep learning automated dermatopathology
EP3961484A1 (en) Medical image segmentation method and device, electronic device and storage medium
US20220237788A1 (en) Multiple instance learner for tissue image classification
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
Bjornsson et al. Associative image analysis: a method for automated quantification of 3D multi-parameter images of brain tissue
CN111260677B (zh) 基于显微图像的细胞分析方法、装置、设备及存储介质
US10121245B2 (en) Identification of inflammation in tissue images
CN110570352B (zh) 图像标注方法、装置、系统及细胞标注方法
CN109389129A (zh) 一种图像处理方法、电子设备及存储介质
JP2021512446A (ja) 画像処理方法、電子機器および記憶媒体
CN110490882B (zh) 细胞膜染色图像分析方法、装置及系统
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
CN114550169A (zh) 细胞分类模型的训练方法、装置、设备及介质
CN113096080B (zh) 图像分析方法及系统
Hu et al. Automatic detection of tuberculosis bacilli in sputum smear scans based on subgraph classification
CN114332854A (zh) 图像处理方法、装置、设备及存储介质
CN113706562B (zh) 图像分割方法、装置、系统及细胞分割方法
CN113781387A (zh) 模型训练方法、图像处理方法、装置、设备及存储介质
CN112330690B (zh) 基于显微图像的细胞分割方法、装置、设备及存储介质
US11967069B2 (en) Pathological section image processing method and apparatus, system, and storage medium
Liu et al. One-stage attention-based network for image classification and segmentation on optical coherence tomography image
CN114283406A (zh) 细胞图像识别方法、装置、设备、介质及计算机程序产品
CN113706450A (zh) 图像配准方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40021541

Country of ref document: HK