CN112132827A - 病理图像的处理方法、装置、电子设备及可读存储介质 - Google Patents

病理图像的处理方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN112132827A
CN112132827A CN202011091784.5A CN202011091784A CN112132827A CN 112132827 A CN112132827 A CN 112132827A CN 202011091784 A CN202011091784 A CN 202011091784A CN 112132827 A CN112132827 A CN 112132827A
Authority
CN
China
Prior art keywords
cell
processed
pathological
pathological image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011091784.5A
Other languages
English (en)
Inventor
沈荣波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011091784.5A priority Critical patent/CN112132827A/zh
Publication of CN112132827A publication Critical patent/CN112132827A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Abstract

本申请实施例提供了一种病理图像的处理方法、装置、电子设备及可读存储介质。该方法涉及人工智能及医疗技术领域，该方法包括：获取待处理病理图像；获取待处理病理图像对应的细胞形态特征，以及待处理病理图像中肿瘤病灶区域的纹理特征；将细胞形态特征和纹理特征进行融合，得到融合后的特征；根据融合后的特征，确定待处理病理图像对应的分类结果。在本申请实施例中，可以获取待处理病理图像对应的细胞形态特征、以及肿瘤病灶区域的纹理特征，并基于细胞形态特征和纹理特征进行融合，此时所得到的融合后的特征具备可解释性强、特征类型完备、特征表达较强的优点，进而在根据融合后的特征得到分类结果时，可以有效地提升分类结果的准确性。

Description

病理图像的处理方法、装置、电子设备及可读存储介质
技术领域
本申请涉及医疗技术领域，具体而言，本申请涉及一种病理图像的处理方法、装置、电子设备及可读存储介质。
背景技术
深度学习技术近年来发展迅速，其在医疗影像领域的检测识别方面也表现出巨大的应用潜力，例如，可以对HE(hematoxylin-eosin，伊红染色)病理影像进行乳腺ER(Estrogen Receptor，雌激素受体)阴阳性分类。
其中，现有技术中存在多种方式可以对HE病理影像进行ER阴阳性分类，如可以基于传统形态学分割技术的乳腺ER阴阳性分类方法、基于深度学习网络的ER阴阳性分类方法、基于形态特征图的深度学习网络阴阳性分类方法、以及基于深度学习网络和支持向量机的乳腺ER阴阳性分类方法等。但是经研究发现，现有技术中在对HE病理影像进行乳腺ER阴阳性分类时，存在细胞形态特征表征不佳、遗漏待检验的细胞、分类结果不准确的问题。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一，特别是细胞形态特征表征不佳、遗漏待检验的细胞、分类结果不准确的技术缺陷。
一方面，本申请实施例提供了一种病理图像的处理方法，该方法包括：
获取待处理病理图像；
获取待处理病理图像对应的细胞形态特征，以及待处理病理图像中肿瘤病灶区域的纹理特征；
将细胞形态特征和纹理特征进行融合，得到融合后的特征；
根据融合后的特征，确定待处理病理图像对应的分类结果。
另一方面，本申请实施例提供了一种病理图像的处理装置，该装置包括：
图像获取模块，用于获取待处理病理图像；
细胞形态特征获取模块，用于获取待处理病理图像对应的细胞形态特征；
纹理特征获取模块，用于获取待处理病理图像中肿瘤病灶区域的纹理特征；
特征融合模块，用于将细胞形态特征和纹理特征进行融合，得到融合后的特征；
分类结果确定模块，用于根据融合后的特征，确定待处理病理图像对应的分类结果。
再一方面，本申请实施例提供了一种医学设备，包括病理图像获取装置、存储器以及处理器：
病理图像获取装置，用于获取待处理病理图像；
存储器被配置用于存储计算机程序，计算机程序在由处理器执行时，使得处理器执行上述中一种病理图像的处理方法中的任一项。
又一方面，本申请实施例提供了一种电子设备，包括处理器以及存储器：存储器被配置用于存储计算机程序，计算机程序在由处理器执行时，使得处理器执行上述中一种病理图像的处理方法中的任一项。
再一方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质用于存储计算机程序，当计算机程序在计算机上运行时，使得计算机可以执行上述中一种病理图像的处理方法中的任一项。
本申请实施例提供的技术方案带来的有益效果是：
在本申请实施例中，在获取到待处理病理图像后，可以获取待处理病理图像对应的细胞形态特征、以及肿瘤病灶区域的纹理特征，然后可以基于细胞形态特征和纹理特征进行融合，此时所得到的融合后的特征具备可解释性强、特征类型完备、特征表达较强的优点，进而在根据融合后的特征得到分类结果时，可以有效地提升分类结果的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种病理图像的处理方法的流程示意图；
图2为本申请实施例提供的一种分割网络的结构示意图；
图3a为本申请实施例提供的一种适用于病理图像的处理方法的架构示意图；
图3b为本申请实施例提供的一种区域分割模块的结构示意图；
图4为本申请实施例提供的一种病理图像的处理装置的结构示意图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
在本申请实施例中，在获取到待处理病理图像后，可以基于人工智能中的机器学习/深度学习获取待处理病理图像对应的细胞形态特征和纹理特征，并基于该细胞形态特征和纹理特征，得到该待处理病理图像对应的分类结果。
其中，人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
而机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
另外，本申请实施例中所涉及的数据处理/计算，可以指的是基于云服务器的云计算。其中，该云计算(cloud computing)指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。云计算是网格计算(Grid Computing)、分布式计算(DistributedComputing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network StorageTechnologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。随着互联网、实时数据流、连接设备多样化的发展，以及搜索服务、社会网络、移动商务和开放协作等需求的推动，云计算迅速发展起来。不同于以往的并行分布式计算，云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。
随着深度学习技术近年来发展迅速，深度学习技术逐步应用在对HE病理影像进行乳腺ER阴阳性分类的场景中，而现有技术中主要存在以下几种方式可以对HE病理影像进行乳腺ER阴阳性分类，具体可以包括：
(1)基于传统形态学分割技术的乳腺ER阴阳性分类方法，但是该方法容易漏检较多的细胞，并且分割得到的细胞轮廓精度不够，计算的细胞形态学特征欠佳。
(2)基于深度学习网络的乳腺ER阴阳性分类方法，该方法是直接采用深度学习提取图像特征，然后直接将所有ROI(Region of interest，感兴趣区域)的特征进行集成，但是容易引入无关联性的特征，并不容易聚焦关键的ROI。
(3)基于形态特征图的深度学习网络阴阳性分类方法，该方式基于传统的形态学分割方法进行细胞分割，容易漏检较多的细胞，并且采用的细胞形态学特征较少，只有位置、形状(面积、周长、长短半轴、圆形度)和朝向等，而且在将这些形态特征图送入到深度学习网络后，深度学习网络能提取的图像语义信息有限。
(4)基于深度学习网络和支持向量机的乳腺ER阴阳性分类方法，该方法直接采用深度学习提取图像特征容易引入无关联性的特征，并且对大尺寸的病理图像没有做ROI提取，而是采用全图滑窗裁剪的方式，造成特征可解释性不强，特征表达欠佳、计算量较大等问题。
综上所述，现有技术中在对HE病理影像进行乳腺ER阴阳性分类时，存在细胞形态特征表征不佳、遗漏待检验的细胞、最终导致分类结果不准确的问题。
基于此，本申请实施例提供一种病理图像的处理方法、装置、电子设备及可读存储介质，旨在解决上述中的部分或全部技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图1示出了本申请实施例中所提供的一种病理图像的处理方法的流程示意图，该方法可以由服务器或终端设备执行。其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此，该终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例在此不做限制。
如图1所示，该方法可以包括：
步骤S101，获取待处理病理图像。
其中，待处理病理图像指的是需要确定分类结果的病理图像，待处理病理图像的具体类型本申请实施例不限定。例如，待处理病理图像可以为HE病理影像图、钼靶影像图、各种类型的IHC(Immunohistochemistry，免疫组织化学)病理影像图或CT(ComputedTomography，计算机断层扫描)影像图等。
步骤S102，获取待处理病理图像对应的细胞形态特征。
其中，细胞形态特征指的是待处理病理图像对应的细胞形态特征，该细胞形态特征的获取方式可以基于实际需求预先配置，本申请实施例不限定，例如可以通过计算机数字图像分析技术对待处理病理图像进行图像分析来获取。
步骤S103，获取待处理病理图像中肿瘤病灶区域的纹理特征。
其中，待处理图像中包括的各细胞中可能存在肿瘤细胞，此时可以将待处理病理图像中肿瘤细胞所在的区域称之为肿瘤病灶区域。
可选的，在获取到待处理病理图像后，可以对待处理病理图像中的肿瘤病灶区域进行纹理特征提取，得到对应的纹理特征。其中，对待处理病理图像中肿瘤病灶区域进行纹理特征提取的方式可以预先配置，本申请实施例不限定。例如，可以采用GLCM(Grey-LevelCo-occurrence Matrix，灰度共生矩阵)方法、或LBP(Local Binary Pattern，局部二值化)方法等。可选的，可以采用LBP方法进行纹理特征提取，该方法是通过比较一个像素点与周围8个像素值之间的大小，得到一个8bit(比特)的二值化编码，然后将该二值化编码转化为0～255的整数，此时该整数即为LBP图中该像素的值，最后将LBP图像进行直方图转换，从而得到LBPH(Local Binary Patterns Histograms，LBP特征的统计直方图)的纹理特征向量。
步骤S104，将细胞形态特征和纹理特征进行融合，得到融合后的特征。
可选的，对于将细胞形态特征和纹理特征进行融合的具体实现方式本申请实施例不进行限定。例如，可以直接将细胞形态特征和纹理特征进行拼接，得到融合后的特征，也可以分别对细胞形态特征和纹理特征设置不同的权重，然后基于细胞形态特征和纹理特征对应的权重、对细胞形态特征和纹理特征进行加权融合，得到融合后的特征等。
步骤S105，根据融合后的特征，确定待处理病理图像对应的分类结果。
可选的，在得到待处理病理图像的细胞形态特征和纹理特征后，可以将细胞形态特征和纹理特征进行融合，得到融合后的特征，然后基于融合后的特征，确定待处理病理图像对应的分类结果。
其中，在确定待处理病理图像对应的分类结果时，可以通过预训练好的分类器来实现，即可以将融合后的特征输入至预训练好的分类器，该分类器输出待处理病理图像对应的分类结果。当然，在实际应用中也可以直接将待处理病理图像的细胞形态特征和纹理特征输入至预训练好的分类器，此时预训练好的分类器可以先将细胞形态特征和纹理特征进行融合，得到融合后的特征，然后基于融合后的特征，确定待处理病理图像对应的分类结果并输出。
可选，上述中的分类器的具体类型可以根据实际需求预先配置，本申请实施例不限定。例如，该分类器可以为SVM(Support Vector Machine，支持向量机)分类器、LR(Logistic Regression，逻辑回归)分类器、决策树分类器、贝叶斯分类器等。
可选的，在本申请实施例中分类器可以选取SVM分类器，该SVM分类器所采用的核函数可以为线性核函数、高斯核函数和多项式核函数中的任一项。可选的，在本申请实施例中可以选取线性核函数作为SVM分类器的核函数，此时得到的SVM分类器的鲁棒性更好，最终得到的分类结果的准确性更高。
在本申请可选的实施例中，待处理病理图像包括HE病理影像图，分类结果包括乳腺ER阴性或乳腺ER阳性中的一项。
可选的，在本申请实施例中，待处理病理图像可以包括HE病理影像图，待处理病理图像对应的分类结果可以指的是HE病理影像图所对应的分类结果具体为乳腺ER阴性还是乳腺ER阳性。
在本申请实施例中，在获取到待处理病理图像后，可以获取待处理病理图像对应的细胞形态特征、以及肿瘤病灶区域的纹理特征，然后可以基于细胞形态特征和纹理特征进行融合，此时所得到的融合后的特征具备可解释性强、特征类型完备、特征表达较强的优点，进而在根据融合后的特征得到分类结果时，可以有效地提升分类结果的准确性。
在本申请可选的实施例中，该方法还包括：
获取待处理病理图像对应的病理诊断报告；
基于病理诊断报告，获取病理分析特征；
将细胞形态特征和纹理特征进行融合，得到融合后的特征，包括：
将细胞形态特征、纹理特征、以及病理分析特征进行融合，得到融合后的特征。
在实际应用中，待处理病理图像通常存在对应的病理诊断报告，该病理诊断报告通常还包含患者的基本信息、根据病理影像给出的初步诊断结果等信息，这些信息通常是通过对患者的HE影像或者其他免疫组化的影像分析后给出的综合分析，其与分类结果(如ER阴阳性)有着密切的关系。基于此，在本申请实施例中，可以获取待处理病理图像对应的病理诊断报告，并对该病理诊断报告中包括的信息进行特征提取，得到病理分析特征，然后将细胞形态特征、纹理特征、以及病理分析特征进行融合，并基于融合后的特征得到待处理病理图像对应的分类结果。
可选的，对于将细胞形态特征、纹理特征、以及病理分析特征进行融合的具体实现方式本申请实施例不进行限定。例如，可以直接将细胞形态特征、纹理特征、以及病理分析特征进行拼接，得到融合后的特征，也可以分别对细胞形态特征、纹理特征、以及病理分析特征设置不同的权重，然后基于细胞形态特征、纹理特征、以及病理分析特征对应的权重、对细胞形态特征、纹理特征、以及病理分析特征进行加权融合，得到融合后的特征等。
在本申请可选的实施例中，基于病理诊断报告，获取病理分析特征，包括：
提取病理诊断报告中的关键信息；
根据关键信息生成病理分析特征；
其中，关键信息包括下列信息中的至少一项：
患者年龄、肿瘤组织的尺寸、KI-67细胞阳性率或病理组织学分级。
可选的，在基于病理诊断报告，获取病理分析特征时，可以提取病理诊断报告中的关键信息，然后根据关键信息生成病理分析特征。其中，该关键信息可以包括但不限于患者年龄、肿瘤组织的尺寸、KI-67细胞阳性率或病理组织学分级中的至少一项；而根据关键信息生成病理分析特征的方式本申请实施例不限定。例如，可以生成每一种关键信息对应的特征向量，然后将各种关键信息对应的特征向量进行组合，得到病理分析特征。
在本申请实施例中，由于病理分析特征是基于病理诊断报告中的关键信息生成的，而关键信息与分类结果有着密切的关系，进而在根据融合后的特征以及病理分析特征，得到待处理病理图像对应的分类结果时，可以有效的提高分类结果的准确性。
在本申请可选的实施例中，获取待处理病理图像对应的细胞形态特征，包括：
对待处理病理图像进行细胞分割处理，得到各细胞对应的细胞分割结果；
基于各细胞的细胞分割结果，确定待处理病理图像对应的细胞形态特征。
可选的，在获取待处理病理图像对应的细胞形态特征时，可以基于待处理病理图像中包括的各细胞像对应的细胞形态特征，得到待处理病理图像对应的细胞形态特征。具体的，可以对待处理病理图像进行细胞分割处理，得到待处理病理图像中各细胞对应的细胞分割结果，并基于各细胞对应的分割结果，确定各细胞对应的细胞形态特征，然后可以基于各细胞对应的细胞形态特征，得到待处理病理图像对应的细胞形态特征。
在本申请可选的实施例中，对于任一细胞，细胞分割结果包括细胞在待处理图像中的位置和轮廓；
基于各细胞的细胞分割结果，确定待处理病理图像对应的细胞形态特征，包括：
对于每一细胞，基于细胞的细胞分割结果，确定细胞的形态特征；
基于各细胞的形态特征，确定待处理病理图像对应的细胞形态特征。
其中，对待处理病理图像进行细胞分割处理可以指的确定每个细胞在待处理图像中的位置和轮廓，此时所得到的细胞分割结果包括了各细胞在待处理图像中的位置和轮廓；进一步，对于每个细胞，可以基于该细胞在待处理图像中的位置和轮廓，确定该细胞对应的形态特征，然后、基于待处理图像包括的每个细胞对应的细胞形态特征，得到待处理病理图像对应的细胞形态特征。
可选的，在对待处理病理图像进行细胞分割处理时，可以基于深度学习的分割网络对待处理病理图像进行细胞分割处理，而该深度学习的分割网络的具体网络架构可以预先配置，本申请是实施例不进行限定。例如，该深度学习的分割网络可以包括多种深度卷积网络架构，例如LinkNet(一种目标检测网络)系列、VGG-16(一种卷积神经网络)系列，Resnet(Residual Network，残差网络)系列和Xception(一种卷积神经网络)系列等
其中，当深度学习的分割网络的网络架构为LinkNet系列时，如图2所示，分割网络(LinkNet)可以包括基于ResNet-18网络结构的编码器(encoder)和基于反卷积层的解码器(decoder)，该编码器使用多个卷积层对输入的待处理病理图像进行映射编码，输出维度远低于输入的待处理病理图像尺寸的特征向量图，解码器可以基于池化索引(即poolingIndices)对输入的特征向量图进行上采样，得到对应于待处理病理图像尺寸的特征向量图，此时得到的特征向量图为一种非线性、局部到全局的特征映射，其融合了低层的视觉特征和高层的语义信息。此外，该深度学习的分割网络还采用softmax(逻辑回归)多元分类器作为输出，可以输出待处理病理图像中各细胞对应的细胞分割结果。可选的，在训练该分割网络时，可以获取各训练样本数据，每个样本数据中包括样本病理图像、以及样本病理图像对应的真实细胞分割结果，然后可以将样本病理图像输入至初始分割网络并输出预测细胞分割结果；进一步的，可以基于预测细胞分割结果和真实细胞分割结果计算交叉熵(crossentropy，CE)损失函数的值，并基于损失函数的值使用反向传播算法计算初始分割网络中各个参数的梯度，最后使用各个参数的梯度更新初始分割网络中的各个参数，直至计算得到的交叉熵损失函数收敛，而更新的步调可以由预先配置的学习率控制。
在本申请实施例中，在对细胞形态特征进行提取时，使用了深度学习的分割网络来确定各细胞在待处理图像中的位置和轮廓，能够精确地检测各细胞的位置和轮廓，有效地减少了遗漏的细胞。
可选的，基于分割网络确定出各细胞在待处理图像中的位置和轮廓(即分割结果)后，还可以采用分水岭算法对得到的分割结果进行处理，以提升分割结果的清晰度，进而可以保证基于分割结果提取得到的细胞形态特征可以更加的准确。
在本申请可选的实施例中，对于任一细胞，细胞的形态特征包括以下特征信息中的至少一项：
面积、周长、轮廓复杂度、等价直径、拟合椭圆的长轴、拟合椭圆的短轴、椭圆度、圆形度、细胞极性、刚度、细胞的边界框占比或细胞的边界框的长宽比；
基于各细胞的形态特征，确定待处理病理图像对应的细胞形态特征，包括：
对各细胞的形态特征进行统计分析，得到待处理病理图像对应的第一形态特征，细胞形态特征包括第一形态特征。
可选的，细胞的形态特征是多样化的，如包括了细胞的面积、周长、轮廓复杂度、等价直径、拟合椭圆的长轴、拟合椭圆的短轴、椭圆度、圆形度、细胞极性、刚度、细胞的边界框占比或细胞的边界框的长宽比等；相应的，在确定待处理病理图像对应的细胞形态特征时可以对待处理病理图像中各细胞的形态特征进行统计分析，得到待处理病理图像对应的第一形态特征。
在本申请可选的实施例中，对各细胞的形态特征进行统计分析，得到待处理病理图像对应的第一形态特征，包括：
对于每一特征信息，对各细胞的该特征信息的特征值进行统计分析，得到该特征信息对应的统计学特征；
基于各特征信息的统计学特征，得到待处理病理图像对应的第一形态特征。
可选的，对于任一个特征信息，可以确定待处理病理图像中每个细胞对应于该特征信息的特征值，然后对每个细胞对应于该特征信息的特征值进行统计分析，得到待处理病理图像对应于该特征信息的特征值。其中，对各细胞的该特征信息的特征值进行统计分析的具体方式可以预先配置，本申请实施例不限定。例如，对于每一特征信息，可以基于各细胞对应于该特征信息的特征值计算均值和/或方差，将最终计算得到的取值作为该待处理病理图像对应于该特征信息的特征值；进一步的，在得到待处理病理图像对应于每一种特征信息的特征值，可以基于待处理病理图像对应于各特征信息的特征值，得到待处理病理图像对应的第一形态特征。
在本申请可选的实施例中，该方法还包括：
根据各细胞的细胞分割结果，确定待处理图像对应的第二形态特征，细胞形态特征包括第二形态特征；
其中，第二形态特征包括细胞数量或细胞密度中的至少一项。
可选的，细胞数量可以指的是一定区域内的平均细胞数量，如可以每100个像素区域内的平均细胞个数，而细胞密度指的是一定区域内的细胞所占的平均像素量，如可以是每100个像素区域内细胞所占的平均像素量。
相应的，在确定待处理病理图像对应的细胞形态特征时，还可以根据待处理病理图像对应的细胞数量和细胞密度，确定待处理图像对应的第二形态特征，然后基于待处理图像对应的第一形态特征和第二形态特征，得到待处理图像对应的细胞形态特征。
在本申请可选的实施例中，获取待处理病理图像中肿瘤病灶区域的纹理特征，包括：
对待处理病理图像进行肿瘤病灶区域分割处理，得到肿瘤病灶区域分割结果；
基于肿瘤病灶区域分割结果截取待处理病理图像中的各肿瘤病灶区域；
对各肿瘤病灶区域进行纹理特征提取，得到纹理特征。
可选的，在获取待处理病理图像中肿瘤病灶区域的纹理特征时，可以对待处理病理图像进行肿瘤病灶区域分割处理，得到肿瘤病灶区域分割结果，该肿瘤病灶区域分割结果体现了待处理病理图像中的肿瘤细胞在待处理病理图像中所处于的区域；进一步的，在已知肿瘤细胞在待处理病理图像中所处于的区域后，可以基于肿瘤病灶区域分割结果从待处理病理图像中截取得到各肿瘤病灶区域，并对截取得到的各肿瘤病灶区域进行纹理特征提取，得到纹理特征。
其中，可选的，在对待处理病理图像进行肿瘤病灶区域分割处理时，可以基于深度学习的分割网络对待处理病理图像进行细胞分割处理，而该深度学习的分割网络的具体网络架构可以预先配置，本申请是实施例不进行限定。例如，该深度学习的分割网络可以包括多种深度卷积网络架构，例如LinkNet系列、VGG-16系列、Resnet系列和Xception系列等。
可选的，在训练该分割网络时，可以将获取各训练样本数据，每个样本数据中包括样本病理图像、以及样本病理图像对应的真实肿瘤病灶区域分割结果，然后可以将样本病理图像输入至初始分割网络并输出预测肿瘤病灶区域分割结果；进一步的，可以基于预测肿瘤病灶区域分割结果和真实肿瘤病灶区域分割结果计算损失函数的值，并基于损失函数的值使用反向传播算法计算初始分割网络中各个参数的梯度，最后使用梯度更新初始分割网络中的各个参数，直至计算得到的交叉熵损失函数收敛，其中，更新的步调可以由预先配置的学习率控制。
在本申请实施例中，在对纹理特征进行提取时，使用了深度学习的分割网络来确定肿瘤病灶区域在待处理图像中的位置，能够精确地检测肿瘤病灶区域的位置，有效的减少了肿瘤病灶区域的遗漏。
在本申请可选的实施例中，对各肿瘤病灶区域进行纹理特征提取，包括：
对各肿瘤病灶区域进行预处理，对预处理后的各肿瘤病灶区域进行纹理特征提取；
其中，预处理包括去除面积小于设定值的肿瘤病灶区域、平滑处理或提升清晰度处理中的至少一项。
其中，基于肿瘤病灶区域分割结果所得到的各肿瘤病灶区域的区域大小是不同的，而为了减少后续的数据处理量，在本申请实施例中可以对各肿瘤病灶区域进行预处理，对预处理后的各肿瘤病灶区域进行纹理特征提取。
可选的，可以将各肿瘤病灶区域中区域面积小于设定值的肿瘤病灶区域进行过滤，对保留的肿瘤病灶区域进行纹理特征提取。
可选的，还可以对得到的肿瘤病灶区域的轮廓做平滑处理，进而可以保证后续基于肿瘤病灶区域分割结果从待处理病理图像中截取得到的肿瘤病灶区域的轮廓更加平滑，提升纹理特征的准确性。
可选的，在实际应用中还可以采用分水岭算法对得到的肿瘤病灶区域进行处理，以提升肿瘤病灶区域的清晰度，进而可以保证基于肿瘤病灶区域提取得到的纹理特征可以更加的准确。
在本申请实施例中，聚焦于病理图像中最关键的肿瘤病灶区域和肿瘤病灶区域内的细胞，可以基于深度学习的分割网络对病理图像中的肿瘤病灶区域和细胞进行高精度的检测和分割，确保了后续特征提取的有效性，并且提取得到的各特征具有较强的可解释性、与分类结果具有较强的关联性、特征表达方式更加优异，可以有效地提升分类结果(如乳腺ER阴阳性状态预测)的准确性。
可选的，本申请实施例所提供的病理图像的处理方法可以应用于医疗技术领域中。例如，可以应用于医学病理图像AI辅助分析系统中，此时可以基于本申请实施例所提供的方法对HE病理影像做ER阴阳性的分类，然后基于得到的分类结果辅助分析内分泌治疗和新辅助化疗的预后疗效；另外还可根据得到的分类结果对弱阳性样本进行预测评分、以及搜索弱阳性样本的分类阈值，进而可以针对弱阳性的样本做进一步的分析，辅助决策弱阳性样本的治疗方案。此外，对于乳腺ER阴阳性状态的预测，本申请实施例所提供的方法提供了比免疫组化(IHC)更简便的方法，即可以直接基于HE病理影像预测患者的乳腺ER阴阳性状态，可节省免疫组化的成本，也可以加快患者的组织学分级评估；并且还可以应用于智能显微镜系统，可辅助医生在审阅HE病理影像的过程中评估乳腺ER阴阳性状态，进而可以快速做出诊断和制定治疗方案。
为了更好地理解本申请实施例所提供的方法，下面结合图3a对该方法进行详细描述。
具体的，当获取到待处理病理图像后，可以将待处理病理图像输入至图3b所的区域分割模块，区域分割模块内包括的CNN(Convolutional Neural Networks，卷积神经网络)可以将待处理病理图像转换为特征图(即feature maps)，然后将特征图分别输入至目标检测对齐层(即ROI Align层)和区域预测层(即region proposal层，该区域预测层的输出结果输入至目标检测特殊层)，进一步的，将目标检测对齐层的输出结果输入至两个级联卷积层(即conv)进行卷积计算，得到细胞分割结果以及肿瘤病灶区域分割结果。其中，该细胞分割结果以及肿瘤病灶区域分割结果可以采用mask(掩码图)的形式体现，具体可以如图3a中的A区域所示；
进一步的，基于图3b所示的区域分割模块得到细胞分割结果以及肿瘤病灶区域分割结果后，可以基于各细胞的细胞分割结果，确定待处理病理图像对应的细胞形态特征(即图3a中的细胞形态特征提取)，以及基于肿瘤病灶区域分割结果进行纹理特征提取，得到纹理特征(即图3a中的纹理特征提取)，并基于待处理病理图像对应的病理诊断报告，获取病理分析特征(即图3a中的病理分析特征)，然后可以将细胞形态特征、病理分析特征和纹理特征进行融合(即图3a中的特征融合)，得到融合后的特征并输入至分类器(即图3a中的特征分类器)，该分类器可以基于融合后的特征输出待处理病理图像对应的分类结果(如为阴性还是阳性)。
在本申请实施例中，可以对多个维度的特征进行提取并特征，此时得到的特征表达方式更加优异，进而基于融合后的特征得到待处理病理图像对应的分类结果时，可以有效地提升分类结果的准确性。
可选的，本申请实施例中还基于不同分类结果的HE病理影像图对采用不同配置的方案进行了实现验证。可选的，在本示例中，HE病理影像图对应的分类结果包括乳腺ER阴性、乳腺ER阳性和乳腺ER弱阳性，并将对应于乳腺ER阴性和乳腺ER阳性的HE病理影像图作为训练样本和验证样本，将对应于乳腺ER弱阳性的HE病理影像图作为测试样本。其中，可以采用ER取值作为分类结果的划分标准，如当ER取值为0时，对应的分类结果(即ER状态)为乳腺ER阴性，当ER取值为1、2、3、5时，对应的分类结果为乳腺ER弱阳，当ER取值为10、20、30、40、50、60、70、80或90时，对应的分类结果为乳腺ER阳性；此时各HE病理影像图的分布可以如表1所示：
表1
Figure BDA0002722364450000161
具体的，如表2所示，可以不同的方法以及不同配置的训练数据对HE病理影像图进行分类结果预测，其中，表2中的第一列代表对HE病理影像图进行分类结果所采用的方法，如第一列的第一行(即CNN(inception_v3))表示采用inception_v3结构的CNN对HE病理影像图进行分类结果；表2中的第二列代表训练数据所采用的配置信息，如第二列的第四行(即linear kernel)表示训练数据的配置为线性核函数结；表2中的第三列代表基于训练数据计算的验证值，如该验证值可以为5折交叉验证值(即5folds cross validation)，如第三列的第一行(即0.685±0.020)表示基于得到的分类结果所计算的5折交叉验证值为0.685±0.020。
可选的，本示例中所采用的方法具体可以包括：
方法1：采用CNN网络中的inception_v3(一种目标检测网络)的深度学习网络架构(即表中第一列的第一行的(inception_v3))，其对应的训练数据分别包括以下几种：
(1)512(即512个像素点)的patch(HE病理影像图中的部分图像)数据、512的patch数据加1个通道的肿瘤病灶区域掩码图；
(2)过滤小于30％肿瘤病灶区域占比的512的patch数据、加1个通道的肿瘤病灶区域掩码图；
(3)过滤小于30％肿瘤病灶区域占比的512的patch数据加1个通道的肿瘤病灶区域掩码图，且以乳腺ER阴性和ER阳性划分训练集和验证集。
其中，上述中三种不同配置所对应的验证值分别如表2中第三列的第一行～第三行所示。
方法2：基于细胞形态学特征的SVM分类方法(即表中第一列的第二行的Cellmorphological features)，其采用的配置包括线性核函数、高斯核函数和多项式核函数。其中，不同配置所对应的验证值如表2中第三列的第四行～第六行所示。
方法3：基于细胞形态学特征和病理报告关键信息的SVM方法(即表中第一列的第三行的Cell morphological features+Pathological info)，其采用的配置包括线性核函数、高斯核函数和多项式核函数。其中，不同配置所对应的验证值如表2中第三列的第七行～第九行所示。
方法4：基于细胞形态学特征和肿瘤病灶区域纹理特征的SVM分类方法(即表中第一列的第五行的Cell morphological features+LBPH(64bins))，采用的配置包括：(1)采用线性核函数、过滤小于30％肿瘤病灶区域占比的patch数据，并且以乳腺ER阴性和乳腺ER阳性划分训练集和验证集；(2)采用高斯核函数、过滤小于30％肿瘤病灶区域占比的patch数据，并且以乳腺ER阴性和乳腺ER阳性划分训练集和验证集。其中，不同配置所对应的验证值如表2中第三列的第十六行～第十七行所示。
方法5：基于病理报告关键信息的SVM分类方法(即表中第一列六行的Pathological info)，采用的配置包括采用线性核函数、且过滤小于30％肿瘤病灶区域占比的patch数据，并以ER阴性和ER阳性划分训练集和验证集，其所对应的验证值如表2中第三列的第十八行所示。
方法6：基于细胞形态学特征、肿瘤病灶区域纹理特征和病理报告关键信息的SVM分类方法(即表中第一列四行的Cell morphological features+Pathological info+LBPH(64bins))，可选的，采用的配置包括下几种：
(1)2048(即2048个像素点)的patch数据，且采用线性核函数；
(2)2048的patch数据，且采用高斯核函数；
(3)采用线性核函数、过滤小于30％肿瘤病灶区域的2048的patch数据、且以乳腺ER阴性和乳腺ER阳性划分训练集和验证集；
(4)采用高斯核函数、过滤小于30％肿瘤病灶区域的2048的patch数据、且以乳腺ER阴性和乳腺ER阳性划分训练集和验证集；
(5)采用线性核函数、过滤小于30％肿瘤病灶区域的512的patch数据、且以乳腺ER阴性和乳腺ER阳性划分训练集和验证集；
(6)采用高斯核函数、过滤小于30％肿瘤病灶区域的512的patch数据、且以乳腺ER阴性和乳腺ER阳性划分训练集和验证集。
其中，方法6中不同配置所对应的验证值如表2中第三列的第十行～第十五行所示。
可选的，如表2如下所示：
表2
Figure BDA0002722364450000181
Figure BDA0002722364450000191
基于表2中的各组试验数据结果可知，基于本申请实施例中所提供的细胞形态学特征、肿瘤病灶区域纹理特征和病理报告关键信息的SVM分类方法比CNN方法以及各种特征独立使用的方法，预测结果更加准确、性能更加优越。
本申请实施例提供了一种病理图像的处理装置，如图4所示，该病理图像的处理装置60可以包括：图像获取模块601、细胞形态特征获取模块602、纹理特征获取模块603、特征融合模块604以及分类结果确定模块605，其中，
图像获取模块601，用于获取待处理病理图像；
细胞形态特征获取模块602，用于获取待处理病理图像对应的细胞形态特征；
纹理特征获取模块603，用于获取待处理病理图像中肿瘤病灶区域的纹理特征；
特征融合模块604，用于将细胞形态特征和纹理特征进行融合，得到融合后的特征；
分类结果确定模块605，用于根据融合后的特征，确定待处理病理图像对应的分类结果。
可选的，该装置还包括：
病理分析特征获取模块，用于获取待处理病理图像对应的病理诊断报告；基于病理诊断报告，获取病理分析特征；
特征融合模块在将细胞形态特征和纹理特征进行融合，得到融合后的特征时，具体用于：
将细胞形态特征、纹理特征、以及病理分析特征进行融合，得到融合后的特征。
可选的，病理分析特征获取模块在基于病理诊断报告，获取病理分析特征时，具体用于：
提取病理诊断报告中的关键信息；
根据关键信息生成病理分析特征；
其中，关键信息包括下列信息中的至少一项：
患者年龄、肿瘤组织的尺寸、KI-67细胞阳性率或病理组织学分级。
可选的，细胞形态特征获取模块在获取待处理病理图像对应的细胞形态特征时，具体用于：
对待处理病理图像进行细胞分割处理，得到各细胞对应的细胞分割结果；
基于各细胞的细胞分割结果，确定待处理病理图像对应的细胞形态特征。
可选的，对于任一细胞，细胞分割结果包括细胞在待处理图像中的位置和轮廓；
细胞形态特征获取模块在基于各细胞的细胞分割结果，确定待处理病理图像对应的细胞形态特征时，具体用于：
对于每一细胞，基于细胞的细胞分割结果，确定细胞的形态特征；
基于各细胞的形态特征，确定待处理病理图像对应的细胞形态特征。
可选的，对于任一细胞，细胞的形态特征包括以下特征信息中的至少一项：
面积、周长、轮廓复杂度、等价直径、拟合椭圆的长轴、拟合椭圆的短轴、椭圆度、圆形度、细胞极性、刚度、细胞的边界框占比或细胞的边界框的长宽比；
细胞形态特征获取模块在基于各细胞的形态特征，确定待处理病理图像对应的细胞形态特征时，具体用于：
对各细胞的形态特征进行统计分析，得到待处理病理图像对应的第一形态特征，细胞形态特征包括第一形态特征。
可选的，细胞形态特征获取模块在对各细胞的形态特征进行统计分析，得到待处理病理图像对应的第一形态特征时，具体用于：
对于每一特征信息，对各细胞的该特征信息的特征值进行统计分析，得到该特征信息对应的统计学特征；
基于各特征信息的统计学特征，得到待处理病理图像对应的第一形态特征。
可选的，细胞形态特征获取模块还用于：
根据各细胞的细胞分割结果，确定待处理图像对应的第二形态特征，细胞形态特征包括第二形态特征；
其中，第二形态特征包括细胞数量或细胞密度中的至少一项。
可选的，纹理特征获取模块在获取待处理病理图像中肿瘤病灶区域的纹理特征时，具体用于：
对待处理病理图像进行肿瘤病灶区域分割处理，得到肿瘤病灶区域分割结果；
基于肿瘤病灶区域分割结果，截取待处理病理图像中的各肿瘤病灶区域；
对各肿瘤病灶区域进行纹理特征提取，得到纹理特征。
可选的，纹理特征获取模块在对各肿瘤病灶区域进行纹理特征提取时，具体用于：
对各肿瘤病灶区域进行预处理，对预处理后的各肿瘤病灶区域进行纹理特征提取；
其中，预处理包括去除面积小于设定值的肿瘤病灶区域、平滑处理或提升清晰度处理中的至少一项。
可选的，待处理病理图像包括伊红染色HE病理影像图，分类结果包括乳腺ER阴性或乳腺ER阳性中的一项。
本申请实施例的病理图像的处理装置可执行本申请实施例提供的一种病理图像的处理方法，其实现原理相类似，此处不再赘述。
本申请实施例提供了一种电子设备，如图5所示，图5所示的电子设备2000包括：处理器2001和存储器2003。其中，处理器2001和存储器2003相连，如通过总线2002相连。可选地，电子设备2000还可以包括收发器2004。需要说明的是，实际应用中收发器2004不限于一个，该电子设备2000的结构并不构成对本申请实施例的限定。
其中，处理器2001应用于本申请实施例中，用于实现图4所示的各模块的功能。
处理器2001可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器2001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线2002可包括一通路，在上述组件之间传送信息。总线2002可以是PCI总线或EISA总线等。总线2002可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器2003可以是ROM或可存储静态信息和计算机程序的其他类型的静态存储设备，RAM或者可存储信息和计算机程序的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储或以数据结构形式的期望的计算机程序并能够由计算机存取的任何其他介质，但不限于此。
存储器2003用于存储执行本申请方案的应用程序的计算机程序，并由处理器2001来控制执行。处理器2001用于执行存储器2003中存储的应用程序的计算机程序，以实现图4所示实施例提供的病理图像的处理装置的动作。
本申请实施例提供了一种电子设备，包括处理器以及存储器：存储器被配置用于存储计算机程序，计算机程序在由所述处理器执行时，使得所述处理器上述实施例中的任一项方法。
本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，当所述计算机程序在计算机上运行时，使得计算机可以执行上述实施例中的任一项方法。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。
本申请中的一种计算机可读存储介质所涉及的名词及实现原理具体可以参照本申请实施例中的一种病理图像的处理方法，在此不再赘述。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (15)

1.一种病理图像的处理方法，其特征在于，包括：
获取待处理病理图像；
获取所述待处理病理图像对应的细胞形态特征，以及所述待处理病理图像中肿瘤病灶区域的纹理特征；
将所述细胞形态特征和所述纹理特征进行融合，得到融合后的特征；
根据所述融合后的特征，确定所述待处理病理图像对应的分类结果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述待处理病理图像对应的病理诊断报告；
基于所述病理诊断报告，获取病理分析特征；
所述将所述细胞形态特征和所述纹理特征进行融合，得到融合后的特征，包括：
将所述细胞形态特征、所述纹理特征、以及所述病理分析特征进行融合，得到所述融合后的特征。
3.根据权利要求2所述的方法，其特征在于，所述基于所述病理诊断报告，获取病理分析特征，包括：
提取所述病理诊断报告中的关键信息；
根据所述关键信息生成所述病理分析特征；
其中，所述关键信息包括下列信息中的至少一项：
患者年龄、肿瘤组织的尺寸、KI-67细胞阳性率或病理组织学分级。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述获取所述待处理病理图像对应的细胞形态特征，包括：
对所述待处理病理图像进行细胞分割处理，得到各细胞对应的细胞分割结果；
基于各细胞的细胞分割结果，确定所述待处理病理图像对应的细胞形态特征。
5.根据权利要求4所述的方法，其特征在于，对于任一细胞，所述细胞分割结果包括细胞在所述待处理图像中的位置和轮廓；
所述基于各细胞的细胞分割结果，确定所述待处理病理图像对应的细胞形态特征，包括：
对于每一所述细胞，基于所述细胞的细胞分割结果，确定所述细胞的形态特征；
基于各所述细胞的形态特征，确定所述待处理病理图像对应的细胞形态特征。
6.根据权利要求5所述的方法，其特征在于，对于任一细胞，所述细胞的形态特征包括以下特征信息中的至少一项：
面积、周长、轮廓复杂度、等价直径、拟合椭圆的长轴、拟合椭圆的短轴、椭圆度、圆形度、细胞极性、刚度、细胞的边界框占比或细胞的边界框的长宽比；
所述基于各所述细胞的形态特征，确定所述待处理病理图像对应的细胞形态特征，包括：
对各所述细胞的形态特征进行统计分析，得到所述待处理病理图像对应的第一形态特征，所述细胞形态特征包括所述第一形态特征。
7.根据权利要求6所述的方法，其特征在于，所述对各所述细胞的形态特征进行统计分析，得到所述待处理病理图像对应的第一形态特征，包括：
对于每一所述特征信息，对各所述细胞的该特征信息的特征值进行统计分析，得到该特征信息对应的统计学特征；
基于各所述特征信息的统计学特征，得到所述待处理病理图像对应的第一形态特征。
8.根据权利要求5所述的方法，其特征在于，还包括：
根据各细胞的所述细胞分割结果，确定所述待处理图像对应的第二形态特征，所述细胞形态特征包括所述第二形态特征；
其中，所述第二形态特征包括细胞数量或细胞密度中的至少一项。
9.根据权利要求1至3中任一项所述的方法，其特征在于，获取所述待处理病理图像中肿瘤病灶区域的纹理特征，包括：
对所述待处理病理图像进行肿瘤病灶区域分割处理，得到肿瘤病灶区域分割结果；
基于所述肿瘤病灶区域分割结果，截取所述待处理病理图像中的各肿瘤病灶区域；
对各所述肿瘤病灶区域进行纹理特征提取，得到所述纹理特征。
10.根据权利要求1所述的方法，其特征在于，所述待处理病理图像包括伊红染色HE病理影像图，所述分类结果包括乳腺雌激素受体ER阴性、或乳腺ER阳性中的一项。
11.一种病理图像的处理装置，其特征在于，包括：
图像获取模块，用于获取待处理病理图像；
细胞形态特征获取模块，用于获取所述待处理病理图像对应的细胞形态特征；
纹理特征获取模块，用于获取所述待处理病理图像中肿瘤病灶区域的纹理特征；
特征融合模块，用于将所述细胞形态特征和所述纹理特征进行融合，得到融合后的特征；
分类结果确定模块，用于根据所述融合后的特征，确定所述待处理病理图像对应的分类结果。
12.根据权利要求11所述的装置，其特征在于，所述装置还包括：
病理分析特征获取模块，用于获取所述待处理病理图像对应的病理诊断报告；基于所述病理诊断报告，获取病理分析特征；
所述特征融合模块在将所述细胞形态特征和所述纹理特征进行融合，得到融合后的特征时，具体用于：
将所述细胞形态特征、所述纹理特征、以及所述病理分析特征进行融合，得到所述融合后的特征。
13.一种医学设备，其特征在于，包括病理图像获取装置、存储器以及处理器：
所述病理图像获取装置，用于获取待处理病理图像；
所述存储器被配置用于存储计算机程序，所述计算机程序在由所述处理器执行时，使得所述处理器执行权利要求1-10任一项所述的方法。
14.一种电子设备，其特征在于，包括存储器以及处理器：
所述病理图像获取装置，用于获取待处理病理图像；
所述存储器被配置用于存储计算机程序，所述计算机程序在由所述处理器执行时，使得所述处理器执行权利要求1-10任一项所述的方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，当所述计算机程序在计算机上运行时，使得计算机可以执行上述权利要求1-10中任一项所述的方法。
CN202011091784.5A 2020-10-13 2020-10-13 病理图像的处理方法、装置、电子设备及可读存储介质 Pending CN112132827A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011091784.5A CN112132827A (zh) 2020-10-13 2020-10-13 病理图像的处理方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011091784.5A CN112132827A (zh) 2020-10-13 2020-10-13 病理图像的处理方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN112132827A true CN112132827A (zh) 2020-12-25

Family

ID=73853745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011091784.5A Pending CN112132827A (zh) 2020-10-13 2020-10-13 病理图像的处理方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN112132827A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408595A (zh) * 2021-06-09 2021-09-17 北京小白世纪网络科技有限公司 病理图像处理的方法、装置、电子设备及可读存储介质
CN113743186A (zh) * 2021-06-15 2021-12-03 腾讯医疗健康(深圳)有限公司 医学图像的处理方法、装置、设备及存储介质
CN115063607A (zh) * 2022-08-17 2022-09-16 腾讯科技（深圳）有限公司 切割轮廓的确定方法、装置、设备、存储介质及程序产品
CN116580216A (zh) * 2023-07-12 2023-08-11 北京大学 病理图像匹配方法、装置、设备及存储介质
CN116798583A (zh) * 2023-06-28 2023-09-22 华东师范大学 病理组织宏观信息采集分析系统及其分析方法
CN117593746A (zh) * 2024-01-18 2024-02-23 武汉互创联合科技有限公司 基于目标检测的细胞分裂均衡度评估系统及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875829A (zh) * 2018-06-20 2018-11-23 鲁东大学 一种乳腺肿瘤图像的分类方法及系统
US20190080795A1 (en) * 2017-09-14 2019-03-14 Foram Mahendra Sanghavi Digitized needle biopsies nuclei information based prostate cancer detection, grading, scoring, and reporting systems and methods
CN110110799A (zh) * 2019-05-13 2019-08-09 广州锟元方青医疗科技有限公司 细胞分类方法、装置、计算机设备和存储介质
CN110738637A (zh) * 2019-09-19 2020-01-31 华中科技大学 一种乳腺癌病理切片的自动分类方法及系统
CN111695644A (zh) * 2020-08-10 2020-09-22 华侨大学 基于光密度变换的肿瘤超声图像分类方法、装置及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190080795A1 (en) * 2017-09-14 2019-03-14 Foram Mahendra Sanghavi Digitized needle biopsies nuclei information based prostate cancer detection, grading, scoring, and reporting systems and methods
CN108875829A (zh) * 2018-06-20 2018-11-23 鲁东大学 一种乳腺肿瘤图像的分类方法及系统
CN110110799A (zh) * 2019-05-13 2019-08-09 广州锟元方青医疗科技有限公司 细胞分类方法、装置、计算机设备和存储介质
CN110738637A (zh) * 2019-09-19 2020-01-31 华中科技大学 一种乳腺癌病理切片的自动分类方法及系统
CN111695644A (zh) * 2020-08-10 2020-09-22 华侨大学 基于光密度变换的肿瘤超声图像分类方法、装置及介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HUIYING LI ET AL.: ""Color Space Transformation and Multi-Class Weighted Loss for Adhesive White Blood Cell Segmentation"", 《IEEE ACCESS》, 30 January 2020 (2020-01-30) *
KIEN NGUYEN ET AL.: ""Prostate cancer detection: Fusion of cytological and textural features"", 《JOURNAL OF PATHOLOGY INFORMATICS》, pages 1 - 10 *
XIPENG PAN ET AL.: ""An Accurate Nuclei Segmentation Algorithm in Pathological Image Based on Deep Semantic Network"", 《IEEE ACCESS》, 12 August 2019 (2019-08-12) *
胡世康: ""多模数据驱动的胃癌筛查智能辅助决策方法研究"", 《中国优秀硕士学位论文全文数据库 基础科学辑》, pages 002 - 1168 *
龚磊等: ""基于多特征描述的乳腺癌肿瘤病理自动分级"", 《计算机应用》, pages 3570 - 3580 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408595A (zh) * 2021-06-09 2021-09-17 北京小白世纪网络科技有限公司 病理图像处理的方法、装置、电子设备及可读存储介质
CN113743186A (zh) * 2021-06-15 2021-12-03 腾讯医疗健康(深圳)有限公司 医学图像的处理方法、装置、设备及存储介质
CN115063607A (zh) * 2022-08-17 2022-09-16 腾讯科技（深圳）有限公司 切割轮廓的确定方法、装置、设备、存储介质及程序产品
CN115063607B (zh) * 2022-08-17 2022-12-30 腾讯科技（深圳）有限公司 切割轮廓的确定方法、装置、设备及存储介质
CN116798583A (zh) * 2023-06-28 2023-09-22 华东师范大学 病理组织宏观信息采集分析系统及其分析方法
CN116580216A (zh) * 2023-07-12 2023-08-11 北京大学 病理图像匹配方法、装置、设备及存储介质
CN116580216B (zh) * 2023-07-12 2023-09-22 北京大学 病理图像匹配方法、装置、设备及存储介质
CN117593746A (zh) * 2024-01-18 2024-02-23 武汉互创联合科技有限公司 基于目标检测的细胞分裂均衡度评估系统及装置
CN117593746B (zh) * 2024-01-18 2024-04-19 武汉互创联合科技有限公司 基于目标检测的细胞分裂均衡度评估系统及装置

Similar Documents

Publication Publication Date Title
US11373305B2 (en) Image processing method and device, computer apparatus, and storage medium
CN112017189B (zh) 图像分割方法、装置、计算机设备和存储介质
CN112132827A (zh) 病理图像的处理方法、装置、电子设备及可读存储介质
CN110428432B (zh) 结肠腺体图像自动分割的深度神经网络算法
CN111488921B (zh) 一种全景数字病理图像智能分析系统及方法
CN105574859A (zh) 一种基于ct图像的肝脏肿瘤分割方法及装置
CN108629772B (zh) 图像处理方法及装置、计算机设备和计算机存储介质
CN111583210B (zh) 基于卷积神经网络模型集成的乳腺癌图像自动识别方法
CN109102498B (zh) 一种宫颈涂片图像中簇型细胞核分割的方法
CN110705403A (zh) 细胞分类方法、装置、介质及电子设备
WO2023045231A1 (zh) 一种解耦分治的面神经分割方法和装置
CN112070781A (zh) 颅脑断层扫描图像的处理方法、装置、存储介质及电子设备
An et al. Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model
CN111291825A (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
Wu et al. Ultrasound image segmentation method for thyroid nodules using ASPP fusion features
Sornapudi et al. Comparing deep learning models for multi-cell classification in liquid-based cervical cytology image
CN112819821A (zh) 一种细胞核图像检测方法
CN116485817A (zh) 图像分割方法、装置、电子设备及存储介质
CN114639102A (zh) 基于关键点与尺寸回归的细胞分割方法和装置
Roszkowiak et al. Clustered nuclei splitting based on recurrent distance transform in digital pathology images
CN112508860B (zh) 一种免疫组化图像核阳性的人工智能判读方法及系统
Jiang et al. Msk-unet: A modified u-net architecture based on selective kernel with multi-scale input for pavement crack detection
CN115908363B (zh) 肿瘤细胞统计方法、装置、设备和存储介质
CN111860465A (zh) 基于超像素的遥感图像提取方法、装置、设备及存储介质
CN112750124B (zh) 模型生成、图像分割方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40035344

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination