CN115294126B - 一种病理图像的癌细胞智能识别方法 - Google Patents

一种病理图像的癌细胞智能识别方法 Download PDF

Info

Publication number
CN115294126B
CN115294126B CN202211219769.3A CN202211219769A CN115294126B CN 115294126 B CN115294126 B CN 115294126B CN 202211219769 A CN202211219769 A CN 202211219769A CN 115294126 B CN115294126 B CN 115294126B
Authority
CN
China
Prior art keywords
image
pathological
pixel point
cascaded
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211219769.3A
Other languages
English (en)
Other versions
CN115294126A (zh
Inventor
蔡惠明
李长流
王子阳
倪轲娜
卢露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Nuoyuan Medical Devices Co Ltd
Original Assignee
Nanjing Nuoyuan Medical Devices Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Nuoyuan Medical Devices Co Ltd filed Critical Nanjing Nuoyuan Medical Devices Co Ltd
Priority to CN202211219769.3A priority Critical patent/CN115294126B/zh
Publication of CN115294126A publication Critical patent/CN115294126A/zh
Application granted granted Critical
Publication of CN115294126B publication Critical patent/CN115294126B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种病理图像的癌细胞智能识别方法,涉及细胞识别技术领域,其处理步骤如下:S1:提取病理图像中病理切片的有效区,去除不包含有效组织的背景区域;S2:构建癌细胞识别网络,癌细胞识别网络内部包括有特征抽取网络和特征融合网络;S3:网络参数训练学习,使用S1获得的预处理数据,对有效区域的图像进行矩形切块处理;S4:癌细胞识别推理,对待识别的病理图像进行预处理,识别有效区域;本发明通过对病理图像进行数据筛选,能够提高对病理图像的有效区域的识别效率,以解决现有的癌细胞识别过程中,数据处理量较大,筛选效率较低,针对有效区域的筛选的针对性存在不足的问题。

Description

一种病理图像的癌细胞智能识别方法
技术领域
本发明涉及细胞识别技术领域,尤其涉及一种病理图像的癌细胞智能识别方法。
背景技术
癌细胞是一种变异的细胞,是产生癌症的病源,癌细胞与正常细胞不同,有无限增殖、可转化和易转移三大特点,能够无限增殖并破坏正常的细胞组织,癌症早期诊断是一种专门针对癌症的诊断方法,通过提高诊断率,可以减轻患者的经济负担。癌症早期诊断是一种专门针对癌症的诊断方法,通过提高诊断率,可以减轻患者的经济负担。随着人工智能技术的发展,癌细胞病理图像的自动识别具有极大的临床价值。能够辅助病理医生完成病理诊断,提升诊断效率。
现有技术方案存在以下缺陷:病理医生需要花费大量的时间和脑力劳动、依靠经验在显微镜下识别和判断病变组织,整体识别难度大、效率低,且增加了病理科医生的工作强度;同时现有的专门针对癌症的诊断方法对于癌细胞病理图像的自动识别过程中,其数据筛选方式单一,导致数据处理量较大,图像处理效率较低,例如:在针对病理图像进行处理时,获取的图像中会包含无效的数据,原有的处理方式会先将所有的数据统一识别处理,然后进行比对,这种方式囊括了无效数据,导致数据处理效率低,识别处理不够精准。
发明内容
针对现有技术存在的不足,本发明目的是提供一种病理图像的癌细胞智能识别方法,通过对病理图像进行数据筛选,能够提高对病理图像的有效区域的识别效率,以解决现有的癌细胞识别过程中,数据处理量较大,筛选效率较低,针对有效区域的筛选的针对性存在不足的问题。
为了实现上述目的,本发明是通过如下的技术方案来实现:一种病理图像的癌细胞智能识别方法,其处理步骤如下:
S1:提取病理图像中病理切片的有效区,去除不包含有效组织的背景区域,并将不包含有效组织的背景区域设定为无效区域,通过去除无效区域以显著提高图像识别处理速度,去除背景区域包括如下步骤:
A1:对病理图像进行采样操作,将病理图像缩放至第一尺寸,优选原始病理图像的尺寸作为第一尺寸;
A2:对缩小后的病理图像进行二值化操作;
A3:对二值化操作后的病理图像的像素为0的区域进行形态学膨胀运算;
A4:提取二值化操作后的病理图像的像素为0的区域为有效区域,其他区域设定为无效的背景区域;
A5:将有效区域的坐标缩放至原始图像的坐标尺度,将有效区域与原始图像进行对应后,对原始病理图像中的有效区域进行标记;
A6:对病理图像的有效区域进行数据增强;
S2:构建癌细胞识别网络,癌细胞识别网络内部包括有特征抽取网络和特征融合网络,其中,特征抽取网络包括五个级联模块构成,特征融合网络包括五个级联子模块;将特征融合网络输出n种卷积核大小为1x1的卷积做分类得到输出概率图,其中,n表示识别的病理细胞种类;
S3:网络参数训练学习,使用S1获得的预处理数据,对有效区域的图像进行矩形切块处理,获得图像块集合,并采用反向传播的策略,对癌细胞识别网络参数进行训练,获得最终的网络参数;
S4:癌细胞识别推理,对待识别的病理图像进行预处理,识别有效区域,对有效区域的图像进行切块,获得图像块集合,采用并行的策略,为每个图像块分配子计算线程,对图像块集合中的每个图像块采用癌细胞识别网络进行识别获得每个子图像块的概率热图,将子图像块的概率热图进行拼接,获得整个病理图像的癌细胞分布概率图。
作为进一步的方案,步骤A2中采用OTSU自适应阈值的二值化操作对缩小后的病理图像进行二值化。
作为进一步的方案,步骤A6中对病理图像有效区域进行数据增强的方法包括随机缩放、水平翻转、垂直翻转或像素归一化中的一种或多种。
作为进一步的方案,步骤A6还包括如下步骤:
步骤A611,设置第一规格大小的像素点对病理图像的有效区域进行划分,将有效区域的边缘区域中不足一个像素点的位置补充为一个像素点的大小;
步骤A612,建立平面直角坐标系,将有效区域中的任意一个像素点的两条临边分别与平面直角坐标系的横轴和纵轴相平行进行摆放,再将摆放后的有效区域与平面直角坐标系的横轴和纵轴的最近距离设置为一个像素点的距离;
步骤A613,以一个像素点作为平面直角坐标系的横轴和纵轴的划分单位;
步骤A614,获取每个像素点的横坐标和纵坐标,每个像素点的坐标选用像素点最接近平面直角坐标系的原点的位置的坐标;
作为进一步的方案,所述步骤A6还包括步骤A621,所述步骤A621包括:将像素点的横坐标和纵坐标通过区域数据增强公式中求得数据增强值;所述区域数据增强公式配置为:
Figure 946347DEST_PATH_IMAGE002
;其中,Pszq为数据增强值,Xi为像素点的横坐标,Yi为像素点的纵坐标;将数据增强值记录到每个像素点上。
作为进一步的方案,所述步骤A6还包括如下步骤:
步骤A631,获取有效区域内的所有像素点对应的数据增强值的最大值,并设定为数据增强范围值,将数据增强范围值通过灰度转换公式求得灰度转换比,所述灰度转换公式配置为:
Figure 291877DEST_PATH_IMAGE004
;其中,Bhz为灰度转换比,Pszqmax为数据增强范围值;
步骤S632,将有效区域内的每个像素点的数据增强值和灰度转换比通过灰度模拟公式计算得到灰度参考值,所述灰度模拟公式配置为:
Figure 911077DEST_PATH_IMAGE006
;其中,Hc为灰度参考值,k1为灰度缩小系数,k1的取值范围在0-1之间,根据灰度参考值对每个像素点进行灰度增强处理,每个像素点的数据增强信息包括像素点的横坐标、纵坐标以及灰度参考值。
作为进一步的方案,步骤S2中特征抽取网络的五个级联模块为:
B1:模块一,模块一中含有两个级联的尺寸为3x3的64个卷积核的卷积层,每个卷积层后级联一个ReLU激活函数层,一个2x2下采样最大池化层,模块一的输出记为f1;
B2:模块二,模块二中含有两个级联的尺寸为3x3的128个卷积核的卷积层,每个卷积层后级联一个ReLU激活函数层,一个2x2下采样最大池化层,模块二的输出记为f2;
B3:模块三,模块三中含有三个级联的尺寸为3x3的256个卷积核的卷积层,每个卷积层后级联一个ReLU激活函数层,一个2x2下采样最大池化层,模块三的输出记为f3;
B4:模块四,模块四中含有三个级联的尺寸为3x3的512个卷积核的卷积层,每个卷积层后级联一个ReLU激活函数层,一个2x2下采样最大池化层,模块四的输出记为f4;
B5:模块五,模块五为三个级联的全连接层,模块五的输出记为f5。
作为进一步的方案,所述S2中特征融合网络五个级联子模块为:
C1:子模块一,子模块一中含有一个2x2上采样卷积核,其输入为f5;
C2:子模块二,子模块二中含有两个级联的尺寸为3x3的512个卷积核的卷积层,每个卷积层后级联一个ReLU激活函数层,一个2x2上采样卷积核,其输入数据与f4拼接构成;
C3:子模块三,子模块三中含有两个级联的尺寸为3x3的256个卷积核的卷积层,每个卷积层后级联一个ReLU激活函数层,一个2x2上采样卷积核,其输入数据与f3拼接构成;
C4:子模块四,子模块四中含有两个级联的尺寸为3x3的128个卷积核的卷积层,每个卷积层后级联一个ReLU激活函数层,一个2x2上采样卷积核,其输入数据与f2拼接构成;
C5:子模块五,子模块五中含有两个级联的尺寸为3x3的64个卷积核的卷积层,每个卷积层后级联一个ReLU激活函数层,其输入数据与f1拼接构成。
本发明的有益效果:本发明首先提取病理图像中病理切片的有效区,去除不包含有效组织的背景区域,并将不包含有效组织的背景区域设定为无效区域,通过去除无效区域以显著提高图像识别处理速度,其中,在针对有效区域的处理过程中,对病理图像的有效区域进行数据增强,该设计能够进一步增强对有效区域的标记,从而避免无效数据的干扰,提高了后续数据处理的针对性,进而有助于提高数据处理的效率;
本发明通过构建癌细胞识别网络,将癌细胞识别网络分为有特征抽取网络和特征融合网络,然后再进行网络参数训练学习,对癌细胞识别网络参数进行训练,获得最终的网络参数;最后再进行癌细胞识别推理,进而获得整个病理图像的癌细胞分布概率图;在提高病理图像筛选识别效率的同时,保障癌细胞筛选的准确性。
本发明附加方面的优点将在下面的具体实施方式的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其他特征、目的和优点将会变得更明显:
图1为本发明的工作流程示意图;
图2为本发明的识别方法的处理步骤的局部流程图;
图3为本发明的步骤S1的子步骤流程图;
图4为本发明的平面直角坐标系与有效区域的示意图。
具体实施方式
应该指出,以下详细说明都是示例性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。
在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
实施例一
请参阅图1-图3所示,本发明提供一种病理图像的癌细胞智能识别方法,其处理步骤如下:
S1:提取病理图像中病理切片的有效区,去除不包含有效组织的背景区域,并将不包含有效组织的背景区域设定为无效区域,通过去除无效区域以显著提高图像识别处理速度,去除背景区域包括如下步骤:
A1:对病理图像进行采样操作,将病理图像缩放至第一尺寸,优选原始病理图像的尺寸作为第一尺寸;进一步优选的将病理图像缩小至原始病理图像的1/20大小;
A2:对缩小后的病理图像进行二值化操作;优选采用OTSU自适应阈值的二值化操作对缩小后的病理图像进行二值化;
A3:对二值化操作后的病理图像的像素为0的区域进行形态学膨胀运算;
A4:提取二值化操作后的病理图像的像素为0的区域为有效区域,其他区域设定为无效的背景区域;
A5:将有效区域的坐标缩放至原始图像的坐标尺度,将有效区域与原始图像进行对应后,对原始病理图像中的有效区域进行标记;
A6:对病理图像的有效区域进行数据增强;步骤A6中对病理图像有效区域进行数据增强的方法包括随机缩放、水平翻转、垂直翻转或像素归一化中的一种或多种;
S2:构建癌细胞识别网络,癌细胞识别网络内部包括有特征抽取网络和特征融合网络,其中,特征抽取网络包括五个级联模块构成,特征抽取网络的五个级联模块为:
B1:模块一,模块一中含有两个级联的尺寸为3x3的64个卷积核的卷积层,每个卷积层后级联一个ReLU激活函数层,一个2x2下采样最大池化层,模块一的输出记为f1;
B2:模块二,模块二中含有两个级联的尺寸为3x3的128个卷积核的卷积层,每个卷积层后级联一个ReLU激活函数层,一个2x2下采样最大池化层,模块二的输出记为f2;
B3:模块三,模块三中含有三个级联的尺寸为3x3的256个卷积核的卷积层,每个卷积层后级联一个ReLU激活函数层,一个2x2下采样最大池化层,模块三的输出记为f3;
B4:模块四,模块四中含有三个级联的尺寸为3x3的512个卷积核的卷积层,每个卷积层后级联一个ReLU激活函数层,一个2x2下采样最大池化层,模块四的输出记为f4;
B5:模块五,模块五为三个级联的全连接层,模块五的输出记为f5。
特征融合网络包括五个级联子模块;特征融合网络五个级联子模块为:
C1:子模块一,子模块一中含有一个2x2上采样卷积核,其输入为f5;
C2:子模块二,子模块二中含有两个级联的尺寸为3x3的512个卷积核的卷积层,每个卷积层后级联一个ReLU激活函数层,一个2x2上采样卷积核,其输入数据与f4拼接构成;
C3:子模块三,子模块三中含有两个级联的尺寸为3x3的256个卷积核的卷积层,每个卷积层后级联一个ReLU激活函数层,一个2x2上采样卷积核,其输入数据与f3拼接构成;
C4:子模块四,子模块四中含有两个级联的尺寸为3x3的128个卷积核的卷积层,每个卷积层后级联一个ReLU激活函数层,一个2x2上采样卷积核,其输入数据与f2拼接构成;
C5:子模块五,子模块五中含有两个级联的尺寸为3x3的64个卷积核的卷积层,每个卷积层后级联一个ReLU激活函数层,其输入数据与f1拼接构成。
将特征融合网络输出n种卷积核大小为1x1的卷积做分类得到输出概率图,其中,n表示识别的病理细胞种类;一种实施例中n=2。
S3:网络参数训练学习,使用S1获得的预处理数据,对有效区域的图像进行矩形切块处理,获得图像块集合,并采用反向传播的策略,对癌细胞识别网络参数进行训练,获得最终的网络参数;优选的一种实施例中图像块尺寸为572x572;
S4:癌细胞识别推理,对待识别的病理图像进行预处理,识别有效区域,对有效区域的图像进行切块,获得图像块集合,优选的一种实施例中的切块尺寸为572x572;采用并行的策略,为每个图像块分配子计算线程,对图像块集合中的每个图像块采用癌细胞识别网络进行识别获得每个子图像块的概率热图,将子图像块的概率热图进行拼接,获得整个病理图像的癌细胞分布概率图。
实施例二
请参阅图2和图3所示,实施例二中提供一种病理图像的癌细胞智能识别方法,实施例二与实施例一的不同之处在于,实施例二中的对病理图像的有效区域进行数据增强的方案存在不同,实施例二根据病理图像的对应设置了一种新型的数据增强方案,能够更好的与病理图像领域进行匹配。
具体地,智能识别方法的处理步骤如下:
S1:提取病理图像中病理切片的有效区,去除不包含有效组织的背景区域,并将不包含有效组织的背景区域设定为无效区域,通过去除无效区域以显著提高图像识别处理速度;
S2:构建癌细胞识别网络,癌细胞识别网络内部包括有特征抽取网络和特征融合网络,其中,特征抽取网络包括五个级联模块构成,特征融合网络包括五个级联子模块;将特征融合网络输出n种卷积核大小为1x1的卷积做分类得到输出概率图,其中,n表示识别的病理细胞种类;
S3:网络参数训练学习,使用S1获得的预处理数据,对有效区域的图像进行矩形切块处理,获得图像块集合,并采用反向传播的策略,对癌细胞识别网络参数进行训练,获得最终的网络参数;
S4:癌细胞识别推理,对待识别的病理图像进行预处理,识别有效区域,对有效区域的图像进行切块,获得图像块集合,采用并行的策略,为每个图像块分配子计算线程,对图像块集合中的每个图像块采用癌细胞识别网络进行识别获得每个子图像块的概率热图,将子图像块的概率热图进行拼接,获得整个病理图像的癌细胞分布概率图。
其中,去除背景区域包括如下步骤:
A1:对病理图像进行采样操作,将病理图像缩放至第一尺寸,优选原始病理图像的尺寸作为第一尺寸;
A2:对缩小后的病理图像进行二值化操作;优选采用OTSU自适应阈值的二值化操作对缩小后的病理图像进行二值化;
A3:对二值化操作后的病理图像的像素为0的区域进行形态学膨胀运算;
A4:提取二值化操作后的病理图像的像素为0的区域为有效区域,其他区域设定为无效的背景区域;
A5:将有效区域的坐标缩放至原始图像的坐标尺度,将有效区域与原始图像进行对应后,对原始病理图像中的有效区域进行标记;
A6:对病理图像的有效区域进行数据增强;
步骤A6还包括如下步骤:
步骤A611,设置第一规格大小的像素点对病理图像的有效区域进行划分,将有效区域的边缘区域中不足一个像素点的位置补充为一个像素点的大小;
请参阅图4所示,步骤A612,建立平面直角坐标系,将有效区域中的任意一个像素点的两条临边分别与平面直角坐标系的横轴和纵轴相平行进行摆放,再将摆放后的有效区域与平面直角坐标系的横轴和纵轴的最近距离设置为一个像素点的距离;采用步骤A612中的摆放方式能够便于对像素点的坐标进行确定,上述摆放方式能够使每个像素点的坐标都为整数,从而便于坐标确定以及后续的计算处理;
步骤A613,以一个像素点作为平面直角坐标系的横轴和纵轴的划分单位;由于有效区域的划分单位为一个像素点,因此针对坐标建立时,需要采用小于一个像素点的单位进行划分,采用这样的划分方案才能够将有效区域的坐标进行对应标记;
步骤A614,获取每个像素点的横坐标和纵坐标,每个像素点的坐标选用像素点最接近平面直角坐标系的原点的位置的坐标;坐标选取方式中优选为每个像素点最接近平面直角坐标系的原点的位置;同样一个像素点有四个顶点,选取其中任意一个顶点作为坐标的确定都可以,四顶点的坐标都为整数坐标;
所述步骤A6还包括步骤A621,所述步骤A621包括:将像素点的横坐标和纵坐标通过区域数据增强公式中求得数据增强值;所述区域数据增强公式配置为:
Figure 912531DEST_PATH_IMAGE002
;其中,Pszq为数据增强值,Xi为像素点的横坐标,Yi为像素点的纵坐标;将数据增强值记录到每个像素点上。
所述步骤A6还包括如下步骤:
步骤A631,获取有效区域内的所有像素点对应的数据增强值的最大值,并设定为数据增强范围值,将数据增强范围值通过灰度转换公式求得灰度转换比,所述灰度转换公式配置为:
Figure 919888DEST_PATH_IMAGE004
;其中,Bhz为灰度转换比,Pszqmax为数据增强范围值;灰度值的范围为255,如果数据增强范围值大于255,则需要将所有的数据增强值按照比例进行缩小,使缩小后的值在0-255范围内;
步骤S632,将有效区域内的每个像素点的数据增强值和灰度转换比通过灰度模拟公式计算得到灰度参考值,所述灰度模拟公式配置为:
Figure 119925DEST_PATH_IMAGE006
;其中,Hc为灰度参考值,k1为灰度缩小系数,k1的取值范围在0-1之间,具体的,k1设置为0.9,通过设置k1,能够使最终得到的灰度参考值中的最大值小于255,使最终的有效区域标记后的亮度不至于过大;根据灰度参考值对每个像素点进行灰度增强处理,每个像素点的数据增强信息包括像素点的横坐标、纵坐标以及灰度参考值;通过对有效区域进行像素点划分,再对像素点赋予坐标和灰度值,能够使有效区域内的每个点都进行了数据增强,使其区别与任何一个点,从而增强了有效数据,间接的削弱了无效数据,从而避免无效数据影响数据给处理过程,有助于提高数据筛选效率。
上述公式均是去量纲取其数值计算,公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式,公式中的预设参数由本领域的技术人员根据实际情况进行设置,如存在权重系数和比例系数,其设置的大小是为了将各个参数进行量化得到的一个具体的数值,便于后续比较,关于权重系数和比例系数的大小,只要不影响参数与量化后数值的比例关系即可。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。其中,存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(Static RandomAccess Memory,简称SRAM),电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(ErasableProgrammable Read Only Memory,简称EPROM),可编程只读存储器(Programmable Red-Only Memory,简称PROM),只读存储器(Read-OnlyMemory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (5)

1.一种病理图像的癌细胞智能识别方法,其特征在于,其处理步骤如下:
S1:提取病理图像中病理切片的有效区,去除不包含有效组织的背景区域,并将不包含有效组织的背景区域设定为无效区域,通过去除无效区域以显著提高图像识别处理速度,去除背景区域包括如下步骤:
A1:对病理图像进行采样操作,将病理图像缩放至第一尺寸;
A2:对缩小后的病理图像进行二值化操作;
A3:对二值化操作后的病理图像的像素为0的区域进行形态学膨胀运算;
A4:提取二值化操作后的病理图像的像素为0的区域为有效区域,其他区域设定为无效的背景区域;
A5:将有效区域的坐标缩放至原始图像的坐标尺度,将有效区域与原始图像进行对应后,对原始病理图像中的有效区域进行标记;
A6:对病理图像的有效区域进行数据增强;
S2:构建癌细胞识别网络,癌细胞识别网络内部包括有特征抽取网络和特征融合网络,其中,特征抽取网络包括五个级联模块构成,特征融合网络包括五个级联子模块;将特征融合网络输出n种卷积核大小为1x1的卷积做分类得到输出概率图,其中,n表示识别的病理细胞种类;
S3:网络参数训练学习,使用S1获得的预处理数据,对有效区域的图像进行矩形切块处理,获得图像块集合,并采用反向传播的策略,对癌细胞识别网络参数进行训练,获得最终的网络参数;
S4:癌细胞识别推理,对待识别的病理图像进行预处理,识别有效区域,对有效区域的图像进行切块,获得图像块集合,采用并行的策略,为每个图像块分配子计算线程,对图像块集合中的每个图像块采用癌细胞识别网络进行识别获得每个子图像块的概率热图,将子图像块的概率热图进行拼接,获得整个病理图像的癌细胞分布概率图;
步骤S2中特征抽取网络的五个级联模块为:
B1:模块一,模块一中含有两个级联的尺寸为3x3的64个卷积核的卷积层,每个卷积层后级联一个ReLU激活函数层,一个2x2下采样最大池化层,模块一的输出记为f1;
B2:模块二,模块二中含有两个级联的尺寸为3x3的128个卷积核的卷积层,每个卷积层后级联一个ReLU激活函数层,一个2x2下采样最大池化层,模块二的输出记为f2;
B3:模块三,模块三中含有三个级联的尺寸为3x3的256个卷积核的卷积层,每个卷积层后级联一个ReLU激活函数层,一个2x2下采样最大池化层,模块三的输出记为f3;
B4:模块四,模块四中含有三个级联的尺寸为3x3的512个卷积核的卷积层,每个卷积层后级联一个ReLU激活函数层,一个2x2下采样最大池化层,模块四的输出记为f4;
B5:模块五,模块五为三个级联的全连接层,模块五的输出记为f5;
所述S2中特征融合网络五个级联子模块为:
C1:子模块一,子模块一中含有一个2x2上采样卷积核,其输入为f5;
C2:子模块二,子模块二中含有两个级联的尺寸为3x3的512个卷积核的卷积层,每个卷积层后级联一个ReLU激活函数层,一个2x2上采样卷积核,其输入数据与f4拼接构成;
C3:子模块三,子模块三中含有两个级联的尺寸为3x3的256个卷积核的卷积层,每个卷积层后级联一个ReLU激活函数层,一个2x2上采样卷积核,其输入数据与f3拼接构成;
C4:子模块四,子模块四中含有两个级联的尺寸为3x3的128个卷积核的卷积层,每个卷积层后级联一个ReLU激活函数层,一个2x2上采样卷积核,其输入数据与f2拼接构成;
C5:子模块五,子模块五中含有两个级联的尺寸为3x3的64个卷积核的卷积层,每个卷积层后级联一个ReLU激活函数层,其输入数据与f1拼接构成。
2.根据权利要求1所述的一种病理图像的癌细胞智能识别方法,其特征在于:步骤A2中采用OTSU自适应阈值的二值化操作对缩小后的病理图像进行二值化。
3.根据权利要求1所述的一种病理图像的癌细胞智能识别方法,其特征在于:步骤A6还包括如下步骤:
步骤A611,设置第一规格大小的像素点对病理图像的有效区域进行划分,将有效区域的边缘区域中不足一个像素点的位置补充为一个像素点的大小;
步骤A612,建立平面直角坐标系,将有效区域中的任意一个像素点的两条临边分别与平面直角坐标系的横轴和纵轴相平行进行摆放,再将摆放后的有效区域与平面直角坐标系的横轴和纵轴的最近距离设置为一个像素点的距离;
步骤A613,以一个像素点作为平面直角坐标系的横轴和纵轴的划分单位;
步骤A614,获取每个像素点的横坐标和纵坐标,每个像素点的坐标选用像素点最接近平面直角坐标系的原点的位置的坐标。
4.根据权利要求3所述的一种病理图像的癌细胞智能识别方法,其特征在于:所述步骤 A6还包括步骤A621,所述步骤A621包括:将像素点的横坐标和纵坐标通过区域数据增强公 式中求得数据增强值;所述区域数据增强公式配置为:
Figure DEST_PATH_IMAGE001
;其中,Pszq为 数据增强值,Xi为像素点的横坐标,Yi为像素点的纵坐标;将数据增强值记录到每个像素点 上。
5.根据权利要求4所述的一种病理图像的癌细胞智能识别方法,其特征在于:所述步骤A6还包括如下步骤:
步骤A631,获取有效区域内的所有像素点对应的数据增强值的最大值,并设定为数据 增强范围值,将数据增强范围值通过灰度转换公式求得灰度转换比,所述灰度转换公式配 置为:
Figure 851589DEST_PATH_IMAGE002
;其中,Bhz为灰度转换比,Pszqmax为数据增强范围值;
步骤S632,将有效区域内的每个像素点的数据增强值和灰度转换比通过灰度模拟公式 计算得到灰度参考值,所述灰度模拟公式配置为:
Figure DEST_PATH_IMAGE003
;其中,Hc为灰度参 考值,k1为灰度缩小系数,k1的取值范围在0-1之间,根据灰度参考值对每个像素点进行灰 度增强处理,每个像素点的数据增强信息包括像素点的横坐标、纵坐标以及灰度参考值。
CN202211219769.3A 2022-10-08 2022-10-08 一种病理图像的癌细胞智能识别方法 Active CN115294126B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211219769.3A CN115294126B (zh) 2022-10-08 2022-10-08 一种病理图像的癌细胞智能识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211219769.3A CN115294126B (zh) 2022-10-08 2022-10-08 一种病理图像的癌细胞智能识别方法

Publications (2)

Publication Number Publication Date
CN115294126A CN115294126A (zh) 2022-11-04
CN115294126B true CN115294126B (zh) 2022-12-16

Family

ID=83834207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211219769.3A Active CN115294126B (zh) 2022-10-08 2022-10-08 一种病理图像的癌细胞智能识别方法

Country Status (1)

Country Link
CN (1) CN115294126B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580397B (zh) * 2023-07-12 2023-11-10 北京大学 病理图像识别方法、装置、设备及存储介质
CN117115117B (zh) * 2023-08-31 2024-02-09 南京诺源医疗器械有限公司 基于小样本下的病理图像识别方法、电子设备及存储介质

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013049153A2 (en) * 2011-09-27 2013-04-04 Board Of Regents, University Of Texas System Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
CN106203327A (zh) * 2016-07-08 2016-12-07 清华大学 基于卷积神经网络的肺部肿瘤识别系统及方法
WO2018222755A1 (en) * 2017-05-30 2018-12-06 Arterys Inc. Automated lesion detection, segmentation, and longitudinal identification
CN108986124A (zh) * 2018-06-20 2018-12-11 天津大学 结合多尺度特征卷积神经网络视网膜血管图像分割方法
CN109410194A (zh) * 2018-10-19 2019-03-01 山东省计算中心(国家超级计算济南中心) 一种基于深度学习的食管癌病理图像处理方法
CN109448006A (zh) * 2018-11-01 2019-03-08 江西理工大学 一种注意力机制u型密集连接视网膜血管分割方法
CN110853009A (zh) * 2019-11-11 2020-02-28 北京端点医药研究开发有限公司 基于机器学习的视网膜病理图像分析系统
CN111862136A (zh) * 2020-06-22 2020-10-30 南开大学 基于卷积神经网络的多模态核磁影像缺血性脑卒中病变分割方法
WO2020243583A1 (en) * 2019-05-29 2020-12-03 Leica Biosystems Imaging, Inc. Artificial intelligence processing system and automated pre-diagnostic workflow for digital pathology
CN112200763A (zh) * 2020-08-24 2021-01-08 江苏科技大学 一种基于肝脏ct影像的肝功能分级方法
CN112884737A (zh) * 2021-02-08 2021-06-01 武汉大学 基于多级迭代的乳腺癌病理图像中有丝分裂自动检测方法
WO2021169128A1 (zh) * 2020-02-29 2021-09-02 平安科技(深圳)有限公司 眼底视网膜血管识别及量化方法、装置、设备及存储介质
CN113344849A (zh) * 2021-04-25 2021-09-03 山东师范大学 一种基于YOLOv5的微乳头检测系统
US11176443B1 (en) * 2017-12-21 2021-11-16 Automation Anywhere, Inc. Application control and text detection from application screen images
CN114266794A (zh) * 2022-02-28 2022-04-01 华南理工大学 基于全卷积神经网络的病理切片图像癌症区域分割系统
CN114372531A (zh) * 2022-01-11 2022-04-19 北京航空航天大学 一种基于自注意力特征融合的胰腺癌病理图像分类方法
CN114549520A (zh) * 2022-04-08 2022-05-27 北京端点医药研究开发有限公司 基于全卷积注意力增强网络的视网膜病理切片分析系统
CN114648541A (zh) * 2022-03-28 2022-06-21 中国人民解放军总医院第七医学中心 非小细胞肺癌大体肿瘤靶区自动分割方法
CN115035011A (zh) * 2022-06-09 2022-09-09 重庆邮电大学 一种融合策略下自适应RetinexNet的低照度图像增强方法
CN115100474A (zh) * 2022-06-30 2022-09-23 武汉兰丁智能医学股份有限公司 基于拓扑特征分析的甲状腺穿刺图像分类方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472784A (zh) * 2018-10-31 2019-03-15 安徽医学高等专科学校 基于级联全卷积网络病理图像有丝分裂细胞的识别方法
US11893732B2 (en) * 2019-05-29 2024-02-06 Leica Biosystems Imaging, Inc. Computer supported review of tumors in histology images and post operative tumor margin assessment
US20220076411A1 (en) * 2019-05-29 2022-03-10 Leica Biosystems Imaging Inc. Neural netork based identification of areas of interest in digital pathology images
CN112446832A (zh) * 2019-08-31 2021-03-05 华为技术有限公司 一种图像处理方法及电子设备
US11436761B2 (en) * 2020-03-18 2022-09-06 International Business Machines Corporation Preventing feature loss when compressing images
CN111798464A (zh) * 2020-06-30 2020-10-20 天津深析智能科技有限公司 基于深度学习的淋巴瘤病理图像智能识别方法
CN114037699B (zh) * 2021-12-07 2022-08-09 中国医学科学院北京协和医院 一种病理图像分类方法、设备、系统及存储介质

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013049153A2 (en) * 2011-09-27 2013-04-04 Board Of Regents, University Of Texas System Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
CN106203327A (zh) * 2016-07-08 2016-12-07 清华大学 基于卷积神经网络的肺部肿瘤识别系统及方法
WO2018222755A1 (en) * 2017-05-30 2018-12-06 Arterys Inc. Automated lesion detection, segmentation, and longitudinal identification
US11176443B1 (en) * 2017-12-21 2021-11-16 Automation Anywhere, Inc. Application control and text detection from application screen images
CN108986124A (zh) * 2018-06-20 2018-12-11 天津大学 结合多尺度特征卷积神经网络视网膜血管图像分割方法
CN109410194A (zh) * 2018-10-19 2019-03-01 山东省计算中心(国家超级计算济南中心) 一种基于深度学习的食管癌病理图像处理方法
CN109448006A (zh) * 2018-11-01 2019-03-08 江西理工大学 一种注意力机制u型密集连接视网膜血管分割方法
WO2020243583A1 (en) * 2019-05-29 2020-12-03 Leica Biosystems Imaging, Inc. Artificial intelligence processing system and automated pre-diagnostic workflow for digital pathology
CN110853009A (zh) * 2019-11-11 2020-02-28 北京端点医药研究开发有限公司 基于机器学习的视网膜病理图像分析系统
WO2021169128A1 (zh) * 2020-02-29 2021-09-02 平安科技(深圳)有限公司 眼底视网膜血管识别及量化方法、装置、设备及存储介质
CN111862136A (zh) * 2020-06-22 2020-10-30 南开大学 基于卷积神经网络的多模态核磁影像缺血性脑卒中病变分割方法
CN112200763A (zh) * 2020-08-24 2021-01-08 江苏科技大学 一种基于肝脏ct影像的肝功能分级方法
CN112884737A (zh) * 2021-02-08 2021-06-01 武汉大学 基于多级迭代的乳腺癌病理图像中有丝分裂自动检测方法
CN113344849A (zh) * 2021-04-25 2021-09-03 山东师范大学 一种基于YOLOv5的微乳头检测系统
CN114372531A (zh) * 2022-01-11 2022-04-19 北京航空航天大学 一种基于自注意力特征融合的胰腺癌病理图像分类方法
CN114266794A (zh) * 2022-02-28 2022-04-01 华南理工大学 基于全卷积神经网络的病理切片图像癌症区域分割系统
CN114648541A (zh) * 2022-03-28 2022-06-21 中国人民解放军总医院第七医学中心 非小细胞肺癌大体肿瘤靶区自动分割方法
CN114549520A (zh) * 2022-04-08 2022-05-27 北京端点医药研究开发有限公司 基于全卷积注意力增强网络的视网膜病理切片分析系统
CN115035011A (zh) * 2022-06-09 2022-09-09 重庆邮电大学 一种融合策略下自适应RetinexNet的低照度图像增强方法
CN115100474A (zh) * 2022-06-30 2022-09-23 武汉兰丁智能医学股份有限公司 基于拓扑特征分析的甲状腺穿刺图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Two-stage generative adversarial networks for document image binarization with color noise and background removal;Suh,S等;《 arXiv: Computer Vision and Pattern Recognition》;20210427;第1-3页 *
基于混合特征增强网络的病理图像腺体分割研究;伍祥江;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20220515(第5期);第E072-23页 *

Also Published As

Publication number Publication date
CN115294126A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN115294126B (zh) 一种病理图像的癌细胞智能识别方法
CN108765408B (zh) 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统
CN111445478B (zh) 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法
CN111524137A (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN110599500A (zh) 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及系统
CN114581662A (zh) 一种脑肿瘤图像的分割方法、系统、装置及存储介质
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
US20230377097A1 (en) Laparoscopic image smoke removal method based on generative adversarial network
CN112712522A (zh) 一种病理学图像的口腔癌上皮组织区域自动分割方法
CN112598656A (zh) 一种基于UNet++优化和权值预算的脑肿瘤分割算法
CN114092450A (zh) 一种基于胃镜检查视频的实时图像分割方法、系统、装置
CN115063435A (zh) 基于多尺度类间的肿瘤及周围器官的分割方法
Shan et al. SCA-Net: A spatial and channel attention network for medical image segmentation
CN111950544A (zh) 一种确定病理图像中感兴趣区域的方法及装置
Kromp et al. Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation
CN112419335B (zh) 一种细胞核分割网络的形状损失计算方法
CN113781387A (zh) 模型训练方法、图像处理方法、装置、设备及存储介质
CN115311271B (zh) 一种宫颈浸润癌细胞的智能识别方法
CN116245892B (zh) 图像处理模型生成方法、图像处理方法及装置
CN115775226B (zh) 基于Transformer的医学图像分类方法
CN111951271A (zh) 一种识别病理图像中癌细胞的方法及装置
CN116128895A (zh) 医学图像分割方法、装置和计算机可读存储介质
CN114118127B (zh) 一种视觉场景标志检测与识别方法及装置
CN115578400A (zh) 图像处理方法、图像分割网络的训练方法及装置
CN112990367A (zh) 一种图像处理方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant