CN110633651B - 一种基于图像拼接的异常细胞自动识别方法 - Google Patents

一种基于图像拼接的异常细胞自动识别方法 Download PDF

Info

Publication number
CN110633651B
CN110633651B CN201910790102.0A CN201910790102A CN110633651B CN 110633651 B CN110633651 B CN 110633651B CN 201910790102 A CN201910790102 A CN 201910790102A CN 110633651 B CN110633651 B CN 110633651B
Authority
CN
China
Prior art keywords
image
cell
splicing
roi
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910790102.0A
Other languages
English (en)
Other versions
CN110633651A (zh
Inventor
刘娟
柳家胜
李卓彧
花春兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201910790102.0A priority Critical patent/CN110633651B/zh
Publication of CN110633651A publication Critical patent/CN110633651A/zh
Priority to US17/002,751 priority patent/US11605163B2/en
Application granted granted Critical
Publication of CN110633651B publication Critical patent/CN110633651B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4084—Transform-based scaling, e.g. FFT domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

本发明公开了一种基于图像拼接的异常细胞自动识别方法，首先自动定位出细胞病理图像中所有的细胞；其次，对于每一个细胞以细胞核的质心坐标为中心，以一定长度为边长确定一个ROI图像；然后将所有的ROI图像进行分组拼接，从而得到若干分辨率更大的细胞拼接图像SpliceImage；最后，将所有细胞拼接图像SpliceImage作为深度卷积神经网络模型的输入，训练细胞分类器实现对细胞的分类，从而识别出异常的病理细胞。在国际公开的宫颈细胞病理图像HERLEV数据集上的实验表明，本发明所提出的一种新型的基于图像拼接的异常细胞自动识别方法相对于其它方法而言，在较大程度提高异常细胞识别精度及检出率的同时，还能明显提高异常细胞的识别效率，因此具有较大的社会实用价值。

Description

一种基于图像拼接的异常细胞自动识别方法
技术领域
本发明属于图像分析领域，具体涉及一种面向细胞病理图像的异常细胞自动识别方法。
背景技术
癌症是由恶性肿瘤发展而来，有着较长的癌前病变阶段，通常是由不典型性增生，发展为原位癌，再发展为早期浸润癌，最后发展为浸润癌。通常由癌前病变到癌有较长的过渡时期，如果能够在癌前病变时期及时发现及时治疗，就可以将癌消灭在萌芽状态，因此早期癌筛查对于癌症的预防和控制具有重大的意义。癌症筛查方法有细胞学筛查、影像学筛查等等。本发明主要关注细胞学癌症筛查方法，属细胞病理学范畴。以宫颈癌为例，宫颈细胞涂片检查是发现宫颈癌前病变和早期宫颈癌的主要方法，病理医生通过在显微镜下进行细胞病理学分析，得出最终的诊断结果，这种诊断方法重复劳动量大，对病理医生水平要求高且诊断结果主观性较强。
目前深度学习发展的如火如荼，且越来越多的被应用到疾病的智能诊断领域。使用深度学习实现对异常细胞识别的一般思路是首先实现细胞病理图像中感兴趣区域(ROI)的提取，然后使用深度网络对ROI图像进行分类。一些研究方法为了提高算法的效率，所处理的ROI图像通常会包含多个细胞，这种方法和细胞病理图像以单个细胞作为研究对象的思路相冲突，通常难以取得很好的识别精度；另外一些方法同本发明一样同样采用了细胞定位的思路实现对细胞自动定位并产生ROI图像，最后对ROI图像进行分类，但这种研究方法将细胞从其邻域环境中隔离出来，从而导致分类模型无法有效学习到同一个样本中不同细胞在病理学特征上的对比和参考，而仅仅观察一个独立的细胞可能很难确认其是否发生了异常病变，因此，这种方法的对于异常细胞的识别精度也不高。
综上所述，目前急迫的需要一种以单个细胞作为研究对象，并且在对单个细胞进行自动筛查分析的同时能够参考对比到同一样本中其它细胞的病理学特征，从而能够高效准确的识别出异常细胞的自动分析方法。
发明内容
本发明针对上述背景技术中存在的异常细胞识别方案和病理学背景不匹配、识别效率不高、识别精度低的问题提供一种新型的基于图像拼接的异常细胞自动识别方法，从而提高异常细胞识别的效率及精度，为医生的诊断提供有价值的参考。
本发明所采用的技术方式是：一种基于图像拼接的异常细胞自动识别方法，其特征在于，包括以下步骤：
步骤1：获取细胞病理图像；
步骤2：定位出细胞病理图像中的所有细胞的细胞核，得到所有细胞核的质心坐标集合，记作CentroidOfNucleus；
步骤3：对CentroidOfNucleus中每一个细胞核质心坐标Centroid_i进行处理；
以Centroid_i为中心，以固定长度L为边长，确定一个正方形的ROI图像；每一个细胞都对应于一个ROI图像，所有细胞所对应的ROI图像的集合记作ROI_images；
步骤4：对ROI_images，以预设的行数rows及列数column进行分组拼接，从而得到若干长度为rows×L、宽度为column×L的细胞拼接图像SpliceImage；
步骤5：将SpliceImage图片集合作为训练好的深度网络模型的输入，实现对所有细胞的分类，从而识别出异常细胞。
本发明和以前的技术相比，具有如下优势：
1、基于多源特征融合的细胞核自动定位算法，能够自动融合细胞病理图像中像素点的SURF特征和MSER特征，细胞核定位精度和定位效率都显著提升；
2、为实现图像拼接行数、列数的自适应调整，本发明为深度网络增加了α和β两个参数用于控制网络结构的分辨率及宽度，从而让本发明所提出的方法具有更高的灵活性及更广的适用性。
3、通过将来自于同一样本的细胞图像进行拼接，为细胞分类提供了一个较大范围的邻域环境，为分类过程增加了同一样本其它细胞的病理学特征的参考对比，从而有效提高了异常细胞的检测精度。
4、图像拼接后模型的总MACC(乘加计算量)虽然增大，但由于参与拼接的不同细胞图像共享了计算，和传统以单个细胞图像作为输入的深度网络而言，在达到相同分类精度的情况下，平均到每一个细胞图像的MACC降低到原始的一半，从而大大提高了分类模型的效率。
附图说明
图1是本发明实施例的流程图；
图2-A是本发明实施例中Normal细胞示例图；
图2-B是本发明实施例中Abnormal细胞示例图；
图2-C是本发明实施例中Cancer细胞示例图；
图3是本发明实施例中多源特征融合的细胞核自动定位效果图；
图4是本发明实施例中由细胞核质心坐标产生ROI图片示意图；
图5是本发明实施例中单个细胞图像数据增强示例图；
图6是本发明实施例中深度网络模型的训练数据示例图；
图7是本发明实施例中深度网络模型的输入标签及预测结果示意图；
图8是本发明实施例中预测阶段深度网络模型的输入示例图；
图9是本发明实施例中深度网络模型使用的残差块结构示意图；
图10是本发明实施例中深度网络模型结构图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
本发明所提出的方法通过高效的定位算法自动定位出细胞病理图像中所有细胞并产生相应的ROI图像，然后将ROI图像进行分组拼接产生细胞拼接图SpliceImage，最后使用深度网络模型实现对SpliceImage进行分类，从而实现对异常细胞的识别。
请见图1，本发明提供的一种基于图像拼接的异常细胞自动识别方法，包括以下步骤：
步骤1：获取细胞病理图像；
步骤2：定位出细胞病理图像中的所有细胞的细胞核，得到所有细胞核的质心坐标集合，记作CentroidOfNucleus；
本实施例中，使用多源特征融合的定位算法自动定位出细胞病理图像中的所有细胞的细胞核。该方法融合了细胞病理图像中像素点的MSER特征和SURF特征，包括以下步骤：
步骤2.1：使用MSER算法自动定位出细胞病理图像中符合条件的最大稳定极值区域集合，记为msers；
MSER算法的流程是：使用不断变化的阈值对图像进行二值化，阈值从0到255依次变化，这样二值化图像就经历一个由全黑到全白的过程，类似于水位不断上升的俯瞰图。在这个过程中，有些连通域面积随阈值上升的变化很小，这种区域就称为mser，即最大稳定极值区域，它的数学定义为：
Figure BDA0002179296000000041
minArea＜Ri＜maxArea
其中Ri表示第i个连通区域的面积，deta表示微小的阈值变化(注水)，当
Figure BDA0002179296000000042
小于给定的阈值maxVari，并且连通域的面积在给定的最小面积阈值minArea和最大面积阈值maxArea范围内部时，则认为该区域是满足要求的mser。本实施例中MSER算法deta取值为1，maxVari取值为0.77，minArea取值为120，maxArea取值为1000。
步骤2.2：使用SURF算法自动定位出细胞病理图像中的关键点，即候选的细胞核质心坐标，所有的细胞核候选点集合记为CandidateNucleus；
SURF算法通过构建Hessian(黑塞矩阵)来生成所有的兴趣点，对于图像中的每个像素点求出一个Hessian矩阵，如下所示：
Figure BDA0002179296000000043
其中
Figure BDA0002179296000000044
表示图像目标像素点对于x轴的二次偏导数、
Figure BDA0002179296000000045
表示图像目标像素点对x轴和y轴的混合偏导数、
Figure BDA0002179296000000046
表示图像目标像素点对于y轴的二次偏导数。
Hessian矩阵的判别式为：
Figure BDA0002179296000000047
黑塞矩阵的判别式即黑塞矩阵所对应的行列式。依次遍历图像中的所有像素点，满足如下条件的像素点被认为是特征点，即表示细胞核质心坐标候选点：
det(H)＞hessian_thresh
上式中hessian_thresh是一个整数阈值，表示本发明细胞核定位算法中所选择的细胞核候选点必须满足其所对应的黑塞矩阵行列式值大于该阈值。优选地，本发明中hessian_thresh取值为55。
步骤2.3：对CandidateNucleus中每一个候选细胞核，假如包含它的最大稳定极值区域mser的个数超过一定数量N，则认为它是真实的细胞核，最终得到所有细胞核的质心坐标记为CentroidOfNucleus，优选地，本发明中N取值为5。
步骤3：对CentroidOfNucleus中每一个细胞核质心坐标Centroid_i进行处理；
以Centroid_i为中心，以固定长度L为边长，确定一个正方形的ROI图像；每一个细胞都对应于一个ROI图像，所有细胞所对应的ROI图像的集合记作ROI_images，优选地本发明中L取值为128；
步骤4：对ROI_images，以预设的行数rows及列数column进行分组拼接，从而得到若干长度为rows×L、宽度为column×L的细胞拼接图像SpliceImage，优选地，本发明中rows和column取值为10，拼接图像如附图8所示；
步骤5：将SpliceImage图片集合作为训练好的深度网络模型的输入，实现对所有细胞的分类，从而识别出异常细胞；
请见附图2，本实施例中，细胞分类的类别数为3，类别名称分别为：正常细胞Normal、非癌病变细胞Abnormal，以及癌细胞Cancer。
本实施例中训练好的深度网络模型，其训练过程具体包括以下子步骤：
步骤5.1：细胞图像数据集的准备及数据增强；
本实施例中，数据集的准备主要包括：原始细胞病理图像数据集的收集、细胞自动定位(附图3)、ROI图像数据集的生成(附图4)、ROI图像标注四部分。
本实施例中，数据增强采用了一种随机组合数据增强的方式，基础的数据增强方法包括随机裁剪、水平翻转、垂直翻转、随机光强变换、随机角度旋转等数据增强方法，各类数据增强的结果如附图5所示。
步骤5.2：单个细胞ROI图像进行分组拼接得到拼接图像数据集，并将拼接图像数据集作为训练数据；
本实施例中，所有的单个细胞ROI图像均来自于同一个样本(病人)，采用横向拼接的方式，即图像在长、宽维度进行拼接，图像的分辨率成倍数增加但通道数保持不变，拼接结果如附图6。
步骤5.3：深度网络模型构建；
本实施例中，深度网络模型是以ResNet为基础，增加了α和β两个参数用于控制网络结构的分辨率以及宽度，用于适应不同的图像拼接策略下可能采用的不同行数rows及列数column参数，本发明深度网络所使用的残差块结构如附图9所示，本发明深度网络结构图如附图10所示，本实施例中α取值为1，β取值为1。
步骤5.4：损失函数定义；
本实施例中，所有ROI图像的标签均采用传统的one-hot形式,即对于k分类任务而言，样本的标签是长度为k的向量，向量中只有一个位置的值为1，其它位置的值都为0。细胞拼接图像SpliceImage的标签是由所有参与拼接的单个细胞ROI图像标签拼接而来，本发明深度网络模型的输入标签及预测结果示意图如附图7所示；模型总的损失函数定义为所有参与拼接的rows×column个ROI图像交叉熵损失函数的和，单个ROI图像的标签及预测结果分别记为labeli和predictioni，则模型总的损失函数定义如下所示：
Figure BDA0002179296000000061
Figure BDA0002179296000000062
k表示分类的类别数
步骤5.5：基于随机梯度下降算法和训练数据训练深度网络模型。
本实施例中，采用Adam优化器，学习率指数衰减，优选地，初始学习率取值为0.001，EPOCH取值为160，batch_size取值为128，学习率衰减步长为8000，学习率单次衰减率为0.94。
本实施例应用到公开的宫颈细胞病理数据集的分类效果如下所示：
(1)数据集介绍：为了实验结果的权威性，本发明使用国际公开的丹麦数据集HERLEV数据集进行模型评估，HERLEV数据集一共包含917个单个宫颈细胞图像，本发明将该数据集按照8：2的比例随机划分为训练集和验证集。由于训练集、验证集中细胞数量都较少，分别对训练集和验证集进行数据增强，每一个细胞图像增强为原始数量的6倍(增强方式分别为：原始图像、水平翻转、垂直翻转、主对角线翻转、随机改变光强、随机角度旋转)，数据增强之后训练集数据总量为4398，各类别数量分别为：Normal样本量为1212、Abnormal样本量为2466、Cancer样本量为720；验证集数据总量为1104，各类别数量分别为：Normal样本量为240、Abnormal样本量为684、Cancer样本量为180。本实施例使用验证集的F1分数作为模型的择优指标，模型训练结束之后训练集、验证集的混淆矩阵分别如下表1、2所示：
表1训练集混淆矩阵
Figure BDA0002179296000000071
表2验证集混淆矩阵
Figure BDA0002179296000000072
进一步，将以单个细胞图像作为深度网络模型的输入训练得到的分类模型称之为单图像模型，将本发明中进行图像拼接后所训练的分类模型称之为图像拼接模型。作为对比，基于如上相同的训练集、验证集及相同的网络结构训练了单图像模型，同样使用验证集F1分数作为模型择优指标，最终单图像模型训练集、验证集的混淆矩阵分别如下表3，4所示：
表3单图像模型训练集混淆矩阵
Figure BDA0002179296000000073
表4单图像模型验证集混淆矩阵
Figure BDA0002179296000000081
为了对比本发明图像拼接模型和传统单图像模型，使用了如下五个指标来对比两模型的性能差异，分别是：训练集交叉熵损失函数Train_Cost、验证集交叉熵损失函数Val_Cost、训练集准确率Train_Acc、验证集准确率Val_Acc、验证集F1分数Val_F1，对比结果如下表5所示：
表5图像拼接模型和传统单图像模型性能对比
Figure BDA0002179296000000082
由表5可知，本发明图像拼接模型相对于传统单图像模型而言，在训练集、验证集分类性能两方面都有较大的提升，本发明图像拼接模型训练集准确率达85.29％，相对于单图像模型而言将近提升11个百分点；验证集准确率达82.07％，相对于单图像模型而言提升将近11个百分点；验证集F1分数达75.80％，相对于单图像模型而言提升超过7个百分点。另外，就诊断效率而言，本发明所提出的图像拼接模型对于单个细胞图片的识别耗时为0.61毫秒，是单图像模型效率的两倍。实验结果表明本发明所提出的方法是行之有效的，能够极大的提高异常细胞的检出率、识别精度以及识别的效率，因此具有较大的社会实用价值。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种基于图像拼接的异常细胞自动识别方法，其特征在于，包括以下步骤：
步骤1：获取细胞病理图像；
步骤2：自动定位出细胞病理图像中的所有细胞的细胞核，得到所有细胞核的质心坐标集合，记作CentroidOfNucleus；
步骤3：对CentroidOfNucleus中每一个细胞核质心坐标Centroid_i进行处理；
以Centroid_i为中心，以固定长度L为边长，确定一个正方形的ROI图像；每一个细胞都对应于一个ROI图像，所有细胞所对应的ROI图像的集合记作ROI_images；
步骤4：对ROI_images，以预设的行数rows及列数column进行分组拼接，从而得到若干长度为rows×L、宽度为column×L的细胞拼接图像SpliceImage；
步骤5：将SpliceImage图像集合作为训练好的深度网络模型的输入，实现对所有细胞的分类，从而识别出异常细胞。
2.根据权利要求1所述的基于图像拼接的异常细胞自动识别方法，其特征在于：步骤2中，使用多源特征融合的定位算法自动定位出细胞病理图像中的所有细胞的细胞核；具体实现包括以下子步骤：
步骤2.1：使用MSER算法自动定位出细胞病理图像中符合条件的最大稳定极值区域集合，记为msers；
步骤2.2：使用SURF算法自动定位出细胞病理图像中的关键点，即候选的细胞核质心坐标，所有的细胞核候选点集合记为CandidateNucleus；
步骤2.3：对CandidateNucleus中每一个候选细胞核，假如包含它的最大稳定极值区域mser的个数超过预定数量N，则认为它是真实的细胞核，最终所有细胞核的质心坐标记为CentroidOfNucleus。
3.根据权利要求1所述的基于图像拼接的异常细胞自动识别方法，其特征在于：步骤5中，细胞分类的类别数为3，类别名称分别为：正常细胞Normal、非癌病变细胞Abnormal，以及癌细胞Cancer。
4.根据权利要求1-3任意一项所述的基于图像拼接的异常细胞自动识别方法，其特征在于，步骤5中所述训练好的深度网络模型，其训练过程具体包括以下子步骤：
步骤5.1：细胞图像数据集的准备及数据增强；
所述细胞图像数据集的准备包括原始细胞病理图像数据集的收集、细胞自动定位、单个细胞ROI图像数据集的生成、和单个细胞ROI图像标注；
步骤5.2：单个细胞ROI图像进行分组拼接得到拼接图像数据集，并将拼接图像数据集作为训练数据；
步骤5.3：深度网络模型构建；
步骤5.4：损失函数定义；
步骤5.5：基于随机梯度下降算法和训练数据训练深度网络模型。
5.根据权利要求4所述的基于图像拼接的异常细胞自动识别方法，其特征在于：步骤5.1中，采用随机组合数据增强方法进行数据增强；所述数据增强方法包括随机裁剪方法、水平翻转方法、垂直翻转方法、随机光强变换方法、随机角度旋转方法。
6.根据权利要求4所述的基于图像拼接的异常细胞自动识别方法，其特征在于：步骤5.2中，所有的单个细胞ROI图像均来自于同一个样本，并采用横向拼接的方式进行拼接，即图像在长、宽维度进行拼接，图像的分辨率成倍数增加但通道数保持不变。
7.根据权利要求4所述的基于图像拼接的异常细胞自动识别方法，其特征在于：步骤5.3中，所述深度网络模型，是以ResNet为基础，增加了α和β两个参数用于控制网络结构的分辨率以及宽度，用于适应不同的图像拼接策略下可能采用的不同行数rows及列数column参数。
8.根据权利要求4所述的基于图像拼接的异常细胞自动识别方法，其特征在于：步骤5.4中，细胞拼接图像SpliceImage的标签是由所有参与拼接的单个细胞ROI图像的标签拼接而来；
损失函数定义为所有参与拼接的rows×column个单个细胞ROI图像交叉熵损失函数cross_entropy的和，单个细胞ROI图像的标签及预测结果分别表示为labeli和predictioni，则总的损失函数定义如下所示：
Figure FDA0003560643130000021
Figure FDA0003560643130000022
k表示分类的类别数。
CN201910790102.0A 2019-08-26 2019-08-26 一种基于图像拼接的异常细胞自动识别方法 Active CN110633651B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910790102.0A CN110633651B (zh) 2019-08-26 2019-08-26 一种基于图像拼接的异常细胞自动识别方法
US17/002,751 US11605163B2 (en) 2019-08-26 2020-08-25 Automatic abnormal cell recognition method based on image splicing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910790102.0A CN110633651B (zh) 2019-08-26 2019-08-26 一种基于图像拼接的异常细胞自动识别方法

Publications (2)

Publication Number Publication Date
CN110633651A CN110633651A (zh) 2019-12-31
CN110633651B true CN110633651B (zh) 2022-05-13

Family

ID=68969080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910790102.0A Active CN110633651B (zh) 2019-08-26 2019-08-26 一种基于图像拼接的异常细胞自动识别方法

Country Status (2)

Country Link
US (1) US11605163B2 (zh)
CN (1) CN110633651B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884737B (zh) * 2021-02-08 2022-07-19 武汉大学 基于多级迭代的乳腺癌病理图像中有丝分裂自动检测方法
CN113516061B (zh) * 2021-06-23 2022-04-29 南开大学 一种基于机器学习的pc12细胞状态识别的方法
CN113887377A (zh) * 2021-09-18 2022-01-04 上海申挚医疗科技有限公司 组织病理图像分析方法及系统
CN114638782B (zh) * 2022-01-10 2023-02-07 武汉中纪生物科技有限公司 一种宫颈脱落细胞标本的检测方法
CN116313115B (zh) * 2023-05-10 2023-08-15 浙江大学 基于线粒体动态表型和深度学习的药物作用机制预测方法
CN116843997B (zh) * 2023-08-24 2024-03-19 摩尔线程智能科技(北京)有限责任公司 模型训练、细胞图像标注方法、装置、设备及存储介质
CN117764888A (zh) * 2024-02-22 2024-03-26 西安好思达康复器具有限公司 一种脊柱侧弯扫描取型的处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011186750A (ja) * 2010-03-08 2011-09-22 Univ Of Tokyo 測定対象分子の定量的解析方法及び装置
CN108717554A (zh) * 2018-05-22 2018-10-30 复旦大学附属肿瘤医院 一种甲状腺肿瘤病理组织切片图像分类方法及其装置
CN109034208A (zh) * 2018-07-03 2018-12-18 怀光智能科技（武汉）有限公司 一种高低分辨率组合的宫颈细胞病理切片分类方法
CN109035216A (zh) * 2018-07-06 2018-12-18 北京羽医甘蓝信息技术有限公司 处理宫颈细胞切片图像的方法及装置
CN109815888A (zh) * 2019-01-21 2019-05-28 武汉兰丁医学高科技有限公司 一种新型巴氏染色方法及异常宫颈细胞自动识别方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3572890A (en) * 1968-11-18 1971-03-30 Atomic Energy Commission Microscope slide and spinner
US4965725B1 (en) * 1988-04-08 1996-05-07 Neuromedical Systems Inc Neural network based automated cytological specimen classification system and method
US5740270A (en) * 1988-04-08 1998-04-14 Neuromedical Systems, Inc. Automated cytological specimen classification system and method
JPH06503415A (ja) * 1990-11-07 1994-04-14 ニューロメディカル　システムズ　インコーポレイテッド ディスプレイに表示された像に対し検査の監査を行いながら検査する装置及び方法
US5655029A (en) * 1990-11-07 1997-08-05 Neuromedical Systems, Inc. Device and method for facilitating inspection of a specimen
US5625705A (en) * 1994-06-03 1997-04-29 Neuromedical Systems, Inc. Intensity texture based classification system and method
JP4558047B2 (ja) * 2008-01-23 2010-10-06 オリンパス株式会社 顕微鏡システム、画像生成方法、及びプログラム
WO2015088930A1 (en) * 2013-12-10 2015-06-18 Merck Sharp & Dohme Corp. Immunohistochemical proximity assay for pd-1 positive cells and pd-ligand positive cells in tumor tissue
EP3552389A4 (en) * 2016-11-11 2021-07-28 University of South Florida AUTOMATED STEREOLOGY FOR DETERMINING FABRIC CHARACTERISTICS

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011186750A (ja) * 2010-03-08 2011-09-22 Univ Of Tokyo 測定対象分子の定量的解析方法及び装置
CN108717554A (zh) * 2018-05-22 2018-10-30 复旦大学附属肿瘤医院 一种甲状腺肿瘤病理组织切片图像分类方法及其装置
CN109034208A (zh) * 2018-07-03 2018-12-18 怀光智能科技（武汉）有限公司 一种高低分辨率组合的宫颈细胞病理切片分类方法
CN109035216A (zh) * 2018-07-06 2018-12-18 北京羽医甘蓝信息技术有限公司 处理宫颈细胞切片图像的方法及装置
CN109815888A (zh) * 2019-01-21 2019-05-28 武汉兰丁医学高科技有限公司 一种新型巴氏染色方法及异常宫颈细胞自动识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Siqi Zhu et al..Identification of cancerous gastric cells based on common features extracted from hyperspectral microscopic images.《©2015 Optical Society of America 》.2015, *
结合层次法与主成分分析特征变换的宫颈细胞识别;赵理莉 等;《国防科技大学学报》;20171231;第39卷(第6期);第45-50页 *

Also Published As

Publication number Publication date
CN110633651A (zh) 2019-12-31
US20210065367A1 (en) 2021-03-04
US11605163B2 (en) 2023-03-14

Similar Documents

Publication Publication Date Title
CN110633651B (zh) 一种基于图像拼接的异常细胞自动识别方法
ES2374443T3 (es) Segmentación automatizada de estructuras de im�?genes.
Beevi et al. Automatic mitosis detection in breast histopathology images using convolutional neural network based deep transfer learning
CN113454733A (zh) 用于预后组织模式识别的多实例学习器
JP7026826B2 (ja) 画像処理方法、電子機器および記憶媒体
CN107835654A (zh) 图像处理装置、图像处理方法和图像处理程序
CN110533583B (zh) 一种基于宫颈液基细胞的自适应图像增广系统
Casanova et al. Texture analysis using fractal descriptors estimated by the mutual interference of color channels
CN110648331B (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
CN116188423B (zh) 基于病理切片高光谱图像的超像素稀疏解混检测方法
CN112712522A (zh) 一种病理学图像的口腔癌上皮组织区域自动分割方法
CN112686902A (zh) 核磁共振影像中脑胶质瘤识别与分割的两阶段计算方法
CN115546605A (zh) 一种基于图像标注和分割模型的训练方法及装置
CN115294126B (zh) 一种病理图像的癌细胞智能识别方法
CN104732534B (zh) 一种图像中显著目标的抠取方法及系统
WO2021076605A1 (en) Weakly supervised multi-task learning for cell detection and segmentation
CN111127487B (zh) 一种实时多组织医学图像的分割方法
CN114387270B (zh) 图像处理方法、装置、计算机设备和存储介质
Gadgil et al. Nuclei segmentation of fluorescence microscopy images based on midpoint analysis and marked point process
CN115063592A (zh) 一种基于多尺度的全扫描病理特征融合提取方法及系统
CN116091524B (zh) 一种针对复杂背景中目标的检测与分割方法
CN112508860A (zh) 一种免疫组化图像核阳性的人工智能判读方法及系统
Guo et al. Pathological Detection of Micro and Fuzzy Gastric Cancer Cells Based on Deep Learning.
Alexandratou et al. Texture analysis of tissues in Gleason grading of prostate cancer
Spoorthy et al. Automatic identification of mixed retinal cells in time-lapse fluorescent microscopy images using high-dimensional dbscan

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant