CN111739017A - 一种在样本不平衡条件下显微图像的细胞识别方法及系统 - Google Patents
一种在样本不平衡条件下显微图像的细胞识别方法及系统 Download PDFInfo
- Publication number
- CN111739017A CN111739017A CN202010709977.6A CN202010709977A CN111739017A CN 111739017 A CN111739017 A CN 111739017A CN 202010709977 A CN202010709977 A CN 202010709977A CN 111739017 A CN111739017 A CN 111739017A
- Authority
- CN
- China
- Prior art keywords
- cell
- image
- microscopic
- network
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种在样本不平衡条件下显微图像的细胞识别方法及系统,该方法针对实际应用中用于模型训练的各类样本不平衡的问题,利用深度卷积生成对抗网络生成与各类样本中数量较少的样本服从近似分布的新细胞图像,以扩充数量较少样本的数量,以解决各类样本不平衡的问题;然后利用平衡训练集中各个细胞图像及对应的细胞特征对卷积神经网络进行训练,可有效避免卷积神经网络过拟合,且细胞图像和细胞特征的同时训练可获得精度较高的卷积神经网络;最后利用训练好的卷积神经网络进行细胞识别。本发明的方法通过扩充数量较少的样本、充分利用细胞空间结构信息和传统医生判别特征,有效提升网络的准确度。
Description
技术领域
本发明涉及医学显微图像处理技术领域,尤其是一种在样本不平衡条件下显微图像的细胞识别方法及系统。
背景技术
在有监督的识别模型训练过程中,通常假定训练样本各类别是同等数量即各类别样本数量是均衡的。但在实际标记过程中发现,用于模型训练的不同类别的样本数量相差悬殊,也就是各类样本不平衡,这会导致训练的模型过拟合,从而影响最终的识别精度。
发明内容
本发明提供一种在样本不平衡条件下显微图像的细胞识别方法及系统,用于克服现有技术中模型训练的各类样本不平衡等缺陷。
为实现上述目的,本发明提出一种在样本不平衡条件下显微图像的细胞识别方法,所述细胞识别方法包括:
采集显微图像,提取显微图像中的细胞图像并对所述细胞图像进行细胞形态学特征和病变类型标注,形成训练集;
选取所述训练集中各个病变类型对应的细胞图像数量靠后的病变类型,利用选取的病变类型对应的标注细胞图像以及对应的细胞形态学特征对预先构建的深度卷积生成对抗网络进行训练;
利用训练好的深度卷积生成对抗网络产生与所述标注细胞图像服从近似分布的新细胞图像,将所述新细胞图像加入所述训练集,形成平衡训练集;
获取所述平衡训练集中各个细胞图像的细胞特征,利用所述平衡训练集中的细胞图像和各个细胞图像的细胞特征对预先构建的卷积神经网络进行训练;所述细胞特征包括细胞核浆比特征、细胞核纹理特征和细胞形态学特征;
提取待测显微图像中的细胞图像,获取待测显微图像中细胞图像的细胞特征,将待测显微图像中的细胞图像及其对应的细胞特征输入训练好的卷积神经网络进行细胞识别,获得待测显微图像中细胞的病变类型。
为实现上述目的,本发明还提出在样本不平衡条件下显微图像的细胞识别系统,包括:
图像采集模块,用于采集显微图像,提取显微图像中的细胞图像并对所述细胞图像进行细胞形态学特征和病变类型标注,形成训练集;
深度卷积生成对抗网络训练模块,用于选取所述训练集中各个病变类型对应的细胞图像数量靠后的病变类型,利用选取的病变类型对应的标注细胞图像以及对应的细胞形态学特征对预先构建的深度卷积生成对抗网络进行训练;
显微图像生成模块,用于利用训练好的深度卷积生成对抗网络产生与所述标注细胞图像服从近似分布的新细胞图像,将所述新细胞图像加入所述训练集,形成平衡训练集;
卷积神经网络训练模块,用于获取所述平衡训练集中各个细胞图像的细胞特征,利用所述平衡训练集中的细胞图像和各个细胞图像的细胞特征对预先构建的卷积神经网络进行训练;所述细胞特征包括细胞核浆比特征、细胞核纹理特征和细胞形态学特征;
细胞识别模块,用于提取待测显微图像中的细胞图像,获取待测显微图像中细胞图像的细胞特征,将待测显微图像中的细胞图像及其对应的细胞特征输入训练好的卷积神经网络进行细胞识别,获得待测显微图像中细胞的病变类型。
为实现上述目的,本发明还提出一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述所述方法的步骤。
为实现上述目的,本发明还提出一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述所述方法的步骤。
与现有技术相比,本发明的有益效果有:
本发明提出的在样本不平衡条件下显微图像的细胞识别方法针对实际应用中用于模型训练的各类样本不平衡的问题,利用深度卷积生成对抗网络生成与各类样本(不同病变类型的细胞图像)中数量较少的样本服从近似分布的新细胞图像,以扩充数量较少样本的数量,以解决各类样本不平衡的问题;然后利用平衡训练集中各个细胞图像及对应的细胞特征对卷积神经网络进行训练,可有效避免卷积神经网络过拟合,且细胞图像和细胞特征的同时训练可获得精度较高的卷积神经网络;最后利用训练好的卷积神经网络进行细胞识别。本发明的方法通过扩充数量较少的样本、充分利用细胞空间结构信息和传统医生判别特征,有效提升网络的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本发明提供的在样本不平衡条件下显微图像的细胞识别方法流程图;
图2为本发明实施例中深度卷积生成对抗网络的结构图;
图3为本发明实施例中卷积神经网络的结构图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
另外,本发明各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
本发明提出一种在样本不平衡条件下显微图像的细胞识别方法,其特征在于,所述细胞识别方法包括:
101:采集显微图像,提取显微图像中的细胞图像并对细胞图像进行细胞形态学特征和病变类型标注,形成训练集;
在病理切片不同视野下采集得到显微图像序列,并手动剔除显微图像序列中不包含细胞的显微图像,剩下的显微图像即为步骤101采集的显微图像。
病理切片共采集N张,分别取自不同的患者;每张病理切片设置M个采集视野,共采集M×N张显微图像,形成显微图像序列。
细胞形态学特征为细胞的空间结构信息。
细胞的病变类型按照TBS标准进行分类,病变类型具体包括ASC-H、ASC-US、HSIL、LSIL、SCC、AGC-NOS、AGC-N、AIS、ADCA等。
102:选取训练集中各个病变类型对应的细胞图像数量靠后的病变类型,利用选取的病变类型对应的标注细胞图像以及对应的细胞形态学特征对预先构建的深度卷积生成对抗网络进行训练;
某些病变类型对应的细胞图像数量少,导致训练集中样本不平衡,因此选取训练集中各个病变类型对应的细胞图像数量靠后的病变类型(即选取样本较少的病变类型,选取的病变类型数量根据相应病变类型的样本数量具体选择,可以为一个或者多个),再利用选取的病变类型对应的标注细胞图像以及对应的细胞形态学特征进行网络训练,以扩充样本较少的病变类型的样本数量。
103:利用训练好的深度卷积生成对抗网络产生与标注细胞图像服从近似分布的新细胞图像,将新细胞图像加入所述训练集,形成平衡训练集;
生成对抗网络是一种无监督的深度学习模型,模型通过框架中生成模型和判别模型的互相博弈学习产生相当好的输出。
深度卷积生成对抗网络是生成对抗网络的一个变体,具体指生成模型和判别模型均采用深度卷积神经网络的生成对抗网络。
104:获取平衡训练集中各个细胞图像的细胞特征,利用平衡训练集中的细胞图像和各个细胞图像的细胞特征对预先构建的卷积神经网络进行训练;细胞特征包括细胞核浆比特征、细胞核纹理特征和细胞形态学特征;
细胞形态学特征,步骤101中已标注了训练集中细胞图像的细胞形态学特征,步骤104利用步骤101中同样的方式对通过步骤103扩充的新细胞图像进行细胞形态学特征的标注。
105:提取待测显微图像中的细胞图像,获取待测显微图像中细胞图像的细胞特征,将待测显微图像中的细胞图像及其对应的细胞特征输入训练好的卷积神经网络进行细胞识别,获得待测显微图像中细胞的病变类型。
步骤105中提取待测显微图像中的细胞图像的过程同步骤101中提取显微图像中的细胞图像的过程。
待测显微图像中细胞图像的细胞特征的获取过程同步骤104。
本发明提出的在样本不平衡条件下显微图像的细胞识别方法针对实际应用中用于模型训练的各类样本不平衡的问题,利用深度卷积生成对抗网络生成与各类样本(不同病变类型的细胞图像)中数量较少的样本服从近似分布的新细胞图像,以扩充数量较少样本的数量,以解决各类样本不平衡的问题;然后利用平衡训练集中各个细胞图像及对应的细胞特征对卷积神经网络进行训练,可有效避免卷积神经网络过拟合,且细胞图像和细胞特征的同时训练可获得精度较高的卷积神经网络;最后利用训练好的卷积神经网络进行细胞识别。本发明的方法通过扩充数量较少的样本、充分利用细胞空间结构信息和传统医生判别特征,有效提升网络的准确度。
利用本发明提供的细胞识别方法可快速、准确地获得待测显微图像中细胞的病变类型,以便于研究者对不同病变类型细胞的研究。
在其中一个实施例中,对于步骤101,采集显微图像,提取显微图像中的细胞图像并对细胞图像进行细胞形态学特征和病变类型标注,形成训练集,包括:
001:利用玻片扫描仪采集切片不同视野下的显微图像;
002:利用水平集图像分割算法从显微图像中提取细胞图像;
水平集图像分割算法是指将二维曲面的演化问题转化为三维空间的水平集函数曲面演化的隐含方法来求解。
003:获取细胞图像的细胞形态学特征,并对细胞图像进行细胞形态学特征标注;细胞形态学特征包括细胞面积S 1 ,细胞核面积S 2 、周长L、宽度W及高度H,细胞核的圆形度J、矩形度R和伸长度E;
004:判断并标注细胞图像中细胞的病变类型,形成训练集。
训练集中的细胞图像同时具有细胞形态学特征标注和病变类型标注。
在下一个实施例中,对于步骤003,获取细胞图像的细胞形态学特征,包括:
对细胞图像进行二值化处理,利用自适应阈值分割方式从二值化图像中提取细胞边缘和细胞核边缘,采用8链码跟踪方式识别细胞边缘和细胞核边缘,计算细胞图像的细胞形态学特征;
细胞面积S 1 表示为细胞区域内所有像素的总和;
细胞核面积S 2 表示为细胞核区域内所有像素的总和;
在另一实施例中,对于步骤002,利用水平集图像分割算法从显微图像中提取细胞图像,包括:
201:利用水平集图像分割算法求解显微图像中各个细胞图像的边界曲线;
水平集图像分割算法的主要思想是利用三维(高维)曲面的演化来表示二维曲线的演化过程。
边界曲线,为细胞的边缘线,也为细胞与空白区域的边缘线。
202:根据边界曲线从显微图像中分割出各个细胞图像。
在某个实施例中,对于步骤201,利用水平集图像分割算法求解显微图像中各个细胞图像的边界曲线,包括:
将边界曲线看作是某个三维曲面下的一条等高线,显微图像中二维曲线表示为z=f(x,y);
三维曲面的零水平集为边界曲线(即z=f(x,y)=0,),零水平集为:
根据显微图像的梯度信息,对三维曲面进行演化以使零水平集所描述的曲线包裹住单个细胞,
在下一个实施例中,对于步骤102,深度卷积生成对抗网络如图2所示,由生成子网络和判别子网络组成;
生成子网络用于将输入的随机噪声转化为伪图像;
判别子网络用于将所述伪图像与所述训练集中的显微图像进行真伪性判断,从而判断深度卷积生成对抗网络是否训练完成。
本实施例中,真伪性判断具体为:真图像为1,伪图像为0,输出真伪图像的概率,真图像输出的概率值大,伪图像输出的概率值小。当判别子网络输出真图像的概率值变小,伪图像的概率值变大,两者均接近0.5时,这时候的伪图像和真图像非常相似,判别子网络无法辨别出真假,结束训练结束训练。
在本实施例中,生成子网络G以随机噪声z和细胞形态学特征作为输入,先经过一个全连接层(fc)将随机噪声z和细胞形态学特征进行级联,然后依次经过4个反卷积层(deconv1、deconv2、deconv3、deconv4)进行上采样,最后输出固定大小的三通道伪图像。
4个反卷积层(deconv1、deconv2、deconv3、deconv4)的移动步长为2或更大值。
随机噪声z为高斯噪声,服从期望为0、方差为1的标准正态分布。
判别子网络D以选取的病变类型对应的标注细胞图像、生成子网络G产生的伪图像以及细胞形态学特征作为输入,分别依次经过6个卷积层(conv1、conv2、conv3、conv4、conv5、conv6)进行下采样,然后经过两个全连接层(fc1、fc2)进行特征级联,最后输入softmax层,输出伪图像和真图像的真伪概率值。
在深度卷积生成对抗网络(DCGAN)训练过程中,生成子网络G和判别子网络D独立训练,生成子网络G的鲁棒性需要判别子网络D训练的结果去鉴别。
DCGAN的训练过程为生成子网络G和判别子网络D对抗的过程,最终的目的是使判别子网络D无法判断生成子网络G的输出结果(伪图像)是否真实,即D(G(z|f))的概率为0.5,此时停止DCGAN的训练,DCGAN的损失函数为:
式中,x表示选取的病变类型对应的标注细胞图像;pz(z)表示随机噪声z的数据分布;preal(x)表示标注细胞图像x的数据分布;D(x|f)表示在符合细胞形态学特征的条件下判别子网络D判别为真实图像的概率;D(G(z|f))表示在符合细胞形态学特征的条件下判别子网络D判别为伪图像的概率。
在训练好生成子网络G结构后,可以利用该生成子网络G对训练集中数量较小的样本(选取的病变类型对应的标注细胞图像)进行扩充,使其与数量较多的样本数量一致。
在下一个实施例中,对于步骤104,卷积神经网络如图3所示,其输入为128×128像素大小的三通道细胞图像。该卷积神经网络依次包括13个卷积层(conv1~ conv13)和2个全连接层(fc1和fc2),在第二个、第四个、第七个、第十个卷积层之后均设有一个最大池化层。每个卷积层的卷积核尺寸为55、步长为1,每个卷积层后均采用ReLU作为激活函数进行非线性处理。每个最大池化层的卷积核尺寸为33、步长为2。13个卷积层(conv1~ conv13)各层的特征图数量依次为64、64、128、128、256、256、256、512、512、512、512、512、512。卷积神经网络的第一个全连接层(fc1)中有224个节点与最后一个卷积层(conv13)输出的特征图连接,有32个节点连接输入卷积神经网络的细胞图像对应的细胞特征。第二个全连接层(fc2)包括上一层的所有特征,两个全连接层分别连接概率为0.7和0.5的dropout层。卷积神经网络的最后一层是softmax分类层,采用交叉熵函数预测输入细胞图像归属于各病变类型的概率以及所属类的标签。
卷积神经网络的训练方式是:基于安装在Ubuntu16.0系统上的TensorFlow环境,采用随机梯度下降(SGD)和小批量块训练卷积神经网络模型。在训练过程中,设置初始学习率为0.1,然后当误差不下降后,将学习率降低为0.001,设置迭代次数为。
获取平衡训练集中各个细胞图像的细胞特征,包括:
获取平衡训练集中各个细胞图像的细胞特征,所述细胞核浆比特征,其中,S 1 表示细胞面积,S 2 表示细胞核面积;所述细胞核的均值,二阶矩,标准差,相关性,信息熵,其中,表示图像亮度的随机变量,表示细胞核区域关于亮度的灰度直方图,L表示图像的灰度等级。
细胞特征中的细胞形态学特征的计算过程同步骤101。步骤101中已标注了训练集中细胞图像的细胞形态学特征,本实施例中利用步骤101中同样的方式对通过步骤103扩充的新细胞图像进行细胞形态学特征的标注,以实现平衡训练集中各个细胞图像全部进行细胞形态学特征标注。
本发明还提供一种在样本不平衡条件下显微图像的细胞识别系统,包括:
图像采集模块,用于采集显微图像,提取显微图像中的细胞图像并对所述细胞图像进行细胞形态学特征和病变类型标注,形成训练集;
深度卷积生成对抗网络训练模块,用于利用所述训练集中细胞图像数量少的病变类型对应的标注细胞图像以及对应的细胞形态学特征对预先构建的深度卷积生成对抗网络进行训练;
显微图像生成模块,用于利用训练好的深度卷积生成对抗网络产生与所述标注细胞图像服从近似分布的新细胞图像,将所述新细胞图像加入所述训练集,形成平衡训练集;
卷积神经网络训练模块,用于获取所述平衡训练集中各个细胞图像的细胞特征,利用所述平衡训练集中的细胞图像和各个细胞图像的细胞特征对预先构建的卷积神经网络进行训练;所述细胞特征包括细胞核浆比特征、细胞核纹理特征和细胞形态学特征;
细胞识别模块,用于提取待测显微图像中的细胞图像,获取待测显微图像中细胞图像的细胞特征,将待测显微图像中的细胞图像及其对应的细胞特征输入训练好的卷积神经网络进行细胞识别,获得待测显微图像中细胞的病变类型。
在其中一个实施例中,图像采集模块还包括:
001:利用玻片扫描仪采集切片不同视野下的显微图像;
002:利用水平集图像分割算法从显微图像中提取细胞图像;
003:获取细胞图像的细胞形态学特征,并对细胞图像进行细胞形态学特征标注;细胞形态学特征包括细胞面积S 1 ,细胞核面积S 2 、周长L、宽度W及高度H,细胞核的圆形度J、矩形度R和伸长度E;
004:判断并标注细胞图像中细胞的病变类型,形成训练集。
训练集中的细胞图像同时具有细胞形态学特征标注和病变类型标注。
在下一个实施例中,图像采集模块还包括:
对细胞图像进行二值化处理,利用自适应阈值分割方式从二值化图像中提取细胞边缘和细胞核边缘,采用8链码跟踪方式识别细胞边缘和细胞核边缘,计算细胞图像的细胞形态学特征;
细胞面积S 1 表示为细胞区域内所有像素的总和;
细胞核面积S 2 表示为细胞核区域内所有像素的总和;
在另一实施例中,图像采集模块还包括:
201:利用水平集图像分割算法求解显微图像中各个细胞图像的边界曲线;
水平集图像分割算法的主要思想是利用三维(高维)曲面的演化来表示二维曲线的演化过程。
边界曲线,为细胞的边缘线,也为细胞与空白区域的边缘线。
202:根据边界曲线从显微图像中分割出各个细胞图像。
在某个实施例中,对于步骤201,利用水平集图像分割算法求解显微图像中各个细胞图像的边界曲线,包括:
将边界曲线看作是某个三维曲面下的一条等高线,显微图像中二维曲线表示为z=f(x,y);
三维曲面的零水平集为边界曲线(即z=f(x,y)=0,),零水平集为:
根据显微图像的梯度信息,对三维曲面进行演化以使零水平集所描述的曲线包裹住单个细胞,
在下一个实施例中,对于深度卷积生成对抗网络训练模块,深度卷积生成对抗网络如图2所示,由生成子网络和判别子网络组成;
生成子网络用于将输入的随机噪声转化为伪图像;
判别子网络用于将所述伪图像与所述训练集中的显微图像进行真伪性判断,从而判断深度卷积生成对抗网络是否训练完成。
本实施例中,真伪性判断具体为:真图像为1,伪图像为0,输出真伪图像的概率,真图像输出的概率值大,伪图像输出的概率值小。当判别子网络输出真图像的概率值变小,伪图像的概率值变大,两者均接近0.5时,这时候的伪图像和真图像非常相似,判别子网络无法辨别出真假,结束训练。
在本实施例中,生成子网络G以随机噪声z和细胞形态学特征作为输入,先经过一个全连接层(fc)将随机噪声z和细胞形态学特征进行级联,然后依次经过4个反卷积层(deconv1、deconv2、deconv3、deconv4)进行上采样,最后输出固定大小的三通道伪图像。
4个反卷积层(deconv1、deconv2、deconv3、deconv4)的移动步长为2或更大值。
随机噪声z为高斯噪声,服从期望为0、方差为1的标准正态分布。
判别子网络D以选取的病变类型对应的标注细胞图像、生成子网络G产生的伪图像以及细胞形态学特征作为输入,分别依次经过6个卷积层(conv1、conv2、conv3、conv4、conv5、conv6)进行下采样,然后经过两个全连接层(fc1、fc2)进行特征级联,最后输入softmax层,输出伪图像和真图像的真伪概率值。
在深度卷积生成对抗网络(DCGAN)训练过程中,生成子网络G和判别子网络D独立训练,生成子网络G的鲁棒性需要判别子网络D训练的结果去鉴别。
DCGAN的训练过程为生成子网络G和判别子网络D对抗的过程,最终的目的是使判别子网络D无法判断生成子网络G的输出结果(伪图像)是否真实,即D(G(z|f))的概率为0.5,此时停止DCGAN的训练,DCGAN的损失函数为:
式中,x表示选取的病变类型对应的标注细胞图像;pz(z)表示随机噪声z的数据分布;preal(x)表示标注细胞图像x的数据分布;D(x|f)表示在符合细胞形态学特征的条件下判别子网络D判别为真实图像的概率;D(G(z|f))表示在符合细胞形态学特征的条件下判别子网络D判别为伪图像的概率。
在训练好生成子网络G结构后,可以利用该生成子网络G对训练集中数量较小的样本(选取的病变类型对应的标注细胞图像)进行扩充,使其与数量较多的样本数量一致。
在下一个实施例中,对于卷积神经网络训练模块,卷积神经网络如图3所示,其输入为128×128像素大小的三通道细胞图像。该卷积神经网络依次包括13个卷积层(conv1~conv13)和2个全连接层(fc1和fc2),在第二个、第四个、第七个、第十个卷积层之后均设有一个最大池化层。每个卷积层的卷积核尺寸为55、步长为1,每个卷积层后均采用ReLU作为激活函数进行非线性处理。每个最大池化层的卷积核尺寸为33、步长为2。13个卷积层(conv1~ conv13)各层的特征图数量依次为64、64、128、128、256、256、256、512、512、512、512、512、512。卷积神经网络的第一个全连接层(fc1)中有224个节点与最后一个卷积层(conv13)输出的特征图连接,有32个节点连接输入卷积神经网络的细胞图像对应的细胞特征。第二个全连接层(fc2)包括上一层的所有特征,两个全连接层分别连接概率为0.7和0.5的dropout层。卷积神经网络的最后一层是softmax分类层,采用交叉熵函数预测输入细胞图像归属于各病变类型的概率以及所属类的标签。
卷积神经网络的训练方式是:基于安装在Ubuntu16.0系统上的TensorFlow环境,采用随机梯度下降(SGD)和小批量块训练卷积神经网络模型。在训练过程中,设置初始学习率为0.1,然后当误差不下降后,将学习率降低为0.001,设置迭代次数为。
卷积神经网络训练模块还包括:
获取平衡训练集中各个细胞图像的细胞特征,所述细胞核浆比特征,其中,S 1 表示细胞面积,S 2 表示细胞核面积;所述细胞核的均值,二阶矩,标准差,相关性,信息熵,其中,表示图像亮度的随机变量,表示细胞核区域关于亮度的灰度直方图,L表示图像的灰度等级。
本发明还提出一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述所述方法的步骤。
本发明还提出一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述所述方法的步骤。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是在本发明的发明构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (10)
1.一种在样本不平衡条件下显微图像的细胞识别方法,其特征在于,所述细胞识别方法包括:
采集显微图像,提取显微图像中的细胞图像并对所述细胞图像进行细胞形态学特征和病变类型标注,形成训练集;
选取所述训练集中各个病变类型对应的细胞图像数量靠后的病变类型,利用选取的病变类型对应的标注细胞图像以及对应的细胞形态学特征对预先构建的深度卷积生成对抗网络进行训练;
利用训练好的深度卷积生成对抗网络产生与所述标注细胞图像服从近似分布的新细胞图像,将所述新细胞图像加入所述训练集,形成平衡训练集;
获取所述平衡训练集中各个细胞图像的细胞特征,利用所述平衡训练集中的细胞图像和各个细胞图像的细胞特征对预先构建的卷积神经网络进行训练;所述细胞特征包括细胞核浆比特征、细胞核纹理特征和细胞形态学特征;
提取待测显微图像中的细胞图像,获取待测显微图像中细胞图像的细胞特征,将待测显微图像中的细胞图像及其对应的细胞特征输入训练好的卷积神经网络进行细胞识别,获得待测显微图像中细胞的病变类型。
2.如权利要求1所述的细胞识别方法,其特征在于,采集显微图像,提取显微图像中的细胞图像并对所述细胞图像进行细胞形态学特征和病变类型标注,形成训练集,包括:
利用玻片扫描仪采集切片不同视野下的显微图像;
利用水平集图像分割算法从显微图像中提取细胞图像;
获取所述细胞图像的细胞形态学特征,并对所述细胞图像进行细胞形态学特征标注;所述细胞形态学特征包括细胞面积,细胞核面积、周长、宽度及高度,细胞核的圆形度、矩形度和伸长度;
判断并标注细胞图像中细胞的病变类型,形成训练集。
4.如权利要求2所述的细胞识别方法,其特征在于,利用水平集图像分割算法从显微图像中提取细胞图像,包括:
利用水平集图像分割算法求解显微图像中各个细胞图像的边界曲线;
根据所述边界曲线从显微图像中分割出各个细胞图像。
6.如权利要求1所述的细胞识别方法,其特征在于,所述深度卷积生成对抗网络由生成子网络和判别子网络组成;
所述生成子网络用于将输入的随机噪声转化为伪图像;
所述判别子网络用于将所述伪图像与所述训练集中的显微图像进行真伪性判断,从而判断深度卷积生成对抗网络是否训练完成。
8.一种在样本不平衡条件下显微图像的细胞识别系统,其特征在于,包括:
图像采集模块,用于采集显微图像,并对显微图像进行细胞形态学特征和病变类型标注,形成训练集;
深度卷积生成对抗网络训练模块,用于选取所述训练集中各个病变类型对应的细胞图像数量靠后的病变类型,利用选取的病变类型对应的标注细胞图像以及对应的细胞形态学特征对预先构建的深度卷积生成对抗网络进行训练;
显微图像生成模块,用于利用训练好的深度卷积生成对抗网络产生与所述标注显微图像服从近似分布的新显微图像,将所述新显微图像加入所述训练集,形成平衡训练集;
卷积神经网络训练模块,用于从所述平衡训练集中的显微图像中分割出各个细胞,并计算各个细胞的细胞特征,利用各个细胞和各个细胞的细胞特征对预先构建的卷积神经网络进行训练;所述细胞特征包括细胞核浆比特征、细胞核纹理特征和细胞形态学特征;
细胞识别模块,用于提取待测显微图像中的细胞图像,计算待测显微图像中细胞的细胞特征,将待测显微图像中的细胞及其对应的细胞特征输入训练好的卷积神经网络进行细胞识别,获得待测显微图像中细胞的病变类型。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1~7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1~7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010709977.6A CN111739017A (zh) | 2020-07-22 | 2020-07-22 | 一种在样本不平衡条件下显微图像的细胞识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010709977.6A CN111739017A (zh) | 2020-07-22 | 2020-07-22 | 一种在样本不平衡条件下显微图像的细胞识别方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111739017A true CN111739017A (zh) | 2020-10-02 |
Family
ID=72657219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010709977.6A Pending CN111739017A (zh) | 2020-07-22 | 2020-07-22 | 一种在样本不平衡条件下显微图像的细胞识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111739017A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112560575A (zh) * | 2020-11-09 | 2021-03-26 | 北京物资学院 | 一种红富士苹果外形数据增强装置和方法 |
CN113128588A (zh) * | 2021-04-16 | 2021-07-16 | 深圳市腾讯网域计算机网络有限公司 | 模型训练方法、装置、计算机设备及计算机存储介质 |
CN115393846A (zh) * | 2022-10-28 | 2022-11-25 | 成都西交智汇大数据科技有限公司 | 一种血细胞识别方法、装置、设备及可读存储介质 |
CN116416616A (zh) * | 2023-04-13 | 2023-07-11 | 沃森克里克(北京)生物科技有限公司 | 一种dc细胞体外培养筛分方法、装置及计算机可读介质 |
CN117765531A (zh) * | 2024-01-11 | 2024-03-26 | 深圳市大数据研究院 | 细胞图像样本增强方法、装置、设备及介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018052586A1 (en) * | 2016-09-14 | 2018-03-22 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks |
CN109493342A (zh) * | 2018-12-13 | 2019-03-19 | 杭州电子科技大学 | 一种基于深度学习的皮肤病图片病变类型分类方法 |
-
2020
- 2020-07-22 CN CN202010709977.6A patent/CN111739017A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018052586A1 (en) * | 2016-09-14 | 2018-03-22 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks |
CN109493342A (zh) * | 2018-12-13 | 2019-03-19 | 杭州电子科技大学 | 一种基于深度学习的皮肤病图片病变类型分类方法 |
Non-Patent Citations (5)
Title |
---|
HITRJJ: ""水平集与图割算法浅析"", 《HTTPS://BLOG.CSDN.NET/U014636245/ARTICLE/DETAILS/84861447》 * |
LIQAA M: ""DCGAN for Handling Imbalanced Malaria Dataset based on Over-Sampling Technique and using CNN"", 《MEDICO LEGAL UPDATE》 * |
N. DONG: ""Inception v3 based cervical cell classification combined with artificially extracted features"", 《APPLIED SOFT COMPUTING》 * |
宁梓淯: ""基于细胞核特征的宫颈癌细胞图像的识别与分类"", 《自动化与仪器仪表》 * |
张恩涛: "《宫颈脱落细胞彩色图谱》", 31 January 2008 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112560575A (zh) * | 2020-11-09 | 2021-03-26 | 北京物资学院 | 一种红富士苹果外形数据增强装置和方法 |
CN112560575B (zh) * | 2020-11-09 | 2023-07-18 | 北京物资学院 | 一种红富士苹果外形数据增强装置和方法 |
CN113128588A (zh) * | 2021-04-16 | 2021-07-16 | 深圳市腾讯网域计算机网络有限公司 | 模型训练方法、装置、计算机设备及计算机存储介质 |
CN113128588B (zh) * | 2021-04-16 | 2024-03-26 | 深圳市腾讯网域计算机网络有限公司 | 模型训练方法、装置、计算机设备及计算机存储介质 |
CN115393846A (zh) * | 2022-10-28 | 2022-11-25 | 成都西交智汇大数据科技有限公司 | 一种血细胞识别方法、装置、设备及可读存储介质 |
CN115393846B (zh) * | 2022-10-28 | 2023-03-03 | 成都西交智汇大数据科技有限公司 | 一种血细胞识别方法、装置、设备及可读存储介质 |
CN116416616A (zh) * | 2023-04-13 | 2023-07-11 | 沃森克里克(北京)生物科技有限公司 | 一种dc细胞体外培养筛分方法、装置及计算机可读介质 |
CN116416616B (zh) * | 2023-04-13 | 2024-01-05 | 沃森克里克(北京)生物科技有限公司 | 一种dc细胞体外培养筛分方法、装置及计算机可读介质 |
CN117765531A (zh) * | 2024-01-11 | 2024-03-26 | 深圳市大数据研究院 | 细胞图像样本增强方法、装置、设备及介质 |
CN117765531B (zh) * | 2024-01-11 | 2024-09-13 | 深圳市大数据研究院 | 细胞图像样本增强方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | A multi-view deep convolutional neural networks for lung nodule segmentation | |
CN111739017A (zh) | 一种在样本不平衡条件下显微图像的细胞识别方法及系统 | |
CN107506761B (zh) | 基于显著性学习卷积神经网络的脑部图像分割方法及系统 | |
CN106940816B (zh) | 基于3d全卷积神经网络的ct图像肺结节检测系统 | |
CN111368769B (zh) | 基于改进锚点框生成模型的船舶多目标检测方法 | |
CN109101897A (zh) | 水下机器人的目标检测方法、系统及相关设备 | |
CN110532920A (zh) | 基于FaceNet方法的小数量数据集人脸识别方法 | |
CN111950488B (zh) | 一种改进的Faster-RCNN遥感图像目标检测方法 | |
CN112200121B (zh) | 基于evm和深度学习的高光谱未知目标检测方法 | |
CN109035300B (zh) | 一种基于深度特征与平均峰值相关能量的目标跟踪方法 | |
CN112950561A (zh) | 光纤端面缺陷检测方法、设备及存储介质 | |
CN111079620A (zh) | 基于迁移学习的白细胞图像检测识别模型构建方法及应用 | |
CN113705655B (zh) | 三维点云全自动分类方法及深度神经网络模型 | |
CN113487610B (zh) | 疱疹图像识别方法、装置、计算机设备和存储介质 | |
CN111639697B (zh) | 基于非重复采样与原型网络的高光谱图像分类方法 | |
CN117576079A (zh) | 一种工业产品表面异常检测方法、装置及系统 | |
CN108876776A (zh) | 一种分类模型生成方法、眼底图像分类方法及装置 | |
CN111368865A (zh) | 遥感影像储油罐检测方法、装置、可读存储介质及设备 | |
CN116597275A (zh) | 一种基于数据增强的高速移动目标识别方法 | |
CN108898157B (zh) | 基于卷积神经网络的数值型数据的雷达图表示的分类方法 | |
CN109063749B (zh) | 一种基于角点辐射域的鲁棒卷积核数量适配方法 | |
Płaczek | Rough sets in identification of cellular automata for medical image processing | |
CN115471755A (zh) | 基于分割的图像目标快速检测方法 | |
CN115375669A (zh) | 病理图像分级方法及装置 | |
CN114677530A (zh) | 一种基于小波形状描述子的聚类算法有效性评价方法、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201002 |
|
RJ01 | Rejection of invention patent application after publication |