CN109190622A - 基于强特征和神经网络的上皮细胞分类系统和方法 - Google Patents

基于强特征和神经网络的上皮细胞分类系统和方法 Download PDF

Info

Publication number
CN109190622A
CN109190622A CN201811058084.9A CN201811058084A CN109190622A CN 109190622 A CN109190622 A CN 109190622A CN 201811058084 A CN201811058084 A CN 201811058084A CN 109190622 A CN109190622 A CN 109190622A
Authority
CN
China
Prior art keywords
feature
epithelial cell
image
obtains
connect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811058084.9A
Other languages
English (en)
Inventor
郏东耀
李玉娟
曾强
庄重
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Brilliant Yaoqiang Technology Co Ltd
Original Assignee
Shenzhen Brilliant Yaoqiang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Brilliant Yaoqiang Technology Co Ltd filed Critical Shenzhen Brilliant Yaoqiang Technology Co Ltd
Priority to CN201811058084.9A priority Critical patent/CN109190622A/zh
Publication of CN109190622A publication Critical patent/CN109190622A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于强特征和神经网络的上皮细胞分类系统和方法。其中系统包括：图像获取装置，用于获取上皮细胞图像；强特征处理装置，与所述图像取装置连接，用于对所述上皮细胞图像进行强特征提取；卷积神经网络处理装置，与所述图像获取装置连接，用于通过卷积神经网络对所述上皮细胞图像进行特征提取；特征融合装置，分别与所述强特征处理装置和所述卷积神经网络处理装置连接，用于对提取结果进行融合；分类装置，与所述特征融合装置连接，用于对所述上皮细胞图像进行分类。该系统通过考虑了强特征处理和卷积神经网络的不同特点，将二者优势进行了结合；能够保证图像特征提取的全面性，提高分类结果的准确性。

Description

基于强特征和神经网络的上皮细胞分类系统和方法
技术领域
本申请涉及细胞识别与数据处理领域，特别是涉及一种基于强特征和神经网络的上皮细胞分类方法和装置。
背景技术
在人体的上皮细胞中，各种类型的细胞的相似度较高，分类难度相对较大。目前，通常的做法是利用检测人员在显微镜下从众多细胞中寻找出目标细胞。这需要检测人员具有较高的专业知识和丰富的实践经验，以保证结果的客观性和准确性。然而在实际工作中，随着送检样本的增多，检测人员的工作强度剧增，大大降低了结果判断的准确性。目前已经存在一种分析装置能够自动分析受检者的细胞并提供该细胞的分类信息。该装置让含有采自受检者的细胞的测定试样流过流动室，用光照射流经该流动室的测定试样，以此获得各个细胞的散射光信号，通过分析各散射光信号的波形来提取特征参数，用该特征参数对细胞进行分类，然而该装置需要采用光学设置，其结构复杂，操作不方便，并且占用空间较大。
发明内容
本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。
根据本申请的一个方面，提供了一种上皮细胞分类系统，包括：
图像获取装置，用于获取上皮细胞图像，
强特征处理装置，与所述图像取装置连接，用于对所述上皮细胞图像进行强特征提取，将所述强特征进行降维度处理，得到第一特征；
卷积神经网络处理装置，与所述图像获取装置连接，用于通过卷积神经网络对所述上皮细胞图像进行特征提取，得到第二特征；
特征融合装置，分别与所述强特征处理装置和所述卷积神经网络处理装置连接，用于将所述第一特征和所述第二特征进行标准化处理后的结果进行融合，得到第三特征；
分类装置，与所述特征融合装置连接，用于基于所述第三特征对所述上皮细胞图像进行分类。
该系统通过从强特征处理和卷积神经网络两个方面分别对上皮细胞图像进行处理，是考虑了二者的不同特点，将优势进行了结合；将两个处理结果进行融合能够保证图像特征提取的全面性；最后利用分类器进行分类，能够提高分类结果的准确性。
可选地，所述强特征处理装置包括：
滤波器，用于利用f个尺度和θ个方向的Gabor模板与所述上皮细胞图像做卷积运算，得到对应的f*θ个卷积图像矩阵；
第一降维装置，与所述滤波器连接，用于将所有的卷积图像矩阵组成一个特征向量，使用均匀网格分块法对所述特征向量进行降维度处理，得到第一特征。
可选地，在所述卷积神经网络处理装置中，所述卷积神经网络包括：依次连接的输入层、第一卷积层、下采样层、第二卷积层和池化层，激活函数采用sigmoid函数，其中：
神经网络的第一层为输入层，输入为所述皮细胞图像；
第一卷积层包括若干个卷积核，所述卷积核分别与所述皮细胞图像进行卷积，得到第一特征图；
下采样层利用池化窗口对所述第一特征图进行下采样，在所述第一特征图中选出与所述池化窗口大小相等的区域，将该区域中的最大值作为该区域的唯一值，各个区域的唯一值组成第二特征图；
第二卷积层利用视野窗口对所述第二特征图进行卷积，得到第三特征图；
池化层采用最大池化法对所述第三特征图进行池化，得到第二特征。
可选地，所述特征融合装置包括：
标准化处理装置，用于分别对所述第一特征和所述第二特征进行标准化处理；
融合装置，与所述标准化处理装置连接，用于将标准化处理后的第一特征第二特征分别加权并串行组合，得到第三特征。
可选地，所述特征融合装置还包括：
第二降维装置，与所述融合装置连接，用于对所述第三特征进行降维度处理，得到降维后的第三特征。
可选地，所述分类装置包括：
将所述第三特征分派到不同的SVM分类器中，对各个分类器的结果根据置信度进行判断或投票进行仲裁，输出所述上皮细胞图像的分类结果。
可选地，所述图像获取装置包括：
边缘检测装置，用于对所述显微镜获得的上皮细胞涂片图像进行黑白反色处理，通过边缘检测得到感兴趣区域的外轮廓；
图像分割装置，与边缘检测装置连接，用于根据所述外轮廓对上皮细胞涂片图像分割成若干个上皮细胞图像，其中，所述上皮细胞图像中显示一个完整的上皮细胞。
可选地，θ为8，分别是0、π/8、π/4、3π/8、π/2、5π/8、3π/4、7π/8；f为5，分别是0、1、2、3、4。
可选地，在所述融合装置中，用于将标准化处理后的第一特征X1第二特征X2分别加权并串行组合，得到第三特征W＝(w1,w2,…,wi,…,wm+n)＝(αX1,βX2)，其中，wi表示W中的元素，m和n分别表示第一特征X1和第二特征X2中的元素数量，α与β为加权系数，α＝0.4，β＝0.6。
根据本申请的另一个方面，还提供了一种利用如上所述的系统对上皮细胞分类的方法，包括：
获取上皮细胞图像，
对所述上皮细胞图像进行强特征提取，将所述强特征进行降维度处理，得到第一特征；
通过卷积神经网络对所述上皮细胞图像进行特征提取，得到第二特征；
将所述第一特征和所述第二特征进行标准化处理后的结果进行融合，得到第三特征；
基于所述第三特征对所述上皮细胞图像进行分类。
该方法通过从强特征处理和卷积神经网络两个方面分别对上皮细胞图像进行处理，是考虑了二者的不同特点，将优势进行了结合；将两个处理结果进行融合能够保证图像特征提取的全面性；最后利用分类器进行分类，能够提高分类结果的准确性。
根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解的是，这些附图未必是按比例绘制的。在附图中：
图1是根据本申请的一个实施例的上皮细胞分类系统的示意性框图；
图2是根据本申请的一个实施例的上皮细胞分类方法的示意性流程图；
图3是根据本申请的另一个实施例的上皮细胞分类方法的示意性流程图；
图4是运行本申请的上皮细胞分类方法的计算机装置硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
本申请的一个实施例公开了一种上皮细胞分类系统。图1是根据本申请的一个实施例的上皮细胞分类系统的示意性框图。该系统可以包括：
图像获取装置100，用于获取上皮细胞图像，
强特征处理装置200，与所述图像取装置100连接，用于对所述上皮细胞图像进行强特征提取，将所述强特征进行降维度处理，得到第一特征；
卷积神经网络处理装置300，与所述图像获取装置100连接，用于通过卷积神经网络对所述上皮细胞图像进行特征提取，得到第二特征；
特征融合装置400，分别与所述强特征处理装置200和所述卷积神经网络处理装置300连接，用于将所述第一特征和所述第二特征进行标准化处理后的结果进行融合，得到第三特征；
分类装置500，与所述特征融合装置400连接，用于基于所述第三特征对所述上皮细胞图像进行分类。
该系统通过从强特征处理和卷积神经网络两个方面分别对上皮细胞图像进行处理，是考虑了二者的不同特点，将优势进行了结合；将两个处理结果进行融合能够保证图像特征提取的全面性；最后利用分类器进行分类，能够提高分类结果的准确性。
可选地，所述图像获取装置100可以包括：
边缘检测装置，用于对所述显微镜获得的上皮细胞涂片图像进行黑白反色处理，通过边缘检测得到感兴趣区域的外轮廓；
图像分割装置，与边缘检测装置连接，用于根据所述外轮廓对上皮细胞涂片图像分割成若干个上皮细胞图像，其中，所述上皮细胞图像中显示一个完整的上皮细胞。
该系统能够根据上皮细胞涂片的图像特点对细胞进行分割，使其成为具有单个完整细胞的子图像，从而有利用后续分类器对每个细胞进行分类，有利于提高分类的准确性。
可选地，所述强特征处理装置200可以包括：
滤波器，用于利用f个尺度和θ个方向的Gabor模板与所述上皮细胞图像做卷积运算，得到对应的f*θ个卷积图像矩阵；
第一降维装置，与所述滤波器连接，用于将所有的卷积图像矩阵组成一个特征向量，使用均匀网格分块法对所述特征向量进行降维度处理，得到第一特征。
本文中，强特征包括细胞在纹理、形态、色度方面发生重大变化的特征，本文将该类特征称之为强特征。正常的上皮细胞，例如宫颈上皮细胞在癌变的过程中，细胞在纹理、形态、色度等方面会发生大的变化。该方面的特征数量可能不多，但是对于癌变的判别具有十分重要的参考价值。由于卷积神经网络自动提取的特征通常较为抽象，物理意义不够明确，因此很难知道是否提取到了分类对象的强特征。本申请提供的系统采用强特征作为图像特征提取的一个方式，弥补了卷积神经网络的不足，使得细胞特征的提取更加全面。
典型的Gabor函数之一2-D Gabor函数的表达式如下所示：
式中，gσ(x,y)是二维高斯核函数，以(x0,y0)为中心。gσ(x,y)函数表达式如下所示：
式中，w(x,y)是复正弦平面波，其具有方向选择特征，极坐标形式的函数公式如下：
w(x,y)＝exp(2πi·f(x cosθ+y sinθ))
高斯核函数可以为标准的高斯核函数，Gabor函数可以简写成如下所示：
式中，
Gabor滤波器的特征提取特性主要体现在频率尺度f与角度参数θ，其中f表示滤波器的中心频率，θ为其角度，通过将不同f、θ的组合，可以实多种滤波器的效果。滤波器的方向θ对于特征选择具有十分重要的影响
可选地，θ分别选0、π/8、π/4、3π/8、π/2、5π/8、3π/4、7π/8以上的8个方向，f分别选f＝0、f＝1、f＝2、f＝3、f＝4以上5个尺度。通过f个尺度和θ个方向的Gabor模板与上皮细胞图像做卷积运算，从而实现对上皮细胞图像的滤波。因此，共可得到5个尺度下8个方向上，共计40个纹理特征图。
由于原上皮细胞图像大小为70*70，经过Gabor滤波器特征提取得到40幅不同的特征图。将全部的特征图的首位相连组成一个特征向量，则该特征向量维度将达到70*70*40＝196000维。对比CNN自动提取到的特征为2700维，手动提取的Gabor特征向量维数远远高于CNN提取的特征维数。为了防止分类装置500分类时过多地倾向手动提取特征，可以在手动特征输入分类装置500之前，先将其使用均匀网格分块法对其进行降维。均匀网格分块法过程类似于卷积神经网络中的池化过程，首先将像素大小为70*70的特征图进行均匀分块，每个块大小为9*9，以每个块的像素均值作为该块的元素值，所有的元素值构成一个新的特征图。因此，经过均匀网格法降维后，手动提取的特征维数降至8*8*40＝2560，与积神经网络自动提取特征维数相当。
可选地，在所述卷积神经网络处理装置300中，所述卷积神经网络包括：依次连接的输入层、第一卷积层、下采样层、第二卷积层和池化层，激活函数采用sigmoid函数，其中：
神经网络的第一层为输入层，输入为所述皮细胞图像；
第一卷积层包括若干个卷积核，所述卷积核分别与所述皮细胞图像进行卷积，得到第一特征图；
下采样层利用池化窗口对所述第一特征图进行下采样，在所述第一特征图中选出与所述池化窗口大小相等的区域，将该区域中的最大值作为该区域的唯一值，各个区域的唯一值组成第二特征图；
第二卷积层利用视野窗口对所述第二特征图进行卷积，得到第三特征图；
池化层采用最大池化法对所述第三特征图进行池化，得到第二特征。
其中，卷积神经网络通路可以采用CNN网络的隐含层用于特征自提取，本申请将以LeNet-5模型的隐含层作为CNN特征提取模块。神经网络的第一层为输入层I，输入图像为第三章分类器识别出的上皮细胞图像，图像的像素大小为70*70。网络的C1层为第一卷积层，包括有6个卷积核，每组的视野窗口大小为5*5，滑动窗口步长设置为1，将视野窗口与输入图像进行卷积得到第一卷积层C1，因此C1层包括6幅特征图，且每幅特征图的大小为(70-5+1)×(70-5+1)＝66×66。S2为下采样层，该层采用最大池化进行下采样，且采用步长为2的2*2大小的池化窗口，即无重叠地选出原特征图中2*2的大小区域，取该区域中的最大值作为新的特征图中该区域的唯一值。由于卷积层与下采样层之间是一一映射的关系，因此S2层中仍然是有6幅特征图，且每幅特征图的维数为(66/2)*(66/2)＝33*33。对S2层特征图选用5*5大小的视野窗口进行卷积，滑动窗口步长同样设置为1，设置特征图的个数为12，得到第二卷积层C3。在第二卷积层C3中，每幅特征图的维数为(33-5+1)*(33-5+1)＝29*29。池化层S4为采用最大池化方式的池化层，池化窗口大小同样设置为2*2，步长为2，因此S4层经映射后同样具有同C3层同样的12幅特征图，且每幅特征图的维数为(29+1)/2＝15，则最终得到的特征维数为15*15*12＝2700。此外，CNN中的激活函数可以均采用sigmoid函数。
CNN网络参数的设置如表一所示。
表一
需要说明的是，特征图数量的选择，在不同的情况下有所不同，甚至需要不断调试才能确定。特征图个数过多，则网络中的参数势必增多，因此导致网络训练耗时，并且当面临小数据集时可能发生过拟合；特征图个数过少，则有可能使得卷积神经网络的特征能力欠缺。
可选地，所述特征融合装置400可以包括：
标准化处理装置，用于分别对所述第一特征和所述第二特征进行标准化处理；
融合装置，与所述标准化处理装置连接，用于将标准化处理后的第一特征第二特征分别加权并串行组合，得到第三特征。
该系统采用特征融合装置能够将利用不同角度获取的特征进行综合处理，从而得到能够全面反映该图像特点的特征，有利于后续的分类识别。
在所述特征融合装置400中，将CNN自提取的特征与强特征进行融合时，首先将特征进行标准化处理，然后再进行串行融合，最后采用主成分分析(Principal ComponentAnalysis,PCA)法对融合后的特征降维处理。
其中，标准化处理装置用于对特征参数进行标准化处理。特征参数标准化是指将现有幅值大小不一的特征参数值，按照同一标准将其换算至统一的范围之内。假设有一特征向量为{x1,x2,…xn}，对其标准化后为{x1',x2',…xn'}，标准化计算公式一般有以下三种形式：
对特征参数进行标准化时采用上面的任一公式均可。在第三个式子中，μ、σ分别为该特征向量参数的均值和标准差，该式对全局数据更加敏感。
融合装置用于对多特征串行融合。可选地，在所述融合装置中，用于将标准化处理后的第一特征X1第二特征X2分别加权并串行组合，得到第三特征W＝(w1,w2,…,wi,…,wm+n)＝(αX1,βX2)，其中，wi表示W中的元素，m和n分别表示第一特征X1和第二特征X2中的元素数量，α与β为加权系数，α＝0.4，β＝0.6。
设经过标准化后，Gabor特征向量为X1＝[x11,x12,…x1,m]，CNN提取的特征向量为X2＝[x21,x22,…x2,n]，经串行组合后获得融合特征W，式中，α与β分别为对Gabor特征和CNN特征的加权系数，分别表征某特征对新融合特征的重要性，其取值范围为(0,1)，且有α+β＝1。经多组实验表明，当α＝0.4，β＝0.6时，分类效果最佳。
可选地，所述特征融合装置400还可以包括：
第二降维装置，与所述融合装置连接，用于对所述第三特征进行降维度处理，得到降维后的第三特征。
经过多特征串行融合后，特征向量W的维数达2700+2560＝5260维，假如直接输入分类装置进行分类，计算复杂度较高，影响分类性能。因此采用PCA法对特征向量W进行降维。
设训练样本集的总体散布矩阵P如下：
式中，ai表示训练样本，表示样本A的均值向量，N为训练样本A内的样本数量。通过求解矩阵P，可得一组特征值及相应的特征向量，将该些向量依据其特征值的大小进行排序，取前n列向量，即可创建一个m*n维的变换矩阵S。将训练样本A通过变换矩阵S投影至k维特征空间的变量bi＝STai,(i＝1,2,…,k)。最终由PCA降维原理，对融合特征进行降维，取前799维特征，因此得训练特征矩阵W799*N。同理，假设测试样本数为M，则有测试特征矩阵W799*M。
可选地，所述分类装置包括：
将所述第三特征分派到不同的SVM分类器中，对各个分类器的结果根据置信度进行判断或投票进行仲裁，输出所述上皮细胞图像的分类结果。
实施例2
本申请的一个实施例还公开了一种利用如上所述的系统中的任一个对上皮细胞分类的方法。图2是根据本申请的一个实施例的上皮细胞分类方法的示意性流程图。该方法可以包括如下步骤：
S100获取上皮细胞图像，
S200对所述上皮细胞图像进行强特征提取，将所述强特征进行降维度处理，得到第一特征；
S300通过卷积神经网络对所述上皮细胞图像进行特征提取，得到第二特征；
S400将所述第一特征和所述第二特征进行标准化处理后的结果进行融合，得到第三特征；
S500基于所述第三特征对所述上皮细胞图像进行分类。
该方法能够根据上皮细胞涂片的图像特点对细胞进行分割，使其成为具有单个完整细胞的子图像，从而有利用后续分类器对每个细胞进行分类，有利于提高分类的准确性。
图3是根据本申请的另一个实施例的上皮细胞分类方法的示意性流程图。可选地，对上皮细胞分类的方法可以包括如下步骤：
(1)选择训练样本集；判断训练集样本数量，若样本数量不足，则对样本集进行扩增；否则直接进入下一步；
(2)创建CNN网络，随机初始化CNN各参数值；初始化SVM各参数；
(3)设计Gabor滤波器，并对样本图像Ii提取θ＝0、π/8、π/4、3π/8、π/2、5π/8、3π/4、7π/8方向，f＝0、f＝1、f＝2、f＝3、f＝4尺度，共40个特征图。使用9*9网格对70*70大小的特征图进行降维至8*8，将特征图的首位相连组成一个特征向量Xi1＝[x11,x12,…x1,m]；
(4)按批处理(batch)值大小对同一样本图像Ii进行排序并输入CNN网络，计算隐含层中每个卷积层、池化层的输出，其中S4层输出作为CNN网络提取特征部分Xi2＝[x21,x22,…x2,n]。
(5)判断所有的样本是否都已被提取特征，如果有样本未被提取特征，转至(3)；否则继续。
(6)假设全部样本的强特征为X1＝[x11,x12,…x1,M]，CNN自动提取到的特征为X2＝[x21,x22,…x2,N]。对特征向量X1、X2进行标准化处理，然后进行串行融合，得到融合特征W＝(w1,w2,…,wM+N)＝(αX1,βX2)；最后使用PCA法对W降维，得到最终的融合特征向量W*。
(7)将特征向量W*输入至SVM，并进行训练致使达到误差允许范围或者训练至最大迭训练代次数后结束。
传统的图像分类方法，通常是首先通过特征工程对图像进行特征提取，然后通过强大高效的分类器对特征进行学习，最终将图像进行分类。对比传统图像分类，目前比较流行的深度学习方法，可以直接将以像素为单位的图像作为分类器的输入，并且其多层的隐藏层，可以对图像特征进行深度的自学习与提取。以卷积神经网络为例，可以通过隐含层，在使特征维数可以接受的基础上自提取图像的特征。其中卷积层主要用来特征自提取，池化层主要用来特征向量降维。通过合适的网络参数调整，卷积神经网络提取到的特征往往比人工提取的特征更加丰富、适用。因此，本申请将上述两种方法的优势模块进行集合：采用卷积神经网络的隐含层进行深度特征自提取，同时采用传统分类方法中调参方便、泛化能力强的SVM进行最终分类。本申请的方法相较于其他分类方法，可以全面地提取图像特征，分类结果准确，识别敏感性和特异性较好。
根据本申请实施例2，还提供了一种上皮细胞分类方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图4是运行本申请的上皮细胞分类方法的计算机装置硬件结构示意图。如图4所示，计算机装置10(或移动设备10)可以包括一个或多个处理器(图中采用102a、102b，……，102n来示出，处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图4所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机装置10还可包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。
应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机装置10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中上皮细胞分类的方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机装置10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机装置10的通信供应商提供的无线网络。在一个实例中，传输装置包括一个网络适配器(Network Interface Controller,NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机装置10(或移动设备)的用户界面进行交互。
本申请提供了一种上皮细胞分类的方法在上述运行环境下运行。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(英文：non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(英文：magnetic tape)，软盘(英文：floppy disk)，光盘(英文：optical disc)及其任意组合。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种上皮细胞分类系统，包括：
图像获取装置，用于获取上皮细胞图像，
强特征处理装置，与所述图像取装置连接，用于对所述上皮细胞图像进行强特征提取，将所述强特征进行降维度处理，得到第一特征；
卷积神经网络处理装置，与所述图像获取装置连接，用于通过卷积神经网络对所述上皮细胞图像进行特征提取，得到第二特征；
特征融合装置，分别与所述强特征处理装置和所述卷积神经网络处理装置连接，用于将所述第一特征和所述第二特征进行标准化处理后的结果进行融合，得到第三特征；和
分类装置，与所述特征融合装置连接，用于基于所述第三特征对所述上皮细胞图像进行分类。
2.根据权利要求1所述的系统，其特征在于，所述强特征处理装置包括：
滤波器，用于利用f个尺度和θ个方向的Gabor模板与所述上皮细胞图像做卷积运算，得到对应的f*θ个卷积图像矩阵；和
第一降维装置，与所述滤波器连接，用于将所有的卷积图像矩阵组成一个特征向量，使用均匀网格分块法对所述特征向量进行降维度处理，得到第一特征。
3.根据权利要求1或2所述的系统，其特征在于，在所述卷积神经网络处理装置中，所述卷积神经网络包括：依次连接的输入层、第一卷积层、下采样层、第二卷积层和池化层，激活函数采用sigmoid函数，其中：
神经网络的第一层为输入层，输入为所述皮细胞图像；
第一卷积层包括若干个卷积核，所述卷积核分别与所述皮细胞图像进行卷积，得到第一特征图；
下采样层利用池化窗口对所述第一特征图进行下采样，在所述第一特征图中选出与所述池化窗口大小相等的区域，将该区域中的最大值作为该区域的唯一值，各个区域的唯一值组成第二特征图；
第二卷积层利用视野窗口对所述第二特征图进行卷积，得到第三特征图；和
池化层采用最大池化法对所述第三特征图进行池化，得到第二特征。
4.根据权利要求1至3中任一项所述的系统，其特征在于，所述特征融合装置包括：
标准化处理装置，用于分别对所述第一特征和所述第二特征进行标准化处理；和
融合装置，与所述标准化处理装置连接，用于将标准化处理后的第一特征第二特征分别加权并串行组合，得到第三特征。
5.根据权利要求4所述的系统，其特征在于，所述特征融合装置还包括：
第二降维装置，与所述融合装置连接，用于对所述第三特征进行降维度处理，得到降维后的第三特征。
6.根据权利要求1所述的系统，其特征在于，所述分类装置包括：
将所述第三特征分派到不同的SVM分类器中，对各个分类器的结果根据置信度进行判断或投票进行仲裁，输出所述上皮细胞图像的分类结果。
7.根据权利要求1所述的系统，其特征在于，所述图像获取装置包括：
边缘检测装置，用于对所述显微镜获得的上皮细胞涂片图像进行黑白反色处理，通过边缘检测得到感兴趣区域的外轮廓；和
图像分割装置，与边缘检测装置连接，用于根据所述外轮廓对上皮细胞涂片图像分割成若干个上皮细胞图像，其中，所述上皮细胞图像中显示一个完整的上皮细胞。
8.根据权利要求2所述的系统，其特征在于，θ为8，分别是0、π/8、π/4、3π/8、π/2、5π/8、3π/4、7π/8；f为5，分别是0、1、2、3、4。
9.根据权利要求4所述的系统，其特征在于，在所述融合装置中，用于将标准化处理后的第一特征X1第二特征X2分别加权并串行组合，得到第三特征W＝(w1,w2,…,wi,…,wm+n)＝(αX1,βX2)，其中，wi表示W中的元素，m和n分别表示第一特征X1和第二特征X2中的元素数量，α与β为加权系数，α＝0.4，β＝0.6。
10.一种利用权利要求1所述的系统对上皮细胞分类的方法，包括：
获取上皮细胞图像，
对所述上皮细胞图像进行强特征提取，将所述强特征进行降维度处理，得到第一特征；
通过卷积神经网络对所述上皮细胞图像进行特征提取，得到第二特征；
将所述第一特征和所述第二特征进行标准化处理后的结果进行融合，得到第三特征；和
基于所述第三特征对所述上皮细胞图像进行分类。
CN201811058084.9A 2018-09-11 2018-09-11 基于强特征和神经网络的上皮细胞分类系统和方法 Pending CN109190622A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811058084.9A CN109190622A (zh) 2018-09-11 2018-09-11 基于强特征和神经网络的上皮细胞分类系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811058084.9A CN109190622A (zh) 2018-09-11 2018-09-11 基于强特征和神经网络的上皮细胞分类系统和方法

Publications (1)

Publication Number Publication Date
CN109190622A true CN109190622A (zh) 2019-01-11

Family

ID=64910446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811058084.9A Pending CN109190622A (zh) 2018-09-11 2018-09-11 基于强特征和神经网络的上皮细胞分类系统和方法

Country Status (1)

Country Link
CN (1) CN109190622A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109781732A (zh) * 2019-03-08 2019-05-21 江西憶源多媒体科技有限公司 一种微小物检测并分类计数的方法
CN110245621A (zh) * 2019-06-17 2019-09-17 深圳Tcl新技术有限公司 人脸识别装置及图像处理方法、特征提取模型、存储介质
CN110852288A (zh) * 2019-11-15 2020-02-28 苏州大学 一种基于两阶段卷积神经网络的细胞图像分类方法
CN110969171A (zh) * 2019-12-12 2020-04-07 河北科技大学 基于改进卷积神经网络的图像分类模型、方法及应用
CN111105416A (zh) * 2019-12-31 2020-05-05 北京理工大学重庆创新中心 一种骨髓细胞增生程度自动分级方法及系统
CN111310838A (zh) * 2020-02-21 2020-06-19 单光存 一种基于深度Gabor网络的药效图像分类识别方法
CN111783796A (zh) * 2020-06-19 2020-10-16 哈尔滨工业大学 一种基于深度特征融合的pet/ct影像识别系统
CN111860672A (zh) * 2020-07-28 2020-10-30 北京邮电大学 一种基于分块卷积神经网络的细粒度图像分类方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366180A (zh) * 2013-06-14 2013-10-23 山东大学 一种基于自动特征学习的细胞图像分割方法
CN105408746A (zh) * 2013-02-28 2016-03-16 普罗吉涅股份有限公司 基于图像的人胚胎细胞分类的装置、方法和系统
WO2016075096A1 (en) * 2014-11-10 2016-05-19 Ventana Medical Systems, Inc. Classifying nuclei in histology images
CN107066934A (zh) * 2017-01-23 2017-08-18 华东交通大学 胃部肿瘤细胞图像识别判定装置、方法及胃部肿瘤切片识别判定设备
CN107099577A (zh) * 2017-03-06 2017-08-29 华南理工大学 基于Hough圆检测和深度卷积网络的阴道分泌物湿片念珠菌检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105408746A (zh) * 2013-02-28 2016-03-16 普罗吉涅股份有限公司 基于图像的人胚胎细胞分类的装置、方法和系统
CN103366180A (zh) * 2013-06-14 2013-10-23 山东大学 一种基于自动特征学习的细胞图像分割方法
WO2016075096A1 (en) * 2014-11-10 2016-05-19 Ventana Medical Systems, Inc. Classifying nuclei in histology images
CN107066934A (zh) * 2017-01-23 2017-08-18 华东交通大学 胃部肿瘤细胞图像识别判定装置、方法及胃部肿瘤切片识别判定设备
CN107099577A (zh) * 2017-03-06 2017-08-29 华南理工大学 基于Hough圆检测和深度卷积网络的阴道分泌物湿片念珠菌检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YUSHI CHEN 等: "Hyperspectral Images Classification With Gabor Filtering and Convolutional Neural Network", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 *
李宽: "细胞图像的分割、纹理提取及识别方法研究", 《中国博士学位论文全文数据库 信息科技辑》 *
梁敏健 等: "基于HOG_Gabor特征融合与Softmax分类器的交通标志识别方法", 《交通运输工程学报》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109781732A (zh) * 2019-03-08 2019-05-21 江西憶源多媒体科技有限公司 一种微小物检测并分类计数的方法
CN110245621A (zh) * 2019-06-17 2019-09-17 深圳Tcl新技术有限公司 人脸识别装置及图像处理方法、特征提取模型、存储介质
CN110245621B (zh) * 2019-06-17 2023-10-17 深圳Tcl新技术有限公司 人脸识别装置及图像处理方法、特征提取模型、存储介质
CN110852288A (zh) * 2019-11-15 2020-02-28 苏州大学 一种基于两阶段卷积神经网络的细胞图像分类方法
CN110852288B (zh) * 2019-11-15 2022-07-05 苏州大学 一种基于两阶段卷积神经网络的细胞图像分类方法
CN110969171A (zh) * 2019-12-12 2020-04-07 河北科技大学 基于改进卷积神经网络的图像分类模型、方法及应用
CN111105416A (zh) * 2019-12-31 2020-05-05 北京理工大学重庆创新中心 一种骨髓细胞增生程度自动分级方法及系统
CN111310838A (zh) * 2020-02-21 2020-06-19 单光存 一种基于深度Gabor网络的药效图像分类识别方法
CN111783796A (zh) * 2020-06-19 2020-10-16 哈尔滨工业大学 一种基于深度特征融合的pet/ct影像识别系统
CN111860672A (zh) * 2020-07-28 2020-10-30 北京邮电大学 一种基于分块卷积神经网络的细粒度图像分类方法
CN111860672B (zh) * 2020-07-28 2021-03-16 北京邮电大学 一种基于分块卷积神经网络的细粒度图像分类方法

Similar Documents

Publication Publication Date Title
CN109190622A (zh) 基于强特征和神经网络的上皮细胞分类系统和方法
Sudha et al. A Convolutional Neural Network Classifier VGG-19 Architecture for Lesion Detection and Grading in Diabetic Retinopathy Based on Deep Learning.
Agaian et al. A new acute leukaemia-automated classification system
CN108985159A (zh) 人眼模型训练方法、人眼识别方法、装置、设备及介质
CN108426994A (zh) 分析数字全息显微术数据以用于血液学应用
CN112613410B (zh) 基于迁移学习的寄生虫虫卵识别方法
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
Vaviya et al. Identification of artificially ripened fruits using machine learning
CN113158821A (zh) 基于多模态的眼部检测数据的处理方法、装置及终端设备
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN115131630A (zh) 模型训练、微卫星状态预测方法、电子设备及存储介质
JP2023551898A (ja) カラー眼底画像データを使用する糖尿病性網膜症重症度についての自動スクリーニング
KR102624956B1 (ko) 세포 샘플 내에서 적어도 하나의 기형을 가지는 세포를 검출하기 위한 방법
CN117152152B (zh) 检测试剂盒的生产管理系统及方法
Mahapatra Retinal image quality classification using neurobiological models of the human visual system
Zubair et al. A comprehensive computer-aided system for an early-stage diagnosis and classification of diabetic macular edema
Wang et al. Sac-net: enhancing spatiotemporal aggregation in cervical histological image classification via label-efficient weakly supervised learning
Hidayat et al. Determining the Rice Seeds Quality Using Convolutional Neural Network
Shamrat et al. An advanced deep neural network for fundus image analysis and enhancing diabetic retinopathy detection
Yu et al. Avocado ripeness classification using graph neural network
Liang et al. Relative saliency model over multiple images with an application to yarn surface evaluation
Chhabra et al. Comparison of different edge detection techniques to improve quality of medical images
Velpula et al. Automatic Glaucoma Detection from Fundus Images Using Deep Convolutional Neural Networks and Exploring Networks Behaviour Using Visualization Techniques
Salam et al. RDD-Net: retinal disease diagnosis network: a computer-aided diagnosis technique using graph learning and feature descriptors
US20220058371A1 (en) Classification of cell nuclei

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination