CN111524140B - 基于cnn和随机森林法的医学图像语义分割方法 - Google Patents

基于cnn和随机森林法的医学图像语义分割方法 Download PDF

Info

Publication number
CN111524140B
CN111524140B CN202010316123.1A CN202010316123A CN111524140B CN 111524140 B CN111524140 B CN 111524140B CN 202010316123 A CN202010316123 A CN 202010316123A CN 111524140 B CN111524140 B CN 111524140B
Authority
CN
China
Prior art keywords
layer
random forest
input
convolution
full
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010316123.1A
Other languages
English (en)
Other versions
CN111524140A (zh
Inventor
王北一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Vocational and Technical College
Original Assignee
Guangdong Vocational and Technical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Vocational and Technical College filed Critical Guangdong Vocational and Technical College
Priority to CN202010316123.1A priority Critical patent/CN111524140B/zh
Publication of CN111524140A publication Critical patent/CN111524140A/zh
Application granted granted Critical
Publication of CN111524140B publication Critical patent/CN111524140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种基于CNN和随机森林法的医学图像语义分割方法，包括步骤：构建分割网络，分割网络包括依次连接的输入层、CNN部分、第二全连接层、随机森林分类层和结果输出层，所述CNN部分包括五个卷积层和第一全连接层，将图像输入到输入层，对五个卷积层和第一全连接层进行训练，在第一全连接层得到各尺度的输出，将第一全连接层的所有输出结果输入第二全连接层得到融合后的特征向量，并将此特征向量作为随机森林分类层的输入；随机森林分类层根据特征向量进行特征学习与分类预测；在第一卷积层、第二卷积层、第五卷积层卷积操作后进行池化操作，所有的卷积层和第一全连接层、第二全连接层均采用Relu函数进行激活。本发明具有分割准确性高的优点。

Description

基于CNN和随机森林法的医学图像语义分割方法
技术领域
本发明涉及医学图像语义分割研究领域，特别涉及一种基于CNN和随机森林法的医学图像语义分割方法。
背景技术
Ohta等人在1987年提出了图像语义分割的概念。图像语义分割时，将具体的语义类别标签分配给每个像素，这些类别标签都是预先定义好的。具体应用中语义分割的目标是对分割的对象根据语义进行分类，该分类是各种图像理解、识别任务中的基石性的步骤。
图像语义分割在近年来受到广泛关注，这得益于其应用前景广阔，而且在学术领域极具挑战性。特别是近年来人工智能和机器学习的快速发展，使得语义分割技术由学术研究走向工业应用。根据处理的对象，可以将语义分割分为全监督语义分割和弱监督语义分割，随机森林法就属于弱监督语义分割中一种有效的方法。
随机森林是由美国科学家Leo Breiman于2001年发表的机器学习算法。随机森林的关键算法最早由Leo Breiman和Adele Cutler提出。特征随机选择的思想由Amit、Gemen和Ho Tim Kam分别独立提出，同时结合Breiman的“套袋”思想构建了控制方差的决策树集合。随后，Chen等在论文“Semantic Image Segmentation with Deep Convolutional Netsand Fully Connected CRFs”中通过使用随即节点优化的思想对随机森林进行了进一步完善。Dansong等在论文“Image segmentation based on multi-region multi-scale localbinary fitting and Kullback–Leibler divergence”中将随机森林和霍夫变换结合起来，用于图像的分类训练，开启了随机森林在计算机视觉和图像处理领域的广泛应用。
近年来，由于随机森林算法优异的精确度和较快的运行速度，不仅在数理统计和生物信息等领域得到了广泛应用，在国内外图像处理领域也有很大的发展。Ishwaran等在论文“Random survival forests for competing risks”中建立了一种像素级别的和超像素级别的随机森林去分别定义图像分割算法里的数据代价项和不连续数据代价项对细胞图像进行自动分割。
研究者们在不断改进随机森林算法的性能。Michael等在论文“SEEDS:Superpixels Extracted Via Energy-Driven Sampling”中，在3D超声图像上对胎儿股骨进行分割，从特征提取和投票机制两个方面进行了改进，将传统的提取2D特征改为提取3D特征，并且将平均决策投票机制改为加权决策投票机制，在此基础上再加入特征选择步骤，使用以信息增益为标准，筛选出对分类结果贡献大的特征，淘汰冗余特征。在这些改进之后，推动了随机森林在图像分割领域的发展。
随机森林虽然在多个领域得到应用，但仍处于完善阶段，在针对医学图像进行语义分割时还存在着准确性不高、分割效果不够的缺陷。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种基于CNN和随机森林法的医学图像语义分割方法，该方法将CNN(Convolutionnal Neural Network，卷积神经网络)和随机森林法相结合用于对医学图像的语义分割，具有准确性高的优点。
本发明的目的通过以下的技术方案实现：基于CNN和随机森林法的医学图像语义分割方法，步骤是：
构建分割网络，分割网络包括依次连接的输入层、CNN部分、第二全连接层、随机森林分类层和结果输出层，所述CNN部分包括五个卷积层和第一全连接层，将图像输入到输入层，对五个卷积层和第一全连接层进行训练，在第一全连接层得到各尺度的输出，将第一全连接层的所有输出结果输入第二全连接层得到融合后的特征向量，并将此特征向量作为随机森林分类层的输入；随机森林分类层根据特征向量进行特征学习与分类预测；在第一卷积层、第二卷积层、第五卷积层卷积操作后进行池化操作，所有的卷积层和第一全连接层、第二全连接层均采用Relu函数进行激活。
优选的，针对待处理医学图像，先对其进行超像素分割，将分割后的超像素块作为输入层的输入。
进一步的，在将分割后的超像素块作为输入层的输入时，采用多尺度融合的方法学习超像素特征，方法是以分割好的超像素中心种子点为中心，在图像中提取不同大小的图像块，将其统一为同一大小的像素尺寸，形成多尺度块，作为输入层的输入。
优选的，在第一卷积层、第二卷积层、第五卷积层卷积操作后采用Max pooling方法进行池化操作。
优选的，5个卷积层为线性滤波、ReLU非线性滤波映射和池化的组合，或者是线性滤波、ReLU非线性滤波的组合。
优选的，分割网络中的权值参数通过不断的训练学习得到，训练学习方法包括前向传播和误差反向传播两步，其中前向传播的学习过程是逐层得到CNN部分中的每一层的特征图，利用随机森林中的损失函数计算实际值与理论值之间存在的误差，然后反向逐层计算参数的梯度，逐层更新分割网络的参数。任意超像素块属于每种语义类别的概率都是通过上述训练学习获得，根据概率利用随机森林预测该超像素块所属的具体语义类别。
优选的，随机森林分类层中，集合了多棵决策树，在进行属性划分时，随机森林先从特征集中随机选择特征子集，再从该子集选择一个最优属性；随机森林作为分类器对前期采集到的多维特征向量进行投票分类，得票最多的类别为随机森林最终的分类结果，结果表示为：
Figure BDA0002459659000000031
其中，H(x)表示最终输出结果，hi(x)表示单个决策树，I表示示性函数，Y表示输出变量，k表示决策树的个数；随机森林的训练过程是对已提取的特征向量进行不断分类选择的过程，特征的提取是基于超像素块进行的，每个超像素块中包含对应的颜色、纹理、形状和空间结构特征，这些特征形成的特征集经过采样等步骤形成单棵决策树模型，经过不断的分裂生长为随机森林模型。
更进一步的，决策树中采用CART树中的分类树。
本发明与现有技术相比，具有如下优点和有益效果：
本发明构建分割网络，分割网络包括依次连接的输入层、CNN部分、第二全连接层、随机森林分类层和结果输出层，CNN部分在卷积层、激励层、池化层的作用下，可以使医学图像特征的提取更加准确。而CNN提取后的特征，运用于随机森林法用于分割过程中分类器的依据，又可以进一步提升最终分割结果的准确性。
附图说明
图1是CNN的语义分割框架图。
图2是本实施例方法分割网络的框架图。
图3是医学病例的原始图像一。
图4是医学病例的原始图像二。
图5是针对图3所示图像，采用现有技术进行分割的效果图。
图6是针对图3所示图像，采用本实施例方法进行分割的效果图。
图7是针对图4所示图像，采用现有技术进行分割的效果图。
图8是针对图4所示图像，采用本实施例方法进行分割的效果图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
本实施例在现有技术的研究基础上，提出一种将CNN和随机森林法结合在一起，用于进行医学图像语义分割的方法，该方法主要创新点在于构建一分割网络，分割网络包括依次连接的输入层、CNN部分、第二全连接层、随机森林分类层和结果输出层，所述CNN部分包括五个卷积层和第一全连接层，将图像输入到输入层，对五个卷积层和第一全连接层进行训练，在第一全连接层得到各尺度的输出，将第一全连接层的所有输出结果输入第二全连接层得到融合后的特征向量，并将此特征向量作为随机森林分类层的输入；随机森林分类层根据特征向量进行特征学习与分类预测。
CNN(Convolutionnal Neural Network)全称卷积神经网络。卷积神经网络分为多个层次，如图1所示，主要包含数据输入层(Input Layer)、卷积计算层(ConvolutionLayer)、ReLU激励层(ReLU Layer)、池化层(Pooling Layer)、全连接层(Fully ConnectedLayer)。数据输入层主要用来对输入的图像数据预处理；卷积计算层是卷积神经网络中最重要的部分；然后是激励层，把卷积层所得输出结果做非线性映射。上述层次中，卷积的过程有几步关键操作：局部关联和窗口滑动。局部关联是将每个神经元当做一个滤波器(filter)，而窗口滑动是滤波器对局部数据进行计算。相比较卷积层的复杂，池化层要简单的多，池化层的本质是对数据进行降维，或者说对数据矩阵进行压缩。若是3×3的池化，就是将一个子矩阵的每3×3个元素变成一个元素，采用这样的方法可以使数据矩阵的维度减小。卷积层、激励层、池化层用于特征提取，全连接层负责对特征进行分类。在全连接层中，首先将卷积、激励、池化后所得的结果串联起来，根据样本对模型进行训练得到全连接层的权重，在使用该模型对数据集预测时，根据模型训练得出来的参数权重，以及前面的卷积、激活函数、池化等层次计算出来的结果，进行加权求和，即可得到各个结果的预测值，然后取值最大的作为最终的结果。
本实施例将CNN部分作为特征提取器，将CNN网络中的池化层之后的部分替换为随机森林分类器，将提取的特征向量输入随机森林分类器进行特征学习与分类预测。基于CNN的特征提取相对于传统的特征提取有着明显的优势，并且可以获得更精确的结果。
本实施例针对待处理医学图像，先对其进行超像素分割，将分割后的超像素块作为CNN网络的输入。采用多尺度融合的方法学习超像素特征。具体方法是以分割好的超像素中心种子点为中心，在图像中提取不同大小的图像块，并将其设置为同一大小的像素尺寸形成多尺度块，作为分割网络的输入。
如图2所示，分割网络总体包含1个输入层、5个卷积层、2个全连接层、一个随机森林分类层和1个结果输出层。将前期处理的超像素块作为分割网络的输入，对5个卷积层和1个全连接层(FC1)进行训练，在全连接层FC1得到各尺度的输出，将FC1层的所有输出结果输入FC2层得到融合后的特征向量，并将此特征向量作为随机森林分类器的输入。整个模型的权值参数由5个卷积层和全连接层FC1共享。在卷积层(Conv1、Conv2和Conv5)卷积操作后采用Max pooling方法进行进一步池化操作。同时，模型中的所有的卷积层(Conv1、Conv2、Conv3、Conv4、Conv5)和FC1、FC2层都采用非线性单元函数Relu进行激活。
给定图像P，用X表示图像中的第k个超像素块，整个网络的学习参数可以用下式表示：
Figure BDA0002459659000000051
公式中，
Figure BDA0002459659000000052
表示第l层中第j个神经元与第l-1层中第i个神经元的链接权值，
Figure BDA0002459659000000053
表示第l层中第j个神经元的偏置量，l＝1,…，n，i＝1,…，I，j＝1,…，J。所有尺度的输出特征图表示为：
Figure BDA0002459659000000054
其中，L1＝6表示FC1，Hl为输出特征图，其中H0＝X，为网络的输入，5个卷积层可以描述为线性滤波、ReLU非线性滤波映射和池化的组合或者是线性滤波、ReLU非线性滤波的组合。5个卷积层的输出表达式为：
Hl＝pool(ReLU(WlHl-1+bl)) (3)
全连接层FC2的输入为全连接层FC1的串联后的结果，而FC2的输入或者FC1的输出表示如下式(4)所示，将FC2的结果经过一次变换后将所得特征向量输入随机森林，FC2的输出特征图表示为：
Fc1＝[f1,f2,f3] (4)
F＝WL(ReLU(WL-1Fc2+bL-1))+bL (5)
(W,b)＝(W1,b1,W2,b2,…,Wn,bn) (6)
上述式(6)为模型的参数，模型的参数通过不断的训练学习得到，采用的是一种误差的反向传播方法。该方法包括前向传播和误差反向传播两步。前向传播的学习过程是先逐层得到CNN部分中的每一层的特征图，并利用随机森林中的损失函数计算实际值与理论值间存在的误差，最后是反向逐层计算参数的梯度，逐层更新模型的参数。任意超像素块属于每种语义类别的概率都是通过上述步骤获得，而后利用随机森林能够预测该超像素块所属的具体语义类别。
随机森林是在Bagging上发展而来的，是一种将多个弱分类器进行某种策略结合的集成学习的思想。集成学习有两大类型，Bagging是其中之一。与Boosting方法不同的是Bagging方法中各学习器之间没有任何依赖关系，可以并行拟合。随机森林继承Bagging的特性，同时对其进行了改进。其基本思想是从样本集中采集固定个数的样本，每采集一个样本后，都将样本放回，这同时意味着被放回的样本可能在下次采样中被采集到。对于含有m个样本的数据集D，对它进行采样产生数据集D'；每次从数据集D中随机选取样本，将其复制放入D'，为了使得样本在之后的采样中仍会被采集到，需要将样本放回初始数据集中；对上述步骤重复执行m次，就能够获得含有m个样本的数据集D'。样本在m次采样中始终不被采到的概率是(1-1/m)m，取极限得到：
Figure BDA0002459659000000061
上述过程始终约有36.8％的样本没有出现在采样数据集D'中，这36.8％的没有被采样到的数据，被称为袋外数据(Out Of Bag,简称OOB)。这部分数据没有参与模型拟合，常用来检验模型的泛化能力。另外63.2％的样本出现在采样集中，可以采样出T个采样集，每个采样集含有m个训练样本，通过对每个采样集进行训练获得基学习器，最后再将这些基学习器进行结合，这就是整个Bagging的流程。
树型模型是一种区别于线性模型的特征处理方法，具体来说就是线性模型在处理特征时是将所有特征给予权重进行相加得到特征值，而树型模型是对每个特征进行相应处理。决策树是一种解决二分类问题的树形模型。决策树生成算法有ID3、C4.5和CART树算法，本实施例选用CART树算法。
CART树分为回归树和分类树，本实施例模型用到的是分类树，下面具体分析分类树的实现。分类树利用基尼指数来选择最优的分割特征，而且每次都是二分，基尼指数是一个类似于熵的概念，对于一个有K种状态对应的概率为p1,p2,…pk的随机变量X，其基尼指数Gini定义如下：
Figure BDA0002459659000000071
根据公式可得到伯努利分布X～Bernoulli(p)的基尼系数为：
Figure BDA0002459659000000072
对于训练集合D，假设共有K个类别，Ck代表第k类的样本子集，|Ck|为Ck的大小，|D|为D的大小，则集合D的基尼系数为：
Figure BDA0002459659000000073
现假设用特征A对数据进行分割，若特征A为离散特征，则根据A的某一可能的取值α将D分为D1与D2：
D1＝{D|A＝α} (11)
D2＝{D|A≠α} (12)
接下来即可得出Gini(D,A)，即已知特征A的前提下集合D的基尼指数：
Figure BDA0002459659000000074
Gini(D,A)取值越大，样本的不确定性就会越大，所以选择特征A的标准是Gini(D,A)的取值越小越好。
随机森林集合多颗决策树，在进行属性划分时，决策树选择当前结点特征集中最优的属性，而随机森林先从特征集中随机选择特征子集，再从该子集选择一个最优属性。随机森林结合多颗决策树，相比于单一决策树在泛化能力上有很大的提升。在具体实验时，随机森林作为分类器对前期采集到的多维特征向量进行投票分类，得票最多的类别为随机森林最终的分类结果，结果表示为：
Figure BDA0002459659000000081
其中，H(x)表示最终输出结果，hi(x)表示单个决策树，I表示示性函数，Y表示输出变量。随机森林的训练过程是对已提取的特征向量进行不断分类选择的过程，特征的提取是基于超像素块进行的，每个超像素块中包含对应的颜色、纹理、形状和空间结构特征，这些特征形成的特征集经过采样等步骤形成单颗决策树模型，经过不断的分裂生长为随机森林模型。
本实施例通过实验来验证本发明方法的分割效果。实验平台的硬件环境为：宏碁笔记本，CPU为Intel i3-2350M，GPU为GT540M，内存为8GB，显存1GB，120GB的SSD和500GB的硬盘。软件环境为：Windows7操作系统，Anaconda4.3.30，Tensorflow1.2，python3.5和与pyhton配套的各种计算软件包。
本实施例选择选则GlaS医学病理图像作为分割实验的对象，此数据集中含有了良性及恶性的腺体原始图像，并有医学工作者的标记可以作为分割方法性能判定的依据。如图3、4所述，就是GlaS库中的两组医学病例的原始图像。
为了验证本发明语义分割方法的各项具体性能，本实施例选取分割精确度PA和MIoU对其进行定性分析。
假设有k+1个类(从L0到Lk，其中包含一个空类或背景)，pij表示本属于类i但被预测为类j的像素数量，pii表示真正的像素数量，pji表示本属于类j但被预测为类i的像素数量，pij和pji分别称作假正和假负。像素分割精度表示分割后标记正确像素点占总像素点的比率，用如下公式表示：
Figure BDA0002459659000000082
选取的另一个评价指标是MIoU，称作均交并比，其原理是求两个集合的交集与并集之比。在具体的语义分割任务中，这两个集合分别是真实图像数据(ground truth)和预测图像数据(predicted segmentation)，这个值可以是正真数比上真正、假负、假负之和，在每个类上计算IoU，之后平均：
Figure BDA0002459659000000083
对上式的直观理解可以用图像的相交来表示，如果蓝色区域用来表示真实值，红色区域表示预测值。紫色部分为蓝色与红色的交集，蓝色部分表示假负，红色表示假正，两个圆之外的白色区域表示真负的部分。其中，真正表示预测值为1，实际值为1；假正表示预测值为1，真实值为0；假负表示预测值为0，真实值为0。
具体到本实施例，为了形成和本发明方法的直观比较，选择现有技术中的水平集弱监督分割方法(参见Piotr Swierczynski等在文章“A Level-set Approach to JointImage Segmentation and Registration with Application to CT Lung Imaging”中公开的内容)作为参照方法。两种方法针对图3的原始图像，分割出来的视觉效果如图5、6所示。针对图4的原始图像，分割出来的视觉效果如图7、8所示。从视觉效果来看，本实施例方法分割的效果更接近于人眼分割效果，更为准确。
为了验证CNN网络和随机森林算法结合在语义分割中的效果，本实施例在GlaS数据集上进行实验，选取100幅腺体病例图像结果进行平均值分析，通过测试结果评估模型的泛化性能。两种方法在PA和MIoU两项指标上的对比，如表1所示。
表1两种方法的指标对比
Figure BDA0002459659000000091
表1中的结果显示，无论是PA，还是MIoU，本实施例方法相较于现有方法都具有更好的分割性能。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (5)

1.基于CNN和随机森林法的医学图像语义分割方法，其特征在于，步骤是：构建分割网络，分割网络包括依次连接的输入层、CNN部分、第二全连接层、随机森林分类层和结果输出层，所述CNN部分包括五个卷积层和第一全连接层，将图像输入到输入层，对五个卷积层和第一全连接层进行训练，在第一全连接层得到各尺度的输出，将第一全连接层的所有输出结果输入第二全连接层得到融合后的特征向量，并将此特征向量作为随机森林分类层的输入；随机森林分类层根据特征向量进行特征学习与分类预测；在第一卷积层、第二卷积层、第五卷积层卷积操作后进行池化操作，所有的卷积层和第一全连接层、第二全连接层均采用Relu函数进行激活；
针对待处理医学图像，先对其进行超像素分割，将分割后的超像素块作为输入层的输入；
在将分割后的超像素块作为输入层的输入时，采用多尺度融合的方法学习超像素特征，方法是以分割好的超像素中心种子点为中心，在图像中提取不同大小的图像块，将其统一为同一大小的像素尺寸，形成多尺度块，作为输入层的输入；
随机森林分类层中，集合了多棵决策树，在进行属性划分时，随机森林先从特征集中随机选择特征子集，再从该子集选择一个最优属性；随机森林作为分类器对前期采集到的多维特征向量进行投票分类，得票最多的类别为随机森林最终的分类结果，结果表示为：
Figure FDA0004057216180000011
其中，H(x)表示最终输出结果，hi(x)表示单个决策树，I表示示性函数，Y表示输出变量，k表示决策树的个数；
给定图像P，用X表示图像中的第k个超像素块，整个网络的学习参数用下式表示：
Figure FDA0004057216180000012
公式中，
Figure FDA0004057216180000013
表示第l层中第j个神经元与第l-1层中第i个神经元的链接权值，
Figure FDA0004057216180000014
表示第l层中第j个神经元的偏置量，l＝1,…，n，i＝1,…，I，j＝1,…，J；所有尺度的输出特征图表示为：
Figure FDA0004057216180000015
其中，L1＝6表示FC1，Hl为输出特征图，其中H0＝X，为网络的输入，5个卷积层描述为线性滤波、ReLU非线性滤波映射和池化的组合或者是线性滤波、ReLU非线性滤波的组合，5个卷积层的输出表达式为：
Hl＝pool(ReLU(WlHl-1+bl)) (3)
全连接层FC2的输入为全连接层FC1的串联后的结果，而FC2的输入或者FC1的输出表示如下式(4)所示，将FC2的结果经过一次变换后将所得特征向量输入随机森林，FC2的输出特征图表示为：
Fc1＝[f1,f2,f3] (4)
F＝WL(ReLU(WL-1Fc2+bL-1))+bL (5)
(W,b)＝(W1,b1,W2,b2,…,Wn,bn) (6)
上述式(6)为模型的参数，模型的参数通过不断的训练学习得到，采用的是一种误差的反向传播方法，该反向传播方法包括前向传播和误差反向传播两步，前向传播的学习过程是先逐层得到CNN部分中的每一层的特征图，并利用随机森林中的损失函数计算实际值与理论值间存在的误差，最后是反向逐层计算参数的梯度，逐层更新模型的参数；任意超像素块属于每种语义类别的概率都是通过上述步骤获得，而后利用随机森林能够预测该超像素块所属的具体语义类别。
2.根据权利要求1所述的基于CNN和随机森林法的医学图像语义分割方法，其特征在于，在第一卷积层、第二卷积层、第五卷积层卷积操作后采用Max pooling方法进行池化操作。
3.根据权利要求1所述的基于CNN和随机森林法的医学图像语义分割方法，其特征在于，5个卷积层为线性滤波、ReLU非线性滤波映射和池化的组合，或者是线性滤波、ReLU非线性滤波的组合。
4.根据权利要求1所述的基于CNN和随机森林法的医学图像语义分割方法，其特征在于，分割网络中的权值参数通过不断的训练学习得到，训练学习方法包括前向传播和误差反向传播两步，其中前向传播的学习过程是逐层得到CNN部分中的每一层的特征图，利用随机森林中的损失函数计算实际值与理论值之间存在的误差，然后反向逐层计算参数的梯度，逐层更新分割网络的参数。
5.根据权利要求1所述的基于CNN和随机森林法的医学图像语义分割方法，其特征在于，决策树中采用CART树中的分类树。
CN202010316123.1A 2020-04-21 2020-04-21 基于cnn和随机森林法的医学图像语义分割方法 Active CN111524140B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010316123.1A CN111524140B (zh) 2020-04-21 2020-04-21 基于cnn和随机森林法的医学图像语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010316123.1A CN111524140B (zh) 2020-04-21 2020-04-21 基于cnn和随机森林法的医学图像语义分割方法

Publications (2)

Publication Number Publication Date
CN111524140A CN111524140A (zh) 2020-08-11
CN111524140B true CN111524140B (zh) 2023-05-12

Family

ID=71904405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010316123.1A Active CN111524140B (zh) 2020-04-21 2020-04-21 基于cnn和随机森林法的医学图像语义分割方法

Country Status (1)

Country Link
CN (1) CN111524140B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668329A (zh) * 2020-12-28 2021-04-16 广州博士信息技术研究院有限公司 一种基于机器学习的政策文本分类方法
CN113313197B (zh) * 2021-06-17 2022-06-10 哈尔滨工业大学 一种全连接神经网络训练方法
CN113671363A (zh) * 2021-08-13 2021-11-19 华北电力大学（保定） 一种高压断路器状态辨识系统及方法
CN118015021B (zh) * 2024-04-07 2024-07-09 安徽农业大学 基于滑动窗口的主动域自适应跨模态医学图像分割方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127725A (zh) * 2016-05-16 2016-11-16 北京工业大学 一种基于多分辨率cnn的毫米波雷达云图分割方法
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN109948692A (zh) * 2019-03-16 2019-06-28 四川大学 基于多颜色空间卷积神经网络及随机森林的计算机生成图片检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127725A (zh) * 2016-05-16 2016-11-16 北京工业大学 一种基于多分辨率cnn的毫米波雷达云图分割方法
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN109948692A (zh) * 2019-03-16 2019-06-28 四川大学 基于多颜色空间卷积神经网络及随机森林的计算机生成图片检测方法

Also Published As

Publication number Publication date
CN111524140A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN111524140B (zh) 基于cnn和随机森林法的医学图像语义分割方法
Kaushik et al. Tomato leaf disease detection using convolutional neural network with data augmentation
Adegun et al. Deep learning techniques for skin lesion analysis and melanoma cancer detection: a survey of state-of-the-art
CN110853011B (zh) 用于肺结节检测的卷积神经网络模型的构建方法
CN111291809A (zh) 一种处理装置、方法及存储介质
CN110188763B (zh) 一种基于改进图模型的图像显著性检测方法
Chen et al. Mobile convolution neural network for the recognition of potato leaf disease images
Liang et al. Comparison detector for cervical cell/clumps detection in the limited data scenario
Chen et al. Agricultural remote sensing image cultivated land extraction technology based on deep learning
CN106971145A (zh) 一种基于极限学习机的多视角动作识别方法及装置
CN114842238A (zh) 一种嵌入式乳腺超声影像的识别方法
CN113159067A (zh) 一种基于多粒度局部特征软关联聚合的细粒度图像辨识方法及装置
CN115761240B (zh) 一种混沌反向传播图神经网络的图像语义分割方法及装置
CN108230330A (zh) 一种快速的高速公路路面分割和摄像机定位的方法
Menaka et al. Chromenet: A CNN architecture with comparison of optimizers for classification of human chromosome images
CN115393631A (zh) 基于贝叶斯层图卷积神经网络的高光谱图像分类方法
CN116612386A (zh) 基于分级检测双任务模型的辣椒病虫害识别方法及系统
CN114581451A (zh) 一种基于散射图神经网络的大脑磁共振图像分割方法
CN107423771B (zh) 一种两时相遥感图像变化检测方法
Wang et al. CWC-transformer: a visual transformer approach for compressed whole slide image classification
Liu et al. Image semantic segmentation based on improved DeepLabv3+ network and superpixel edge optimization
CN114065831A (zh) 基于多尺度随机深度残差网络的高光谱图像分类方法
CN115330759B (zh) 一种基于豪斯多夫距离计算距离损失的方法及装置
CN115273645B (zh) 一种室内面要素自动聚类的地图制图方法
Zhang et al. A microcalcification cluster detection method based on deep learning and multi-scale feature fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant