CN110070133A - 一种基于深度森林的脑功能网络分类方法 - Google Patents

一种基于深度森林的脑功能网络分类方法 Download PDF

Info

Publication number
CN110070133A
CN110070133A CN201910336273.6A CN201910336273A CN110070133A CN 110070133 A CN110070133 A CN 110070133A CN 201910336273 A CN201910336273 A CN 201910336273A CN 110070133 A CN110070133 A CN 110070133A
Authority
CN
China
Prior art keywords
forest
brain
depth
function network
brain function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910336273.6A
Other languages
English (en)
Inventor
李俊伟
冀俊忠
邹爱笑
邢新颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201910336273.6A priority Critical patent/CN110070133A/zh
Publication of CN110070133A publication Critical patent/CN110070133A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度森林的脑功能网络分类方法，属于非神经网络深度学习理论与应用研究领域。具体包括以下步骤：参数初始化，多粒度扫描生成多粒度的串接特征向量，生成级联森林结构提取高级特征以及最终计算预测结果。该方法将深度学习和集成学习相结合使其既具有深度模型强大的特征学习能力又有集成学习强大的泛化能力，在面对高维小样本的脑网络数据时，实现快速、准确的脑功能网络分类，具有超参少、训练时间短，模型泛化能力强等优势，可以有效缓解以往脑功能网络分类面临的过拟合问题。

Description

一种基于深度森林的脑功能网络分类方法
技术领域
本发明属于非神经网络深度学习理论与应用研究领域，具体来说，是涉及一种基于深度森林的脑功能网络分类方法。
背景技术
人脑连接组研究试图从多层次建立刻画不同活体人脑功能、结构的脑网络组图谱,并挖掘神经精神疾病与脑网络异常拓扑变化的相关规律。该研究不仅能为神经、精神疾病病理机制的理解提供新视角,而且还能为这些疾病的早期诊断和治疗评价提供新的生物标记物。
脑网络是一种由节点和边构成的图模型，其中节点通常被定义为神经元、神经集群或感兴趣区域(ROI)，边对应着它们之间的连接模式。脑网络数据通常是用邻接矩阵的形式表示的，其中每一行(列)对应一个节点，每一元素代表相应位置对应节点对的连接边。脑网络一般分为结构性连接和功能性连接两类网络，前者用于表示不同节点之间医学结构上的连接模式，后者用于刻画不同节点间功能上的关联模式。脑网络分类是指通过对人脑网络数据的特征挖掘与分析来判断被试归属健康人还是某种疾病患者的技术，对于了解人脑网络中重要的连接模式和整合特征，理解脑疾病的发病机理，进而进行脑疾病的早期诊断以及治疗手段的研究具有重要的意义，因此成为人脑连接组研究中的一项重要课题。
近十年，许多传统的机器学习方法和模型，如支持向量机、线性判别分析、逻辑回归等，都被应用于脑网络分析以挖掘网络连接特征，进而实现脑疾病患者与健康人的分类和治疗效果的预测。不过，这些方法只能提取浅层的低级特征，对于脑网络分类来说其判别能力往往存在明显不足。伴随深度学习模型在图像、视频、语音等领域上的巨大突破，能够自动学习深层特征的神经网络深度模型在近几年也开始应用于脑网络的分类，并形成了该领域的一个前沿热点。其中，多数研究集中在基于全连接神经网络的脑网络分类和基于卷积神经网络的脑网络分类两类方法，由于可以提取深层特征，故其在脑网络分类问题上一经应用就已显现出巨大潜力。但是该类方法训练参数多、超参调节困难、在面对高维小样本的脑网络数据时容易出现过拟合等缺陷是束缚其进一步发展和更广泛应用的主要瓶颈。
发明内容
本发明针对上述脑网络分类所面临的挑战，提出了一种基于深度森林的脑功能网络分类方法可以大大减少模型的超参数和训练时间，并且通过充分利用深度模型的特征学习能力和集成学习的泛化能力，在面对高维小样本的脑网络数据时，实现快速、准确的脑功能网络分类。
本发明为了实现上述的目的，采用的技术方案是：将深度森林这种新的分类模型应用于脑功能网络分类领域，来降低脑网络数据小高维、样本、多噪声对分类模型分类性能的影响。
一种基于深度森林的脑功能网络分类方法，其特征在于，在计算机上依次按照以下步骤实现：
步骤(1)：初始化参数：包括多粒度扫描相关的参数和级联森林结构相关的参数。多粒度扫描的参数包括粒度数k、每个粒度对应的窗口大小m、森林的种类MC、森林的个数MN、每个森林内包含的树的个数MT和每个森林内树的最大深度MD。级联森林结构的相关参数包括每层森林的种类CC、森林的个数CN、每个森林内包含的树的个数CT、每个森林内树的最大深度CD、级联森林结构的最大扩展层级CL和层级扩展的结束条件CS。
步骤(2)多粒度扫描的特征转换机制实现原始输入的特征再表达：首先，利用AAL脑区模板进行脑区划分，并通过皮尔森相关、偏相关、同步似然性等计算方法度量脑区的神经活动信号之间的统计关系相关性，获得脑功能网络的邻接矩阵作为基于深度森林的脑网络分类方法的原始输入；然后，根据用户设置的窗口大小，滑动扫描原始矩阵以获得原始矩阵的局部特征向量，当脑功能网络的邻接矩大小为n×n，用户设置的窗口大小为m×m时，一个脑功能网络邻接矩阵可通过滑动窗口扫描获得(n-m+1)2个m×m维的局部特征向量；再后，将滑动扫描获得的局部特征向量作为随机森林的输入进行训练，将随机森林的输出结果串接形成邻接矩阵的串接特征向量，作为原始输入的一种特征表达形式；最后，可设置不同粒度(大小)的窗口，将原始输入矩阵转换为多种串接特征向量即多种特征表达形式。
步骤(3)：级联森林结构逐层提取特征。级联森林结构由多层森林级联串接而成，每一层由多个随机森林模型构成。其模型训练的主要步骤如下：
步骤(3.1)：逐层构建随机森林结构，每一层的随机森林处理一个粒度的串接特征向量，从第2层森林起除了将多粒度扫描获取的串接特征向量作为输入外还串接来自上一层森林的输出结果(即增强特征向量)作为输入。
步骤(3.2)：根据步骤(3.1)的输出结果进行准确率计算，如果其准确率满足用户要求或新扩展的层级不再能提高预测准确率则结束级联森林结构的层级扩展，进入步骤(4)；否则根据步骤(3.1)继续扩展级联森林。
步骤(4)取最后一层级联森林结构的输出结果作为最终预测结果。
本发明的有益效果是：本发明提出一种基于深度森林的脑功能网络分类方法，利用深度森林算法能够同时具有特征学习能力强和模型泛化性好的优势，实现快速、准确的脑功能网络分类。因此，本发明提供的方法具有超参少、训练时间短，模型泛化能力强等优势，可以有效缓解以往脑功能网络分类面临的过拟合问题。
附图说明
图1：一种基于深度森林的脑功能网络分类方法示意图。
图2：实施例中多粒度扫描的特征转换机制示意图。
图3a、b：基于深度森林的脑功能网络分类方法与几种深度神经网络算法的性能在两组模拟数据集上的对比。
具体实施方式
我们从AAL脑图谱中选取位于大脑皮层的30个脑区作为ROI，并通过皮尔森相关、偏相关、同步似然性等计算方法度量脑区的神经活动信号之间的统计关系相关性，获得30×30的脑功能网络邻接矩阵，并以此为例作为基于深度森林的脑功能网络分类方法的输入，该方法的基本结构如图1所示，其具体实施步骤如下：
步骤(1)：初始化参数：包括多粒度扫描相关的参数和级联森林结构相关的参数。多粒度扫描的参数包括粒度数k＝3、窗口大小分别为m1＝10，m2＝15，m3＝20、森林的种类MC为随机森林、森林的个数MN＝2、每个森林内包含的树的个数MT＝200和每个森林内树的最大深度MD＝5。级联森林结构的相关参数包括每层森林的种类CC为随机森林、森林的个数CN＝2、每个森林内包含的树的个数CT＝200、每个森林内树的最大深度CD＝6、级联森林结构的最大扩展层级CL＝20和层级扩展的结束条件CS＝80％。
步骤(2)：多粒度扫描，如图2展示了本实施例中多粒度扫描的特征转换机制：首先，利用AAL脑区模板进行脑区划分，并通过皮尔森相关、偏相关、同步似然性等计算方法度量脑区的神经活动信号之间的统计关系相关性，获得大小为30×30的脑功能网络邻接矩阵作为基于深度森林的脑网络分类方法的原始输入；然后，根据用户设置的窗口大小，滑动扫描原始矩阵以获得原始矩阵的局部特征向量，当用户设置的窗口大小为10×10时，一个脑功能网络邻接矩阵可通过滑动窗口扫描获得441个100维的局部特征向量；再后，将滑动扫描获得的441个局部特征向量作为随机森林的输入进行训练，将随机森林的输出结果串接形成邻接矩阵的串接特征向量，作为原始输入的一种特征表达形式；最后，用户设置了3种不同粒度的窗口，通过多粒度扫描特征转换机制将获得3种串接特征向量。
步骤(3)：级联森林结构逐层提取特征，可以参考图1。级联森林结构由多层森林级联串接而成，每一层由多个随机森林模型构成。其模型训练的主要步骤如下：
步骤(3.1)：逐层构建随机森林结构，第一层森林接收对应窗口大小为10×10扫描获得的串接特征向量作为输入，第二层森林接收对应窗口大小为15×15扫描获得的串接特征向量和由第一层森林的输出结果串接而成的增强特征向量作为输入，第三层森林接收对应窗口大小为20×20扫描获得的串接特征向量和由第二层森林的输出结果串接而成的增强特征向量作为输入。
步骤(3.2)：根据步骤(3.1)的输出结果进行准确率计算，如果其准确率>＝80％(CS)或已扩展的层级数>＝20(CL)，则结束级联森林结构的层级扩展，进入步骤(4)；否则根据步骤(3.1)继续扩展级联森林。
本实施例中还需要增加森林，第四层就又开始从第一种特征开始，第五层对应第二种特征，第六层对应第三种特征，一直到分类精度达到我们设置的精度或最大层数为止。
步骤(4)取最后一层级联森林结构的输出结果作为最终预测结果。脑功能网络的最终结果为判断对象是否患病的二分类问题，若最后一层级联森林结构的输出预测输入对象属于患病类别的概率为0.6，正常的概率为0.4，取其中最大的概率0.6对应的类别作为最终预测结果，即对象患病。
图3给出了深度森林方法与其他几种不同算法在2组仿真数据集(包含的异常脑区数量分别为5和1)上的分类性能比较，其中FCNN为采用全连接神经网络深度模型的分类算法；CNN为采用卷积神经网络深度学习模型的分类算法；CNN-EW为基于逐项加权卷积核的卷积神经网络深度学习模型的分类算法；gcForest为利用上述参数组合训练的深度森林脑网络分类算法；分类性能采用常规的准确率、灵敏度和特异性度量来进行评价，图中对比的值是每个算法进行10次5折交叉验证的平均结果。不难发现，在这2组仿真数据上，这些基于深度结构的分类算法都能取得较好的性能。
表1给出了深度森林方法与其他几种不同算法在在相同的运行环境下获得上述结果所用的平均运行时间的对比，从中可见基于深度森林的三种算法的运行时间都明显少于基于神经网络深度学习的FCNN、CNN、CNN-EW三种算法。
表1 几种算法在2组仿真数据集上的运行时间(秒)

Claims (4)

1.一种基于深度森林的脑功能网络分类方法，其特征在于，包括以下步骤：
步骤(1)：初始化参数：包括多粒度扫描相关的参数和级联森林结构相关的参数；
步骤(2)多粒度扫描的特征转换机制实现原始输入的特征再表达；
步骤(3)：级联森林结构逐层提取特征：级联森林结构由多层森林级联串接而成，每一层由多个随机森林模型构成，其模型训练的主要步骤如下：
步骤(3.1)：逐层构建随机森林结构，每一层的随机森林处理一个粒度的串接特征向量，从第2层森林起除了将多粒度扫描获取的串接特征向量作为输入外还串接来自上一层森林的输出结果作为输入；
步骤(3.2)：根据步骤(3.1)的输出结果进行准确率计算，如果其准确率满足用户要求或新扩展的层级不再能提高预测准确率则结束级联森林结构的层级扩展，进入步骤(4)；否则根据步骤(3.1)继续扩展级联森林；
步骤(4)取最后一层级联森林结构的输出结果作为最终预测结果。
2.根据权利要求1所述的一种基于深度森林的脑功能网络分类方法，其特征在于，步骤1中所述的多粒度扫描相关的参数包括粒度数k、每个粒度对应的窗口大小m、森林的种类MC、森林的个数MN、每个森林内包含的树的个数MT和每个森林内树的最大深度MD；级联森林结构的相关参数包括每层森林的种类CC、森林的个数CN、每个森林内包含的树的个数CT、每个森林内树的最大深度CD、级联森林结构的最大扩展层级CL和层级扩展的结束条件CS。
3.根据权利要求1所述的一种基于深度森林的脑功能网络分类方法，其特征在于，步骤2具体包括：
(1)利用AAL脑区模板进行脑区划分，计算方法度量脑区的神经活动信号之间的统计关系相关性，获得脑功能网络的邻接矩阵作为基于深度森林的脑网络分类方法的原始输入；
(2)根据用户设置的窗口大小，滑动扫描原始矩阵以获得原始矩阵的局部特征向量；
(3)将滑动扫描获得的局部特征向量作为随机森林的输入进行训练，将随机森林的输出结果串接形成邻接矩阵的串接特征向量，作为原始输入的一种特征表达形式；
(4)可设置不同粒度的窗口，将原始输入矩阵转换为多种串接特征向量即多种特征表达形式。
4.根据权利要求3所述的一种基于深度森林的脑功能网络分类方法，其特征在于，度量脑区的神经活动信号之间的统计关系相关性的计算方法为：皮尔森相关、偏相关、同步似然性方法。
CN201910336273.6A 2019-04-24 2019-04-24 一种基于深度森林的脑功能网络分类方法 Pending CN110070133A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910336273.6A CN110070133A (zh) 2019-04-24 2019-04-24 一种基于深度森林的脑功能网络分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910336273.6A CN110070133A (zh) 2019-04-24 2019-04-24 一种基于深度森林的脑功能网络分类方法

Publications (1)

Publication Number Publication Date
CN110070133A true CN110070133A (zh) 2019-07-30

Family

ID=67368787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910336273.6A Pending CN110070133A (zh) 2019-04-24 2019-04-24 一种基于深度森林的脑功能网络分类方法

Country Status (1)

Country Link
CN (1) CN110070133A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110543832A (zh) * 2019-08-13 2019-12-06 同济大学 基于随机森林和卷积神经网络的脑电数据分类方法
CN111000556A (zh) * 2019-11-29 2020-04-14 上海师范大学 一种基于深度模糊森林的情绪识别方法
CN111222800A (zh) * 2020-01-13 2020-06-02 电子科技大学 一种智能电力系统异常检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506796A (zh) * 2017-08-25 2017-12-22 电子科技大学 一种基于深度森林的阿尔兹海默病分类方法
CN108229550A (zh) * 2017-12-28 2018-06-29 南京信息工程大学 一种基于多粒度级联森林网络的云图分类方法
CN108764138A (zh) * 2018-05-29 2018-11-06 南京信息工程大学 一种基于多维多粒度级联森林的高原地区云雪分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506796A (zh) * 2017-08-25 2017-12-22 电子科技大学 一种基于深度森林的阿尔兹海默病分类方法
CN108229550A (zh) * 2017-12-28 2018-06-29 南京信息工程大学 一种基于多粒度级联森林网络的云图分类方法
CN108764138A (zh) * 2018-05-29 2018-11-06 南京信息工程大学 一种基于多维多粒度级联森林的高原地区云雪分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHI-HUA ZHOU 等: ""Deep Forest"", 《ARXIV:1702.08835V3》 *
刘宁: ""深度学习在基于MRI数据的精神疾病辅助诊断中的应用研究"", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110543832A (zh) * 2019-08-13 2019-12-06 同济大学 基于随机森林和卷积神经网络的脑电数据分类方法
CN111000556A (zh) * 2019-11-29 2020-04-14 上海师范大学 一种基于深度模糊森林的情绪识别方法
CN111222800A (zh) * 2020-01-13 2020-06-02 电子科技大学 一种智能电力系统异常检测方法
CN111222800B (zh) * 2020-01-13 2022-06-17 电子科技大学 一种智能电力系统异常检测方法

Similar Documents

Publication Publication Date Title
WO2022199143A1 (zh) 一种基于u型网络的医学图像分割方法
CN112017198B (zh) 基于自注意力机制多尺度特征的右心室分割方法及装置
WO2020108562A1 (zh) 一种ct图像内的肿瘤自动分割方法及系统
CN110070133A (zh) 一种基于深度森林的脑功能网络分类方法
CN107220980A (zh) 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
CN106780482A (zh) 一种医学图像分类方法
CN107016406A (zh) 基于生成式对抗网络的病虫害图像生成方法
CN108921092B (zh) 一种基于卷积神经网络模型二次集成的黑色素瘤分类方法
CN109522973A (zh) 基于生成式对抗网络与半监督学习的医疗大数据分类方法及系统
CN112150476B (zh) 基于时空判别性特征学习的冠状动脉序列血管分割方法
CN111161278B (zh) 一种基于深层网络聚合的眼底图像病灶分割方法
CN107492095A (zh) 基于深度学习的医学图像肺结节检测方法
CN107563968A (zh) 一种基于判别字典学习的联合医学图像融合去噪的方法
CN105701513A (zh) 快速提取掌纹感兴趣区域的方法
CN109242860A (zh) 基于深度学习及权重空间集成的脑肿瘤图像分割方法
CN106056059B (zh) 多方向slgs特征描述及性能云加权融合的人脸识别方法
CN110349162A (zh) 一种视网膜黄斑水肿多病变图像分割方法
CN109448855A (zh) 一种基于cnn和模型融合的糖尿病血糖预测方法
CN107102861A (zh) 一种获取开源代码库中函数的向量的方法和系统
CN115985513B (zh) 一种基于多组学癌症分型的数据处理方法、装置及设备
CN109620203A (zh) 一种基于一维卷积神经网络的心电信号特征自动提取方法
He et al. An improved AlexNet model for automated skeletal maturity assessment using hand X-ray images
CN114398979A (zh) 一种基于特征解耦的超声图像甲状腺结节分类方法
CN110236497A (zh) 一种基于舌相和bmi指数的脂肪肝预测方法
CN109934796A (zh) 一种基于深度集成学习的器官自动勾画方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190730