CN109558896A - 基于超声组学和深度学习的疾病智能化分析方法及系统 - Google Patents

基于超声组学和深度学习的疾病智能化分析方法及系统 Download PDF

Info

Publication number
CN109558896A
CN109558896A CN201811316894.XA CN201811316894A CN109558896A CN 109558896 A CN109558896 A CN 109558896A CN 201811316894 A CN201811316894 A CN 201811316894A CN 109558896 A CN109558896 A CN 109558896A
Authority
CN
China
Prior art keywords
data
ultrasound
deep learning
group
modal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811316894.XA
Other languages
English (en)
Other versions
CN109558896B (zh
Inventor
王伟
吕明德
匡铭
谢晓燕
陈立达
王竹
梁瑾瑜
胡航通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Affiliated Hospital of Sun Yat Sen University
Original Assignee
First Affiliated Hospital of Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Affiliated Hospital of Sun Yat Sen University filed Critical First Affiliated Hospital of Sun Yat Sen University
Priority to CN201811316894.XA priority Critical patent/CN109558896B/zh
Publication of CN109558896A publication Critical patent/CN109558896A/zh
Application granted granted Critical
Publication of CN109558896B publication Critical patent/CN109558896B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Public Health (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于超声组学和深度学习的疾病智能化分析方法及系统,包括:获取病变部位的若干超声数据,得到多模态超声组学数据;将多模态超声组学数据输入深度学习神经网络,根据多模态超声组学数据调整神经元的连接权重、配比卷积和池化层,得到调整后的多模态超声组学数据;利用不同模态下的分类器对调整后的多模态超声组学数据进行分类,并通过判别器得到每个分类的分数后,根据每个分类的分数,获得预后判断、疗效评估和辅助诊断结果。相比于现有利用单模态超声数据进行疾病智能化分析的方法,本发明技术方案根据多模态超声组学数据的特性,从数据和模型设计层面优化深度学习网络,提高疾病智能化分析的准确率和预测价值。

Description

基于超声组学和深度学习的疾病智能化分析方法及系统
技术领域
本发明涉及超声医学技术领域,尤其涉及一种基于超声组学和深度学习的疾病智能化分析方法及系统。
背景技术
在疾病智能化分析中,现有的分析方法是通过建立单模态医学图像的深度学习模型进行医学图像的分割、分类和识别后,对处理后的医学图像进行人工分析,得到疾病的分析结果。但是当单模态的医学图像数量有限时,训练深度学习模型需要设置较多参数,这样会导致模型过拟合,且基于单模态图像的深度学习网络计算复杂度大,梯度越往后越容易消失,可能导致无法训练出可用模型,并且由于超声图像具有噪声大、操作者依赖性、图像标准化等问题,因此,无法使用现有的深度学习模型对其进行分析,得到疾病的辅助决策分析结果。
发明内容
本发明实施例提出一种基于超声组学和深度学习的疾病智能化分析方法及系统,通过训练好的深度学习网络模型对优化后的多模态超声组学数据进行数据分析后,利用数据分析后的结果进行疾病的辅助决策分析,提高疾病智能化分析的准确率。
为解决上述问题,本发明实施例提供基于超声组学和深度学习的疾病智能化分析方法,适于在计算设备中执行,至少包括如下步骤:
获取病变部位的若干超声数据,得到多模态超声组学数据;
将所述多模态超声组学数据输入训练好的深度学习神经网络,并根据所述多模态超声组学数据调整神经元的连接权重、配比卷积和池化层,得到调整后的多模态超声组学数据;
利用不同模态下的分类器对调整后的多模态超声组学数据中的每个数据进行分类,得到包含每个分类的所有模态的分类概率;
根据判别器给出的模态之间的混淆分数,对所有模态的分类概率进行加权平均处理,得到每个分类的分数;
基于临床结局指标和基因组学数据,根据每个分类的分数,采用传统的逻辑回归法计算有效的高风险指标、采用决策树或Adaboost的方法建立分类模型以及采用t检验和pearson/spearman相关性分析,获得预后判断结果、疗效评估结果和辅助诊断结果。
进一步的,所述基于临床结局指标和基因组学数据,根据每个分类的分数,采用逻辑回归法计算有效的高风险指标、采用决策树或Adaboost的方法建立分类模型以及采用t检验和pearson/spearman相关性分析,获得预后判断结果、疗效评估结果和辅助诊断结果,具体为:
基于临床结局指标和基因组学数据,根据每个分类的分数,采用逻辑回归法计算高风险指标,并利用所述高风险指标建立诺莫图后,采用决策分析曲线进行预后判断;根据每个分类的分数,建立分类模型,并利用验证组的准确率、错误率或受试者工作曲线下面积进行疗效评估;根据每个分类的分数,采用T检验和pearson/spearman相关性分析,比较分析病理特征、临床分期和基因突变相关性进行辅助诊断。
进一步的,所述获取病变部位的若干超声数据,得到多模态超声组学数据,具体为:
基于所述病变部位的相应疾病模型,根据不同超声成像模式提取相应病理生理模态的超声数据、根据疾病所在器官灌注特征获取相应模态超声数据、根据疾病所在器官随时间动态变化特征获取相应时间序列维度超声数据,以及根据疾病所在器官空间特性获取相应立体维度超声数据,得到所述多模态超声组学数据。
进一步的,所述将所述多模态超声组学数据输入训练好的深度学习神经网络,并根据所述多模态超声组学数据调整神经元的连接权重、配比卷积和池化层,具体为:
将所述多模态超声组学数据进行初分类,结合无监督算法,根据不同病理生理、血流动力学特性、时间和空间特性形成多种特定输入组合,输入所述深度学习神经网络,并根据所述特定输入组合选择神经元的连接权重,并配比对应的卷积和池化层。
进一步的,所述神经元的连接权重,具体为:
根据所述特定输入组合,以相等的神经元的初始连接权重进行分析,得到初始数据后,根据所述初始数据的错误率反馈矫正所述初始连接权重,得到错误率最低的最佳权重作为神经元的连接权重。
进一步的,所述深度学习神经网络的构建方法为:
通过共享特征网络对多模态超声组学数据进行特征建模后,根据多路对抗域适应技术,对所述多模态超声组学数据内的每个模态进行两两组合,对抗学习域不变特征;
对所述多模态超声组学数据内每个模态进行监督学习,从而训练基于不同模态输出下的多个分类器;
通过两两组合对抗学习及监督学习,得到共享特征网络及每个模态分别对应的判别器;
通过所述共享特征网络、所述多个分类器和所述多个判别器,构建所述深度学习神经网络。
进一步的,所述训练基于不同模态输出下的多个分类器,具体为:
以期望输出值为映射,利用各模态的优化参数,训练基于不同模态输出下的多个分类器。
进一步的,所述深度学习网络的训练方法为:
采集不同时间点的所述多模态超声组学数据,输入卷积神经网络后,提取对应的特征图层;
通过卷积运算,增加偏置,激活函数输出对所述特征图层进行处理,并通过全连接层对所述特征图层进行调整分类后,通过反向传播算法和随机梯度下降法,训练所述深度学习网络。
进一步的,所述卷积神经网络的基础为神经元,所述卷积神经网络的要素包括权重、偏置项、超参数和激活函数。
进一步的,本发明的另一个实施例还提供了一种基于多模态的医学超声数据分类系统,包括:
获取模块,用于获取病变部位的若干超声数据,得到多模态超声组学数据;
处理模块,用于将所述多模态超声组学数据输入训练好的深度学习神经网络,并根据所述多模态超声组学数据调整神经元的连接权重、配比卷积和池化层;
分类模块,用于利用不同模态下的分类器对所述多模态超声组学数据中的每个数据进行分类,得到包含每个分类的所有模态的分类概率;
计算模块,用于根据判别器给出的模态之间的混淆分数,对所有模态的分类概率进行加权平均处理,得到每个分类的分数;
分析模块,用于基于临床结局指标和基因组学数据,根据每个分类的分数,采用传统的逻辑回归法计算有效的高风险指标、采用决策树或Adaboost的方法建立分类模型以及采用t检验和pearson/spearman相关性分析,获得预后判断结果、疗效评估结果和辅助诊断结果。
实施本发明实施例,具有如下有益效果:
本发明实施例提供的一种基于超声组学和深度学习的疾病智能化分析方法及系统,所述方法包括:获取病变部位的若干超声数据,得到多模态超声组学数据;将多模态超声组学数据输入深度学习神经网络,根据多模态超声组学数据调整神经元的连接权重、配比卷积和池化层,得到调整后的多模态超声组学数据;利用不同模态下的分类器对多模态超声组学数据进行分类,并通过判别器得到每个分类的分数后,基于临床结局指标和基因组学数据,根据每个分类的分数,获得预后判断结果、疗效评估结果和辅助诊断结果。相比于现有利用单模态超声数据进行疾病智能化分析的方法,本发明技术方案利用多模态平衡深度学习神经网络的宽度和深度,降低深度学习神经网络的复杂性,提高准确率的同时降低算力成本的特性,从数据输入和模型设计层面优化深度学习网络,并通过训练好的深度学习网络模型对优化后的多模态超声组学数据进行数据分析后,利用数据分析后的结果进行疾病的辅助决策分析,提高疾病智能化分析的准确率。
附图说明
图1是本发明提供的基于超声组学和深度学习的疾病智能化分析方法的一种实施例的流程示意图;
图2是本发明提供的基于超声组学和深度学习的疾病智能化分析方法的又一种实施例的流程示意图;
图3是本发明提供的基于超声组学和深度学习的疾病智能化分析系统的一种实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-2。
参见图1,是本发明提供的基于超声组学和深度学习的疾病智能化分析方法的一种实施例的流程示意图,如图1所示,该分析方法包括步骤101至步骤104。各步骤具体如下:
步骤S11:获取病变部位的若干超声数据,得到多模态超声组学数据。
步骤S12:将多模态超声组学数据输入训练好的深度学习神经网络,并根据多模态超声组学数据调整神经元的连接权重、配比卷积和池化层。
步骤S13:利用不同模态下的分类器对多模态超声组学数据中的每个数据进行分类,得到包含每个分类的所有模态的分类概率。
步骤S14:根据判别器给出的模态之间的混淆分数,对所有模态的分类概率进行加权平均处理,得到每个分类的分数。
步骤S15:基于临床结局指标和基因组学数据,根据每个分类的分数,采用逻辑回归法计算高风险指标、采用决策树或Adaboost的方法建立分类模型以及采用t检验和pearson/spearman相关性分析,获得预后判断结果、疗效评估结果和辅助诊断结果。
在本实施例中,步骤S11具体为:基于病变部位的相应疾病模型,根据不同超声成像模式提取相应病理生理模态的超声数据、根据疾病所在器官灌注特征获取相应模态超声数据、根据疾病所在器官随时间动态变化特征获取相应时间序列维度超声数据,以及根据疾病所在器官空间特性获取相应立体维度超声数据,得到所述多模态超声组学数据。
在本实施例中,超声数据可以但不限于通过B型超声、M型超声、彩色多普勒和频谱超声、弹性超声或超声造影进行提取。超声数据的存储格式包括:超声仪器直接导出的射频信号或原始信号来源数据,医学数字成像和通信来源数据以及通过转化得到的静态图像和动态视频。超声数据的维度来源可以但不限于为通过二维超声、三维超声、二维及三维动态超声和四维超声获得的数据。
在本实施例中,多模态超声组学数据的来源可以但不限于从肝脏、乳腺、甲状腺、肾脏、脾脏、心脏、胃肠组织、肌骨神经组织、生殖器及附件、孕期子宫或胎儿中获取。
在本实施例中,步骤S12具体为:将多模态超声组学数据进行初分类,结合无监督算法,根据不同病理生理、血流动力学特性、时间和空间特性形成多种特定输入组合,输入深度学习神经网络,并根据特定输入组合选择神经元的连接权重,并配比对应的卷积和池化层,得到调整后的多模态超声组学数据。
在本实施例中,根据专家先验知识,将多模态超声组学数据中的超声数据进行初分类,结合聚类等无监督算法,形成多种特定输入组合,输入深度学习网络。输入的超声数据可以根据病理、生理、血流分类特点、时间轴分类或局部空间特点进行组合。输入深度学习神经网络的组合初始以相等的神经元的初始连接权重进行分析,得到初始数据后,通过深度学习网络映射输出初始数据,并根据输出的初始数据的错误率反馈矫正初始权重,直至得到错误率最低的最佳权重作为神经元的连接权重,并配比对应的卷积和池化层,从而优化多模态超声组学数据。
在本实施例中,采用高维的多模态超声组学数据输入深度学习神经网络,使深度学习神经网络的网络模型不至于由于深度过深导致梯度消失而无法进行网络模型的训练。多模态数据可以用于平衡深度学习神经网络的宽度和深度,降低深度学习神经网络的复杂性,提高准确率的同时降低算力成本。
在本实施例中,在深度学习神经网络构建时,通过共享特征网络对多模态超声数据进行特征建模后,利用多路对抗域适应技术,对多模态超声组学数据内的每个模态进行两两组合,对抗学习域不变特征,同时每个模态分别进行监督学习,训练基于不同模态输出下的多个分类器。基于对抗学习的建模,得到共享特征网络及每个模态分别对应的判别器。将多模态超声组学数据,利用不同模态输出下的分类器对多模态超声组学数据的每个数据进行分类,得到每个分类的所有模态的分类概率,再根据判别器给出模态之间的混淆分数,对所有模态的分类概率取加权平均,得到多模态超声组学数据的每个分类的分数。将得到的分数通过常规统计法、高级统计法、常规的机器学习方法、深度学习及衍生算法,与临床结局指标和基因组学数据进行对比后,重复进行多模态超声组学数据的每个分类的分数计算,直到得到的每个分类的分数与临床结局指标和基因组学数据的对比误差在允许的范围内,即完成深度学习神经网络的构建。
在本实施例中,多个分类器的训练方法为,以期望输出值为映射,利用各模态的优化参数,训练基于不同模态输出下的多个分类器。可以基于各种卷积神经网络、强化学习和对抗学习训练单模态的分类器,再利用集成学习的方法组合多个分类器。
在本实施例中,深度学习网络的训练方法为,采集不同时间点的多模态超声组学数据,输入卷积神经网络提取对应的特征图层。通过卷积运算,增加偏置,激活函数输出对特征图层进行处理,并通过全连接层对特征图层进行调整分类后,通过反向传播算法和随机梯度下降法,训练深度学习网络。
在本实施例中,卷积神经网络由输出层、卷积层、池化层、全连接层和输出层等构成,网络层数由输入的多模态超声组学数据决定。卷积神经网络以神经元为基础,包括权重、偏置项、超参数、激活函数等要素。实现卷积神经网络的平台可以但不限于为TensorFlow、Pytorch、Caffe、Keras、CNTK、MXNet、Theano。
在本实施例中,在深度学习神经网络内增加特征工程网络,减少特征数量、降维,增强对特征和特征值之间的理解,使深度学习神经网络的网络模型泛化能力更强,减少过拟合。特征工程网络算法基于剔除变化小的特征、Pearson相关系数筛选相关度小特征、互信息和最大信息系数筛选和距离相关系数,以及基于学习模型的特征排序、递归特征消除等。
在本实施例中,对于步骤S13,以疾病的病理生理过程为例,将不同模态下的分类器通过疾病不同的病理生理过程,对从病变部位中获取到的多模态超声组学数据中的每个数据进行分类,得到分类结果,并基于每一个病理生理过程,得到包含病理生理过程的所有模态的分类概率。
在本实施例中,对于步骤S14,通过判别器分析多模态超声组学数据,分别给出每一个模态之间的混淆分数后,根据混淆分数对分类概率取加权平均,得到每个分类的分数。
在本实施例中,步骤S15具体为:基于临床结局指标和基因组学数据,根据每个分类的分数,采用逻辑回归法计算高风险指标,并利用所述高风险指标建立诺莫图后,采用决策分析曲线进行预后判断;根据每个分类的分数,建立分类模型,并利用验证组的准确率、错误率或受试者工作曲线下面积进行疗效评估;根据每个分类的分数,采用T检验和pearson/spearman相关性分析,比较分析病理特征、临床分期和基因突变相关性进行辅助诊断。
在本实施例中,在根据每个分类的分数进行分析时,需要处理的数据包括:患者的临床基本信息、实验室检查数据、病理组织结果、基因组学及蛋白组学信息、放化疗敏感性和临床预后随访数据。
由上可见,本发明实施例提供的一种基于超声组学和深度学习的疾病智能化分析方法,包括:获取病变部位的若干超声数据,得到多模态超声组学数据;将多模态超声组学数据输入深度学习神经网络,根据多模态超声组学数据调整神经元的连接权重、配比卷积和池化层,得到调整后的多模态超声组学数据;利用不同模态下的分类器对多模态超声组学数据进行分类,并通过判别器得到每个分类的分析结果,即每个分类的分数后,基于临床结局指标和基因组学数据,根据每个分类的分数,获得预后判断结果、疗效评估结果和辅助诊断结果。相比于现有利用单模态超声数据进行疾病智能化分析的方法,本发明技术方案利用多模态平衡深度学习神经网络的宽度和深度,降低深度学习神经网络的复杂性,提高准确率的同时降低算力成本的特性,从数据输入和模型设计层面优化深度学习网络,并通过训练好的深度学习网络模型对优化后的多模态超声组学数据进行数据分析后,利用数据分析后的结果进行疾病的辅助决策分析,提高疾病智能化分析的准确率。
请参阅图3。
参见图3,是本发明提供的基于多模态的医学超声数据分类系统的一种实施例的结构示意图,如图3所示,该分析方法包括:
获取模块101,用于获取病变部位的若干超声数据,得到多模态超声组学数据。
在本实施例中,获取模块101具体用于,基于病变部位的相应疾病模型,根据不同超声成像模式提取相应病理生理模态的超声数据、根据疾病所在器官灌注特征获取相应模态超声数据、根据疾病所在器官随时间动态变化特征获取相应时间序列维度超声数据,以及根据疾病所在器官空间特性获取相应立体维度超声数据,得到所述多模态超声组学数据。
在本实施例中,超声数据可以但不限于通过B型超声、M型超声、彩色多普勒和频谱超声、弹性超声或超声造影进行提取。超声数据的存储格式包括:超声仪器直接导出的射频信号或原始信号来源数据,医学数字成像和通信来源数据以及通过转化得到的静态图像和动态视频。超声数据的维度来源可以但不限于为通过二维超声、三维超声、二维及三维动态超声和四维超声获得的数据。
处理模块102,用于将多模态超声组学数据输入训练好的深度学习神经网络,并根据多模态超声组学数据调整神经元的连接权重、配比卷积和池化层。
在本实施例中,处理模块102具体用于,将多模态超声组学数据进行初分类,结合无监督算法,根据不同病理生理、血流动力学特性、时间和空间特性形成多种特定输入组合,输入深度学习神经网络,并根据特定输入组合选择神经元的连接权重,并配比对应的卷积和池化层,得到调整后的多模态超声组学数据。
在本实施例中,根据专家先验知识,将多模态超声组学数据中的超声数据进行初分类,结合聚类等无监督算法,形成多种特定输入组合,输入深度学习网络。输入的超声数据可以根据病理、生理、血流分类特点、时间轴分类或局部空间特点进行组合。输入深度学习神经网络的组合初始以相等的神经元的初始连接权重进行分析,得到初始数据后,通过深度学习网络映射输出初始数据,并根据输出的初始数据的错误率反馈矫正初始权重,直至得到错误率最低的最佳权重作为神经元的连接权重,并配比对应的卷积和池化层,从而优化多模态超声组学数据。
在本实施例中,采用高维的多模态超声组学数据输入深度学习神经网络,使深度学习神经网络的网络模型不至于由于深度过深导致梯度消失而无法进行网络模型的训练。
在本实施例中,在深度学习神经网络构建时,通过共享特征网络对多模态超声数据进行特征建模后,利用多路对抗域适应技术,对多模态超声组学数据内的每个模态进行两两组合,对抗学习域不变特征,同时每个模态分别进行监督学习,训练基于不同模态输出下的多个分类器。基于对抗学习的建模,得到共享特征网络及每个模态分别对应的判别器。将多模态超声组学数据,利用不同模态输出下的分类器对多模态超声组学数据的每个数据进行分类,得到每个分类的所有模态的分类概率,再根据判别器给出模态之间的混淆分数,对所有模态的分类概率取加权平均,得到多模态超声组学数据的每个分类的分数。将得到的分数通过常规统计法、高级统计法、常规的机器学习方法、深度学习及衍生算法,与临床结局指标和基因组学数据进行对比后,重复进行多模态超声组学数据的每个分类的分数计算,直到得到的每个分类的分数与临床结局指标和基因组学数据的对比误差在允许的范围内,即完成深度学习神经网络的构建。
在本实施例中,多个分类器的训练方法为,以期望输出值为映射,利用各模态的优化参数,训练基于不同模态输出下的多个分类器。可以基于各种卷积神经网络、强化学习和对抗学习训练单模态的分类器,再利用集成学习的方法组合多个分类器。
在本实施例中,深度学习网络的训练方法为,采集不同时间点的多模态超声组学数据,输入卷积神经网络提取对应的特征图层。通过卷积运算,增加偏置,激活函数输出对特征图层进行处理,并通过全连接层对特征图层进行调整分类后,通过反向传播算法和随机梯度下降法,训练深度学习网络。
在本实施例中,卷积神经网络由输出层、卷积层、池化层、全连接层和输出层等构成,网络层数由输入的多模态超声组学数据决定。卷积神经网络以神经元为基础,包括权重、偏置项、超参数、激活函数等要素。实现卷积神经网络的平台可以但不限于为TensorFlow、Pytorch、Caffe、Keras、CNTK、MXNet、Theano。
在本实施例中,在深度学习神经网络内增加特征工程网络,减少特征数量、降维,增强对特征和特征值之间的理解,使深度学习神经网络的网络模型泛化能力更强,减少过拟合。特征工程网络算法基于剔除变化小的特征、Pearson相关系数筛选相关度小特征、互信息和最大信息系数筛选和距离相关系数,以及基于学习模型的特征排序、递归特征消除等。
分类模块103,用于利用不同模态下的分类器对多模态超声组学数据中的每个数据进行分类,得到包含每个分类的所有模态的分类概率。
在本实施例中,以疾病的病理生理过程为例,分类模块103具体用于,将不同模态下的分类器通过疾病不同的病理生理过程,对从病变部位中获取到的多模态超声组学数据中的每个数据进行分类,得到分类结果,并基于每一个病理生理过程,得到包含病理生理过程的所有模态的分类概率。
计算模块104,用于根据判别器给出的模态之间的混淆分数,对所有模态的分类概率进行加权平均处理,得到每个分类的分数。
在本实施例中,计算模块104具体用于,通过判别器分析多模态超声组学数据,分别给出每一个模态之间的混淆分数后,根据混淆分数对分类概率取加权平均,得到每个分类的分数。
分析模块105,用于基于临床结局指标和基因组学数据,根据每个分类的分数,采用传统的逻辑回归法计算有效的高风险指标、采用决策树或Adaboost的方法建立分类模型以及采用t检验和pearson/spearman相关性分析,获得预后判断结果、疗效评估结果和辅助诊断结果。
在本实施例中,分析模块105具体用于,基于临床结局指标和基因组学数据,根据每个分类的分数,采用传统的逻辑回归法计算高风险指标,并利用所述高风险指标建立诺莫图后,采用决策分析曲线进行预后判断;根据每个分类的分数,建立分类模型,并利用验证组的准确率、错误率或受试者工作曲线下面积进行疗效评估;根据每个分类的分数,采用T检验和pearson/spearman相关性分析,比较分析病理特征、临床分期和基因突变相关性进行辅助诊断。
在本实施例中,在根据每个分类的分数进行分析时,需要处理的数据包括:患者的临床基本信息、实验室检查数据、病理组织结果、基因组学及蛋白组学信息、放化疗敏感性和临床预后随访数据。
由上可见,本发明实施例提供的一种基于超声组学和深度学习的疾病智能化分析方法及系统,所述方法包括:获取病变部位的若干超声数据,得到多模态超声组学数据;将多模态超声组学数据输入深度学习神经网络,根据多模态超声组学数据调整神经元的连接权重、配比卷积和池化层,得到调整后的多模态超声组学数据;利用不同模态下的分类器对多模态超声组学数据进行分类,并通过判别器得到每个分类的分析结果,即每个分类的分数后,基于临床结局指标和基因组学数据,根据每个分类的分数,获得预后判断结果、疗效评估结果和辅助诊断结果。相比于现有利用单模态超声数据进行疾病智能化分析的方法,本发明技术方案利用多模态平衡深度学习神经网络的宽度和深度,降低深度学习神经网络的复杂性,提高准确率的同时降低算力成本的特性,从数据输入和模型设计层面优化深度学习网络,并通过训练好的深度学习网络模型对优化后的多模态超声组学数据进行数据分析后,利用数据分析后的结果进行疾病的辅助决策分析,提高疾病智能化分析的准确率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种基于超声组学和深度学习的疾病智能化分析方法,适于在计算设备中执行,其特征在于,至少包括如下步骤:
获取病变部位的若干超声数据,得到多模态超声组学数据;
将所述多模态超声组学数据输入训练好的深度学习神经网络,并根据所述多模态超声组学数据调整神经元的连接权重、配比卷积和池化层,得到调整后的多模态超声组学数据;
利用不同模态下的分类器对调整后的多模态超声组学数据中的每个数据进行分类,得到包含每个分类的所有模态的分类概率;
根据判别器给出的模态之间的混淆分数,对所有模态的分类概率进行加权平均处理,得到每个分类的分数;
基于临床结局指标和基因组学数据,根据每个分类的分数,采用逻辑回归法计算高风险指标、采用决策树或Adaboost的方法建立分类模型以及采用t检验和pearson/spearman相关性分析,获得预后判断结果、疗效评估结果和辅助诊断结果。
2.根据权利要求1所述的基于超声组学和深度学习的疾病智能化分析方法,其特征在于,所述基于临床结局指标和基因组学数据,根据每个分类的分数,采用逻辑回归法计算高风险指标、采用决策树或Adaboost的方法建立分类模型以及采用t检验和pearson/spearman相关性分析,获得预后判断结果、疗效评估结果和辅助诊断结果,具体为:
基于临床结局指标和基因组学数据,根据每个分类的分数,采用逻辑回归法计算高风险指标,并利用所述高风险指标建立诺莫图后,采用决策分析曲线进行预后判断;根据每个分类的分数,建立分类模型,并利用验证组的准确率、错误率或受试者工作曲线下面积进行疗效评估;根据每个分类的分数,采用T检验和pearson/spearman相关性分析,比较分析病理特征、临床分期和基因突变相关性进行辅助诊断。
3.根据权利要求1所述的基于超声组学和深度学习的疾病智能化分析方法,其特征在于,所述获取病变部位的若干超声数据,得到多模态超声组学数据,具体为:
基于所述病变部位的相应疾病模型,根据不同超声成像模式提取相应病理生理模态的超声数据、根据疾病所在器官灌注特征获取相应模态超声数据、根据疾病所在器官随时间动态变化特征获取相应时间序列维度超声数据,以及根据疾病所在器官空间特性获取相应立体维度超声数据,得到所述多模态超声组学数据。
4.根据权利要求1所述的基于超声组学和深度学习的疾病智能化分析方法,其特征在于,所述将所述多模态超声组学数据输入训练好的深度学习神经网络,并根据所述多模态超声组学数据调整神经元的连接权重、配比卷积和池化层,具体为:
将所述多模态超声组学数据进行初分类,结合无监督算法,根据不同病理生理、血流动力学特性、时间和空间特性形成多种特定输入组合,输入所述深度学习神经网络,并根据所述特定输入组合选择神经元的连接权重,并配比对应的卷积和池化层。
5.根据权利要求4所述的基于超声组学和深度学习的疾病智能化分析方法,其特征在于,所述神经元的连接权重,具体为:
根据所述特定输入组合,以相等的神经元的初始连接权重进行分析,得到初始数据后,根据所述初始数据的错误率反馈矫正所述初始连接权重,得到错误率最低的最佳权重作为神经元的连接权重。
6.根据权利要求1所述的基于超声组学和深度学习的疾病智能化分析方法,其特征在于,所述深度学习神经网络的构建方法为:
通过共享特征网络对多模态超声组学数据进行特征建模后,根据多路对抗域适应技术,对所述多模态超声组学数据内的每个模态进行两两组合,对抗学习域不变特征;
对所述多模态超声组学数据内每个模态进行监督学习,从而训练基于不同模态输出下的多个分类器;
通过两两组合对抗学习及监督学习,得到共享特征网络及每个模态分别对应的判别器;
通过所述共享特征网络、所述多个分类器和所述多个判别器,构建所述深度学习神经网络。
7.根据权利要求6所述的基于超声组学和深度学习的疾病智能化分析方法,其特征在于,所述训练基于不同模态输出下的多个分类器,具体为:
以期望输出值为映射,利用各模态的优化参数,训练基于不同模态输出下的多个分类器。
8.根据权利要求1所述的基于超声组学和深度学习的疾病智能化分析方法,其特征在于,所述深度学习网络的训练方法为:
采集不同时间点的所述多模态超声组学数据,输入卷积神经网络后,提取对应的特征图层;
通过卷积运算,增加偏置,激活函数输出对所述特征图层进行处理,并通过全连接层对所述特征图层进行调整分类后,通过反向传播算法和随机梯度下降法,训练所述深度学习网络。
9.根据权利要求8所述的基于超声组学和深度学习的疾病智能化分析方法,其特征在于,所述卷积神经网络的基础为神经元,所述卷积神经网络的要素包括权重、偏置项、超参数和激活函数。
10.一种基于超声组学和深度学习的疾病智能化分析系统,其特征在于,包括:
获取模块,用于获取病变部位的若干超声数据,得到多模态超声组学数据;
处理模块,用于将所述多模态超声组学数据输入训练好的深度学习神经网络,并根据所述多模态超声组学数据调整神经元的连接权重、配比卷积和池化层;
分类模块,用于利用不同模态下的分类器对所述多模态超声组学数据中的每个数据进行分类,得到包含每个分类的所有模态的分类概率;
计算模块,用于根据判别器给出的模态之间的混淆分数,对所有模态的分类概率进行加权平均处理,得到每个分类的分数;
分析模块,用于基于临床结局指标和基因组学数据,根据每个分类的分数,采用逻辑回归法计算高风险指标、采用决策树或Adaboost的方法建立分类模型以及采用t检验和pearson/spearman相关性分析,获得预后判断结果、疗效评估结果和辅助诊断结果。
CN201811316894.XA 2018-11-06 2018-11-06 基于超声组学和深度学习的疾病智能化分析方法及系统 Active CN109558896B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811316894.XA CN109558896B (zh) 2018-11-06 2018-11-06 基于超声组学和深度学习的疾病智能化分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811316894.XA CN109558896B (zh) 2018-11-06 2018-11-06 基于超声组学和深度学习的疾病智能化分析方法及系统

Publications (2)

Publication Number Publication Date
CN109558896A true CN109558896A (zh) 2019-04-02
CN109558896B CN109558896B (zh) 2024-04-30

Family

ID=65866027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811316894.XA Active CN109558896B (zh) 2018-11-06 2018-11-06 基于超声组学和深度学习的疾病智能化分析方法及系统

Country Status (1)

Country Link
CN (1) CN109558896B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298383A (zh) * 2019-05-28 2019-10-01 中国科学院计算技术研究所 基于多模态深度学习的病理分类方法及系统
CN111090833A (zh) * 2019-11-21 2020-05-01 深圳微众信用科技股份有限公司 一种数据处理方法、系统及相关设备
CN111275706A (zh) * 2020-03-04 2020-06-12 中山大学附属第一医院 一种基于剪切波弹性成像超声组学深度分析方法及系统
CN111341443A (zh) * 2020-03-09 2020-06-26 西安中科长青医疗科技研究院有限公司 一种基于深度学习的超声甲状腺结节智能评估方法
CN111933212A (zh) * 2020-08-26 2020-11-13 腾讯科技(深圳)有限公司 一种基于机器学习的临床组学数据处理方法及装置
CN112101413A (zh) * 2020-08-12 2020-12-18 海南大学 面向脑卒中风险预测的智能系统
CN114202524A (zh) * 2021-12-10 2022-03-18 中国人民解放军陆军特色医学中心 多模态医学图像的性能评价方法与系统
CN115177291A (zh) * 2022-08-01 2022-10-14 首都医科大学附属北京朝阳医院 用于识别重症监护病房获得性肌无力的方法和装置
CN115410686A (zh) * 2022-08-22 2022-11-29 哈尔滨医科大学 转化治疗方案的选择方法、装置、电子设备及存储介质
CN116933046A (zh) * 2023-09-19 2023-10-24 山东大学 基于深度学习的多模态健康管理方案生成方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107582097A (zh) * 2017-07-18 2018-01-16 中山大学附属第医院 一种基于多模态超声组学的智能辅助决策系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107582097A (zh) * 2017-07-18 2018-01-16 中山大学附属第医院 一种基于多模态超声组学的智能辅助决策系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RUIJIA XU 等: "Deep Cocktail Network:Multi-source Unsupervised Domain Adaptation with Category Shift", 《HTTPS://ARXIV.ORG/PDF/1803.00830.PDF》, pages 94 - 95 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298383B (zh) * 2019-05-28 2021-07-13 中国科学院计算技术研究所 基于多模态深度学习的病理分类方法及系统
CN110298383A (zh) * 2019-05-28 2019-10-01 中国科学院计算技术研究所 基于多模态深度学习的病理分类方法及系统
CN111090833A (zh) * 2019-11-21 2020-05-01 深圳微众信用科技股份有限公司 一种数据处理方法、系统及相关设备
CN111275706A (zh) * 2020-03-04 2020-06-12 中山大学附属第一医院 一种基于剪切波弹性成像超声组学深度分析方法及系统
CN111275706B (zh) * 2020-03-04 2023-06-02 中山大学附属第一医院 一种基于剪切波弹性成像超声组学深度分析方法及系统
CN111341443A (zh) * 2020-03-09 2020-06-26 西安中科长青医疗科技研究院有限公司 一种基于深度学习的超声甲状腺结节智能评估方法
CN112101413A (zh) * 2020-08-12 2020-12-18 海南大学 面向脑卒中风险预测的智能系统
CN111933212A (zh) * 2020-08-26 2020-11-13 腾讯科技(深圳)有限公司 一种基于机器学习的临床组学数据处理方法及装置
CN111933212B (zh) * 2020-08-26 2024-02-27 腾讯科技(深圳)有限公司 一种基于机器学习的临床组学数据处理方法及装置
CN114202524A (zh) * 2021-12-10 2022-03-18 中国人民解放军陆军特色医学中心 多模态医学图像的性能评价方法与系统
CN115177291A (zh) * 2022-08-01 2022-10-14 首都医科大学附属北京朝阳医院 用于识别重症监护病房获得性肌无力的方法和装置
CN115177291B (zh) * 2022-08-01 2023-11-10 首都医科大学附属北京朝阳医院 用于识别重症监护病房获得性肌无力的方法和装置
CN115410686A (zh) * 2022-08-22 2022-11-29 哈尔滨医科大学 转化治疗方案的选择方法、装置、电子设备及存储介质
CN116933046A (zh) * 2023-09-19 2023-10-24 山东大学 基于深度学习的多模态健康管理方案生成方法和系统
CN116933046B (zh) * 2023-09-19 2023-11-24 山东大学 基于深度学习的多模态健康管理方案生成方法和系统

Also Published As

Publication number Publication date
CN109558896B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
CN109558896A (zh) 基于超声组学和深度学习的疾病智能化分析方法及系统
Houssein et al. Deep and machine learning techniques for medical imaging-based breast cancer: A comprehensive review
CN109544517A (zh) 基于深度学习的多模态超声组学分析方法及系统
Adegun et al. Deep learning techniques for skin lesion analysis and melanoma cancer detection: a survey of state-of-the-art
Chouhan et al. Soft computing approaches for image segmentation: a survey
CN108364006B (zh) 基于多模式深度学习的医学图像分类装置及其构建方法
Hu et al. Explainable artificial intelligence-based edge fuzzy images for COVID-19 detection and identification
Özbay et al. Peripheral blood smear images classification for acute lymphoblastic leukemia diagnosis with an improved convolutional neural network
CN111275706A (zh) 一种基于剪切波弹性成像超声组学深度分析方法及系统
Singh et al. A new intelligent medical decision support system based on enhanced hierarchical clustering and random decision forest for the classification of alcoholic liver damage, primary hepatoma, liver cirrhosis, and cholelithiasis
Asadi et al. Efficient breast cancer detection via cascade deep learning network
CN114242232A (zh) 一种基于医学影像的疾病诊断装置及方法
Elayaraja et al. An efficient approach for detection and classification of cancer regions in cervical images using optimization based CNN classification approach
Gopalakrishnan et al. Itl-cnn: Integrated transfer learning-based convolution neural network for ultrasound pcos image classification
Bandyopadhyay et al. Machine learning and deep learning integration for skin diseases prediction
CN111047590A (zh) 基于眼底图像的高血压分类方法及设备
Maurya et al. Computer-aided diagnosis of auto-immune disease using capsule neural network
Hamida et al. Toward enhanced skin disease classification using a hybrid RF-DNN system leveraging data balancing and augmentation techniques
Liu et al. MTFIL-Net: automated Alzheimer’s disease detection and MMSE score prediction based on feature interactive learning
JP7247292B2 (ja) 加齢による黄斑変性症用の分類モデルを学習させる電子機器及び方法
de Oliveira Torres et al. Texture analysis of lung nodules in computerized tomography images using functional diversity
Rani Krithiga et al. A novel automated classification technique for diagnosing liver disorders using wavelet and texture features on liver ultrasound images
Shekerbek et al. APPLICATION OF MATHEMATICAL METHODS AND MACHINE LEARNING ALGORITHMS FOR CLASSIFICATION OF X-RAY IMAGES.
Randive et al. A self-adaptive optimisation for diabetic retinopathy detection with neural classification
Dhar et al. Detail study of different algorithms for early detection of cancer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant