CN116933046B - 基于深度学习的多模态健康管理方案生成方法和系统 - Google Patents
基于深度学习的多模态健康管理方案生成方法和系统 Download PDFInfo
- Publication number
- CN116933046B CN116933046B CN202311204222.0A CN202311204222A CN116933046B CN 116933046 B CN116933046 B CN 116933046B CN 202311204222 A CN202311204222 A CN 202311204222A CN 116933046 B CN116933046 B CN 116933046B
- Authority
- CN
- China
- Prior art keywords
- data
- mode
- moment
- modal
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000036541 health Effects 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000013135 deep learning Methods 0.000 title claims abstract description 25
- 239000013598 vector Substances 0.000 claims abstract description 64
- 238000012549 training Methods 0.000 claims abstract description 27
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 230000002159 abnormal effect Effects 0.000 claims abstract description 11
- 238000005259 measurement Methods 0.000 claims abstract description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 15
- 238000012217 deletion Methods 0.000 claims description 14
- 230000037430 deletion Effects 0.000 claims description 14
- 238000013256 Gubra-Amylin NASH model Methods 0.000 claims description 8
- 238000013136 deep learning model Methods 0.000 claims description 8
- 230000001174 ascending effect Effects 0.000 claims description 6
- 238000012512 characterization method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000007170 pathology Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000037213 diet Effects 0.000 description 2
- 235000005911 diet Nutrition 0.000 description 2
- 241001048891 Jatropha curcas Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 235000006694 eating habits Nutrition 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明涉及深度学习技术领域，提出了基于深度学习的多模态健康管理方案生成方法和系统，包括：获取多个单一模态的可操作数据；根据单一模态的具体数据获取聚类结果；根据聚类结果获取每个时刻的预测健康数据；根据可操作数据与预测健康数据获取偏差度量以及缺失时刻；根据偏差度量以及时间间隔获取异常集中指数；根据异常集中指数获取数据置信度；根据数据置信度获取模态完整数据；根据模态完整数据获取对应的特征向量；根据特征向量的权重和偏置获取模态拼接权重；根据多模态的模态拼接权重获取多模态特征向量的融合结果。本发明避免单一模态训练集中出现数据偏斜导致训练网络不平衡的现象发生，提高深度学习中早期融合效果的可信度。
Description
技术领域
本发明涉及深度学习技术领域，具体涉及基于深度学习的多模态健康管理方案生成方法和系统。
背景技术
随着物质水平提高以及健康生活理念的推广，身体健康管理受到人们越来越多的关注。老人因为体质衰弱原因更需要身体健康管理，现阶段健康管理的一般流程通常是：先获取用户的身体健康数据，其次对健康数据进行处理分析，通过数据分析结果发现用户的健康问题或者健康隐患，最终形成有针对性的健康管理方案。
由于个人的健康状况受到多种因素的影响，例如饮食、运动、睡眠、生活环境等，因此考虑多种因素采集的多模态健康数据可以更全面的反映老人的健康状况。现在对健康数据的分析通常集中在单一模态数据上，然而单一模态数据无法保持长期一致性时并不足以捕捉复杂疾病的异质性，在单一模态训练集中容易出现数据偏斜，导致训练得到的神经网络不平衡，难以定制医疗护理方案或者健康管理方案。
发明内容
本发明提供基于深度学习的多模态健康管理方案生成方法和系统，以解决单一模态训练集中出现数据偏斜导致训练神经网络不平衡的问题，所采用的技术方案具体如下：
本发明一个实施例基于深度学习的多模态健康管理方案生成方法和系统，该方法包括以下步骤：
采集多种单一模态的原始健康数据；
根据单一模态可操作数据的分类结果获取单一模态内每个时刻的预测健康数据；根据单一模态每个时刻的可操作数据与预测健康数据获取单一模态的数据置信度；根据单一模态的数据置信度获取单一模态的模态完整数据；
根据单一模态对应模态完整数据的表达形式利用深度学习模型获取单一模态的特征向量；根据单一模态训练集内样本的分布特征以及多模态特征向量的权重和偏置获取单一模态的模态拼接权重；根据模态拼接权重获取多模态特征向量的早期融合结果；
根据多模态早期融合结果利用深度学习模型获取每个用户的个人健康检测结果，根据个人健康检测结果获取个性化的健康管理方案。
优选的，所述根据单一模态可操作数据的分类结果获取单一模态内每个时刻的预测参数序列的方法为：
对于生理参数模态的可操作数据，将每个时刻采集的所有维度的生理参数组成得到序列作为每个时刻的生理参数序列，将所有时刻的生理参数序列作为时序数据聚类算法的输入，将时序数据聚类算法的输出作为生理参数序列的聚类结果；
对于生理参数模态的任意一个时刻，将所述时刻所在聚类簇内除去所述时刻之外剩余时刻的生理参数序列作为预测算法的输入，利用预测算法获取所述时刻的预测参数序列。
优选的，所述根据单一模态每个时刻的可操作数据与预测健康数据获取单一模态的数据置信度的方法为：
对于生理参数模态的任意一个时刻，根据每个时刻原始健康数据与预测健康数据获取每个时刻的偏差度量；
利用大津阈值法获取每个时刻所在聚类簇内所有时刻偏差度量的分割阈值，将偏差度量大于分割阈值的时刻作为缺失时刻，根据聚类簇内每个时刻的偏差度量以及每个时刻与缺失时刻之间的时间间隔获取聚类簇的异常集中指数；
将所有聚类簇的异常集中指数的均值作为生理参数模态的数据置信度。
优选的，所述根据每个时刻原始健康数据与预测健康数据获取每个时刻的偏差度量的方法为：
式中，是第i种模态数据聚类簇p内时刻y的偏差度量，/>、/>分别是聚类簇p内时刻y的生理参数序列、预测参数序列，/>是序列/>、/>之间的皮尔逊相关系数，/>、/>是聚类簇p内所有时刻生理参数序列与预测参数序列之间皮尔逊相关系数的最大值、最小值，/>是调参因子。
优选的，所述根据聚类簇内每个时刻的偏差度量以及每个时刻与缺失时刻之间的时间间隔获取聚类簇的异常集中指数的方法为：
式中，是第i种模态数据聚类簇p的异常集中指数，/>是第i种模态数据聚类簇p内缺失时刻按照时间升序的顺序组成的集合，/>是集合内所有缺失时刻偏差度量的分布方差，m是聚类簇p内采集时刻的数量，n是聚类簇p内缺失时刻的数量，b是集合内的第b个时刻，/>是时刻y、b之间的时间间隔。
优选的，所述根据单一模态的数据置信度获取单一模态的模态完整数据的方法为：
对于生理参数模态的任意一个聚类簇，将每个聚类簇内非缺失时刻的生理参数序列作为真实模态数据；
对于聚类簇内缺失时刻的集合，依次删除集合中的一个缺失时刻的生理参数序列，将聚类簇内的剩余所有时刻的生理参数序列按照偏差度量升序排列组成的数据矩阵作为生成对抗网络GAN模型中生成器的输入，将生成器输出的参数序列作为生成模态数据；
将真实模态数据和生成模态数据作为生成对抗网络GAN模型中判别器的输入，将生成对抗网络GAN模型的输出作为生理参数模态的模态完整数据。
优选的，所述根据单一模态训练集内样本的分布特征以及多模态特征向量的权重和偏置获取单一模态的模态拼接权重的方法为：
式中，是第i种模态的样本评优指数，/>是第i种模态完整数据中输入网络的训练集内样本之间皮尔逊相关系数的均值，/>是第i种模态的数据置信度；
是第i种模态的表征系数，/>、/>分别是第i种模态特征向量对应的权重、偏置，是所有模态样本评优指数的均值；
是第i种模态的模态拼接权重，K是单一模态的总数量。
优选的，所述根据模态拼接权重获取多模态特征向量的早期融合结果的方法为：
分别获取所有单一模态的模态拼接权重，将每种单一模态的模态拼接权重作为单一模态特征向量进行拼接时的加权权重；
获取所有模态特征向量的加权权重，将加权权重与特征向量计算结果的拼接向量作为多模态特征向量。
优选的，所述根据多模态早期融合结果利用深度学习模型获取每个用户的个人健康检测结果的方法为：
将多模态特征向量作为深度学习模型中Softmax分类器的输入，将Softmax分类器的输出作为多模态训练集的预测结果向量，根据预测结果向量与预先设定标签的对比结果获取用户个人身体健康的检测结果。
第二方面，本发明实施例还提供了基于深度学习的多模态健康管理方案生成系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项所述方法的步骤。
本发明的有益效果是：本发明通过分析单一模态可操作数据中存在模态缺失的概率构建数据置信度，数据置信度考虑了每种模态中缺失值的集中程度，有益效果在于通过评估每种模态健康数据存在模态缺失现象的可能性，以便于后续生成对抗网络进行模态填补，解决了多模态数据融合中模态缺失的问题。其次基于单一模态特征向量对健康情况的表征能力构建模态拼接权重，模态拼接权重考虑了单一模态完整数据对应特征向量在各自模型中的学习特征，其有益效果在于能够避免单一模态训练集中出现数据偏斜导致训练网络不平衡的现象发生，提高深度学习中早期融合效果的可信度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例所提供的基于深度学习的多模态健康管理方案生成方法和系统的流程示意图；
图2为本发明一个实施例所提供的深度学习多模态特征向量早期融合的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，其示出了本发明一个实施例提供的基于深度学习的多模态健康管理方案生成方法和系统流程图，该方法包括以下步骤：
步骤S001，采集多模态的原始健康数据，根据采集数据获取每种模态的可操作数据。
由于健康状态受到饮食、运动、睡眠、生活环境等多种因素的影响，因此本发明中利用数据设备采集多模态健康数据，所述数据采集设备包括医疗成像设备、可穿戴设备的采集设备、医疗诊断设备等，所述多模态健康数据包括电子健康记录EHR、医学影像、生理参数、分子数据、病理报告。
为了便于后续获取深度学习中神经网络模型的训练集，需要将每种模态数据进行预处理，预处理的目的在于将每种单一模态数据转换为对应的可操作数据，本发明中针对不同的模态数据采用不同的预处理方法，例如，本发明中对医学影像的预处理是指利用双边滤波算法对医学影像进行图像去噪得到处理后的PETCT图像、CT图像；对电子健康记录EHR的预处理是指利用爬虫技术分别获取个人的病历记录文本、心电图；对病理报告的预处理是指利用爬虫技术分别获取个人的病理文本、病理图像，数据预处理为公知技术，具体过程不再赘述。
至此，得到每种模态的可操作数据。
步骤S002，根据单一模态可操作数据中存在模态缺失的概率构建数据置信度，利用生成对抗网络GAN结合数据置信度获取多模态的模态完整数据。
通常情况下，单一模态数据存在健康模糊性，即很难通过单一模态数据准确区分不同用户的健康状态，因此个性化健康管理方案的生成需要完整的、一定数量级的多模态数据。然而在多模态数据的获取过程中由于数据获取限制、数据稀缺、数据难处理等多种原因，可能会发生模态缺失的现象。例如，医疗影像可能因为设备故障、拍摄条件不符合要求等原因而无法获得；在传输、存储或预处理过程中，可能发生数据损坏、丢失或错误，导致某个模态的数据缺失；有些模态的数据存在普遍稀缺性，即使在特定任务中也很难获得完整的数据，例如医学影像中的PETCT图像的获取成本高昂，很难同时获得完整的多模态数据。
如果在一种或多种模态的可操作数据中存在模态缺失的现象，那么利用深度学习进行多模态融合获取融合结果的可信度明显不足，因此，本发明在利用深度学习技术进行多模态可操作数据融合之前，首先评估每种模态可操作数据是否存在模态缺失现象。对于任意一种模态的可操作数据而言，本发明中根据数据分布特征以及统计指标判断是否存在缺失。以数字数据模态的生理参数对应的可操作数据为例，获取每次采集的具体时刻以及每次采集的具体数据，将采集的生理参数种类记为M，将生理参数模态记为第i种模态，将采集时刻y获取的生理参数序列记为，将所有时刻的生理参数序列作为时序聚类算法的输入，本发明中，所述时序聚类算法为k-shape算法，利用k-shape算法获取生理参数序列的聚类结果，聚类簇的数量设置为10，k-shape算法为公知技术，具体过程不再赘述。对于文本模态的可操作数据，以及图像模态的可操作数据，将可操作数据作为算法的输入，利用k-means聚类算法获取可操作数据的聚类结果，聚类簇的数量设置为10，k-means算法为公知技术，具体过程不再赘述。
进一步的，根据聚类结果获取每个时刻存在缺失模态的可能性。对于第p个聚类簇内的时刻y，利用指数移动平均EMA算法基于第p个聚类簇内除时刻y之外剩余时刻的生理参数序列预测y时刻的生理参数序列，如果预测结果与之间产生较大的偏差，则/>内有较大可能存在缺失模态。遍历所有聚类簇内每个时刻，如果多个时刻都有较大可能存在缺失模态，且这些时刻在可操作数据中连续出现，而不是随机分布，则该生理参数这一模态数据可能存在模态缺失的问题，指数移动平均EMA算法为公知技术，具体过程不再赘述。除此之外，如果缺失值呈现特定的模式或集中在特定的区域，那么可能存在模态缺失。
基于上述分析，此处构建数据置信度V，用于表征每种模态数据中存在模态缺失现象的可能性，计算生理参数模态数据的数据置信度：
式中，是生理参数模态数据聚类簇p内时刻y的偏差度量，/>、/>分别是聚类簇p内时刻y的生理参数序列、预测参数序列，/>是序列/>、/>之间的皮尔逊相关系数，/>、/>是聚类簇p内所有时刻生理参数序列与预测参数序列之间皮尔逊相关系数的最大值、最小值，/>是调参因子，/>的作用是防止分母为0，/>的大小取经验值0.001，皮尔逊相关系数为公知技术，具体过程不再赘述。/>的值越大，时刻y越有可能发生缺少模态的现象。
是聚类簇p的异常集中指数，/>是聚类簇p内缺失时刻按照时间升序的顺序组成的集合，/>是集合内所有缺失时刻偏差度量的分布方差。所述缺失时刻的获取过程如下：利用大津阈值法获取聚类簇p内所有时刻偏差度量的分割阈值，将偏差度量大于分割阈值的时刻作为缺失时刻，n是缺失时刻的数量，b是集合内的第b个时刻，/>是时刻y、b之间的时间间隔。/>的值越大，聚类簇p内缺失时刻越集中，聚类簇p内越有可能存在缺少模态的现象。
是生理参数模态数据的数据置信度，k是生理参数模态数据的聚类簇数量。
数据置信度反映了每种模态数据中存在模态缺失现象的可能性。y时刻的存在缺失模态的可能性越大，预测参数序列与生理参数序列的差异越大，的值越小，的值越大，/>的值越大；聚类簇内可能发生缺失模态的时刻越集中，缺失时刻之间的时间间隔越小，/>的值越小，偏差度量的分布越集中，存在缺失模态的现象越严重，/>的值越大，/>的值越小；即/>的值越小，生理参数模态数据存在模态缺失的可能性越大。数据置信度考虑了每种模态中缺失值的集中程度，其有益效果在于通过评估每种模态健康数据存在模态缺失现象的可能性，以便于后续生成对抗网络进行模态填补，解决多模态数据融合中模态缺失的问题。
进一步的，计算每种模态可操作数据对应的数据置信度，根据每种模态数据的数据置信度获取每种模态数据的进行填补时的通道权重。本发明利用生成对抗网络GAN在进行多模态融合前对每种模态数据进行模态填充，以生理参数模态数据为例，具体过程如下：
1.根据上述步骤，获取生理参数模态数据的聚类结果，将每个聚类簇内非缺失时刻的生理参数序列作为真实模态数据；
2.依次删除集合中的一个缺失时刻的生理参数序列，获取所删除缺失时刻所在聚类簇，将聚类簇内的剩余所有时刻的生理参数序列按照偏差度量升序排列组成的数据矩阵作为GAN模型中生成器的输入，将生成器输出的参数序列作为生成模态数据；
3.将真实模态数据和生成模态数据作为GAN中判别器的输入，并根据数据置信度获取本发明中GAN模型的损失函数Loss：
式中，是生理参数模态数据的数据置信度，N是生理参数模态数据中缺失时刻的总数量，/>是二元标签，/>是输出y属于标签/>的概率。
4.利用Adam优化算法，将损失函数反向传播到生成器，进行神经网络的训练，直至判别器认为生成模态数据位真实模态数据完成训练，神经网络的训练为公知技术，具体过程不再赘述。
进一步的，利用GAN得到所有缺失时刻对应的真实模态数据。对于任意一个缺失时刻，利用真实模态数据代替原始的生理参数序列，遍历所有缺失时刻完成生理参数模态可操作数据的模态填充，将遍历结果作为生理参数对应的模态完整数据。
至此，利用生成对抗网络GAN得到每种模态对应的模态完整数据。
步骤S003，基于单一模态特征向量对健康情况的表征能力构建模态拼接权重，基于模态拼接权重得到多模态特征向量。
根据得到多模态的模态完整数据进行多模态数据的融合，通过融合结果生成个性化的健康管理方案。本发明中，以早期融合Early Fusion的方法进行深度学习的多模态数据融合,首先针对不同模态的模态完整数据的表达形式选择对应的神经网络模型进行特征提取，所述表达形式包括文本数据、数字数据、图像数据。
本发明中，针对文本类型的模态完整数据，利用基于BERT网络(BidirectionalEncoder Representations from Transformers, BERT)的文本分类模型获取对应的特征提取结果，首先对文本类型的模态完整数据进行预处理tokenization，对文本类型的模态完整数据划分成大量的token，tokenization为公知技术，具体过程不再赘述，将预处理结果作为BERT网络的输入，优化算法为Adam，损失函数为L2损失函数，BERT网络通常是将bert最后一层输出的第一个token位置，即GLS位置作为句子表示，因此为了得到句子级别的表示，本发明提取最后一个Transformer层的标记嵌入，并计算平均向量，得到a维的特征向量；针对图像类型的模态完整数据，利用ResNet模型获取对应的特征提取结果，将人为标记编码后的图像作为模型的输入，以Adam为优化算法，以交叉熵函数为损失函数，提取ResNet网络中全连接层b维的特征向量；针对数据类型的模态完整数据，利用长短时记忆网络LSTM模型获取对应的特征提取结果，将采集数据序列作为模型输入，以Adam为SGD算法为优化算法，以MSE函数为损失函数，得到c维的特征向量，上述神经网络的训练为公知技术，具体过程不再赘述。
得到每个模态数据的特征向量后，考虑将它们拼接在一起形成一个多模态特征向量，将多模态特征向量作为Softmax分类器的输入，得到最终的预测结果。现阶段深度学习的多模态融合通常采用随机拼接的方式，然而对于个性化的健康方案而言，每个单一模态的模态完整数据对健康情况的表征能力是不同的，例如在电子健康记录EHR中，仅通过文字描述就可以较为清晰的认知到个人健康情况，文字对个人健康的表达能力较强，对于EHR中的医学图像，仅有存在明显异常时，才能得到较为精准的病患诊断结果；对于生理参数，普通人很难通过参数的大小了解个人健康情况。因此，本发明中考虑通过每个模态特征向量对应的权重和偏置获取多模态特征向量拼接结果。
在神经网络模型中，全连接层的每个通道都包含一组权重和一个偏置，权重是用来调整输入特征的重要性，权重的大小表示了对应特征的重要性,较大的权重值意味着该特征对神经元的激活状态具有更大的影响；偏置是用来调整神经元对输入信号进行平移，从而使其能够学习适当的激活模式。偏置的大小表示了神经元被激活所需的程度，较大的偏置值可以使神经元更容易激活。全连接层中每个通道的权重和偏置的大小可以看作是网络学习的自由参数，它们决定了网络的表达能力和适应能力。因此，本发明分别将每个模态完整数据对应特征向量相对应的权值和偏置分别提取出来，根据权值和偏置设置多模态特征向量拼接时的参数。
基于上述分析，此处构建模态拼接权重U，用于表征每种模态特征向量表达健康状况的能力，计算生理参数的模态拼接权重：
式中，是生理参数模态的样本评优指数，/>是生理参数模态完整数据中输入网络的训练集内样本之间皮尔逊相关系数的均值，/>是生理参数模态的数据置信度。/>的值越大，样本之间的相似性越大，神经网络更容易频繁接触到相同类别样本。
是生理参数模态的表征系数，/>、/>分别是特征向量对应的权重、偏置，/>是所有模态样本评优指数的均值，/>的值越大，生理参数对应的模态完整数据表征健康状况的能力越强。
是生理参数的模态拼接权重，K是本发明中获取的单一模态数量，K的大小取经验值7。
模态拼接权重反映了每种模态特征向量表达健康状况的能力大小。单一模态完整数据中训练集内样本之间的相似性越大，的值越大，数据中模态缺失的可能性越低，/>的值越小，/>的值越大；健康情况的变化越小，训练集中数据倾斜的现象越严重，从而导致相应的神经元更容易被激活，/>的值越大，/>的值越小，而当/>时，训练集中样本质量越高，各类样本表达健康情况的能力较为接近，神经网络学习到的特征向量越有效，/>的值越大；即/>的值越大，单一模态对应特征向量表达健康状况的能力越强，多模态数据融合时应该赋予较大的权重。模态拼接权重考虑了单一模态完整数据对应特征向量在各自模型中的学习特征，其有益效果在于能够避免单一模态训练集中出现数据偏斜导致训练网络不平衡的现象发生，提高深度学习中早期融合效果的可信度。
进一步的，获取每种模态的模态拼接权重，将模态拼接权重作为每种模态特征向量进行拼接时的加权权重，根据加权权重得到多模态特征向量完成早期融合，早期融合的示意图如图2所示，通过权重与向量的相乘，得到多模态训练集内模态完整数据的多模态特征向量。
至此，得到多模态训练集内模态完整数据的多模态特征向量。
步骤S004，根据多模态数据的预测结果向量获取健康检测结果，基于健康检测结果生成个性化的健康管理方案。
根据上述步骤得到多模态训练集内模态完整数据的多模态特征向量，将多模态特征向量作为Softmax分类器的输入，将Softmax分类器的输出作为预测结果向量，将预测结果向量上传至健康管理系统的检测模块，并与预先设定的标签进行对比，得出用户个人身体健康的检测结果，将个人用户健康检测结果上传至健康管理系统的辅助诊断模块。
进一步的，专家系统根据辅助诊断模块内的检测结果生成个性化的健康管理方案，并将健康管理方案发送至个人终端，用户根据健康管理方案调整老人生活习惯、饮食习惯等，促进老人的身体健康恢复并保持正常水平。
Claims (6)
1.基于深度学习的多模态健康管理方案生成方法，其特征在于，该方法包括以下步骤：
采集多种单一模态的原始健康数据，根据所述原始健康数据得到单一模态可操作数据；
根据单一模态可操作数据的分类结果获取单一模态内每个时刻的预测健康数据；根据单一模态每个时刻的可操作数据与预测健康数据获取单一模态的数据置信度；根据单一模态的数据置信度获取单一模态的模态完整数据；
根据单一模态对应模态完整数据的表达形式利用深度学习模型获取单一模态的特征向量；根据单一模态训练集内样本的分布特征以及多模态特征向量的权重和偏置获取单一模态的模态拼接权重；根据模态拼接权重获取多模态特征向量的早期融合结果；
根据多模态早期融合结果利用深度学习模型获取每个用户的个人健康检测结果，根据个人健康检测结果获取个性化的健康管理方案；
所述根据单一模态每个时刻的可操作数据与预测健康数据获取单一模态的数据置信度的方法为：
对于生理参数模态的任意一个时刻，根据每个时刻原始健康数据与预测健康数据获取每个时刻的偏差度量；
利用大津阈值法获取每个时刻所在聚类簇内所有时刻偏差度量的分割阈值，将偏差度量大于分割阈值的时刻作为缺失时刻，根据聚类簇内每个时刻的偏差度量以及每个时刻与缺失时刻之间的时间间隔获取聚类簇的异常集中指数；
将所有聚类簇的异常集中指数的均值作为生理参数模态的数据置信度；
所述根据每个时刻原始健康数据与预测健康数据获取每个时刻的偏差度量的方法为：
式中，是第i种模态数据聚类簇p内时刻y的偏差度量，/>、/>分别是聚类簇p内时刻y的生理参数序列、预测参数序列，/>是序列/>、/>之间的皮尔逊相关系数，、/>分别是聚类簇p内所有时刻生理参数序列与预测参数序列之间皮尔逊相关系数的最大值、最小值，/>是调参因子；
所述根据聚类簇内每个时刻的偏差度量以及每个时刻与缺失时刻之间的时间间隔获取聚类簇的异常集中指数的方法为：
式中，是第i种模态数据聚类簇p的异常集中指数，/>是第i种模态数据聚类簇p内缺失时刻按照时间升序的顺序组成的集合，/>是集合内所有缺失时刻偏差度量的分布方差，m是聚类簇p内采集时刻的数量，n是聚类簇p内缺失时刻的数量，b是集合内的第b个时刻，/>是时刻y、b之间的时间间隔；
所述根据单一模态的数据置信度获取单一模态的模态完整数据的方法为：
对于生理参数模态的任意一个聚类簇，将每个聚类簇内非缺失时刻的生理参数序列作为真实模态数据；
对于聚类簇内缺失时刻的集合，依次删除集合中的一个缺失时刻的生理参数序列，将聚类簇内的剩余所有时刻的生理参数序列按照偏差度量升序排列组成的数据矩阵作为生成对抗网络GAN模型中生成器的输入，将生成器输出的参数序列作为生成模态数据；
将真实模态数据和生成模态数据作为生成对抗网络GAN模型中判别器的输入，将生成对抗网络GAN模型的输出作为生理参数模态的模态完整数据。
2.根据权利要求1所述的基于深度学习的多模态健康管理方案生成方法，其特征在于，所述根据单一模态可操作数据的分类结果获取单一模态内每个时刻的预测参数序列的方法为：
对于生理参数模态的可操作数据，将每个时刻采集的所有维度的生理参数组成得到序列作为每个时刻的生理参数序列，将所有时刻的生理参数序列作为时序数据聚类算法的输入，将时序数据聚类算法的输出作为生理参数序列的聚类结果；
对于生理参数模态的任意一个时刻，将所述时刻所在聚类簇内除去所述时刻之外剩余时刻的生理参数序列作为预测算法的输入，利用预测算法获取所述时刻的预测参数序列。
3.根据权利要求1所述的基于深度学习的多模态健康管理方案生成方法，其特征在于，所述根据单一模态训练集内样本的分布特征以及多模态特征向量的权重和偏置获取单一模态的模态拼接权重的方法为：
式中，是第i种模态的样本评优指数，/>是第i种模态完整数据中输入网络的训练集内样本之间皮尔逊相关系数的均值，/>是第i种模态的数据置信度；
是第i种模态的表征系数，/>、/>分别是第i种模态特征向量对应的权重、偏置，/>是所有模态样本评优指数的均值；
是第i种模态的模态拼接权重，K是单一模态的总数量。
4.根据权利要求1所述的基于深度学习的多模态健康管理方案生成方法，其特征在于，所述根据模态拼接权重获取多模态特征向量的早期融合结果的方法为：
分别获取所有单一模态的模态拼接权重，将每种单一模态的模态拼接权重作为单一模态特征向量进行拼接时的加权权重；
获取所有模态特征向量的加权权重，将加权权重与特征向量计算结果的拼接向量作为多模态特征向量。
5.根据权利要求1所述的基于深度学习的多模态健康管理方案生成方法，其特征在于，所述根据多模态早期融合结果利用深度学习模型获取每个用户的个人健康检测结果的方法为：
将多模态特征向量作为深度学习模型中Softmax分类器的输入，将Softmax分类器的输出作为多模态训练集的预测结果向量，根据预测结果向量与预先设定标签的对比结果获取用户个人身体健康的检测结果。
6.基于深度学习的多模态健康管理方案生成系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311204222.0A CN116933046B (zh) | 2023-09-19 | 2023-09-19 | 基于深度学习的多模态健康管理方案生成方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311204222.0A CN116933046B (zh) | 2023-09-19 | 2023-09-19 | 基于深度学习的多模态健康管理方案生成方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116933046A CN116933046A (zh) | 2023-10-24 |
| CN116933046B true CN116933046B (zh) | 2023-11-24 |
Family
ID=88388286
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311204222.0A Active CN116933046B (zh) | 2023-09-19 | 2023-09-19 | 基于深度学习的多模态健康管理方案生成方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116933046B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117476247B (zh) * | 2023-12-27 | 2024-04-19 | 杭州乐九医疗科技有限公司 | 一种疾病多模态数据智能分析方法 |
| CN117594195B (zh) * | 2024-01-18 | 2024-04-09 | 吉林大学 | 基于大数据的肾病患者饮食情况分析系统及方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108052911A (zh) * | 2017-12-20 | 2018-05-18 | 上海海洋大学 | 基于深度学习的多模态遥感影像高层特征融合分类方法 |
| CN109558896A (zh) * | 2018-11-06 | 2019-04-02 | 中山大学附属第医院 | 基于超声组学和深度学习的疾病智能化分析方法及系统 |
| EP3695784A1 (en) * | 2019-02-12 | 2020-08-19 | Koninklijke Philips N.V. | Prediction of coronary microvascular dysfunction from coronary computed tomography |
| CN113076970A (zh) * | 2021-02-24 | 2021-07-06 | 浙江师范大学 | 一种缺失条件下的高斯混合模型聚类机器学习方法 |
| CN113094566A (zh) * | 2021-04-16 | 2021-07-09 | 大连理工大学 | 一种深度对抗多模态数据聚类方法 |
| WO2022067189A1 (en) * | 2020-09-25 | 2022-03-31 | Linus Health, Inc. | Systems and methods for machine-learning-assisted cognitive evaluation and treatment |
| CN114549850A (zh) * | 2022-01-24 | 2022-05-27 | 西北大学 | 一种解决模态缺失问题的多模态图像美学质量评价方法 |
| WO2022150554A1 (en) * | 2021-01-07 | 2022-07-14 | Memorial Sloan Kettering Cancer Center | Quantification of conditions on biomedical images across staining modalities using a multi-task deep learning framework |
| CN116230234A (zh) * | 2023-03-20 | 2023-06-06 | 河北工业大学 | 多模态特征一致性心理健康异常识别方法及系统 |
| WO2023106960A1 (ru) * | 2021-12-08 | 2023-06-15 | Общество с ограниченной ответственностью "К-Скай" | Способ прогнозирования наступления медицинского события в здоровье человека |
| WO2023109714A1 (zh) * | 2021-12-15 | 2023-06-22 | 深圳先进技术研究院 | 用于蛋白质表征学习的多模态信息融合方法、系统、终端及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11488694B2 (en) * | 2018-04-20 | 2022-11-01 | Nec Corporation | Method and system for predicting patient outcomes using multi-modal input with missing data modalities |
| US11675896B2 (en) * | 2020-04-09 | 2023-06-13 | International Business Machines Corporation | Using multimodal model consistency to detect adversarial attacks |
-
2023
- 2023-09-19 CN CN202311204222.0A patent/CN116933046B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108052911A (zh) * | 2017-12-20 | 2018-05-18 | 上海海洋大学 | 基于深度学习的多模态遥感影像高层特征融合分类方法 |
| CN109558896A (zh) * | 2018-11-06 | 2019-04-02 | 中山大学附属第医院 | 基于超声组学和深度学习的疾病智能化分析方法及系统 |
| EP3695784A1 (en) * | 2019-02-12 | 2020-08-19 | Koninklijke Philips N.V. | Prediction of coronary microvascular dysfunction from coronary computed tomography |
| WO2022067189A1 (en) * | 2020-09-25 | 2022-03-31 | Linus Health, Inc. | Systems and methods for machine-learning-assisted cognitive evaluation and treatment |
| WO2022150554A1 (en) * | 2021-01-07 | 2022-07-14 | Memorial Sloan Kettering Cancer Center | Quantification of conditions on biomedical images across staining modalities using a multi-task deep learning framework |
| CN113076970A (zh) * | 2021-02-24 | 2021-07-06 | 浙江师范大学 | 一种缺失条件下的高斯混合模型聚类机器学习方法 |
| CN113094566A (zh) * | 2021-04-16 | 2021-07-09 | 大连理工大学 | 一种深度对抗多模态数据聚类方法 |
| WO2023106960A1 (ru) * | 2021-12-08 | 2023-06-15 | Общество с ограниченной ответственностью "К-Скай" | Способ прогнозирования наступления медицинского события в здоровье человека |
| WO2023109714A1 (zh) * | 2021-12-15 | 2023-06-22 | 深圳先进技术研究院 | 用于蛋白质表征学习的多模态信息融合方法、系统、终端及存储介质 |
| CN114549850A (zh) * | 2022-01-24 | 2022-05-27 | 西北大学 | 一种解决模态缺失问题的多模态图像美学质量评价方法 |
| CN116230234A (zh) * | 2023-03-20 | 2023-06-06 | 河北工业大学 | 多模态特征一致性心理健康异常识别方法及系统 |
Non-Patent Citations (6)
| Title |
|---|
| 周晨怡;黄靖;杨丰;刘娅琴.利用特征距离信息引导决策融合的多模态生物特征识别方法.科学技术与工程.2020,(10),全文. * |
| 基于优化聚类的组合风速短期预测;陈记牢;栗惠惠;李富强;郝飞;张圆美;;可再生能源(12);全文 * |
| 张珣;何东阳.基于深度信念网络的个人健康评估模型.软件导刊.2018,(10),全文. * |
| 敬明旻.基于深度神经网络的多模态特征自适应聚类方法.计算机应用与软件.2020,(10),全文. * |
| 梁蒙蒙;周涛;夏勇;张飞飞;杨健.基于随机化融合和CNN的多模态肺部肿瘤图像识别.南京大学学报(自然科学).2018,(04),全文. * |
| 艾玲梅;薛亚庆;李天东.深度残差网络在脉搏信号亚健康检测中的应用.计算机技术与发展.2020,(07),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116933046A (zh) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116933046B (zh) | 基于深度学习的多模态健康管理方案生成方法和系统 | |
| CN111027487B (zh) | 基于多卷积核残差网络的行为识别系统、方法、介质及设备 | |
| Lee et al. | American sign language recognition and training method with recurrent neural network | |
| CN113396457A (zh) | 用于生物物理建模和响应预测的系统、方法和装置 | |
| KR101779800B1 (ko) | 기계학습 기반 다면적 성장 평가 방법 및 시스템 | |
| CN112149717B (zh) | 基于置信度加权的图神经网络训练方法及装置 | |
| CN111242948B (zh) | 图像处理、模型训练方法、装置、设备和存储介质 | |
| CN115087989A (zh) | 循环神经网络中的距离度量和聚类 | |
| CN112233798B (zh) | 基于病理模式与注意力机制的可解释疾病风险分析系统 | |
| CN111401219B (zh) | 一种手掌关键点检测方法和装置 | |
| KR20210036840A (ko) | 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치 | |
| CN113570497A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN115147376A (zh) | 一种基于深度贝叶斯蒸馏网络的皮肤病变智能识别方法 | |
| CN117438087A (zh) | 基于健康监测数据分析的健康管理方法及系统 | |
| CN117034142B (zh) | 一种不平衡医疗数据缺失值填充方法及系统 | |
| CN117542474A (zh) | 基于大数据的远程护理监测系统及方法 | |
| CN114330482A (zh) | 一种数据处理方法、装置及计算机可读存储介质 | |
| CN116864128A (zh) | 基于身体活动行为模式监测的心理状态评估系统及其方法 | |
| CN113469954B (zh) | 一种肺结节良恶性评价方法及装置 | |
| CN115293249A (zh) | 一种基于动态时序预测的电力系统典型场景概率预测方法 | |
| CN112560784B (zh) | 一种基于动态多尺度卷积神经网络的心电图分类方法 | |
| JP2024500470A (ja) | 医療画像における病変分析方法 | |
| CN111582404B (zh) | 内容分类方法、装置及可读存储介质 | |
| CN113313158A (zh) | 基于多模态深度学习分类模型的模态贡献度的计算方法 | |
| CN117690178B (zh) | 一种基于计算机视觉的人脸图像识别方法与系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |