CN111798980A - 基于深度学习网络的复杂医学生物信号处理方法和装置 - Google Patents
基于深度学习网络的复杂医学生物信号处理方法和装置 Download PDFInfo
- Publication number
- CN111798980A CN111798980A CN202010660290.8A CN202010660290A CN111798980A CN 111798980 A CN111798980 A CN 111798980A CN 202010660290 A CN202010660290 A CN 202010660290A CN 111798980 A CN111798980 A CN 111798980A
- Authority
- CN
- China
- Prior art keywords
- data
- complex medical
- network model
- medical biological
- constructing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 238000003672 processing method Methods 0.000 title claims abstract description 6
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims abstract description 33
- 239000008280 blood Substances 0.000 claims abstract description 33
- 210000004369 blood Anatomy 0.000 claims abstract description 33
- 229910052760 oxygen Inorganic materials 0.000 claims abstract description 33
- 239000001301 oxygen Substances 0.000 claims abstract description 33
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 25
- 238000003062 neural network model Methods 0.000 claims abstract description 24
- 230000009471 action Effects 0.000 claims abstract description 19
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 19
- 230000036541 health Effects 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000011176 pooling Methods 0.000 claims abstract description 7
- 230000015654 memory Effects 0.000 claims description 41
- 238000012549 training Methods 0.000 claims description 25
- 230000007774 longterm Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 20
- 238000013508 migration Methods 0.000 claims description 18
- 230000005012 migration Effects 0.000 claims description 18
- 230000006978 adaptation Effects 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 10
- 238000010801 machine learning Methods 0.000 claims description 9
- 230000000306 recurrent effect Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 6
- 230000003190 augmentative effect Effects 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 15
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000001172 regenerating effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013526 transfer learning Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 206010003119 arrhythmia Diseases 0.000 description 1
- 230000006793 arrhythmia Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 206010016256 fatigue Diseases 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
本发明涉及一种基于深度学习网络的复杂医学生物信号处理方法和装置，所述方法包括步骤：采集复杂医学生物数据，所述复杂医学生物数据为包含心电、心音、血氧数据中的两种或以上的多变量异源数据；构建卷积神经网络模型，将所述复杂医学生物数据依次输入该卷积神经网络模型的卷积层和池化层进行标准化预处理；构建多功循环神经网络模型，对预处理后的所述复杂医学生物数据进行分类，分离出心电数据、心音数据和/或血氧数据；构建前端预测模型，将所述复杂医学生物数据输入该模型，并输出人体健康状况预测、身份识别和/或动作识别的判别结果。本发明可解决穿戴设备在多功能、诊断精度和准确度上的问题。
Description
技术领域
本发明涉及人工智能技术领域，特别涉及一种基于深度学习网络的复杂医学生物信号处理方法和装置。
背景技术
目前虽然有穿戴设备提供有生物讯号分析功能，但功能上相对简单，且在诊断精度上稍嫌不足(如一般设备只是能监测心率)，因此若使用者需要心律不整与疲劳诊断等功能，将在诊断精度达不到用户的要求。
最近深度学习算法有快速的发展，使复杂信号分析得到可能的解决方案。然而，穿戴式设备会比固定式设备遭遇更大的噪声挑战，因此设计出合适的深度学习算法与架构，将是解决穿戴式健康设备的关键技术。
发明内容
基于此，有必要提供一种基于深度学习网络的复杂医学生物信号处理方法和装置，可解决穿戴设备在多功能、诊断精度和准确度上的问题。
为实现上述发明目的，本发明采用以下技术方案。
本发明提供一种基于深度学习网络的复杂医学生物信号处理方法，包括步骤：
采集复杂医学生物数据，所述复杂医学生物数据为包含心电、心音、血氧数据中的两种或以上的多变量异源数据；
构建卷积神经网络模型，将所述复杂医学生物数据依次输入该卷积神经网络模型的卷积层和池化层进行标准化预处理；
构建多功循环神经网络模型，对预处理后的所述复杂医学生物数据进行分类，分离出心电数据、心音数据和/或血氧数据；
构建前端预测模型，将所述复杂医学生物数据输入该模型，并输出人体健康状况预测、身份识别和/或动作识别的判别结果。
上述方法中，还包括步骤：
构建动态生成网络模型，将所述复杂医学生物数据和已有公开数据库拟合，输出个性化的生成数据集；
构建长时迁移网络模型，通过机器学习将所述个性化的生成数据集进行扩充；
构建后端训练预测模型，对所述个性化的生成数据集进行训练和验证，并输出人体健康状况预测、身份识别和/或动作识别的判别结果。
上述方法中，所述构建动态生成网络模型，将复杂医学生物数据和已有公开数据库拟合，输出个性化的生成数据集的步骤具体包括：
构建LSTM网络模型，将所述已有公开数据库中的心电数据、心音数据和/或血氧数据输入其中，并引入随机噪声，使得分别产生与所述心电数据、心音数据和/或血氧数据波形相同或相似的波形数据；
构建鉴别网络模型，对上述波形数据进行鉴别，得到一个已加入个人特征的鉴别数据集；
构建一个二分类器，输入所述鉴别数据集，并输出包含特定波形样本的所述个性化的生成数据集。
上述方法中，所述构建多功循环神经网络模型，对预处理后的所述复杂医学生物数据进行分类，分离出心电数据、心音数据和/或血氧数据的步骤具体包括：
创建多个LSTM网络，以及多个通过可选的读写操作联系的共享记忆节点，其中，外部记忆节点被定义为一个矩阵M，M的大小是所述复杂医学生物数据训练集的超参数；对于每一个输出任务m，都分配有一个属于自己的本地记忆节点M(m)，并通过为个本地记忆节点与一个全局记忆节点M(s)进行联系；上述读写操作联系定义为：
则，LSTM的单元表示如下：
(ht，Mt，ct)＝ME-LSTM(ht-1，Mt-1，ct-1，xt，θp，θq)，
其中，θp表示LSTM所有内部的参数，θq表示所有外部记忆节点的参数；所述多功循环神经网络模型还包括一softmax层，其输出方式定义为：
其中，
表示各输出任务的各类概率分布情况。
上述方法中，所述构建长时迁移网络模型，通过机器学习将所述个性化的生成数据集进行扩充的步骤具体包括：
构建两个相同的卷积神经网络，将已有公开数据集输入其中第一个网络，将所述个性化的生成数据输入第二个网络，且两个卷积神经网络之间共享权值；
在第一个网络和第二个网络中的特征层之间增设一适应层，用于计算第一个网络和第二个网络的域损失；
采用MMD来表征所述域损失，对所述MMD进行最小化处理。
本发明还提供一种基于深度学习网络的复杂医学生物信号处理装置，包括：
穿戴式传感器，用于采集复杂医学生物数据，所述复杂医学生物数据为包含心电、心音、血氧数据中的两种或以上的多变量异源数据；
卷积神经网络模型，用于将所述复杂医学生物数据依次输入该卷积神经网络模型的卷积层和池化层进行标准化预处理；
多功循环神经网络模型，用于对预处理后的所述复杂医学生物数据进行分类，分离出心电数据、心音数据和/或血氧数据；
前端预测模型，用于将所述复杂医学生物数据输入该模型，并输出人体健康状况预测、身份识别和/或动作识别的判别结果。
上述装置中，还包括：
动态生成网络模型，用于将所述复杂医学生物数据和已有公开数据库拟合，输出个性化的生成数据集；
长时迁移网络模型，用于通过机器学习将所述个性化的生成数据集进行扩充；
后端训练预测模型，用于对所述个性化的生成数据集进行训练和验证，并输出人体健康状况预测、身份识别和/或动作识别的判别结果。
上述装置中，所述动态生成网络模型具体包括：
LSTM网络，用于将所述已有公开数据库中的心电数据、心音数据和/或血氧数据输入其中，并引入随机噪声，使得分别产生与所述心电数据、心音数据和/或血氧数据波形相同或相似的波形数据；
鉴别网络，用于对上述波形数据进行鉴别，得到一个已加入个人特征的鉴别数据集；
二分类器，输入所述鉴别数据集，并输出包含特定波形样本的所述个性化的生成数据集。
上述装置中，所述多功循环神经网络模型具体包括：
多个LSTM网络，以及多个通过可选的读写操作联系的共享记忆节点，其中，外部记忆节点被定义为一个矩阵M，M的大小是所述复杂医学生物数据训练集的超参数；对于每一个输出任务m，都分配有一个属于自己的本地记忆节点M(m)，并通过为个本地记忆节点与一个全局记忆节点M(s)进行联系；上述读写操作联系定义为：
则，LSTM的单元表示如下：
(ht，Mt，ct)＝ME-LSTM(ht-1，Mt-1，ct-1，xt，θp，θq)，
其中，θp表示LSTM所有内部的参数，θq表示所有外部记忆节点的参数；
所述多功循环神经网络模型还包括一softmax层，其输出方式定义为：
其中，
表示各输出任务的各类概率分布情况。
上述装置中，所述长时迁移网络模型具体包括：
两个相同的卷积神经网络，其中第一个网络输入已有公开数据，第二个网络输入所述个性化的生成数据，且两个卷积神经网络之间共享权值；
一适应层，设于第一个网络和第二个网络中的特征层之间，用于计算第一个网络和第二个网络的域损失；采用MMD来表征所述域损失，对所述MMD进行最小化处理。
本发明采用卷积神经网络对采集到的复杂医学特征数据进行标准化预处理后，利用多功循环神经网络、动态生成网络、长时迁移网络和后端训练预测模型对复杂医学特征数据进行数据分类、个性化的生成数据集输出、数据集扩充，以及数据集的训练和验证，等等，高效地将复杂的多维异源数据进行拟合和分类，并实现精准的预测，有效地解决了训练样本少、生物信号采集时间长，和个体差异大等问题，可有效地根据采集到的复杂生物数据的动态变化实现多功能的用途，如疾病诊断、身份识别和动作识别等。
附图说明
图1为本实施例中基于深度学习网络的复杂医学生物信号处理方法的流程示意图；
图2为本实施例中基于深度学习网络的复杂医学生物信号处理装置的框架结构示意图；
图3为本实施例中动态生成网络模型的原理架构图；
图4为本实施例中多功循环神经网络模型的原架构图；
图5为本实施例中长时迁移网络模型的原理架构图。
本发明目的的实现及其功能、原理将在具体实施方式中结合附图作进一步阐述。
具体实施方式
下面结合附图及具体实施例做进一步说明。
如图1所示，本实施例提供一种基于深度学习网络的复杂医学生物信号处理方法，包括步骤：
S1：采集复杂医学生物数据，所述复杂医学生物数据为包含心电、心音、血氧数据中的两种或以上的多变量异源数据；
S2：构建卷积神经网络模型，将所述复杂医学生物数据依次输入该卷积神经网络模型的卷积层和池化层进行标准化预处理；
S3：构建多功循环神经网络模型，对预处理后的所述复杂医学生物数据进行分类，分离出心电数据、心音数据和/或血氧数据；
S4：构建前端预测模型，将所述复杂医学生物数据输入该模型，并输出人体健康状况预测、身份识别和/或动作识别的判别结果。
上述方法主要用于智能手表、手环和项链等穿戴设备上解决心电、心音、血氧信号的采集和处理，并根据处理结果进行预测人体健康状况、身份识别和动作识别等应用。
在对包含心电、心音、血氧数据中的两种或以上的多变量异源数据的复杂医学生物数据进行采样时，由于数据复杂多变，而且存在动态与长时问题，需要可靠的算法和模型对采集到的数据进行训练和预测，最终得到较为准确和可靠的数据模型。为实现本发明的目的，首先需要解决的是复杂医学生物数据的多变量和长时动态问题，才能在此基础上实现多功能应用的精准输出。
为此，本实施例的方法中，还包括步骤：
S5：构建动态生成网络模型，将所述复杂医学生物数据和已有公开数据库拟合，输出个性化的生成数据集；
S6：构建长时迁移网络模型，通过机器学习将所述个性化的生成数据集进行扩充；
S7：构建后端训练预测模型，对所述个性化的生成数据集进行训练和验证，并输出人体健康状况预测、身份识别和/或动作识别的判别结果。
其中，所述构建动态生成网络模型，将复杂医学生物数据和已有公开数据库拟合，输出个性化的生成数据集的步骤具体包括：
S51：构建LSTM(Long Short-Term Memory，长短期记忆网络)模型，将所述已有公开数据库中的心电数据、心音数据和/或血氧数据输入其中，并引入随机噪声，使得分别产生与所述心电数据、心音数据和/或血氧数据波形相同或相似的波形数据；
S52：构建鉴别网络模型，对上述波形数据进行鉴别，得到一个已加入个人特征的鉴别数据集；
S53：构建一个二分类器，输入所述鉴别数据集，并输出包含特定波形样本的所述个性化的生成数据集。
上述已有公开数据库是指包含根据实践和经验总结出的一般规律的所有数据，它是符合人体生物特征的普遍规律的样本集，本实施例所提出的动态生成网络模型中，需要将该样本集与待测人体的心电数据、心音数据和/或血氧数据进行拟合，输出反映个体特性的生物数据。
上述鉴别网络是指以生成网络的生成波形和本次测得的数据集进行合并，再进行鉴别，以加入个体特征，进而拟合出一个新的数据集。
然后现通过上述二分类器，以判断输入的波形是否是一个合理的波形，并输出包含特定波形样本的个性化的生成数据集。
本实施例中，所述步骤S3具体包括：
创建多个LSTM网络，以及多个通过可选的读写操作联系的共享记忆节点，其中，外部记忆节点被定义为一个矩阵M，M的大小是所述复杂医学生物数据训练集的超参数；对于每一个输出任务m，都分配有一个属于自己的本地记忆节点M(m)，并通过为个本地记忆节点与一个全局记忆节点M(s)进行联系；设上述读写操作联系定义为：
则，LSTM的单元表示如下：
(ht，Mt，ct)＝ME-LSTM(ht-1，Mt-1，ct-1，xt，θp，θq)，
其中，θp表示LSTM所有内部的参数，θq表示所有外部记忆节点的参数；
所述多功循环神经网络模型还包括一softmax(逻辑回归)层，其输出方式定义为：
其中，
表示各输出任务的各类概率分布情况。
例如M＝3，则最后总的全局损失函数为这三个任务的损失函数的线性组合，即：
其中，λm为对应任务m的各自所占的比例。
上述方法中，所述构建长时迁移网络模型，通过机器学习将所述个性化的生成数据集进行扩充的步骤具体包括：
构建两个相同的卷积神经网络，将已有公开数据集输入其中第一个网络，将所述个性化的生成数据输入第二个网络，且两个卷积神经网络之间共享权值；
在第一个网络和第二个网络中的特征层之间增设一适应层，用于计算第一个网络和第二个网络的域损失；
采用MMD来表征所述域损失，对所述MMD进行最小化处理。
上述已有公开数据集为之前已进行训练的医学生物数据库，可能是公开数据集或者早期所采集的数据集，具有能在一定程度上真实反映人体生物特征讯号与人体健康、身份识别和/或动作识别相关联的参考价值。
MMD(Maximum Mean Discrepancy，最大均值差异)是迁移学习中使用频率最高的度量标准，通常度量在再生希尔伯特空间(RKHS)中的两个分布的距离，是一种核学习方法，采用以下算式来表征：
其中，φ(.)是映射，用于把原变量映射到再生核希尔伯特空间，希尔伯特空间是对于函数的内积完备的,而再生核希尔伯特空间是具有再生性<K(x；)；K(y；)>H＝K(x；y)的希尔伯特空间.将平方展开后,希尔伯特空间中的内积就可以转换成核函数，所以最终MMD可以直接通过核函数进行计算：
l＝lc(Ds；ys)+λlA(Ds；Dt)
l表示网络的最终损失，lc(Ds；ys)表示网络在有标注的数据(大部分是源域)上的常规分类损失(这与普通的深度网络完全一致)，lA(Ds；Dt)表示网络的自适应损失。最后一部分是传统的深度网络所不具有的、迁移学习所独有的。此部分为源域和目标域的分布差异，式中的λ是权衡两部分的权重参数。
MMD可衡量上述两个网络之间的适应层输出的域特征，本实施例采用MMD来表征该域特征之间的域损失，从而可以通过对MMD进行最小化处理来达到扩充的数据集能以假乱真的目的，增强数据的真实性。
可见，透过上述算法，可实现穿戴式设备的多功能应用，并能低成本地处理复杂丰富的医学生物数据，增加系统可靠度与效能。同时，透过动态个性化生成网络与长时迁移学习，进行有效的数据集扩增，扩展有用数据提高模型的泛化与个性化能力，让系统可以在运动与长时心率变化较大的情况下，依旧可以作出高精度的分析判断。
如图2所示，本实施例提供一种基于深度学习网络的复杂医学生物信号处理装置100，包括：
穿戴式传感器10，用于采集复杂医学生物数据，所述复杂医学生物数据为包含心电、心音、血氧数据中的两种或以上的多变量异源数据；
卷积神经网络模型20，用于将所述复杂医学生物数据依次输入该卷积神经网络模型的卷积层和池化层进行标准化预处理；
多功循环神经网络模型30，用于对预处理后的所述复杂医学生物数据进行分类，分离出心电数据、心音数据和/或血氧数据；
前端预测模型40，用于将所述复杂医学生物数据输入该模型，并输出人体健康状况预测、身份识别和/或动作识别的判别结果。
上述装置主要用于智能手表、手环和项链等穿戴设备上解决心电、心音、血氧信号的采集和处理，并根据处理结果进行预测人体健康状况、身份识别和动作识别等应用。
在对包含心电、心音、血氧数据中的两种或以上的多变量异源数据的复杂医学生物数据进行采样时，由于数据复杂多变，而且存在动态与长时问题，需要可靠的算法和模型对采集到的数据进行训练和预测，最终得到较为准确和可靠的数据模型。为实现本发明的目的，首先需要解决的是复杂医学生物数据的多变量和长时动态问题，才能在此基础上实现多功能应用的精准输出。
本实施例的基于深度学习网络的复杂医学生物信号处理装置100中，还包括：
动态生成网络模型50，用于将所述复杂医学生物数据和已有公开数据库拟合，输出个性化的生成数据集；
长时迁移网络模型60，用于通过机器学习将所述个性化的生成数据集进行扩充；
后端训练预测模型70，用于对所述个性化的生成数据集进行训练和验证，并输出人体健康状况预测、身份识别和/或动作识别的判别结果。
请参照图3所示，上述装置中，所述动态生成网络模型50进一步包括：
LSTM网络51，用于将所述已有公开数据库中的心电数据、心音数据和/或血氧数据输入其中，并引入随机噪声，使得分别产生与所述心电数据、心音数据和/或血氧数据波形相同或相似的波形数据；
鉴别网络52，用于对上述波形数据进行鉴别，得到一个已加入个人特征的鉴别数据集；
二分类器53，输入所述鉴别数据集，并输出包含特定波形样本的所述个性化的生成数据集。
穿戴式设备主要负责心电、心音、血氧等信号的采集、前期预处理与前端的预测。还可以提供动态信号生成网络与长时迁移网络，将公开或现有数据，扩展生成更多更好的个性化生成数据，以供后端训练预测模型70。另外用户若对前端模型预测40结果感到不满意，也可以选择使用后端训练预测模型70来进行更复杂的计算预测。
如图4所示，所述多功循环神经网络模型30具体包括：
多个LSTM网络31以及多个通过可选的读写操作联系的共享记忆节点，其中，外部记忆节点被定义为一个矩阵M，M的大小是所述复杂医学生物数据训练集的超参数；对于每一个输出任务m，都分配有一个属于自己的本地记忆节点M(m)，并通过为个本地记忆节点与一个全局记忆节点M(s)进行联系；设上述读写操作联系定义为：
则，LSTM的单元表示如下：
(ht，Mt，ct)＝ME-LSTM(ht-1，Mt-1，ct-1，xt，θp，θq)，
其中，θp表示LSTM所有内部的参数，θq表示所有外部记忆节点的参数；所述多功循环神经网络模型还包括一softmax层，其输出方式定义为：
其中，
表示各输出任务的各类概率分布情况。
例如M＝3，则最后总的全局损失函数为这三个任务的损失函数的线性组合，即：
其中，λm为对应任务m的各自所占的比例。
参照图5所示，所述长时迁移网络模型具体包括：
两个相同的卷积神经网络，其中第一个网络(深色)输入已有公开数据，第二个网络(浅色)输入最新的个性化的生成数据，且两个流向的卷积神经网络之间共享权值；
一适应层，设于第一个网络和第二个网络中的特征层之间，用于计算第一个网络和第二个网络的域损失；采用MMD来表征所述域损失，对所述MMD进行最小化处理。
上述已有公开数据集为之前已进行训练的医学生物数据库，可能是公开数据集或者早期所采集的数据集，具有能在一定程度上真实反映人体生物特征讯号与人体健康、身份识别和/或动作识别相关联的参考价值。
MMD是迁移学习中使用频率最高的度量标准，通常度量在再生希尔伯特空间(RKHS)中的两个分布的距离，是一种核学习方法，采用以下算式来表征：
其中，φ(.)是映射，用于把原变量映射到再生核希尔伯特空间，希尔伯特空间是对于函数的内积完备的,而再生核希尔伯特空间是具有再生性＜K(x；)；K(y；)>H＝K(x；y)的希尔伯特空间.将平方展开后,希尔伯特空间中的内积就可以转换成核函数，所以最终MMD可以直接通过核函数进行计算：
l＝lc(Ds；ys)+λlA(Ds；Dt)
l表示网络的最终损失，lc(Ds；ys)表示网络在有标注的数据(大部分是源域)上的常规分类损失(这与普通的深度网络完全一致)，lA(Ds；Dt)表示网络的自适应损失。最后一部分是传统的深度网络所不具有的、迁移学习所独有的。此部分为源域和目标域的分布差异，式中的λ是权衡两部分的权重参数。
MMD可衡量上述两个网络之间的适应层输出的域特征，本实施例采用MMD来表征该域特征之间的域损失，从而可以通过对MMD进行最小化处理来达到扩充的数据集能以假乱真的目的，增强数据的真实性。
综上所述，本发明采用卷积神经网络对采集到的复杂医学特征数据进行标准化预处理后，利用多功循环神经网络、动态生成网络、长时迁移网络和后端训练预测模型对复杂医学特征数据进行数据分类、个性化的生成数据集输出、数据集扩充，以及数据集的训练和验证，等等，高效地将复杂的多维异源数据进行拟合和分类，并实现精准的预测，有效地解决了训练样本少、生物信号采集时间长，和个体差异大等问题，可有效地根据采集到的复杂生物数据的动态变化实现多功能的用途，如疾病诊断、身份识别和动作识别等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (10)
1.一种基于深度学习网络的复杂医学生物信号处理方法，其特征在于，包括步骤：
采集复杂医学生物数据，所述复杂医学生物数据为包含心电、心音、血氧数据中的两种或以上的多变量异源数据；
构建卷积神经网络模型，将所述复杂医学生物数据依次输入该卷积神经网络模型的卷积层和池化层进行标准化预处理；
构建多功循环神经网络模型，对预处理后的所述复杂医学生物数据进行分类，分离出心电数据、心音数据和/或血氧数据；
构建前端预测模型，将所述复杂医学生物数据输入该模型，并输出人体健康状况预测、身份识别和/或动作识别的判别结果。
2.如权利要求1所述的方法，其特征在于，还包括步骤：
构建动态生成网络模型，将所述复杂医学生物数据和已有公开数据库拟合，输出个性化的生成数据集；
构建长时迁移网络模型，通过机器学习将所述个性化的生成数据集进行扩充；
构建后端训练预测模型，对所述个性化的生成数据集进行训练和验证，并输出人体健康状况预测、身份识别和/或动作识别的判别结果。
3.如权利要求2所述的方法，其特征在于，所述构建动态生成网络模型，将复杂医学生物数据和已有公开数据库拟合，输出个性化的生成数据集的步骤具体包括：
构建LSTM网络模型，将所述已有公开数据库中的心电数据、心音数据和/或血氧数据输入其中，并引入随机噪声，使得分别产生与所述心电数据、心音数据和/或血氧数据波形相同或相似的波形数据；
构建鉴别网络模型，对上述波形数据进行鉴别，得到一个已加入个人特征的鉴别数据集；
构建一个二分类器，输入所述鉴别数据集，并输出包含特定波形样本的所述个性化的生成数据集。
4.如权利要求2所述的方法，其特征在于，所述构建多功循环神经网络模型，对预处理后的所述复杂医学生物数据进行分类，分离出心电数据、心音数据和/或血氧数据的步骤具体包括：
创建多个LSTM网络，以及多个通过可选的读写操作联系的共享记忆节点，其中，外部记忆节点被定义为一个矩阵M，M的大小是所述复杂医学生物数据训练集的超参数；对于每一个输出任务m，都分配有一个属于自己的本地记忆节点M(m)，并通过为个本地记忆节点与一个全局记忆节点M(s)进行联系；上述读写操作联系定义为：
则，LSTM的单元表示如下：
(ht，Mt，ct)＝ME-LSTM(ht-1，Mt-1，ct-1，xt，θp，θq)，
其中，θp表示LSTM所有内部的参数，θq表示所有外部记忆节点的参数；
所述多功循环神经网络模型还包括一softmax层，其输出方式定义为：
其中，
表示各输出任务的各类概率分布情况。
5.如权利要求2所述的方法，其特征在于，所述构建长时迁移网络模型，通过机器学习将所述个性化的生成数据集进行扩充的步骤具体包括：
构建两个相同的卷积神经网络，将已有公开数据集输入其中第一个网络，将所述个性化的生成数据输入第二个网络，且两个卷积神经网络之间共享权值；
在第一个网络和第二个网络中的特征层之间增设一适应层，用于计算第一个网络和第二个网络的域损失；
采用MMD来表征所述域损失，对所述MMD进行最小化处理。
6.一种基于深度学习网络的复杂医学生物信号处理装置，其特征在于，包括：
穿戴式传感器，用于采集复杂医学生物数据，所述复杂医学生物数据为包含心电、心音、血氧数据中的两种或以上的多变量异源数据；
卷积神经网络模型，用于将所述复杂医学生物数据依次输入该卷积神经网络模型的卷积层和池化层进行标准化预处理；
多功循环神经网络模型，用于对预处理后的所述复杂医学生物数据进行分类，分离出心电数据、心音数据和/或血氧数据；
前端预测模型，用于将所述复杂医学生物数据输入该模型，并输出人体健康状况预测、身份识别和/或动作识别的判别结果。
7.如权利要求6所述的装置，其特征在于，还包括：
动态生成网络模型，用于将所述复杂医学生物数据和已有公开数据库拟合，输出个性化的生成数据集；
长时迁移网络模型，用于通过机器学习将所述个性化的生成数据集进行扩充；
后端训练预测模型，用于对所述个性化的生成数据集进行训练和验证，并输出人体健康状况预测、身份识别和/或动作识别的判别结果。
8.如权利要求7所述的装置，其特征在于，所述动态生成网络模型具体包括：
LSTM网络，用于将所述已有公开数据库中的心电数据、心音数据和/或血氧数据输入其中，并引入随机噪声，使得分别产生与所述心电数据、心音数据和/或血氧数据波形相同或相似的波形数据；
鉴别网络，用于对上述波形数据进行鉴别，得到一个已加入个人特征的鉴别数据集；
二分类器，输入所述鉴别数据集，并输出包含特定波形样本的所述个性化的生成数据集。
9.如权利要求7所述的装置，其特征在于，所述多功循环神经网络模型具体包括：
多个LSTM网络，以及多个通过可选的读写操作联系的共享记忆节点，其中，外部记忆节点被定义为一个矩阵M，M的大小是所述复杂医学生物数据训练集的超参数；对于每一个输出任务m，都分配有一个属于自己的本地记忆节点M(m)，并通过为个本地记忆节点与一个全局记忆节点M(s)进行联系；上述读写操作联系定义为：
则，LSTM的单元表示如下：
(ht，Mt，ct)＝ME-LSTM(ht-1，Mt-1，ct-1，xt，θp，θq)，
其中，θp表示LSTM所有内部的参数，θq表示所有外部记忆节点的参数；
所述多功循环神经网络模型还包括一softmax层，其输出方式定义为：
其中，
表示各输出任务的各类概率分布情况。
10.如权利要求7所述的装置，其特征在于，所述长时迁移网络模型具体包括：
两个相同的卷积神经网络，其中第一个网络输入已有公开数据，第二个网络输入所述个性化的生成数据，且两个卷积神经网络之间共享权值；
一适应层，设于第一个网络和第二个网络中的特征层之间，用于计算第一个网络和第二个网络的域损失；采用MMD来表征所述域损失，对所述MMD进行最小化处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010660290.8A CN111798980A (zh) | 2020-07-10 | 2020-07-10 | 基于深度学习网络的复杂医学生物信号处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010660290.8A CN111798980A (zh) | 2020-07-10 | 2020-07-10 | 基于深度学习网络的复杂医学生物信号处理方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111798980A true CN111798980A (zh) | 2020-10-20 |
Family
ID=72811484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010660290.8A Pending CN111798980A (zh) | 2020-07-10 | 2020-07-10 | 基于深度学习网络的复杂医学生物信号处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111798980A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112818773A (zh) * | 2021-01-19 | 2021-05-18 | 青岛歌尔智能传感器有限公司 | 心率检测方法、设备及存储介质 |
| CN113066580A (zh) * | 2021-03-17 | 2021-07-02 | 上海电气集团股份有限公司 | 一种医疗评分确定方法、装置、电子设备及存储介质 |
| CN113486917A (zh) * | 2021-05-17 | 2021-10-08 | 西安电子科技大学 | 一种基于度量学习的雷达hrrp小样本目标识别方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107529645A (zh) * | 2017-06-29 | 2018-01-02 | 重庆邮电大学 | 一种基于深度学习的心音智能诊断系统及方法 |
| CN108597609A (zh) * | 2018-05-04 | 2018-09-28 | 华东师范大学 | 一种基于lstm网络的医养结合健康监测方法 |
| CN108577883A (zh) * | 2018-04-03 | 2018-09-28 | 上海交通大学 | 一种冠心病筛查装置、筛查系统以及信号特征提取方法 |
| CN109961017A (zh) * | 2019-02-26 | 2019-07-02 | 杭州电子科技大学 | 一种基于卷积循环神经网络的心音信号分类方法 |
| CN110008338A (zh) * | 2019-03-04 | 2019-07-12 | 华南理工大学 | 一种融合gan和迁移学习的电商评价情感分析方法 |
| CN110537910A (zh) * | 2019-09-18 | 2019-12-06 | 山东大学 | 基于心电和心音信号联合分析的冠心病无创筛查系统 |
| CN110942825A (zh) * | 2019-11-26 | 2020-03-31 | 北京华医共享医疗科技有限公司 | 基于卷积神经网络和循环神经网络结合的心电诊断方法 |
| CN111160139A (zh) * | 2019-12-13 | 2020-05-15 | 中国科学院深圳先进技术研究院 | 心电信号的处理方法、装置及终端设备 |
| CN111202512A (zh) * | 2020-03-05 | 2020-05-29 | 齐鲁工业大学 | 一种基于小波变换与dcnn的心电图分类方法和装置 |
-
2020
- 2020-07-10 CN CN202010660290.8A patent/CN111798980A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107529645A (zh) * | 2017-06-29 | 2018-01-02 | 重庆邮电大学 | 一种基于深度学习的心音智能诊断系统及方法 |
| CN108577883A (zh) * | 2018-04-03 | 2018-09-28 | 上海交通大学 | 一种冠心病筛查装置、筛查系统以及信号特征提取方法 |
| CN108597609A (zh) * | 2018-05-04 | 2018-09-28 | 华东师范大学 | 一种基于lstm网络的医养结合健康监测方法 |
| CN109961017A (zh) * | 2019-02-26 | 2019-07-02 | 杭州电子科技大学 | 一种基于卷积循环神经网络的心音信号分类方法 |
| CN110008338A (zh) * | 2019-03-04 | 2019-07-12 | 华南理工大学 | 一种融合gan和迁移学习的电商评价情感分析方法 |
| CN110537910A (zh) * | 2019-09-18 | 2019-12-06 | 山东大学 | 基于心电和心音信号联合分析的冠心病无创筛查系统 |
| CN110942825A (zh) * | 2019-11-26 | 2020-03-31 | 北京华医共享医疗科技有限公司 | 基于卷积神经网络和循环神经网络结合的心电诊断方法 |
| CN111160139A (zh) * | 2019-12-13 | 2020-05-15 | 中国科学院深圳先进技术研究院 | 心电信号的处理方法、装置及终端设备 |
| CN111202512A (zh) * | 2020-03-05 | 2020-05-29 | 齐鲁工业大学 | 一种基于小波变换与dcnn的心电图分类方法和装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112818773A (zh) * | 2021-01-19 | 2021-05-18 | 青岛歌尔智能传感器有限公司 | 心率检测方法、设备及存储介质 |
| CN113066580A (zh) * | 2021-03-17 | 2021-07-02 | 上海电气集团股份有限公司 | 一种医疗评分确定方法、装置、电子设备及存储介质 |
| CN113486917A (zh) * | 2021-05-17 | 2021-10-08 | 西安电子科技大学 | 一种基于度量学习的雷达hrrp小样本目标识别方法 |
| CN113486917B (zh) * | 2021-05-17 | 2023-06-02 | 西安电子科技大学 | 一种基于度量学习的雷达hrrp小样本目标识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Thuwajit et al. | EEGWaveNet: Multiscale CNN-based spatiotemporal feature extraction for EEG seizure detection | |
| US11017902B2 (en) | System and method for processing human related data including physiological signals to make context aware decisions with distributed machine learning at edge and cloud | |
| Rustempasic et al. | Diagnosis of parkinson’s disease using fuzzy c-means clustering and pattern recognition | |
| Gil-Martín et al. | Improving physical activity recognition using a new deep learning architecture and post-processing techniques | |
| CN110598793B (zh) | 一种大脑功能网络特征分类方法 | |
| CN111798980A (zh) | 基于深度学习网络的复杂医学生物信号处理方法和装置 | |
| CN108090509B (zh) | 一种数据长度自适应的心电图分类方法 | |
| CN112043252B (zh) | 基于脉搏信号中呼吸成分的情绪识别系统及方法 | |
| Yang et al. | PD-ResNet for classification of Parkinson’s disease from gait | |
| Goswami et al. | Electrocardiogram signal classification using VGGNet: a neural network based classification model | |
| Chen et al. | A robust deep learning framework based on spectrograms for heart sound classification | |
| CN111513717A (zh) | 一种大脑功能状态提取方法 | |
| Zhou et al. | A hybrid attention-based deep neural network for simultaneous multi-sensor pruning and human activity recognition | |
| Kirubakaran et al. | Echo state learned compositional pattern neural networks for the early diagnosis of cancer on the internet of medical things platform | |
| Jiang et al. | Attention-based multi-scale features fusion for unobtrusive atrial fibrillation detection using ballistocardiogram signal | |
| Bondugula et al. | A novel deep learning architecture and MINIROCKET feature extraction method for human activity recognition using ECG, PPG and inertial sensor dataset | |
| Saravanakumar et al. | An effective convolutional neural network-based stacked long short-term memory approach for automated Alzheimer’s disease prediction | |
| Meena et al. | Seq2Dense U-Net: Analysing Sequential Inertial Sensor data for Human Activity Recognition using Dense Segmentation Model | |
| Zhao et al. | Attention‐based sensor fusion for emotion recognition from human motion by combining convolutional neural network and weighted kernel support vector machine and using inertial measurement unit signals | |
| Kamoji et al. | Prediction of Parkinson's Disease using Machine Learning and Deep Transfer Learning from different Feature Sets | |
| Manimegalai et al. | Deep Learning Based Approach for Identification of Parkinson’s Syndrome | |
| Umar et al. | Classification Using Radial Basis Function for Prediction of Parkinson's Disease | |
| Chowdary et al. | Multiple Disease Prediction by Applying Machine Learning and Deep Learning Algorithms | |
| CN112686091A (zh) | 基于深度神经网络的两步骤心律失常分类方法 | |
| Cheng et al. | Sleep stage recognition from EEG using a distributed multi-channel decision-making system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |