CN113869179A - 多模态特征注意力融合的居家养老智能监护方法及系统 - Google Patents
多模态特征注意力融合的居家养老智能监护方法及系统 Download PDFInfo
- Publication number
- CN113869179A CN113869179A CN202111113913.0A CN202111113913A CN113869179A CN 113869179 A CN113869179 A CN 113869179A CN 202111113913 A CN202111113913 A CN 202111113913A CN 113869179 A CN113869179 A CN 113869179A
- Authority
- CN
- China
- Prior art keywords
- old
- grade
- model
- physiological
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012544 monitoring process Methods 0.000 title claims abstract description 23
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 230000036541 health Effects 0.000 claims abstract description 20
- 230000009471 action Effects 0.000 claims description 29
- 238000011176 pooling Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 7
- 230000036772 blood pressure Effects 0.000 claims description 6
- 230000036760 body temperature Effects 0.000 claims description 6
- 230000014509 gene expression Effects 0.000 claims description 4
- 230000008520 organization Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 230000027939 micturition Effects 0.000 claims description 3
- 230000035790 physiological processes and functions Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 abstract description 6
- 238000003745 diagnosis Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000001737 promoting effect Effects 0.000 abstract description 2
- 230000002349 favourable effect Effects 0.000 abstract 1
- 210000002700 urine Anatomy 0.000 description 10
- 230000003202 urodynamic effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 206010000117 Abnormal behaviour Diseases 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Business, Economics & Management (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Tourism & Hospitality (AREA)
- Probability & Statistics with Applications (AREA)
- Child & Adolescent Psychology (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开了一种多模态特征注意力融合的居家养老智能监护方法及系统，属于居家智慧养老技术领域。本发明全面采集居家老人身体状况多模态数据，采用基于多模态特征技术的深度学习模型来实现老人的综合健康状态等级判断，可以对老人的身体状况进行全方位判断分析，减少了错判率、误判率和漏判率，提高了监护的实用性和有效性，为居家养老提供了一种很好的监护手段，同时也有利于推动国家分级诊疗制度的有效实施，应用前景广阔。
Description
技术领域
本发明涉及一种多模态特征注意力融合的居家养老智能监护方法及系统，属于居家智慧养老技术领域。
背景技术
我国老年人口将突破3亿，将从轻度老龄化迈入中度老龄化，养老服务将接受更大的挑战和考验，社区居家养老将成为新业态。社区居家养老符合国际化养老发展趋势，世界大多数老人都在享受居家和社区养老的照料，即使在欧美等发达国家和高福利地区，居家和社区养老也是主体。老人的身体健康、就医等是最基本的生活保障。当前社会，智能手机已普及，智能穿戴设备如智能手环、智能手表等已经能监测人体的体温、心率、血压等参数信息，摄像头、智能马桶等设备也进入了很多家庭。但是，当前智能穿戴设备仅仅是用于佩戴者查看自己的身体状况，未与其他智能设备配合以对居家老人的身体健康进行有效监测和判断。
张晖等人(专利申请号：CN202011101279.4)提供了一种面向居家场景的老人异常行为检测方法，其在各房间中安置若干个摄像头，获取居所内老人的各种生活视频；训练单人行为识别CNN神经网络，根据老人在进行异常行为时的人物特征变化，提取其进行异常行为时的特征值；将获取的不同角度的各种生活视频进行网络训练；将该特征值进行特征融合并进行判断，给老人家属进行通知。该方法未利用智能穿戴设备、智能马桶等设备等采集数据，不能全面反映老人的身体状况。
倪佳斌等人(专利申请号：CN201911388532.6)公开了一种基于深度迁移学习的居家养老智能服务系统，包括：智能监测手环、信息处理终端和远程监护终端，该发明通过在智能监测手环上设有指纹报警按钮，老人可以通过指纹报警按钮进行一键报警并通过信息处理终端传输至远程监护终端，实现一键报警及时进行救护。该方法未利用摄像头、智能马桶等设备等采集数据，不能全面反映老人的身体状况。
发明内容
针对现有技术中存在的居家老人身体状况数据采集不全面，异常判断不准确的问题，本发明提出一种多模态特征注意力融合的居家养老智能监护方法及系统。该方案利用摄像头、智能穿戴设备、智能马桶等全面采集居家老人身体状况多模态数据，准确度高，又非常简单而易于实现，具有很好的应用前景。
本发明为解决上述技术问题采用以下技术方案：
一种多模态特征注意力融合的居家养老智能监护方法，具体步骤如下：
步骤1，从开源HMDB数据集中选择若干动作视频，根据动作的危险程度将所选动作视频分为N1个等级，其中1级为最低等级,N1级为最高等级；
步骤2，以步骤1中所选动作视频及对应的等级作为动作训练样本，训练根据动作判断老人动作状态等级的N1分类器，获得老人的动作模型；其中N1分类器的输入是视频中连续动作帧构成的帧序列，每一帧用RGB方式表示为三个矩阵，首先每一帧分别通过第一卷积模块提取图像特征，然后将每一帧的图像特征按时间顺序输入LSTM网络中，再后LSTM网络的输出通过输出层输出分类结果，输出层包括N1个单元的第一多层感知机和softmax激活函数；
步骤3，从开源fer2013数据集中选择若干人脸图片，根据表情的痛苦程度将所选人脸图片分为N2个等级，其中1级为最低等级,N2级为最高等级；
步骤4，以步骤3中所选人脸图片及对应的等级作为表情训练样本，训练根据表情判断老人心理状态等级的N2分类器，获得老人的心理模型；其中N2分类器的输入是用RGB方式表示为三个矩阵的人脸图片，首先输入通过第二卷积模块提取特征，然后提取的特征通过输出层输出分类结果，输出层包括N2个单元的第二多层感知机和softmax激活函数；
步骤5，采集若干人体生理数据，并根据危险程度所采集生理数据分为N3个等级，其中1级为最低等级,N3级为最高等级；
步骤6，以步骤5中所采集生理数据及对应的等级作为生理训练样本，训练判断老人生理状态等级的N3分类器，获得老人的生理模型；其中N3分类器是第三多层感知机；
步骤7，实时采集老人的活动视频以及生理数据，并从实时活动视频中提取连续动作帧和人脸图像，作为动作模型、心理模型和生理模型的输入；
步骤8，基于注意力机制，对步骤7中动作模型、心理模型和生理模型的输出进行多模态融合；
步骤9，将步骤8中多模态融合的结果输入第四多层感知机，得到老人的综合健康等级，并按照预设警报方式发出预警。
进一步，步骤2中第一卷积模块包括依次连接的第一卷积层、第一池化层、第二卷积层和第二池化层，其中第一卷积层和第一池化层之间、第二卷积层和第二池化层之间分别加入ReLU激活函数。
进一步，步骤4中的第二卷积模块包括依次连接的第1卷积层、第1池化层、第2卷积层、第2池化层、…、第K卷积层和第K池化层，K为大于等于3的正整数，第k卷积层和第k池化层之间加入ReLU激活函数，k＝1,2,…,K。
进一步，步骤8中当前时刻多模态融合的结果为：
式中，动作模型的权重
心理模型的权重
生理模型的权重
x1～xl为当前时刻之前动作模型的l个输出，y1～yl为当前时刻之前心理模型的l个输出，z1～zl为当前时刻之前生理模型的l个输出，ax为动作模型的初始权重，ay为心理模型的初始权重，az为生理模型的初始权重。
进一步，利用层次分析法求出动作模型、心理模型和生理模型的对于老人的综合健康等级的相对重要性，并以此作为各模型的初始权重。
进一步，步骤9中老人的综合健康等级分为4个等级，等级为1级时，向老人本人发出预警；等级为2级时，向老人本人发出预警并通知其监护人；等级为3级时，向老人本人发出预警，通知其监护人，同时上报社区养老服务机构；等级为4级时，向老人本人发出预警，通知其监护人，同时上报社区养老服务机构以及定点医院。
一种多模态特征注意力融合的居家养老智能监护系统，该系统包括高清摄像头、生理信息采集模块、云平台，高清摄像头、可佩戴生理信息采集模块通过无线网与云平台连接；
高清摄像头设置在老人的活动区域，实时采集老人的活动视频；
生理信息采集模块采集老人的生理数据；
云平台采用如权利要求1至6中任一所述的方法，得到老人的综合健康等级，并按照预设警报方式发出预警。
进一步，该系统还包括通过无线网与云平台连接的智能手机，智能手机由老人的监护人、社区养老服务机构、医院持有，云平台通过智能手机发出预警。
进一步，生理信息采集模块包括智能手环和智能马桶，智能手环采集老人的血压、体温和心率信息，智能马桶采集老人的排尿量、排尿时间、尿流率。
进一步，智能手环包括无线通信模块以及分别与其连接的生理信息采集模块、GPS定位模块、报警模块，无线通信模块经无线网连接云平台，云平台通过报警模块发出预警。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1、本发明利用摄像头、智能穿戴设备、智能马桶等全面采集居家老人身体状况多模态数据，采用基于多模态特征技术的深度学习模型来实现老人的综合健康状态等级判断，可以对老人的身体状况进行全方位判断分析，解决了采集数据量过少、识别难度大、精度低等问题，大幅度减少了错判率、误判率和漏判率，提高了监护的实用性和准确性；
2、本发明采用一种改进的基于注意力机制的方法完成多模态信息的融合，将老人的综合健康状态分为M个等级，并依据其判断的等级，云平台进行相应的操作，有利于老人后续进行及时合理诊疗，同时也有利于推动国家分级诊疗制度的有效实施。
附图说明
图1是本发明多模态特征注意力融合的居家养老智能监护系统的布置示意图；其中：1、云平台，2、高清摄像头，3、智能穿戴设备，4、智能马桶，5、智能手机。
图2为动作识别模型结构图；
图3为心理识别模型结构图；
图4为多层感知机结构图；
图5为基于多模态特征的深度学习模型结构图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
在一个实施例中，如图1所示，提供了一种多模态特征注意力融合的居家养老智能监护系统，主要包括高清摄像头、智能手环、智能马桶、云平台、智能手机，高清摄像头、智能手环、智能马桶通过无线网与云平台连接，云平台通过无线网与智能手机无线连接。
高清摄像头设置在老人经常活动的位置区域，如客厅、卧室、厨房、卫生间，每个区域至少设置3个摄像头，多角度实时摄取老人活动影像，经无线网络传输至云平台；云平台从高清摄像头摄取的影像中提取连续动作帧和人物脸部图像，利用深度学习模型完成对老人异常状态的识别。
智能手环包括生理信息采集模块、GPS定位模块、报警模块和无线通信模块，无线通信模块经无线网络连接云平台；其生理信息采集模块采集老人血压、体温和心率信息，经无线通信模块传输至云平台；报警模块为一键式报警。
智能马桶包括尿动力学检测模块和无线通信模块，无线通信模块经无线网络连接云平台，其尿动力学检测模块监测记录老人排尿量、排尿时间、尿流率等尿动力学参数，所述尿动力学检测数据经无线通信模块传输至云平台。
智能手机主要由老人的监护人、社区养老服务机构、医院等持有。
云平台将采集的视频、图片、生理信息数据、尿动力学参数等多模态数据投入深度学习分类器，判断老人的综合健康状态等级，并执行相应操作。
在一个实施例中，提供了云平台在进行老人的综合健康等级判断时采用的一种多模态特征注意力融合的居家养老智能监护方法，如图5所示，其基本步骤如下：
(1)从开源HMDB数据集中，选出标签为“爬”、“摔倒”、“走”、“跑”、“坐”、“起身”、“转身”、“推”、“拉”等日常生活中常见动作的视频，并根据动作的危险程度分为N1个等级，1级为最低,N1级为最高。以所选动作视频及对应的等级作为动作训练样本，训练根据动作判断老人动作状态等级的N1分类器，获得老人的动作模型。
在一个实施例中，如图2所示，N1分类器是一个包含卷积模块、LSTM网络以及多层感知机的深度学习模型，卷积模块包括两个“卷积层+ReLU+池化层”的堆叠，N1分类器的输入是视频中连续动作帧构成的一连串帧序列，每帧用RGB方式表示为三个矩阵，即输入通道数为3；对每一帧，通过两次卷积层+ReLU+池化层堆叠提取图像特征；之后，卷积模块提取的每一帧的图像特征按时间顺序输入LSTM网络中；所述LSTM网络用于把握输入特征在时间上的关联关系，应用该网络使模型能够将每一帧中包含的人的姿态联系成动作来把握；所述LSTM层的输出通过输出层——N1个单元的多层感知机和softmax激活函数，输出N1个类别的分类结果。
在一个实施例中，上述卷积模块中，卷积层使用大小为3×3的卷积核，步长为1；池化层采用最大池化方法，使用大小为2×2的过滤器，步长为2；在卷积层和池化层间加入ReLU激活函数加快网络的收敛。
(2)从开源fer2013数据集中，选出标签为“痛苦”，“开心”、“中性”、“愤怒”等日常生活中常见表情的图片，并根据人表情的痛苦程度分为N2个等级，1级为最低，N2级为最高。以所选图片及对应的等级作为表情训练样本，训练根据表情判断老人心理状态等级的N2分类器，获得老人的心理模型。
在一个实施例中，如图3所示，N2分类器是一个包含卷积模块以及多层感知机的深度学习模型，卷积模块包括若干各“卷积层+ReLU+池化层”的堆叠。N2分类器的输入是含有人物脸部表情的图片，用RGB方式表示为三个矩阵；输入经过若干卷积层+ReLU+池化层的堆叠提取图像特征后，经由输出层——N2个单元的多层感知机和softmax激活函数，得出N2个类别的分类结果。
(3)收集人的血压、体温、心率等生理信息数据和排尿量、排尿时间、尿流率等尿动力学参数数据作为人体总生理数据，并将人体总生理数据的危险程度分为N3个等级，1级为最低,N3级为最高。以人体总生理数据及对应的等级作为生理训练样本，训练判断老人生理状态等级的N3分类器，获得老人的生理模型。N3分类器的输入是测得的老人血压、体温、心率等生理信息数据及排尿量、排尿时间、尿流率等尿动力学参数数据，经由一个多层感知机(如图4所示)，得出N3个类别的分类结果。
(4)所述云平台通过收集目标群体老人的相关数据，利用迁移学习，将上述步骤(1)、(2)、(3)中的模型的输出结果，连接到同一个多模态特征融合网络上，使用从老人群体提取的多模态数据微调。所述多模态特征融合网络使用一种改进的基于注意力机制的方法完成多模态信息的融合，主要方法如下：
a.基于注意力机制，将上述三个模态融合，为求出各模态模型的初始权重，可以利用层次分析法求出各模态模型对于老人综合健康等级的相对重要性来作为初始权重，设动作模型的初始权重为ax，心理模型的初始权重为ay，生理模型的初始权重为az。
b.对上述的初始权重进行改进，引入平均值与方差的概念，假设在t时间内，动作模型的输出为
即输出了l个结果，为x1～xl；心理模型输出
即输出了l个结果，为y1～yl；生理模型输出
即输出了l个结果，为z1～zl。将这三个模型的输出各自求平均值和方差，设动作模型的平均值为
方差为
心理模型的平均为
方差为
生理模型的平均值为
方差为
即：
上述平均值反映了老人健康在三个方面的平均危险等级，平均值越低老人越健康，平均值越高老人越危险；方差则反映了老人平均危险等级的可信程度，方差越小，老人平均危险等级可信度越高，方差越大，老人平均危险等级可信度越低。
c.进一步改进上述a中的三个权重，则可引入一个函数，与平均值成正比，与方差成反比，由于三个模型的最高危险等级不同，则可将函数改为与Ni(i＝1,2,3)-平均值成反比，与方差也成反比，设该函数为f1,f2,f3，即：
将ax，ay，az三个权重与上述各自对应的函数相乘，再进行归一化处理，可以得到最终权重，设动作模型的最终权重为w1，心理模型的最终权重为w2，生理模型的最终权重为w3，则：
设基于注意力机制的多模态融合的特征为F'，则：
(5)经过上述注意力机制融合的特征再输入到多层感知机完成对老人状态的M分类；得到老人的综合健康等级。
(6)判断老人的综合健康等级完成后，依据其判断的等级，云平台进行相应的操作(M＝4)：危险等级为1时，仅提醒老人本人；危险等级为2时，提醒老人并通知持有智能手机的监护人；危险等级为3时，提醒老人，通知其监护人的同时上报持有智能手机的社区养老服务机构以获得社区的协助；危险等级为4时，再完成前一级的操作同时，上报给持有智能手机的医院。
以上对本发明实施例所提供的一种多模态特征注意力融合的居家养老智能监护方法及系统进行了详细介绍，对于本领域一般技术人员，依据本发明实施例思想，在具体实施方式及应用范围上均会有改变之处，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.多模态特征注意力融合的居家养老智能监护方法，其特征在于，具体步骤如下：
步骤1，从开源HMDB数据集中选择若干动作视频，根据动作的危险程度将所选动作视频分为N1个等级，其中1级为最低等级,N1级为最高等级；
步骤2，以步骤1中所选动作视频及对应的等级作为动作训练样本，训练根据动作判断老人动作状态等级的N1分类器，获得老人的动作模型；其中N1分类器的输入是视频中连续动作帧构成的帧序列，每一帧用RGB方式表示为三个矩阵，首先每一帧分别通过第一卷积模块提取图像特征，然后将每一帧的图像特征按时间顺序输入LSTM网络中，再后LSTM网络的输出通过输出层输出分类结果，输出层包括N1个单元的第一多层感知机和softmax激活函数；
步骤3，从开源fer2013数据集中选择若干人脸图片，根据表情的痛苦程度将所选人脸图片分为N2个等级，其中1级为最低等级,N2级为最高等级；
步骤4，以步骤3中所选人脸图片及对应的等级作为表情训练样本，训练根据表情判断老人心理状态等级的N2分类器，获得老人的心理模型；其中N2分类器的输入是用RGB方式表示为三个矩阵的人脸图片，首先输入通过第二卷积模块提取特征，然后提取的特征通过输出层输出分类结果，输出层包括N2个单元的第二多层感知机和softmax激活函数；
步骤5，采集若干人体生理数据，并根据危险程度所采集生理数据分为N3个等级，其中1级为最低等级,N3级为最高等级；
步骤6，以步骤5中所采集生理数据及对应的等级作为生理训练样本，训练判断老人生理状态等级的N3分类器，获得老人的生理模型；其中N3分类器是第三多层感知机；
步骤7，实时采集老人的活动视频以及生理数据，并从实时活动视频中提取连续动作帧和人脸图像，作为动作模型、心理模型和生理模型的输入；
步骤8，基于注意力机制，对步骤7中动作模型、心理模型和生理模型的输出进行多模态融合；
步骤9，将步骤8中多模态融合的结果输入第四多层感知机，得到老人的综合健康等级，并按照预设警报方式发出预警。
2.根据权利要求1所述的多模态特征注意力融合的居家养老智能监护方法，其特征在于，步骤2中第一卷积模块包括依次连接的第一卷积层、第一池化层、第二卷积层和第二池化层，其中第一卷积层和第一池化层之间、第二卷积层和第二池化层之间分别加入ReLU激活函数。
3.根据权利要求1所述的多模态特征注意力融合的居家养老智能监护方法，其特征在于，步骤4中的第二卷积模块包括依次连接的第1卷积层、第1池化层、第2卷积层、第2池化层、…、第K卷积层和第K池化层，K为大于等于3的正整数，第k卷积层和第k池化层之间加入ReLU激活函数，k＝1,2,…,K。
4.根据权利要求1所述的多模态特征注意力融合的居家养老智能监护方法，其特征在于，步骤8中当前时刻多模态融合的结果为：
式中，动作模型的权重
心理模型的权重
生理模型的权重
x1～xl为当前时刻之前动作模型的l个输出，y1～yl为当前时刻之前心理模型的l个输出，z1～zl为当前时刻之前生理模型的l个输出，ax为动作模型的初始权重，ay为心理模型的初始权重，az为生理模型的初始权重。
5.根据权利要求4所述的多模态特征注意力融合的居家养老智能监护方法，其特征在于，利用层次分析法求出动作模型、心理模型和生理模型的对于老人的综合健康等级的相对重要性，并以此作为各模型的初始权重。
6.根据权利要求1所述的多模态特征注意力融合的居家养老智能监护方法，其特征在于，步骤9中老人的综合健康等级分为4个等级，等级为1级时，向老人本人发出预警；等级为2级时，向老人本人发出预警并通知其监护人；等级为3级时，向老人本人发出预警，通知其监护人，同时上报社区养老服务机构；等级为4级时，向老人本人发出预警，通知其监护人，同时上报社区养老服务机构以及定点医院。
7.多模态特征注意力融合的居家养老智能监护系统，其特征在于，该系统包括高清摄像头、生理信息采集模块、云平台，高清摄像头、可佩戴生理信息采集模块通过无线网与云平台连接；
高清摄像头设置在老人的活动区域，实时采集老人的活动视频；
生理信息采集模块采集老人的生理数据；
云平台采用如权利要求1至6中任一所述的方法，得到老人的综合健康等级，并按照预设警报方式发出预警。
8.根据权利要求7所述的多模态特征注意力融合的居家养老智能监护系统，其特征在于，该系统还包括通过无线网与云平台连接的智能手机，智能手机由老人的监护人、社区养老服务机构、医院持有，云平台通过智能手机发出预警。
9.根据权利要求7所述的多模态特征注意力融合的居家养老智能监护系统，其特征在于，生理信息采集模块包括智能手环和智能马桶，智能手环采集老人的血压、体温和心率信息，智能马桶采集老人的排尿量、排尿时间、尿流率。
10.根据权利要求9所述的多模态特征注意力融合的居家养老智能监护系统，其特征在于，智能手环包括无线通信模块以及分别与其连接的生理信息采集模块、GPS定位模块、报警模块，无线通信模块经无线网连接云平台，云平台通过报警模块发出预警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111113913.0A CN113869179A (zh) | 2021-09-23 | 2021-09-23 | 多模态特征注意力融合的居家养老智能监护方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111113913.0A CN113869179A (zh) | 2021-09-23 | 2021-09-23 | 多模态特征注意力融合的居家养老智能监护方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113869179A true CN113869179A (zh) | 2021-12-31 |
Family
ID=78993463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111113913.0A Pending CN113869179A (zh) | 2021-09-23 | 2021-09-23 | 多模态特征注意力融合的居家养老智能监护方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113869179A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117379016A (zh) * | 2023-12-11 | 2024-01-12 | 吉林省牛人网络科技股份有限公司 | 用于肉牛养殖的远程监控系统及其方法 |
| CN117991709A (zh) * | 2024-04-03 | 2024-05-07 | 申旺卫浴科技有限公司 | 高清洁型智能家居马桶控制系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112216065A (zh) * | 2020-10-15 | 2021-01-12 | 吕行 | 一种老年人行为智能看护系统及识别方法 |
| KR102230493B1 (ko) * | 2020-08-20 | 2021-03-23 | 주식회사 씨디에스 | O2o 기반의 노노케어 시스템 및 그 운영방법 |
| CN112861769A (zh) * | 2021-03-02 | 2021-05-28 | 武汉爱科森网络科技有限公司 | 一种智能养老监控预警系统和方法 |
| KR20210065819A (ko) * | 2019-11-27 | 2021-06-04 | 주식회사 이앤지테크 | 스마트 시니어케어 컨텐츠 서비스 지원용 건강체킹 시스템 및 그 구동 방법 |
-
2021
- 2021-09-23 CN CN202111113913.0A patent/CN113869179A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210065819A (ko) * | 2019-11-27 | 2021-06-04 | 주식회사 이앤지테크 | 스마트 시니어케어 컨텐츠 서비스 지원용 건강체킹 시스템 및 그 구동 방법 |
| KR102230493B1 (ko) * | 2020-08-20 | 2021-03-23 | 주식회사 씨디에스 | O2o 기반의 노노케어 시스템 및 그 운영방법 |
| CN112216065A (zh) * | 2020-10-15 | 2021-01-12 | 吕行 | 一种老年人行为智能看护系统及识别方法 |
| CN112861769A (zh) * | 2021-03-02 | 2021-05-28 | 武汉爱科森网络科技有限公司 | 一种智能养老监控预警系统和方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117379016A (zh) * | 2023-12-11 | 2024-01-12 | 吉林省牛人网络科技股份有限公司 | 用于肉牛养殖的远程监控系统及其方法 |
| CN117379016B (zh) * | 2023-12-11 | 2024-02-23 | 吉林省牛人网络科技股份有限公司 | 用于肉牛养殖的远程监控系统及其方法 |
| CN117991709A (zh) * | 2024-04-03 | 2024-05-07 | 申旺卫浴科技有限公司 | 高清洁型智能家居马桶控制系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Di Rosa et al. | Concurrent validation of an index to estimate fall risk in community dwelling seniors through a wireless sensor insole system: A pilot study | |
| CN107680674A (zh) | 一种基于健康大数据的健康物联网平台及其管理方法 | |
| Zhang et al. | A context-aware mhealth system for online physiological monitoring in remote healthcare | |
| CN113869179A (zh) | 多模态特征注意力融合的居家养老智能监护方法及系统 | |
| CN106897569A (zh) | 一种智能健康终端系统的工作方法 | |
| CN112216065A (zh) | 一种老年人行为智能看护系统及识别方法 | |
| CN116564561A (zh) | 基于生理与情感特征的智能语音看护系统及看护方法 | |
| CN110584601A (zh) | 一种老人认知功能监测和评估方法 | |
| CN113782208A (zh) | 基于智能康复设备的家庭健康评估及干预系统 | |
| Jatesiktat et al. | An elderly fall detection using a wrist-worn accelerometer and barometer | |
| CN115662631A (zh) | 基于ai智能判别的养老院管理系统 | |
| López-Cuevas et al. | FiToViz: A visualisation approach for real-time risk situation awareness | |
| CN106657415A (zh) | 一种智能健康终端系统 | |
| CN113208575A (zh) | 利用物联网可穿戴装置检测冠状病毒感染的方法和系统 | |
| CN112016619A (zh) | 一种基于鞋垫的跌倒检测方法 | |
| CN110755091A (zh) | 一种个人心理健康监测系统及方法 | |
| CN117275699B (zh) | 一种智慧病房系统 | |
| TW202221621A (zh) | 用於照護教育之虛擬環境訓練系統 | |
| Cheng | An intelligent fall detection system using triaxial accelerometer integrated by active RFID | |
| Ghazal et al. | An integrated caregiver-focused mHealth framework for elderly care | |
| CN113658703A (zh) | 一种智慧医疗养老系统 | |
| CN206542449U (zh) | 一种智能健康终端系统 | |
| CN116825364A (zh) | 一种高危人群健康识别判定系统 | |
| CN112890767A (zh) | 一种口手足健康状态自动检测装置及方法 | |
| CN116864126A (zh) | 基于深度学习-机器学习的老人健康预测分析系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |