CN111755120B - 一种基于边缘智能和多模感知的认知障碍预测方法 - Google Patents

Abstract

本发明涉及一种基于边缘智能和多模感知的认知障碍预测方法，通过对老年人日常活动和异常行为的监测记录及分析判断，辅助诊断是否患有早期认知障碍；有利于在准确分析出认知障碍后，通过移动端的各项康复训练手段，延缓认知下降的速度，从而为老年人的健康和幸福提供有效的服务与帮助。通过各类采集设备，获取物联网数据，在边缘端进行处理分析后，结果返回云端数据库，采用历史行为分析法，挖掘长期异常行为，进行早期认知障碍的预诊断，并开发能够针对不同类型认知缺陷提供相应认知训练的APP，协助患者延缓认知下降。

Description

一种基于边缘智能和多模感知的认知障碍预测方法

技术领域

本发明涉及一种预测方法，具体涉及一种基于边缘智能和多模感知的认知障碍预测方法。

背景技术

世界卫生组织预测，2050年全世界老年人口将达到20.2亿；其中，中国老年人口将达到4.8亿。在中国人口老龄化的今天，中国痴呆症患者已经超过1000万人，居世界第一：其中有60％发展为阿尔茨海默症，80岁以上发病率超过30％。

现如今，我国已经进入人口老龄化迅速发展时期，支持老年人独立生活的主动式医疗服务已经成为国家发展战略方向。认知下降会严重影响老人的生活，恶化为老年痴呆症后，对老人的健康构成了严重的威胁。

中晚期的老年认知障碍很难通过认知训练来延缓认知下降的速度，且治疗成本过高，极易发展为老年痴呆症。而轻度认知障碍(MCI)，通常被看作为正常认知下降与痴呆症之间的一种过渡状态。对MCI进行诊断，有助于预防或推迟痴呆症的发病时间。

最新研究表明，MCI是一个异质性的综合征，可分为遗忘型MCI和非遗忘型MCI，两种类型又可以划分不同的亚型。它们的实质其实是不同的认知功能上具有一定缺陷，提供相应的针对性训练，会有效提高患者的认知能力，延缓认知下降的速度。

表1-1 MCI类别与训练方式对照表

国内外的几个神经科学研究领域的研究也表明了：对老年人日常活动和特定异常行为的监测有助于轻度认知障碍症状的早期诊断。在认知障碍的早期，通过对老年人日常活动和特定异常行为的监测，主动性的发现老人认知下降的征兆，并及时提供认知训练，延缓认知障碍下降的速度，将会更大程度地减轻其带给老年人的困扰。

发明内容

为了解决现有技术中传感设备误触引起的错误数据、老人个人生活习惯等因素带来的不可避免的偶然性问题所导致的模型误判。本发明提出一种基于边缘智能和多模感知的认知障碍预测方法，采用传感设备与摄像头监测验证的主辅型数据采集方式，在将传感数据映射为原子行为时，调用客户端摄像的视频数据流，使用训练好的深度学习模型进行图像的处理分析，加以佐证老人的活动行为的发生。

本发明通过以下技术手段解决上述技术问题：

一种基于边缘智能和多模感知的认知障碍预测方法，所述方法包括：

接收样本数据集，其中，样本数据集包括：监测对象的行为映射数据；

将初始化后的BP神经网络应用于所述样本数据集；其中，所述BP神经网络包括输入层，隐含层和输出层，每一个层包括与该层相关联的行为权重；

采用梯度下降法和反向传播算法对所述BP神经网络进行训练；

将预先采集视频流数据输入训练好的所述BP神经网络中，得到输出特征向量；

将所述输出特征向量与预设阈值进行比较，以确定监测对象的行为异常。

优选的，所述采集监测对象的行为映射数据包括：

采用ZigBee协调器，将传感器的采集的监测数据转发给移动终端；

所述移动终端结合语义结合实际场景因素，将采集的监测数据映射为对应行为，以获得BP神经网络输入层的输入的行为映射数据；

针对模糊行为数据，结合上下文语义环境转换多样数据。

进一步地，所述对采集的监测数据进行预处理包括：基于多模传感技术采集多样数据，所述多样数据为不同单位、格式、量值范围的各类传感变量；

对多样数据进行无量纲化处理；

基于进行无量纲化处理后的技术指标值矩阵，并通过premnmx()函数将网络的输入数据进行归一化，使得归一化后的数据将分布在[-1,1]区间内。

进一步地，所述将初始化后的BP神经网络应用于所述样本数据集包括：

将样本数据集中所有行为权重向量聚类成输入层的若干个结点；

计算每个结点的权重，以及每个结点对各个行为类别的支持度；

所述支持度S值随输入层结点和维度的变化而变化。

进一步地，通过下式确定输入层结点个数：

其中，m为输入层结点个数，n为输出层结点个数，a为1～10范围内的调节常数。

进一步地，所述采用梯度下降法和反向传播算法对BP神经网络进行训练包括：

确定BP神经网络隐含层结点个数，根据所有结点的输出值、当前节点与上一层所有结点的权值和当前节点的阀值以及激活函数，计算每个结点的输出值；提取输入层需要的特征作为输入层结点的值，同时提取输入层需要的特征作为输入层结点的值，采用训练好的BP神经网络进行前向传播，获取行为类型；

根据每次结点的输出求偏微分以调整每个结点的权重；

设置迭代条件，采用梯度下降法，根据代价函数的梯度迭代计算权重系数的最优解；

对BP神经网络的结点的输出进行调整，直到得到满足迭代条件的误差函数。

进一步地，设X_λ(λ＝1，2，...，m)为输入层结点，且，X_λ∈{C_ti，C_mi，m₁，T，M′，F，G，v，v′}，i＝1，2，...，k；

记j(j＝1，2，...，t)为隐含层结点，y_j为隐含层对应结点初始输出值，对应隐含层最终输出值为Y_j；同理，记θ(θ＝1，2，...，n)为输出层结点，y_θ为输出层对应结点初始输出值，对应输出层最终输出值为Y_θ；

通过下式确定BP神经网络输出层结点的输出值：

Y_θ＝f(y_θ)

其中，y_j表示结点j的输出值，Y_θ为网络的计算输出。

进一步地，通过下式确定BP神经网络输出层的迭代条件：

其中，T_θ为期望输出、Y_θ为网络的计算输出。

进一步地，将结点j和结点θ的当前偏置b_j，b_θ输入的待调整的网络参数：

前向传递两两层之间的权重分别记为ω_λj，ω_jθ，均由激励函数模拟测试后随机初始化，并于后续的网络迭代训练中自更新调整。

进一步地，所述代价函数通过下式确定：

式中，W为权重系数向量，N表示样本量，x_n表示第n个行为类型分类变量的值，yn表示根据回归函数求得x_n的对应值。

本发明的有益效果体现在：

本发明提供本发明涉及了一种基于边缘智能和多模感知的认知障碍预测方法，解决了由于传感设备误触引起的错误数据、老人个人生活习惯等因素带来的不可避免的偶然性问题所导致的模型误判。

本发明采用传感设备与摄像头监测验证相结合的主辅型数据采集方式，在将传感数据映射为原子行为时，调用客户端拍摄的视频数据流，使用训练好的深度学习模型进行图像的处理分析，加以佐证老人的异常活动行为的发生。以上交叉验证的方式是本发明的突出创新点之一，边缘化处理视频数据更是既提高了一般传感监测系统的合理性与严密性又有效地保证了用户的隐私性。

通过早期监测诊断老年人的认知健康状态，进行预防和辅助康复的帮助，从而降低老年群体认知障碍的发病率，为老年人的健康和幸福提供有效服务。支持老年人独立生活的主动式医疗服务符合我国医疗发展战略，对于经济发展、社会稳定以及安定团结的大局面的构建起到了重要作用。

本发明将物联网技术融合于主动式医疗服务中，将采集到的数据映射为行为，实现对老人日常行为的监测，根据分析结果在移动端提供相应的认知训练。有益效果具体包括：

(1)边缘计算与云平台结合

将云边结合的设计理念融入在物联网应用当中，采用边缘计算与云平台相结合的模式，针对不同数据的不同需求提供不同的计算平台，减少了不必要的数据流量，同时图像信息和物联网数据将在数据边缘端进行处理，提高了整个系统的信息安全性，保护了用户的个人隐私。

(2)移动端提供认知训练方案的推荐

国内外最新研究表明，MCI是一个异质性的综合征，可分为遗忘型MCI和非遗忘型MCI，两种类型又可以划分不同的亚型。它们的实质其实是不同的认知功能上具有一定缺陷，我们的产品可以判别患病用户在何种认知功能出现了下降趋势，并提供相应的训练方案，延缓认知下降的速度。

(3)历史数据记录及可视化

由于用户个人习惯以及生活方式差异会带来系统误差，系统具有短期异常行为监测与认知障碍判定及长期行为数据记录监测功能，以可视化呈现行为数据特征，便于用户观察异常行为状态的具体表现和变化趋势。

(4)传感数据与图像信息交叉分析

单使用传感数据来进行行为识别，其正确率比使用图像分析低很多，长持续对被监测者进行视频采集，容易侵犯到用户的个人隐私且功耗太高。我们采用传感数据与图像信息交叉分析的方式，进行日常行为的监测，功耗更低，且很大程度的保护了用户的隐私。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1是本发明具体实施方式提供的基于边缘智能和多模感知的认知障碍预测方法流程图；

图2是本发明具体实施方式提供的系统框架图；

图3是本发明具体实施方式提供的系统原理框架图；

图4是本发明具体实施方式提供的DHT11温湿度传感器电路结构示意图；

图5是本发明具体实施方式提供的火焰传感器电路原理图；

图6是本发明具体实施方式提供的HX711模块电路原理图；

图7是本发明具体实施方式提供的认知障碍数据分析原理图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步的详细说明。

为了具体了解本发明提供的技术方案，将在下面的实施例中对本发明的技术方案做出详细的描述和说明。显然，本发明提供的实施例并不限定于本领域的技术人员所熟习的特殊细节。本发明的较佳实施例详细描述如下，除这些描述外，本发明还可以具有其他实施方式。

如图1所示，本发明提供一种基于边缘智能和多模感知的认知障碍预测方法，所述方法包括：

S1接收样本数据集，其中，样本数据集包括：监测对象的行为映射数据；

S2将初始化后的BP神经网络应用于所述样本数据集；其中，所述BP神经网络包括输入层，隐含层和输出层，每一个层包括与该层相关联的行为权重；

S3采用梯度下降法和反向传播算法对所述BP神经网络进行训练；

S4将预先采集视频流数据输入训练好的所述BP神经网络中，得到输出特征向量；

S5将所述输出特征向量与预设阈值进行比较，以确定监测对象的行为异常。

采用传感数据和视频识别结合的方式来进行老人行为的识别。我们用识别老人吃药的行为来举例说明：当RFID阅读器识别到贴在药瓶上的标签发生了位置变化，将信息通过ZigBee发送给移动终端，移动终端接收到信息后通过socket套接字或串口调用摄像头获取图像信息，使用训练好的深度学习模型进行动作识别，判断其是否服用药物。

以传感设备采集的数据作为行为映射数据，结合场景因素的语义设定，对其进行合理的分析、统计，以获得建立模型的输入层数据；

根据基准时期的初始数据进行测试与统计，极差化处理得到模型预测值上下限及相关原子行为权重。

步骤S1中，采集监测对象的行为映射数据包括：

采用ZigBee协调器，将传感器的采集的监测数据转发给移动终端；

所述移动终端结合语义结合实际场景因素，将采集的监测数据映射为对应行为，以获得BP神经网络输入层的输入的行为映射数据；

针对模糊行为数据，结合上下文语义环境转换多样数据。

其中，对采集的监测数据进行预处理包括：

基于多模传感技术采集多样数据，所述多样数据为不同单位、格式、量值范围的各类传感变量；

对多样数据进行无量纲化处理；

基于进行无量纲化处理后的技术指标值矩阵，并通过premnmx()函数将网络的输入数据进行归一化，使得归一化后的数据将分布在[-1,1]区间内。

步骤S2中，将初始化后的BP神经网络应用于所述样本数据集包括：

将样本数据集中所有行为权重向量聚类成输入层的若干个结点；

计算每个结点的权重，以及每个结点对各个行为类别的支持度；

所述支持度S值随输入层结点和维度的变化而变化。

通过下式确定输入层结点个数：

其中，m为输入层结点个数，n为输出层结点个数，a为1～10范围内的调节常数。

步骤S3中，采用梯度下降法和反向传播算法对BP神经网络进行训练包括：

确定BP神经网络隐含层结点个数，根据所有结点的输出值、当前节点与上一层所有结点的权值和当前节点的阀值以及激活函数，计算每个结点的输出值；提取输入层需要的特征作为输入层结点的值，同时提取输入层需要的特征作为输入层结点的值，采用训练好的BP神经网络进行前向传播，获取行为类型；

根据每次结点的输出求偏微分以调整每个结点的权重；

具体执行步骤为：设置迭代条件，采用梯度下降法，根据代价函数的梯度迭代计算权重系数的最优解；

对BP神经网络的结点的输出进行调整，直到得到满足迭代条件的误差函数。

设X_λ(λ＝1，2，...，m)为输入层结点，且X_λ∈{C_ti，C_mi，m₁，T，M′，F，G，v，v′}，i＝1，2，...，k；

记j(j＝1，2，...，t)为隐含层结点，y_j为隐含层对应结点初始输出值，对应隐含层最终输出值为Y_j；同理，记θ(θ＝1，2，...，n)为输出层结点，y_θ为输出层对应结点初始输出值，对应输出层最终输出值为Y_θ；

通过下式确定BP神经网络输出层结点的输出值：

Y_θ＝f(y_θ)

其中，y_j表示结点j的输出值，Y_θ为网络的计算输出。

通过下式确定BP神经网络输出层的迭代条件：

其中，T_θ为期望输出、Y_θ为网络的计算输出。

将结点j和结点θ的当前偏置b_j，b_θ输入的待调整的网络参数：

前向传递两两层之间的权重分别记为ω_λj，ω_jθ，均由激励函数模拟测试后随机初始化，并于后续的网络迭代训练中自更新调整。

述代价函数通过下式确定：

式中，W为权重系数向量，N表示样本量，x_n表示第n个行为类型分类变量的值，yn表示根据回归函数求得x_n的对应值。

实施例1：

基于同一发明构思，本发明具体实施方式实施例1还提供了一种基于边缘智能和多模感知的认知障碍预测方法建立的一种基于老年认知障碍预防系统，如图2所示，该可用于实现上述基于边缘智能和多模感知的认知障碍预测方法。具体包括：

1.1系统概述：

为了预防老人早期认知障碍的恶化，设计一个基于物联网和数据分析的系统，在老人的房间内部署多种感知设备，对其日常行为进行监测记录。部署于房间内的智能终端和通讯模块构成边缘智能处理平台，根据行为记录，分析其是否出现了类似遗忘、重复等的异常行为，并通过BP神经网络得出其何种认知功能出现了下降趋势。最终，在移动端配套的WebAPP会针对性的提供认知训练方案。

1.1.1系统框架

ZigBee终端采集传感器获取的传感信息以及RFID设备获取的标签状态信息，使用ZigBee协议传输至ZigBee协调器，经由串口将数据传给边缘智能处理分析平台，摄像头获取图像信息后，经过训练好的深度学习模型分析处理后，通过socket通信将分析结果传输至平台，平台将处理分析的结果通过NB-IoT模块，使用CoAP协议将数据上传到云平台，WebAPP通过HTTPS协议获取北向接口的数据，进行数据可视化。

1.1系统设计

1.1.1功能设计

本系统设计了以下三个模块：

1.日常行为监测系统：

(1)采集信息：在房屋内部署传感器设备、RFID设备、ZigBee设备，构成无线传感网络采集多模信息，结合高清摄像头，搭建起老人的日常行为检测系统。

2.边缘智能处理分析平台：

(1)图像分析：在数据边缘端建立Socket通信服务端，获取客户端传输的图像信息，使用训练好的深度学习模型，进行图像的处理分析。

(2)数据—行为映射：获取无线传感网络传输的数据，进行信息的处理分析，将简单的传感数据及RFID标签信息，映射为老人的行为模式，如表2-1所示。

表2-1数据采集—行为模式映射表

(3)异常分析、认知健康状态判定：将老人的日常行为及短期异常行为记录成历史行为日志，挖掘长期异常行为，实现对认知功能是否存在异常的判断。边缘端处理平台将传感设备监测获取的数据进行初步处理、分析，得出异常行为的类型，以及对应异常的次数，如表2-2所示，并将此结果反馈作为预测模型输入。

表2-2不同类型的错误异常行为

而后基于数据特征、输入输出维数等选定训练函数、创建BP网络(Back-ProPagation Network)，通过样本数据的训练，不断自修正网络权值和阈值使误差函数沿负梯度方向下降，逼近期望输出，依据标准参数映射的判断区间，获得健康状态的判定。

(4)数据上云：将数据边缘端的所有分析结果和判断结果通过NB-IoT模块传输至云平台。

3.Web APP：

(1)数据可视化：移动端WebAPP可以获取云平台北向接口的数据，得到经过处理分析后的物联网数据及患者认知功能健康状态，进行数据的可视化。

(2)异常行为警报：移动端可以提醒用户今日作出了哪些异常行为，减少安全隐患。

(3)认知功能训练：对于患病用户能够调用预存的训练方案，提供针对性的认知能力训练。

1.1.2认知训练设计

认知训练小游戏使用JavaScript来编写，嵌入WebAPP内。

认知训练方案设置原理：

(1)相册消消乐

相册消消乐属于记忆训练。记忆训练是一种单领域认知训练，方法简单易行。研究证实，单纯教授记忆策略可提高轻度认知障碍病人的记忆力，同时指导其使用感兴趣的记忆辅助工具能够协助其将记忆策略应用于日常生活中，完成日常生活中的记忆任务弥补单纯教授记忆策略的不足。有研究表明，针对MCI老年人实施记忆策略与记忆辅助工具相结合的干预结果显示，老年人的记忆力、记忆满意度及生存质量均有提高。

(2)计算题测试

计算题测试属于计算能力训练。国外研究人员对认知障碍病人进行的计算力训练结果表明，训练可以提高病人的计算力，但病人整体认知水平的改善不明显，因此单一训练计算力对认知能力的影响还有待进一步的研究，建议配合其他训练方案一同使用。

(3)连连看

连连看属于执行能力训练。执行功能指个体在实现某一特定目标时采取灵活优化方式，来计划、始动、排序、监控目标指向性行为的认知技能。

执行能力所相关的认知技能包括了注意力，任务管理能力，反应能力，记忆能力，任务规划能力。类似连连看、路径规划的小游戏，用户在进行时会同时刺激用户的各项认知技能，在寻找相同方块的过程中，锻炼了患者的注意力与记忆力，在不断寻求最快通关方式的过程中，患者的反应速度、任务管理能力也将得到改善。

1.2技术实现

1.2.1感知层技术

RFID识别：阅读器将寻卡命令通过编码将数字信号转成模拟信号，再通过调制技术将信号调制到适当频率以电磁波的形式发送出去。若有标签存在，返回标签的UID号；则寻卡失败。

温湿度检测：DHT11温湿度传感器通过单总线协议，DHT11温湿度传感器如图4所示，经过内嵌的AD模块将模拟信号量转成数字信号量发送给单片机。

红外人体检测：HC_SR501红外传感器利用人体会发出红外线的原理，时刻检测周围是否有人存在。

火焰检测：可以检测波长在760纳米～1100纳米范围内的光源，如果火焰越大，可测试的距离越远。其中，火焰传感器的电路原理图如图5所示。

压力检测：HX711模块是一个24位精度的AD采集模块，如图6所示。具有两路模拟通道输入，内部集成128倍增益可编程放大器。输入电路可配置为提供桥压的电桥式(如压力、称重)传感器模式。

可燃气体(天然气、酒精、CO、液化气)检测:MQ-2-135-7-9系列传感器使用的气敏材料是在清洁空气中电导率较低的二氧化锡(SnO2。当传感器所处环境中存在可燃气体时。传感器的电导率岁空气中可燃气体浓度的增加而增大。使用AD电路即可将电导率的变化转化为与该气体浓度相对应的输出信号。

图像获取：使用高清摄像头获取视频流，通过Socket通信将视频流传输给图像处理端。

1.2.2传输层技术

(1)ZigBee

ZigBee节点采集传感器获取的数据，通过ZigBee协议传输给ZigBee协调器，经由串口传输数据给智能终端。

采用cc2530作为主控的ZigBee设备，基于的Z-Stack协议栈，组成星型网络。终端节点搭载了传感器，将采集的数据，封装成特定的字符串(如“card status：0/1”代表阅读器寻卡失败/成功。“doors closed：0/1”代表门的敞开或闭合)，将数据以点对点的方式发给协调器节点。

节点接收到数据包后会触发进入事件处理函数，将收到的终端节点发送的数据再发送给智能终端。

(2)NB-IoT

智能终端搭载了NB-IoT模组，将模组与IoT云平台对接后，使用CoAP协议将数据传输给云平台。

将NB-IoT模组的IMEI号注册在IoT云平台内，在智能终端内使用Python代码调用串口发送AT指令给NB-IoT模组，驱动模组与平台通讯。

1.2.3控制层技术

移动终端作为整个系统的控制层，使用Python在嵌入式系统内进行程序开发，使智能终端可处理不同协议的数据，对数据进行解析、预处理，并进行异常分析。

智能终端主要通过Python代码来调用串口和通讯模块进行数据交互，ZigBee协调器、NB-IoT模组等都与智能终端的串口相连。ZigBee协调器将各类感知设备的数据转发给智能终端后，在智能终端内对数据预处理，进行数据和行为模式的映射，并分析出异常行为，最后通过串口发送AT指令驱动NB-IoT模组上报数据给IoT云平台。

在智能终端内，我们采用传感数据和视频识别结合的方式来进行老人行为的识别。我们用识别老人吃药的行为来举例说明：当RFID阅读器识别到贴在药瓶上的标签发生了位置变化，将信息通过ZigBee发送给智能终端，智能终端接收到信息后通过socket套接字或串口调用摄像头获取图像信息，使用训练好的深度学习模型进行动作识别，判断其是否服用药物。

1.2.4软件开发技术

本产品的软件分为移动端WebAPP和云端后台服务器两个部分。

移动端WebAPP使用Hbuilder X进行开发，网页设计采用了HTML+CSS+JavaScript技术，在考虑性能和体验的情况下使用MUI框架，并加入Echarts进行数据的图表绘制。WebAPP使用HTTPS协议，发送包含了crt文件和key文件验证路径的HTTP请求，获取IoT云平台北向接口的数据，实现数据的可视化。认知训练小游戏采用JavaScript来制作。

云端后台服务器使用Django-2.0进行开发，通过Python爬虫技术获取IoT云平台北向接口的数据，使用Nginx+uWSGI将Django工程部署在Azure云的虚拟机内，作为WebAPP的后台。

1.2.5数据分析技术

首先我们考虑以传感设备监测捕获的数据作为行为映射基础，结合场景因素的语义设定，对其进行合理的分析、统计，以建立模型的输入端数据储备。与此同时，根据基准时期的初始数据进行测试与统计，极差化处理得到模型预测值上下限及相关原子行为权重。而后，我们通过由上述参数等设置初始化后的BP神经网络对数据集进行训练(相当于得到一个隐含的映射关系)。在网络结构符合相对合理的支持度S(S值会随数据集的数量以及维度调整变化)情况下，将模拟场景下获得的实验监测测试数据集导入已训练好的网络，基于此前自训练得到的映射关系推理生成一个输出值，亦即混合异常行为判定所需的权值。最后，根据其是否隶属于模型预测值阈值范围作出行为异常与否的判定。

为了解决传感设备误触引起的错误数据、老人个人生活习惯等因素带来的不可避免的偶然性问题所导致的模型误判，由此产生的认知障碍数据。本实施例采用传感设备与摄像头监测验证的主辅型数据采集方式。在将传感数据映射为原子行为时，调用客户端的视频数据流，使用训练好的深度学习模型进行图像的处理分析，分析原理图如图7所示，加以佐证老人的活动行为的发生。交叉验证的方式是该系统的突出创新点之一，边缘化处理视频数据更是既提高了一般传感监测系统的合理性与严密性又有效地保证了用户的隐私性。

其中，所采用的算法模型包括：

1.数据映射模型：在实际的BP网络测试中，我们将面向老人生活环境的传感设备所获取的目标数据，结合语义，映射为对应行为的同时规整提取输入层需要的特征作为输入层结点的值，用上述训练好的网络来进行前向传播从而实现目标的分类。

本文系统使用多模传感技术采集多样数据势必导致原始数据本身的单位、量值范围等差异较大，故首先对各类传感变量去量纲化以统一度量衡，继而通过premnmx()函数将网络的输入数据进行归一化，归一化后的数据将分布在[-1,1]区间内。另，部分传感数据无法直接表征行为，需结合上下文语义环境实现传感变量的转换。

具体行为映射公式表达如下：

(1)服药行为异常考虑为：服用药物次数异常与服用药量异常.

设i(i＝1，2，...k)为用户需服用药的种类，p_i为药物名，T_i为对应药物每天应服用的次数，p_mi为药物p_i单次需服用的量。ω_t为服用药物次数异常的比权，ω_a为服用药物药量异常的比权，W为服药行为异常阈值。

服用药物次数异常:

设N_i为一天内药物p_i的药瓶重量值的总记录数，Z_i为药瓶重量值未发生变化的记录数(即未拿药)，则一天内实际服药次数可表示为：

Δ_ti＝N_i-Z_i

且，

其中，C_ti为p_i服用次数异常的统计变量。

服用药量异常：

设x_i,y_i分别表示用户每次拿取p_i药瓶前后的药的重量，记为单次取药量为Δ_mi，则每次实际服用药物量为：

Δ_mi＝x_i-y_i

故有

其中，C_mi为p_i服用量异常的统计变量。

针对上述两部分，服药异常行为的线性加权处理可用下面的公式计算：

P_i＝C_ti·ω_t+C_mi·ω_a

对于所有药物服用的综合的异常权统计记作，

综上，时，判定服药行为异常，记：C_tm＝C_tm+1。

(2)宠物喂食活动行为：

假设宠物餐食的用盆固定且每天至少一次，单次喂食重量最少为0.5kg。设餐盆的空重量为m,压力传感器监测的数据为m₁，得Δ_m＝m₁-m。

当Δ_m＞0.5kg时，视作投喂一次；否则,判定宠物喂食行为异常(忘记喂食)。

记：C_p＝C_p+1。

(3)盆栽浇水活动行为：

假设盆栽每天固定浇水至少一次，由土壤湿度传感器实时监测单盆栽内的湿度，预先测试对照组土壤平均浇水后的湿度记录为

当实际记录过程中时，视作发生浇水行为；否则，判定给盆栽浇水行为异常(忘记浇水)。

记：C_w＝C_w+1。

(4)用餐行为活动：

假设按照正常饮食一日三餐统计，测试者体重至多为M,用餐时使用的椅凳处装置的压力传感器监测值记为M′；鉴于非用餐时间亦使用该部分餐椅造成的数据统计误差，我们结合视频交叉验证：

每当M′＞M时，系统开始调用摄像头捕获图像信息，如果视频识别模型亦判定用户确是正在用餐时，记录为一次用餐,t_e＝t_e+1。故而，若t_e≠3,则判定用餐行为活动异常：

记：C_e＝C_e+1。

(5)炉灶使用的行为：

设F为在火焰传感器监测数据记录变量，F为1代表有火焰产生，为0代表没有；监测值均附带时间戳。设G为可燃气体传感器监测数据记录变量。

记F_i为第i(i＝1，2，3)次开火(做饭)行为，t_2i-1表示F_i＝1的最早时刻，t_2i表示F_i＝0的最迟时刻，则对应F_i开关火时段即可标记为[t_2i-1，t_2i]。

故由Δ_it＝t_2i-t_2i-1，

Δ_it＞2hour，判断记录为一次遗忘关火行为，记：C_f＝C_f+1。

若G＞20％，则判定记录为一次遗忘关煤气行为，记：C_g＝C_g+1。

(6)开关门行为：

假设门在监测初始时刻为关闭状态且用户长期居家生活，正常外出开关门用时最长为3min。通过在门上安装电路进行门开合的状态采集：当门关闭时，开关闭合，电路为低电平，此时会上报一个“0”；当门打开时，电路为高电平，上报数据为“1”。部署在门上的ZigBee经过串口获取该值，每2秒上报附有时间戳的该数据。

设门状态标志符为D,取值为open或close；定义电路上报数据为v＝0，v′＝1。则：

状态时刻记作t；

状态时刻记作t′；

则单次开关门行为时间间隔：Δ_t＝t′-t。当Δ_t＞3min时，判定为遗忘性关门行为。记：

C_d＝C_d+1。

注：映射过程使用的所有异常行为统计变量(C_ti，C_mi，C_tm，C_p，C_w，C_e，C_f，C_g，C_d)均为整型，且初始化值为0。

2.BP网络模型：

BP算法原理是根据每次结点的输出求偏微分以调整每个结点的权重来实现模型训练的目的(亦即所谓的梯度下降法)。而BP网络结构一般分为三层：输入层，隐含层和输出层。且隐含层结点个数通常依据如下经验公式估计：

/>

其中：m为输入层结点个数，n为输出层结点个数，a为1～10范围内的调节常数。故设X_λ(λ＝1，2，...，m)为输入层结点，且，X_λ∈{C_ti，C_mi，m₁，T，M′，F，G，v，v′}，i＝1，2，...，k。

又，记j(j＝1，2，...，t)为隐含层结点，y_j为隐含层对应结点初始输出值，对应隐含层最终输出值为Y_j；同理，记θ(θ＝1，2，...，n)为输出层结点，y_θ为输出层对应结点初始输出值，对应输出层最终输出值为Y_θ。当然，本模型实体为单一输出，n取作1。

另需输入的待调整的网络参数：结点j和结点θ的当前偏置b_j，b_θ；前向传递两两层之间的权重分别记为W_λj，ω_jθ，均由激励函数模拟测试后随机初始化，并于后续的网络迭代训练中自更新调整。

在BP神经网络中，每个结点的输出值是根据上层所有节点的输出值、当前节点与上一层所有节点的权值和当前节点的阀值以及激活函数来实现的。故上述结点j的输出值计算方程如下(结点k同理)：Y_j＝f(y_j)。

综上可得，Y_θ＝f(y_θ)即为网络模型最终输出值。

反向传播：该过程主要目的是通过梯度下降法反复修正权值和阀值，使得误差函数值达到最小。在BP神经网络的输出层，经过网络处理的输入数据的输出结果与标准结果的误差可以用如下的公式来衡量：

其中，T_θ为期望输出、Y_θ为网络的计算输出。

综上所述，本发明涉及的多功能光反应装置采用了独特的底部光照以及恒温水套控温设计，可以实现高精度温度、转速、气氛控制下光化学反应实验。可以全自动采样和分析气态产物，手动采样液态产物。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本申请的技术方案而非对其保护范围的限制，尽管参照上述实施例对本申请进行了详细的说明，所属领域的普通技术人员应当理解：本领域技术人员阅读本申请后依然可对申请的具体实施方式进行种种变更、修改或者等同替换，这些变更、修改或者等同替换，其均在其申请待批的权利要求范围之内。

Claims (8)

1.一种基于边缘智能和多模感知的认知障碍预测方法，其特征在于，所述方法包括：

接收样本数据集，其中，样本数据集包括：监测对象的行为映射数据；

将初始化后的BP神经网络应用于所述样本数据集；其中，所述BP神经网络包括输入层，隐含层和输出层，每一个层包括与该层相关联的行为权重；

采用梯度下降法和反向传播算法对所述BP神经网络进行训练；

将预先采集视频流数据输入训练好的所述BP神经网络中，得到输出特征向量；

将所述输出特征向量与预设阈值进行比较，以确定监测对象的行为异常；所述监测对象的行为映射数据包括：

采用ZigBee协调器，将传感器的采集的监测数据转发给移动终端；

所述移动终端结合语义结合实际场景因素，将采集的监测数据映射为对应行为，以获得BP神经网络输入层的输入的行为映射数据；

针对模糊行为数据，结合上下文语义环境转换多样数据；对监测数据进行预处理包括：

基于多模传感技术采集多样数据，所述多样数据为不同单位、格式、量值范围的各类传感变量；

对多样数据进行无量纲化处理；

基于进行无量纲化处理后的技术指标值矩阵，并通过premnmx()函数将网络的输入数据进行归一化，使得归一化后的数据将分布在[-1,1]区间内。

2.如权利要求1所述的方法，其特征在于，所述将初始化后的BP神经网络应用于所述样本数据集包括：

将样本数据集中所有行为权重向量聚类成输入层的若干个结点；

计算每个结点的权重，以及每个结点对各个行为类别的支持度；

所述支持度S值随输入层结点和维度的变化而变化。

3.如权利要求2所述的方法，其特征在于，通过下式确定输入层结点个数：

其中，m为输入层结点个数，n为输出层结点个数，a为1～10范围内的调节常数。

4.如权利要求3所述的方法，其特征在于，所述采用梯度下降法和反向传播算法对BP神经网络进行训练包括：

确定BP神经网络隐含层结点个数，根据所有结点的输出值、当前节点与上一层所有结点的权值和当前节点的阈值以及激活函数，计算每个结点的输出值；提取输入层需要的特征作为输入层结点的值，同时提取输入层需要的特征作为输入层结点的值，采用训练好的BP神经网络进行前向传播，获取行为类型；

根据每次结点的输出求偏微分以调整每个结点的权重；

设置迭代条件，采用梯度下降法，根据代价函数的梯度迭代计算权重系数的最优解；

对BP神经网络的结点的输出进行调整，直到得到满足迭代条件的误差函数。

5.如权利要求4所述的方法，其特征在于，设X_λ(λ＝1,2,...,m)为输入层结点，且，X_λ∈{C_ti,C_mi,m₁,T,M′,F,G,ν,ν′}，i＝1,2,...,k；

记j(j＝1,2,...,t)为隐含层结点，y_j为隐含层对应结点初始输出值，对应隐含层最终输出值为Y_j；同理，记θ(θ＝1,2,...,n)为输出层结点，y_θ为输出层对应结点初始输出值，对应输出层最终输出值为Y_θ；

通过下式确定BP神经网络输出层结点的输出值：

Y_θ＝f(y_θ)

其中，y_j表示结点j的输出值，Y_θ为网络的计算输出。

6.根据权利要求5所述的方法，其特征在于，通过下式确定BP神经网络输出层的迭代条件：

其中，T_θ为期望输出、Y_θ为网络的计算输出。

7.如权利要求6所述的方法，其特征在于，

将结点j和结点θ的当前偏置b_j，b_θ输入的待调整的网络参数：

前向传递两两层之间的权重分别记为ω_λj，ω_jθ，均由激励函数模拟测试后随机初始化，并于后续的网络迭代训练中自更新调整。

8.如权利要求7所述的方法，其特征在于，所述代价函数通过下式确定：

式中，W为权重系数向量，N表示样本量，x_n表示第n个行为类型分类变量的值，yn表示根据回归函数求得x_n的对应值。