CN109362066A - 一种基于低功耗广域物联网和胶囊网络的实时行为识别系统及其工作方法 - Google Patents

Abstract

本发明涉及一种基于低功耗广域物联网和胶囊网络的实时行为识别系统及其工作方法，该系统包括四个部分：行为信息获取、行为信息传输、行为信息处理、行为信息应用。本发明将行为信息接入层的传输采用低功耗局域网节点、低功耗局域网网关，实现远距离、低功耗的行为信息传输；在行为信息平台层中对行为信息不确定性进行了不一致和不完备性方面的处理，提高行为信息的可信度；采用胶囊自动获取有用特征以及特征之间的空间关系来进行行为识别，在精度方面有了很大的提升；在行为信息应用层中加入了错误修正机制，提高了系统的泛化性，为实时行为识别提供了一种有效可行的方法。所以该系统在实用性、自适应性、可靠性等方面都具备一定的优势。

Description

一种基于低功耗广域物联网和胶囊网络的实时行为识别系统 及其工作方法

技术领域

本发明涉及一种基于低功耗广域物联网和胶囊网络的实时行为识别系统及其工作方法，属于人工智能与模式识别的技术领域。

背景技术

随着物联网、人工智能、大数据和云计算等先进技术的发展和成熟，越来越多的学者开始关注行为识别方向的研究。行为识别已经成为人工智能与模式识别研究领域中一个炙手可热的研究方向。目前，行为识别的类型主要有以下两种：基于视频的行为识别和基于传感器的行为识别。基于视频的行为识别专注于分析摄像设备获取的人体运动视频或图像，基于传感器的行为识别专注于分析智能传感器获取的运动数据。基于视频的行为识别在摄像设备的盲区或环境比较昏暗的场景中将无法获取可靠性较高的行为信息。基于传感器的行为识别变得越来越流行，传感器与视频相比，拥有更好的隐私保护和便于携带等特性，加之可穿戴设备的发展为人体行为识别提供了良好的契机，可穿戴设备的行为识别在人们的日常生活中起着重要作用。这项技术通过原始传感器，如加速度计、陀螺仪、心率、磁力计等，获得用户的行为信息。其应用包括游戏、家庭行为分析、步态分析和手势识别等。

在行为信息的传输方面，常见的传输方式包括3G、4G、蓝牙、WiFi、ZigBee等，这些技术在传输距离和功耗方面一直成正比关系，即功耗大传输距离远，功耗低传输距离近。可穿戴设备的便携性导致续航能力的保证只可以依靠降低功耗来实现，同时远距离实时行为识别需要传输的距离较远。在实时行为识别系统中，远距离的传输使可穿戴设备可以不依赖于手机、电脑等终端灵活使用。同时，可穿戴设备受尺寸大小的限制，提高续航能力需要通过降低设备的功耗来实现。功耗低、传输距离远的传输技术是本发明的关键技术之一。

低功耗广域物联网(LPWAN)技术具有远距离、低功耗、低运维成本等特点，与主流的传输技术相比可以真正的实现大区域物联网、低成本全覆盖。LPWAN的典型技术包括：Nb-IoT、Sigfox、LoRa等。这些典型技术在不同的场景中各有优缺点，其中，目前SigFox采用超窄宽带技术，具有传输距离远、基站支持负载多、部署在免费频段等优势，但是其技术完全私有，推广非常困难；Lora采用线性扩频技术，具有更低的成本、更高的发射功率、可变的传输速率、更长的传输距离等优势，但是Lora相较SigFox功耗较大，同时在一些特定的场景中会出现数据丢失；Nb-IoT采用收费频段，具有更可靠的数据传输、更广阔的覆盖范围等优势，但在成本和功耗方面是三种技术中最高的。

传统的模式识别在行为识别中采用的算法主要是机器学习，例如：决策树、支持向量机、朴素贝叶斯和隐马尔可夫等。尽管传统的模式识别方法能够取得一定的成果，但是这些方法都依赖于人工的特征提取。这样得到的特征只限于方差、均值等简单表层特征，在针对复杂的行为识别时将不能胜任。再者，传统的特征提取方法破坏了传感器信号之间的相关性，因此传统的模式识别方法在分类方面受到限制。近年来，深度学习的快速发展和进步，在目标检测、自然语言处理等许多领域取得了较好的表现。不同于传统的模式识别方法，深度学习可以自主的获得更多深层特征，应用于更广泛复杂的行为识别。卷积神经网络的应用，保留了信号的部分相关性，使得识别率有了进一步提升。现有的主流算法只考虑行为信息是否包含某些特征，而不考虑这些特征的空间特性，所以在一定程度上会造成误判，降低行为识别的准确率。

发明内容

针对目前实时行为识别在传输技术、识别技术等方面存在的缺陷以及系统的可优化性，本发明提出了一种基于低功耗广域物联网和胶囊网络的实时行为识别系统。

本发明还提供了上述系统的工作方法。

发明概述：

1、行为信息的获取：

传感器模块从环境中感知用户的行为信息，智能硬件模块控制行为信息的采集、存储、传输等。在行为信息的采集过程中，需要对采样频率、采样精度等参数进行设定。

2、行为信息的传输：

将采集的行为信息通过低功耗广域物联网进行组网传输，组网方式主要有：点对点、星型、广播等。本发明中采用多种组网融合技术进行行为信息的传输，面对不同的场景可以选择不同的传输方式。

3、行为信息的处理：

低功耗广域物联网中网关接收到的行为信息为原始行为信息，系统首先会对原始行为信息进行不确定性检测，将行为信息中具备不完备或不一致的信息通过上下文预测填充、补0、删除等方法进行处理，从而提高行为信息的可信度。接下来对经过不确定性处理的行为信息进行标准化和基于时间序列的截取，标准化是为了提高模型的准确率和泛化能力，通过滑动窗口机制进行行为信息的截取是为了模型输入的归一化和提高模型的准确率。最后，在搭建的网络架构模型下将带有标签的行为信息集合进行训练，在不断优化损失值的同时找到最佳模型。

4、行为信息的应用：

将实时采集的行为信息输入包含胶囊网络的模型中，实现行为的实时识别。每次行为信息采集的时长为2s，行为识别的时长约为1.5s，行为识别的时长小于信息采集的时长，所以利用多进程实现实时行为识别。若在行为识别中出现错误，系统会根据错误修正模块进行反馈调整。具体的调整包括：不确定性检测模块中阈值的修改、网络架构模块中相关参数的修改等。

本发明所采用的低功耗广域物联网技术很好的弥补了实时行为识别传输方面的缺陷，胶囊网络的模型在行为识别准确率方面有了很大的提高。

本发明的技术方案为：

一种基于低功耗广域物联网和胶囊网络的实时行为识别系统，包括依次连接的行为信息获取部分、行为信息传输部分、行为信息处理部分、行为信息应用部分，各部分依次连接实现系统功能，所述行为信息应用部分还反向连接所述行为信息处理部分，以实现对系统的反馈调整。

所述行为信息获取部分用于：从环境中感知、采集、存储、传输用户的行为信息，行为信息包括：加速度、角速度、心率；

所述行为信息传输部分用于：将采集的行为信息通过低功耗广域物联网进行组网传输；

所述行为信息处理部分用于：对行为信息依次进行不确定性检测、标准化和基于时间序列的截取、在搭建的网络架构模型下将带有标签的行为信息集合进行训练，在不断优化损失值的同时找到最佳模型；不确定性检测是指：将行为信息中不完备或不一致的信息通过上下文预测填充、补0、删除方法进行处理，提高行为信息的可信度；标准化是对数值型数据进行归一化处理；从而提高模型的准确率和泛化能力；基于时间序列的截取是指通过滑动窗口机制进行行为信息的截取；以保证模型输入的归一化，提高模型的准确率；

所述行为信息应用部分用于：将实时采集的行为信息输入胶囊网络模型中，实现行为的实时识别，若在行为识别中出现错误，根据错误修正进行反馈调整。

本发明在传输技术、信息处理、行为识别模型和行为应用等四个方面提出了一个相对优化的系统，弥补了目前市面上行为识别实时性差、无法在特定区域使用的不足，在行为识别的准确率方面也有了进一步的提升，同时本发明进行了错误修正，使系统具备了稳定性。

根据本发明优选的，所述行为信息获取部分包括传感器模块和智能硬件模块；所述传感器模块包括若干不同类型的传感器，所述智能硬件模块分别连接若干不同类型的传感器，所述智能硬件模块用于控制传感器感知用户不同类型的行为信息，并把感知到的行为信息进行存储。

根据本发明优选的，所述行为信息传输部分包括行为信息发送模块和行为信息接收模块；

所述行为信息发送模块连接所述智能硬件模块，用于将行为信息发送至所述行为信息接收模块。

低功耗广域物联网(LPWAN)是解决当前形势的主要技术，组网方面主要包括点对点、星型、广播等，针对不同的应用场景和需求可以选择不同的组网方式，例如：管理者需要对重点对象进行实时行为识别时可以采用点对点进行组网传输，需要对所有人进行实时行为识别时可以采用星型、广播等组网传输。因此本发明采用低功耗广域物联网进行实时行为信息的传输，可以根据不同的应用场景和需求来选择组网方式。

根据本发明优选的，所述行为信息处理部分包括依次连接的不确定性检测模块、行为信息处理模块和网络架构模块；

所述不确定性检测模块包括不一致性检测/量化单元和不完备性检测/量化单元；

所述行为信息处理模块包括依次连接的不完整性消除单元、不一致性消除单元、行为信息标准化单元、行为信息滑窗单元；

所述网络架构模块包括依次连接的卷积层单元、胶囊层一单元、胶囊层二单元、全连接层单元；

所述行为信息接收模块即网关连接所述不确定性检测模块；

所述行为信息接收模块接收到的行为信息即原始行为信息输入到所述不确定性检测模块，通过所述不一致性检测/量化单元和所述不完备性检测/量化单元对原始行为信息进行不确定性的检测，所述不一致性检测/量化单元检测同一时刻不同类型的行为信息是否存在异议，所述不完备性检测/量化单元检测同一时刻感知的行为信息是否存在丢失；

如果发现行为信息具有不确定性，则通过所述不完整性消除单元和所述不一致性消除单元进行不确定性的消除，所述不完整性消除单元对同一时刻感知行为信息存在的丢失情况通过删除法、补0法、上下文预测填充法进行处理，所述不一致性消除单元对不一致信息通过投票选举、硬件的QoD最优原则、基于D-S(Dempster-Shafer)、模糊集的方式进行处理，进入所述行为信息标准化单元；如果发现行为信息不存在不确定性，则直接进入所述行为信息标准化单元；通过所述行为信息标准化单元和所述行为信息滑窗单元进行处理，所述行为信息标准化单元通过规范化、归一化方法进行处理，提高识别准确率和适用性；所述行为信息滑窗单元通过调节滑动窗口的大小和滑动窗口的滑动方式对行为信息进行基于时间序列的截取；

将处理完毕的行为信息输入到训练好的网络架构模型中，通过网络架构模型实现行为识别；所述卷积层单元对行为信息提取特征，进行特征标量到矢量的转换，所述胶囊层一单元、胶囊层二单元通过动态路由协议完成行为信息特征空间特性的标记和计算，所述全连接层单元将行为信息特征转变为有序的一维特征，最后通过Softmax分类器将所有特征进行运算，识别出当前的行为。

相比较一些系统直接对原始行为信息进行行为识别而言，本发明在经过行为信息预处理之后会在稳定性和准确率等方面有很大的提升。本发明主要对原始行为信息进行不确定性分析，通过对行为信息不确定性的类别以及程度进行相应的处理。对于不完备的行为信息，通过删除、补0和基于上下文填充等方法进行处理，对于不一致性信息通过投票选举、硬件的QoD最优原则、基于D-S(Dempster-Shafer)、模糊集等多种方式进行行为信息的调整。在信息标准化方面，本发明提供了规范化方法、归一化方法。通过调节滑动窗口的大小和滑动窗口的滑动方式对行为信息进行基于时间序列的截取。行为信息处理主要是根据行为信息来做出识别，在人工智能、模式识别领域中，机器学习的提出可以切实的体会到人工智能的强大，深度学习的提出在识别率方面有了一个长足的进步。但是机器学习模型和深度学习模型关注的重点都是输入信息中是否包含了一些特征值。本发明中采用的基于胶囊网络架构不仅对行为信息所具有的特征进行了关注，还加入了行为信息特征的空间关系，提高了行为识别的准确率。

根据本发明优选的，所述行为信息应用部分包括行为识别模块和错误修正模块。

所述行为识别模块对当前行为做实时识别，如果行为识别出现错误，则通过所述错误修正模块对系统中的参数进行反馈调整。错误修正模块主要是提高本发明的适用性和稳定性，在系统运行期间，识别错误发生时，错误修正单元会调整模型，让模型一直处于最优状态。

上述基于低功耗广域物联网和胶囊网络的实时行为识别系统的工作方法，包括步骤如下：

步骤S01：传感器感知行为信息

根据实用场景、用户需求及传感器的相关参数进行传感器的选取，传感器的相关参数包括：采样频率、使用寿命、精度。例如：对于需要重点监护的用户可以采用采样频率高、精度高的传感器进行行为信息的感知，对于一般用户可以采用采样频率普通、精度普通的传感器进行行为信息的感知。传感器感知用户不同类型的行为信息；

步骤S02：智能硬件处理行为信息

根据方案要求、硬件参数、用户的佩戴需求以及实际场景选择合适的智能硬件模块，硬件参数包括：功耗、体积。例如：部分用户习惯以手环的方式进行佩戴，部分用户喜欢腰带智能设备，部分用户习惯脚环形式佩戴，针对需求设计满足用户需求的智能设备。智能硬件模块对传感器感知到的行为信息进行存储、传输；

步骤S03：低功耗广域物联网组网传输行为信息

根据可穿戴设备的便携性以及实时行为识别的要求，可以排除现在主流的无线传输方式，例如3G、4G、ZigBee、蓝牙等。LPWAN是一种较为适合的传输方式，LPWAN中的典型技术、组网方式各有优劣，根据不同的应用场景和需求选择相应的技术以及组网方式，例如：管理者需要监护所有被管理者的行为信息，采用星型组网方式，如果只是个人检测自己的行为信息，采用点对点组网方式。

步骤S04：行为信息的不确定性检测

设定行为信息阈值范围，例如设定行为信息的正确率不低于85％，当行为信息的正确率低于85％时，则认为信息为不确定性行为信息，通过不一致性检测/量化单元、不完备性检测/量化单元依次对原始行为信息进行不一致性检测/量化、不完备性检测/量化，得到检测结果，当原始行为信息存在不一致、不完备时，执行步骤S05，否则，执行步骤S06。原始行为信息是指步骤S01传感器感知的用户不同类型的行为信息；

步骤S05：行为信息的不确定性消除

不完备性消除单元通过行为信息不确定性检测的阈值，选用不同的方法对行为信息进行处理，当行为信息的正确率为85％-90％时，针对行为信息采用上下文预测填充法进行处理，当行为信息的正确率为90％-95％时，针对行为信息采用补0法进行处理，当行为信息的正确率为95％-100％时，针对行为信息采用删除法进行处理；

不一致性消除单元对不一致信息进行处理，处理方法包括投票选举、硬件的QoD最优原则、基于D-S(Dempster-Shafer)、模糊集；提高原始行为信息的可信度；

步骤S06：行为信息的标准化

通过行为信息标准化单元对可信度较高的行为信息进行标准化。行为信息的标准化针对不同类型的数据使用不同的标准化方式，包括：针对类别型特征的数据，采用独热编码(one-hot编码)标准化，针对数值型特征的数据，采用归一化处理标准化，针对有序型特征的数据，采用有序型数值编码标准化；标准化可以让系统具备很好的扩展性；

步骤S07：行为信息滑窗截取

参照用户预设的参数，用户预设的参数包括：滑动窗口的大小和窗口的滑动方式。通过行为信息滑窗单元对步骤S06处理后的行为信息进行滑动窗口处理，使行为信息变为输入网络架构模块的信息块；

步骤S08：行为识别模型

通过卷积层单元、胶囊层一单元，胶囊层二单元、全连接层单元构建一个四层的网络架构模型，参照用户设置的参数，用户设置的参数主要包括：输入数据的现状、大小、卷积层核大小、个数等一系列参数，通过若干次迭代对具有标签的行为信息进行训练，训练过程中通过降低损失函数来不断优化模型参数以及胶囊层单元中的动态路由协议，最终得到识别率达到了95％以上的网络架构模型；

步骤S09：行为信息的实时识别

将实时采集的行为信息输入到已经训练好的网络架构模型中进行当前行为信息的实时识别；

步骤S10：错误检测

判断当前行为识别是否发生错误，如发现存在错误，则执行步骤S11，否则，结束；

步骤S11：错误修正

错误修正单元对行为信息阈值范围、行为信息处理模块的相应参数进行调整；行为信息阈值范围包括不确定性检测的阈值范围，行为信息处理模块的相应参数包括行为信息滑窗单元中的滑动窗口的大小和窗口的滑动方式。当识别错误较多时，适当的提高行为信息的阈值范围，同时将滑动窗口的大小和窗口的滑动方式变小。

本发明在传输技术、信息处理、行为识别模型和行为应用等四个方面提出了一个相对优化的系统，弥补了目前市面上行为识别实时性差、无法在特定区域使用的不足，在行为识别的准确率方面也有了进一步的提升，同时本发明加入了错误修正单元，使系统具备了稳定性。

根据本发明优选的，所述步骤S08，行为识别模型：

网络架构模块包括依次连接的卷积层单元、胶囊层一单元、胶囊层二单元、全连接层单元；

设置卷积层单元中卷积核个数为N₁，每个卷积核大小为1×Nuclear_Size₁，步长为L₁；

设置胶囊层一单元中卷积核个数为N₂，每个卷积核大小为1×Nuclear_Size₂，步长为L₂；

设置胶囊层二单元中输出长度为Num_Output维行为信息，每个维度采用Vec_Lenv个行为信息特征；

设置全连接层单元中输出长度为Output_Length维行为信息；

包括步骤如下：

(1)输入一个Batch_Size×1×Window_Size×3大小的行为信息，Batch_Size是指一次在网络架构模块中运行的行为信息的个数，Window_Size是指每次输入网络架构模块的长度；

(2)当Batch_Size×1×Window_Size×3大小的行为信息经过卷积层单元之后，通过式(Ⅰ)将输入的行为信息由标量转换成矢量：

式(Ⅰ)中，X_i是指行为信息经过不确定性、标准化、基于时间序列的滑动窗口处理之后的每个信息；W_ij是指卷积层单元的权重参数，初始值默认为生成截断正态分布的随机数；

b_j是指卷积层单元的偏置参数，初始值默认为0.0；

n表示卷积核的个数；

Y_j是表示卷积层输出；

输出信息大小为：其中需要保证前面公式中分数的结果为正整数。此时的输出结果是一个矢量行为信息，满足了胶囊网络的输入要求；

(3)令把以上M组卷积核封装在胶囊网络中，将矢量的行为信息Y_j输入到胶囊层一单元，通过式(Ⅱ)将输入的行为信息转换成具有空间特性的行为信息；

式(Ⅱ)中，W_jl是指胶囊层一单元的权重参数，初始值默认为生成截断正态分布的随机数；m表示胶囊的个数；

b_l是指胶囊层一单元的偏置参数，初始值默认为0.0；

squash()函数是一种新的非线性函数，类似于之前常见的tanh()、relu()等非线性函数，squash()函数是面向矢量信息的非线性处理；而其他非线性函数主要是针对标量信息的处理；

是指胶囊网络输出的矢量行为信息特征；

经过胶囊层一单元后输出的信息大小为：

(4)将具有空间特性的行为信息输入到胶囊层二单元，通过动态路由协议即式(Ⅲ)、(Ⅳ)将行为信息进行处理；

式(Ⅲ)、(Ⅳ)中，

b_ik是指胶囊层一单元中第i个神经元和胶囊层二单元中第k个神经元的动态路由权重；

b_ij是指胶囊层一单元中第i个神经元和胶囊层二单元中第j个神经元的动态路由权重；

是指每个胶囊的输出；

S_j是指胶囊层二单元经过动态路由协议之后输出的行为信息特征。

是指出网络架构的矢量输出；

胶囊层二单元处理后输出的信息大小为：Batch_Size×Num_Output×Vec_Lenv×1；

(5)通过全连接层单元将行为信息由矢量转换成标量；

经过全连接层单元后输出的信息大小为：

Batch_Size×Output_Length×1；

(6)加入Softmax分类器，通过Softmax分类器进行行为信息的分类识别；通过将信息大小为Batch_Size×Output_Length×1的行为信息特征经过分类器进行各个行为概率的求解，找出对应的各类概率数值最大的行为，网络架构模块最终的识别结果即概率数值最大的行为。

本发明的有益效果为：

1、实用性：实时行为识别对于传输介质以及准确率有较高的要求，本发明很好的实现了行为信息的低功耗、远距离传输，同时在行为识别的准确率方面也具备了一定的优势。

2、自适应性：针对不同的应用场景，通过错误修正单元对系统中的参数进行调整，提高系统的自适应性，为用户提供个性化、智能化的服务。其中可调节的参数包括：不一致检测/量化单元的阈值和不完备性检测/量化单元的阈值，行为信息标准化单元中的标准化方式和行为信息滑窗单元中的滑动窗口大小和滑动的方式，网络架构模块中的迭代次数、学习速率和训练迭代次数等参数。

3、高可靠性：基于视觉行为信息单一信息源在加入基于传感器的行为信息之后，行为识别系统会更加的完善；同时与主流的模型算法进行行为识别相较而言，本发明在准确率方面有了进一步的提升。在实时性方面也有很好的稳定性。

附图说明

图1是本发明基于低功耗广域物联网和胶囊网络的实时行为识别系统主模块结构框架及连接关系示意图。

图2是本发明基于低功耗广域物联网和胶囊网络的实时行为识别系统实现的模块组成及连接关系示意图。

图3是本发明基于低功耗广域物联网和胶囊网络的实时行为识别系统工作流程示意图。

图4是本发明基于低功耗广域物联网和胶囊网络的实时行为识别系统的行为识别模型示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例和说明书附图1-4对本发明的技术方案进行清楚、完整的描述，显然，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

一种基于低功耗广域物联网和胶囊网络的实时行为识别系统，如图1所示，包括依次连接的行为信息获取部分、行为信息传输部分、行为信息处理部分、行为信息应用部分，各部分依次连接实现系统功能，所述行为信息应用部分还反向连接所述行为信息处理部分，以实现对系统的反馈调整。

行为信息获取部分用于：从环境中感知、采集、存储、传输用户的行为信息，行为信息包括：加速度、角速度、心率；

行为信息传输部分用于：将采集的行为信息通过低功耗广域物联网进行组网传输；

行为信息处理部分用于：对行为信息依次进行不确定性检测、标准化和基于时间序列的截取、在搭建的网络架构模型下将带有标签的行为信息集合进行训练，在不断优化损失值的同时找到最佳模型；不确定性检测是指：将行为信息中不完备或不一致的信息通过上下文预测填充、补0、删除方法进行处理，提高行为信息的可信度；标准化是对数值型数据进行归一化处理；从而提高模型的准确率和泛化能力；基于时间序列的截取是指通过滑动窗口机制进行行为信息的截取；以保证模型输入的归一化，提高模型的准确率；

所述行为信息应用部分用于：将实时采集的行为信息输入胶囊网络模型中，实现行为的实时识别，若在行为识别中出现错误，根据错误修正进行反馈调整。

本发明在传输技术、信息处理、行为识别模型和行为应用等四个方面提出了一个相对优化的系统，弥补了目前市面上行为识别实时性差、无法在特定区域使用的不足，在行为识别的准确率方面也有了进一步的提升，同时本发明进行了错误修正，使系统具备了稳定性。

实施例2

根据实施例1所述的一种基于低功耗广域物联网和胶囊网络的实时行为识别系统，如图2所示，其区别在于：

行为信息获取部分包括传感器模块和智能硬件模块；传感器模块包括若干不同类型的传感器，智能硬件模块分别连接若干不同类型的传感器，智能硬件模块用于控制传感器感知用户不同类型的行为信息，并把感知到的行为信息进行存储。行为信息获取部分根据传感器模块、智能硬件的相关参数进行模块的选取和设备的设计。其中，传感器参数主要包括：采样频率、使用寿命、精度等，智能硬件参数主要包括：功耗、体积等。根据场景、用户的需求以及模块参数来选取相应的传感器模块和智能硬件模块，并设计出一个小型的智能硬件系统。

行为信息传输部分包括行为信息发送模块(LPWAN节点)和行为信息接收模块(LPWAN网关)；行为信息传输部分采用的传输技术为低功耗广域物联网(LPWAN)技术，该技术具有远距离、低功耗、低运维成本等特点，与主流的传输技术相比可以真正的实现大区域物联网低成本全覆盖。可穿戴设备的便携性导致续航能力的保证只可以依靠降低功耗来实现，同时行为的实时识别需要传输技术具有较远传输距离，主流的传输技术在功耗和传输距离方面不可兼得，所以基于可穿戴设备的实时行为识别将排除当下主流的传输技术。

行为信息发送模块连接智能硬件模块，用于将行为信息发送至行为信息接收模块。

低功耗广域物联网(LPWAN)是解决当前形势的主要技术，组网方面主要包括点对点、星型、广播等，针对不同的应用场景和需求可以选择不同的组网方式，例如：管理者需要对重点对象进行实时行为识别时可以采用点对点进行组网传输，需要对所有人进行实时行为识别时可以采用星型、广播等组网传输。因此本发明采用低功耗广域物联网进行实时行为信息的传输，可以根据不同的应用场景和需求来选择组网方式。

行为信息处理部分包括依次连接的不确定性检测模块、行为信息处理模块和网络架构模块；

不确定性检测模块包括不一致性检测/量化单元和不完备性检测/量化单元；其中不确定性行为信息主要是行为信息的不一致、不完备等，根据行为信息不确定性的类别以及程度做相应的处理。在行为信息标准化方面，本发明提供了规范化方法、归一化方法，提高系统的可拓展性。通过调节滑动窗口的大小和滑动窗口的滑动方式对行为信息进行基于时间序列的截取；行为信息应用主要是根据行为信息来做出识别，若识别中出现错误，通过错误修正单元进行系统参数的调整。

行为信息处理模块包括依次连接的不完整性消除单元、不一致性消除单元、行为信息标准化单元、行为信息滑窗单元；

网络架构模块包括依次连接的卷积层单元、胶囊层一单元、胶囊层二单元、全连接层单元；

行为信息接收模块即网关连接不确定性检测模块；

行为信息接收模块接收到的行为信息即原始行为信息输入到不确定性检测模块，通过不一致性检测/量化单元和不完备性检测/量化单元对原始行为信息进行不确定性的检测，不一致性检测/量化单元检测同一时刻不同类型的行为信息是否存在异议，不完备性检测/量化单元检测同一时刻感知的行为信息是否存在丢失；

原始行为信息被检测完毕之后，不确定性检测模块将原始信息和检测结果一起传给行为信息处理模块，通过不完整性消除单元和所述不一致性消除单元进行不确定性的消除，不完整性消除单元对同一时刻感知行为信息存在的丢失情况通过删除法、补0法、上下文预测填充法进行处理，不一致性消除单元对不一致信息通过投票选举、硬件的QoD最优原则、基于D-S(Dempster-Shafer)、模糊集的方式进行处理，进入行为信息标准化单元；如果发现行为信息不存在不确定性，则直接进入所述行为信息标准化单元；通过行为信息标准化单元和行为信息滑窗单元进行处理，行为信息标准化单元通过规范化、归一化方法进行处理，提高识别准确率和适用性；行为信息滑窗单元通过调节滑动窗口的大小和滑动窗口的滑动方式对行为信息进行基于时间序列的截取。

将处理完毕的行为信息输入到训练好的网络架构模型中，通过网络架构模型实现行为识别；卷积层单元对行为信息提取特征，进行特征标量到矢量的转换，胶囊层一单元、胶囊层二单元通过动态路由协议完成行为信息特征空间特性的标记和计算，全连接层单元将行为信息特征转变为有序的一维特征，最后通过Softmax分类器将所有特征进行运算，识别出当前的行为。

相比较一些系统直接对原始行为信息进行行为识别而言，本发明在经过行为信息预处理之后会在稳定性和准确率等方面有很大的提升。本发明主要对原始行为信息进行不确定性分析，通过对行为信息不确定性的类别以及程度进行相应的处理。对于不完备的行为信息，通过删除、补0和基于上下文填充等方法进行处理，对于不一致性信息通过投票选举、硬件的QoD最优原则、基于D-S(Dempster-Shafer)、模糊集等多种方式进行行为信息的调整。在信息标准化方面，本发明提供了规范化方法、归一化方法。通过调节滑动窗口的大小和滑动窗口的滑动方式对行为信息进行基于时间序列的截取。行为信息处理主要是根据行为信息来做出识别，在人工智能、模式识别领域中，机器学习的提出可以切实的体会到人工智能的强大，深度学习的提出在识别率方面有了一个长足的进步。但是机器学习模型和深度学习模型关注的重点都是输入信息中是否包含了一些特征值。本发明中采用的基于胶囊网络架构不仅对行为信息所具有的特征进行了关注，还加入了行为信息特征的空间关系，提高了行为识别的准确率。

行为信息应用部分包括行为识别模块和错误修正模块。

行为识别模块对当前行为做实时识别，如果行为识别出现错误，则通过错误修正模块对系统中的参数进行反馈调整。当行为识别发生错误时，系统会通过错误修正单元对行为信息预处理模块中的参数：阈值大小、不完整、不一致性消除所采用的方法以及滑动窗口的大小和机制等进行调整。错误修正模块主要是提高本发明的适用性和稳定性，在系统运行期间，识别错误发生时，错误修正单元会调整模型，让模型一直处于最优状态。

实施例3

实施例2所述的基于低功耗广域物联网和胶囊网络的实时行为识别系统的工作方法，如图3所示，本实施例应用于医院对病人进行实时行为识别，以监测病人每天活动量为例，医院中的病人在养病恢复阶段针对不同的病人需要做的活动量不同，例如：部分病人在伤口未愈合之前不可以做跑步等运动，部分病人每天慢跑3H对于身体恢复可能会有帮助。系统通过加速度传感器S1、角速度传感器S2、心率传感器S3来获取病人在一天中的行为信息，经过信息预处理之后提高信息的可信度，然后通过训练好的模型进行实时行为识别。医院管理者可以根据不同的场景和不同的病人来设置不同的参数进行实时行为识别。包括步骤如下：

步骤S01：传感器感知行为信息

根据传感器的相关参数进行传感器的选取，主要考虑参数包括：传感器的精度分别为0.94、0.80、0.88，采样间隔分别为0.02s—1s，使用寿命为1-3年。

步骤S02：智能硬件处理行为信息

根据硬件的参数、病人的需求以及等级来进行智能硬件的设计。对于重点监护对象，行为信息采集设备可以采用采样频率高的、识别精度高的进行设计；对于轻度监护病人，可以考虑采用采样频率较低的、识别普通的、造价稍低的材质来进行设计。

步骤S03：低功耗广域物联网组网传输行为信息

根据可穿戴设备的便携性以及实时行为识别的要求，可以排除现在主流的无线传输方式，例如：3G、4G、ZigBee、蓝牙等。LPWAN是一种较为适合的传输方式，LPWAN中的典型技术、组网方式各有优劣，根据不同的应用场景和需求来选择相应的技术以及组网方式。

步骤S04：行为信息的不确定性检测

不完备性检测/量化单元将阈值设置为0.85，即每秒接收到的行为信息中有85％的信息缺失则认为原始行为信息存在不完备；

不一致性检测/量化单元将阈值设置为0.8，即每秒接收到的行为信息相似度低于0.8时则判定该组原始行为信息存在不一致。

根据设定的行为信息阈值范围对原始行为信息进行不一致性检测/量化、不完备性检测/量化来对原始行为信息进行分析，发现原始行为信息存在不一致、不完备等不确定性时，执行步骤S05，否则执行步骤S06。

步骤S05：行为信息的不确定性消除

若发现原始行为信息存在不完备性时，系统中可以将不完备的行为信息删除，或将不完备的信息进行补0、或根据上下文信息预测将不完备行为信息进行填充，系统默认选择将不完备的信息进行补0；

若发现原始行为信息存在不一致性，系统可以将不一致性信息按照投票选举原则进行修改、或将不一致信息根据信息获取硬件的QoD最优原则来进行修改、或将不一致信息使用D-S证据论的方法求出可信度进行修改，系统默认选择将不一致性信息按照投票选举原则进行修改。

经过行为信息的不确定性消除之后，大大的提高了原始行为信息的可信度和为后续行为信息的处理和行为的识别提供了可靠性。

步骤S06：行为信息的标准化

行为信息的标准化单元主要对同一类行为信息进行标准化，系统中可使用的标准化主要是规范化方法、或归一化方法，系统默认的标准化为归一化方法；

步骤S07：行为信息滑窗截取

行为信息滑窗单元主要对行为信息进行基于时间序列的截取，系统主要提供了滑动窗口的大小和滑动的方式两类参数，滑动窗口的大小有40、60、80、100，滑动方式主要有基于一半时间序列的滑动或基于全部时间序列的滑动，系统默认的滑动窗口的大小为80，滑动方式为基于一半时间序列的滑动。

步骤S08：行为识别模型

通过卷积层单元、胶囊层一单元、胶囊层二单元、全连接层单元构建一个四层的网络架构模型，参照用户预设的参数，通过N次迭代来对具有标签的行为信息进行训练，训练过程中不断的优化损失函数来优化模型参数以及胶囊层单元中的动态路由协议，最终得出识别率较高的模型。其中训练集可以选取所有人的行为信息，也可以选取某一个人的行为信息进行训练模型，然后对某一个人进行行为识别。由于该方案需要庞大的行为信息和需要较大的资源支持，建议只针对部分重点监护病人进行使用，系统默认选取整个医院病人的行为信息数据库进行训练模型。本实例中所采用模型的具体实现流程如下所示：

(1)输入一个5×1×80×3大小的行为信息；

(2)模型的第一层为卷积层单元，设置卷积核个数为256，每个卷积核大小为1×41，步长为1，当5×1×80×3大小的行为信息经过第一层卷积层单元之后会输出信息大小为：5×1×40×256；

(3)模型的第二层为胶囊层一单元，设置卷积核个数为32，每个卷积核大小为1×21，步长为2，把以上8组卷积核封装在胶囊中，将卷积层单元输出的结果经过胶囊层一单元后输出的信息大小为：5×320×8×1；

(4)模型的第三层为胶囊层二单元，设置输出长度为8维行为信息，每个维度采用16个行为信息特征，将胶囊层一单元输出结果作为胶囊层二单元的输入信息，采用动态路由进行计算，胶囊层二单元处理后输出的信息大小为：5×12×16×1；

(5)模型的第四层为全连接层单元，设置输出的长度为6，将胶囊层二单元输出的结果经过全连接层单元后输出的信息大小为：5×192×1；

(6)模型的最后加入Softmax分类器，将信息大小为5×192×1的行为信息特征经过分类器进行各个行为概率的求解，找出对应的各类概率数值最大的行为，模型最终的识别结果即概率值最大的行为。

系统可调节参数主要有动态路由迭代次数、学习速率和训练迭代次数等参数，动态路由迭代次数的设置为1—10；学习速率的设置为0.1、0.01、0.001；和训练迭代次数的设置为1—50。系统默认参数依次为5、0.01、40。

其中网络架构所采用的胶囊网络具体的框图如图4所示，各个层次所采用的算法如式(Ⅰ)—式(Ⅳ)：

式(Ⅰ)—式(Ⅳ)中的重要参数解析如下所示：

X_i是指行为信息经过不确定性、标准化、基于时间序列的滑动窗口处理之后的每个信息；

W_ij是指卷积层单元的权重参数，初始值默认为生成截断正态分布的随机数；

b_j是指卷积层单元的偏置参数，初始值默认为0.0；

W_jl是指胶囊层一单元的权重参数，初始值默认为生成截断正态分布的随机数；

b_l是指胶囊层一单元的偏置参数，初始值默认为0.0；

squsah()函数是一种新的非线性函数，类似于之前常见的tanh()、relu()等非线性函数，squsah()是面向矢量信息的非线性处理，而其他非线性函数主要是针对标量信息的处理；

是指胶囊网络输出的矢量行为信息特征；

S_j是指胶囊层二单元经过动态路由协议之后输出的行为信息特征；

步骤S09：行为信息的实时识别

将实时采集的行为信息输入到已经训练好的网络架构模型中进行当前行为信息的实时识别；

步骤S10：错误检测

判断当前行为识别是否发生错误，如发现存在错误，则执行步骤S11，否则，结束；

步骤S11：错误修正

错误修正单元对行为信息阈值范围、行为信息处理模块的相应参数进行调整；行为信息阈值范围包括不确定性检测的阈值范围，行为信息处理模块的相应参数包括行为信息滑窗单元中的滑动窗口的大小和窗口的滑动方式。当识别错误较多时，适当的提高行为信息的阈值范围，同时将滑动窗口的大小和窗口的滑动方式变小。

本发明在传输技术、信息处理、行为识别模型和行为应用等四个方面提出了一个相对优化的系统，弥补了目前市面上行为识别实时性差、无法在特定区域使用的不足，在行为识别的准确率方面也有了进一步的提升，同时本发明加入了错误修正单元，使系统具备了稳定性。

Claims (7)

1.一种基于低功耗广域物联网和胶囊网络的实时行为识别系统，其特征在于，包括依次连接的行为信息获取部分、行为信息传输部分、行为信息处理部分、行为信息应用部分，所述行为信息应用部分还反向连接所述行为信息处理部分；

所述行为信息获取部分用于：从环境中感知、采集、存储、传输用户的行为信息，行为信息包括：加速度、角速度、心率；

所述行为信息传输部分用于：将采集的行为信息通过低功耗广域物联网进行组网传输；

所述行为信息处理部分用于：对行为信息依次进行不确定性检测、标准化和基于时间序列的截取、在搭建的网络架构模型下将带有标签的行为信息集合进行训练，在不断优化损失值的同时找到最佳模型；不确定性检测是指：将行为信息中不完备或不一致的信息通过上下文预测填充、补0、删除方法进行处理，提高行为信息的可信度；标准化是对数值型数据进行归一化处理；基于时间序列的截取是指通过滑动窗口机制进行行为信息的截取；

所述行为信息应用部分用于：将实时采集的行为信息输入包含胶囊网络的模型中，实现行为的实时识别，若在行为识别中出现错误，根据错误修正进行反馈调整。

2.根据权利要求1所述的一种基于低功耗广域物联网和胶囊网络的实时行为识别系统，其特征在于，所述行为信息获取部分包括传感器模块和智能硬件模块；所述传感器模块包括若干不同类型的传感器，所述智能硬件模块分别连接若干不同类型的传感器，所述智能硬件模块用于控制传感器感知用户不同类型的行为信息，并把感知到的行为信息进行存储。

3.根据权利要求2所述的一种基于低功耗广域物联网和胶囊网络的实时行为识别系统，其特征在于，所述行为信息传输部分包括行为信息发送模块和行为信息接收模块；

所述行为信息发送模块连接所述智能硬件模块，用于将行为信息发送至所述行为信息接收模块。

4.根据权利要求3所述的一种基于低功耗广域物联网和胶囊网络的实时行为识别系统，其特征在于，所述行为信息处理部分包括依次连接的不确定性检测模块、行为信息处理模块和网络架构模块；

所述不确定性检测模块包括不一致性检测/量化单元和不完备性检测/量化单元；

所述行为信息处理模块包括依次连接的不完整性消除单元、不一致性消除单元、行为信息标准化单元、行为信息滑窗单元；

所述网络架构模块包括依次连接的卷积层单元、胶囊层一单元、胶囊层二单元、全连接层单元；

所述行为信息接收模块连接所述不确定性检测模块；

所述行为信息接收模块接收到的行为信息即原始行为信息输入到所述不确定性检测模块，通过所述不一致性检测/量化单元和所述不完备性检测/量化单元对原始行为信息进行不确定性的检测，所述不一致性检测/量化单元检测同一时刻不同类型的行为信息是否存在异议，所述不完备性检测/量化单元检测同一时刻感知的行为信息是否存在丢失；

如果发现行为信息具有不确定性，则通过所述不完整性消除单元和所述不一致性消除单元进行不确定性的消除，所述不完整性消除单元对同一时刻感知行为信息存在的丢失情况通过删除法、补0法、上下文预测填充法进行处理，所述不一致性消除单元对不一致信息通过投票选举、硬件的QoD最优原则、基于D-S、模糊集的方式进行处理，进入所述行为信息标准化单元；如果发现行为信息不存在不确定性，则直接进入所述行为信息标准化单元；通过所述行为信息标准化单元和所述行为信息滑窗单元进行处理，所述行为信息标准化单元通过规范化、归一化方法进行处理，提高识别准确率和适用性；所述行为信息滑窗单元通过调节滑动窗口的大小和滑动窗口的滑动方式对行为信息进行基于时间序列的截取；

将处理完毕的行为信息输入到训练好的网络架构模型中，通过网络架构模型实现行为识别；所述卷积层单元对行为信息提取特征，进行特征标量到矢量的转换，所述胶囊层一单元、胶囊层二单元通过动态路由协议完成行为信息特征空间特性的标记和计算，所述全连接层单元将行为信息特征转变为有序的一维特征，最后通过Softmax分类器将所有特征进行运算，识别出当前的行为。

5.根据权利要求4所述的一种基于低功耗广域物联网和胶囊网络的实时行为识别系统，其特征在于，所述行为信息应用部分包括行为识别模块和错误修正模块；

所述行为识别模块对当前行为做实时识别，如果行为识别出现错误，则通过所述错误修正模块对系统中的参数进行反馈调整。

6.权利要求5所述的基于低功耗广域物联网和胶囊网络的实时行为识别系统的工作方法，其特征在于，包括步骤如下：

步骤S01：传感器感知行为信息

根据实用场景、用户需求及传感器的相关参数进行传感器的选取，传感器的相关参数包括：采样频率、使用寿命、精度，传感器感知用户不同类型的行为信息；

步骤S02：智能硬件处理行为信息

根据方案要求、硬件参数、用户的佩戴需求以及实际场景选择合适的智能硬件模块，硬件参数包括：功耗、体积；智能硬件模块对传感器感知到的行为信息进行存储、传输；

步骤S03：低功耗广域物联网组网传输行为信息

根据不同的应用场景和需求选择相应的技术以及组网方式；

步骤S04：行为信息的不确定性检测

设定行为信息阈值范围，通过不一致性检测/量化单元、不完备性检测/量化单元依次对原始行为信息进行不一致性检测/量化、不完备性检测/量化，得到检测结果，当原始行为信息存在不一致、不完备时，执行步骤S05，否则，执行步骤S06；原始行为信息是指步骤S01传感器感知的用户不同类型的行为信息；

步骤S05：行为信息的不确定性消除

不完备性消除单元通过行为信息不确定性检测的阈值，选用不同的方法对行为信息进行处理，当行为信息的正确率为85％-90％时，针对行为信息采用上下文预测填充法进行处理，当行为信息的正确率为90％-95％时，针对行为信息采用补0法进行处理，当行为信息的正确率为95％-100％时，针对行为信息采用删除法进行处理；

不一致性消除单元对不一致信息进行处理，处理方法包括投票选举、硬件的QoD最优原则、基于D-S、模糊集；

步骤S06：行为信息的标准化

通过行为信息标准化单元对行为信息进行标准化；行为信息的标准化针对不同类型的数据使用不同的标准化方式，包括：针对类别型特征的数据，采用独热编码标准化，针对数值型特征的数据，采用归一化处理标准化，针对有序型特征的数据，采用有序型数值编码标准化；

步骤S07：行为信息滑窗截取

参照用户预设的参数，用户预设的参数包括：滑动窗口的大小和窗口的滑动方式，通过行为信息滑窗单元对步骤S06处理后的行为信息进行滑动窗口处理，使行为信息变为输入网络架构模块的信息块；

步骤S08：行为识别模型

通过卷积层单元、胶囊层一单元，胶囊层二单元、全连接层单元构建一个四层的网络架构模型，参照用户设置的参数，通过若干次迭代对具有标签的行为信息进行训练，训练过程中通过降低损失函数来不断优化模型参数以及胶囊层单元中的动态路由协议，最终得到识别率达到了95％以上的网络架构模型；

步骤S09：行为信息的实时识别

将实时采集的行为信息输入到已经训练好的网络架构模型中进行当前行为信息的实时识别；

步骤S10：错误检测

判断当前行为识别是否发生错误，如发现存在错误，则执行步骤S11，否则，结束；

步骤S11：错误修正

错误修正单元对行为信息阈值范围、行为信息处理模块的相应参数进行调整；行为信息阈值范围包括不确定性检测的阈值范围，行为信息处理模块的相应参数包括行为信息滑窗单元中的滑动窗口的大小和窗口的滑动方式。

7.权利要求6所述的基于低功耗广域物联网和胶囊网络的实时行为识别系统的工作方法，其特征在于，所述步骤S08，行为识别模型，

网络架构模块包括依次连接的卷积层单元、胶囊层一单元、胶囊层二单元、全连接层单元；

设置卷积层单元中卷积核个数为N₁，每个卷积核大小为1×Nuclear_Size₁，步长为L₁；

设置胶囊层一单元中卷积核个数为N₂，每个卷积核大小为1×Nuclear_Size₂，步长为L₂；

设置胶囊层二单元中输出长度为Num_Output维行为信息，每个维度采用Vec_Lenv个行为信息特征；

设置全连接层单元中输出长度为Output_Length维行为信息；

包括步骤如下：

(1)输入一个Batch_Size×1×Window_Size×3大小的行为信息，Batch_Size是指一次在网络架构模块中运行的行为信息的个数，Window_Size是指每次输入网络架构模块的长度；

(2)当Batch_Size×1×Window_Size×3大小的行为信息经过卷积层单元之后，通过式(Ⅰ)将输入的行为信息由标量转换成矢量：

式(Ⅰ)中，X_i是指行为信息经过不确定性、标准化、基于时间序列的滑动窗口处理之后的每个信息；W_ij是指卷积层单元的权重参数，初始值默认为生成截断正态分布的随机数；

b_j是指卷积层单元的偏置参数，初始值默认为0.0；

n表示卷积核的个数；

Y_j是表示卷积层输出；

输出信息大小为：

(3)令把以上M组卷积核封装在胶囊网络中，将矢量的行为信息Y_j输入到胶囊层一单元，通过式(Ⅱ)将输入的行为信息转换成具有空间特性的行为信息；

式(Ⅱ)中，W_jl是指胶囊层一单元的权重参数，初始值默认为生成截断正态分布的随机数；m表示胶囊的个数；

b_l是指胶囊层一单元的偏置参数，初始值默认为0.0；

squash()函数是一种新的非线性函数，squash()函数是面向矢量信息的非线性处理；

是指胶囊网络输出的矢量行为信息特征；

经过胶囊层一单元后输出的信息大小为：

(4)将具有空间特性的行为信息输入到胶囊层二单元，通过动态路由协议即式(Ⅲ)、(Ⅳ)将行为信息进行处理；

式(Ⅲ)、(Ⅳ)中，

b_ik是指胶囊层一单元中第i个神经元和胶囊层二单元中第k个神经元的动态路由权重；

b_ij是指胶囊层一单元中第i个神经元和胶囊层二单元中第j个神经元的动态路由权重；

是指每个胶囊的输出；

S_j是指胶囊层二单元经过动态路由协议之后输出的行为信息特征；

是指出网络架构的矢量输出；

胶囊层二单元处理后输出的信息大小为：Batch_Size×Num_Output×Vec_Lenv×1；

(5)通过全连接层单元将行为信息由矢量转换成标量；

经过全连接层单元后输出的信息大小为：

Batch_Size×Output_Length×1；

(6)加入Softmax分类器，通过Softmax分类器进行行为信息的分类识别；通过将信息大小为Batch_Size×Output_Length×1的行为信息特征经过分类器进行各个行为概率的求解，找出对应的各类概率数值最大的行为，网络架构模块最终的识别结果即概率数值最大的行为。