CN116702025A - 一种基于惯性传感器数据的基础设施状态识别方法和系统 - Google Patents

Abstract

本发明提供了一种基于惯性传感器数据的基础设施状态识别方法和系统，该方法包括：获取部署在基础设施上的惯性传感器采集的传感数据和该传感数据被采集前该基础设施的前序状态序列；利用经训练的状态识别模型根据所述传感数据和所述前序状态序列确定该基础设施当前的状态，其中，所述经训练的状态识别模型包括两种预测模式，第一预测模式下根据传感数据和对应前序状态序列进行预测，第二预测模式下根据传感数据和对应前序状态序列的掩码值进行预测；利用校准器确定基础设施当前的状态是否需要校准，若是，由经训练的状态识别模型在第二预测模式下预测的基础设施的状态更新基础设施当前的状态。

Description

一种基于惯性传感器数据的基础设施状态识别方法和系统

技术领域

本发明涉及数字信号处理领域，具体来说涉及物联网和神经网络相结合的领域，更具体地说，涉及一种基于惯性传感器数据的基础设施状态识别和系统。

背景技术

随着物联网技术的快速发展，基础设施状态识别的应用在生活中随处可见，尤其在智能家居、工业互联网、消防安全，智慧养老等领域有不言而喻的重要性。但是基础设施检测时常需要针对特定的使用场景配套定制化的嵌入传感器及识别算法，造成成本的升高和细分应用之间的壁垒，极大的阻碍了智能传感技术的普及。

在这样的背景下有很多传感技术的提出，其中包括接触式传感技术和非接触式传感技术。

非接触式传感技术使用雷达、射频识别(Radio Frequency Identification，缩写为RFID)、超宽带(Ultra Wide Band，缩写为UWB)等射频技术通过无线电波在被检测物体上的背向散射和多径效应采集携带被检测物体状态特征的回波信号，以实现对物体状态的识别。但是这种技术存在受限于场景特异性、成本高、不易部署等问题，只是在特定的场景实施，难以大规模应用。

接触式传感技术则多基于惯性传感器，因其采用MEMS技术具有低功耗、低成本的特点。惯性传感器通常集成了加速度计、陀螺仪和磁力计，或者集成了加速度计和陀螺仪。其，可表征被检测设施的姿态变化和方向，被广泛用于检测物体状态，例如家居状态检测、设施姿态检测、车辆撞击检测、跌落检测等。其检测技术多基于传感器数据进行姿态和方向的解算，通过强度或方向的变化进行状态识别。

随着机器学习技术的发展，逐渐演变出了普适性更强的机器学习方法，从传统的提取语义的姿态方向等特征演变为根据特定场景进行参数化模型的迭代训练提取非语义特征进行状态识别。但是，惯性传感器的传感数据存在局限性，仅根据当前基础设施的传感数据来确定基础设施的状态的情况下，一些时刻检测出的状态的准确性不高。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种基于惯性传感器数据的基础设施状态识别方法和系统。

本发明的目的是通过以下技术方案实现的：

根据本发明的第一方面，提供一种基于惯性传感器数据的基础设施状态识别方法，包括：获取部署在基础设施上的惯性传感器采集的传感数据和该传感数据被采集前该基础设施的前序状态序列；利用经训练的状态识别模型根据所述传感数据和所述前序状态序列确定该基础设施当前的状态，其中，所述经训练的状态识别模型包括两种预测模式，第一预测模式下根据传感数据和对应前序状态序列进行预测，第二预测模式下根据传感数据和对应前序状态序列的掩码值进行预测；利用校准器确定基础设施当前的状态是否需要校准，若是，由经训练的状态识别模型在第二预测模式下预测的基础设施的状态更新基础设施当前的状态。

可选的，所述经训练的状态识别模型按以下方式训练得到：获取第一训练集，其包括多个样本和每个样本对应的标签，每个样本包括基础设施的传感数据和该传感数据被采集前该基础设施的前序状态序列，每个标签指示其所在样本所含传感数据被采集时对应基础设施的标注状态；获取构建的状态识别模型，所述状态识别模型用于从传感数据和前序状态序列提取特征向量的特征提取器和根据特征向量识别基础设施的状态的预测层；利用第一训练集在第一预测模式或第二预测模式下交替对状态识别模型进行训练。

可选的，在第一预测模式下对状态识别模型进行训练时，样本中的基础设施的传感数据和对应的前序状态序列被输入状态识别模型，输出基础设施的状态，并基于输出的基础设施的状态和对应的标签确定的损失值更新状态识别模型的参数；在第二预测模式下对状态识别模型进行训练时，样本中的基础设施的传感数据和对应的前序状态序列的掩码值被输入状态识别模型，输出基础设施的状态，并基于该输出的基础设施的状态和对应的标签确定的损失值更新状态识别模型的参数。

可选的，特征提取器包括：用于对传感数据中的三轴加速度数据进行特征提取以得到加速度特征的第一分支；用于对传感数据中的三轴角速度数据进行特征提取以得到角速度特征的第二分支；用于对前序状态序列进行特征提取以得到前序状态特征的前序分支；用于对加速度特征、角速度特征和前序状态特征进行融合处理以得到特征向量的融合层。

可选的，所述第一分支通过三通道的1D卷积层对三轴加速度数据进行加速度融合并对加速度融合的结果采用均值算子进行滤波，得到加速度特征；所述第二分支通过单层RNN网络对三轴角速度数据进行角速度融合并对角速度融合的结果采用索贝尔算子进行滤波，得到角速度特征。

可选的，所述特征提取器包括：用于对传感数据中的三轴加速度数据进行特征提取以得到加速度特征的第一分支；用于对传感数据中的三轴角速度数据进行特征提取以得到角速度特征的第二分支；用于对传感数据中的三轴磁力计数据进行特征提取以得到磁力特征的第三分支；用于对加速度特征、角速度特征、磁力特征和前序状态特征以得到特征向量的融合层。

可选的，特征提取器包括：主干神经网络，其采用Inception网络从传感数据提取由多维向量形式的中间特征；基于前序状态序列的注意力模块，其包括：用于从前序状态序列提取中间特征的每一维的注意力值的全连接层，和用于根据每一维的注意力值对中间特征的每一维的数值进行加权得到的加权中间特征，并将所述加权中间特征和所述中间特征融合以得到特征向量的融合层。

可选的，经训练的校准器按照按以下方式训练得到：利用所述经训练的状态识别模型在第二预测模式下对第一训练集中各样本输出基础设施的各状态的置信度，根据样本对应的第一标签从各状态的置信度中提取标注状态的置信度作为该样本的第二标签；获取校准器，所述校准器为回归模型，利用第一训练集的样本中的基础设施的传感数据和对应第二标签对校准器进行回归训练。

可选的，在所述经训练的校准器对所述传感数据输出的置信度大于等于置信度阈值时，确定基础设施当前的状态需要校准。

可选的，针对不同种类的基础设施分别设有与该种类的基础设施对应的预设的至少两种状态，每种基础设施为门、窗户、水管、抽屉、床、窗帘、通风口、电器、健身器材、工业生产装置和打印机中的一种。

根据本发明的第二方面，提供一种基础设施状态监测系统，包括：一个或者多个信息采集设备，每个信息采集设备能部署于需要监测的基础设施上并且包括基于惯性传感器的数据采集模块和通信模块；状态监测设备，被配置为能与所述信息采集设备的通信模块进行交互以获取对应基础设施惯性传感器采集的基础设施的传感数据，并以初始化的前序状态序列为基础，利用第一方面的方法识别一个或者多个需要监测的基础设施的状态。

根据本发明的第三方面，提供一种电子设备，包括：一个或多个处理器；以及存储器，其中存储器用于存储可执行指令；所述一个或多个处理器被配置为经由执行所述可执行指令以实现第一方面所述方法的步骤。

与现有技术相比，本发明的优点在于：

本发明实施例不仅获取传感数据，还获取该传感数据被采集前该基础设施的前序状态序列，利用经训练的状态识别模型根据所述传感数据和所述前序状态序列确定该基础设施当前的状态；因为对应添加了基础设施在该传感数据被采集前的前序状态序列，可以提高基础设施状态预测的准确性。与此同时，发明人通过测试发现，虽然一些时候在添加了前序状态序列后基础设施状态预测的准确性会得到提高，但少数情况还是仅依靠传感数据进行状态预测更准确。因此，本发明为所述经训练的状态识别模型包括两种预测模式，第一预测模式下根据传感数据和对应前序状态序列进行预测，第二预测模式下根据传感数据和对应前序状态序列的掩码值进行预测；另外，还设置校准器，用于根据所述传感数据确定基础设施当前的状态是否需要校准，若是，则由经训练的状态识别模型在第二预测模式下预测的基础设施的状态更新基础设施当前的状态。由于在第二预测模式是根据传感数据和对应前序状态序列的掩码值(相当于屏蔽掉前序状态序列的影响)进行预测，可以在不改变经训练的状态识别模型的结构或者另设模型的情况下，只根据传感数据进行预测的状态进行校准，进一步提升对基础设施的状态识别的总体准确性。

附图说明

以下参照附图对本发明实施例作进一步说明，其中：

图1为根据本发明实施例的状态识别模型和校准器的运行原理示意图；

图2为根据本发明实施例的特征提取器的一个示意性实施例的结构示意图；

图3为根据本发明实施例的特征提取器的另一个示意性实施例的结构示意图；

图4为根据本发明实施例的状态识别模型的一个示意性实施例的结构示意图；

图5为根据本发明实施例的校准器的一个示意性实施例的原理示意图；

图6为根据本发明实施例的校准器的另一个示意性实施例的原理示意图；

图7为根据本发明实施例的应用示意图；

图8为根据本发明实施例的另一个应用示意图；

图9为根据本发明实施例的又一个应用示意图；

图10为根据本发明实施例进行消融实验的结果示意图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如在背景技术部分提到的，惯性传感器的传感数据存在局限性，仅根据当前基础设施的传感数据来确定基础设施的状态的情况下，一些时刻检测出的状态的准确性不高。为了解决上述问题，参见图1，本发明实施例不仅获取传感数据，还获取该传感数据被采集前该基础设施的前序状态序列，利用经训练的状态识别模型根据所述传感数据和所述前序状态序列确定该基础设施当前的状态；因为对应添加了基础设施在该传感数据被采集前的前序状态序列，可以提高基础设施状态预测的准确性。与此同时，发明人通过测试发现，虽然一些时候在添加了前序状态序列后基础设施状态预测的准确性会得到提高，但少数情况还是仅依靠传感数据进行状态预测更准确。因此，本发明为所述经训练的状态识别模型包括两种预测模式，第一预测模式下根据传感数据和对应前序状态序列进行预测，第二预测模式下根据传感数据和对应前序状态序列的掩码值进行预测；另外，还设置校准器，用于根据所述传感数据确定基础设施当前的状态是否需要校准，若是，则由经训练的状态识别模型在第二预测模式下预测的基础设施的状态更新基础设施当前的状态。由于在第二预测模式是根据传感数据和对应前序状态序列的掩码值(相当于屏蔽掉前序状态序列的影响)进行预测，可以在不改变经训练的状态识别模型的结构或者另设模型的情况下，只根据传感数据进行预测的状态进行校准，进一步提升对基础设施的状态识别的总体准确性。

为了说明本发明的技术方案，下面从惯性传感器、状态识别模型、校准器、应用场景对应的方面，分别进行说明。

一、传感数据

根据本发明的一个实施例，本实施例所利用的传感数据是惯性传感器采集的传感数据。惯性传感器可以采用现有的传感器，例如：现有的六轴传感器或者九轴传感器。六轴传感器包括三轴的加速度传感器和三轴的角速度传感器。九轴传感器包括三轴的加速度传感器、三轴的角速度传感器和三轴的磁力计。可以根据需要选择传感器，例如，对于部件运动导致状态改变的基础设施，可以采用三轴的加速度传感器和三轴的角速度传感器；比如，门、窗户、水管、抽屉、床、通风口、窗帘等。又例如，对于用电启动与否导致状态改变的基础设施，可以采用九轴传感器，并且可以对传感数据中磁力计的数据赋予更大的权重(比如信号放大)；比如电器、健身器材、工业生产装置和打印机。应当理解，实施者可以根据经验、成本或者其他因素适应性选择对应的惯性传感器，本实施例对此不作任何限制。比如，如实施者认为需要生产一款不论放在通电或者不通电的基础设施上均能采用的产品，那可以在产品设置九轴传感器，如果产品的惯性传感器用在窗户上，判断窗户的开启和关闭，可以部分利用传感数据，如可以不使用或者屏蔽磁力计的数据；如果放在电器上，判断电器的开启和关闭，可以完全利用九轴的传感数据。

二、状态识别模型

下面从状态识别模型识别的状态、结构、数据集、模型训练的角度进行说明。

2.1状态识别模型识别的状态

根据本发明的一个实施例，状态识别模型要识别的状态需要根据基础设施及实施者需要识别该基础设施的相应状态来确定。其中，基础设施可以是门、窗户、水管、抽屉、床、窗帘、通风口、电器、健身器材、工业生产装置和打印机中的一种。不同的基础设施可以分别设置与之对应的状态识别模型进行状态识别。示意性的，一些场景下，可以是对这里给出的相应基础设施的开启或者关闭状态进行识别。如窗户是开还是关着的；水管是开(对应水管有水流通过的状态)还是关着(对应水管无水流通过的状态)的。当然，实施者也可以定义其他实施方式，以识别其他状态。比如：工业生产装置是正常运转或者异常的状态。又比如，实施者还可定义是要更细分的状态，比如：对于健身器材，实施者可以设置需要识别的状态为：开启无人使用、开启有人使用、关闭三种状态。

2.2状态识别模型的结构

根据本发明的一个实施例，状态识别模型包括用于从传感数据和前序状态序列提取特征向量的特征提取器和根据特征向量识别基础设施的状态的预测层。

根据本发明的一个实施例，特征提取器包括：用于对传感数据中的三轴加速度数据进行特征提取以得到加速度特征的第一分支；用于对传感数据中的三轴角速度数据进行特征提取以得到角速度特征的第二分支；用于对前序状态序列进行特征提取以得到前序状态特征的前序分支；用于对加速度特征、角速度特征和前序状态特征进行融合处理以得到特征向量的融合层。可选的，本实施例的第一分支、第二分支均可以采用CNN网络来进行数据处理。

发明人通过测试，对六轴的惯性传感器处理的特征处理器进行改进，以得到更好的特征提取效果。根据本发明的一个实施例，参见图2，第一分支通过三通道的1D卷积层对三轴(例如对应图2所示的X、Y、Z三轴)加速度数据进行加速度融合(获得总加速度方向)并对加速度融合的结果采用均值算子进行滤波(为一种低通滤波方式)，得到第一分支处理的结果(即加速度特征)；所述第二分支通过单层RNN网络对三轴(例如对应图2所示的X、Y、Z三轴)角速度数据进行角速度融合(获得姿态信息)并对角速度融合的结果采用索贝尔算子进行滤波(为一种高通滤波方式)，得到第二分支处理的结果(即角速度特征)。该实施例的技术方案至少能够实现以下有益技术效果：该实施例利用加速度携带的姿态信息和陀螺仪携带的姿态信息进行互补融合，即可以用少量的可训练参数实现对基础设施的运动姿态相关的特征提取，相比传统的深度学习方法具有极轻量化的特性。

根据本发明的另一个实施例，特征提取器包括：用于对传感数据中的三轴加速度数据进行处理的第一分支；用于对传感数据中的三轴角速度数据进行处理的第二分支；用于对传感数据中的三轴磁力计数据进行处理的第三分支；用于对第一分支、第二分支和第三分支处理的结果进行融合处理以得到特征向量的融合层。本实施例的第一分支、第二分支和第三分支均可以采用三通道的1D卷积层(或者1D卷积层、池化层的堆叠结构)分别对三轴的数据进行处理的结构。又或者，第一分支、第二分支采用图2所示结构，第三分支采用三通道的1D卷积层(或者1D卷积层、池化层的堆叠结构)分别对三轴的数据进行处理的结构。

也可采用其他的结构来进一步改进特征提取的效果，例如在特征提取器中加入注意力机制，以提升识别状态的准确性。根据本发明的一个实施例，参见图3，特征提取器包括：主干神经网络，其采用Inception网络从传感数据提取由多维向量形式的中间特征；基于前序状态序列的注意力模块，其包括：用于从前序状态序列提取中间特征的每一维的注意力值的全连接层，和用于根据每一维的注意力值对中间特征的每一维的数值进行加权得到的加权中间特征，并将所述加权中间特征和所述中间特征融合以得到特征向量的融合层。该实施例的Inception网络可以采用Inception V1、V2、V3或者V4模型。除此之外，也可增加一些其他结构，以形成不同实施方式，比如，在融合层和预测层之间，再接一层、两层或者多层全连接层，对融合层的输出特征向量进行特征处理，以得到最后的特征向量。该实施例的技术方案至少能够实现以下有益技术效果：该实施例采用前序状态序列计算注意力值来对中间特征进行加权，可以使得模型在考虑前序状态的基础上更加关注部分特征，最后进行最终的基础设施状态推断，从而提升模型进行状态识别的准确率。

除以上实施例外，也可采用其他结构来实现特征提取器。根据本发明的一个实施例，参见图4，特征提取器包括用于对传感数据和前序状态序列进行混合编码以得到混合特征的混合编码层，并将混合特征经过一个卷积层、一个池化层(或者多个堆叠的卷积层和池化层，图4未示出)和全连接层的处理后，得到特征向量。

根据本发明的一个实施例，预测层可以采用现有结构，例如：预测层包括全连接层和Softmax函数。其中，预测层的全连接层用于对特征向量的维度进行调整，得到预测特征，Softmax函数用于根据预测特征输出基础设施的各状态的置信度。或者，预测层可以仅采用Softmax函数(此种情况下需要特征提取器中设置一个全连接层进行特征向量的向量维度的调整，以适于直接使用Softmax函数根据特征提取器输出特征向量进行预测)。

另外，以上实施例组合形成的任意状态识别模型均具备两种预测模式，第一预测模式下根据传感数据和对应前序状态序列进行预测，第二预测模式下根据传感数据和对应前序状态序列的掩码值进行预测。前序状态序列的掩码值可以采用在特征提取器前为前序状态序列添加一个对应的掩码层的方式实现，掩码层中设置与前序状态序列长度一致的掩码向量，前序状态序列的每一维和掩码向量的每一维相乘的结果作为实际输入特征提取器的前序状态序列，其中，如果是第一预测模式，则掩码向量中每一维的值为1，即不屏蔽前序状态序列；如果是第二预测模式，则掩码向量中每一维的值为，即屏蔽前序状态序列，得到前序状态序列的掩码值。或者，该掩码层也可设置于特征提取器中。又或者，额外设置一个置零模块，在状态识别模型需要在第二预测模式下预测的基础设施的状态时，将对应前序状态序列置零。

2.3数据集

在状态识别模型投入使用前，需要利用数据集指导训练。

根据本发明的一个实施例，数据集包括多个样本和每个样本对应的标签，每个样本包括基础设施的传感数据和该传感数据被采集前该基础设施的前序状态序列，每个标签指示其所在样本所含传感数据被采集时对应基础设施的标注状态。前序状态序列可以包括一个或者多个时刻的前序状态。比如，假设前序状态序列需要3(也可以是其他值，比如6、9、20等)个时刻的前序状态，则前序状态序列可以是0,0,1；其中，可以用0表示开启，1表示关闭，或者相反表示。数据集可以由实施者自己制作，或者采用他人制作的数据集。

数据集制作完成后，本领域技术人员所知晓的，可以将数据集按预设比例(比如7:2:1)划分为训练集、验证集和测试集；也可以将数据集按预设比例(比如8:2)划分为训练集和测试集。此处的训练集即用于训练状态识别模型的第一训练集。

2.4模型训练

根据本发明的一个实施例，经训练的状态识别模型按以下方式训练得到：获取第一训练集；获取构建的状态识别模型；利用第一训练集在第一预测模式或第二预测模式下交替对状态识别模型进行训练。优选的，在第一预测模式下对状态识别模型进行训练时，样本中的基础设施的传感数据和对应的前序状态序列被输入状态识别模型，输出基础设施的状态，并基于输出的基础设施的状态和对应的标签确定的损失值更新状态识别模型的参数。在第二预测模式下对状态识别模型进行训练时，样本中的基础设施的传感数据和对应的前序状态序列的掩码值被输入状态识别模型，输出基础设施的状态，并基于该输出的基础设施的状态和对应的标签确定的损失值更新状态识别模型的参数。示意性的，利用第一训练集在第一预测模式下训练1轮(2轮、3轮等)，然后在第二预测模式下训练1轮(2轮、3轮等，轮是指Epoch)，整体训练预设轮次(比如1000轮、2000轮或者10000轮)后或者达到预设的收敛标准，则结束训练。示意性的，第一训练集中的样本还可以分为多个批次(Batch)分别对状态识别模型进行训练。

当然，第一预测模式和第二预测模式下需要更新参数的结构可以有差异。比如，对于图3所示的结构，训练过程中可先在前序状态掩码的情况下(即前序状态序列中全为0，注意力机制失效，对应第二预测模式的训练)进行状态识别的有监督训练，即更新主干神经网络和注意力模块的参数；在主干神经网络收敛后，再固定主干神经网络的参数，基于主干神经网络针对训练数据的输出和前序状态序列再进行注意力机制的训练(对应第一预测模式下的训练)，即更新注意力模块的参数而不更新主干神经网络的参数。

三、校准器

根据本发明的一个实施例，校准器也可采用回归模型(如单层或者两层或者多层感知机一类的神经网络或者传统的非神经网络的回归分析模型)来实现。例如，校准器可采用基于随机森林、梯度提升树、多层感知机、各种结构的深度学习模型的回归模型。参见图5，利用校准器根据所述传感数据确定基础设施当前的状态是否需要校准，若是，由经训练的状态识别模型在第二预测模式(即根据前序状态的掩码值和传感数据)预测的基础设施的状态更新基础设施当前的状态。可选的，经训练的校准器按照按以下方式训练得到：利用所述经训练的状态识别模型在第二预测模式下对第一训练集中各样本输出基础设施的各状态的置信度，根据样本对应的第一标签从各状态的置信度中提取标注状态的置信度(即正确状态的置信度)作为该样本的第二标签；获取校准器，所述校准器为回归模型，利用第一训练集的样本中的基础设施的传感数据和对应第二标签对校准器进行回归训练。其中，在所述经训练的校准器对所述传感数据输出的置信度大于等于置信度阈值(比如80％、85％、90％、95％)时，确定基础设施当前的状态需要校准。由于此校准器是被训练于用于识别第二预测模式下预测正确状态的置信度，则在其输出的置信度大于等于置信度阈值时，说明仅采用传感数据进行预测能达到比较高的准确率，则执行校准，提升此种情况的预测准确率。校准器可实现对基础设施状态识别结果的自适应校准，用于提升状态识别模型在持续运行过程中的精度，防止误差累积。

另外，实施者也可定义其他规则来确定是否需要校准，比如，在所述经训练的校准器对所述传感数据输出的置信度大于等于置信度阈值，并且对所述传感数据输出的置信度大于判别器输出的各状态的置信度中的最大值时，则确定需要执行校准。

除此之外，也可采用其他方式来实现校准器，比如，校准器可以不基于训练得到。根据本发明的一个实施例，参见图6，校准器被配置为获取状态识别模型识别的各状态的置信度，并确定所述各状态的置信度中的最大值是否小于等于预设的最低阈值，若是，则执行校准。

另外，一些情况下，往往识别精度较高，也不必要每次状态识别都执行校准。即校准器的执行频率可以与状态识别模型识别状态的频率相同或者不同(比如状态识别模型识别每执行2次、3次或者4次后校准器执行一次状态的校准)，两者执行频率的差异可根据实际部署精度和功耗需求决定。

四、应用场景

根据本发明的一个实施例，提供一种基于惯性传感器数据的基础设施状态识别方法，包括：获取部署在基础设施上的惯性传感器采集的传感数据和该传感数据被采集前该基础设施的前序状态序列；

利用经训练的状态识别模型根据所述传感数据和所述前序状态序列确定该基础设施当前的状态(对应于第一预测模式)，其中，所述经训练的状态识别模型包括两种预测模式，第一预测模式下根据传感数据和对应前序状态序列进行预测，第二预测模式下根据传感数据和对应前序状态序列的掩码值进行预测；利用校准器，根据所述传感数据确定基础设施当前的状态是否需要校准，若是，由经训练的状态识别模型在第二预测模式下预测的基础设施的状态更新基础设施当前的状态；若是，则保留基于第一预测模式确定的基础设施当前的状态。并且，基于确定的基础设施当前的状态更新对应的前序状态序列。该实施例的技术方案至少能够实现以下有益技术效果：本实施例基于基础设施的当前的传感数据(如实时获取、即时获取)和前序状态序列推断基础设施状态，可以提升推断的精度。

根据本发明的一个实施例，提供一种基础设施状态监测系统，包括：一个或者多个信息采集装置，每个信息采集设备能部署于需要监测的基础设施上并且包括基于惯性传感器的数据采集模块和通信模块；状态监测，被配置为能与所述信息采集设备的通信模块进行交互以获取对应基础设施惯性传感器采集的基础设施的传感数据，并以初始化的前序状态序列为基础，利用基于惯性传感器数据的基础设施状态识别方法识别各需要监测的基础设施的状态。初始化的前序状态序列可以通过实施者所需的初始化方式得到，比如：随机初始化、先对基础设置采集多个连续的状态用于设置初始化的前序状态序列等。

根据本发明的一个实施例，参见图7，基于惯性传感器数据的基础设施状态识别方法所对应的功能模块(对应的算法)可以部署在边缘端。将算法部署在边缘端的嵌入式芯片(或者称嵌入式设备)中，采用的设备芯片为Nrf52833，为一款蓝牙通信功能的微控制器。为了完成模型的部署使用了模型参数量化技术，即采用一定的策略将模型的参数由浮点值转化为定点值从而降低模型的参数空间。本实施例的模型量化测量采用最大最小值(Min-max)量化法，是一种模型训练之后实施的离线量化方法，将模型的浮点参数范围逐层映射到-128-128的8bit定点参数范围，从而将上述模型压缩至100KB大小左右，部署在Nrf52833芯片上进行推断。本实施例部署的边缘端的嵌入式芯片包括三个模块：惯性导航传感器模块、微控制器模块、双向通信模块。嵌入式芯片封装成一定的产品形态后通过粘贴或其他固定方式固定在基础设施上，例如门、窗、工业生产机械臂等。由用户按流程配置目标监测动作后由惯性导航传感器模块进行传感数据采集，微控制器模块执行基于惯性传感器数据的基础设施状态识别方法，双向通信模块与云服务交互当前基础设施的状态以及控制指令值以完成相应的控制操作或者参数配置。

当然，边缘端也可以只负责传感数据的采集过程。根据本发明的另一个实施例，参见图8，将算法部署在雾端或云端的服务器，通过边缘端的嵌入式芯片采集惯性导航单元的传感器数据上传到雾端或者云端的服务器中进行实时的基础设施状态识别。本实施例部署的边缘端嵌入式芯片包括两个模块：惯性导航传感器模块、双向通信模块。嵌入式芯片封装成一定的产品形态后通过粘贴或其他固定方式固定在基础设施上，例如门、窗、工业生产机械臂等。嵌入式芯片只负责传感数据的采集过程。状态识别的算法可以部署在云端(如云服务)或者雾端(如区域服务器)。当然，也可以部署在其他地方，比如，参见图9，状态识别的算法还可以部署在网关(如智能网关)，智能网络可以识别出基础设施的状态后上报云服务。用户可以从云服务得到所要监测的各个基础设施的状态。

为了验证校准器的效果，发明人还针对门(开关)、冰箱(开关)、用水(水管或者水龙头的开关)、显示器(开关)、窗帘(开关)、马桶(使用与否)这些基础设施的状态识别进行了消融实验。消融实验的结果如图10所示，可以看到，在各基础设施的状态识别场景中，使用校准器后，准确率都得到了提升，特别是在显示器、窗帘和马桶这些基础设施的状态识别场景中，准确率提升的幅度较大。

需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (13)

1.一种基于惯性传感器数据的基础设施状态识别方法，其特征在于，包括：

获取部署在基础设施上的惯性传感器采集的传感数据和该传感数据被采集前该基础设施的前序状态序列；

利用经训练的状态识别模型根据所述传感数据和所述前序状态序列确定该基础设施当前的状态，其中，所述经训练的状态识别模型包括两种预测模式，第一预测模式下根据传感数据和对应前序状态序列进行预测，第二预测模式下根据传感数据和对应前序状态序列的掩码值进行预测；

利用校准器确定基础设施当前的状态是否需要校准，若是，由经训练的状态识别模型在第二预测模式下预测的基础设施的状态更新基础设施当前的状态。

2.根据权利要求1所述的方法，其特征在于，所述经训练的状态识别模型按以下方式训练得到：

获取第一训练集，其包括多个样本和每个样本对应的标签，每个样本包括基础设施的传感数据和该传感数据被采集前该基础设施的前序状态序列，每个标签指示其所在样本所含传感数据被采集时对应基础设施的标注状态；

获取构建的状态识别模型，所述状态识别模型用于从传感数据和前序状态序列提取特征向量的特征提取器和根据特征向量识别基础设施的状态的预测层；

利用第一训练集在第一预测模式或第二预测模式下交替对状态识别模型进行训练。

3.根据权利要求2所述的方法，其特征在于，其中，

在第一预测模式下对状态识别模型进行训练时，样本中的基础设施的传感数据和对应的前序状态序列被输入状态识别模型，输出基础设施的状态，并基于输出的基础设施的状态和对应的标签确定的损失值更新状态识别模型的参数；

在第二预测模式下对状态识别模型进行训练时，样本中的基础设施的传感数据和对应的前序状态序列的掩码值被输入状态识别模型，输出基础设施的状态，并基于该输出的基础设施的状态和对应的标签确定的损失值更新状态识别模型的参数。

4.根据权利要求3所述的方法，其特征在于，所述特征提取器包括：

用于对传感数据中的三轴加速度数据进行特征提取以得到加速度特征的第一分支；

用于对传感数据中的三轴角速度数据进行特征提取以得到角速度特征的第二分支；

用于对前序状态序列进行特征提取以得到前序状态特征的前序分支；

用于对加速度特征、角速度特征和前序状态特征进行融合处理以得到特征向量的融合层。

5.根据权利要求4所述的方法，其特征在于，所述第一分支通过三通道的1D卷积层对三轴加速度数据进行加速度融合并对加速度融合的结果采用均值算子进行滤波，得到加速度特征；所述第二分支通过单层RNN网络对三轴角速度数据进行角速度融合并对角速度融合的结果采用索贝尔算子进行滤波，得到角速度特征。

6.根据权利要求3所述的方法，其特征在于，所述特征提取器包括：

用于对传感数据中的三轴加速度数据进行特征提取以得到加速度特征的第一分支；

用于对传感数据中的三轴角速度数据进行特征提取以得到角速度特征的第二分支；

用于对传感数据中的三轴磁力计数据进行特征提取以得到磁力特征的第三分支；

用于对加速度特征、角速度特征、磁力特征和前序状态特征以得到特征向量的融合层。

7.根据权利要求3所述的方法，其特征在于，所述特征提取器包括：

主干神经网络，其采用Inception网络从传感数据提取由多维向量形式的中间特征；

基于前序状态序列的注意力模块，其包括：

用于从前序状态序列提取中间特征的每一维的注意力值的全连接层，和

用于根据每一维的注意力值对中间特征的每一维的数值进行加权得到的加权中间特征，并将所述加权中间特征和所述中间特征融合以得到特征向量的融合层。

8.根据权利要求2所述的方法，其特征在于，所述经训练的校准器按照按以下方式训练得到：

利用所述经训练的状态识别模型在第二预测模式下对第一训练集中各样本输出基础设施的各状态的置信度，根据样本对应的第一标签从各状态的置信度中提取标注状态的置信度作为该样本的第二标签；

获取校准器，所述校准器为回归模型，利用第一训练集的样本中的基础设施的传感数据和对应第二标签对校准器进行回归训练。

9.根据权利要求8所述的方法，其特征在于，在所述经训练的校准器对所述传感数据输出的置信度大于等于置信度阈值时，确定基础设施当前的状态需要校准。

10.根据权利要求1-9任一项所述的方法，其特征在于，针对不同种类的基础设施分别设有与该种类的基础设施对应的预设的至少两种状态，每种基础设施为门、窗户、水管、抽屉、床、窗帘、通风口、电器、健身器材、工业生产装置和打印机中的一种。

11.一种基础设施状态监测系统，其特征在于，包括：

一个或者多个信息采集设备，每个信息采集设备能部署于需要监测的基础设施上并且包括基于惯性传感器的数据采集模块和通信模块；

状态监测设备，被配置为能与所述信息采集设备的通信模块进行交互以获取对应基础设施惯性传感器采集的基础设施的传感数据，并以初始化的前序状态序列为基础，利用权利要求1-10任一项的方法识别一个或者多个需要监测的基础设施的状态。

12.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序可被处理器执行以实现权利要求1至10中任一项所述方法的步骤。

13.一种电子设备，其特征在于，包括：

一个或多个处理器；以及

存储器，其中存储器用于存储可执行指令；

所述一个或多个处理器被配置为经由执行所述可执行指令以实现权利要求1至10中任一项所述方法的步骤。