CN114168576A - 物联网数据处理方法、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种物联网数据处理方法、设备及存储介质。在训练目标对象的基线预测模型时，可通过物联网设备采集目标对象的物联网数据。在获取到目标对象的物联网数据后，可根据物联网数据的分布特征，对获取物联网数据进行预处理操作，该预处理操作至少包括：噪声数据过滤操作和/或数据插值操作。基于预处理后的物联网数据，可对目标对象的基线预测模型进行训练。在这种实施方式中，从数据质量的角度出发对目标对象的基线预测模型进行优化训练，可进一步提升目标对象的基线预测模型的预测准确率，提升智能运维服务的质量。

Description

物联网数据处理方法、设备及存储介质

技术领域

本申请涉及物联网技术领域，尤其涉及一种物联网数据处理方法、设备及存储介质。

背景技术

在运维场景中，云平台上可基于智能基线产品提供智能运维服务。智能基线产品可基于机器学习算法自动生成指标智能基线，并通过智能基线检测异常指标，有效避免静态阈值报警以及误报。

但是，在物联网场景下，时常出现由于网络中断导致的数据异常或者由于传输链路干扰导致的噪声数据。在物联网数据的采集质量无法保证的情况下，难以提升智能基线产品的性能。因此，有待提出一种新的解决方案。

发明内容

本申请的多个方面提供一种物联网数据处理方法、设备及存储介质，用以提升物联网数据的质量，从而提升智能基线对异常指标的检测准确性。

本申请实施例提供一种物联网数据处理方法，包括：获取第一物联网设备采集到的第一目标对象的物联网数据；根据物联网数据的分布特征，对所述物联网数据进行预处理操作，所述预处理操作至少包括：噪声数据过滤操作和/或数据插值操作；根据预处理后的物联网数据，对所述第一目标对象的基线预测模型进行训练。

本申请实施例还提供一种物联网数据处理方法，包括：获取物联网设备采集到的目标对象的物联网数据；将所述物联网数据输入所述目标对象的基线预测模型，得到所述目标对象的基线预测结果；其中，所述目标对象的基线预测模型，通过所述目标对象的历史物联网数据经过预处理操作后训练得到；所述预处理操作至少包括：噪声数据过滤操作和/或数据插值操作。

本申请实施例还提供一种服务器，包括：存储器和处理器；所述存储器用于存储一条或多条计算机指令；所述处理器用于执行所述一条或多条计算机指令以用于：执行本申请实施例提供的方法中的步骤。

本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时能够实现本申请实施例提供的方法中的步骤。

本申请实施例提供的物联网数据处理方法中，在训练目标对象的基线预测模型时，可通过物联网设备采集目标对象的物联网数据。在获取到目标对象的物联网数据后，可根据物联网数据的分布特征，对获取物联网数据进行预处理操作，该预处理操作至少包括：噪声数据过滤操作和/或数据插值操作。基于预处理后的物联网数据，可对目标对象的基线预测模型进行训练。在这种实施方式中，从数据质量的角度出发对目标对象的基线预测模型进行优化训练，可进一步提升目标对象的基线预测模型的预测准确率，提升智能运维服务的质量。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请一示例性实施例提供的物联网数据处理系统的结构示意图；

图2为本申请一示例性实施例提供的迁移学习的示意图；

图3a为本申请一示例性的实施例提供物联网数据处理方法的流程示意图；

图3b为本申请另一示例性的实施例提供物联网数据处理方法的流程示意图；

图4为本申请一示例性实施例提供的服务器的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

智能基线，是智能运维一种产品形态，在物联网场景下，根据设备历史数据设置上下浮动值，从而形成一个动态安全区间，当数据超过安全区间时，系统就会告警通知设备运维人员，从而提升设备运维人员的运维效率、最小化人为干预程度、降低人力成本以及提高运维管理效能。

在运维场景中，云平台上可基于智能基线产品提供智能运维服务。智能基线产品可基于机器学习算法自动生成指标智能基线，并通过智能基线检测异常指标，有效避免静态阈值报警以及误报。

但是，在物联网场景下，时常出现由于网络中断导致的数据异常或者由于传输链路干扰导致的噪声数据。在物联网数据的采集质量无法保证的情况下，难以提升智能基线产品的性能。

针对上述技术问题，在本申请一些实施例中，提供了一种解决方案，以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本申请一示例性实施例提供的物联网数据处理系统的结构示意图，如图1所示，物联网数据处理系统100包括：被监测的目标对象10、物联网设备20以及服务器30。

其中，被监测的目标对象10，指的是位于物联网(Internet of Things，IoT)中需提供智能运维服务的对象。在一些实施例中，目标对象10可包括可按照设定的结构或者运行逻辑运行，并产生运行数据的设备。例如，在工业场景中，目标对象可实现为风力发电设备、锅炉设备、配料装配机、装箱机、数控机床等待监测的工业设备。又例如，在农业场景中，目标对象可实现为喷灌设备、自动驾驶喷雾机等待监测的智能农用设备。在另一些实施例中，目标对象10也可包括被监测的某一物理空间、某一组织等。例如，在工业场景中，目标对象可实现为被监测的厂房、车间等物理空间。又例如，在农业场景中，目标对象可实现为部署有病虫害监测系统的培育基地、培育大棚等物理空间。

其中，物联网设备20指的部署在物联网中，用于实现物与物、物与人的泛在连接，实现对物品和过程的智能化感知、识别和管理的设备。当物联网设备20的应用场景不同时，物联网设备20的实现形态也不同。例如，在工业类的场景中，物联网设备可实现为用于监测装配线或其他制造过程的传感器。在农业类的场景中，物联网设备可实现为用于监测智能农用设备或智能培育过程的传感器。

其中，服务器30可实现为具有通信功能以及数据处理功能的设备。在一些实施例中，服务器30可实现为常规服务器、云服务器、云主机、虚拟中心等服务器等设备，本实施例对此不做限制。其中，服务器设备的构成主要包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类似，不再赘述。

在本实施例中，物联网设备20主要用于采集被监测对象(即目标对象10)的运行数据，得到物联网数据。其中，目标对象10的实现形态不同时，物联网设备采集到的物联网数据的类型也不同。例如，在消费类的场景中，物联网设备20采集到的智能电视对应的物联网数据可以是智能电视运行过程中产生的数据，例如内存利用率、硬盘利用率、CPU(centralprocessing unit，中央处理器)利用率等。例如，在工业类的场景中，装配制造线上安装的监测传感器采集到的物联网数据，可以是监测传感器从装配制造线上采集到的制造设备的温度数据、湿度数据、阀门压力数据、仪表盘数据、开关状态数据、振动频率数据等等。

在一些工业的应用场景中，物联网设备20可基于PLC(Programmable LogicController，可编程逻辑控制器)将采集到的工业设备的运行数据发送至服务器30。在边缘端(例如企业场景)中，物联网设备20可通过边缘网关将采集到的企业部署的待监测设备(例如中央空调、智能会议设备)的运行数据发送至服务器30。在无网络环境中，物联网设备20可通过DTU(Data Transfer unit，数据传递单元)将采集到的物联网数据发送至服务器30。其中，DTU是一种用于将串口数据转换为IP((Internet Protocol，互联网协议)数据或将IP数据转换为串口数据，并通过无线通信网络进行传送的无线终端设备。

在一些场景中，当物联网设备20上安装有通信模块时，物联网设备20可通过通信模块直接与服务器30建立通信连接，并将采集到的物联网数据发送至服务器30。其中，该通信模块可包括有线通信模块或者无线通信模块。其中，无线通信模块可包括但不限于：蓝牙模块、ZigBee模块、红外线通信模块、WiFi(WIreless-Fidelity，无线保真技术)模块等短距离通信模块，也包括LORA模块等远距离无线通信模块。物联网设备20还可通过移动网络与服务器30进行通信连接，该移动网络的网络制式可以为2G(GSM)、2.5G(GPRS)、3G(WCDMA、TD-SCDMA、CDMA2000、UTMS)、4G(LTE)、4G+(LTE+)、5G、5.5G、WiMax等中的任意一种。

在本实施例中，服务器30接收到物联网数据后，主要用于：根据物联网数据训练目标对象10的基线预测模型，从而可根据训练得到的基线预测模型，对目标对象进行智能运维管理。

在物联网场景下，时常出现网络中断导致的数据异常，或者因传输链路干扰导致的噪声数据等。因此，服务器30基于上述各实施方式获取物联网设备对应的物联网数据后，可根据物联网数据的分布特征，对物联网数据进行预处理操作。

其中，物联网数据通常为时序数据，该分布特征，可包括物联网数据在时序上的特征。物联网数据通常由硬件设备的运行过程产生，硬件设备的物理属性决定其运行过程中产生的数据具有一定的数值范围。因而，该分布特征，可包括物联网数据的数值分布特征。除时序特征以及数值分布特征之外，物联网数据的分布特征还可包括：数据源特征、数据结构特征等等，本实施例包含但不限于此。

其中，服务器30对物联网数据的预处理操作至少包括：噪声数据过滤操作和/或数据插值操作。其中，噪声数据过滤操作主要是指，识别物联网数据中的噪声数据，并对噪声数据进行剔除。数据插值操作，主要是指识别物联网数据中需要补充或者修改数值的时序位置，并在该时序位置进行插值。

对物联网数据进行预处理操作后，可根据预处理后的物联网数据，对目标对象10的基线预测模型进行训练。在本实施例中，采用的基线预测模型可包括但不限于ARIMA(Autoregressive Integrated Moving Average model，差分整合移动平均自回归模型)和LSTM(Long Short-Term Memory，长短期记忆网络)模型等。除上述模型之外，还可包括Xgboost算法模型、逻辑回归模型、支持向量机(Support Vector Machine，SVM)模型、深度神经网络(Deep Neural Network，DNN)模型等等，本实施例对此不做限制。

训练目标对象10的基线预测模型的过程中，基线预测模型可学习目标对象10对应的物联网数据的分布特征，并主动生成指标智能基线，并通过智能基线检测异常指标，有效避免静态阈值报警以及误报。

在本实施例中，在训练目标对象的基线预测模型时，可通过物联网设备采集目标对象的物联网数据。在获取到目标对象的物联网数据后，可根据物联网数据的分布特征，对获取物联网数据进行预处理操作，该预处理操作至少包括：噪声数据过滤操作和/或数据插值操作。基于预处理后的物联网数据，可对目标对象的基线预测模型进行训练。在这种实施方式中，从数据质量的角度出发对目标对象的基线预测模型进行优化训练，可进一步提升目标对象的基线预测模型的预测准确率，提升智能运维服务的质量。

在一些示例性的实施例中，服务器30根据物联网数据的分布特征，对物联网设备20采集到的物联网数据进行预处理操作时，可对该物联网数据执行噪声数据过滤操作、数据插值操作，或者同时执行噪声数据过滤操作以及数据插值操作。以下将分别结合不同的实施方式进行示例性说明。

实施方式A：根据行业知识库，对物联网数据进行噪声过滤。

其中，行业知识库指的用于保存目标对象10所在行业的相关知识的数据库。在每一行业的知识库中，可存放有该行业中特定类型的设备的数据指标特征。例如，在风力发电行业的知识库中，存放有风力发电机的油液状态的相关数据指标的特征。例如，油液磨粒特征，水分特征，粘度特征，温度特征，液位特征，压力特征等。例如，在工业锅炉行业的知识库中，存放有锅炉设备的温度特征、风压特征、热效率特征等。又例如，在智能农业的知识库中，存放有智能大棚的温度特征、湿度特征、光照特征等等。上述数据指标特征可采用固定规则来描述，不同数据指标对应的固定规则不同。

其中，当物联网设备被应用于采集不同行业中的目标对象的运行数据时，同一种物联网设备采集到的数据的分布特征不同。例如，针对温度传感器而言，当用于采集锅炉、钢铁冶炼等工业场景中的温度数据时，其采集到的温度数据的分布特征与锅炉、钢铁冶炼等工业场景中的温度变化特征匹配。当用于采集农业智能化场景中的温度数据时，其采集到的温度数据分布特征与智能蔬菜大棚、养殖基地中的温度变化特征匹配。基于此，在本实施例中，可根据被监测的目标对象的应用行业，采用对应的行业知识库对物联网设备20采集到的物联网数据进行噪声过滤。

可选地，首先可根据目标对象10的应用行业，确定与目标对象10匹配的目标知识库。接下来，从该物联网数据中，确定与该目标知识库记载的数据指标的特征不匹配的数据作为噪声数据，并对该物联网数据中的噪声数据进行过滤。

例如，物联网设备20采集到的物联网数据为风力发电机的油液状态的相关数据时，可确定目标知识库为风力发电行业的知识库。接下来，可判断物联网数据中的油液磨粒数据是否符合风力发电行业的知识库中的油液磨粒特征、判断物联网数据中的水分数据是否符合风力发电行业的知识库中的粘度特征、判断物联网数据中的液位数据是否符合风力发电行业的知识库中的液位特征等等。若上述任一数据不符合对应的特征，则可认为该数据为噪声数据，并删除该数据。

实施方式B：结合先验经验，对物联网数据进行噪声过滤。

可选地，服务器30可获取物联网数据对应的指标的先验数据分布特征。其中，该先验数据分布特征，指的是历史时段已获取到的物联网数据的分布特征。接下来，可从该物联网数据中，确定不符合该先验数据分布特征的数据作为噪声数据，并对该物联网数据中的噪声数据进行过滤。其中，确定不符合先验数据分布特征的数据时，可基于KS(Kolmogorov–Smirnov)检验算法，检验物联网数据是否符合先验数据的分布特征。

可选地，该先验数据分布特征可包括：物理量范围特征、设备零部件参数范围特征以及指标数值范围特征中的至少一种。即，若某一物联网数据超过了其对应的物理量的范围，则可认为该物联网数据为噪声是数据。若某一物联网数据超过了其对应的零部件参数范围，则可认为该物联网数据为噪声是数据。若某一物联网数据超过了其对应的指标数值范围，则可认为该物联网数据为噪声是数据。

例如，光照度物理量lx(或称lux)的最小值为0，而物联网设备上报的智能大棚的光照数据为负值，此时采集到的光照数据超过了光照度物理量的下限值，可认为光照数据为噪声数据。例如，轴承零件的最大震动幅度的经验值为Amax，物联网设备上报的某一工业生产设备的轴承的震动幅度大于Amax，则可认为该轴承的震动幅度数据为噪声数据。又例如，炼钢厂的高温炉的最高温度为2000度，物联网设备上报的炼钢炉的温度指标的值为2500度，则可认为该温度指标的值为噪声数据。

实施方式C：对时序异常数据进行插值处理。

在一些情况下，由于网络质量延迟或者传输链路中断，导致物联网设备采集到的物联网数据超时未上传，或者在传输过程中丢失，因而导致物联网数据在时序上出现异常。在另一些情况下，物联网设备以固定的上报周期上报采集到的物联网数据，被上报的物联网数据可由原始数据进行秒级或者分钟级聚合后产生。若在某个固定周期内无数据产生，则将导致物联网数据在时序上出现异常。在上述情况下，可对时序异常的数据进行插值处理。

可选地，服务器30可判断物联网数据中任意一组相邻数据之间的时间间隔与设定周期是否匹配。其中，该设定周期指的是物联网设备20的数据上报周期。若存在任意一组相邻数据之间的时间间隔与设定周期不匹配，则可按照设定插值原则，在该相邻数据之间进行插值处理。

其中，设定插值原则可包括：在相邻两数据之间添加固定值；或者，在相邻两数据之间添加该相邻两数据的平均值；或者在该相邻两数据之间添加与该相邻量数据中任一数据相同的值；或者，按照某一动态变化的值填充函数，动态生成数值并进行插值处理，本实施例不做限制。

实施方式D：对异常值进行转换处理。

其中，异常值指的是不符合先验数据分布特征的数据。例如，可包括但不限于：不符合物理量范围特征的数据、不符合设备零部件参数范围特征的数据以及不符合指标数值范围特征的数据等等。

在本实施例中，可配置数据转化策略，并在数据转化策略中设置数值条件。可选地，服务器30在获取到物联网设备20上报的每一数据时，可判断该物联网数据中是否存在不满足设定数值条件的异常值；若存在，则将该异常值转化为预设的固定值，以对异常值进行修正。例如，在一些场景中，可将物联网设备20上报的为负值的物理量的值转换为0。或者，可将物联网设备20上报的为负值的指标的值，转换该指标的平均值，不再赘述。

需要说明的是，上述实施方式A、B、C、D可单独执行也可组合执行，具体可根据物联网数据的实际上报情况确定，本实施例不做限制。

基于上述各实施方式，可使得服务器30对基线预测模型进行训练所采用的数据为合规数据，即非空且有意义的数据。从而，可在物联网设备上报的数据质量不稳定的情况下，提升基线预测模型的计算效率以及准确率。

需要说明的是，在物联网场景下，被监测设备的基数通常较大，容易出现部分被监测的目标对象工作异常的情况。在这种情况下，用于采集被目标对象的运行数据的物联网设备将上报异常数据，这种异常是被监测的目标对象设备本身无法正常工作导致的，而非被监测的目标对象真实出现了异常数据。这些异常数据可拉高智能基线的阈值，降低智能基线的敏感度。因此，在训练物联网设备对应的基线预测模型时，可对动态地对部分异常的被监测设备产生的数据进行剔除操作，从而使训练采样的样本数据具有更高的数据质量。

可选地，服务器30可实时监测目标对象10的运行状态。目标对象10的运行状态，包括被目标对象10整体的运行状态，也可包括目标对象10的部分点位的运行状态。

在一些情况下，服务器30可通过需提供智能基线预测服务的用户的ITSM(ITService Management，IT服务管理)系统，获取出现故障的设备的标识，或者设备中出现故障的点位的标识。在另一些情况下，服务器30可基于基线预测算法判断出某个被监测设备或者被监测设备的某个点位出现异常状况。

可选地，若监测到目标对象10处于异常运行状态，则服务器30可删除物联网设备20在目标对象10处于异常运行状态下采集到的物联网数据。若监测到目标对象10的某个目标点位处于异常运行状态，则服务器30可删除物联网设备20在目标对象10处于异常运行状态下采集到的物联网数据。

基于这种实施方式，可动态地确定运行状态异常的被监测设备，并灵活地对被监测设备异常状态下采集到的数据进行过滤，可提升用于训练基线预测模型的物联网数据的质量，提升基线预测模型的预测准确率。

在一些示例性的实施例中，为加速第一物联网设备的基线预测模型的训练效率，可采用迁移学习(transfer learning)的方式对模型进行加速训练，如图2所示的租户间模型迁移学习。

在迁移学习时，可确定另一目标对象R，目标对象R与目标对象10具有相同的应用场景。目标对象R与目标对象10可属于同一用户(租户)，或者可属于不同用户(租户)，本实施例不做限制。其中，为向目标对象R提供智能基线预测服务，服务器30可根据目标对象R对应的物联网数据，对目标对象R的基线预测模型进行训练。目标对象R对应的基线预测模型可根据目标对象R对应的物联网数据进行特征学习。在本实施例在进行迁移学习时，服务器30可获取目标对象R的基线预测模型根据目标对象R对应的物联网数据学习到的特征，并利用根据该物联网数据学习的到的特征，对目标对象R的基线预测模型进行预训练。

其中，目标对象R对应的基线预测模型根据目标对象R对应的物联网数据学习到的特征，可通过目标对象R对应的基线预测模型的权重参数以及偏置参数表达。因此，在本实施例中，可根据目标对象R对应的基线预测模型的权重参数以及偏置参数对物联网设备20对应的基线预测模型进行预训练。从而，可避免从零开始训练物联网设备20对应的基线预测模型，可在物联网设备20对应的样本数据较少的情况下，利用相同应用场景中相同设备已学习到的特征，加速物联网设备20的基线预测模型的训练效率。

在这种实施方式中，采用特征迁移而不是数据(样本)迁移的方式进行迁移学习，可在不泄露目标对象R对应的用户数据的基础上，将基线预测算快速实施到物联网设备20上，极大提升了基线预测模型的训练效果。

在预训练得到物联网设备20的基线预测模型之后，可根据物联网设备20对应的物联网数据，对预训练得到的模型继续进行迭代训练。以下将结合不同的例子进行示例性说明。

例如，在智能温室大棚的应用场景中，温度传感器D1用于采集温室大棚A中的温湿度数据，温度传感器D2用于采集温室大棚B中的温湿度数据。其中，温度传感器D2对应的基线预测模型B11的启用时间较早，因此基线预测模型B11已根据历史时间段内温度传感器D2采集到的温室大棚B的温湿度数据，学习得到温室大棚B中的温湿度的变化特征。在温度传感器D1对应的基线预测模型A10投入使用的初期，可将基线预测模型B11学习到的特征(例如：权重、偏置参数等)迁移到基线预测模型A10中，以对基线预测模型A10进行预训练。

由于地方的气候差异以及不同种植作物对积温等环境条件的要求不同，因此，基线预测模型A10以及基线预测模型B11的参数和权重也应当不同。因此，在基线预测模型A10投入使用后，可在预训练的基础上，继续根据温度传感器D1采集到温室大棚A中的温湿度数据进行持续迭代训练，直至训练得到与温室大棚A的实际情况匹配的基线预测模型，从而提升预测准确率。

又例如，在一些智能生产线的场景中，速度传感器S1用于采集生产线M中的设备转速数据，速度传感器S2用于采集生产线N中的设备转速数据。生产线M与生产线N的型号相同，但用于生产不同的产品。其中，速度传感器S2对应的基线预测模型N11的启用时间较早，因此基线预测模型N11已根据历史时间段内速度传感器S2采集到的生产线N的设备转速数据，学习得到生产线N中的设备转速数据的变化特征。在速度传感器S1对应的基线预测模型M10投入使用的初期，可将基线预测模型N11学习到的特征(例如：权重、偏置参数等)迁移到基线预测模型M10中，以对基线预测模型M10进行预训练。

在工业场景中，对于同一类型的不同生产线而言，当生产不同的产品(例如一条生产线生产纯净水，另一条生产线生产饮料)时，不同生产线运行时产生的数据也不尽相同。因此，在基线预测模型M10投入使用后，可在预训练的基础上，继续根据速度传感器S1采集到生产线M中的设备转速数据进行持续迭代训练，直至训练得到与生产线M的实际情况匹配的基线预测模型，从而提升预测准确率。

除前述实施例提供的物联网数据处理系统之外，本申请实施例还提供一种物联网数据处理方法，以下将结合附图进行说明。

图3a为本申请一示例性实施例提供的物联网数据处理方法的流程示意图，如图3a所示，该方法包括：

步骤301a、获取第一物联网设备采集到的第一目标对象的物联网数据。

步骤302a、根据物联网数据的分布特征，对所述物联网数据进行预处理操作，所述预处理操作至少包括：噪声数据过滤操作和/或数据插值操作。

步骤303a、根据预处理后的物联网数据，对所述第一目标对象的基线预测模型进行训练。

在一些示例性的实施例中，根据预处理后的物联网数据，对所述第一目标对象的基线预测模型进行训练之前，还包括：确定第二目标对象，所述第二目标对象与所述第一目标对象具有相同应用场景；获取所述第二目标对象的基线预测模型根据所述第二目标对象对应的物联网数据学习到的特征；利用所述第二目标对象的基线预测模型学习到的特征，对所述第一目标对象的基线预测模型进行预训练。

在一些示例性的实施例中，根据物联网数据的分布特征，对所述物联网数据进行预处理操作的一种方式，包括：根据所述第一目标对象的应用行业，确定与所述第一目标对象匹配的目标知识库；从所述物联网数据中，确定与所述目标知识库记载的数据指标的特征不匹配的数据作为噪声数据；对所述物联网数据中的噪声数据进行过滤。

在一些示例性的实施例中，根据物联网数据的分布特征，对所述物联网数据进行预处理操作的一种方式，包括：获取所述物联网数据对应的指标的先验数据分布特征；从所述物联网数据中，确定不符合所述先验数据分布特征的数据作为噪声数据；对所述物联网数据中的噪声数据进行过滤。

在一些示例性的实施例中，所述先验数据分布特征包括：物理量范围特征、设备零部件参数范围特征以及指标数值范围特征中的至少一种。

在一些示例性的实施例中，根据物联网数据的分布特征，对所述物联网数据进行预处理操作的一种方式，包括：判断所述物联网数据中任意一组相邻数据之间的时间间隔与设定周期是否匹配；若不匹配，则按照设定插值原则，在所述相邻数据之间进行插值处理。

在一些示例性的实施例中，根据物联网数据的分布特征，对所述物联网数据进行预处理操作的一种方式，包括：判断所述物联网数据中是否存在不满足设定数值条件的异常值；若存在，则将所述异常值转化为预设的固定值。

在一些示例性的实施例中，根据预处理后的物联网数据，对所述第一目标对象的基线预测模型进行训练之前，还包括：实时监测所述第一目标对象的运行状态；若监测到所述第一目标对象处于异常运行状态，则删除所述第一物联网设备在所述第一目标对象处于异常运行状态下采集到的物联网数据；若监测到所述第一目标对象的目标点位处于异常运行状态，则删除所述第一物联网设备在所述目标点位处于异常运行状态下采集到的物联网数据。

本实施例中，在训练目标对象的基线预测模型时，可通过物联网设备采集目标对象的物联网数据。在获取到目标对象的物联网数据后，可根据物联网数据的分布特征，对获取物联网数据进行预处理操作，该预处理操作至少包括：噪声数据过滤操作和/或数据插值操作。基于预处理后的物联网数据，可对目标对象的基线预测模型进行训练。在这种实施方式中，从数据质量的角度出发对目标对象的基线预测模型进行优化训练，可进一步提升目标对象的基线预测模型的预测准确率，提升智能运维服务的质量。

基于前述各实施例训练得到的基线预测模型，本申请实施例还提供一种用于根据物联网数据进行智能基线预测的物联网数据处理方法，以下将结合附图进行说明。

图3b为本申请另一示例性实施例提供的物联网数据处理方法的流程示意图，

步骤301a、获取物联网设备采集到的目标对象的物联网数据。

步骤302b、将所述物联网数据输入所述目标对象的基线预测模型，得到所述目标对象的基线预测结果；其中，所述目标对象的基线预测模型，通过所述目标对象的历史物联网数据经过预处理操作后训练得到；所述预处理操作至少包括：噪声数据过滤操作和/或数据插值操作。

其中，目标对象的基线预测模型可基于前述各实施例提供的方法训练得到，本实施例不再赘述。

在本实施例中，目标对象包括可按照设定的结构或者运行逻辑运行，并产生运行数据的设备。例如，在工业场景中，目标对象可实现为风力发电设备、锅炉设备、配料装配机、装箱机、数控机床等待监测的工业设备。又例如，在农业场景中，目标对象可实现为喷灌设备、自动驾驶喷雾机等待监测的智能农用设备。

目标对象产生的运行数据可由物联网设备采集后，作为物联网数据发送至服务器。服务器可根据目标对象的物联网数据，采用目标对象的基线预测模型对目标对象的基线进行智能化预测。在本实施例中，为提升预测准确率，每个目标对象可对应一个基线预测模型，该基线预测模型由目标对象的历史数据经预处理后训练得到。在训练的过程中，基线预测模型可学习目标对象生成的数据的特征，从而学习得到针对目标对象的、个性化的智能基线预测能力。

其中，基线预测结果，可包括目标对象的某一类或者多类指标的基线。基于该基线，可在目标对象的运行过程中，采集目标对象产生的数据，并判断采集到的数据是否超过基线的范围。若未超过基线的范围，则可认为目标对象处于正常运行状态。若超过基线的范围，则可认为目标对象运行状态出现异常，此时可进行报警以便于对目标对象进行运维处理。

在这种实施方式中，训练目标对象的基线预测模型所使用的训练数据由目标对象的历史物联网数据经过预处理操作计算得到。在预处理过程中，可通过数据过滤操作和/或数据插值操作提升样本数据的质量，从而使得基线预测模型的性能更优。在获取物联网设备采集到的目标对象的物联网数据后，基于该性能更优的基线预测模型，可较为准确地预测出目标对象的智能基线，从而为智能运维服务提供可靠的数据支撑。

需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤301a至步骤304a的执行主体可以为设备A；又比如，步骤301a和302a的执行主体可以为设备A，步骤303的执行主体可以为设备B；等等。

另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如301a、302a等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

图4是本申请一示例性实施例提供的服务器的结构示意图，该服务器适用于前述实施例提供的物联网数据处理系统。如图4所示，该服务器包括：存储器401、处理器402以及通信组件403。

存储器401，用于存储计算机程序，并可被配置为存储其它各种数据以支持在服务器上的操作。这些数据的示例包括用于在服务器上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

其中，存储器401可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器402，与存储器401耦合，用于执行存储器401中的计算机程序，以用于：通过通信组件403获取第一物联网设备采集到的第一目标对象的物联网数据；步骤402、根据物联网数据的分布特征，对所述物联网数据进行预处理操作，所述预处理操作至少包括：噪声数据过滤操作和/或数据插值操作；根据预处理后的物联网数据，对所述第一目标对象的基线预测模型进行训练。

在一些示例性的实施例中，处理器402在根据预处理后的物联网数据，对所述第一目标对象的基线预测模型进行训练之前，还用于：确定第二目标对象，所述第二目标对象与所述第一目标对象具有相同应用场景；获取所述第二目标对象的基线预测模型根据所述第二目标对象对应的物联网数据学习到的特征；利用所述第二目标对象的基线预测模型学习到的特征，对所述第一目标对象的基线预测模型进行预训练。

在一些示例性的实施例中，处理器402在根据物联网数据的分布特征，对所述物联网数据进行预处理操作时，具体用于：根据所述第一目标对象的应用行业，确定与所述第一目标对象匹配的目标知识库；从所述物联网数据中，确定与所述目标知识库记载的数据指标的特征不匹配的数据作为噪声数据；对所述物联网数据中的噪声数据进行过滤。

在一些示例性的实施例中，处理器402在根据物联网数据的分布特征，对所述物联网数据进行预处理操作时，具体用于：获取所述物联网数据对应的指标的先验数据分布特征；从所述物联网数据中，确定不符合所述先验数据分布特征的数据作为噪声数据；对所述物联网数据中的噪声数据进行过滤。

在一些示例性的实施例中，所述先验数据分布特征包括：物理量范围特征、设备零部件参数范围特征以及指标数值范围特征中的至少一种。

在一些示例性的实施例中，处理器402在根据物联网数据的分布特征，对所述物联网数据进行预处理操作时，具体用于：判断所述物联网数据中任意一组相邻数据之间的时间间隔与设定周期是否匹配；若不匹配，则按照设定插值原则，在所述相邻数据之间进行插值处理。

在一些示例性的实施例中，根据物联网数据的分布特征，对所述物联网数据进行预处理操作的一种方式，包括：判断所述物联网数据中是否存在不满足设定数值条件的异常值；若存在，则将所述异常值转化为预设的固定值。

在一些示例性的实施例中，处理器402在根据预处理后的物联网数据，对所述第一目标对象的基线预测模型进行训练之前，还用于：实时监测所述第一目标对象的运行状态；若监测到所述第一目标对象处于异常运行状态，则删除所述第一物联网设备在所述第一目标对象处于异常运行状态下采集到的物联网数据；若监测到所述第一目标对象的目标点位处于异常运行状态，则删除所述第一物联网设备在所述目标点位处于异常运行状态下采集到的物联网数据。

进一步，如图4所示，该服务器还包括：电源组件404等其它组件。图4中仅示意性给出部分组件，并不意味着服务器只包括图4所示组件。

其中，通信组件403被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G或5G，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件可基于近场通信(NFC)技术、射频识别(RFID)技术、红外数据协会(IrDA)技术、超宽带(UWB)技术、蓝牙(BT)技术和其他技术来实现。

其中，电源组件404，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

本实施例，在训练目标对象的基线预测模型时，可通过物联网设备采集目标对象的物联网数据。在获取到目标对象的物联网数据后，可根据物联网数据的分布特征，对获取物联网数据进行预处理操作，该预处理操作至少包括：噪声数据过滤操作和/或数据插值操作。基于预处理后的物联网数据，可对目标对象的基线预测模型进行训练。在这种实施方式中，从数据质量的角度出发对目标对象的基线预测模型进行优化训练，可进一步提升目标对象的基线预测模型的预测准确率，提升智能运维服务的质量。

除前述实施例之外，图4示意的服务器还可执行基于基线预测模型的智能机线预测方法，其中，处理器402主要用于：获取物联网设备采集到的目标对象的物联网数据；将所述物联网数据输入所述目标对象的基线预测模型，得到所述目标对象的基线预测结果；其中，所述目标对象的基线预测模型，通过所述目标对象的历史物联网数据经过预处理操作后训练得到；所述预处理操作至少包括：噪声数据过滤操作和/或数据插值操作。

在这种实施方式中，训练目标对象的基线预测模型所使用的训练数据由目标对象的历史物联网数据经过预处理操作计算得到。在预处理过程中，可通过数据过滤操作和/或数据插值操作提升样本数据的质量，从而使得基线预测模型的性能更优。在获取物联网设备采集到的目标对象的物联网数据后，基于该性能更优的基线预测模型，可较为准确地预测出目标对象的智能基线，从而为智能运维服务提供可靠的数据支撑。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由服务器执行的各步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (11)

1.一种物联网数据处理方法，其特征在于，包括：

获取第一物联网设备采集到的第一目标对象的物联网数据；

根据物联网数据的分布特征，对所述物联网数据进行预处理操作，所述预处理操作至少包括：噪声数据过滤操作和/或数据插值操作；

根据预处理后的物联网数据，对所述第一目标对象的基线预测模型进行训练。

2.根据权利要求1所述的方法，其特征在于，根据预处理后的物联网数据，对所述第一目标对象的基线预测模型进行训练之前，还包括：

确定第二目标对象，所述第二目标对象与所述第一目标对象具有相同应用场景；

获取所述第二目标对象的基线预测模型根据所述第二目标对象对应的物联网数据学习到的特征；

利用所述第二目标对象的基线预测模型学习到的特征，对所述第一目标对象的基线预测模型进行预训练。

3.根据权利要求1所述的方法，其特征在于，根据物联网数据的分布特征，对所述物联网数据进行预处理操作，包括：

根据所述第一目标对象的应用行业，确定与所述第一目标对象匹配的目标知识库；

从所述物联网数据中，确定与所述目标知识库记载的数据指标的特征不匹配的数据作为噪声数据；

对所述物联网数据中的噪声数据进行过滤。

4.根据权利要求1所述的方法，其特征在于，根据物联网数据的分布特征，对所述物联网数据进行预处理操作，包括：

获取所述物联网数据对应的指标的先验数据分布特征；

从所述物联网数据中，确定不符合所述先验数据分布特征的数据作为噪声数据；

对所述物联网数据中的噪声数据进行过滤。

5.根据权利要求4所述的方法，其特征在于，所述先验数据分布特征包括：物理量范围特征、设备零部件参数范围特征以及指标数值范围特征中的至少一种。

6.根据权利要求1所述的方法，其特征在于，根据物联网数据的分布特征，对所述物联网数据进行预处理操作，包括：

判断所述物联网数据中任意一组相邻数据之间的时间间隔与设定周期是否匹配；

若不匹配，则按照设定插值原则，在所述相邻数据之间进行插值处理。

7.根据权利要求1所述的方法，其特征在于，根据物联网数据的分布特征，对所述物联网数据进行预处理操作，包括：

判断所述物联网数据中是否存在不满足设定数值条件的异常值；

若存在，则将所述异常值转化为预设的固定值。

8.根据权利要求1-6任一项所述的方法，其特征在于，根据预处理后的物联网数据，对所述第一目标对象的基线预测模型进行训练之前，还包括：

实时监测所述第一目标对象的运行状态；

若监测到所述第一目标对象处于异常运行状态，则删除所述第一物联网设备在所述第一目标对象处于异常运行状态下采集到的物联网数据；

若监测到所述第一目标对象的目标点位处于异常运行状态，则删除所述第一物联网设备在所述目标点位处于异常运行状态下采集到的物联网数据。

9.一种物联网数据处理方法，其特征在于，包括：

获取物联网设备采集到的目标对象的物联网数据；

将所述物联网数据输入所述目标对象的基线预测模型，得到所述目标对象的基线预测结果；

其中，所述目标对象的基线预测模型，通过所述目标对象的历史物联网数据经过预处理操作后训练得到；所述预处理操作至少包括：噪声数据过滤操作和/或数据插值操作。

10.一种服务器，其特征在于，包括：存储器和处理器；

所述存储器用于存储一条或多条计算机指令；

所述处理器用于执行所述一条或多条计算机指令以用于：执行权利要求1-9任一项所述的方法中的步骤。

11.一种存储有计算机程序的计算机可读存储介质，其特征在于，计算机程序被处理器执行时能够实现权利要求1-9任一项所述的方法中的步骤。

Images