CN113641684A - 物联网大数据处理装置及方法 - Google Patents

Abstract

本发明涉及一种物联网大数据处理装置及方法。该大数据处理装置包括通信接口、大数据存储库和处理器。通信接口用于从设置于物联网中的移动工程机械的物联网发射机接收数据流，从数据流中获取表示环境或工作参数的数据值，将获取到的数据值排列成接收数据向量，并存储于大数据存储库中。处理器用于：从大数据存储库中获取数据向量，得到一组被获取数据向量；用与物联网发射机的分组标识符对应的正交滤波器组对一组被获取数据向量中的每一个进行滤波以得到一组滤波后数据向量；确定每个滤波数据向量的能量；丢弃与具有低于预定能量阈值的能量的滤波后数据向量相关联的被获取数据向量，以得到被获取数据向量的缩集。

Description

物联网大数据处理装置及方法

技术领域

本发明涉及物联网的数据处理，更具体地，涉及在移动工程机械组成的物联网中处理和存储大数据的装置和方法。

背景技术

物联网 (IoT) 是指大量物理设备连接到一个或多个通信网络，以便彼此或与其他网络实体收集和交换数据。物联网设备大多是嵌入式的，包括传感器、通信接口和其他元件，以实现传感和网络连接。

越来越多的物联网设备是为消费者使用而产生的，例如车联网、家庭自动化系统、可穿戴技术、联网健康设施和具有远程监控功能的设备。

大量的物联网设备可以随时生成和传输大量数据，以下称为大数据。这些大数据可以源自制造工厂的机器上的传感器记录的机器参数，或是在室内、医院或其它场所监控的环境记录，还可以是通过用户设备（如智能手机或其他移动设备）传输的消息或文字。

以移动工程机械和车辆组成的物联网为例，这些机械和车辆可能遍布于全国各地的室内外建筑工地、矿山等场所，涵盖装载机、挖掘机、高空车辆等不同类型的机械。当同样的工程机械应用于不同的工作环境下，例如挖沙的挖掘机和挖石子的挖掘机，其部件损耗位置及损耗程度、电机的运行参数是存在很大差异的。为了掌握每一台工程机械的工作参数及环境参数，以便及时加以维护，避免工程机械在使用过程中发生故障，可以通过工程机械和车辆上的电控系统以及用户终端，采集指示不同气候条件（如温度、湿度、GPS位置等）和工作条件（如电机等主要电气部件的输入电流、输出电流、温度、振动等）的实时数据，并将数据传输到大数据平台进行处理和分析。通过环境数据和设备数据，可以识别和判断工况，为每一台移动工程机械和车辆制定独特的维护计划。

由于物联网架构已不仅仅局限于同一场所的所有机械，通过GPS、5G或其他通信网络可将不同场所的机械以通信方式连接起来构成更大规模的物联网架构，此类大规模物联网架构每天产生的数据量是惊人的。为了处理和存储大数据，需要大量的存储资源。因此，需要一种改进的大数据处理装置及方法，用于在移动工程机械组成的物联网中高效地处理和存储大数据。

发明内容

为实现上述和其他目的，本发明提供了一种改进的在移动工程机械组成的物联网中处理大数据的装置和相应方法，其中，该装置用于从通信网络中的多个物联网源接收大数据流，大数据流可包括数据包，每个数据包形成数据向量。其中，数据包的数字数据值形成数据向量的分量。

举例来说，如果数据包具有例如十个数字数据值，则这十个数字数据值形成数据向量的十个分量。通常，根据数据处理或传输方案，可以获得实数或复数的数据向量。

本发明的实施例能够获取多个数据向量以得到由数据向量形成的大数据集，并且可以仅查看数据空间的某些维度以使得大数据可管理。

就此而言，本发明的实施例可实现通信网络中接收的数据量的减少以节省数据的存储空间。由此，本发明的实施例也能够降低处理数据的计算复杂度。

更具体地，本发明的第一方面涉及一种在移动工程机械组成的物联网中处理大数据的装置，所述物联网中的每台移动工程机械包括物联网发射机，所述装置包括通信接口、大数据存储库和处理器。

通信接口被配置为用于从物联网发射机接收与对应的移动工程机械相关联的数据流，从数据流中获取表示环境参数或工作参数的数据值，并将数据值排列成接收数据向量。

大数据存储库被配置为存储接收数据向量。大数据存储库可以实现为具有存储单元（例如固态存储驱动器）的数据存储。在一个实施例中，大数据存储库可以实现为网络存储或云存储。

处理器被配置为：从大数据存储库中获取接收数据向量以得到一组被获取数据向量；用正交滤波器组对所述一组被获取数据向量中的每一个进行滤波以得到一组滤波后数据向量，所述正交滤波器组包括多个第一正交滤波器，每个第一正交滤波器包括由数字滤波器值排列成的滤波器系数向量，所述多个第一正交滤波器的各个滤波器系数向量共同定义出正交向量空间，其中，每个滤波后数据向量代表对应的被获取数据向量在所述正交向量空间上的投影；确定每个滤波后数据向量的能量；以及丢弃与具有低于预定能量阈值的能量的滤波后数据向量相关联的被获取数据向量，以得到被获取数据向量的缩集。 其中，所述物联网发射机由分组标识符标识，所述处理器用于选择与分组标识符相关联的正交滤波器组来进行滤波。

在一个实施例中，滤波后数据向量的能量可以被确定为各向量系数的平方和的平方根。

由此，提供了一种改进的装置，允许高效地处理来自移动工程机械组成的物联网中的多个物联网发射机的数据流并减少用于存储数据流的计算资源。

在另一种可能的实现形式中，处理器被配置为：用另一个正交滤波器组对被获取数据向量的缩集中的每一个被获取数据向量进行滤波，以获得进一步滤波数据向量，所述另一个正交滤波器组包括多个第二正交滤波器，每个第二正交滤波器包括由数字滤波器值排列成的滤波器系数向量，多个第二正交滤波器的各个滤波器系数向量共同定义另一个正交向量空间，其中，每个进一步滤波后数据向量代表对应的被获取数据向量在所述另一个正交向量空间上的投影；确定每个进一步滤波后数据向量的能量；以及从被获取数据向量的缩集中丢弃与具有低于另一预定能量阈值的能量的进一步滤波后数据向量相关联的被获取数据向量，以得到被获取数据向量的进一步缩集。

在一个实施例中，另一个正交向量空间具有与正交向量空间相同的维度或更少的维度。这可有效减少用于处理及存储数据流的计算资源。

在另一种可能的实现形式中，所述处理器用于根据一段时间内从所述多个物联网发射机接收的数据流的量以及所述大数据存储库的剩余容量来调整所述预定能量阈值和/或用所述另一个正交滤波器组对所述被获取数据向量的缩集中的每一个被获取数据向量进行滤波。这可有效减少用于存储数据流的计算资源。

在另一种可能的实现形式中，处理器被配置为丢弃能量低于预定能量阈值的滤波后数据向量，以获得代表所述一组被获取数据向量的滤波后数据向量的缩集。有利地，这能够有效地减少数据空间的维度以及减少处理数据流的计算复杂度。数据空间减少是因为将得到更少的基于滤波后数据向量的被获取数据向量。

在另一种可能的实现形式中，处理器用于发出丢弃信号，大数据存储库用于响应于丢弃信号，删除与具有低于预定能量阈值的能量的滤波后数据向量相关联的被获取数据向量。这可减少用于有效存储数据流的计算资源。

在另一种可能的实现形式中，处理器用于发出覆盖信号，覆盖信号指示将被具有高于预定能量阈值的能量的滤波后数据向量代替的被获取数据向量，大数据存储库用于响应覆盖信号，用滤波后数据向量覆盖丢弃的被获取数据向量。这可减少用于有效存储数据流的计算资源。

在另一种可能的实现形式中，处理器被配置为将被获取数据向量的缩集排列成向量矩阵，对向量矩阵进行奇异值分解以确定向量矩阵的特征值，并丢弃与低于特征值阈值的特征值相关联的被获取数据向量。这可减少用于处理数据流的计算资源并高效地从数据流中提取有用的信息。

在另一种可能的实现形式中，所述分组标识符至少包括表示第一精度的第一标识符和表示第二精度的第二标识符，与所述第一标识符相关联的正交滤波器组包含的第一正交滤波器的数目大于与所述第二标识符相关联的正交滤波器组包含的第一正交滤波器的数目，其中第一精度高于第二精度。如此设置的优点是，可以根据接收数据向量所对应的环境参数或工作参数的不同精度要求，采用不同配置的正交滤波器组进行滤波，以获得包含不同信息量水平的滤波后数据向量。

本发明的第二方面涉及一种在移动工程机械组成的物联网中处理大数据的方法，所述物联网中的每台移动工程机械包括物联网发射机。

该方法包括以下步骤：从物联网发射机接收与对应的移动工程机械相关联的数据流；从数据流中获取表示环境参数或工作参数的数据值；排列获取到的数据值以形成接收数据向量；将接收数据向量存储在大数据存储库中；从大数据存储库中获取接收数据向量以得到一组被获取数据向量；用正交滤波器组对一组被获取数据向量中的每一个进行滤波以得到一组滤波后数据向量，其中，正交滤波器组包括多个正交滤波器，每个正交滤波器包括由数字滤波器值排列成的滤波器系数向量，多个正交滤波器的各个滤波器系数向量共同定义出正交向量空间，每个滤波后数据向量代表对应的被获取数据向量在所述正交向量空间上的投影；确定每个滤波后数据向量的能量；以及丢弃与具有低于预定能量阈值的能量的滤波后数据向量相关联的被获取数据向量，以得到被获取数据向量的缩集。

其中，所述物联网发射机中的物联网发射机由分组标识符标识，所述方法还包括选择与分组标识符相关联的正交滤波器组来进行滤波。

由此，提供了一种改进的方法，允许有效地处理来自通信网络中的多个物联网发射机的数据流并减少用于存储数据流的计算资源。

在一个实施例中，所述分组标识符至少包括表示第一精度的第一标识符和表示第二精度的第二标识符，与所述第一标识符相关联的正交滤波器组包含的正交滤波器的数目大于与所述第二标识符相关联的正交滤波器组包含的正交滤波器的数目，其中第一精度高于第二精度。

在附图和以下描述中阐述了一个或多个实施例的细节。结合附图和以下描述，本发明的特征、目的和优点将更清楚。

附图说明

以下具体实施方式将参考并结合附图进行更详细的描述。

图1示出了本发明一实施例的大数据处理装置的示意图。

图2示出了本发明另一实施例的大数据处理装置的示意图。

图3示出了根据一个实施例的采用正交滤波器组对一组数据向量进行滤波操作的简化示意图。

图4示出了根据本发明一实施例的大数据处理方法的流程图。

附图中的相同附图标记表示相同或至少功能上等效的特征。

具体实施方式

以下参考附图对本发明进行详细描述，这些附图构成本发明的一部分，旨在通过说明的方式展示本发明的实施例的特定方面。应当理解，实施例可用于其他方面并且可包括图中未描绘的结构或逻辑变化。因此，以下具体实施方式的描述不应被视为限制性的。本发明的保护范围由权利要求限定。

应当理解，与所描述的方法相关的公开内容也可以适用于被配置为执行所述方法的相应装置或系统，反之亦然。例如，如果描述了一个或多个具体的方法步骤，则相应的装置可以包括一个或多个单元，例如功能单元，以执行所描述的一个或多个方法步骤（例如，一个单元执行一个或多个步骤，或者多个单元中的每个单元执行多个步骤中的一个或多个步骤），即使这样的一个或多个单元没有在图中明确描绘或图示。另一方面，如果基于一个或多个单元（例如功能单元）来描述特定装置，则相应的方法可以包括执行一个或多个单元的功能的一个步骤（例如通过一个步骤来执行所述一个或多个单元的功能），或者可包括多个步骤，其中每个步骤执行多个单元中的一个或多个单元的功能，即使这样的一个或多个步骤没有在图中明确描绘或图示。此外，应当理解，除非特别指出，否则本发明描述的各种示例性实施例和/或方面的特征可以彼此组合。

本发明的大数据处理装置和方法可应用于移动工程机械组成的物联网。物联网中的每一台移动工程机械均能够采集和传输数据，即具有物联网发射机，此类数据包括但不限于机器参数、环境参数、用户参数、消息文字等。以下描述中的物联网发射机，可指代内置或外接于移动工程机械的可用于采集和传输数据的部件或部件的组合。此类部件可包括温度传感器、湿度传感器、陀螺仪、GPS定位仪、电流检测装置、电压检测装置、电阻仪、力传感器、摄像头、麦克风、天线等。

图1示出了根据一实施例的大数据处理装置100的示例性图式，该装置100连接到通信网络140，该通信网络140支持移动工程机械组成的物联网中的一组物联网(IoT)发射机110a-c的通信。

在一个实施例中，物联网发射机110a-c中的每一个包括用于与其他设备或系统通信的传感器、软件和/或通信接口。

物联网发射机110a-c的示例可包括：移动工程机械上的各类传感器，或者操作移动工程机械的用户所持有的诸如智能手机、平板电脑或其他移动设备的用户设备。在一个实施例中，物联网发射机110a-c是通过5G通信网络连接的用户设备。

在一个实施例中，一组移动工程机械生成并通过各自的物联网发射机110a-c传输大量数据，也就是“大数据”。大数据能够以不同的类型或形式创建，例如文本消息、语音请求、视频、通过数字值或文本或其混合形式等记录的温度或其他传感器记录值。此外，大数据可以包括实时数据或在一定时间跨度内（例如1ms、10ms、100ms、1s、10s等）累积的数据。

从图1可以看出，装置100包括通信接口101，其被配置为通过通信网络140从多个物联网发射机110a-c接收数据流。在一个实施例中，通信接口101被配置为根据5G通信标准与多个物联网发射机110a-c进行通信。

在另一实施例中，装置100是网络实体，其可被视为5G系统中的单独网络实体和/或可与5G系统的一个或多个网络功能或网络实体设置在一起。

在又一实施例中，装置100被配置为从经由通信接口101接收的数据流中获取数据值，并对获取到的数据值进行排列以形成接收数据向量。

根据每一台移动工程机械上所设置的物联网发射机的类型，装置100可接收到表征移动工程机械的环境参数（如温度、湿度、GPS位置等）或工作参数（如电机等主要电气部件的输入电流、输出电流、温度、振动等）的不同数据流。

举例而言，移动工程机械上可设置检测环境温度的第一传感器以及检测电机温度的第二传感器。上述第一、第二传感器可分别与移动工程机械的通信接口信号连接，以实现数据传输，从而第一传感器与通信接口的组合构成第一物联网发射机，第二传感器与通信接口的组合构成第二物联网发射机。由此，装置100将接收到来自同一移动工程机械的两个表征不同温度参数的数据流。同时，装置100还将接收到来自不同移动工程机械的数据流。为了识别每一数据流来自哪台移动工程机械的哪一物联网发射机，在发送数据流时还附带对应的物联网发射机的身份标识符。

请继续参阅图1，装置100包括大数据存储库103，其被配置为存储所述接收数据向量。

或者，装置100本身可以不包括存储库，但是装置100可以通过通信网络140与大数据存储库103通信以存储接收数据向量，如图2所示。

图2示出了根据另一实施例的大数据处理装置100的示意图。其中，装置100连接到通信网络140，通信网络140支持移动工程机械组成的物联网中的一组物联网(IoT)发射机110a-c的通信。需注意的是，图2中的装置100被配置为经由通信网络140将接收数据向量存储在位于装置100外部的大数据存储库103中。

根据本发明的实施例，装置100还包括处理器105，处理器105被配置为从大数据存储库103中获取数据向量以得到一组被获取数据向量，并采用正交滤波器组对所述一组被获取数据向量中的每一个进行滤波，以获得滤波后数据向量。

图3示出了根据实施例的采用正交滤波器组对一组被获取数据向量进行的滤波操 作的简化示意图。图中，向量[a1 a2 a3]示意性地表示被获取数据向量，也就是从大数据存 储库中获取的接收数据向量。a1、a2、a3分别表示该数据向量的分量（或元素），a1、a2、a3可 以是实数，也可以是复数。显然，数据向量中分量的数目是可以根据实际需要或者计算资源 的分配来调整的，图示的[a1 a2 a3]并不构成任何限制。矩阵

示意性地表 示正交滤波器组，从图中可以看出，正交滤波器组包括多个正交滤波器（图示为9个），并且 每个正交滤波器包括由数字滤波器值排列成的滤波器系数向量，图中分别示意性地表示为 c1、c2、c3、d1、d2、d3、e1、e2、e3。这些滤波器系数向量共同定义了正交向量空间，通过改变 滤波器系数向量的个数和排列（即改变图示矩阵的行数和列数），可调整正交向量空间的维 度。显然，正交滤波器组中的正交滤波器个数可根据实际需要或者计算资源的分配来调整， 不应以图中所示为限。图中，向量[f1 f2 f3]表示滤波后数据向量，即采用正交滤波器组对 被获取数据向量进行滤波操作后的结果，其中，每个滤波后数据向量代表对应的被获取数 据向量在所述正交向量空间上的投影。同样地，图示的[f1 f2 f3]仅为一种示例，不应对本 发明构成任何限制。

上述正交滤波过程可以理解为对原始数据，即被获取数据向量，在空间维度上的压缩。并且，通过正交滤波过程的逆过程，可将压缩数据还原为原始数据。因此，通过正交滤波过程本身就已经能够实现大数据的压缩存储。

由于接收自移动工程机械的数据流可对应不同精度要求的参数，例如对于环境温度的采集和存储并不需要很高的精度，它只用于反映移动工程机械的工作环境，而对于电机温度的采集和存储需要相对较高的精度，因为它可能指示潜在的故障，并且需要具备较高的可追溯性，以便实现诊断。类似地，环境湿度的采集和存储并不需要高精度，电机的输入输出电流的采集和存储需要较高的精度。在特定情况下，如果需要对移动工程机械的轨迹进行严格的记录，以确定其是否进入危险区域，或者需要严格监控移动工程机械是否存在超载运作，也可将GPS位置和输出负载设置为高精度参数。

为此，除了给每个物联网发射机分配身份标识符外，还可以给同类型物联网发射机分配分组标识符。例如，不同移动工程机械中的用于检测环境温度的第一传感器可分配相同的第一分组标识符，不同移动工程机械中的用于检测电机温度的第二传感器可分配相同的第二分组标识符。处理器105可根据分组标识符选择不同的正交滤波器组来进行滤波，以达到不同程度的数据压缩存储。

在选用正交滤波器组方面，包括更多数目的正交滤波器的滤波器组相比于包括更少数目的正交滤波器的滤波器组可达到更高的准确性，因为前者比后者允许查看数据空间内更多的特定维度。

基于此，包含更多正交滤波器的滤波器组适合应用于需要更高精度或更高可靠性的参数数据的滤波存储。而那些对精度要求不高的参数数据可采用包含较少正交滤波器的滤波器组来处理。

在一优选实施例中，为了进一步减小被获取数据向量和/或滤波后数据向量的大小，装置100的处理器105被配置为确定每个滤波后数据向量的能量，并丢弃对应于那些能量低于预定能量阈值的滤波后数据向量的被获取数据向量，以得到被获取数据向量的缩集，即一组减少的被获取数据向量。在一个实施例中，滤波后数据向量的能量可以是各向量系数的平方和的平方根。

在进一步的实施例中，处理器还被配置为用另一个正交滤波器组对被获取数据向量的缩集中的每一个被获取数据向量进行滤波，以获得进一步滤波后数据向量。其中，另一个正交滤波器组包括多个正交滤波器，每个正交滤波器包括由数字滤波器值排列成的滤波器系数向量，并且多个正交滤波器的滤波器系数向量共同定义出另一个正交向量空间。从而使得，每一个进一步滤波后数据向量代表对应的被获取数据向量在所述另一个正交向量空间上的投影。

同样地，为了进一步减小被获取数据向量和/或滤波后数据向量的大小，装置100的处理器105被配置为确定每一个进一步滤波后数据向量的能量，并且从被获取数据向量的缩集中丢弃对应于那些能量低于进一步预定能量阈值的进一步滤波后数据向量的被获取数据向量，以得到被获取数据向量的进一步缩集，也就是在被获取数据向量的缩集基础上，进一步减少了被获取数据向量的数目。

在一个实施例中，所述另一个正交向量空间具有与正交向量空间相同的维度。在另一个实施例中，所述另一个正交向量空间具有比正交向量空间更少的维度，从而可以减少用于处理以及存储数据流的计算资源。

在一个实施例中，处理器被配置为丢弃能量低于预定能量阈值的滤波后数据向量，以获得代表所述一组被获取数据向量的滤波后数据向量的缩集。因此，本发明的实施例允许减少从一组物联网发射机获取到的数据向量，以节省数据向量的存储空间。此外，本发明的实施例能够降低处理来自一组物联网发射机的数据向量的计算复杂度。

各滤波后数据向量及其能量，取决于所选的正交滤波器组，并且与对应的物联网发射机所采集的物理参数相关联。

通过计算由正交滤波器组产生的每个滤波后数据向量的能量，可以判断相对于一参考标准，与每个滤波后数据向量相关联的该物理参数值的“重要性”。换句话说，基于滤波后数据向量的能量，使用者可以区分对于特定物理参数而言更重要或更不重要的数据向量。

以输出负载为例，用户通常关注的是接近或甚至超过负载阈值的输出负载数据。在对输出负载进行检测和存储时，滤波后数据向量的能量可以表征输出负载的大小。

由于低于负载阈值的输出负载数据是用户不关心的，因此并不重要，可以忽略。在此情况下，可以将能量阈值设置为识别并丢弃用户不关心的输出负载数据，以大大节省存储空间。

又例如，以电机输入电流为被检参数，其电流波动值可反映电源的稳定性或电池电量的变化。在这种情况下，物联网发射机可实施为电流检测装置和/或电流波动值检出装置，相应的，滤波后数据向量的能量可以表示检测到的“电流变化”。

由于电流在预定阈值以下的轻微变化是可接受的，因此并不重要，可以忽略。在此情况下，可以将能量阈值设置为识别并丢弃预定阈值以下的轻微电流变化，以大大节省存储空间。

无论在上述哪种参数或其它参数下，用户都可以根据历史数据统计结果、机器学习结果等，为相应的物理参数设置合理的阈值，并根据正交滤波器组的转换关系，得出对应的能量阈值。

本领域技术人员从中可以一般地归纳出正交滤波器组的设计和使用方法。通过采用与一组物联网发射机相关联的正交滤波器组对数据向量进行滤波，并丢弃能量未达到阈值的数据向量，可以有效滤除不重要的数据向量、保留重要的数据向量，从而一方面可以节省大数据存储资源，另一方面可以简化数据运算过程。本领域技术人员应当理解的是，本申请并不局限于上面列举的应用场景，可以根据实际需要进行任意修改和应用。

根据实施例，各个预定能量阈值的值可以存储在大数据存储库103中或者从预定存储位置读取，或者可以由处理器105来确定。在进一步的实施例中，各个预定能量阈值的值还可以根据一段时间内从多个物联网发射机110a-c接收的数据流的量以及大数据存储库103的剩余容量来调整。

在一个实施例中，处理器105被配置为发出丢弃信号，并且大数据存储库103被配置为响应于所述丢弃信号来删除与具有低于预定能量阈值的能量的滤波后数据向量相关联的被获取数据向量。

在进一步的实施例中，处理器105被配置为发出覆盖信号，该覆盖信号指示将被具有高于预定能量阈值的能量的滤波后数据向量代替的被获取数据向量，并且大数据存储库103被配置为响应于覆盖信号，采用滤波后数据向量覆盖丢弃的被获取数据向量。

在一个实施例中，处理器105被配置为对被获取数据向量的缩集进行排列以形成向量矩阵，并对向量矩阵执行奇异值分解（SVD），以确定向量矩阵的特征值。在执行SVD 技术后，处理器105被配置为丢弃那些特征值低于特征值阈值的被获取数据向量。

采用SVD 技术可减少用于存储被获取数据向量的计算资源以及降低处理被获取数据向量的计算复杂度，同时仍然保留着被获取数据向量携带的重要信息。

在一个实施例中，处理器被配置为从正交滤波器组的预定集合中选择正交滤波器组。根据实施例，正交滤波器组的预定集合可以存储在大数据存储库103中，从而允许以高效的方式对被获取数据向量进行滤波。

在一个实施例中，一组物联网发射机中的每一个物联网发射机由分组标识符标识，并且处理器被配置为选择与分组标识符相关联的正交滤波器组。

在一个实施例中，通信网络被配置为支持另一组物联网发射机的通信，并且装置的处理器被配置为通过另一分组标识符来标识另一组物联网发射机。

在一个实施例中，装置100的处理器105被配置为基于物联网发射机的数目、物联网发射机所应用的场景、物联网设备生成的数据类型和/或数据大小来给各组物联网发射机分配不同的标识符。

在进一步的实施例中，大数据存储库103被配置为根据各组物联网发射机的相关标识符来存储相应的被获取数据向量的缩集。

图4是根据一实施例的在支持多个物联网发射机110a-c的通信的通信网络140中处理大数据的方法400的流程图。方法400包括以下步骤：

401：通过通信接口101经由通信网络140从多个物联网发射机110a-c接收数据流；

403：通过通信接口101从数据流中获取数据值；

405：排列获取到的数据值以形成接收数据向量；

407：将接收数据向量存储在大数据存储库103中；

409：从大数据存储库103中获取数据向量，以得到一组被获取数据向量；

411：采用正交滤波器组对一组被获取数据向量中的每一个进行滤波，以获得一组滤波后数据向量，其中，所述正交滤波器组包括多个正交滤波器，每个正交滤波器包括由数字滤波器值排列成的滤波器系数向量，所述多个正交滤波器的各个滤波器系数向量共同定义出正交向量空间，其中，每个滤波后数据向量代表对应的被获取数据向量在所述正交向量空间上的投影；

413：确定每个滤波后数据向量的能量；以及

415：丢弃与具有低于预定能量阈值的能量的滤波后数据向量相关联的被获取数据向量，以得到被获取数据向量的缩集。

方法400提供了有效处理从通信网络中的多个物联网发射机传输的数据流并且显著减少用于存储数据流的计算资源的优点。

应当理解，在本申请提供的几个实施例中，所公开的系统、装置和方法可以通过其他方式实现。例如，所描述的装置实施例仅仅是示例性的。例如，单元划分只是逻辑功能划分，在实际实现中可能是其他划分。例如，多个单元或组件可以组合或集成到另一个系统中，或者可以忽略或不执行某些特征。另外，所显示或讨论的相互耦合或直接连接或通信连接可以通过使用一些接口来实现。装置或单元之间的间接连接或通信连接可以以电子、机械或其他形式实现。

被描述为独立部件的单元可以是物理上分开的，也可以是物理上不分开的；显示为单元的部件可以是物理单元，也可以不是物理单元，可以位于一个位置，或者可以分布于多个网络单元上。可以根据实际需要选择其中的部分或者全部单元来实现本实施方案的目的。

另外，本发明实施例中的功能单元可以集成为一个处理单元，也可以每个单元物理上单独存在，或者两个或多个单元集成为一个单元。

Claims (10)

1.一种在移动工程机械组成的物联网中处理大数据的装置，所述物联网中的每台移动工程机械包括物联网发射机，其特征在于，所述装置包括：

通信接口，用于从物联网发射机接收与对应的移动工程机械相关联的数据流，从数据流中获取表示环境参数或工作参数的数据值，并将数据值排列成接收数据向量；

大数据存储库，用于存储所述接收数据向量；

处理器，用于：

从所述大数据存储库中获取接收数据向量，以得到一组被获取数据向量；

用正交滤波器组对所述一组被获取数据向量中的每一个进行滤波以得到一组滤波后数据向量，所述正交滤波器组包括多个第一正交滤波器，每个第一正交滤波器包括由数字滤波器值排列成的滤波器系数向量，所述多个第一正交滤波器的各滤波器系数向量共同定义出正交向量空间，每个滤波后数据向量代表对应的被获取数据向量在所述正交向量空间上的投影；

确定每个滤波后数据向量的能量；以及

丢弃与具有低于预定能量阈值的能量的滤波后数据向量相关联的被获取数据向量，以得到被获取数据向量的缩集，

其中，所述物联网发射机由分组标识符标识，所述处理器用于选择与分组标识符相关联的正交滤波器组来进行滤波。

2.如权利要求1所述的装置，其特征在于，所述处理器还用于：

用另一个正交滤波器组对所述被获取数据向量的缩集中的每一个被获取数据向量进行滤波，以获得进一步滤波后数据向量，所述另一个正交滤波器组包括多个第二正交滤波器，每个第二正交滤波器包括由数字滤波器值排列成的滤波器系数向量，所述多个第二正交滤波器的各个滤波器系数向量共同定义出另一个正交向量空间，其中，每个进一步滤波后数据向量代表对应的被获取数据向量在所述另一个正交向量空间上的投影；

确定每个进一步滤波后数据向量的能量；以及

从被获取数据向量的缩集中丢弃与具有低于另一预定能量阈值的能量的进一步滤波后数据向量相关联的被获取数据向量，以得到被获取数据向量的进一步缩集。

3.如权利要求2所述的装置，其特征在于，所述处理器用于根据一段时间内从所述物联网发射机接收的数据流的量以及所述大数据存储库的剩余容量来调整所述预定能量阈值和/或用所述另一个正交滤波器组对所述被获取数据向量的缩集中的每一个被获取数据向量进行滤波。

4.如权利要求1或2所述的装置，其特征在于，所述处理器用于丢弃能量低于所述预定能量阈值的滤波后数据向量，以获得代表所述一组被获取数据向量的滤波后数据向量的缩集。

5.如权利要求1或2所述的装置，其特征在于，所述处理器用于发出丢弃信号，所述大数据存储库用于响应于所述丢弃信号来删除与具有低于所述预定能量阈值的能量的滤波后数据向量相关联的被获取数据向量。

6.如权利要求1或2所述的装置，其特征在于，所述处理器用于发出覆盖信号，所述覆盖信号指示将被具有高于所述预定能量阈值的能量的滤波后数据向量代替的被获取数据向量，其中，所述大数据存储库用于响应于所述覆盖信号来用滤波后数据向量覆盖丢弃的被获取数据向量。

7.如权利要求1或2所述的装置，其特征在于，所述处理器用于将被获取数据向量的缩集排列成向量矩阵，对所述向量矩阵进行奇异值分解，以确定所述向量矩阵的特征值，并丢弃与低于特征值阈值的特征值相关联的被获取数据向量。

8.如权利要求1或2所述的装置，其特征在于，所述分组标识符至少包括表示第一精度的第一标识符和表示第二精度的第二标识符，与所述第一标识符相关联的正交滤波器组包含的第一正交滤波器的数目大于与所述第二标识符相关联的正交滤波器组包含的第一正交滤波器的数目，其中所述第一精度高于所述第二精度。

9.一种在移动工程机械组成的物联网中处理大数据的方法，所述物联网中的每台移动工程机械包括物联网发射机，其特征在于，所述方法包括：

从所述物联网发射机接收与对应的移动工程机械相关联的数据流；

从数据流中获取表示环境参数或工作参数的数据值；

排列获取到的数据值以形成接收数据向量；

将接收数据向量存储在大数据存储库中；

从大数据存储库中获取接收数据向量以得到一组被获取数据向量；

用正交滤波器组对所述一组被获取数据向量中的每一个进行滤波以得到一组滤波后数据向量，所述正交滤波器组包括多个正交滤波器，每个正交滤波器包括由数字滤波器值排列成的滤波器系数向量，所述多个正交滤波器的各滤波器系数向量共同定义出正交向量空间，每个滤波后数据向量代表对应的被获取数据向量在所述正交向量空间上的投影；

确定每个滤波后数据向量的能量；以及

丢弃与具有低于预定能量阈值的能量的滤波后数据向量相关联的被获取数据向量，以得到被获取数据向量的缩集，

其中，所述物联网发射机由分组标识符标识，所述方法还包括选择与分组标识符相关联的正交滤波器组来进行滤波。

10.如权利要求9所述的方法，其特征在于，所述分组标识符至少包括表示第一精度的第一标识符和表示第二精度的第二标识符，与所述第一标识符相关联的正交滤波器组包含的正交滤波器的数目大于与所述第二标识符相关联的正交滤波器组包含的正交滤波器的数目，其中所述第一精度高于所述第二精度。

Images