CN112667610A

CN112667610A - 物联数据实时处理方法、装置和计算机设备

Info

Publication number: CN112667610A
Application number: CN202011535831.0A
Authority: CN
Inventors: 苏博; 张万松
Original assignee: Irootech Technology Co ltd
Current assignee: Irootech Technology Co ltd
Priority date: 2020-12-23
Filing date: 2020-12-23
Publication date: 2021-04-16

Abstract

本发明提供一种物联数据实时处理方法、装置和计算机设备，该物联数据实时处理方法包括：接收消息队列的设备数据，对设备数据进行数据清洗处理，获得目标设备的实时数据；利用实时数据与目标设备的物理模型进行属性匹配，从实时数据中获得相应属性的目标数据；将预设时间段内的目标数据汇总为目标数据段；将目标数据段输入至预设的指标计算模型，获得目标设备预设时间段内的指标数据；将指标数据与目标设备的设备信息关联存储至业务数据库。本发明通过预设的目标设备的物理模型，可以从实时数据中快速提取出相应的目标数据，再通过预设的指标计算模型计算出用户所需的目标设备的指标数据，从而提高物联设备的设备数据处理的效率。

Description

物联数据实时处理方法、装置和计算机设备

技术领域

本发明涉及物联网技术领域，具体而言，涉及一种物联数据实时处理方法、装置、计算机设备和可读存储介质。

背景技术

现有的物联网设备在工作中产生的设备数据，一般是直接存储至数据库，后续再进行数据分析以获取用户需要进行观察的指标数据，因此物联网设备数据处理的效率较低，用户体验度较差。

发明内容

鉴于上述问题，本发明提供了一种物联数据实时处理方法、装置、计算机设备和可读存储介质，以提高物联设备的设备数据处理的效率，从而提高用户的体验度。

为了实现上述目的，本发明采用如下的技术方案：

一种物联数据实时处理方法，包括：

接收消息队列的设备数据，对所述设备数据进行数据清洗处理，获得目标设备的实时数据；

利用所述实时数据与所述目标设备的物理模型进行属性匹配，从所述实时数据中获得相应属性的目标数据；

将预设时间段内的目标数据汇总为目标数据段；

将所述目标数据段输入至预设的指标计算模型，获得所述目标设备预设时间段内的指标数据；

将所述指标数据与所述目标设备的设备信息关联存储至业务数据库。

优选地，所述的物联数据实时处理方法中，所述对所述设备数据进行数据清洗处理，获得目标设备的实时数据包括：

从所述设备数据中提取设备序列号，并与预设序列号库进行匹配；

当与所述预设序列号库进行匹配成功后，确定所述设备数据为所述目标设备的实时数据。

优选地，所述的物联数据实时处理方法中，所述利用所述实时数据与所述目标设备的物理模型进行属性匹配，从所述实时数据中获得相应属性的目标数据包括：

从所述实时数据中提取出与所述物理模型属性匹配的数据作为所述目标数据；

当确定所述实时数据中缺少至少一项与所述物理模型属性匹配的数据时，利用所述物理模型进行所述目标数据中缺失属性的补充。

优选地，所述的物联数据实时处理方法中，所述将预设时间段内的目标数据汇总为目标数据段包括：

提取所述预设时间段内所有所述目标数据的生成时间戳；

将所述生成时间戳早于所述预设时间段的初始时间的所述目标数据剔除，或补充至上一目标数据段；

将剔除处理后的所述预设时间段内的所述目标数据汇总为所述目标数据段。

优选地，所述的物联数据实时处理方法中，所述接收消息队列的设备数据包括：

通过流式处理框架接收消息队列的设备数据。

优选地，所述的物联数据实时处理方法中，所述业务数据库采用分布式存储引擎建立。

本发明还提供一种物联数据实时处理装置，包括：

实时数据获取模块，用于接收消息队列的设备数据，对所述设备数据进行数据清洗处理，获得目标设备的实时数据；

目标数据获取模块，用于利用所述实时数据与所述目标设备的物理模型进行属性匹配，从所述实时数据中获得相应属性的目标数据；

目标数据汇总模块，用于将预设时间段内的目标数据汇总为目标数据段；

指标数据计算模块，用于将所述目标数据段输入至预设的指标计算模型，获得所述目标设备预设时间段内的指标数据；

指标数据存储模块，用于将所述指标数据与所述目标设备的设备信息关联存储至业务数据库。

优选地，所述的物联数据实时处理装置中，所述实时数据获取模块包括：

序列号匹配单元，用于从所述设备数据中提取设备序列号，并与预设序列号库进行匹配；

实时数据筛选单元，用于当与所述预设序列号库进行匹配成功后，确定所述设备数据为所述目标设备的实时数据。

本发明还提供一种计算机设备，包括存储器以及处理器，所述存储器存储有计算机程序，所述处理器运行所述计算机程序以使所述计算机设备执行所述的物联数据实时处理方法。

本发明还提供一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行所述的物联数据实时处理方法。

本发明提供一种物联数据实时处理方法，该物联数据实时处理方法包括：接收消息队列的设备数据，对所述设备数据进行数据清洗处理，获得目标设备的实时数据；利用所述实时数据与所述目标设备的物理模型进行属性匹配，从所述实时数据中获得相应属性的目标数据；将预设时间段内的目标数据汇总为目标数据段；将所述目标数据段输入至预设的指标计算模型，获得所述目标设备预设时间段内的指标数据；将所述指标数据与所述目标设备的设备信息关联存储至业务数据库。本发明的物联数据实时处理方法，通过预设的目标设备的物理模型，可以从实时数据中快速提取出相应的目标数据，再通过预设的指标计算模型，可以实时计算出用户所需的目标设备的指标数据，从而提高物联设备的设备数据处理的效率，从而提高用户的体验度。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。

图1是本发明实施例1提供的一种物联数据实时处理方法的流程图；

图2是本发明实施例2提供的一种获取实时数据的流程图；

图3是本发明实施例3提供的一种获取目标数据的流程图；

图4是本发明实施例4提供的一种汇总目标数据段的流程图；

图5是本发明实施例5提供的一种物联数据实时处理装置的结构示意图；

图6是本发明实施例5提供的一种实时数据获取模块的结构示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。

实施例1

图1是本发明实施例1提供的一种物联数据实时处理方法的流程图，该方法包括如下步骤：

步骤S11：接收消息队列的设备数据，对所述设备数据进行数据清洗处理，获得目标设备的实时数据。

本发明实施例中，在物联网中种的各种设备在工作时，会产生相应的设备数据，例如泵车在进行工作时，通过传感器或采集到泵车内部的水温、水压、油温以及油压等数据，这些数据可以传输至物联网的消息队列，以便接入消息队列的计算机设备获取消息队列中的设备数据，进行相应设备工作状态的判断以及展示。

本发明实施例中，连接至物联网的计算机设备中可以通过流式处理框架接收消息队列中的设备数据。在物联网设备较多的情况下，通过流式处理框架可以更快的得到响应结果，从而可以处理短时间内大量物联设备产生的数据，提高数据处理的效率。其中，在接收到消息队列的设备数据后，首先对设备数据进行数据清洗处理，以剔除目标设备以外的设备数据，获得目标设备的实时数据，从而可以减少后续数据占用的网络带宽，提高和传输速率，减少数据延迟。

本发明实施例中，在计算机设备中可以设置有用于进行数据清洗的应用程序，在获得设备数据后可以输入至该应用程序，通过该应用程序进行数据清洗处理，以获得目标设备的实时数据。

步骤S12：利用所述实时数据与所述目标设备的物理模型进行属性匹配，从所述实时数据中获得相应属性的目标数据。

本发明实施例中，在计算机设备中可以预先存储有目标设备的物理模型，该物理模型中包括有目标设备的各项属性，例如，在泵车的物理模型中包括有水温、水压、油温以及油压等属性，也即用户需要进行分析的目标数据。上述利用实时数据与物理模型进行属性匹配的过程可以利用算法或应用程序来实现，例如可以在计算机设备中设置有基于目标设备物理模型的匹配应用程序，在获取到实时数据后可以输入至该应用程序，以获得相应属性的目标数据。

步骤S13：将预设时间段内的目标数据汇总为目标数据段。

本发明实施例中，可以将预设时间段内的目标数据汇总为目标数据段，以便对该目标数据段进行计算分析，获得分析结果后存储至数据库，以便用户可以从数据库中的分析结果了解预设时间段内目标设备的工作状态。例如，可以将一小时内的目标数据汇总为目标数据段，也即在一天内进行二十四次数据汇总，共生成二十四个目标数据段，如计算机设备在10时开始汇总目标数据，将10时只11时的目标数据汇总为一个目标数据段。

步骤S14：将所述目标数据段输入至预设的指标计算模型，获得所述目标设备预设时间段内的指标数据。

本发明实施例中，在获得目标数据段后，可以将该目标数据段输入至计算机预先存储的指标计算模型中，从而获得相应的指标数据，例如，该指标计算模型为平均油压计算模型时，目标数据段为预设时间段的油压数据，将该设时间段的油压数据输入值平均油压计算模型后即可获得该预设时间段内的平均油压。其中，根据用户所需进行监控的指标数据，在计算机设备中可以设置有相应的指标数据计算模型，以及获取相应的目标数据，这里不做限定。

步骤S15：将所述指标数据与所述目标设备的设备信息关联存储至业务数据库。

本发明实施例中，再通过指标数据计算模型计算出相应的指标数据后，计算机设备可以通过显示设备实时显示指标数据，还可以与目标设备的设备信息关联存储至业务数据库，以便用户后续可以从业务数据库中查询目标设备相应的指标数据。其中，所述业务数据库采用分布式存储引擎建立，以更好的支持大数据量、多并发场景，以及提高存储和查询效率。

本发明实施例中，通过预设的目标设备的物理模型，可以从实时数据中快速提取出相应的目标数据，再通过预设的指标计算模型，可以实时计算出用户所需的目标设备的指标数据，从而提高物联设备的设备数据处理的效率，从而提高用户的体验度。

实施例2

图2是本发明实施例2提供的一种获取实时数据的流程图，包括如下步骤：

步骤S21：从所述设备数据中提取设备序列号，并与预设序列号库进行匹配。

本发明实施例中，计算机设备在接收到消息队列的设备数据后，首先可以从设备数据中提取所有数据的设备序列号，并与预设序列号库进行匹配，以判断是否为需要进行指标数据计算以及工况展示的目标设备。其中，上述进行目标序列号匹配的过程可以利用算法或应用程序来实现，例如在计算机设备中可以预先存储有预设序列号库，在提取到设备数据中的设备序列号后通过匹配应用程序与预设序列号库匹配。

步骤S22：当与所述预设序列号库进行匹配成功后，确定所述设备数据为所述目标设备的实时数据。

本发明实施例中，在经过与目标设备的序列号匹配并成功后，确定设备数据为需要进行后续处理的实时数据。

实施例3

图3是本发明实施例3提供的一种获取目标数据的流程图，包括如下步骤：

步骤S31：从所述实时数据中提取出与所述物理模型属性匹配的数据作为所述目标数据。

步骤S32：当确定所述实时数据中缺少至少一项与所述物理模型属性匹配的数据时，利用所述物理模型进行所述目标数据中缺失属性的补充。

本发明实施例中，在利用实时数据与物理模型进行属性匹配获得目标数据时，若目标数据存在缺失属性的数据，则可利用物理模型进行目标数据中缺失属性的补充，以使补全后的目标数据中其它属性数据仍可以正常进行相应指标数据的计算。例如泵车物理模型中包括有水温属性以及水压属性，而目标数据中缺少水压相关的数据时，通过泵车物理模型可以进行目标数据中水压数据的补充，在补充的过程中可以不补充水压值，仅将水压属性补充进目标数据中。在进行补充后的目标数据在输入至指标数据计算模型后，使指标计算模型仍可以正常计算，从而获取相应的指标数据。

实施例4

图4是本发明实施例4提供的一种汇总目标数据段的流程图，包括如下步骤：

步骤S41：提取所述预设时间段内所有所述目标数据的生成时间戳。

步骤S42：将所述生成时间戳早于所述预设时间段的初始时间的所述目标数据剔除，或补充至上一目标数据段。

步骤S43：将剔除处理后的所述预设时间段内的所述目标数据汇总为所述目标数据段。

本发明实施例中，物联设备在产生设备数据时，设备数据上会附带有数据生成的时间戳，因此在生成目标数据段时，可以根据数据上的时间戳进行干扰数据的剔除，也即将不是在预设时间段内的，或者更早时间的目标数据进行剔除，这些干扰数据的出现是由于物联网出现的网络延迟，从而提高后续计算出来的指标数据的准确性。其中，剔除的目标数据的时间戳为上一目标数据段时，则补充至上一目标数据段，从而提高上一目标数据段的精确度。

实施例5

图5是本发明实施例5提供的一种物联数据实时处理装置的结构示意图。

该物联数据实时处理装置500包括：

实时数据获取模块510，用于接收消息队列的设备数据，对所述设备数据进行数据清洗处理，获得目标设备的实时数据；

目标数据获取模块520，用于利用所述实时数据与所述目标设备的物理模型进行属性匹配，从所述实时数据中获得相应属性的目标数据；

目标数据汇总模块530，用于将预设时间段内的目标数据汇总为目标数据段；

指标数据计算模块540，用于将所述目标数据段输入至预设的指标计算模型，获得所述目标设备预设时间段内的指标数据；

指标数据存储模块550，用于将所述指标数据与所述目标设备的设备信息关联存储至业务数据库。

如图6所示，该实时数据获取模块510包括：

序列号匹配单元511，用于从所述设备数据中提取设备序列号，并与预设序列号库进行匹配；

实时数据筛选单元512，用于当与所述预设序列号库进行匹配成功后，确定所述设备数据为所述目标设备的实时数据。

本发明实施例中，上述各个模块更加详细的功能描述可以参考前述实施例中相应部分的内容，在此不再赘述。

此外，本发明还提供了一种计算机设备，该计算机设备可以包括智能电话、平板电脑、车载电脑、智能穿戴设备等。该计算机设备包括存储器和处理器，存储器可用于存储计算机程序，处理器通过运行所述计算机程序，从而使计算机设备执行上述方法或者上述物联数据实时处理装置中的各个模块的功能。

存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本实施例还提供了一种可读存储介质，用于储存上述计算机设备中使用的计算机程序。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种物联数据实时处理方法，其特征在于，包括：

将预设时间段内的目标数据汇总为目标数据段；

2.根据权利要求1所述的物联数据实时处理方法，其特征在于，所述对所述设备数据进行数据清洗处理，获得目标设备的实时数据包括：

3.根据权利要求1所述的物联数据实时处理方法，其特征在于，所述利用所述实时数据与所述目标设备的物理模型进行属性匹配，从所述实时数据中获得相应属性的目标数据包括：

4.根据权利要求1所述的物联数据实时处理方法，其特征在于，所述将预设时间段内的目标数据汇总为目标数据段包括：

提取所述预设时间段内所有所述目标数据的生成时间戳；

5.根据权利要求1所述的物联数据实时处理方法，其特征在于，所述接收消息队列的设备数据包括：

通过流式处理框架接收消息队列的设备数据。

6.根据权利要求1所述的物联数据实时处理方法，其特征在于，所述业务数据库采用分布式存储引擎建立。

7.一种物联数据实时处理装置，其特征在于，包括：

8.根据权利要求7所述的物联数据实时处理装置，其特征在于，所述实时数据获取模块包括：

9.一种计算机设备，其特征在于，包括存储器以及处理器，所述存储器存储有计算机程序，所述处理器运行所述计算机程序以使所述计算机设备执行根据权利要求1至6中任一项所述的物联数据实时处理方法。

10.一种可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至6中任一项所述的物联数据实时处理方法。