CN117708219A - 用于物联网数据的处理方法、处理装置及存储介质 - Google Patents

Abstract

本申请实施例提供一种用于物联网数据的处理方法、处理装置及存储介质。应用于分布式实时联机在线分析计算集群，处理方法包括：调整计算集群的计算存储组件的接口，以使计算存储组件的接口与预设协议匹配；基于预设协议以使计算存储组件与分布式存储系统建立连接；实时获取物联网数据，并基于预设协议将物联网数据存储至分布式存储系统中；基于计算集群的计算功能构建对应的数据仓库；在接收到计算任务的情况下，基于预设协议在分布式存储系统的物联网数据中抽取出待计算的物联网数据；基于数据仓库依次对待计算的物联网数据进行分析处理。本发明基于该计算集群的计算功能构建数据仓库，达到了简化数据分析架构的目的。

Description

用于物联网数据的处理方法、处理装置及存储介质

技术领域

本申请涉及工业物联网技术领域，具体涉及一种用于物联网数据的处理方法、处理装置及存储介质。

背景技术

在工业互联网领域，随着“人、机、料、法、环、测”的全面链接，各种工业设备核心价值数据（设备、工艺、材料）通过各种不同类型的传感器和终端设备，经过各种传输协议加密之后通过4G/5G无线网络实时传输到物联网管理平台，这些数据存在数据量大（PB级），多样性，数据积累速度快，数据价值密度低等特点。长期以来，这些海量物联网数据的高效处理已成为制造企业面临的一个重要挑战。大部分规模化制造企业会投入大量资金购买计算和存储型服务器，基于hadoop生态系统，采用spark，flink计算引擎，集成各种数据处理和存储软件，进行大数据分析，从海量的物联网数据中挖掘潜在的数据价值，为企业的运营管理提供支撑，但这需要很高的经济投入。同时由于这种大数据分析的架构设计复杂，所需分析软件众多，技术栈多且难度高，对IT人员的技能有较高的要求。大的制造企业在用该套解决方案时常会力不从心，中小企业更是无能为力，高昂的经济成本和人力投入，让很多企业望而却步。

现有技术主要通过基于hadoop生态相关组件进行海量物联网数据的ETL存储，分析和展示，主要包括通过hadoop分布式存储系统进行物联网数据的存储，基于HIVE数仓对IOT数据进行分层，分主题管理，并基于Spark/Flink计算引擎对hive数仓中的数据进行批处理或者实时处理。处理过程的计算资源通过YARN进行资源管理和分配，hadoop体系还涉及众多配置组件，架构复杂，有较高的运维和使用难度，除此之外，整个分析过程还涉及消息系统kafka、NoSQL数据库、众多计算引擎和存储系统等。由于导致底层的hadoop分布式存储和计算涉及的服务组件多，造成系统架构复杂、数据分析流程长以及成本高昂。同时，底层的hadoop系统中数据存储资源和计算资源强耦合，存在资源不匹配，无法单独扩缩容，存在资源浪费，资源利用率不高。

发明内容

本申请实施例的目的是提供一种用于物联网数据的处理方法，用以解决现有技术中物联网数据分析架构设计复杂，导致的分析流程长、技术要求高以及成本高昂的技术缺陷。

为了实现上述目的，本申请第一方面提供一种用于物联网数据的处理方法，应用于分布式实时联机在线分析计算集群，处理方法包括：

调整计算集群的计算存储组件的接口，以使计算存储组件的接口与预设协议匹配；

基于预设协议以使计算存储组件与分布式存储系统建立连接；

实时获取物联网数据，并基于预设协议将物联网数据存储至分布式存储系统中；

基于计算集群的计算功能构建对应的数据仓库；

在接收到计算任务的情况下，基于预设协议在分布式存储系统的物联网数据中抽取出待计算的物联网数据；

基于数据仓库依次对待计算的物联网数据进行分析处理。

在本申请的实施例中，调整计算集群的计算存储组件的接口，以使计算存储组件的接口与预设协议匹配包括：基于预设协议构建针对分布式存储系统的编程接口；调用编程接口至计算集群以与计算存储组件的接口融合，以使计算存储组件的接口与预设协议匹配。

在本申请的实施例中，计算集群还包括客户端组件，基于计算集群的计算功能构建对应的数据仓库包括：基于客户端组件获取针对数据仓库的多个部署脚本；将客户端组件与计算存储组件建立连接，以将多个部署脚本加载至计算存储组件；执行多个部署脚本，以基于计算集群的计算功能构建数据仓库。

在本申请的实施例中，实时获取物联网数据，并基于预设协议将物联网数据存储至分布式存储系统中包括：实时采集物联网数据；对物联网数据进行加密，并传输至云端；通过云端将加密后的物联网数据发送至物联网管理系统中的消息队列中，并通过物联网管理系统中的实时计算引擎对加密后的物联网数据进行解析，以得到明文后的物联网数据；基于实时计算引擎将明文后的物联网数据传输至计算集群；计算存储组件发起针对物联网数据的存储请求至分布式存储系统，在存储请求通过的情况下，基于预设协议将物联网数据存储至分布式存储系统中。

在本申请的实施例中，数据仓库包括数据缓冲层，处理方法还包括：在从分布式存储系统的物联网数据中抽取出待计算的物联网数据之后，将待计算的物联网数据缓存至缓冲层；基于缓冲层对待计算的物联网数据进行结构化处理，以基于数据类型将待计算的物联网数据进行分类。

在本申请的实施例中，数据仓库还包括数据贴源层、数据标准层、数据整合层以及数据应用层，基于数据仓库依次对待计算的物联网数据进行分析处理包括：在基于缓冲层对待计算的物联网数据进行结构化处理之后，将待计算的物联网数据传输至数据贴源层，并基于数据贴源层对待计算的物联网数据进行标准化处理；基于数据标准层对标准化处理后的数据进行数据建模，以得到包括有多种主题的维度数据；将符合计算任务的任务需求的主题确定为目标主题，针对任意一个目标主题，将目标主题下的多个维度数据进行关联分析，以得到针对多个维度数据的统计分析数据；基于数据整合层对多个目标主题的多个统计分析数据进行关联分析，以得到针对多个目标主题的宽表数据，并将宽表数据存储至数据应用层。

在本申请的实施例中，处理方法还包括：在接收到报表请求的情况下，基于计算集群的统一查询接口服务将计算集群与报表系统建立连接；基于报表系统将数据应用层中的宽表数据按照预设表格形式进行展示。

在本申请的实施例中，处理方法还包括：构建针对数据仓库的调度系统；在接收到实时分析请求的情况下，基于调度系统分别调整数据贴源层、数据标准层、数据整合层以及数据应用层的处理顺序和处理时间，以使数据仓库满足实时分析请求。

本申请第二方面提供一种用于物联网数据的处理装置，包括：

存储器，被配置成存储指令；以及

处理器，被配置成从所述存储器调用所述指令以及在执行所述指令时能够实现上述用于物联网数据的处理方法。

本申请第三方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得所述处理器被配置成执行上述的用于物联网数据的处理方法。

上述技术方案，通过引入轻量化的分布式实时联机在线分析计算集群，并基于该计算集群的计算功能构建数据仓库，达到了简化数据分析架构的目的。同时，通过调整该计算集群的计算存储组件的接口，以使计算存储组件的接口与预设协议匹配，并基于预设协议以使计算存储组件与分布式存储系统建立连接，从而将传输至计算集群中的物联网数据基于存储组件传输至分布式存储系统中进行存储，让该计算集群的存储和计算解耦。不仅避免计算和存储资源的浪费，可以极大降低海量物联网数据的分析成本，而且实现了计算和存储的独立分别扩缩容。

本申请实施例的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请实施例，但并不构成对本申请实施例的限制。在附图中：

图1示意性示出了根据本申请实施例的用于物联网数据的处理方法的流程示意图；

图2示意性示出了根据本申请实施例的物联网数据实时采集过程的示意图；

图3示意性示出了根据本申请实施例的物联网数据存算分离的架构图；

图4示意性示出了根据本申请实施例的starrocks计算集群的数据仓库的结构框图；

图5示意性示出了根据本申请实施例的基于存算分离数据的实时分析流程图；

图6示意性示出了根据本申请实施例的计算机设备的内部结构图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请实施例，并不用于限制本申请实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

另外，若本申请实施例中有涉及“第一”“第二”等的描述，则该“第一”“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

图1示意性示出了根据本申请实施例的一种用于物联网数据的处理方法的流程示意图。如图1所示，本申请实施例提供一种用于物联网数据的处理方法，该方法可以包括下列步骤。

步骤101、调整计算集群的计算存储组件的接口，以使计算存储组件的接口与预设协议匹配。

在本申请实施例中，计算集群可以是指轻量化的starrocks集群，其中，starrocks是开源的新一代极速全场景MPP数据库。它采用新一代的弹性MPP架构，可以高效支持大数据量级的多维分析、实时分析、高并发分析等多种数据分析场景。starrocks的元数据和数据都是多副本存储，并且集群中服务有热备、多实例部署，避免了单点故障。集群具有自愈能力，可弹性恢复，节点的宕机、下线、异常都不会影响starrocks集群服务的整体稳定性。starrocks作为一个开源软件，它本身是由mysql客户端、Frontend组件以及Backend组件，3个部分组成。其中，mysql客户端的mysql client服务负责对外提供jdbc接口服务，Frontend组件以及Backend组件为2种服务组件，前端节点FrontEnd简称FE，FE有主从之分（Leader和Follower两种角色），负责元数据管理、SQL解析及逻辑执行计划生成等功能。后端节点BackEnd简称BE，负责计算和数据存储并与FE进行交互，以及负责数据的存储和数据的计算处理以及计算资源的管理等功能。在本技术方案中，计算集群的计算存储组件可以是指starrocks集群的BE组件，预设协议可以是指S3协议。具体地，处理器调整starrocks集群的BE组件的接口，使BE组件的接口与S3协议匹配。

在本申请实施例中，调整计算集群的计算存储组件的接口，以使计算存储组件的接口与预设协议匹配包括：基于预设协议构建针对分布式存储系统的编程接口；调用编程接口至计算集群以与计算存储组件的接口融合，以使计算存储组件的接口与预设协议匹配。

在本技术方案中，预设协议可以是指S3协议，处理器调整starrocks集群的BE组件的接口使其与S3协议匹配时，需先基于S3协议构建针对分布式存储系统的编程接口。其中，分布式存储系统可以是指minio，minio是一个高性能、分布式的对象存储平台，其提供高性能、S3协议兼容的对象存储，非常适合于存储大容量非结构化的数据。minio作为一个对象存储平台，其所处理的对象是以文件为粒度，即只需要把承载海量数据的各种数据文件（电子化的各式文件）通过minio客户端以文件的形式上传上去即可以完成数据的存储。具体地，因为minio中对象数据的读取符合S3接口规范，所以处理器可以基于S3接口协议规范，构建针对minio数据读取的restful api接口。因此，编程接口可以是指restful api接口。在构建完毕restful api接口之后，将该restful api接口调用至BE组件中，从而使BE组件与S3协议适配。

步骤102、基于预设协议以使计算存储组件与分布式存储系统建立连接。

在本申请实施例中，预设协议可以是指S3协议，计算存储组件可以是指BE组件，分布式存储系统可以是指minio。在处理器基于S3协议构建针对minio的restful api接口之后，将restful api接口调用至BE组件中，可以使得BE组件与S3协议适配。BE组件与S3协议适配后，BE组件可以通过S3协议与兼容S3协议的分布式存储系统minio建立连接，BE组件中缓存的数据基于S3协议可以写入到minio中进行存储，同时，当FE组件请求读取数据时可以基于S3协议从minio抽取数据。

在本技术方案中，分布式存储系统还可以是指hadoop-hdfs，hadoop-hdfs是指被设计成适合运行在通用硬件上的一种分布式文件系统。HDFS是一个具备高度容错性的系统，适合部署在廉价的机器上，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。具体地，当分布式存储系统为hadoop-hdfs时，处理器可以直接调用hadoop-hdfs的api接口，基于该api接口将BE组件与hadoop-hdfs建立连接。具体地，处理器可以直接调用hadoop-hdfs的api接口将BE组件中缓存的数据写入到hadoop-hdfs的大数据存储库hdfs中。当FE组件请求读取BE组件中的数据时，处理器可以通过调用hadoop-hdfs的api接口从hdfs中抽取数据至BE组件中然后转发给FE组件，并缓存在内存中，当FE组件再次请求读取数据时，先从缓存中查找数据，缓存中没有则再次通过hadoop-hdfs的api从hdfs中抽取数据。

步骤103、实时获取物联网数据，并基于预设协议将物联网数据存储至分布式存储系统中。

在本申请实施例中，预设协议可以是指S3协议，分布式存储系统可以是指minio，在处理器基于S3协议构建针对minio的restful api接口，并将restful api接口调用至BE组件中，以使得BE组件与S3协议适配之后，处理器可以实时获取物联网数据，并基于S3协议将实时获取到的物联网数据存储至分布式存储系统minio中。

在本技术方案中，由于minio本身也支持S3协议，所以可以选择使用对象存储系统minio来负责BE组件的数据存储功能，将BE组件的存储功能剥离出来，让BE单独负责计算。BE组件与minio通过S3协议进行互操作，即当计算需求通过FE组件进行请求并传输给BE组件时，BE组件通过S3协议，从minio拉取数据进行计算。当存在数据写入需求时，通过FE组件将请求传输给BE组件，BE组件通过S3协议，向minio中进行数据写入操作。该方法不仅可以摆脱对hadoop这套复杂存储体系的依赖，大大简化数据分析系统的架构，而且因为minio采用bucket存储桶进行数据存储，以文件对象的形式对数据进行组织，使得存储的数据量更大，成本更低。同时，由于本步骤实现了BE组件的计算功能和存储功能的分离，可以实现存储和计算的独立高效扩缩容。

在本申请的实施例中，实时获取物联网数据，并基于预设协议将物联网数据存储至分布式存储系统中包括：实时采集物联网数据；对物联网数据进行加密，并传输至云端；通过云端将加密后的物联网数据发送至物联网管理系统中的消息队列中，并通过物联网管理系统中的实时计算引擎对加密后的物联网数据进行解析，以得到明文后的物联网数据；基于实时计算引擎将明文后的物联网数据传输至计算集群；计算存储组件发起针对物联网数据的存储请求至分布式存储系统，在存储请求通过的情况下，基于预设协议将物联网数据存储至分布式存储系统中。

物联网数据可以来源于工业设备，通过安装于工业设备上的多种传感器进行实时采集。多个传感器实时采集设备端的物联网数据之后，可以通过PLC总线实时传输到对应的边缘终端，边缘终端进一步按照特定的协议例如MQTT，MODBUS，JT808等对物联网数据进行重新组织和加密。在对实时接收到的物联网数据进行加密之后，通过安装于边缘终端边缘侧的5G模块以5G无线网络将加密后的物联网数据传输至云端网关。云端网关将加密后的物联网数据发送至物联网管理系统中进行后续的缓存解密，并最终将明文后的物联网数据传输至计算集群starrocks集群中。

具体地，如图2所示，提供了一种物联网数据实时采集过程的示意图。多个边缘终端例如Device1、Device2以及Device3分别接收对应传感器端实时采集的物联网数据之后，进行加密并统一上传至云端网关Gateway。云端网关将加密后的物联网数据发送至物联网管理系统中的消息队列kafka中，kafka中包括多个预设的主题topic，可以用于缓存传输至kafka中的物联网数据。物联网数据实时采集到消息队列kafka之后，由于这些数据都是经过数据协议进行加密的，无法直接用于数据价值挖掘和分析。由于物联网数据量通常比较大，实时性高，吞吐量大，本技术方案中可以选择Flink这种高效的实时计算引擎来对kafka消息队列指定topic中的加密物联网数据进行实时的解析，将加密后的16进制字符串实时解析成明文的json数据。解析完成之后Flink计算引擎会通过starrokcs的stream loadapi接口将解析后的物联网数据实时写入starrocks计算集群，并缓存至计算存储组件BE中。由于starrocks天然支持uniquekey更新模型，aggregatekey聚合模型，duplicatedkey明细模型，所以可以通过选择不同的模型，对Flink写入的物联网数据进行一些特定计算，达到实现一些数据保留策略的目的。

在本技术方案中，物联网数据只加载并缓存于计算存储组件BE中，并不进行实际存储，缓存于计算存储组件BE中的物联网数据可以基于预设协议S3协议传输至分布式存储系统中进行存储，以实现持久化存储。

步骤104、基于计算集群的计算功能构建对应的数据仓库。

在本申请实施例中，计算集群可以是指starrocks集群，starrocks集群中由BE组件负责计算功能。因此，在本技术方案中，处理器可以基于starrocks高效的计算能力和分布式存储的优势，舍弃除了starrocks之外的任何计算引擎，通过starrocks的BE组件具备的计算功能来构建数仓，将Hive数仓分层逐步分析的理论移植到基于starrocks的数仓分析中，即我们在starrocks中也根据BDL→ODL→SDL→IDL→ADL分层理念将BE组件的计算功能构建为具备Hive数仓分层理念的数据仓库，从而通过该数据仓库达到数据分析和挖掘的目的。

在本申请的实施例中，计算集群还包括客户端组件，基于计算集群的计算功能构建对应的数据仓库包括：基于客户端组件获取针对数据仓库的多个部署脚本；将客户端组件与计算存储组件建立连接，以将多个部署脚本加载至计算存储组件；执行多个部署脚本，以基于计算集群的计算功能构建数据仓库。

在本技术方案中，计算集群可以是指starrocks集群，因此，客户端组件可以是指starrocks集群中的前端节点FrontEnd简称FE。具体地，处理器基于starrocks集群的计算功能构建具备Hive数仓分层理念的数据仓库时，需先基于客户端组件即FE组件获取针对数据仓库的多个部署脚本。具体地，数据仓库具备多层，因此，在部署每一层时，每一层均具备对应的部署脚本，基于FE组件的mysql客户端与BE组件进行连接并获取每一层对应的部署脚本，处理器将获取到的部署脚本在starrocks集群中执行，从而构建具备Hive数仓分层理念的数据仓库。例如，以BDL数据缓冲层为例，通过FE组件的mysql客户端，连接到已经完成部署的starrocks集群，然后通过SQL开发语言，在starrocks集群中执行如下脚本：createdatabase bdl，则可以创建具备BDL数据缓冲层的数据仓库。

步骤105、在接收到计算任务的情况下，基于预设协议在分布式存储系统的物联网数据中抽取出待计算的物联网数据。

在本申请实施例中，处理器在实时获取到通过上游Flink计算引擎发送的物联网数据之后，将物联网数据缓存至计算存储组件BE中，缓存于计算存储组件BE中的物联网数据可以基于S3协议传输至分布式存储系统minio中，以实现持久化存储。当通过FE组件的mysql客户端获取到用户提交的计算任务的情况下，FE组件发起数据请求至计算存储组件BE，计算存储组件BE在接收到计算任务的情况下，基于S3协议可以将存储于分布式存储系统minio中的物联网数据进行抽取，抽取后的数据加载并缓存至计算存储组件BE中，以供BE组件实时对物联网数据进行计算。

具体地，如图3所示，提供了一种物联网数据存算分离的架构图。starrocks作为一个开源软件，它本身是由mysql客户端、Frontend组件以及Backend组件，3个部分组成。其中，mysql客户端的mysql client服务负责对外提供jdbc接口服务，Frontend组件以及Backend组件为2种服务组件，前端节点FrontEnd简称FE，FE有主从之分（Leader和Follower两种角色），负责元数据管理、SQL解析及逻辑执行计划生成等功能。后端节点BackEnd简称BE，负责计算和数据存储并与组件进行交互，以及负责数据的存储和数据的计算处理以及计算资源的管理等功能。在图3中，mysql client服务提供jdbc接口服务与客户端连接，基于jdbc接口服务接收用户发起的计算任务，并通过mysql protocol协议将计算任务传输至starrocks集群中的FE组件，其中，mysql protocol协议是mysql客户端与服务器之间进行通信的一种协议，在mysql中，客户端与服务器之间交互的所有数据均基于此协议进行传输。FE组件中包括FE leader节点和FE follower节点，FE leader节点可以使用复制协议选主和主从同步元数据，并对所有的元数据进行修改，FE follower节点执行读操作，FE组件中的节点数目选用2n+1，可以容忍n个节点故障。当FE leader节点故障时，可以从现有的FEfollower节点重新选主，完成故障切换。BE组件与minio通过S3协议进行互操作，即当计算需求通过FE组件进行请求并传输给BE组件时，BE组件通过S3协议，从minio拉取数据进行计算。当存在数据写入需求时，通过FE组件将请求传输给BE组件，BE组件通过S3协议，向minio中进行数据写入操作。

步骤106、基于数据仓库依次对待计算的物联网数据进行分析处理。

在本申请实施例中，当通过FE组件的mysql客户端获取到用户提交的计算任务的情况下，FE组件发起数据请求至计算存储组件BE，计算存储组件BE在接收到计算任务的情况下，基于S3协议可以将存储于分布式存储系统minio中的物联网数据进行抽取，抽取后的数据加载并缓存至计算存储组件BE中，以供BE组件实时对物联网数据进行计算。具体的，处理器基于计算存储组件BE的计算功能构建了具备Hive数仓分层理念的数据仓库，因此，在处理器基于BE组件将物联网数据从分布式存储系统minio中进行抽取之后，基于构建的数据仓库依次对抽取出的待计算物联网数据进行分析处理。

在本申请的实施例中，处理方法还包括：数据仓库包括数据缓冲层，所述处理方法还包括：在从所述分布式存储系统的物联网数据中抽取出待计算的物联网数据之后，将待计算的物联网数据缓存至缓冲层；基于缓冲层对待计算的物联网数据进行结构化处理，以基于数据类型将待计算的物联网数据进行分类。

在本技术方案中，处理器基于计算功能构建的具备Hive数仓分层理念的数据仓库包括数据缓冲层，其中，数据缓冲层可以是指BDL层。具体地，在处理器基于BE组件将物联网数据从分布式存储系统minio中进行抽取之后，待计算的物联网数据进入数据缓冲层BDL进行缓存。待计算的物联网数据写入BDL层之后，BDL层对数据进行初步的结构化处理，可以包括将数据按照一定的规则和方式进行组织和管理，以便于后续的存储、检索、分析以及处理。具体地，可以根据数据的具体类型将待计算的物联网数据进行分类。

在本申请的实施例中，数据仓库还包括数据贴源层、数据标准层、数据整合层以及数据应用层，基于数据仓库依次对待计算的物联网数据进行分析处理包括：在基于缓冲层对待计算的物联网数据进行结构化处理之后，将待计算的物联网数据传输至数据贴源层，并基于数据贴源层对待计算的物联网数据进行标准化处理；基于数据标准层对标准化处理后的数据进行数据建模，以得到包括有多种主题的维度数据；将符合计算任务的任务需求的主题确定为目标主题，针对任意一个目标主题，将目标主题下的多个维度数据进行关联分析，以得到针对多个维度数据的统计分析数据；基于数据整合层对多个目标主题的多个统计分析数据进行关联分析，以得到针对多个目标主题的宽表数据，并将宽表数据存储至数据应用层。

在本技术方案中，处理器基于计算功能构建的具备Hive数仓分层理念的数据仓库还包括数据贴源层、数据标准层、数据整合层以及数据应用层，其中，数据贴源层可以是指ODL，数据标准层可以是指SDL，数据整合层可以是指IDL，数据应用层可以是指ADL。

如图4所示，提供了一种starrocks计算集群的数据仓库的结构框图。在图4中，starrocks计算集群包括数据缓冲层BDL、数据贴源层ODL、数据标准层SDL、数据整合层IDL、数据应用层ADL、维度层DIM以及临时层TEMP。具体地，在处理器基于BE组件将物联网数据从分布式存储系统minio中进行抽取之后，待计算的物联网数据进入数据缓冲层BDL进行缓存，并BDL层对数据进行初步的结构化处理，以将待计算的物联网数据根据数据类型进行分类。随之数据进入数据贴源层ODL，ODL层将数据经过starrocks计算集群的初步结构化处理的数据进行清洗，去除脏数据等标准化处理，并存储到数据标准层SDL。

SDL对标准化处理后的数据进行数据建模，以得到包括有多种主题的维度数据。将符合计算任务的任务需求的主题确定为目标主题，针对任意一个目标主题，将目标主题下的多个维度数据进行关联分析，以得到针对多个维度数据的统计分析数据。SDL层的数据就是可靠的，准确的，真实的数据，是进行后续分析的基础数据，本方案中可以选择的维度建模的方式进行数据建模，例如以一张事实表作为主表，N个维度数据表组成的星形模型来构建数据表，将事实表与不同的维度表进行关联，最终从不同维度（时间，地点，人物，组织等）对不同的统计量进行统计分析。把描述事实数据的历史维度数据预先存放到维度层DIM中，如图4所示，维度数据一般存储在业务系统的后台数据库中，譬如企业的组织结构信息，供应商，客户信息，产品分类分级信息，省市区编码，时间信息等。在本技术方案中，可以在starrocks集群中创建一个DIM数据库，然后通过ETL工具Flink cdc将业务系统的后台数据库中维度数据同步到starrocks的DIM数据库相应的数据表中，以便数据的共享和统一维护。有了维度数据和实时数据，就可以根据业务需求和具体的业务逻辑，按主题进行数据的关联分析、统计，并将SDL+DIM的统计分析数据按主题存入到数据整合层IDL中。

数据进入数据整合层IDL之后，可以基于数据整合层IDL对多个目标主题的多个统计分析数据进行关联分析，以得到针对多个目标主题的宽表数据，并将宽表数据存储至数据应用层ADL。具体地，通常在做数据挖掘和价值分析时，经常需要全面了解一个产品，一个设备，一个用户等的全部统计信息，这个时候就需要对IDL层不同主题的数据按照某一个主键，例如设备ID，产品ID，人员编号等进行关联统计、聚合，最终得到所有指标的一个大的宽表数据，并可以将这样的宽表数据存储到数据应用层ADL中。

在本申请的实施例中，处理方法还包括：在接收到报表请求的情况下，基于计算集群的统一查询接口服务将计算集群与报表系统建立连接；基于报表系统将数据应用层中的宽表数据按照预设表格形式进行展示。

在本技术方案中，报表系统可以是指BI报表系统，BI报表是指企业根据现有数据进行整合并输出的报表，是BI应用结果的一种常用的展现形式。处理器在接收到报表请求的情况下，基于starrocks计算集群的统一查询接口服务jdbc将starrocks计算集群与BI报表系统建立连接，从而基于BI报表系统将数据应用层ADL中的宽表数据按照预设表格形式进行展示。具体地，处理器基于starrocks的数据仓库依次对数据进行分析之后，可以得到包含各主题的汇总统计数据，这些宽表数据存储到starrocks数据仓库中的ADL层。在本技术方案中，为了简化BI报表需通过ETL工具例如DATAX，NIFI抽取数据进行分析的流程，基于starrocks进行数据数仓的构建，因为starrocks本身就兼容mysql协议，支持标准sql语法，易于对接使用，全系统无外部依赖，高可用，并且查询速度极快。因此，在本技术方案中可以直接通过starrocks的jdbc端口来对接FineBI，即无需将分析之后的结果数据导出到数仓系统之外即可实现数据报表需求，减少了其他组件的引入，尽量维持了一个比较简单的架构，同时又满足了BI报表展示的需求。

在本申请的实施例中，处理方法还包括：构建针对数据仓库的调度系统；在接收到实时分析请求的情况下，基于调度系统分别调整数据贴源层、数据标准层、数据整合层以及数据应用层的处理顺序和处理时间，以使数据仓库满足实时分析请求。

在本技术方案中，基于starrocks的计算功能构建具备Hive数仓分层理念的数据仓库，从而基于数据仓库实现了数据的逐层分析和维度建模。这种分层的好处一方面是流程清晰，便于管理和问题追溯，另一方面是避免重复开发，可以最大限度复用已有的分析结果，无须每次都从头分析，最重要的是实现了不同领域数据的融会贯通，打破了数据孤岛效应，数据的边界更清楚，权责更明晰。同时，由于starrocks本身支持数据的实时更新，实时写入和实时聚合，所以基于这种分层理念的数据分析过程，一方面可以按照天，周，月的时间延迟粒度进行离线的汇总分析，另一方面也可以将这个分析过程的时延降到最低，达到实时分析的要求，实时汇总截至当前时间最新统计汇总数据。具体地，在处理器基于数据仓库对数据进行离线分析的过程中，为满足实时分析请求，可以基于数据仓库构建针对数据仓库的调度系统，从而满足数据的实时分析需求。具体地，基于调度系统分别调整数据贴源层ODL、数据标准层SDL、数据整合层IDL、数据应用层ADL的处理顺序和处理时间，以使数据仓库满足实时分析请求。

如图5所示，提供了一种基于存算分离数据的实时分析流程图。在图5中，一个数据分析任务按照BDL→ODL→SDL→IDL→ADL的顺序被依次按顺序分拆成了4个子任务，这4个子任务需要按照时间顺序先后执行。本方案中构建了针对该数据仓库的调度系统，通过该调度系统，可以设置这4个子任务的执行时间和顺序。由于starrocks高效快速的计算能力，可以通过该调度系统提高数据分析任务执行的频率，使一个分析任务的执行时间尽可能地短，进而到达实时分析的目标，其中，一般能在几分钟内完后的分析任务可以称之为实时分析任务。其次，starrocks的aggregatekey数据模型和uniquekey，这些模型可以对写入到starrocks集群中的数据进行实时的统计和汇总或者更新。对于一些简单的任务，可以直接中BDL层实时得到统计汇总后的数据，这也是实时分析的一种。而当分析任务很复杂，数据量很大时，对实时性要求不高时，就可以通过调整并降低调度系统对该分析任务的调度频次和调度时间，使这类任务仅在夜间业务不繁忙的时间段内执行，每天只执行一次，进而实现离线分析的目的。在本技术方案中，可以在不引入其他任何其他hadoop生态大数据组件的情况下，仅仅依赖starrocks的计算和存储能力我们就可以做到离线和实时分析的同时进行，极大地简化了数据分析挖掘架构设计，提高了分析效率。

上述技术方案，通过引入轻量化的分布式实时联机在线分析计算集群，并基于该计算集群的计算功能构建数据仓库，达到了简化数据分析架构的目的。同时，通过调整该计算集群的计算存储组件的接口，以使计算存储组件的接口与预设协议匹配，并基于预设协议以使计算存储组件与分布式存储系统建立连接，从而将传输至计算集群中的物联网数据基于存储组件传输至分布式存储系统中进行存储，让该计算集群的存储和计算解耦。不仅避免计算和存储资源的浪费，可以极大降低海量物联网数据的分析成本，而且实现了计算和存储的独立分别扩缩容。

本技术方案，采用了创新型的流程设计和技术创新，实现了没有hadoop生态相关软件参与大数据分析系统的架构设计，大大简化了海量物联网数据分析的需求。通过自研的物联网系统，实现了海量物联网数据的实时采集，通过FLINk对物联网数据进行实时解析并实时存储到了starrocks分布式集群中，通过对starrocks的BE组件后端代码的改造，使其兼容S3协议，同时引入支持S3协议的分布式对象存储系统MINIO，通过系统间的集成和开发，使MINIO代替了BE的存储功能，BE只负责计算，达到了计算和存储的分离和彼此独立扩缩容的目的，提高了资源利用率和数据分析效率，使存储成本更低。同时，创新地把维度建模和数仓逐层分析的理论，在starrocks中进行实践，实现了基于starrocks的离线和实时数仓，计算和存储全部基于starrocks，无需引入任何其他组件，架构简单，数据分析流程更简洁，达到了极致低成本，极致简单架构的设计。通过FineBI直接对接starrocks，实现了数据分析，展示的一体化设计，无须数据的导出操作，也不需要引入其他组件，降低了数据分析和展示技术复杂度的同时保障了数据的一致性要求，以极低的部署成本，运行成本，经济成本实现了海量物联网数据的分析需求。

本申请实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现上述执行上述的用于物联网数据的处理方法。

本申请实施例提供了一种物联网数据的处理装置，包括存储器和处理器，其中，存储器被配置成存储指令，处理器被配置成从所述存储器调用所述指令以及在执行所述指令时能够实现上述用于物联网数据的处理方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器A01、网络接口A02、存储器（图中未示出）和数据库（图中未示出）。其中，该计算机设备的处理器A01用于提供计算和控制能力。该计算机设备的存储器包括内存储器A03和非易失性存储介质A04。该非易失性存储介质A04存储有操作系统B01、计算机程序B02和数据库（图中未示出）。该内存储器A03为非易失性存储介质A04中的操作系统B01和计算机程序B02的运行提供环境。该计算机设备的数据库用于存储执行上述的用于物联网数据的处理方法数据。该计算机设备的网络接口A02用于与外部的终端通过网络连接通信。该计算机程序B02被处理器A01执行时以实现一种执行上述的用于物联网数据的处理方法。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本申请实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现用于物联网数据的处理方法步骤。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化用于物联网数据的处理方法步骤的程序。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框，以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器（RAM）和/或非易失性内存等形式，如只读存储器（ROM）或闪存（flash RAM）。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所做的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种用于物联网数据的处理方法，其特征在于，应用于分布式实时联机在线分析计算集群，所述处理方法包括：

调整所述计算集群的计算存储组件的接口，以使所述计算存储组件的接口与预设协议匹配；

基于所述预设协议以使所述计算存储组件与分布式存储系统建立连接；

实时获取物联网数据，并基于所述预设协议将所述物联网数据存储至所述分布式存储系统中；

基于所述计算集群的计算功能构建对应的数据仓库；

在接收到计算任务的情况下，基于所述预设协议在所述分布式存储系统的物联网数据中抽取出待计算的物联网数据；

基于所述数据仓库依次对所述待计算的物联网数据进行分析处理。

2.根据权利要求1所述的用于物联网数据的处理方法，其特征在于，所述调整所述计算集群的计算存储组件的接口，以使所述计算存储组件的接口与预设协议匹配包括：

基于所述预设协议构建针对所述分布式存储系统的编程接口；

调用所述编程接口至所述计算集群以与所述计算存储组件的接口融合，以使所述计算存储组件的接口与预设协议匹配。

3.根据权利要求1所述的用于物联网数据的处理方法，其特征在于，所述计算集群还包括客户端组件，所述基于所述计算集群的计算功能构建对应的数据仓库包括：

基于所述客户端组件获取针对所述数据仓库的多个部署脚本；

将所述客户端组件与所述计算存储组件建立连接，以将所述多个部署脚本加载至所述计算存储组件；

执行所述多个部署脚本，以基于所述计算集群的计算功能构建所述数据仓库。

4.根据权利要求1所述的用于物联网数据的处理方法，其特征在于，所述实时获取物联网数据，并基于所述预设协议将所述物联网数据存储至所述分布式存储系统中包括：

实时采集所述物联网数据；

对所述物联网数据进行加密，并传输至云端；

通过所述云端将加密后的物联网数据发送至物联网管理系统中的消息队列中，并通过所述物联网管理系统中的实时计算引擎对加密后的物联网数据进行解析，以得到明文后的物联网数据；

基于所述实时计算引擎将明文后的物联网数据传输至所述计算集群；

所述计算存储组件发起针对所述物联网数据的存储请求至所述分布式存储系统，在所述存储请求通过的情况下，基于所述预设协议将所述物联网数据存储至所述分布式存储系统中。

5.根据权利要求1所述的用于物联网数据的处理方法，其特征在于，所述数据仓库包括数据缓冲层，所述处理方法还包括：

在从所述分布式存储系统的物联网数据中抽取出待计算的物联网数据之后，将所述待计算的物联网数据缓存至所述缓冲层；

基于所述缓冲层对所述待计算的物联网数据进行结构化处理，以基于数据类型将所述待计算的物联网数据进行分类。

6.根据权利要求5所述的用于物联网数据的处理方法，其特征在于，所述数据仓库还包括数据贴源层、数据标准层、数据整合层以及数据应用层，所述基于所述数据仓库依次对所述待计算的物联网数据进行分析处理包括：

在基于所述缓冲层对所述待计算的物联网数据进行结构化处理之后，将所述待计算的物联网数据传输至所述数据贴源层，并基于所述数据贴源层对所述待计算的物联网数据进行标准化处理；

基于所述数据标准层对标准化处理后的数据进行数据建模，以得到包括有多种主题的维度数据；

将符合所述计算任务的任务需求的主题确定为目标主题，针对任意一个目标主题，将所述目标主题下的多个维度数据进行关联分析，以得到针对所述多个维度数据的统计分析数据；

基于所述数据整合层对多个目标主题的多个统计分析数据进行关联分析，以得到针对所述多个目标主题的宽表数据，并将所述宽表数据存储至所述数据应用层。

7.根据权利要求6所述的用于物联网数据的处理方法，其特征在于，所述处理方法还包括：

在接收到报表请求的情况下，基于所述计算集群的统一查询接口服务将所述计算集群与报表系统建立连接；

基于所述报表系统将所述数据应用层中的宽表数据按照预设表格形式进行展示。

8.根据权利要求6所述的用于物联网数据的处理方法，其特征在于，所述处理方法还包括：

构建针对所述数据仓库的调度系统；

在接收到实时分析请求的情况下，基于所述调度系统分别调整所述数据贴源层、所述数据标准层、所述数据整合层以及所述数据应用层的处理顺序和处理时间，以使所述数据仓库满足所述实时分析请求。

9.一种用于物联网数据的处理装置，其特征在于，包括：

存储器，被配置成存储指令；以及

处理器，被配置成从所述存储器调用所述指令以及在执行所述指令时能够实现根据权利要求1至8中任一项所述的用于物联网数据的处理方法。

10.一种机器可读存储介质，该机器可读存储介质上存储有指令，其特征在于，该指令在被处理器执行时使得所述处理器被配置成执行根据权利要求1至8中任一项所述的用于物联网数据的处理方法。