CN113032401B - 基于异形结构树的大数据处理方法、装置及相关设备 - Google Patents

Abstract

本发明涉及智能设备技术领域，提供一种基于异形结构树的大数据处理方法、装置及相关设备，所述方法包括步骤：基于所述异形结构树的层级定义，配置分组模板中的分拆节点类型；根据所述异形结构树的层级关系进行预拆分，获得多个分段列表，根据所分拆节点类型对所述分段列表进行分拆，获得分拆节点列表；基于预设的调度规则，调用分布式执行器对所述分拆节点列表进行处理，对所述分拆节点列表下的所有节点进行实例化。本发明能够实现对海量设备的处理过程，提高处理效率，大幅度的降低延迟，同时满足城市级物联网系统的需求，其建设成本较小，建设周期短。

Description

基于异形结构树的大数据处理方法、装置及相关设备

技术领域

本发明涉及物联网技术领域，尤其涉及一种基于异形结构树的大数据处理方法、装置及相关设备。

背景技术

物联网系统中，通常先将设备按业务分组，具体操控或业务设置时再按照分组批量操作。

编辑分组时，将组内设备存储到数据库后返回页面。在城市级的物联网系统，一种设备的数据量过百万，每个分组的设备过10万。由于设备的数据量比较庞大，导致这种常规的分组编辑会产生很大的延迟，甚至造成数据库事务失败。

发明内容

本发明实施例提供一种异形结构树的构造方法，能够缩短开发周期、降低成本、提高开发与运行效率。

第一方面，本发明实施例提供一种基于异形结构树的大数据处理方法，包括以下步骤：

基于所述异形结构树的层级定义，配置分组模板中的分拆节点类型；

根据所述异形结构树的层级关系进行预拆分，获得多个分段列表，根据所分拆节点类型对所述分段列表进行分拆，获得分拆节点列表；

基于预设的调度规则，调用分布式执行器对所述分拆节点列表进行处理，对所述分拆节点列表下的所有节点进行实例化。

优选的，所述根据所分拆节点类型对所述分段列表进行分拆，获得分拆节点列表的步骤包括：

获取所述分段列表；

基于所述分拆节点类型获取所分段列表中分拆节点的所有下级节点列表；

合并所有所述下级节点列表，得到所述分拆节点列表。

优选的，所述基于所述分拆节点类型获取所分段列表中分拆节点的所有下级节点列表的步骤中，所述下级节点列表中包括所述分拆节点。

优选的，所述基于预设的调度规则，调用分布式执行器对所述分拆节点列表进行处理，对所述分拆节点列表下的所有节点进行实例化的步骤包括：

获取所述分拆节点列表的总节点数；

基于所述预设的调度规则，从所述分拆节点列表选取待处理节点列表；

调用分布式执行器对所述待处理节点列表进行处理。

优选的，所述基于所述预设的调度规则，从所述分拆节点列表选取待处理节点列表的步骤包括：

获取所述执行器的编号以及对应所述编号下的执行器数量；

根据所述执行器的编号及所述执行器数量计算可执行量；

根据所述可执行量从所述分拆节点列表中选取待处理节点列表。

优选的，对所述分拆节点列表进行处理前，所述方法还包括步骤：

建立基于所述分拆节点列表的分拆节点状态列表；

所述调用分布式执行器对所述待处理节点列表进行处理的步骤还包括：

在所述分拆节点状态列表中更新对应节点的处理状态。

优选的，所述方法还包括步骤：

判断所述分拆节点列表的所有节点是否实例化。

第二方面，本发明提供一种基于异形结构树的大数据处理装置，包括：

配置模块，用于基于所述异形结构树的层级定义，配置分组模板中的分拆节点类型；

拆分模块，用于根据所述异形结构树的层级关系进行预拆分，获得多个分段列表，根据所分拆节点类型对所述分段列表进行分拆，获得分拆节点列表；

处理模块，用于基于预设的调度规则，调用分布式执行器对所述分拆节点列表进行处理，对所述分拆节点列表下的所有节点进行实例化。

第三方面，本发明实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一所述的基于异形结构树的大数据处理方法中的步骤。

第四方面，一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的基于异形结构树的大数据处理方法中的步骤。

在本发明实施例中，通过配置分组模板以及分拆节点类型，可实现对异形结构树进行分拆，得到分拆节点列表，并根据预设的调度规则，对分拆节点列表下的所有节点进行分布式调度处理，从而实现对海量设备的处理过程，提高处理效率，大幅度的降低延迟，同时满足城市级物联网系统的需求，其建设成本较小，建设周期短。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于异形结构树的大数据处理方法的流程图；

图2为本发明实施例提供的另一种基于异形结构树的大数据处理方法的流程图；

图3为本发明实施例提供的另一种基于异形结构树的大数据处理装置的结构示意图；

图4是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

如图1所示，图1是本发明实施例提供的基于异形结构树的大数据处理方法的流程图，包括以下步骤：

101、基于所述异形结构树的层级定义，配置分组模板中的分拆节点类型。

本实施例中，分组模板是基于预设的分组规则而生成，用于将异形结构树进行分拆，分组模板中可配置分拆节点类型，分拆节点类型决定了分拆节点在异形结构树中的位置。

本实施例中，异形结构树用于对物联网系统中的设备进行管理，异形结构树的异形指的是树节点上的数据来源各异，可以包括但不限于区域、设备、某种设备、分组等等，结构指的是树的节点分层级，可抽象为固定的层级结构依次组成，例如：路灯的区域设备树可抽象为区域、回路箱、回路、灯杆、路灯终端依次组成。

其中，树可以包括树标识、名称与编码等数据。树层级定义可以包括树层级标识、树标识、树层级序号、树层级数据来源类型、树层级节点类型编码、树层级允许多级标识、树层级节点生成器程序标识等数据。树节点实例化可以包括树节点标识、树节点数据来源类型、上级树节点标识、上级树节点数据来源类型、树节点高度、树节点差高、树层级节点类型编码、直接上级树节点标识、直接上级树节点数据来源类型等数据。

在树中可以包括至少一个树层级，每个树层级可以包括至少一个树节点。且会对每个树层级进行定义，并将树节点进行实例化。每个树层级中树节点的数据来源相同，不同树层级中树节点的数据来源不同。

具体的，上述的树层级允许多级标识指的是同一层级的数据，允许多层节点，例如：区域层级，区域本身树节点可以是多层级的，多层级可以为深圳市，南山区，粤海街道等。上述树节点数据来源类型指的是节点的类型，例如：类型为区域、设备、分组等。用于标识系统从哪里获取数据。上述树层级节点类型编码指的是业务的具体区分，例如：区域、回路箱、灯杆等。用于标识执行的业务内容。

102、根据所述异形结构树的层级关系进行预拆分，获得多个分段列表，根据所分拆节点类型对所述分段列表进行分拆，获得分拆节点列表。

具体的，对于一个大区域的物联网系统中，其设备的数据量非常庞大，基于物联网系统所构建的异形结构树的层级关系也非常多，一般来说，会包含多个树层级关系，本实施例中，依据异形结构树的层级关系先进行预拆分，获得分段列表，再通过配置的分组模板对分段列表进行分拆，获得分段列表，以此降低分拆的难度，减少分拆的数据量，实现快速、自动分拆的过程。

例如，树层级是依据市、区、街道、回路箱、灯杆的层级关系构建，那么，在进行分段列表预拆分时，可以依据街道对异形结构树进行预拆分，获得包含街道的树层级以下所有节点的分段列表。

103、基于预设的调度规则，调用分布式执行器对所述分拆节点列表进行处理，对所述分拆节点列表下的所有节点进行实例化。

本实施例中，执行器为分布式的布置方式，执行器的数量为多个，可以依据预设的调度规则，对分拆节点列表下的所有节点进行处理、实例化。

在本发明实施例中，通过配置分组模板以及分拆节点类型，可实现对异形结构树进行分拆，得到分拆节点列表，并根据预设的调度规则，对分拆节点列表下的所有节点进行分布式调度处理，从而实现对海量设备的处理过程，提高处理效率，大幅度的降低延迟，同时满足城市级物联网系统的需求，其建设成本较小，建设周期短。

在本发明实施例中，上述根据所分拆节点类型对所述分段列表进行分拆，获得分拆节点列表的步骤具体包括：

1021、获取所述分段列表；

1022、基于所述分拆节点类型获取所分段列表中分拆节点的所有下级节点列表；

1023、合并所有所述下级节点列表，得到所述分拆节点列表。

具体的，分段列表可以视为异形结构树的一个树层级，在该树层级下还可能具有多个树层级，基于预设的分拆节点类型，定义了在该分段列表中的分拆节点位置，在该分拆节点的所有下级节点，也可能是具有多层树层级关系。分拆节点类型也可以是基于分段列表的树层级关系进行配置，合并分拆节点的所有下级节点，得到分拆节点列表。本实施例中，分拆节点下可能没有下级节点，则分拆节点自身加入到分拆节点列表中，也就是说，所述下级节点列表中包括所述分拆节点。

在本实施例中，所述基于预设的调度规则，调用分布式执行器对所述分拆节点列表进行处理，对所述分拆节点列表下的所有节点进行实例化的步骤具体包括：

1031、获取所述分拆节点列表的总节点数S；

1032、基于所述预设的调度规则，从所述分拆节点列表选取待处理节点列表；

1033、调用分布式执行器对所述待处理节点列表进行处理。

具体的，调用分布式执行器是异步调用的方式，预设的调度规则可以是根据执行器的编号及执行器的数量进行预设。例如，在分拆节点列表中选取待处理节点并形成待处理节点列表时，可以根据分拆节点列表的总节点数、执行器的数量i(0＜i≤S)选取待处理节点列表，根据执行器的编号调度执行器分别对待处理节点列表下的所有节点进行处理。

在本实施例中，对所述分拆节点列表进行处理前，所述方法还包括步骤：

1024、建立基于所述分拆节点列表的分拆节点状态列表。

所述调用分布式执行器对所述待处理节点列表进行处理的步骤还包括：

1034、在所述分拆节点状态列表中更新对应节点的处理状态。

具体的，分拆节点状态列表的初始状态均为未处理状态，当执行器每处理完成一个待处理节点列表后，更新到分拆节点状态列表中。在进行后续的待处理列表的实例化过程之前，可逐个对待处理列表在分拆节点状态列表中的状态进行判断，若已处理，则跳过处理下一个分拆节点列表。

进一步的，本实施例中，如图2所示，还包括步骤：

104、判断所述分拆节点列表的所有节点是否实例化。

具体的，所有的执行器都配置一个执行器状态列表，在执行器对分拆节点进行处理的过程中，若已完成对分拆节点的处理，则在执行器状态列表中更新执行器的状态为已处理。

在判断分拆节点列表的所有节点是否实例化的时候，通过逐个比对执行器状态列表中的执行器状态是否全都是已处理，如果都是已处理状态，则说明当前分拆节点列表中的所有节点已完成实例化，允许进入下一轮分拆节点列表的处理。如果执行器状态列表中存在一个或多个待处理，则保持在当前分拆节点列表的处理过程。

值得注意的是，本实施例中，执行器的执行时间有时限，每个执行器单独运行，如果一个执行器在时限内未完成处理任务，则重新启动一个执行器继续执行。

如图3所示，图3是本发明实施例提供的一种基于异形结构树的大数据处理装置200的结构示意图，包括：

配置模块201，用于基于所述异形结构树的层级定义，配置分组模板中的分拆节点类型；

拆分模块202，用于根据所述异形结构树的层级关系进行预拆分，获得多个分段列表，根据所分拆节点类型对所述分段列表进行分拆，获得分拆节点列表；

处理模块203，用于基于预设的调度规则，调用分布式执行器对所述分拆节点列表进行处理，对所述分拆节点列表下的所有节点进行实例化。

进一步的，所述拆分模块202包括：

分段列表获取单元，用于获取所述分段列表；

下级节点获取单元，用于基于所述分拆节点类型获取所分段列表中分拆节点的所有下级节点列表；

合并单元，用于合并所有所述下级节点列表，得到所述分拆节点列表。

进一步的，所述处理模块包括：

总节点数获取单元，用于获取所述分拆节点列表的总节点数S；

待处理节点获取单元，用于基于所述预设的调度规则，从所述分拆节点列表选取待处理节点列表；

调用单元，用于调用分布式执行器对所述待处理节点列表进行处理，具体的，调用分布式执行器的方式是异步调用方式。

进一步的，所述拆分模块202还包括：

节点状态记录单元，用于建立基于所述分拆节点列表的分拆节点状态列表。

进一步的，所述处理单元203还包括：

节点状态更新单元，用于在所述分拆节点状态列表中更新对应节点的处理状态。

进一步的，本实施例的装置还包括：

状态判断模块，用于判断所述分拆节点列表的所有节点是否实例化。

本发明实施例提供的一种基于异形结构树的大数据处理装置能够实现基于异形结构树的大数据处理方法实施例中的各个实施方式，以及相应有益效果，为避免重复，这里不再赘述。

如图4所示，图4是本发明实施例提供的一种电子设备的结构示意图，该电子设备800包括：处理器801、存储器802、网络接口803及存储在存储器802上并可在处理器801上运行的计算机程序，处理器801执行计算机程序时实现上述实施例提供的基于异形结构树的大数据处理方法的步骤。

本发明实施例提供的电子设备800能够实现上述提供的一种异形结构树的构造方法实施例中的各个实施方式，以及相应有益效果，为避免重复，这里不再赘述。

需要指出的是，图中仅示出了具有组件的801-803，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的电子设备800是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

存储器802至少包括一种类型的可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器802可以是电子设备800的内部存储单元，例如该电子设备800的硬盘或内存。在另一些实施例中，存储器802也可以是电子设备800的外部存储设备，例如该电子设备800上配备的插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器802还可以既包括电子设备800的内部存储单元也包括其外部存储设备。本实施例中，存储器802通常用于存储安装于电子设备800的操作系统和各类应用软件，例如异形结构树的构造方法的程序代码等。此外，存储器802还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器801在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器801通常用于控制电子设备800的总体操作。本实施例中，处理器801用于运行存储器802中存储的程序代码或者处理数据，例如运行异形结构树的构造方法的程序代码。

网络接口803可包括无线网络接口或有线网络接口，该网络接口803通常用于在电子设备800与其他电子设备之间建立通信连接。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器801执行时实现实施例提供的异形结构树的构造方法中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现实施例异形结构树的构造方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (9)

1.一种基于异形结构树的大数据处理方法，其特征在于，包括以下步骤：

基于所述异形结构树的层级定义，配置分组模板中的分拆节点类型，所述异形结构树中的异形是指树节点上的数据来源各异，其中，所述异形结构树为对物联网系统中的设备通过树节点进行表示，所述层级定义包括树层级标识、树标识、树层级序号、树层级数据来源类型、树层级节点类型编码中的至少一种，所述分拆节点类型用于决定所述树节点在所述异形结构树中的位置；

根据所述异形结构树的层级关系进行预拆分，获得多个分段列表，根据所分拆节点类型对所述分段列表进行分拆，获得分拆节点列表；

基于预设的调度规则，调用分布式执行器对所述分拆节点列表进行处理，对所述分拆节点列表下的所有节点进行实例化，该步骤具体包括：

获取所述执行器的编号以及对应所述编号下的执行器数量；

根据所述执行器的编号及所述执行器数量计算可执行量；

根据所述可执行量从所述分拆节点列表中选取待处理节点列表。

2.如权利要求1所述的基于异形结构树的大数据处理方法，其特征在于，所述根据所分拆节点类型对所述分段列表进行分拆，获得分拆节点列表的步骤包括：

获取所述分段列表；

基于所述分拆节点类型获取所分段列表中分拆节点的所有下级节点列表；

合并所有所述下级节点列表，得到所述分拆节点列表。

3.如权利要求2所述的基于异形结构树的大数据处理方法，其特征在于，所述基于所述分拆节点类型获取所分段列表中分拆节点的所有下级节点列表的步骤中，所述下级节点列表中包括所述分拆节点。

4.如权利要求1所述的基于异形结构树的大数据处理方法，其特征在于，所述基于预设的调度规则，调用分布式执行器对所述分拆节点列表进行处理，对所述分拆节点列表下的所有节点进行实例化的步骤包括：

获取所述分拆节点列表的总节点数；

基于所述预设的调度规则，从所述分拆节点列表选取待处理节点列表；

调用分布式执行器对所述待处理节点列表进行处理。

5.如权利要求4所述的基于异形结构树的大数据处理方法，其特征在于，对所述分拆节点列表进行处理前，所述方法还包括步骤：

建立基于所述分拆节点列表的分拆节点状态列表；

所述调用分布式执行器对所述待处理节点列表进行处理的步骤还包括：

在所述分拆节点状态列表中更新对应节点的处理状态。

6.如权利要求1所述的基于异形结构树的大数据处理方法，其特征在于，所述方法还包括步骤：

判断所述分拆节点列表的所有节点是否实例化。

7.一种基于异形结构树的大数据处理装置，其特征在于，包括：

配置模块，用于基于所述异形结构树的层级定义，配置分组模板中的分拆节点类型，所述异形结构树中的异形是指树节点上的数据来源各异，其中，所述异形结构树用于对物联网系统中的设备通过树节点进行表示，所述层级定义包括树层级标识、树标识、树层级序号、树层级数据来源类型、树层级节点类型编码中的至少一种，所述分拆节点类型用于决定所述树节点在所述异形结构树中的位置；

拆分模块，用于根据所述异形结构树的层级关系进行预拆分，获得多个分段列表，根据所分拆节点类型对所述分段列表进行分拆，获得分拆节点列表；

处理模块，用于基于预设的调度规则，调用分布式执行器对所述分拆节点列表进行处理，对所述分拆节点列表下的所有节点进行实例化，所述处理模块具体用于：

获取所述执行器的编号以及对应所述编号下的执行器数量；

根据所述执行器的编号及所述执行器数量计算可执行量；

根据所述可执行量从所述分拆节点列表中选取待处理节点列表。

8.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的基于异形结构树的大数据处理方法中的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的基于异形结构树的大数据处理方法中的步骤。